Hoe werkt een transformer? Attention uitgelegd
Cursussen › Cursus 1 · Hoe AI écht werkt
De transformer is het bouwplan achter vrijwel elk modern taalmodel, van ChatGPT tot Gemini. De kern is een mechanisme dat attention heet: voor elk woord weegt het model hoe relevant elk ander woord in de zin is, zodat het context kan meenemen.
Daardoor kan een model snappen dat "hij" in "de beker viel van de tafel omdat hij barstte" naar de beker verwijst, niet naar de tafel. In deze module leer je waarom dat werkt, hoe attention-lagen op elkaar stapelen, en waarom de transformer zo goed schaalt — zonder dat er één formule aan te pas komt.
In deze module leer je
- Waarom volgorde en context taal lastig maken voor een computer
- Wat "attention" is: relevantie wegen in plaats van begrijpen
- Hoe een transformer woorden parallel verwerkt en daardoor enorm schaalt
- Waarom het rekenen met relevantie is, geen begrip van de zin
Veelgestelde vragen
Een transformer is een neuraal-netwerk-architectuur (2017) die taal verwerkt met "attention": het weegt voor elk woord hoe relevant elk ander woord is. Het is de basis onder ChatGPT en vergelijkbare modellen.
Attention is een gewogen rekensom: voor elk woord berekent het model hoeveel elk ander woord ertoe doet, en combineert dat tot een rijke representatie van dat woord in zijn context.
Ze verwerken alle woorden tegelijk (parallel) in plaats van één voor één, waardoor ze goed schalen naar zeer grote modellen — en ze vangen verbanden tussen woorden die ver uit elkaar staan.
Deze module zit in de cursus Hoe AI écht werkt. Module 1 van AILogica is gratis.
Meer uit deze cursus: Hoe werkt een neural network écht? · Hoe leert een netwerk van fouten?