Wat zijn tokens? Het contextvenster uitgelegd
Cursussen › Cursus 4 · Onder de motorkap
Een taalmodel verwerkt geen woorden of zinnen, maar tokens: kleine stukjes tekst die ruwweg overeenkomen met een woord, een woorddeel of een leesteken. Het woord "onbegrijpelijk" kan één token zijn, maar ook drie. Die opdeling bepaalt hoeveel tekst een model tegelijk kan verwerken.
Hoeveel tokens een model in één keer kan zien, heet het contextvenster. Alles buiten dat venster is voor het model onzichtbaar — het "vergeet" het letterlijk. Dat heeft gevolgen voor lange gesprekken, grote documenten en de manier waarop je het best met AI werkt. In deze module leer je hoe tokens en contextvenster samenwerken en waarom dit praktisch zo relevant is.
In deze module leer je
- Wat een token is en hoe tekst wordt opgedeeld
- Wat een contextvenster is en wat de grenzen ervan betekenen
- Waarom een model "vergeet" als de context vol is
- Hoe contextgrootte de geschiktheid van een model voor bepaalde taken bepaalt
Veelgestelde vragen
Een token is het kleinste stukje tekst dat een taalmodel verwerkt — doorgaans een woord, een woorddeel of een leesteken. Eén pagina tekst bevat ruwweg 500 tot 750 tokens, afhankelijk van de taal.
Het contextvenster is de hoeveelheid tekst (in tokens) die een model tegelijk kan "zien" en verwerken. Alles buiten dat venster is onzichtbaar voor het model. Hoe groter het venster, hoe meer context het model kan meenemen.
Als een gesprek langer is dan het contextvenster, valt de oudste tekst buiten het zichtbereik van het model. Sommige applicaties werken dit om door samenvattingen bij te houden, maar het model zelf heeft geen permanent geheugen.
Deze module zit in de cursus Onder de motorkap. Module 1 van AILogica is gratis.
Meer uit deze cursus: Waarom groter slimmer werd · Bronnen, tools en agents