Token, wat is het?

Token, Een token is een stukje tekst, vaak een deel van een woord, dat een taalmodel als één eenheid verwerkt.

Taalmodellen lezen geen letters en geen woorden, maar tokens: stukjes tekst die gemiddeld zo'n drie à vier tekens lang zijn. Het woord "onbegrijpelijk" kan in meerdere tokens worden opgesplitst, terwijl "de" één token is. Tokens bepalen hoeveel tekst een model tegelijk kan verwerken en hoeveel een API-aanroep kost. Begrijpen hoe tokenisatie werkt helpt je betere prompts te schrijven.