Token
Wat is een token bij AI?
Het stukje tekst (vaak een deel van een woord) waarin een taalmodel tekst opknipt; ook de eenheid waarin je betaalt.
Gecontroleerd op · 2 bronnen
Wat het is
Een taalmodel leest en schrijft geen hele woorden, maar tokens: stukjes tekst van gemiddeld drie à vier tekens. Een kort Engels woord is vaak één token; een lang Nederlands woord als "arbeidsongeschiktheidsverzekering" wordt in meerdere stukken geknipt.
Tokens zijn ook de maat voor wat AI kost en kan: aanbieders rekenen per miljoen tokens, en de hoeveelheid tekst die een model tegelijk kan overzien (het contextvenster) wordt in tokens uitgedrukt.
Een voorbeeld
De zin "Ik fiets naar huis" is voor een model ongeveer zes tokens. Een boek van 300 pagina's is er zo'n 150.000. Plak je dat hele boek in een vraag, dan betaal je voor al die tokens, en past het alleen als het contextvenster groot genoeg is.
Waar het tekortschiet
- Nederlandse tekst kost vaak meer tokens dan dezelfde tekst in het Engels, en is dus iets duurder.
- Doordat een model in stukjes denkt, gaat het soms mis bij letters tellen of woorden omdraaien.
Waarom het ertoe doet
Wie de kosten van AI wil begrijpen, of snapt waarom een model een lang document "vergeet", moet weten wat een token is. Het is de munteenheid van de AI-economie.
In het nieuws
Hangt hiermee samen
Bronnen
- Hugging Face: Tokenizers huggingface.co
- Wikipedia: Large language model en.wikipedia.org
Deze uitleg is geschreven door de redactie van RedFlare en op 25 september 2026 tegen deze bronnen nagelezen.