Naar de inhoud

AI & Identity · Nieuws van de dag

Token

Wat is een token bij AI?

Het stukje tekst (vaak een deel van een woord) waarin een taalmodel tekst opknipt; ook de eenheid waarin je betaalt.

Gecontroleerd op · 2 bronnen

Wat het is

Een taalmodel leest en schrijft geen hele woorden, maar tokens: stukjes tekst van gemiddeld drie à vier tekens. Een kort Engels woord is vaak één token; een lang Nederlands woord als "arbeidsongeschiktheidsverzekering" wordt in meerdere stukken geknipt.

Tokens zijn ook de maat voor wat AI kost en kan: aanbieders rekenen per miljoen tokens, en de hoeveelheid tekst die een model tegelijk kan overzien (het contextvenster) wordt in tokens uitgedrukt.

Een voorbeeld

De zin "Ik fiets naar huis" is voor een model ongeveer zes tokens. Een boek van 300 pagina's is er zo'n 150.000. Plak je dat hele boek in een vraag, dan betaal je voor al die tokens, en past het alleen als het contextvenster groot genoeg is.

Waar het tekortschiet

  • Nederlandse tekst kost vaak meer tokens dan dezelfde tekst in het Engels, en is dus iets duurder.
  • Doordat een model in stukjes denkt, gaat het soms mis bij letters tellen of woorden omdraaien.

Waarom het ertoe doet

Wie de kosten van AI wil begrijpen, of snapt waarom een model een lang document "vergeet", moet weten wat een token is. Het is de munteenheid van de AI-economie.

In het nieuws

Hangt hiermee samen

Bronnen

  1. Hugging Face: Tokenizers huggingface.co
  2. Wikipedia: Large language model en.wikipedia.org

Deze uitleg is geschreven door de redactie van RedFlare en op 25 september 2026 tegen deze bronnen nagelezen.

← Alle begrippen in de kennisbank