Wat Is een Token?
A token is de basiseenheid van tekst die AI language models verwerken. Tokens zijn geen woorden — het zijn tekststukken van tekens bepaald door de tokenizer van het model. Gebruikelijke Engelse woorden zijn meestal één token; zeldzame woorden, code-symbolen en niet-Latijnse schriftsystemen worden vaak in meerdere tokens gesplitst.
Tokenaantallen zijn belangrijk omdat API-kosten per token in rekening worden gebracht, context windows in tokens worden gemeten, en niet-Engelse tekst doorgaans 2–3× meer tokens kost dan equivalent Engels. → Wat is een token?
Hoe Deze Teller Werkt
Deze tool gebruikt tiktoken (GPT-4o's tokenizer, o200k_base) om tokens exact te tellen. Voor andere modellen zoals Claude en Llama gebruikt elke provider een eigen tokenizer — dus de resultaten zullen verschillen, maar zijn nauw genoeg voor budgettering en planning.
Meertalige opmerking: Engels is de meest token-efficiënte taal omdat tokenizers voornamelijk op Engelse tekst zijn getraind. Dezelfde zin in Ukrainian kost ruwweg 2× meer tokens; Arabisch en Japans zijn vergelijkbaar.
Veelvoorkomende Gebruikssituaties
- Promptoptimalisatie — system prompts inkorten voordat u naar productie gaat
- Kosteninschatting — API-uitgaven berekenen voordat u opschaalt naar miljoenen calls
- Plannen van context windows — zorgen dat uw prompt + documenten binnen de model-limiet passen
- Meertalige budgettering — werkelijke tokenkosten voor niet-Engelse inhoud meten
- RAG-chunking — documentchunks zo dimensioneren dat ze binnen retrieval-budgetten passen
Veelgestelde Vragen
Wat is een token in AI?
Een token is een tekstblok — typisch 3–4 tekens voor Engels. Het woord "token" is één token; "tokenization" kan in twee tokens worden gesplitst. Interpunctie en spaties zijn vaak aparte tokens. Modellen verwerken tokens, niet woorden of tekens.
Hoeveel tokens is 1000 woorden?
Voor standaard Engelse proza ongeveer 1.300–1.500 tokens. Een ruwe regel: 1 woord ≈ 1,3 tokens. Code en niet-Engelse tekst zullen significant afwijken.
Telt dit nauwkeurig tokens van Claude of Gemini?
Niet precies — Claude, Gemini, Llama en andere modellen gebruiken elk hun eigen proprietaire tokenizers die niet publiekelijk beschikbaar zijn. Deze tool gebruikt tiktoken (GPT-4o's tokenizer), wat een voldoende nauwkeurige schatting geeft voor planning en budgettering bij de meeste moderne LLMs. Voor exacte tellingen, gebruik het officiële tokenizer-gereedschap van elke aanbieder.
Waarom kosten niet-Engelse teksten meer tokens?
Tokenizers zijn voornamelijk op Engelse tekst getraind, dus Engelse woorden worden efficiënt naar één token gemapt. Tekens uit andere schriftsystemen (Cyrillic, Arabic, CJK) zijn minder gebruikelijk in trainingsdata en worden opgesplitst in meer subword-tokens. Hetzelfde idee in Ukrainian kost doorgaans ~2× meer tokens dan in English.
Stuurt deze tool mijn tekst naar een server?
Nee. Tokenization wordt volledig in uw browser uitgevoerd met de tiktoken-bibliotheek gecompileerd naar WebAssembly. Uw tekst verlaat uw apparaat nooit. Geen account, geen API-key, werkt offline na de eerste keer laden.
Hoe groot zijn moderne LLM context windows?
Context windows variëren sterk: GPT-4o ondersteunt 128K tokens, Claude 3.7 Sonnet ondersteunt 200K, en Gemini 2.0 Flash ondersteunt 1M tokens. Controleer de huidige documentatie van elke provider — limieten groeien vaak. 128K tokens is ruwweg 96.000 woorden of ~300 pagina's tekst.