Was ist ein Token?
A token ist die Grundeinheit des Texts, die von AI language models verarbeitet wird. Tokens sind keine Wörter — sie sind Zeichenabschnitte, die vom Tokenizer des Modells bestimmt werden. Übliche englische Wörter sind normalerweise ein Token; seltene Wörter, Codesymbole und nicht-lateinische Schriftsysteme werden oft in mehrere Tokens aufgeteilt.
Tokenanzahlen sind wichtig, weil API-Kosten pro Token abgerechnet werden, Kontextfenster in Tokens gemessen werden und nicht-englische Texte typischerweise 2–3× mehr Tokens kosten als das entsprechende Englisch. → Was ist ein Token?
Wie dieser Zähler funktioniert
Dieses Tool verwendet tiktoken (GPT-4o's tokenizer, o200k_base), um Tokens exakt zu zählen. Für andere Modelle wie Claude und Llama verwendet jeder Anbieter einen proprietären Tokenizer — daher werden die Ergebnisse abweichen, sind aber für Budgetplanung und Abschätzungen nah genug.
Hinweis zur Mehrsprachigkeit: Englisch ist die sprachlich token-effizienteste Sprache, weil Tokenizer hauptsächlich auf englischen Texten trainiert werden. Derselbe Satz auf Ukrainian kostet grob 2× mehr Tokens; Arabic und Japanese sind ähnlich.
Häufige Anwendungsfälle
- Prompt-Optimierung — System-Prompts kürzen, bevor sie in Produktion eingesetzt werden
- Kostenabschätzung — API-Ausgaben berechnen, bevor auf Millionen von Aufrufen skaliert wird
- Planung des Kontextfensters — sicherstellen, dass Ihr Prompt + Dokumente innerhalb des Modell-Limits liegen
- Mehrsprachiges Budgeting — tatsächliche Tokenkosten für nicht-englische Inhalte messen
- RAG-Chunking — Dokumentabschnitte so dimensionieren, dass sie in Retrieval-Budgets passen
Häufig gestellte Fragen
Was ist ein Token in der AI?
Ein Token ist ein Textabschnitt — typischerweise 3–4 Zeichen im Englischen. Das Wort "token" ist ein Token; "tokenization" kann in zwei Token aufgespalten werden. Interpunktion und Leerzeichen sind oft eigene Tokens. Modelle verarbeiten Tokens, nicht Wörter oder Zeichen.
Wie viele Tokens sind 1000 Wörter?
Für normalen englischen Prosatext ungefähr 1.300–1.500 Tokens. Eine grobe Regel: 1 Wort ≈ 1,3 Tokens. Code und nicht-englischer Text weichen erheblich ab.
Zählt das auch Claude- oder Gemini-Tokens genau?
Nicht genau — Claude, Gemini, Llama und andere Modelle verwenden jeweils ihre eigenen proprietären Tokenizer, die nicht öffentlich verfügbar sind. Dieses Tool verwendet tiktoken (GPT-4o's tokenizer), das eine ausreichend genaue Schätzung für Planung und Budgetierung über die meisten modernen LLMs liefert. Für exakte Zählungen verwenden Sie das offizielle Tokenizer-Tool des jeweiligen Anbieters.
Warum kosten nicht-englische Texte mehr Tokens?
Tokenizer werden hauptsächlich auf englischem Text trainiert, sodass englische Wörter effizient zu einzelnen Tokens werden. Zeichen aus anderen Schriftsystemen (Cyrillic, Arabic, CJK) sind im Trainingssatz seltener und werden in mehr Subword-Tokens aufgeteilt. Dasselbe Konzept führt dazu, dass Ukrainian typischerweise ~2× mehr Tokens als Englisch kostet.
Sendet dieses Tool meinen Text an einen Server?
Nein. Die Tokenisierung erfolgt vollständig in Ihrem Browser unter Verwendung der tiktoken-Bibliothek, die nach WebAssembly kompiliert wurde. Ihr Text verlässt niemals Ihr Gerät. Kein Account, kein API-Schlüssel, funktioniert offline nach dem ersten Laden.
Wie groß sind moderne LLM-Kontextfenster?
Kontextfenster variieren stark: GPT-4o unterstützt 128K Tokens, Claude 3.7 Sonnet unterstützt 200K, und Gemini 2.0 Flash unterstützt 1M Tokens. Prüfen Sie die aktuelle Dokumentation jedes Anbieters — die Limits wachsen häufig. 128K Tokens entsprechen ungefähr 96.000 Wörtern oder ~300 Seiten Text.