Czym jest token?
A token to podstawowa jednostka tekstu, którą przetwarzają modele językowe AI. Tokens nie są słowami — to fragmenty znaków określane przez tokenizer modelu. Typowe angielskie słowa to zazwyczaj jeden token; rzadkie słowa, symbole kodu i skrypty niełacińskie często dzielą się na kilka tokenów.
Liczba tokenów ma znaczenie, ponieważ koszty API są naliczane za token, okna kontekstowe są mierzone w tokenach, a tekst niebędący po angielsku zazwyczaj kosztuje 2–3× więcej tokenów niż równoważny tekst po angielsku. → Co to jest token?
Jak działa ten licznik
To narzędzie używa tiktoken (GPT-4o's tokenizer, o200k_base) do dokładnego zliczania tokenów. Dla innych modeli, takich jak Claude i Llama, każdy dostawca używa własnego proprietary tokenizer — więc wyniki będą się różnić, ale są wystarczająco bliskie do budżetowania i planowania.
Uwaga wielojęzyczna: English jest najbardziej efektywnym językowo wobec tokenów, ponieważ tokenizery są trenowane głównie na tekście angielskim. To samo zdanie po ukraińsku kosztuje w przybliżeniu 2× więcej tokenów; arabski i japoński są podobne.
Typowe zastosowania
- Optymalizacja promptów — skróć systemowe prompt przed wdrożeniem do produkcji
- Szacowanie kosztów — oblicz wydatki na API przed skalowaniem do milionów wywołań
- Planowanie okna kontekstowego — upewnij się, że Twój prompt + dokumenty mieszczą się w limicie modelu
- Budżetowanie wielojęzyczne — zmierz rzeczywiste koszty tokenów dla treści niebędących po angielsku
- Dzielenie na fragmenty dla RAG — dopasuj wielkość fragmentów dokumentu do budżetu odzyskiwania
Najczęściej zadawane pytania
Czym jest token w AI?
Token to fragment tekstu — zazwyczaj 3–4 znaki dla angielskiego. Słowo "token" to jeden token; "tokenization" może być podzielone na dwa. Interpunkcja i spacje często są oddzielnymi tokenami. Modele przetwarzają tokeny, a nie słowa czy znaki.
Ile tokenów to 1000 słów?
Dla standardowej angielskiej prozy, w przybliżeniu 1 300–1 500 tokenów. Przybliżona zasada: 1 słowo ≈ 1,3 tokena. Kod i tekst niebędący po angielsku będą się znacząco różnić.
Czy to zlicza tokeny Claude lub Gemini dokładnie?
Nie do końca — Claude, Gemini, Llama i inne modele używają własnych proprietary tokenizer, które nie są publicznie dostępne. To narzędzie używa tiktoken (GPT-4o's tokenizer), co daje wystarczająco bliskie oszacowanie do planowania i budżetowania w większości nowoczesnych LLMs. Dla dokładnych zliczeń, użyj oficjalnego narzędzia tokenizer każdego dostawcy.
Dlaczego tekst niebędący po angielsku kosztuje więcej tokenów?
Tokenizery są trenowane głównie na tekście angielskim, więc angielskie słowa mapują się efektywnie na pojedyncze tokeny. Znaki z innych skryptów (Cyrillic, Arabic, CJK) są rzadziej występujące w danych treningowych i dzielą się na więcej pod-tokenów. Ta sama treść po ukraińsku zwykle kosztuje ~2× więcej tokenów niż po angielsku.
Czy to narzędzie wysyła mój tekst na jakiś serwer?
Nie. Tokenization odbywa się całkowicie w Twojej przeglądarce przy użyciu biblioteki tiktoken skompilowanej do WebAssembly. Twój tekst nigdy nie opuszcza urządzenia. Brak konta, brak klucza API, działa offline po pierwszym załadowaniu.
Jak duże są współczesne okna kontekstowe LLM?
Okna kontekstowe różnią się znacznie: GPT-4o obsługuje 128K tokenów, Claude 3.7 Sonnet obsługuje 200K, a Gemini 2.0 Flash obsługuje 1M tokenów. Sprawdź dokumentację każdego dostawcy — limity często rosną. 128K tokenów to w przybliżeniu 96 000 słów lub ~300 stron tekstu.