Cos'è un token?
A token è l'unità di base del testo che i modelli di linguaggio AI elaborano. I token non sono parole — sono frammenti di caratteri determinati dal tokenizer del modello. Le parole comuni in inglese sono solitamente un token; parole rare, simboli di codice e script non latini spesso vengono divisi in più token.
Il conteggio dei token è importante perché i costi delle API sono addebitati per token, le finestre di contesto sono misurate in token e il testo non in inglese tipicamente costa 2–3× più token rispetto all'equivalente in inglese. → Cos'è un token?
Come funziona questo contatore
Questo strumento utilizza tiktoken (GPT-4o's tokenizer, o200k_base) per contare i token esattamente. Per altri modelli come Claude e Llama, ogni provider usa un tokenizer proprietario — quindi i risultati saranno diversi, ma abbastanza vicini per il budgeting e la pianificazione.
Nota multilingue: L'inglese è la lingua più efficiente in termini di token perché i tokenizer sono addestrati principalmente su testi in inglese. La stessa frase in ucraino costa circa 2× più token; arabo e giapponese sono simili.
Casi d'uso comuni
- Ottimizzazione del prompt — ridurre i system prompt prima di distribuirli in produzione
- Stima dei costi — calcolare la spesa API prima di scalare a milioni di chiamate
- Pianificazione della finestra di contesto — assicurarsi che il prompt e i documenti rientrino nel limite del modello
- Budgeting multilingue — misurare i costi effettivi in token per contenuti non in inglese
- RAG chunking — dimensionare i chunk di documenti per adattarsi ai budget di retrieval
Domande frequenti
Cos'è un token nell'AI?
Un token è un frammento di testo — tipicamente 3–4 caratteri per l'inglese. La parola "token" è un token; "tokenization" può essere divisa in due. La punteggiatura e gli spazi sono spesso token separati. I modelli elaborano token, non parole o caratteri.
Quanti token sono 1000 parole?
Per la prosa standard in inglese, approssimativamente 1.300–1.500 token. Una regola approssimativa: 1 parola ≈ 1,3 token. Il codice e il testo non in inglese varieranno significativamente.
Questo conta accuratamente i token di Claude o Gemini?
Non esattamente — Claude, Gemini, Llama e altri modelli utilizzano ciascuno i propri tokenizer proprietari che non sono pubblici. Questo strumento usa tiktoken (GPT-4o's tokenizer), che fornisce una stima sufficientemente precisa per la pianificazione e il budgeting attraverso la maggior parte degli LLM moderni. Per conteggi esatti, usa lo strumento tokenizer ufficiale di ciascun provider.
Perché il testo non in inglese costa più token?
I tokenizer sono addestrati principalmente su testi in inglese, quindi le parole inglesi corrispondono efficacemente a singoli token. I caratteri di altri script (Cyrillic, Arabic, CJK) sono meno comuni nei dati di addestramento e si dividono in più sottotoken. La stessa idea in ucraino tipicamente costa ~2× più token rispetto all'inglese.
Questo strumento invia il mio testo a qualche server?
No. La tokenizzazione viene eseguita interamente nel tuo browser usando la libreria tiktoken compilata in WebAssembly. Il tuo testo non lascia mai il dispositivo. Nessun account, nessuna API key, funziona offline dopo il primo caricamento.
Quanto sono grandi le finestre di contesto degli LLM moderni?
Le finestre di contesto variano ampiamente: GPT-4o supporta 128K token, Claude 3.7 Sonnet supporta 200K, e Gemini 2.0 Flash supporta 1M token. Controlla la documentazione corrente di ciascun provider — i limiti crescono frequentemente. 128K token corrispondono approssimativamente a 96.000 parole o ~300 pagine di testo.