O que é um Token?
A token é a unidade básica de texto que os modelos de linguagem AI processam. Tokens não são palavras — são pedaços de caracteres determinados pelo tokenizer do modelo. Palavras comuns em inglês são geralmente um token; palavras raras, símbolos de código e escritas não latinas frequentemente se dividem em vários tokens.
A contagem de tokens importa porque os custos de API são faturados por token, as janelas de contexto são medidas em tokens, e texto não inglês tipicamente custa 2–3× mais tokens do que o equivalente em inglês. → O que é um token?
Como este contador funciona
Esta ferramenta usa tiktoken (o tokenizer do GPT-4o, o200k_base) para contar tokens com exatidão. Para outros modelos como Claude e Llama, cada provedor usa um tokenizer proprietário — então os resultados irão variar, mas são suficientemente próximos para orçamentação e planejamento.
Observação multilíngue: Inglês é a língua mais eficiente em tokens porque os tokenizers são treinados principalmente em texto em inglês. A mesma frase em ucraniano custa aproximadamente 2× mais tokens; árabe e japonês são semelhantes.
Casos de uso comuns
- Otimização de prompt — reduzir prompts de sistema antes de implantar em produção
- Estimativa de custo — calcular gastos com API antes de escalar para milhões de chamadas
- Planejamento da janela de contexto — garantir que seu prompt + documentos caibam dentro do limite do modelo
- Orçamentação multilíngue — medir os custos reais de tokens para conteúdo não inglês
- Fragmentação RAG — dimensionar fragmentos de documento para se adequar aos orçamentos de recuperação
Perguntas Frequentes
O que é um token em AI?
Um token é um pedaço de texto — tipicamente 3–4 caracteres no inglês. A palavra "token" é um token; "tokenization" pode se dividir em dois. Pontuação e espaços frequentemente são tokens separados. Modelos processam tokens, não palavras ou caracteres.
Quantos tokens são 1000 palavras?
Para prosa padrão em inglês, aproximadamente 1.300–1.500 tokens. Uma regra aproximada: 1 palavra ≈ 1,3 tokens. Código e texto não inglês diferirão significativamente.
Isso conta tokens do Claude ou Gemini com precisão?
Não exatamente — Claude, Gemini, Llama e outros modelos cada um usam seus próprios tokenizers proprietários que não estão publicamente disponíveis. Esta ferramenta usa tiktoken (o tokenizer do GPT-4o), que fornece uma estimativa próxima suficiente para planejamento e orçamentação na maioria dos LLMs modernos. Para contagens exatas, use a ferramenta oficial de tokenizer de cada provedor.
Por que texto não inglês custa mais tokens?
Os tokenizers são treinados principalmente em texto em inglês, então palavras em inglês mapeiam para tokens únicos de forma eficiente. Caracteres de outros alfabetos (Cirílico, Árabe, CJK) são menos comuns nos dados de treinamento e se dividem em mais sub-tokens. A mesma ideia em ucraniano normalmente custa ~2× mais tokens do que em inglês.
Esta ferramenta envia meu texto para algum servidor?
Não. A tokenização é executada inteiramente no seu navegador usando a biblioteca tiktoken compilada para WebAssembly. Seu texto nunca sai do seu dispositivo. Sem conta, sem chave de API; funciona offline após o primeiro carregamento.
Quão grandes são as janelas de contexto dos LLMs modernos?
As janelas de contexto variam amplamente: GPT-4o suporta 128K tokens, Claude 3.7 Sonnet suporta 200K, e Gemini 2.0 Flash suporta 1M tokens. Verifique a documentação atual de cada provedor — os limites crescem com frequência. 128K tokens equivalem a aproximadamente 96.000 palavras ou ~300 páginas de texto.