O que é um Token?
A token é a unidade básica de texto que os modelos de linguagem AI processam. Tokens não são palavras — são blocos de caracteres determinados pelo tokenizer do modelo. Palavras comuns em inglês costumam ser um token; palavras raras, símbolos de código e scripts não latinos frequentemente são divididos em vários tokens.
A contagem de tokens importa porque os custos de API são cobrados por token, as janelas de contexto são medidas em tokens, e o texto não inglês normalmente custa 2–3× mais tokens do que o equivalente em inglês. → O que é um token?
Como este contador funciona
Esta ferramenta usa tiktoken (o tokenizer do GPT-4o, o200k_base) para contar tokens com precisão. Para outros modelos como Claude e Llama, cada provedor usa um tokenizer proprietário — então os resultados vão diferir, mas são suficientemente próximos para orçamentação e planejamento.
Observação multilíngue: O inglês é a língua mais eficiente em tokens porque os tokenizers são treinados principalmente em texto em inglês. A mesma frase em ucraniano custa aproximadamente 2× mais tokens; árabe e japonês são semelhantes.
Casos de uso comuns
- Otimização de prompt — aparar prompts de sistema antes de implantar em produção
- Estimativa de custos — calcular gastos com API antes de escalar para milhões de chamadas
- Planejamento da janela de contexto — garantir que seu prompt + documentos caibam dentro do limite do modelo
- Orçamentação multilíngue — medir os custos reais de tokens para conteúdo não inglês
- Fragmentação RAG — dimensionar blocos de documentos para caber nos orçamentos de recuperação
Perguntas Frequentes
O que é um token em AI?
Um token é um pedaço de texto — tipicamente 3–4 caracteres para o inglês. A palavra "token" é um token; "tokenization" pode ser dividida em duas. Pontuação e espaços frequentemente são tokens separados. Modelos processam tokens, não palavras ou caracteres.
Quantos tokens são 1000 palavras?
Para prosa padrão em inglês, aproximadamente 1.300–1.500 tokens. Uma regra aproximada: 1 palavra ≈ 1,3 tokens. Código e texto não inglês vão diferir significativamente.
Isso conta tokens do Claude ou do Gemini com precisão?
Não exatamente — Claude, Gemini, Llama e outros modelos usam seus próprios tokenizers proprietários que não estão publicamente disponíveis. Esta ferramenta usa tiktoken (o tokenizer do GPT-4o), que fornece uma estimativa suficientemente precisa para planejamento e orçamentação na maioria dos LLMs modernos. Para contagens exatas, use a ferramenta de tokenizer oficial de cada provedor.
Por que o texto não inglês custa mais tokens?
Os tokenizers são treinados principalmente em texto em inglês, então palavras em inglês mapeiam eficientemente para tokens individuais. Caracteres de outros scripts (Cyrillic, Arabic, CJK) são menos comuns nos dados de treinamento e são divididos em mais sub-tokens. A mesma ideia em ucraniano geralmente custa ~2× mais tokens do que em inglês.
Esta ferramenta envia meu texto para algum servidor?
Não. A tokenização é executada inteiramente no seu navegador usando a biblioteca tiktoken compilada para WebAssembly. O seu texto nunca sai do seu dispositivo. Sem conta, sem chave de API, funciona offline após o primeiro carregamento.
Quão grandes são as janelas de contexto dos LLMs modernos?
As janelas de contexto variam muito: GPT-4o suporta 128K tokens, Claude 3.7 Sonnet suporta 200K, e Gemini 2.0 Flash suporta 1M tokens. Verifique a documentação atual de cada provedor — os limites crescem com frequência. 128K tokens correspondem aproximadamente a 96.000 palavras ou ~300 páginas de texto.