¿Qué es un token?
A token es la unidad básica de texto que procesan los modelos de lenguaje AI. Los tokens no son palabras: son fragmentos de caracteres determinados por el tokenizer del modelo. Las palabras comunes en inglés suelen ser un token; las palabras raras, los símbolos de código y las escrituras no latinas a menudo se dividen en varios tokens.
Los recuentos de tokens importan porque los costes de la API se facturan por token, las ventanas de contexto se miden en tokens, y el texto que no está en inglés normalmente cuesta 2–3× más tokens que el equivalente en inglés. → ¿Qué es un token?
Cómo funciona este contador
Esta herramienta usa tiktoken (GPT-4o's tokenizer, o200k_base) para contar tokens con exactitud. Para otros modelos como Claude y Llama, cada proveedor usa un tokenizer propietario, por lo que los resultados variarán, pero son lo suficientemente aproximados para presupuestar y planificar.
Nota multilingüe: El inglés es el idioma más eficiente en tokens porque los tokenizers se entrenan principalmente con texto en inglés. La misma frase en ucraniano cuesta aproximadamente 2× más tokens; el árabe y el japonés son similares.
Casos de uso comunes
- Optimización de prompts — recortar prompts del sistema antes de desplegarlos en producción
- Estimación de costes — calcular el gasto en la API antes de escalar a millones de llamadas
- Planificación de la ventana de contexto — asegurarse de que su prompt + documentos quepan dentro del límite del modelo
- Presupuesto multilingüe — medir los costes reales en tokens para contenido que no está en inglés
- RAG chunking — dimensionar los fragmentos de documento para ajustarse a los presupuestos de recuperación
Preguntas frecuentes
¿Qué es un token en IA?
Un token es un fragmento de texto — típicamente 3–4 caracteres en inglés. La palabra "token" es un token; "tokenization" puede dividirse en dos. La puntuación y los espacios a menudo son tokens separados. Los modelos procesan tokens, no palabras ni caracteres.
¿Cuántos tokens son 1000 palabras?
Para la prosa estándar en inglés, aproximadamente 1.300–1.500 tokens. Una regla aproximada: 1 palabra ≈ 1,3 tokens. El código y el texto que no está en inglés diferirán significativamente.
¿Esto cuenta con exactitud los tokens de Claude o Gemini?
No exactamente — Claude, Gemini, Llama y otros modelos usan cada uno sus propios tokenizers propietarios que no son públicos. Esta herramienta usa tiktoken (GPT-4o's tokenizer), que ofrece una estimación suficientemente cercana para planificación y presupuestos en la mayoría de los LLM modernos. Para recuentos exactos, use la herramienta de tokenización oficial de cada proveedor.
¿Por qué el texto que no está en inglés cuesta más tokens?
Los tokenizers se entrenan principalmente con texto en inglés, por lo que las palabras en inglés se asignan a tokens individuales de forma eficiente. Los caracteres de otras escrituras (cirílico, árabe, CJK) son menos comunes en los datos de entrenamiento y se dividen en más subtokens. La misma idea en ucraniano normalmente cuesta ~2× más tokens que en inglés.
¿Esta herramienta envía mi texto a algún servidor?
No. La tokenización se realiza por completo en su navegador usando la biblioteca tiktoken compilada a WebAssembly. Su texto nunca sale de su dispositivo. No se requiere cuenta ni clave API; funciona sin conexión después de la primera carga.
¿Qué tamaño tienen las ventanas de contexto de los LLM modernos?
Las ventanas de contexto varían ampliamente: GPT-4o soporta 128K tokens, Claude 3.7 Sonnet soporta 200K, y Gemini 2.0 Flash soporta 1M tokens. Consulte la documentación actual de cada proveedor — los límites crecen con frecuencia. 128K tokens son aproximadamente 96.000 palabras o ~300 páginas de texto.