Qu'est-ce qu'un Token ?
A token est l'unité de base de texte que les modèles de langage AI traitent. Les tokens ne sont pas des mots — ce sont des fragments de caractères déterminés par le tokenizer du modèle. Les mots courants en anglais sont généralement un token ; les mots rares, les symboles de code et les écritures non latines se divisent souvent en plusieurs tokens.
Les comptes de tokens sont importants car les coûts API sont facturés par token, les fenêtres de contexte sont mesurées en tokens, et le texte non anglophone coûte généralement 2–3× plus de tokens que l'équivalent en anglais. → Qu'est-ce qu'un token ?
Comment fonctionne ce compteur
Cet outil utilise tiktoken (GPT-4o's tokenizer, o200k_base) pour compter les tokens exactement. Pour d'autres modèles comme Claude et Llama, chaque fournisseur utilise un tokenizer propriétaire — les résultats varieront, mais sont suffisamment proches pour la budgétisation et la planification.
Remarque multilingue : L'anglais est la langue la plus efficace en tokens parce que les tokenizers sont principalement entraînés sur du texte anglais. La même phrase en Ukrainian coûte environ 2× plus de tokens ; l'arabe et le japonais sont similaires.
Cas d'utilisation courants
- Optimisation de prompt — réduire les system prompts avant le déploiement en production
- Estimation des coûts — calculer les dépenses API avant de passer à des millions d'appels
- Planification de la fenêtre de contexte — s'assurer que votre prompt + documents tiennent dans la limite du modèle
- Budgétisation multilingue — mesurer les coûts réels en tokens pour du contenu non anglophone
- RAG chunking — dimensionner les segments de documents pour respecter les budgets de récupération
Questions fréquemment posées
Qu'est-ce qu'un token en IA ?
Un token est un fragment de texte — typiquement 3–4 caractères pour l'anglais. Le mot "token" est un token ; "tokenization" peut se diviser en deux. La ponctuation et les espaces sont souvent des tokens séparés. Les modèles traitent des tokens, pas des mots ou des caractères.
Combien de tokens pour 1000 mots ?
Pour la prose standard en anglais, environ 1 300–1 500 tokens. Règle approximative : 1 mot ≈ 1,3 tokens. Le code et le texte non anglophone varieront considérablement.
Cela compte-t-il les tokens de Claude ou Gemini avec précision ?
Pas exactement — Claude, Gemini, Llama et d'autres modèles utilisent chacun leurs propres tokenizers propriétaires qui ne sont pas publiquement disponibles. Cet outil utilise tiktoken (GPT-4o's tokenizer), qui fournit une estimation suffisamment proche pour la planification et la budgétisation pour la plupart des LLMs modernes. Pour des comptes exacts, utilisez l'outil tokenizer officiel de chaque fournisseur.
Pourquoi le texte non anglophone coûte-t-il plus de tokens ?
Les tokenizers sont principalement entraînés sur du texte anglais, donc les mots anglais correspondent efficacement à un seul token. Les caractères d'autres écritures (Cyrillic, Arabic, CJK) sont moins courants dans les données d'entraînement et se divisent en plus de sous-tokens. La même idée en Ukrainian coûte généralement ~2× plus de tokens qu'en anglais.
Cet outil envoie-t-il mon texte vers un serveur ?
Non. La tokenization s'exécute entièrement dans votre navigateur en utilisant la bibliothèque tiktoken compilée en WebAssembly. Votre texte ne quitte jamais votre appareil. Aucun compte, aucune clé API, fonctionne hors ligne après le premier chargement.
Quelle est la taille des fenêtres de contexte des LLM modernes ?
Les fenêtres de contexte varient largement : GPT-4o prend en charge 128K tokens, Claude 3.7 Sonnet prend en charge 200K, et Gemini 2.0 Flash prend en charge 1M tokens. Consultez la documentation actuelle de chaque fournisseur — les limites augmentent fréquemment. 128K tokens correspondent approximativement à 96 000 mots ou ~300 pages de texte.