什么是 Token？
A token 是 AI 语言模型处理的基本文本单位。Tokens 不是单词——它们是由模型的 tokenizer 决定的字符片段。常见的英文单词通常为一个 token；罕见词、代码符号和非拉丁文字通常会拆分为多个 tokens。
Token 计数很重要，因为 API 成本按 token 计费，上下文窗口以 tokens 为单位测量，非英文文本通常比相同英文文本多消耗 2–3× tokens。 → 什么是 token？
此计数器如何工作
此工具使用 tiktoken (GPT-4o's tokenizer, o200k_base) 来精确计数 tokens。 对于像 Claude 和 Llama 这样的其他模型，每个提供商使用专有的 tokenizer——因此结果会有所不同，但对于预算和规划来说足够接近。
多语言说明： English 是最节省 tokens 的语言，因为 tokenizer 主要以 English 文本为训练数据。同一句乌克兰语句大约消耗 2× 的 tokens；阿拉伯语和日语类似。
常见用例
- 提示优化 — 在部署到生产环境前精简 system prompts
- 成本估算 — 在扩展到数百万次调用前计算 API 支出
- 上下文窗口规划 — 确保您的 prompt + 文档适合模型限制
- 多语言预算编制 — 测量非英文内容的实际 token 成本
- RAG 切片大小调整 — 将文档切片大小设置为适合检索预算
常见问题解答
在 AI 中 token 是什么？
Token 是一段文本（对于 English 通常为 3–4 个字符）。单词 "token" 是一个 token；"tokenization" 可能会被拆分为两个。标点和空格常常是独立的 tokens。模型处理的是 tokens，而不是单词或字符。
1000 个单词是多少 tokens？
对于标准的 English 散文，大约是 1,300–1,500 tokens。一个粗略规则：1 个单词 ≈ 1.3 tokens。 代码和非英文文本会有显著差异。
这会准确计算 Claude 或 Gemini 的 tokens 吗？
不完全准确——Claude、Gemini、Llama 以及其他模型各自使用不公开的专有 tokenizers。本工具使用 tiktoken (GPT-4o's tokenizer)，它为大多数现代 LLMs 提供了足够接近的估算以便于规划和预算。要获得精确计数，请使用各供应商的官方 tokenizer 工具。
为什么非英文文本消耗更多 tokens？
Tokenizer 主要以 English 文本训练，因此 English 单词通常映射为单个 token。来自其他脚本的字符（Cyrillic、Arabic、CJK）在训练数据中较少见，会被拆分为更多的子词 tokens。同样的内容用 Ukrainian 通常比 English 多消耗约 ~2× tokens。
本工具会将我的文本发送到任何服务器吗？
不。Tokenization 完全在您的浏览器中运行，使用编译为 WebAssembly 的 tiktoken 库。 您的文本绝不会离开您的设备。无需账户，无需 API 密钥，首次加载后可离线使用。
现代 LLM 的上下文窗口有多大？
上下文窗口差异很大：GPT-4o 支持 128K tokens，Claude 3.7 Sonnet 支持 200K， 而 Gemini 2.0 Flash 支持 1M tokens。请查看各供应商的最新文档——限制经常增长。128K tokens 大约相当于 96,000 个单词或约 300 页文本。