Token là gì?
A token là đơn vị cơ bản của văn bản mà các mô hình ngôn ngữ AI xử lý. Tokens không phải là từ — chúng là các đoạn ký tự do tokenizer của mô hình xác định. Các từ tiếng Anh phổ biến thường là một token; từ hiếm, ký hiệu mã, và các kịch bản không thuộc chữ Latinh thường bị chia thành nhiều token.
Số lượng token quan trọng vì chi phí API được tính theo từng token, cửa sổ ngữ cảnh được đo bằng tokens, và văn bản không phải tiếng Anh thường tốn nhiều hơn 2–3× tokens so với tương đương bằng tiếng Anh. → Token là gì?
Cách bộ đếm này hoạt động
Công cụ này sử dụng tiktoken (GPT-4o's tokenizer, o200k_base) để đếm token chính xác. Đối với các mô hình khác như Claude và Llama, mỗi nhà cung cấp sử dụng tokenizer độc quyền — nên kết quả sẽ khác nhau, nhưng đủ gần để lập ngân sách và hoạch định.
Ghi chú đa ngôn ngữ: Tiếng Anh là ngôn ngữ tiết kiệm token nhất vì các tokenizer được huấn luyện chủ yếu trên văn bản tiếng Anh. Cùng một câu bằng tiếng Ukraina thường tốn gấp ~2 lần tokens; tiếng Ả Rập và tiếng Nhật tương tự.
Các trường hợp sử dụng phổ biến
- Tối ưu prompt — cắt gọn system prompt trước khi triển khai vào môi trường sản xuất
- Ước tính chi phí — tính toán chi tiêu API trước khi mở rộng lên hàng triệu cuộc gọi
- Lập kế hoạch cửa sổ ngữ cảnh — đảm bảo prompt + tài liệu của bạn phù hợp với giới hạn của mô hình
- Ngân sách đa ngôn ngữ — đo chi phí token thực tế cho nội dung không phải tiếng Anh
- Chia đoạn RAG — điều chỉnh kích thước đoạn tài liệu để phù hợp với ngân sách truy xuất
Câu hỏi thường gặp
Token trong AI là gì?
Một token là một đoạn văn bản — thường là 3–4 ký tự đối với tiếng Anh. Từ "token" là một token; "tokenization" có thể bị tách thành hai token. Dấu câu và khoảng trắng thường là các token riêng biệt. Các mô hình xử lý tokens, không phải từ hay ký tự.
1000 từ tương đương bao nhiêu tokens?
Đối với văn xuôi tiếng Anh tiêu chuẩn, khoảng 1.300–1.500 tokens. Một quy tắc ước chừng: 1 từ ≈ 1.3 tokens. Mã nguồn và văn bản không phải tiếng Anh sẽ khác biệt đáng kể.
Công cụ này có đếm chính xác tokens của Claude hoặc Gemini không?
Không hoàn toàn — Claude, Gemini, Llama, và các mô hình khác mỗi cái đều sử dụng tokenizer độc quyền mà không công khai. Công cụ này sử dụng tiktoken (GPT-4o's tokenizer), cung cấp ước tính đủ gần để lập kế hoạch và ước tính chi phí cho hầu hết các LLM hiện đại. Để có số đếm chính xác, hãy sử dụng công cụ tokenizer chính thức của từng nhà cung cấp.
Tại sao văn bản không phải tiếng Anh lại tốn nhiều token hơn?
Các tokenizer được huấn luyện chủ yếu trên văn bản tiếng Anh, nên các từ tiếng Anh thường ánh xạ thành một token hiệu quả. Các ký tự từ bộ chữ khác (Cyrillic, Arabic, CJK) ít phổ biến hơn trong dữ liệu huấn luyện và bị chia thành nhiều sub-word token hơn. Ý tưởng tương tự bằng tiếng Ukraina thường tốn ~2× tokens so với tiếng Anh.
Công cụ này có gửi văn bản của tôi đến bất kỳ máy chủ nào không?
Không. Việc phân tách token chạy hoàn toàn trong trình duyệt của bạn bằng thư viện tiktoken biên dịch sang WebAssembly. Văn bản của bạn không bao giờ rời khỏi thiết bị. Không cần tài khoản, không cần API key, hoạt động ngoại tuyến sau lần tải đầu tiên.
Cửa sổ ngữ cảnh của các LLM hiện đại lớn cỡ nào?
Cửa sổ ngữ cảnh rất khác nhau: GPT-4o hỗ trợ 128K tokens, Claude 3.7 Sonnet hỗ trợ 200K, và Gemini 2.0 Flash hỗ trợ 1M tokens. Kiểm tra tài liệu hiện tại của từng nhà cung cấp — giới hạn thường xuyên tăng lên. 128K tokens tương đương khoảng 96.000 từ hoặc ~300 trang văn bản.