Apa Itu Token?
A token adalah unit dasar teks yang diproses oleh model bahasa AI. Token bukan kata — melainkan potongan karakter yang ditentukan oleh tokenizer model. Kata-kata bahasa Inggris umum biasanya satu token; kata yang jarang, simbol kode, dan skrip non-Latin sering terpecah menjadi beberapa token.
Jumlah token penting karena biaya API ditagihkan per token, jendela konteks diukur dalam token, dan teks non-Inggris biasanya memerlukan 2–3× lebih banyak token dibandingkan bahasa Inggris setara. → Apa itu token?
Bagaimana Penghitung Ini Bekerja
Alat ini menggunakan tiktoken (GPT-4o's tokenizer, o200k_base) untuk menghitung token secara tepat. Untuk model lain seperti Claude dan Llama, setiap penyedia menggunakan tokenizer kepemilikan — jadi hasil akan berbeda, tetapi cukup dekat untuk penganggaran dan perencanaan.
Catatan multibahasa: Bahasa Inggris adalah bahasa yang paling efisien dalam penggunaan token karena tokenizer dilatih terutama pada teks bahasa Inggris. Kalimat yang sama dalam bahasa Ukraina kira-kira memerlukan 2× lebih banyak token; bahasa Arab dan Jepang serupa.
Kegunaan Umum
- Optimisasi prompt — memangkas system prompt sebelum menerapkan ke produksi
- Estimasi biaya — menghitung pengeluaran API sebelum menskalakan ke jutaan panggilan
- Perencanaan jendela konteks — memastikan prompt + dokumen Anda muat dalam batas model
- Penganggaran multibahasa — mengukur biaya token nyata untuk konten non-Inggris
- Pemecahan RAG (RAG chunking) — menyesuaikan ukuran potongan dokumen agar sesuai anggaran pengambilan
Pertanyaan yang Sering Diajukan
Apa itu token dalam AI?
Token adalah potongan teks — biasanya 3–4 karakter untuk bahasa Inggris. Kata "token" adalah satu token; "tokenization" mungkin terbagi menjadi dua. Tanda baca dan spasi sering menjadi token terpisah. Model memproses token, bukan kata atau karakter.
Berapa banyak token untuk 1000 kata?
Untuk prosa bahasa Inggris standar, kira-kira 1.300–1.500 token. Aturan kasar: 1 kata ≈ 1,3 token. Kode dan teks non-Inggris akan berbeda secara signifikan.
Apakah ini menghitung token Claude atau Gemini secara akurat?
Tidak persis — Claude, Gemini, Llama, dan model lain masing-masing menggunakan tokenizer kepemilikan mereka yang tidak tersedia untuk umum. Alat ini menggunakan tiktoken (GPT-4o's tokenizer), yang memberikan perkiraan yang cukup dekat untuk perencanaan dan penganggaran di sebagian besar LLM modern. Untuk hitungan yang tepat, gunakan alat tokenizer resmi penyedia masing-masing.
Mengapa teks non-Inggris memerlukan lebih banyak token?
Tokenizer dilatih terutama pada teks bahasa Inggris, sehingga kata-kata Inggris dipetakan ke token tunggal secara efisien. Karakter dari skrip lain (Cyrillic, Arabic, CJK) kurang umum dalam data pelatihan dan terpecah menjadi lebih banyak sub-token. Ide yang sama dalam bahasa Ukraina biasanya memerlukan ~2× lebih banyak token dibandingkan bahasa Inggris.
Apakah alat ini mengirim teks saya ke server manapun?
Tidak. Tokenisasi berjalan sepenuhnya di browser Anda menggunakan perpustakaan tiktoken yang dikompilasi ke WebAssembly. Teks Anda tidak pernah meninggalkan perangkat. Tidak perlu akun, tidak perlu API key, bekerja secara offline setelah pemuatan pertama.
Seberapa besar jendela konteks LLM modern?
Jendela konteks sangat bervariasi: GPT-4o mendukung 128K token, Claude 3.7 Sonnet mendukung 200K, dan Gemini 2.0 Flash mendukung 1M token. Periksa dokumentasi penyedia masing-masing — batas sering berubah. 128K token kira-kira setara dengan 96.000 kata atau ~300 halaman teks.