「このモデルはトークン単価が…」「コンテキストは128Kトークンまで」——生成AIを触っていると、トークンという単位が当たり前のように出てきます。
でも「1トークンって結局どれくらい？」と改めて聞かれると、私も答えに詰まりました。
この記事では、トークンが何を指す単位なのか、なぜ料金や文脈の上限がこの単位で決まるのかを、順番に整理します。
トークンとは何か
トークンとは、AIが文章を処理するときの最小単位です。
人間は文章を「単語」や「文字」で区切りますが、大規模言語モデル（LLM）はそのどちらとも少しずれた「かたまり」で扱います。
英語なら “token” のように1語まるごとが1トークンになることもあれば、”tokenization” が “token” と “ization” のように途中で分割されることもある。
この「単語より細かく、文字より粗い」中間の単位がトークンです。
なぜ文字でも単語でもなく「トークン」なのか
文字単位で扱うと、モデルが処理する列が長くなりすぎて効率が落ちます。
逆に単語単位だと、世の中の単語をすべて辞書に持たねばならず、知らない単語にも弱い。
そこで、よく出る並びは1つのかたまりにまとめ、珍しい並びは細かく分ける、という折衷案が使われています。
この分け方はサブワード分割（代表的な手法が BPE＝Byte Pair Encoding）と呼ばれ、いまの主要なLLMはほぼこの方式です。
トークン数は料金と文脈の上限に直結する
トークンが分かると、生成AIの2つの「上限」が読めるようになります。
1つはお金で、API の料金はほとんどが「入力トークン＋出力トークン」の従量課金になっている。
もう1つが文脈で、コンテキストウィンドウ（モデルが一度に読める量）もトークン数で決まるのです。
目安として、英語では1トークン ≈ 4文字 ≈ 0.75単語（OpenAI 公式ガイドの概算）とされています。
ただしこの目安はコードや数字の羅列、記号の多い文章では崩れるので、あくまで「ざっくり」として持っておくのが安全でしょう。
日本語は英語よりトークンを食う
日本語ユーザーとして押さえておきたいのが、同じ内容でも日本語は英語よりトークンを多く消費するという点です。
日本語はマルチバイト文字なので、1文字が1トークン、場合によっては複数トークンに分かれることも珍しくありません。
つまり「文章量の体感」が同じでも、日本語のほうが料金も文脈の消費も重くなりがちです。
長い日本語プロンプトを投げて「思ったより早く上限に当たった」と感じたら、この差が効いています。
最後に
トークンは、生成AIの料金・速度・文脈の上限を貫いて効いてくる、地味だけれど大事な単位でした。
「1トークン ≈ 英語で4文字、日本語はもっと重い」とだけ覚えておくと、モデル選びやプロンプト設計の見通しがぐっと良くなります。
以上です。
コメントを残す