トークン｜LLMO用語集

人間が文章を読むとき、文字や単語の集まりとして意味を理解します。
AIも同じように、文章を読み取るためにテキストを細かく区切ります。
このAIにとっての最小の区切りの単位がトークンです。
例えば、「こんにちは」という言葉をAIが読み込むとき、それをいくつかの細かいデータに分けて認識します。
この分けられた1つ1つのデータがトークンに該当します。
私たちが文字数で文章の長さを測るように、AIはトークンの数でデータの大きさを計算します。
AIが一度に読み書きできるデータの量には決められた限界があるため、トークンの数を把握することはAIを正しく動作させるための基本となります。

言語によってトークンの分割方法が異なるため、同じ意味の文章でも消費されるトークン数に違いが生じます。
英語は単語ごとに空白で区切られているため、基本的には1単語が1つのトークンに相当することが多いです。
一方、日本語は単語の間に空白がなく、漢字やひらがななどの複数の文字種が混在しています。
そのため、AIは日本語のテキストをより細かい単位で分割して処理する傾向があります。
結果として、同じ意味の文章を処理する場合、英語よりも日本語のほうが使用するトークン数が多くなります。
複数の言語でAIを利用する際は、言語ごとのトークン消費量の違いを考慮して入力文章を調整する必要があります。

多くのAIサービスやAPIでは、処理したトークン数に基づいて利用料金が計算される従量課金制が採用されています。
ユーザーが入力したプロンプトのトークン数と、AIが生成した回答のトークン数を合計し、その総量に対して費用が発生します。
入力時と出力時で1トークンあたりの単価が異なる料金体系を設定しているサービスも存在します。
不要な情報を含めずに入力文章を短くまとめ、生成される回答の長さを制限することで、消費するトークン数を減らすことができます。
継続的にAIシステムを運用する環境では、トークン数を削減するためのプロンプトの工夫がコスト管理に直結します。