一言でいうと
トークンとは、AIが文章を扱うときの最小単位です。文章を細かく分けたときの「かたまり」と考えてください。
もう少し詳しく
AIは文章をそのまま読むのではなく、いったんトークンという単位に分解して処理します。英語では単語や単語の一部が1トークン、日本語では1文字が1トークン以上になることが多く、英語より多くのトークンを消費します。
なぜ知っておくと役に立つのか
- 料金の単位になる：AIのAPIを使う場合、料金はトークン数で計算されます。
- 一度に扱える量の上限になる：「コンテキストウィンドウ」と呼ばれる上限があり、長すぎる資料は一度に処理できないことがあります。
- 使用量の消費に関わる：長い会話や長い資料は、それだけ多くのトークンを使います。
初心者が知っておくべきこと
普段の使い方で細かく意識する必要はありません。「長い文章はそれだけ負荷が高い」という感覚を持っておけば十分です。
関連する言葉
- コンテキストウィンドウ ／ LLM ／ API
「トークン」に関する記事をもっと読む
トークンの記事一覧を見る →
コメント