オンライン講座 ログイン 会員登録
search
  2. トークン｜文章を数える単位

トークン｜文章を数える単位

編集部 読了 約5分

  • AIのトークンって何？
  • 日本語では何文字で1トークンなのか知りたい
  • 料金や上限の説明に出てくるトークン数の意味が分からない

生成AIの料金や、一度に扱える長さの説明には、文字数ではなくトークンという単位が出てきます。文字数と同じものと思うかもしれませんが、トークンと文字数は別のものです。

この記事では、トークンが文字数と合わない理由と、日本語で多くなること、トークンで数える3つのものを解説します。日本語の文章のトークンの数を確かめる方法も分かります。

トークンは、AIが文章を区切って扱うときの単位です。

トークンとは

入力した文章をトークンに区切り、大規模言語モデルがトークンの並びとして計算して、答えもトークンで作る流れの図
文章はトークンに区切られて計算され、答えもトークンを1つずつ予測して作られる

トークンとは、大規模言語モデルが文章を扱う最小の単位です。大規模言語モデルは膨大な文章で学習した言語モデルで、ChatGPT・Claude・Gemini などの中で文章を作っています。

大規模言語モデルは、入力された文章をトークンに区切ってから計算し、答えも、次のトークンを1つずつ予測して作ります。この区切る処理が、トークン化です。

区切り方は、モデルと言語によって違います。同じ文章でも、使うモデルが違えばトークンの数が変わることがあります。

トークンと文字数の違い

1つのトークンが、語まるごと・語の一部・1文字・記号のどれにも当たることを並べた図
1つのトークンに当たるものは決まっていない

トークンが文字数と一致しないのは、1つのトークンに当たるものが決まっていないからです。語まるごとのことも、語の一部や1文字のことも、句読点のような記号のこともあります。

英語の目安は、ChatGPT を提供する OpenAI のモデルで、1トークンがおよそ4文字、語にするとおよそ4分の3語です（2026年10月時点）。

これは英語の文字（アルファベット）の目安で、ほかの言語では文字とトークンの関係が違うことがあります。

区切り方は、同じ会社のモデルでも変わることがあります。

Claude を提供する Anthropic では、Claude 4.7 以降のモデルで、同じ文章のトークンが前のモデルより約30％多くなりました（2026年10月時点）。

日本語のトークンの数

同じ内容の英語の文と日本語の文を並べ、日本語のほうがトークンの数が多くなることを示す図
同じ内容でも、一般に日本語のほうがトークンが多くなる（文の組は例。棒は数えた値ではない）

区切り方は言語によっても違い、日本語には英語と違う点があります。日本語のトークンの数について知っておくことは、次の2つです。

  • 英語より多くなる
  • 何文字で1トークンかは決まっていない

英語より多くなる

一般に、日本語の文章は、同じ内容の英語の文章よりトークンの数が多くなります。1文字が複数のトークンに分かれることがあるのも、日本語の特徴です。

何文字で1トークンかは決まっていない

日本語では、何文字で1トークンになるかの決まった数はありません。区切り方がモデルごとに違い、同じ会社のモデルでも版によって変わるためです。

文章のトークンの正確な数を知る方法は、使うモデルに合わせて数えることです。

OpenAI は文章の区切り方を見られる Tokenizer を用意し、Anthropic は API でモデルごとにトークンを数えられるようにしています（2026年10月時点）。

ただし、ふつうの文章で数えた数と、API で頼むときに実際に使うトークンの数は、一致しないことがあります。

トークンで数えるもの

一度に扱える長さ・出せる長さ・API の料金の3つが、トークンで数えられることを示す図
トークンで数える3つのもの。上限の大きさと値段はモデルによって違う

トークンの数は、AIに渡せる量と使った量にかかわります。大規模言語モデルでトークンで数えるものは、次の3つです。

  • 一度に扱える長さ
  • 出せる長さ
  • API の料金

一度に扱える長さ

大規模言語モデルが答えを作るときに参照できる文章の全部が、コンテキストウィンドウです。会話や読ませた資料、答えまで含めた全体をトークンで数え、その長さには上限があります。

出せる長さ

コンテキストウィンドウとは別に、1回の答えで出せる長さにも、トークンで数える上限があります。どちらの上限も、大きさはモデルによってさまざまです。

API の料金

API は、インターネット経由でほかのサービスの機能を呼び出す仕組みを言います。API で大規模言語モデルを使うときの料金の計算に使うのが、トークンの数です。

1トークンあたりの値段はモデルによって違い、入力（頼む文や読ませた資料）と出力（AIの答え）でも違うことがあります。

日本語はトークンが多いことを知って AI に渡す量を見込もう

トークンとは・文字数との違い・日本語・トークンで数えるもの、を並べた表
トークンの要点のまとめ

トークンは、大規模言語モデルが文章を扱う最小の単位で、文字数とは一致しません。トークンで数えるのは、次の3つです。

  • 一度に扱える長さ
  • 出せる長さ
  • API の料金

日本語の何文字で1トークンかの決まった数は無いので、長い資料を渡すときや API の料金を見込むときは、使うモデルで数えてみてください。

あわせて読みたい

会員登録（無料）

記事やテーマのお気に入り・学習履歴・フォローが使えます。

この記事について

PERSC編集部が、建築の制作に関わる知識を実務目線で整理しています。内容は公開・更新日時点の情報にもとづきます。誤りや古い情報にお気づきの場合はお問い合わせよりご連絡ください。

PERSC では、記事の次の段としてオンライン講座とプラグインを用意しています。