推論モデル｜考えてから答えるモデル

ChatGPT などでモデルを選ぶ画面に「思考」のような名前を見ると、考えるほうが常によいと思うかもしれません。しかし、考えるモデルは答えまでの時間が長く、向く問いと向かない問いがあるのです。

この記事では、推論モデルの意味と、速く答えるモデルとの違いを解説します。問いの難しさで、どちらを使うかを決める目安も分かります。

推論モデルは、答える前に考える過程を持つモデルです。

推論モデルとは

推論モデルとは、答える前に考える過程に、トークン（AIのモデルが文章を扱う最小の単位）と時間を使ってから答えるモデルです。

「思考モデル」とも呼ばれ、サービスの画面では「思考」「Thinking」などの名前で出てきます。

考える過程の中身は、最終の答えの前に途中の考えの文章を作り、それをもとに答えを組み立てていくことです。

「考える」は人にたとえた言い方で、中では次に来る語を予測する計算をくり返しています。

この記事では、推論モデルでない（非推論の）、考える過程を持たずにすぐ答えるモデルを「速く答えるモデル」と書きます。

推論モデルの考える過程も、答えと同じく、トークンを作って進むものです。考えた分のトークンは答えの文としては出ず、出力のトークンとして数えられます。

出力のトークンはAIが作った文章の分で、頼んだ文章の分（入力のトークン）とは分けて数えます。

推論モデルには、答えの質が上がることがあるよい所と、時間とトークンが多くかかる所があります。よい所とかかるものは、次の3つです。

推論モデルは、手順を何段も追う難しい問題で、答えの質が上がることがあります。途中の考えを作ってから答えるので、いきなり答えるより、段を追って進められるためです。

考える分だけ、答えが出るまでの時間は長くなります。

トークンを多く使うのは、考えた分のトークンも答えと一緒に数えるからです。

そのため、一度に扱える長さ（コンテキストウィンドウ）にも、API（ほかのサービスから機能を呼び出す仕組み）の料金にも、考えた分が加わります。

どちらのモデルを使うかの目安は、問いの難しさです。2つを比べると、次の表のとおりです。

簡単な問いでは、考える過程を長くしても、答えがよくなる分は小さくなります。簡単な問いは速く答えるモデルで済ませ、難しい問いで推論モデルを使うと、時間とトークンを抑えられます。

ただし、推論モデルの答えにも、もっともらしい誤り（ハルシネーション）は起こりうるものです。

推論モデルは、答える前に考える過程を持ち、その分の時間とトークンを使うモデルです。推論モデルを選ぶと変わるのは、次の3つです。

簡単な問いは速く答えるモデルで、手順を何段も追う難しい問いは推論モデルで、試してみてください。