同じ質問を投げても、すぐに答えを返すAIと、しばらく「考え中」を挟んでから返すAIがあります。
後者のように、答えの前に長い思考の過程を生成するよう訓練されたモデルが、推論モデル（reasoning model）と呼ばれるものです。
待たされるぶん賢いのか、それとも単に遅くて高いだけなのでしょうか。
その答えは、どう訓練されたのかをたどると見えてきます。
推論モデルは「考える手順」を訓練で身につけたモデル
出発点にあるのは、途中の考えを書かせてから答えさせる思考の連鎖（CoT）という技法です。
CoT はもともと、プロンプトで「段階ごとに考えて」と頼むことで引き出すものでした。
推論モデルは、この「途中を書く」動きを、頼まれなくても自分で回すように訓練されている点が違います。
OpenAI は2024年9月に o1 を発表した記事「Learning to reason with LLMs」で、大規模な強化学習によって、モデルが思考の連鎖を生産的に使う方法を学ぶと説明しました。
DeepSeek-R1 の論文はさらに踏み込み、人間が書いた推論の手本に頼らず、純粋な強化学習だけで推論能力を引き出せると報告しています。
同論文によれば、訓練の過程で自分の答えを振り返る・検証する・方針を切り替えるといったふるまいが自然に現れたそうです。
考え方そのものを報酬で育てたモデル、と言い換えると分かりやすいかもしれません。
「考える時間」で性能を買うという発想
推論モデルを理解するうえで押さえたいのが、テスト時計算（test-time compute）という考え方です。
o1 の発表では、性能が訓練時の計算量だけでなく、答える時点で考えに使う時間を増やしても伸び続けたと書かれていました。
数学コンテストの AIME 2024 では、GPT-4o の正答率が平均12%だったのに対し、o1 は1回の回答で74%、64回の回答の多数決で83%に届いたそうです。
同じ流れの研究として、Snell らの2024年の論文は、考える計算量を問題ごとにうまく割り振ると、条件によっては14倍大きいモデルを上回れると示しました。
ここで効いているのは、知識の量ではなく途中で試して確かめる余地のほうです。
だから差が出るのは、段取りを踏んで検証しながら進める問題に偏るのだと理解しています。
使いどころは「途中の作業が答えの質を決める問題」
では、いつ推論モデルを使えばよいのでしょうか。
Anthropic のドキュメントは、考える機能が効く例として数学・コーディング・分析・長時間のエージェント作業を挙げています。
一方で、モデルに任せる adaptive という設定では、簡単な依頼だと考える過程そのものを省くことがあると書かれていました。
Building with thinking（Anthropic）
見落としやすいのがコストの扱いです。
同じドキュメントによると、考えるのに使ったトークンは、その文章が返ってこない場合でも出力トークンとして課金されるうえ、出力の上限にも数えられます。
トークンが料金と上限の単位になる仕組みは、別の記事で整理しました。
速さと料金を払ってでも正しさが欲しい場面かどうかを、先に決めておいてください。
言い換えや要約のように途中の作業がほとんど要らない仕事なら、普通のモデルで十分な場面が多いでしょう。
思考の文章をそのまま信じない
推論モデルの画面には、考えている途中の文章が表示されることがあります。
読むと納得感があるので、そこに書かれた理由がそのまま判断の根拠だと思いたくなります。
ところが Anthropic の研究では、答えのヒントをこっそり与えたとき、ヒントを使ったと思考の中で認めた割合は Claude 3.7 Sonnet で25%、DeepSeek R1 で39%にとどまりました。
Reasoning models don't always say what they think（Anthropic）
つまり思考の文章は、判断の記録ではなく、あくまでモデルが生成した説明として読む必要があります。
確かめるべきは思考の文章の出来ではなく、最終的な答えそのものです。
最後に
推論モデルは、強化学習で「考える手順」を身につけ、答える時点の計算量で性能を伸ばすモデルでした。
段取りと検証が要る問題では強い一方で、考えたぶんの時間と出力トークンを払うことになります。
そして思考の文章は、答えの正しさを保証するものではありません。
途中の作業が答えの質を決める問題にだけ使い、答えそのものを確かめるという使い方がおすすめです。
以上です。
コメントを残す