「途中の考えも書いてから答えて」と一言足しただけで、AI の回答が急に正確になった経験はないでしょうか。
同じモデルに同じ問題を出しているのに、結論だけを求めたときと途中を書かせたときで当たり方が変わります。
この現象に名前を付けたのが Chain of Thought（思考の連鎖）、略して CoT でした。
思考の連鎖（CoT）とは
CoT は、答えにたどり着くまでの中間ステップをモデル自身に出力させる手法です。
人が筆算の途中式を書くのと同じで、一度に飛び越えていた距離を小さな段差に分けて登らせる発想。
起点は2022年1月に公開された Google の論文 Chain-of-Thought Prompting Elicits Reasoning in Large Language Models で、数個のお手本に推論の途中を書き添えるだけで、算術・常識・記号推論の精度が上がると報告されました。
なぜ途中を書かせると当たるのか
言語モデルは、直前までの文脈から次のトークンを選び続けて文章を組み立てます。
結論だけを求められると、本来は何段も必要な推論を「1トークンぶんの跳躍」で片付けようとしてしまうのです。
途中を書かせると、その途中の文字列そのものが次の予測の手がかりとして文脈に積み上がっていきます。
答えを出すまでに使える計算量と作業メモを、出力トークンという形で稼いでいると考えると腑に落ちるはず。
だから CoT が効くのは、段階を踏む必要のある問題に限られます。
一問一答で済む知識の確認では、途中を書かせても精度はほとんど変わりませんでした。
効きやすい問い・効きにくい問い
手元で使い分ける目安として、私はこのあたりで線を引いています。
- 効きやすい：複数ステップの計算、条件分岐のある判断
- 効きやすい：長い資料から複数の条件を拾って突き合わせる作業
- 効きやすい：不具合の切り分けなど、消去法で絞り込む場面
- 効きにくい：言い換え・要約・定型フォーマットへの整形
- 効きにくい：用語の意味を尋ねるような一問一答
前者は途中を書かせるほど手がかりが増え、後者は増やしても文字数が伸びるだけでした。
書かせ方は大きく2通り
お手本を見せる（Few-shot CoT）
ひとつは、質問と一緒に「途中つきの解答例」を数個添える書き方です。
Q: リンゴが1箱に3個ずつ入っています。箱は4つあり、そこから5個食べました。残りは何個？
A: 1箱3個で箱が4つなので 3×4=12個。5個食べたので 12-5=7個。答えは7個。
Q: 1本120円のペンを7本買い、1000円札を出しました。おつりは？
A:モデルは直前の例の形式を真似るので、答えだけでなく段取りまで模倣してくれます。
一言だけ足す（Zero-shot CoT）
もうひとつは、お手本を用意せず指示を1行足すだけの方法。
2022年5月の論文 Large Language Models are Zero-Shot Reasoners では、「Let’s think step by step」と添えるだけでも効果が出ると示されています。
次の問題を解いてください。
まず考えを段階ごとに書き出し、最後に「結論:」から始まる1行で答えを述べてください。
問題: ...日本語でも「段階ごとに書き出してから結論を出して」と頼めば同じ働きをします。
推論モデルの時代に、CoT はどう変わったか
近ごろのモデルは、この「途中を書く」動き自体を学習の段階で織り込んだ作りです。
利用者が毎回 CoT を指示しなくても、内部で長めの推論を回してから答えを返す設計が主流になりました。
ただし画面に出てくる思考の要約は、モデル内部の計算そのものではなく、あくまで読ませるために生成された文章です。
表示された「思考」を、正しさの証明として読まないこと。
途中がもっともらしくても、結論だけ誤っているケースは普通に起こります。
もうひとつ添えておくと、CoT は「一度きりの正解装置」ではありません。
同じ問いを何度か解かせて多数決を取る、といった重ね方と組み合わせて初めて効いてくる場面もあります。
この「もっともらしい嘘」そのものについては、別の記事で仕組みから整理しました。
CoT の落とし穴
実務で使うときに気をつけたいのは、コストと使いどころの2点でした。
途中を書かせるぶん出力トークンが増えるので、料金も応答時間もふくらみます。
トークンがどう数えられるのかを知っておくと、この増え方の見当が付けやすくなるはず。
また「今日は何曜日か」のような即答できる問いにまで段階を踏ませると、遅くなるだけで得るものがありません。
計算や条件分岐が2段以上ある問いにだけ使う、くらいの線引きが実用的でした。
最後に
CoT は、モデルに「考える時間」を出力トークンという形で渡す技法です。
効くのは多段の推論が要る問いに限られ、単純な質問では待ち時間と費用だけが増えていきます。
途中が読めるようになったぶん、その途中を鵜呑みにしない構えもセットで持っておきたいところ。
以上です。
コメントを残す