生成AIを組み込んだ機能では、どのモデルに投げるかがそのまま料金と待ち時間に跳ね返ってきます。
挨拶への返事も、込み入った設計の相談も、同じ最上位モデルに送っていないでしょうか。
簡単な質問にまで高いモデルを使えばコストが膨らみ、安いモデルだけに寄せると難しい質問で答えが崩れる。
この板挟みに「質問ごとにモデルを選び分ける」という形で答えるのが、LLMルーティングという考え方です。
LLMルーティングは入口で行き先を決める仕組み
LLMルーティングは、届いた入力の中身を見て、どのモデルやどの処理に回すかを決める設計のこと。
郵便局にたとえるなら、宛先を読んで配達ルートを振り分ける係を、モデルの手前に1人置くイメージ。
Anthropicが2024年12月に公開したBuilding effective agentsでも、ルーティング（Routing）はエージェント設計の基本パターンの1つとして紹介されています。
同記事の定義は、入力を分類し、専門化された後続のタスクへ振り分けるというもの。
例として挙がっているのは、問い合わせを一般的な質問・返金依頼・技術サポートに分けて別々の処理へ流すケースと、簡単な質問は小さなモデルに、難しい質問は高性能なモデルに回して性能とコストを両立させるケースでした。
前者は「どの手順で処理するか」、後者は「どのモデルで処理するか」を振り分けている点が違いますね。
料金に直接効いてくるのは、後者のモデルの選び分けのほうです。
振り分け方は「先に決める」か「試してから上げる」か
モデルの選び分けには、大きく分けて2つの流派があります。
先に決める：分類してから1回だけ投げる
1つ目は、生成を始める前に入力を見て、送り先のモデルを1つに決める方式。
2024年6月に公開された論文RouteLLM: Learning to Route LLMs with Preference Dataは、この方式で「強いモデル」と「弱いモデル」のどちらに送るかを判定するルーターを学習させています。
学習の材料は、人がどちらの回答を好んだかという選好データでした。
アブストラクトでは、回答の品質を落とさずに、条件によってはコストを2倍以上削減できたと報告されています。
呼び出しが1回で済むので、待ち時間が増えにくいのがこの方式の強み。
試してから上げる：安いモデルから順に聞く
2つ目は、まず安いモデルに答えさせ、その答えが頼りなければ上位のモデルに聞き直すカスケード方式です。
2023年5月の論文FrugalGPTは、どのモデルをどの順で使うかを質問ごとに学習する仕組みとして、これを実装しました。
評価に使ったデータでは、GPT-4と同等の性能を、最大98%のコスト削減で達成したと書かれています。
ただし上位のモデルに回った質問は、2回分の呼び出しを待つことになるので、難しい質問ほど応答が遅くなるのは避けられません。
ChatGPTの中でもルーティングは動いている
身近なところでは、OpenAIが2025年8月に発表したGPT-5が、この考え方を製品の中に組み込んでいます。
Introducing GPT-5によると、ChatGPT上のGPT-5は、素早く答えるモデルと、深く推論するモデルを組み合わせた構成とのこと。
どちらを使うかはリアルタイムのルーターが、会話の種類や複雑さ、ツールが必要かどうか、「じっくり考えて」のような明示的な指示をもとに判断しています。
ルーター自体も、ユーザーがモデルを切り替えた頻度や回答の好まれ方、正しさの測定結果といった実際のシグナルで学習し続けていると説明されていました。
使う側がモデルを意識しなくても、質問の重さに応じて裏側の計算量が変わるという体験は、ルーティングの効き方をよく表しています。
導入でつまずきやすい3つのポイント
仕組みは単純に見えても、実際に組み込むと判断に迷う場面はいくつも出てくるもの。
1つ目は、振り分けを間違えたときの損失。
難しい質問を軽いモデルに回してしまえば、コストは下がっても答えの質が落ちる。
Anthropicの記事が、ルーティングを使う条件として「分類を正確に行えること」を挙げているのは、この損失があるからでしょう。
2つ目は、ルーター自体のコストと待ち時間です。
分類にもモデルを使うなら、その呼び出しの料金と遅延が毎回のリクエストに上乗せされます。
3つ目が、自分のデータで測らないと効果が分からないという点。
論文の削減率は、あくまで論文が使った評価データでの数字にすぎません。
自分のサービスに届く質問の「簡単なもの」と「難しいもの」の比率が違えば、同じ仕組みでも削減幅は変わってきます。
振り分けの前後で回答の質を比べられるように、評価の仕組みもあわせて用意しておきたいところですね。
モデルの手前や周りに置く道具立てで、同じモデルでも挙動とコストが変わる話は、エージェントハーネスの記事でも扱っています。
最後に
LLMルーティングは、すべての質問に同じモデルを使うという前提を外すための設計でした。
先に分類して1回で答えるか、安いモデルから試して必要なときだけ上げるか。
どちらを選んでも、振り分けの精度と、自分のデータでの効果測定がそろって初めてコストが下がるという点は変わりません。
人が手作業でモデルを使い分けるときの考え方は、以前の記事にまとめています。
以上です。
コメントを残す