AI の出力を評価しようとすると、最後は人が読んで丸をつける作業に行き着きます。
とはいえ、プロンプトを1行変えるたびに100件を読み直すのは現実的ではありません。
そこで広く使われているのがLLM-as-a-Judge、つまり採点役そのものを別の言語モデルに任せる方法です。
便利な反面、採点者が人間ではなくなることで固有の癖が入り込みます。
仕組みと限界を、出典をたどりながら整理してみましょう。
採点者をモデルに置き換えるだけの単純な仕組み
やっていること自体は単純で、評価したい入力と出力を別のモデルに渡し、基準を添えて点数や優劣を答えさせます。
形式は大きく2つ。
- 1つの回答に絶対評価で点を付ける（スコアリング）
- 2つの回答を並べてどちらが良いか選ばせる（ペアワイズ比較）
この手法をまとめて検証したのが、2023年6月に公開された論文「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」です。
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena（arXiv）
論文は評価用にMT-bench（マルチターンの質問セット）とChatbot Arena（人が対戦形式で選ぶプラットフォーム）の2つを用意し、モデル判定と人間の選好がどこまで揃うかを確かめました。
人間との一致率は8割を超える
結果として報告されているのは、GPT-4 のような強いモデルの判定が人間の選好と80%以上一致したという数字。
しかも論文は、この一致度が人間同士の一致度と同じ水準だと書いています。
つまり「人が採点すれば正解が出る」という前提自体が、もともとそこまで強くないわけですね。
公開データとして3,000件の専門家投票と3万件の会話も添えられており、追試できる形になっているのも特徴でしょう。
数字だけ見ると採点を任せてよさそうに思えますが、論文が同じ分量を割いているのは限界のほうです。
判定が歪む3つのバイアス
論文が名指ししている癖は3つ、加えて推論能力そのものの限界が挙がっています。
ひとつ目が位置バイアスで、2つの回答を並べたとき、内容ではなく提示された順番で選びやすくなる傾向。
同じ2つを入れ替えて2回聞くと、判定がひっくり返ることがあります。
ふたつ目は冗長性バイアス、つまり長い回答を高く評価してしまう癖。
中身が薄くても文字数が多いほうが勝つなら、その指標は「良さ」ではなく「長さ」を測っています。
3つ目が自己強化バイアスで、判定役が自分自身の生成した出力をひいきする傾向のこと。
評価対象と採点者に同じモデルを使う構成は、この点で相性が悪いということになります。
加えて、数学や論理を含む問題では採点者の推論能力そのものが足りず、誤った答えを通してしまう場合があると指摘されました。
実務で使うときの置き方
これらを踏まえると、置き方はおのずと決まってくるでしょう。
まず順番を入れ替えた2回の判定を取り、結果が一致したものだけを採用する運用にすると、位置バイアスの影響を測れます。
次に、採点基準を「良い/悪い」ではなく観点ごとの短いチェックリストに分解すると、冗長性に引きずられにくくなるはず。
評価対象と採点役には別系統のモデルを使い、自己強化バイアスの経路を塞いでおくのも定石。
そして少数でよいので人手の正解セットを残し、モデル判定との一致率を定期的に測ることが要ります。
採点者が壊れていないかを確かめる物差しが無いと、評価そのものが静かに腐っていくのですね。
RAG のように検索と生成が混ざる仕組みでは、どの工程を採点しているのかを先に分けておきたいところ。
人間の選好でモデルを整える RLHF とは、選好データを「集める側」と「使う側」という関係にあります。
最後に
LLM-as-a-Judge は、採点役を人からモデルへ置き換えて評価を回し続けるための手法です。
人間との一致率は8割を超える一方、位置・冗長性・自己強化という3つのバイアスと推論能力の限界が同時に報告されています。
順番の入れ替え、観点の分解、採点役の分離、そして人手の正解セット。
この4つを置いてから使えば、評価の速度と信頼性を両立させやすくなります。
以上です。
コメントを残す