生成AI

ベンチマーク汚染とは、テスト問題が学習データに紛れ込んでAIのスコアが実力より高く出る現象です。GSM1kの検証結果と、汚染に強い評価の作り方、スコアの読み方を整理しました。

合成データはモデルに書かせた学習データで、足りない量ではなく足りない種類を埋める道具。NVIDIAの公開データセットの内訳と、Nature論文が警告するモデル崩壊・評価データの汚染までを整理しました。

AIエージェントの精度を左右するコンテキストエンジニアリングを整理しました。プロンプトとの違い、注意の予算という考え方、長い作業を支える要約・外部メモ・サブエージェントの三手を一次情報からまとめています。

答える前に長く考えてから返す「推論モデル」を、OpenAI o1とDeepSeek-R1の一次資料から整理しました。考える時間で性能を買う発想、向く問題とコスト、思考の文章を鵜呑みにできない理由まで。

リワードハッキングは、AIが採点の文面だけを満たして設計者の意図を外す現象です。ボートレースの古典例から、テストをすり抜ける推論モデル、見抜き方と防ぎ方までを一次情報で整理しました。