生成AI

ReActは推論と行動を交互に繰り返させるプロンプトの型です。ICLR2023の論文が示した仕組みと効果、いまのエージェント実装に残っているループと落とし穴を整理しました。

LLMアプリのガードレールを整理しました。モデルの外側に検査を置く発想、入力から出力までの5段階、ルール判定と判定用モデルの違い、そして防げない領域までを一次情報つきでまとめています。

アテンションが実際に何を計算しているのかを、Q・K・V とマルチヘッドの役割から整理しました。並列化が効く理由と、長い文脈でコストが跳ね上がる理由が、同じ構造から出てくる話です。

LLMの生成が遅いのはメモリ帯域が原因。小さなドラフトモデルに数トークン先読みさせ、本命モデルがまとめて検証する投機的デコーディングの仕組みと、出力分布が変わらない理由、効かない場面を整理しました。