LLM

MoE（Mixture of Experts）が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。

RLHFは人間の評価を報酬に変えてAIの答え方を寄せる学習方法です。3段階の流れ、なぜ模範解答ではなく順位を集めるのか、DPOのような後継手法までを一次論文つきで整理しました。

Chain of Thought（思考の連鎖）の基本を整理しました。途中の推論を書かせるとなぜ精度が上がるのか、Few-shotとZero-shotの書き分け、推論モデル時代の位置づけとコスト面の落とし穴までをまとめます。

生成AIのパラメータ top_k と top_p は、次の1語の候補をどこまで残すかを決めるつまみです。個数で切るか確率の総量で切るかの違いと、同じしきい値でも残る候補数が変わる理由を、実際に計算した数値で整理しました。

AIの蒸留（ディスティレーション）を整理しました。教師モデルの確率分布を手本に小さな生徒モデルを訓練する仕組み、ファインチューニングや量子化との違い、モデル選びで気をつけたい点まで一次資料つきでまとめます。

AIの回答が毎回ぶれるのは temperature という設定のせい。回答のランダムさを決めるこのつまみの仕組みと、正確さ重視は低め・発想重視は高めという使い分けを整理しました。