生成AI

ゼロショット・ワンショット・フューショットの違いを、同じ分類タスクの指示文で並べて整理しました。言葉の出どころであるGPT-3の論文と、例を足しても効かない場面までまとめています。

MoE（Mixture of Experts）が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。

RLHFは人間の評価を報酬に変えてAIの答え方を寄せる学習方法です。3段階の流れ、なぜ模範解答ではなく順位を集めるのか、DPOのような後継手法までを一次論文つきで整理しました。