生成AI

生成AIのパラメータ top_k と top_p は、次の1語の候補をどこまで残すかを決めるつまみです。個数で切るか確率の総量で切るかの違いと、同じしきい値でも残る候補数が変わる理由を、実際に計算した数値で整理しました。

AIの蒸留（ディスティレーション）を整理しました。教師モデルの確率分布を手本に小さな生徒モデルを訓練する仕組み、ファインチューニングや量子化との違い、モデル選びで気をつけたい点まで一次資料つきでまとめます。

AIの回答が毎回ぶれるのは temperature という設定のせい。回答のランダムさを決めるこのつまみの仕組みと、正確さ重視は低め・発想重視は高めという使い分けを整理しました。

生成AIで必ず出てくる「トークン」という単位を整理します。1トークンの目安、料金とコンテキスト上限に効く理由、日本語が英語より重くなる仕組みまで、順番に解説します。