生成AI

Chain of Thought（思考の連鎖）の基本を整理しました。途中の推論を書かせるとなぜ精度が上がるのか、Few-shotとZero-shotの書き分け、推論モデル時代の位置づけとコスト面の落とし穴までをまとめます。

生成AIのパラメータ top_k と top_p は、次の1語の候補をどこまで残すかを決めるつまみです。個数で切るか確率の総量で切るかの違いと、同じしきい値でも残る候補数が変わる理由を、実際に計算した数値で整理しました。

AIの蒸留（ディスティレーション）を整理しました。教師モデルの確率分布を手本に小さな生徒モデルを訓練する仕組み、ファインチューニングや量子化との違い、モデル選びで気をつけたい点まで一次資料つきでまとめます。

AIの回答が毎回ぶれるのは temperature という設定のせい。回答のランダムさを決めるこのつまみの仕組みと、正確さ重視は低め・発想重視は高めという使い分けを整理しました。

生成AIで必ず出てくる「トークン」という単位を整理します。1トークンの目安、料金とコンテキスト上限に効く理由、日本語が英語より重くなる仕組みまで、順番に解説します。