MoEとは|47Bのモデルを13B分の計算で動かす
MoE(Mixture of Experts)が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。
AIMoE(Mixture of Experts)が何を節約しているのかを、Mixtral 8x7Bの総47B・活性13Bという数字を手がかりに整理しました。速くなるのは計算で、メモリは減りません。
Techログの日付づけや月末計算で毎回ググっていたdateコマンドを、書式指定・相対日付・エポック秒・タイムゾーンの順に整理しました。GNU coreutils 8.32で実行した出力つきです。
AIRLHFは人間の評価を報酬に変えてAIの答え方を寄せる学習方法です。3段階の流れ、なぜ模範解答ではなく順位を集めるのか、DPOのような後継手法までを一次論文つきで整理しました。
Techダウンロードしたファイルが壊れていないか、2つのファイルが本当に同じかを sha256sum で確かめる方法をまとめました。-c での一括検証、ディレクトリ丸ごとの比較、md5 との使い分けまで、実測した出力つきで整理しています。
AI会話が長くなるとAIの応答が重くなるのはなぜか。KVキャッシュが何を保存しているのか、文脈が伸びるとメモリがどれだけ増えるのか、削るための3つの方向までを順番に整理します。
AI8月10日〜16日の生成AIの動き。Sonnet 5 の9月値上げ撤回、auto mode の既定化発効、Z.ai が GLM-5.3 の重み公開を先送りした件、国内のフルAI映像CMまでを出典つきでまとめます。
Techwhich でコマンドの場所は分かっても、エイリアスや関数までは見えません。type と command -v との違い、そして hash に引っかかる場面までを、実際の出力を並べて整理しました。
Blog三審制は裁判を3回やり直せる制度ではありません。第一審と控訴審が事実を調べ、上告審は法律の問題だけを審査します。控訴と上告の違い、上告理由が限られる理由、控訴できない少額訴訟の例外まで、裁判所の公式説明をもとに整理しました。
AIChain of Thought(思考の連鎖)の基本を整理しました。途中の推論を書かせるとなぜ精度が上がるのか、Few-shotとZero-shotの書き分け、推論モデル時代の位置づけとコスト面の落とし穴までをまとめます。
Blog「情けは人のためならず」は「その人のためにならない」ではありません。文化庁の調査では本来の意味と誤解がほぼ半々でした。誤解が生まれる文法上の理由と、割れた言葉との付き合い方を整理します。