KVキャッシュとは?LLMが長い文脈で重くなる仕組みを整理
会話が長くなるとAIの応答が重くなるのはなぜか。KVキャッシュが何を保存しているのか、文脈が伸びるとメモリがどれだけ増えるのか、削るための3つの方向までを順番に整理します。
AI会話が長くなるとAIの応答が重くなるのはなぜか。KVキャッシュが何を保存しているのか、文脈が伸びるとメモリがどれだけ増えるのか、削るための3つの方向までを順番に整理します。
AI8月10日〜16日の生成AIの動き。Sonnet 5 の9月値上げ撤回、auto mode の既定化発効、Z.ai が GLM-5.3 の重み公開を先送りした件、国内のフルAI映像CMまでを出典つきでまとめます。
Techwhich でコマンドの場所は分かっても、エイリアスや関数までは見えません。type と command -v との違い、そして hash に引っかかる場面までを、実際の出力を並べて整理しました。
Blog三審制は裁判を3回やり直せる制度ではありません。第一審と控訴審が事実を調べ、上告審は法律の問題だけを審査します。控訴と上告の違い、上告理由が限られる理由、控訴できない少額訴訟の例外まで、裁判所の公式説明をもとに整理しました。
AIChain of Thought(思考の連鎖)の基本を整理しました。途中の推論を書かせるとなぜ精度が上がるのか、Few-shotとZero-shotの書き分け、推論モデル時代の位置づけとコスト面の落とし穴までをまとめます。
Blog「情けは人のためならず」は「その人のためにならない」ではありません。文化庁の調査では本来の意味と誤解がほぼ半々でした。誤解が生まれる文法上の理由と、割れた言葉との付き合い方を整理します。
鳴潮Ver.3.6「幻雲纏いし灯の影、俗世憂いし剣の心」は8月20日配信。御剣飛行と七弦琴の追加、前半の清宵と後半の景燃、そして8月19日12:59で一斉に閉じる鳴潮の集音まで整理しました。
Techstatコマンドの基本をまとめました。ls -lでは分からないinode番号や、atime・mtime・ctimeの違い、-cによる書式指定、シンボリックリンクとハードリンクの見分け方までを実行例つきで整理します。
Blog台風が日本の手前で「く」の字に折れるのはなぜか。貿易風で西へ、太平洋高気圧の縁で北へ、偏西風で東へ、という3つの流れで進路が決まるしくみと、予報円がふくらむ理由を整理しました。
AI生成AIのパラメータ top_k と top_p は、次の1語の候補をどこまで残すかを決めるつまみです。個数で切るか確率の総量で切るかの違いと、同じしきい値でも残る候補数が変わる理由を、実際に計算した数値で整理しました。