KVキャッシュの分離とは?他人の応答が混ざった事故の仕組み

KVキャッシュの分離とは?他人の応答が混ざった事故の仕組み

2026年10月26日、Cloudflare が Workers AI の事故報告を公開しました。

GLM-5.3 というモデルで、ある顧客への応答に、直前に同じモデルを使った別の顧客のデータが混ざっていたという内容です。

影響を受けた応答は155件で、すべて681,280トークンを超える長いプロンプトへの応答でした。

原因は、LLM が計算の途中結果をためておく KV キャッシュの扱いにありました。

推論サービスで「他人のデータが見えない」ことがどこで守られていて、どこで崩れうるのかが分かると、使う側も運用する側も確かめる場所がはっきりします。

参考: Cloudflare のブログ「Cross-request KV cache exposure in the GLM-5.3 Workers AI model」

Cross-request KV cache exposure in the GLM-5.3 Workers AI model, and our remediation with SGLang

KVキャッシュの分離とは

KV キャッシュは、LLM がすでに読んだトークンの計算結果を GPU のメモリに置いておき、次のトークンを出すたびに読み直す仕組みです。

KVキャッシュとは?LLMが長い文脈で重くなる仕組みを整理

推論エンジンは、このメモリを決まった大きさのページに区切り、共有のプールとして多くのリクエストに貸し出しています。

Cloudflare の説明では、ページはリクエストの合間にゼロで消されず、次に割り当てられたリクエストが上書きするだけです。

速さのためによく使われるやり方ですが、そのぶん「どのページがどのリクエストのものか」をエンジンが正しく管理する責任を負います。

KV キャッシュの分離とは、あるリクエストが自分の書いたページ以外を読まないようにすることです。

この分離が崩れる道筋は、大きく2つあります。

  • メモリの使い回しの不具合で、他人の途中結果をそのまま読んでしまう
  • 共有のキャッシュに当たったかどうかが応答の速さに出て、他人のプロンプトを推測される

Cloudflare の事故で何が起きたか

今回の事故は1つ目の道筋で、設定のずれとエンジンの不具合の2つが重なって起きました。

前提になる構成

Workers AI は GLM-5.3 を、オープンソースの推論エンジン SGLang の分離構成で動かしていました。

プロンプトを読む GPU(プリフィル側)が KV キャッシュを作り、Mooncake という転送の仕組みで、応答を作る GPU(デコード側)に渡す形です。

推論エンジンとは?LLMを速く安く動かす仕組みと選び方

設定のずれ

モデルの文脈の長さは1,048,576トークンに設定されていたのに、プリフィル側の KV プールには681,280トークン分しか入りませんでした。

SGLang は、重みを読み込んだあとに残った GPU メモリからプールの大きさを起動時に決めます。

文脈の長さは別の設定値なので、2つがそろっているかは運用する側が確かめるしかありません。

Cloudflare はこのずれを公開前から知っていましたが、エンジンが収まらないプロンプトをエラーで返すと考えていました。

長い文脈の試験では HTTP の応答コードと性能だけを見ていて、出力の中身までは確かめていなかったと書いています。

エンジンの不具合

SGLang は、プールに収まらないプロンプトを「拒否」と記録し、中身を1トークンの仮のプロンプトに差し替えていました。

1台で動かす構成なら、この仮のプロンプトが流れたあとに利用者へエラーが返ります。

ところが分離構成では、プリフィル側もデコード側も「終わったか」だけを見て、「拒否されたか」を見ていませんでした。

その結果、次の順で処理が進みました。

  1. デコード側が、本来のプロンプトの長さに合わせてページを予約する(報告の図の例では8ページ)
  2. プリフィル側が、仮の1トークンだけを計算する
  3. プリフィル側が1ページ分だけを送り、「転送完了」を伝える
  4. デコード側は8ページすべてを読みながら応答を作る

残りの7ページには、前のリクエストが残した他人のプロンプトや途中の生成結果が入ったままでした。

利用者には400ではなく200が返り、応答の文章も破綻していなかったので、外からは気づきにくい壊れ方です。

エラーにならず、それらしい答えが返ってくることが、この種の不具合の怖いところでしょう。

経緯

Cloudflare の報告にある時系列のうち、主なものを抜き出しました(時刻は UTC)。

日付出来事
8月27日GLM-5.3 を公開(このときから問題があった)
9月8日 23:11HackerOne 経由で研究者から報告
9月9日 14:00モデルを非公開にし、リクエストに400を返す
9月9日 19:40設定と修正済みのエンジンで公開を再開
10月19日SGLang v0.5.22 を公開
10月26日Cloudflare・SGLang が同時に公表

Cloudflare は、検証用を除いたリクエストは通常の長文の利用と同じ傾向で、意図的に悪用された証拠は見つからなかったとしています。

SGLang 側も同じ日に、仕組みと修正を説明する記事を出しました。

参考: SGLang のブログ「SGLang security update: improving request isolation」

SGLang security update: improving request isolation

もう1つの漏れ方、共有キャッシュのタイミング

2つ目の道筋は、キャッシュの共有そのものから生まれます。

同じ前置きのプロンプトの KV キャッシュを使い回すと、2回目以降は応答が速くなります。

この速さの差を外から測れば、「誰かが最近このプロンプトを送った」ことを推測できてしまいます。

ICML 2025 に採択された論文は、監査した時点で、OpenAI を含む7つの API 提供元が利用者をまたいでキャッシュを共有していたことを統計的に検出したと報告しました。

参考: 論文「Auditing Prompt Caching in Language Model APIs」(arXiv)

対策は、キャッシュを共有してよい範囲を決めて、その外とは使い回さないことです。

vLLM には cache_salt という指定があり、同じ値を付けたリクエストどうしでしかキャッシュを使い回さないようにできます。

参考: vLLM ドキュメント「Automatic Prefix Caching」

Anthropic のドキュメントは、プロンプトキャッシュは組織の間で共有されず、Claude API では同じ組織の中でもワークスペースごとに分かれると書いています。

一方で、Amazon Bedrock と Google Cloud 経由の Claude は組織の単位での分離だと明記されています(2026年10月28日に確認)。

参考: Claude ドキュメント「Prompt caching」

Prompt caching

運用する側が確かめること

SGLang の分離構成を自分で動かしている人に向けて、Cloudflare は次のことを勧めています。

  • すべてのプリフィル側とデコード側で、起動ログに出る KV プールの大きさを文脈の長さと比べる。重み・量子化・並列化・メモリの割合を変えるたびに測り直す
  • SGLang を v0.5.22 以降に上げ、長すぎるリクエストが受け渡しの前に拒否されるようにする
  • KV の解放を遅らせる設定を両側で有効にし、Mooncake の転送のまとまりに上限を付ける
  • 対応するモデルでは、転送した KV のチェックサムを確かめる --disaggregation-enable-kv-checksum を有効にする
  • 手前のロードバランサーが、不要な中断を起こさないようにする

最初の項目について、Cloudflare は「私たちが守らせていなかった確認」だと書いています。

プールの大きさは設定値ではなく、起動するたびに残りのメモリから決まるので、構成を変えるたびに数字を見直す必要があります。

Cloudflare は公開を再開する前に、研究者の再現スクリプトと、目印の文字列を仕込んだ試験の両方で修正を確かめています。

使う側が見ておくこと

API で LLM を使うだけの人は、推論エンジンの設定に手を出せません。

それでも、キャッシュや保存がどの単位で分かれているかは、提供元のドキュメントで確かめられます。

組織ごとなのか、ワークスペースやプロジェクトごとなのかで、同じ会社の別チームとの関係も変わってきます。

今回の Cloudflare のように、事故を時系列と原因つきで公表する提供元かどうかも、選ぶときの材料になります。

最後に

KV キャッシュの分離は、共有のメモリを多くのリクエストで使い回す推論サービスが、他人のデータを見せないための約束です。

Cloudflare の事故では、文脈の長さとプールの大きさのずれに、拒否したリクエストを分離構成で止めきれない不具合が重なり、他人の途中結果が応答に混ざりました。

速さのための共有には、メモリの使い回しとタイミングの差という2つの漏れ道があると知っておくと、提供元の説明や事故報告を読むときに役立ちます。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA