AI を使うアプリが増えると、OpenAI・Anthropic・Google など複数の会社の API を同時に呼ぶ場面が出てきます。
そのたびに API の鍵がアプリごとに配られ、使った量やログも別々の画面に散らばっていきます。
アプリと各社の API の間に中継の層を 1 枚はさみ、この散らばりをまとめるのが LLM ゲートウェイです。
製品によっては「AI ゲートウェイ」とも呼ばれます。
2026年10月21日には、代表的な LLM ゲートウェイの LiteLLM で、認証情報を盗むコードが入った版が配布される事件が起きました。
ゲートウェイが何を受け持ち、どこに気をつければよいかが分かると、この事件が重く受け止められた理由にも説明がつきます。
LLMゲートウェイとは
LLM ゲートウェイは、アプリから LLM への呼び出しをまとめて受け取り、各社の API へ中継するサーバーです。
LiteLLM の公式ドキュメントは、自社のゲートウェイを「100 を超える LLM プロバイダに対して、OpenAI 互換の 1 つの窓口を用意するセルフホストのサーバー」と説明しています。
アプリが持つのは、ゲートウェイの URL と、ゲートウェイが発行した鍵だけになります。
各社の本物の API キーはゲートウェイの側に置かれ、アプリには配られません。
Web の世界には以前から、API の手前で認証や流量の制限をまとめて受け持つ「API ゲートウェイ」があります。
LLM ゲートウェイは、その考え方をトークン単位の課金やモデルの切り替えといった LLM の事情に合わせたものです。
実際に Azure の API Management は、AI ゲートウェイを既存の API ゲートウェイを広げた機能と位置づけ、別の製品ではないと書いています。
リクエストはどう流れるか
1 回の呼び出しは、おおむね次の順でゲートウェイを通ります。
- アプリが、ゲートウェイの URL へゲートウェイの鍵を付けて送る
- ゲートウェイが鍵を確かめ、そのチームや利用者の上限に収まるかを見る
- 宛先の会社の形式に直し、本物の API キーを付けて送る
- 返ってきた応答を、アプリが待っている形式にそろえて返す
- かかった費用と、要求と応答の記録を残す
LiteLLM の場合、アプリに返す形式は OpenAI の API の形にそろえられます。
そのため、アプリ側の変更は小さく済みます。
次のコードは、LiteLLM の公式ドキュメントにある呼び出し例を短くしたものです。
import openai
client = openai.OpenAI(
api_key="sk-your-virtual-key", # ゲートウェイが発行した仮想キー
base_url="http://localhost:4000", # ゲートウェイの URL
)
response = client.chat.completions.create(
model="gpt-6-luna", # ゲートウェイに登録したモデル名
messages=[{"role": "user", "content": "Write a short poem"}],
)
# 略(応答の表示)
OpenAI の SDK の接続先と鍵を差し替えているだけで、各社の本物の鍵はコードのどこにも出てきません。
ゲートウェイが受け持つこと
製品ごとに機能の名前は違いますが、受け持つ仕事はだいたい共通しています。
| 仕事 | 中身 |
|---|---|
| 鍵の管理 | 本物の API キーを 1 か所に置き、利用者やチームには仮想キーを配る |
| 上限 | リクエスト数・トークン数・金額の上限を、キーやチーム、モデルごとに決める |
| 費用の集計 | 1 回ごとの費用を記録し、キーやチームごとに合計する |
| ログ | 要求と応答、所要時間、エラーを記録し、監視の道具へ送る |
| フォールバック | ある会社の API が失敗したとき、再試行したり別のモデルへ切り替えたりする |
| キャッシュ | 同じ要求には、保存しておいた応答を返す |
| ガードレール | 個人情報の伏せ字や有害な内容の検査を、要求と応答にかける |
鍵の管理について、Kong の公式ドキュメントは使い道の一つに「プロバイダの認証情報を 1 か所に集め、各チームの設定に触らずに作り直せるようにする」を挙げています。
鍵を作り直すたびに全アプリの設定を書き換える必要がなくなるのは、鍵を 1 か所に集める大きな利点です。
上限と費用の集計は、複数のアプリが同じ契約の枠を取り合う問題に効きます。
Azure の公式ドキュメントは、1 つのアプリが 1 分あたりのトークン枠を使い切り、ほかのアプリを止めてしまう事態をトークンの上限で防ぐ例を挙げています。
ログについては、呼び出しの中身をトレースで追う LLM オブザーバビリティの記事で詳しく書きました。
ゲートウェイの多くは、要求の中身や条件に応じて送り先のモデルを選ぶルーティングも持っています。
たとえば Cloudflare の AI Gateway には、期待される品質と費用をはかりにかけて、要求ごとに送り先のモデルを選ぶ Auto Router があります。
ルーティングの考え方そのものは、別の記事にまとめてあります。
代表的な製品
LLM ゲートウェイには、自分のサーバーで動かすオープンソースと、クラウドのサービスとして使うものがあります。
| 製品 | 形 | 公式の説明にある主な機能 |
|---|---|---|
| LiteLLM | オープンソース・自分で動かす | 100 以上のプロバイダを OpenAI 互換の 1 つの窓口に。仮想キー・予算・費用の集計・管理画面 |
| Portkey AI Gateway | オープンソース・自分で動かすかホスト版 | 自動の再試行とフォールバック、負荷分散、ガードレール |
| Cloudflare AI Gateway | Cloudflare のサービス | 分析とログ、キャッシュ、レート制限、費用の上限。全プランで利用可 |
| Kong AI Gateway | Kong の製品(Konnect で管理・セルフホストも可) | LLM・MCP・A2A の通信を 1 つの制御面で管理 |
| Azure API Management | Azure の API 管理の機能 | トークンの上限、負荷分散、ログ。複数社のモデルを 1 つの窓口にまとめる unified model API はプレビュー |
AWS は、LiteLLM を ECS か EKS の上で動かすゲートウェイの構成例を、ガイダンスとして公開しています。
各製品の説明は、次の公式ページで読めます。
参考: LiteLLM AI Gateway(公式ドキュメント)
参考: Portkey AI Gateway(GitHub)
参考: Cloudflare AI Gateway(公式ドキュメント)
参考: Kong AI Gateway(公式ドキュメント)
参考: AI gateway in Azure API Management(Microsoft Learn)
参考: Guidance for Multi-Provider Generative AI Gateway on AWS
どんなときに入れるか
LiteLLM の公式ドキュメントは、ゲートウェイと Python の SDK の使い分けを次のように書いています。
- 複数のアプリや人が LLM を呼ぶとき、または仮想キー・費用の集計・1 か所のログ・ガードレールが要るときはゲートウェイ
- 1 つの Python アプリから呼ぶだけで、こうした管理が要らないときは SDK
個人で 1 つのアプリから 1 社の API を呼んでいるうちは、ゲートウェイを足すと管理するサーバーが 1 つ増えるだけです。
チームやアプリが増え、誰がいくら使ったのか、鍵がどこにあるのかを追えなくなってきたら、入れることを考える時期でしょう。
鍵が集まる場所になる
ゲートウェイを入れると、散らばっていた鍵が 1 か所に集まります。
管理はしやすくなる一方で、そこが破られると全部の鍵が一度に漏れる場所にもなります。
ゲートウェイは便利な中継であると同時に、組織の AI の守りの要でもあります。
ゲートウェイが抱えるものは、主に次の 3 つです。
- 各社の本物の API キー
- 利用者に配った仮想キーと、その設定を保存するデータベース
- 要求と応答の記録(プロンプトや出力の中身を含むことがある)
入れるときは、次の点を確かめておくと安心です。
- 管理画面と API を、インターネットにそのまま出さない
- 使う版を固定し、
latestのような動くタグやpip install -Uで本番を更新しない - 要求と応答の本文をどこまで記録するかを決め、ログに秘密が残らないようにする
- ゲートウェイ自体の脆弱性情報を追い、修正版は中身を確かめてから上げる
- ゲートウェイが止まると全部の AI の呼び出しが止まるので、複数台で動かす
LiteLLM の GitHub には、2026年10月23日の時点で 17 件の security advisory が公開されていて、認証の回避や権限の昇格も含まれます。
鍵を預かるソフトである以上、どの製品でも脆弱性の修正を追い続けることが前提になります。
鍵をコードに書かずに管理する方法は、シークレット管理の記事で扱っています。
LiteLLMの1.107.0で起きたこと
2026年10月21日、LiteLLM のリリースの仕組みが乗っ取られ、悪意のあるコードを含む 1.107.0 が配布されました。
以下は、LiteLLM の公式ブログの事故報告にもとづく内容です(10月23日に確認)。
- PyPI の
litellm==1.107.0は、UTC 11:39〜13:23(日本時間 20:39〜22:23)のおよそ 2 時間公開されていた - Docker のイメージ(
v1.107.0・latest・main-latest・main-stable)は、UTC 11:46 から最長で 14:20(日本時間 23:20)まで感染した版を指していた - 中身は、認証情報を盗み、外からコードを取ってきて動かす道具を読み込むマルウェアだった
- GitHub の公式のタグのソースに悪いファイルは無く、攻撃者が用意した似た名前のリポジトリからビルドされていた
- 該当の版は取り下げられ、公式は 1.106.2 などそれ以前の版に固定するよう案内している
公式は、版を固定せずに pip で該当の時間帯に入れた環境と、該当の時間帯に上の 4 つのタグの Docker イメージを使った環境が影響を受けると書いています。
1.106.2 などそれ以前の版に固定していた環境は、この配布の影響を受けていません。
ゲートウェイの話として重いのは、公式が影響を受けた環境に作り直しを求めた鍵の一覧です。
- LiteLLM のプロキシのデータベースに入れた、すべてのプロバイダの鍵
- マスターキーと仮想キー
- データベースの接続パスワード
- ホスト上のプロセスの環境変数にあった秘密
- インスタンスに付けた IAM ロール
1 つのソフトの版が汚染されただけで、そこに預けていた鍵をすべて作り直すことになります。
公式の報告は、攻撃者がインターネットに出ていた社内の LiteLLM の環境に入り、そのログから開発者の GitHub の認証トークンを得たとみています。
その環境にどうやって入ったのかは、10月21日の更新の時点でまだ確かめている途中とされていました。
前の節で挙げた「版を固定する」「管理画面を外に出さない」「ログに秘密を残さない」は、どれもこの件にそのまま当てはまります。
参考: Contained: Oct 21, 2026 LiteLLM release v1.107.0 Compromised(LiteLLM 公式ブログ)
最後に
LLM ゲートウェイは、複数の AI の API を 1 つの口にまとめ、鍵・上限・ログ・費用・フォールバックを 1 か所で受け持つ中継層です。
1 つのアプリから 1 社を呼ぶうちは要りませんが、使う人とアプリが増えるほど効いてきます。
その代わり、ゲートウェイは組織の AI の鍵がすべて集まる場所になります。
入れるなら、便利さと同じだけ守りにも手をかける前提で選ぶことが大切です。
以上です。














コメントを残す