同じ LLM でも、どのソフトで動かすかによって、1 台の GPU でさばける依頼の数や応答の速さは大きく変わります。
学習済みのモデルを受け取り、依頼に応じて答えを返す部分を受け持つのが、推論エンジンと呼ばれるソフトです。
2026年10月には DeepSeek が、自社の本番サービスを支える推論の仕組みを DeepInfer として GitHub で公開しました。
中の仕組みが分かると、API の料金表にあるキャッシュの割引の意味や、手元の PC と GPU サーバーでどのソフトを選ぶかにも説明がつきます。
推論エンジンとは
推論エンジンは、学習済みのモデルの重みを GPU などに載せ、届いた依頼をまとめて計算し、生成したトークンを返すためのソフトです。
推論サーバーやサービングフレームワークとも呼ばれ、代表的なものに vLLM・SGLang・TensorRT-LLM・llama.cpp・Ollama があります。
モデルを作る段階が学習なら、できたモデルを使って答えを出す段階が推論にあたります。
推論エンジンが受け持つ仕事は、大きく分けて次の 4 つです。
- 依頼を受け付ける API の窓口(多くは OpenAI 互換)
- どの依頼をいつ計算するかを決めるスケジューラー
- GPU のメモリ、特に KV キャッシュの置き場所の管理
- 行列の計算やアテンションを速く回す専用の部品(カーネル)
たとえば vLLM の README は、自らを LLM の推論とサービングのためのライブラリと説明しています。
OpenAI 互換の API サーバーに加えて、Anthropic の Messages API の形式にも対応しています。
モデルの重みが同じでも、推論エンジンの作りしだいで速さと費用が変わると考えると、この先の話がつながります。
参考: vLLM(GitHub)
なぜ専用のソフトが要るのか
LLM の生成は、入力を読み込む段階と、答えを 1 トークンずつ書き出す段階に分かれます。
前者はプレフィル、後者はデコードと呼ばれる段階です。
Sarathi-Serve の論文は、プレフィルは入力全体を並列に処理するので GPU の計算能力を使い切ると説明しています。
一方のデコードは、1 回の計算で 1 つの依頼につき 1 トークンしか進まないため、計算能力が余ります。
そのため、多くの依頼のデコードを 1 回の計算に束ねるバッチ処理がよく効きます。
ところが、束ねる数を増やそうとすると、今度はメモリが壁になりました。
生成中の依頼はそれぞれ、過去のトークンの計算結果を KV キャッシュとして GPU のメモリに持ち続けるからです。
vLLM の開発チームのブログには、LLaMA-13B では 1 つの依頼の KV キャッシュが最大 1.7GB になり、しかもその大きさは事前に読めないと書かれています。
同じブログは、LLM の配信の性能を縛っているのはメモリだとまとめています。
KV キャッシュがなぜ文脈とともに膨らむのかは、別の記事で整理しました。
速く安くする主な仕組み
いまの推論エンジンの多くは、計算は余るのにメモリが足りないこの状況に向けて、似た道具をそろえています。
連続バッチング
従来のバッチ処理では、束ねた依頼がすべて書き終わるまで、次の依頼を入れられませんでした。
先に終わった依頼も返せず、新しく届いた依頼は今の束が終わるまで待たされます。
2022年の Orca の論文は、これに対して、1 トークン分の計算ごとに束の中身を組み替える方式を提案しました。
終わった依頼はその場で抜け、空いた枠に新しい依頼が入るので、GPU が遊ぶ時間が減ります。
この方式は連続バッチングと呼ばれ、vLLM の README でも主な機能の 1 つに挙げられています。
PagedAttention
PagedAttention は、KV キャッシュを OS の仮想メモリのページのように、決まった大きさのブロックに分けて管理する仕組みです。
従来の方式は KV キャッシュを連続した領域に置いて多めに確保していたため、細切れの隙間や使われない予約が生まれていました。
vLLM のブログによると、既存のシステムはこの細切れと予約のせいで、メモリの 60〜80% を無駄にしていました。
PagedAttention ではブロックを必要になった時点で割り当てるので、無駄が出るのは各依頼の最後のブロックだけです。
その結果、無駄は 4% 未満に収まったと報告されています。
空いたメモリで束ねる依頼を増やせるため、論文では同じ程度の遅延のまま、FasterTransformer や Orca に比べてスループットが 2〜4 倍になりました。
同じ入力から複数の答えを作るときに、共通部分のブロックを複数の答えの間で共有できるのも利点です。
プレフィックスキャッシュ
多くの依頼が同じシステムプロンプトや資料で始まるなら、その部分の KV キャッシュを使い回せます。
vLLM は、ブロックの中身のトークンと手前のトークンからハッシュを作り、同じ先頭部分を持つ依頼の間でブロックを再利用する作りです。
SGLang は RadixAttention という名前で、トークン列と KV キャッシュの対応を radix tree に持ち、使われていないものから捨てる LRU の方式で管理しています。
vLLM のドキュメントは、プレフィックスキャッシュはモデルの出力を変えないので、OpenAI や Anthropic などの公開 API でも広く使われていると説明しています。
API の料金表にあるプロンプトキャッシュも、先頭が一致する部分の計算を省く仕組みです。
参考: vLLM ドキュメント「Automatic Prefix Caching」
チャンク化プレフィル
長い入力のプレフィルが途中に入ると、すでに書き出し中の依頼の次のトークンが遅れます。
チャンク化プレフィルは、長いプレフィルをほぼ同じ大きさに切り分け、デコードの依頼と一緒に束ねる方法で、Sarathi-Serve の論文が提案しました。
vLLM の V1 ではできる限り既定で有効になっていて、待っているデコードを先に束ねてから、残りの枠にプレフィルを入れる順番で動きます。
プレフィルとデコードの分離
さらに進めて、プレフィルとデコードを別々の GPU に受け持たせる構成もあります。
DistServe の論文は、2 つの段階を同じ GPU に同居させると互いに邪魔をし、並列化の設定も共通にせざるを得ないと指摘しました。
分けておけば、最初のトークンが出るまでの時間(TTFT)と、トークンを 1 つ出すごとの時間を、それぞれ別に調整できます。
DistServe は、9 割を超える依頼で遅延の条件を守ったまま、既存のシステムに比べて 7.4 倍の依頼をさばけたと報告しています。
量子化と投機的デコーディング
ここまでがメモリと順番の工夫だとすると、計算そのものを軽くする道具もあります。
量子化は、重みの数値を FP8 や INT4 のような少ないビット数で持ち、メモリと計算を減らす方法です。
vLLM は FP8・INT8・INT4・GPTQ・AWQ・GGUF などの形式に対応しています。
投機的デコーディングは、軽い方法で数トークン先を下書きし、本命のモデルでまとめて答え合わせをして、1 回の計算で進むトークンを増やす方法です。
主な推論エンジンの違い
次の表は、2026年10月22日に各プロジェクトの GitHub の README とドキュメントで確かめた内容です。
| 名前 | 開発 | 主な特徴 | 動く環境 |
|---|---|---|---|
| vLLM | UC Berkeley 発のコミュニティ | PagedAttention・連続バッチング・OpenAI 互換のサーバー | NVIDIA・AMD・Intel の GPU、CPU、プラグインで TPU など |
| SGLang | LMSYS | RadixAttention・エージェント的な使い方や大規模な配信向け | NVIDIA・AMD・Google TPU・Intel・Apple Silicon・Huawei Ascend など |
| TensorRT-LLM | NVIDIA | 専用カーネル・プレフィルとデコードの分離・Python の LLM API | NVIDIA の GPU |
| llama.cpp | ggml-org | 依存のない C/C++・1.5〜8 ビットの量子化・CPU と GPU の併用 | CPU・Apple Silicon・NVIDIA・AMD など |
| Ollama | Ollama | ollama run でモデルの取得と起動・OpenAI 互換の API | macOS・Windows・Linux(バックエンドは llama.cpp) |
vLLM と SGLang は、多くの依頼を同時にさばく GPU サーバーを想定した作りです。
llama.cpp と Ollama は、手元の PC で 1 人が使う場面から始めやすくなっています。
llama.cpp にも llama serve という OpenAI 互換のサーバーがあり、Ollama の README は対応するバックエンドとして llama.cpp を挙げています。
参考: SGLang(GitHub)
DeepSeek の DeepInfer
DeepInfer は、DeepSeek が自社の大規模な本番サービスで使っている推論の仕組みを、オフライン推論の形で公開したものです。
README によると、対応するモデルは DeepSeek-V4.1-Flash だけで、動くハードは NVIDIA の SM100 世代の GPU と Huawei の Ascend 950 です。
完全な推論サービスに必要なのに今回の公開には含まれないものとして、README は次の 3 つを挙げています。
- KV キャッシュの保存の仕組み
- プレフィルとデコードなどの段階の分離(エンジン側に要る機能の大半は実装済みとの注記つき)
- 複数の複製の間での負荷分散
一方で、束ね方が変わっても結果が同じになるモードや、下書きのトークンでデコードを速める仕組みは含まれています。
README の謝辞には、もともと主に vLLM の上に作られたと書かれていました。
モデルを作った会社の推論基盤でも、オープンソースの推論エンジンを土台に作られたことが分かります。
ライセンスは Apache 2.0 です。
参考: DeepInfer(GitHub)
使う側から見た選び方
推論エンジンとの付き合い方は、API で使うか、自分で動かすかで変わります。
API で使う人
API で LLM を使う人は、推論エンジンを自分で選びません。
それでも、料金や速さの見え方には推論エンジンの仕組みが表れます。
- プロンプトキャッシュの割引は、先頭が同じ依頼の計算を省けることに対応している
- 最初のトークンが出るまでの時間は主にプレフィル、出始めてからの速さは主にデコードの性能に左右される
- 急がない大量の依頼は、OpenAI や Anthropic のバッチ API に回すと料金が通常の半額になる
速さを比べるときは、最初のトークンまでの時間と、出始めてからの速さを別の数字として見るのが確実です。
自分で動かす人
自分でモデルを動かすなら、何人が同時に使うかと、どの GPU があるかで候補が絞れます。
- 手元の PC で自分 1 人が試す: Ollama か llama.cpp(量子化したモデルを CPU と GPU の両方で動かせる)
- GPU サーバーで多くの依頼を同時にさばく: vLLM か SGLang(連続バッチングと KV キャッシュの管理が効く)
- NVIDIA の GPU に絞って性能を詰める: TensorRT-LLM
- 使いたいモデルが決まっている: 各エンジンの対応モデルの一覧を先に確かめる
Windows で Ollama を動かす手順は、別の記事にまとめています。
重みを手元に置けるモデルの利用条件は、オープンウェイトモデルの記事で整理しました。
つまずきやすいところ
最後に、動かし始めてから気づきやすい点を 4 つ挙げます。
Ollama は既定で同時に1件しか処理しない
Ollama の FAQ によると、1 つのモデルが同時に処理する依頼の数を決める OLLAMA_NUM_PARALLEL の既定値は 1 です。
この値を上げると、並列の数に比例してコンテキストのぶんのメモリが増えます。
FAQ の例では、2K のコンテキストで 4 件を並列にすると、8K のコンテキストとしてメモリを確保します。
待ち行列の上限 OLLAMA_MAX_QUEUE は既定で 512 件で、それを超えた依頼には 503 のエラーが返ります。
複数の人やプログラムから同時に呼ぶなら、この 2 つの設定を先に確かめておくと安心です。
参考: Ollama FAQ
KVキャッシュが足りないと計算のやり直しが起きる
vLLM は、KV キャッシュの空きが足りなくなると、一部の依頼を一時的に外し、空きができたときに計算し直します。
この横取りはプリエンプションと呼ばれ、頻繁に起きると全体の遅延が悪くなります。
ドキュメントは対策として、gpu_memory_utilization を上げる、同時に処理する数(max_num_seqs など)を下げる、モデルを複数の GPU に分けて KV キャッシュの空きを増やす、などを挙げています。
参考: vLLM ドキュメント「Optimization and Tuning」
同じ入力でも束ね方で結果がそろわないことがある
vLLM のドキュメントは、既定のモードを非決定的と呼んでいます。
出力を束の大きさや並び順に左右されないようにするバッチ不変のモードは別に用意されていて、まだベータの段階です。
有効にすると、既定のモードより性能が落ちる場合があるとも書かれています。
評価やテストで答えの再現性が要るときは、既定のままでは同じ入力でも結果がそろうとは限りません。
DeepInfer にも同じ目的のモードがあり、README では NVIDIA の GPU に限ると書かれていました。
分離はスループットを上げる道具ではない
vLLM のドキュメントは、プレフィルとデコードの分離を実験的な機能としたうえで、スループットは上がらないと明記しています。
目的は、最初のトークンまでの時間とトークンごとの遅延を別々に調整することと、遅延の悪いほうの裾を抑えることです。
1 台の GPU で多くの依頼をさばきたいだけなら、連続バッチングとチャンク化プレフィルの既定の動きを先に確かめるほうが近道でしょう。
参考: vLLM ドキュメント「Disaggregated Prefilling」
最後に
推論エンジンは、学習済みのモデルを依頼に応じて動かし、答えを返すソフトです。
LLM の生成では計算よりメモリが先に足りなくなるので、連続バッチングや PagedAttention、プレフィックスキャッシュといった仕組みが速さと費用を左右します。
手元で 1 人なら Ollama や llama.cpp、多くの依頼をさばくなら vLLM や SGLangという分け方を起点に、使うモデルと GPU に合うかを確かめると選びやすくなります。
以上です。
















コメントを残す