推論エンジンとは?LLMを速く安く動かす仕組みと選び方

推論エンジンとは?LLMを速く安く動かす仕組みと選び方

同じ LLM でも、どのソフトで動かすかによって、1 台の GPU でさばける依頼の数や応答の速さは大きく変わります。

学習済みのモデルを受け取り、依頼に応じて答えを返す部分を受け持つのが、推論エンジンと呼ばれるソフトです。

2026年10月には DeepSeek が、自社の本番サービスを支える推論の仕組みを DeepInfer として GitHub で公開しました。

中の仕組みが分かると、API の料金表にあるキャッシュの割引の意味や、手元の PC と GPU サーバーでどのソフトを選ぶかにも説明がつきます。

推論エンジンとは

推論エンジンは、学習済みのモデルの重みを GPU などに載せ、届いた依頼をまとめて計算し、生成したトークンを返すためのソフトです。

推論サーバーやサービングフレームワークとも呼ばれ、代表的なものに vLLM・SGLang・TensorRT-LLM・llama.cpp・Ollama があります。

モデルを作る段階が学習なら、できたモデルを使って答えを出す段階が推論にあたります。

推論エンジンが受け持つ仕事は、大きく分けて次の 4 つです。

  • 依頼を受け付ける API の窓口(多くは OpenAI 互換)
  • どの依頼をいつ計算するかを決めるスケジューラー
  • GPU のメモリ、特に KV キャッシュの置き場所の管理
  • 行列の計算やアテンションを速く回す専用の部品(カーネル)

たとえば vLLM の README は、自らを LLM の推論とサービングのためのライブラリと説明しています。

OpenAI 互換の API サーバーに加えて、Anthropic の Messages API の形式にも対応しています。

モデルの重みが同じでも、推論エンジンの作りしだいで速さと費用が変わると考えると、この先の話がつながります。

参考: vLLM(GitHub)

GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs

なぜ専用のソフトが要るのか

LLM の生成は、入力を読み込む段階と、答えを 1 トークンずつ書き出す段階に分かれます。

前者はプレフィル、後者はデコードと呼ばれる段階です。

Sarathi-Serve の論文は、プレフィルは入力全体を並列に処理するので GPU の計算能力を使い切ると説明しています。

一方のデコードは、1 回の計算で 1 つの依頼につき 1 トークンしか進まないため、計算能力が余ります。

そのため、多くの依頼のデコードを 1 回の計算に束ねるバッチ処理がよく効きます。

ところが、束ねる数を増やそうとすると、今度はメモリが壁になりました。

生成中の依頼はそれぞれ、過去のトークンの計算結果を KV キャッシュとして GPU のメモリに持ち続けるからです。

vLLM の開発チームのブログには、LLaMA-13B では 1 つの依頼の KV キャッシュが最大 1.7GB になり、しかもその大きさは事前に読めないと書かれています。

同じブログは、LLM の配信の性能を縛っているのはメモリだとまとめています。

KV キャッシュがなぜ文脈とともに膨らむのかは、別の記事で整理しました。

KVキャッシュとは?LLMが長い文脈で重くなる仕組みを整理

速く安くする主な仕組み

いまの推論エンジンの多くは、計算は余るのにメモリが足りないこの状況に向けて、似た道具をそろえています。

連続バッチング

従来のバッチ処理では、束ねた依頼がすべて書き終わるまで、次の依頼を入れられませんでした。

先に終わった依頼も返せず、新しく届いた依頼は今の束が終わるまで待たされます。

2022年の Orca の論文は、これに対して、1 トークン分の計算ごとに束の中身を組み替える方式を提案しました。

終わった依頼はその場で抜け、空いた枠に新しい依頼が入るので、GPU が遊ぶ時間が減ります。

この方式は連続バッチングと呼ばれ、vLLM の README でも主な機能の 1 つに挙げられています。

参考: Orca の論文(USENIX OSDI '22)

PagedAttention

PagedAttention は、KV キャッシュを OS の仮想メモリのページのように、決まった大きさのブロックに分けて管理する仕組みです。

従来の方式は KV キャッシュを連続した領域に置いて多めに確保していたため、細切れの隙間や使われない予約が生まれていました。

vLLM のブログによると、既存のシステムはこの細切れと予約のせいで、メモリの 60〜80% を無駄にしていました。

PagedAttention ではブロックを必要になった時点で割り当てるので、無駄が出るのは各依頼の最後のブロックだけです。

その結果、無駄は 4% 未満に収まったと報告されています。

空いたメモリで束ねる依頼を増やせるため、論文では同じ程度の遅延のまま、FasterTransformer や Orca に比べてスループットが 2〜4 倍になりました。

同じ入力から複数の答えを作るときに、共通部分のブロックを複数の答えの間で共有できるのも利点です。

参考: PagedAttention の論文(arXiv)

プレフィックスキャッシュ

多くの依頼が同じシステムプロンプトや資料で始まるなら、その部分の KV キャッシュを使い回せます。

vLLM は、ブロックの中身のトークンと手前のトークンからハッシュを作り、同じ先頭部分を持つ依頼の間でブロックを再利用する作りです。

SGLang は RadixAttention という名前で、トークン列と KV キャッシュの対応を radix tree に持ち、使われていないものから捨てる LRU の方式で管理しています。

vLLM のドキュメントは、プレフィックスキャッシュはモデルの出力を変えないので、OpenAI や Anthropic などの公開 API でも広く使われていると説明しています。

API の料金表にあるプロンプトキャッシュも、先頭が一致する部分の計算を省く仕組みです。

プロンプトキャッシュとは?API料金を下げる仕組みを整理

参考: vLLM ドキュメント「Automatic Prefix Caching」

チャンク化プレフィル

長い入力のプレフィルが途中に入ると、すでに書き出し中の依頼の次のトークンが遅れます。

チャンク化プレフィルは、長いプレフィルをほぼ同じ大きさに切り分け、デコードの依頼と一緒に束ねる方法で、Sarathi-Serve の論文が提案しました。

vLLM の V1 ではできる限り既定で有効になっていて、待っているデコードを先に束ねてから、残りの枠にプレフィルを入れる順番で動きます。

プレフィルとデコードの分離

さらに進めて、プレフィルとデコードを別々の GPU に受け持たせる構成もあります。

DistServe の論文は、2 つの段階を同じ GPU に同居させると互いに邪魔をし、並列化の設定も共通にせざるを得ないと指摘しました。

分けておけば、最初のトークンが出るまでの時間(TTFT)と、トークンを 1 つ出すごとの時間を、それぞれ別に調整できます。

DistServe は、9 割を超える依頼で遅延の条件を守ったまま、既存のシステムに比べて 7.4 倍の依頼をさばけたと報告しています。

参考: DistServe の論文(arXiv)

量子化と投機的デコーディング

ここまでがメモリと順番の工夫だとすると、計算そのものを軽くする道具もあります。

量子化は、重みの数値を FP8 や INT4 のような少ないビット数で持ち、メモリと計算を減らす方法です。

vLLM は FP8・INT8・INT4・GPTQ・AWQ・GGUF などの形式に対応しています。

量子化とは?AIモデルを軽くする仕組みを整理

投機的デコーディングは、軽い方法で数トークン先を下書きし、本命のモデルでまとめて答え合わせをして、1 回の計算で進むトークンを増やす方法です。

投機的デコーディングとは?LLM生成が速くなる仕組み

主な推論エンジンの違い

次の表は、2026年10月22日に各プロジェクトの GitHub の README とドキュメントで確かめた内容です。

名前開発主な特徴動く環境
vLLMUC Berkeley 発のコミュニティPagedAttention・連続バッチング・OpenAI 互換のサーバーNVIDIA・AMD・Intel の GPU、CPU、プラグインで TPU など
SGLangLMSYSRadixAttention・エージェント的な使い方や大規模な配信向けNVIDIA・AMD・Google TPU・Intel・Apple Silicon・Huawei Ascend など
TensorRT-LLMNVIDIA専用カーネル・プレフィルとデコードの分離・Python の LLM APINVIDIA の GPU
llama.cppggml-org依存のない C/C++・1.5〜8 ビットの量子化・CPU と GPU の併用CPU・Apple Silicon・NVIDIA・AMD など
OllamaOllamaollama run でモデルの取得と起動・OpenAI 互換の APImacOS・Windows・Linux(バックエンドは llama.cpp)

vLLM と SGLang は、多くの依頼を同時にさばく GPU サーバーを想定した作りです。

llama.cpp と Ollama は、手元の PC で 1 人が使う場面から始めやすくなっています。

llama.cpp にも llama serve という OpenAI 互換のサーバーがあり、Ollama の README は対応するバックエンドとして llama.cpp を挙げています。

参考: SGLang(GitHub)

GitHub - sgl-project/sglang: SGLang is a high-performance serving framework for large language models and multimodal models.

DeepSeek の DeepInfer

DeepInfer は、DeepSeek が自社の大規模な本番サービスで使っている推論の仕組みを、オフライン推論の形で公開したものです。

README によると、対応するモデルは DeepSeek-V4.1-Flash だけで、動くハードは NVIDIA の SM100 世代の GPU と Huawei の Ascend 950 です。

完全な推論サービスに必要なのに今回の公開には含まれないものとして、README は次の 3 つを挙げています。

  • KV キャッシュの保存の仕組み
  • プレフィルとデコードなどの段階の分離(エンジン側に要る機能の大半は実装済みとの注記つき)
  • 複数の複製の間での負荷分散

一方で、束ね方が変わっても結果が同じになるモードや、下書きのトークンでデコードを速める仕組みは含まれています。

README の謝辞には、もともと主に vLLM の上に作られたと書かれていました。

モデルを作った会社の推論基盤でも、オープンソースの推論エンジンを土台に作られたことが分かります。

ライセンスは Apache 2.0 です。

参考: DeepInfer(GitHub)

GitHub - deepseek-ai/DeepInfer: DeepInfer: High-performance, large-scale inference framework for DeepSeek models

使う側から見た選び方

推論エンジンとの付き合い方は、API で使うか、自分で動かすかで変わります。

API で使う人

API で LLM を使う人は、推論エンジンを自分で選びません。

それでも、料金や速さの見え方には推論エンジンの仕組みが表れます。

  • プロンプトキャッシュの割引は、先頭が同じ依頼の計算を省けることに対応している
  • 最初のトークンが出るまでの時間は主にプレフィル、出始めてからの速さは主にデコードの性能に左右される
  • 急がない大量の依頼は、OpenAI や Anthropic のバッチ API に回すと料金が通常の半額になる

速さを比べるときは、最初のトークンまでの時間と、出始めてからの速さを別の数字として見るのが確実です。

バッチAPIとは?AIへの大量の依頼を半額で処理する仕組み

自分で動かす人

自分でモデルを動かすなら、何人が同時に使うかと、どの GPU があるかで候補が絞れます。

  • 手元の PC で自分 1 人が試す: Ollama か llama.cpp(量子化したモデルを CPU と GPU の両方で動かせる)
  • GPU サーバーで多くの依頼を同時にさばく: vLLM か SGLang(連続バッチングと KV キャッシュの管理が効く)
  • NVIDIA の GPU に絞って性能を詰める: TensorRT-LLM
  • 使いたいモデルが決まっている: 各エンジンの対応モデルの一覧を先に確かめる

Windows で Ollama を動かす手順は、別の記事にまとめています。

WindowsでOllamaを動かす|ローカルLLM入門

重みを手元に置けるモデルの利用条件は、オープンウェイトモデルの記事で整理しました。

オープンウェイトモデルとは?オープンソースとの違いと利用条件

つまずきやすいところ

最後に、動かし始めてから気づきやすい点を 4 つ挙げます。

Ollama は既定で同時に1件しか処理しない

Ollama の FAQ によると、1 つのモデルが同時に処理する依頼の数を決める OLLAMA_NUM_PARALLEL の既定値は 1 です。

この値を上げると、並列の数に比例してコンテキストのぶんのメモリが増えます。

FAQ の例では、2K のコンテキストで 4 件を並列にすると、8K のコンテキストとしてメモリを確保します。

待ち行列の上限 OLLAMA_MAX_QUEUE は既定で 512 件で、それを超えた依頼には 503 のエラーが返ります。

複数の人やプログラムから同時に呼ぶなら、この 2 つの設定を先に確かめておくと安心です。

参考: Ollama FAQ

Local FAQ - Ollama

KVキャッシュが足りないと計算のやり直しが起きる

vLLM は、KV キャッシュの空きが足りなくなると、一部の依頼を一時的に外し、空きができたときに計算し直します。

この横取りはプリエンプションと呼ばれ、頻繁に起きると全体の遅延が悪くなります。

ドキュメントは対策として、gpu_memory_utilization を上げる、同時に処理する数(max_num_seqs など)を下げる、モデルを複数の GPU に分けて KV キャッシュの空きを増やす、などを挙げています。

参考: vLLM ドキュメント「Optimization and Tuning」

同じ入力でも束ね方で結果がそろわないことがある

vLLM のドキュメントは、既定のモードを非決定的と呼んでいます。

出力を束の大きさや並び順に左右されないようにするバッチ不変のモードは別に用意されていて、まだベータの段階です。

有効にすると、既定のモードより性能が落ちる場合があるとも書かれています。

評価やテストで答えの再現性が要るときは、既定のままでは同じ入力でも結果がそろうとは限りません。

DeepInfer にも同じ目的のモードがあり、README では NVIDIA の GPU に限ると書かれていました。

分離はスループットを上げる道具ではない

vLLM のドキュメントは、プレフィルとデコードの分離を実験的な機能としたうえで、スループットは上がらないと明記しています。

目的は、最初のトークンまでの時間とトークンごとの遅延を別々に調整することと、遅延の悪いほうの裾を抑えることです。

1 台の GPU で多くの依頼をさばきたいだけなら、連続バッチングとチャンク化プレフィルの既定の動きを先に確かめるほうが近道でしょう。

参考: vLLM ドキュメント「Disaggregated Prefilling」

最後に

推論エンジンは、学習済みのモデルを依頼に応じて動かし、答えを返すソフトです。

LLM の生成では計算よりメモリが先に足りなくなるので、連続バッチングや PagedAttention、プレフィックスキャッシュといった仕組みが速さと費用を左右します。

手元で 1 人なら Ollama や llama.cpp、多くの依頼をさばくなら vLLM や SGLangという分け方を起点に、使うモデルと GPU に合うかを確かめると選びやすくなります。

以上です。

コメントを残す

メールアドレスが公開されることはありません。 ※ が付いている欄は必須項目です

CAPTCHA