VLLM on Kubernetes

vLLM を Kubernetes で使いたいとき、production を意識して高スループットの選択肢について考えます。

私のほうで目をつけている選択肢は以下です。

• AIBrix
  • Introducing AIBrix: A Scalable, Cost-Effective Control Plane for vLLM - Feb 21, 2025l
• vLLM Production Stack
  • High Performance and Easy Deployment of vLLM in K8S with “vLLM production-stack” - January 21, 2025
• llm-d
  • Red Hat Launches the llm-d Community, Powering Distributed Gen AI Inference at Scale - May 20, 2025
• LeaderWorkerSet
• NVIDIA Dynamo
  • Introducing NVIDIA Dynamo, A Low-Latency Distributed Inference Framework for Scaling Reasoning AI Models - Mar 18, 2025

ソフトウェア概要

それぞれいくつかの観点で比較してみます。(それぞれの情報は、執筆時点のものです。)

気になる機能

(うんぬん)

Prefill/Decoding 分離

• llm-d
  • Disaggregated Prefill/Decode Inference Serving in llm-d
  • Deep Dive into llm-d and Distributed Inference
• Dynamo
  • Dynamo Disaggregation: Separating Prefill and Decode for Enhanced Performance
  • Bringing State-Of-The-Art PD Speed to vLLM v1 with LMCache

アーキテクチャ

• AIBrix
• vLLM Production Stack
• llm-d
• LeaderWorkerSet
• Dynamo

どれも、まだ開発初期といったところでしょうか。ただ、kubernetes 上での高スループットの推論エンジンは実用性が高まっているので、今後も注目していきます。