vLLM on Kubernetes

Contents

• Overview
• ソフトウェア概要
• 気になるサービス機能
  • Prefill/Decode Disaggregation
• 気になる管理機能
• アーキテクチャ

Overview

vLLM を Kubernetes で使いたいとき、production を意識して高スループットの選択肢について考えます。

私のほうで目をつけている選択肢は以下です。

• AIBrix
  • Introducing AIBrix: A Scalable, Cost-Effective Control Plane for vLLM - Feb 21, 2025l
• vLLM Production Stack
  • High Performance and Easy Deployment of vLLM in K8S with “vLLM production-stack” - January 21, 2025
• llm-d
  • Red Hat Launches the llm-d Community, Powering Distributed Gen AI Inference at Scale - May 20, 2025
• LeaderWorkerSet
• NVIDIA Dynamo
  • Introducing NVIDIA Dynamo, A Low-Latency Distributed Inference Framework for Scaling Reasoning AI Models - Mar 18, 2025

ソフトウェア概要

それぞれいくつかの観点で比較してみます。(それぞれの情報は、執筆時点のものです。)

気になるサービス機能

(うんぬん)

Prefill/Decode Disaggregation

• llm-d
  • Disaggregated Prefill/Decode Inference Serving in llm-d
  • Deep Dive into llm-d and Distributed Inference
• Dynamo
  • Dynamo Disaggregation: Separating Prefill and Decode for Enhanced Performance
  • Bringing State-Of-The-Art PD Speed to vLLM v1 with LMCache

気になる管理機能

(うんぬん)

アーキテクチャ

• AIBrix
• vLLM Production Stack
• llm-d
• LeaderWorkerSet
• Dynamo

どれも、まだ開発初期といったところでしょうか。ただ、kubernetes 上での高スループットの推論エンジンは実用性が高まっているので、今後も注目していきます。