vLLM を Kubernetes で使いたいときの選択肢について考えます。

LLM推論時のKV Cacheのサイズと同時処理数を試算する方法です。