New Hot

vLLM 0.34.0 升级报错:block size 默认 64 与 ROCm 镜像移除后怎么解决

vLLM升级KV cacheROCm

vLLM 0.34.0 带来 Extensible KV cache 默认开启、Model Runner V1 移除、默认 block size 改为 64、ROCm 7.2 镜像下线与 huggingface_hub 2.0.0 依赖要求。升级前不逐项核对就可能在启动阶段报错,本文整理受影响的部署场景与排查顺序。

0.34.0 移除 Model Runner V1,默认 block size 改为 64 并下线旧镜像

vLLM 0.34.0 移除 Model Runner V1、block size 默认改为 64、下线 ROCm 7.2 镜像并要求 huggingface_hub 2.0.0。 官方在发布说明里单列了 Before you upgrade 表格。

Model Runner V1 与启动失败

Model Runner V1 已被移除,本版提供的 GPU runner 是 Model Runner V2。官方说明 VLLM_USE_V2_MODEL_RUNNER=0 现在会在启动时直接失败;继续使用 V1 logits processor 的部署需要把它迁移到 vllm.v1.worker.gpu.sample.logits_processor。(来源:vLLM 官方发布说明)

block size 与显存默认值

默认 --block-size 从 16 改为 64,想保持旧行为要显式传 --block-size 16;ROCm paged attention 仍使用 16。Extensible KV cache 默认开启,--gpu-memory-utilization 默认为 1.0,需要旧的分片方式就传 --gpu-memory-utilization 0.9 或 --no-enable-extensible-kv-cache。

镜像与 Python 依赖

ROCm 7.2 的构建产物已停止发布,官方要求改用 ROCm 10.0 的 wheel 与镜像。依赖侧要求 huggingface_hub=2.0.0,同时需要 tokenizers=0.23.3 与 timm=1.0.30。发布说明把全部破坏性变更、弃用项与新默认值集中列在完整变更日志里,升级前应阅读这一份清单。

旧量化格式无法加载,Extensible KV cache 默认开启

已有部署如果依赖旧量化格式或旧镜像标签,升级后会出现无法加载或直接退出。 新部署则能拿到更大的 KV cache。

量化与模型格式变化

QuTLASS / fp quant 被移除,fp quant 检查点不再能加载;Marlin W4A8 也被移除,官方给出的替代是 --quantization humming 配合 VLLM_HUMMING_INPUT_QUANT_CONFIG,不再使用 VLLM_MARLIN_INPUT_DTYPE。Keye-VL 与 Keye-VL-1.5 同样被移除。

容量与延迟的取舍

Extensible KV cache 按预热后实际空闲显存来分配,官方举例 MiniMax-M3 在 H200 上从 433k 提升到 672k tokens,吞吐更高;代价是部分模型的单 token 解码延迟上升,官方给出的范围是 TPOT 增加 6–18%。官方还修复了分配器碎片、启动 OOM 与 KV connector 相关问题。

升级入口

本版包含 1,061 个提交、412 位贡献者,并新增 10 个模型。wheel 安装命令保持 pip install vllm 或 uv pip install vllm --torch-backend=auto;Docker 镜像为 vllm/vllm-openai:v0.34.0,ROCm 10.0 对应 vllm/vllm-openai-rocm:v0.34.0。

需要更大 KV cache 的 Blackwell 与 MI350 部署值得升级

需要更大 KV cache 或使用 Blackwell、MI350 的部署值得升级,依赖旧量化格式的实例应先评估。 升级窗口按参数、镜像、依赖的顺序核对。

谁适合先升级

跑 Mistral Large 4、MiniMax-M3.1-Flash 等新模型的部署优先;Mistral Large 4 支持 FP8 与 NVFP4,可在 NVIDIA Blackwell/Hopper 与 AMD MI350 上运行。仍在用 V1 runner、fp quant 或 ROCm 7.2 镜像的环境要先把迁移工作排进计划。

升级步骤

  1. 对照发布说明的 Before you upgrade 表,逐项确认启动参数与量化配置。
  2. 固定 huggingface_hub、tokenizers、timm 三个依赖版本。
  3. 换用 ROCm 10.0 镜像或 wheel 后再启动,先跑一次小流量验证。

出问题怎么排查

启动即失败时先查 VLLM_USE_V2_MODEL_RUNNER 与 V1 logits processor;模型加载失败时检查量化格式与 checkpoint 兼容性;镜像拉取失败时确认标签是否已从 -rocm72 切换。官方未披露回退到旧版本的具体步骤,保留旧镜像与环境快照更稳妥。同类自部署升级也可以参考 LMDeploy 0.18.0 修复依赖冲突与 NCCL 构建报错,非 CUDA 部署兼容性怎么处理。

常见问题

vLLM 0.34.0 为什么升级后启动直接失败?
Model Runner V1 已被移除,设置 VLLM_USE_V2_MODEL_RUNNER=0 会在启动时失败,需要迁移 V1 logits processor。
vLLM 0.34.0 的 block size 默认值变成了多少?
默认从 16 改为 64,想保持旧行为要显式传入 --block-size 16。
vLLM 0.34.0 还能用 ROCm 7.2 镜像吗?
不能,ROCm 7.2 构建产物已停止发布,官方要求改用 ROCm 10.0 的 wheel 与镜像。
vLLM 0.34.0 对依赖版本有什么要求?
需要 huggingface_hub 2.0.0,同时需要 tokenizers 0.23.3 与 timm 1.0.30。

相关术语

Model Runner
Model Runner 是 vLLM 执行模型前向计算的运行时组件,V2 在本版成为 GPU runner。
block size
block size 是 KV cache 的分块大小,决定显存分配粒度与注意力计算方式。
Extensible KV cache
Extensible KV cache 是按预热后实际空闲显存分配 KV cache 的机制,本版默认开启。
logits processor
logits processor 是干预模型输出分布的处理器,V1 版本需要迁移到新的模块路径。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「v0.34.0」 —— vLLM

搜索文章

输入关键词,快速查找标题和正文内容。