LMDeploy 0.18.0 修复依赖冲突与 NCCL 构建报错,非 CUDA 部署兼容性怎么处理
LMDeploy 0.18.0 修复 xgrammar 版本冲突、环境解析出错后 getenv 无法恢复、NCCL stub 构建依赖私有头文件与 NTK rotary embedding 硬编码 CUDA 等问题,TurboMind 同时迁移到 C++20。自行编译与非 CUDA 加速器部署需要先核对工具链。
0.18.0 修复 xgrammar 冲突与 NCCL stub 私有头文件依赖
LMDeploy 0.18.0 修复 xgrammar 版本冲突、NCCL stub 私有头文件依赖与 NTK rotary embedding 的 CUDA 硬编码。 功能更新与修复混在同一版本。
依赖与 CI 构建
官方把 xgrammar 固定在 0.2.5.post1 以下,用于修复单元测试 CI 被新版本打断的问题。环境解析出错后 getenv 无法恢复的问题也被修复,构建脚本不必再依赖进程重启。
NCCL 与设备头文件
NCCL stub 改为使用公开的设备 API 头文件构建,减少对私有头文件的依赖。这意味着自行编译或在非标准 CUDA 环境打包时,依赖面更小。(来源:LMDeploy 官方发布说明)
非 CUDA 加速器
NTK rotary embedding 中硬编码的 CUDA 逻辑被移除,非 CUDA 加速器不再因为这段代码走错分支。TurboMind 同时迁移到 C++20,编译工具链需要满足对应标准。Ascend 侧新增 glm52 支持,SM90 的量化 GEMM 也做了扩展;文档把 quickstart 的 Python 版本对齐到 3.10–3.12。
文本模型拒绝多模态请求,TurboMind 迁移到 C++20
文本模型开始拒绝多模态请求、TurboMind 迁移到 C++20,自行编译与非 CUDA 部署受影响更明显。 官方未披露镜像标签变更。
请求校验更严格
文本模型现在会拒绝多模态请求;服务端也能容忍多模态预处理中缺少 content 字段的消息。工具调用侧修复了 tool_choice='required' 与 Intern-S、GPT-OSS 的处理,并让推理服务在环境解析失败后恢复原有变量。
编译与运行时
TurboMind 迁移到 C++20 后,老版本编译器可能无法直接构建。健康检查 RPC 的调度延迟、InternViT 输入缓冲区按需分配等修复,主要改善长时间运行的服务。
配置回退
模型缺少必要字段时会回退到模型自带的 generation config,减少因配置缺项导致的服务启动失败。
非 CUDA 平台与自行编译 TurboMind 的团队建议升级
在非 CUDA 加速器上部署、自行编译或依赖 xgrammar 的团队建议升级。 只用官方镜像跑标准模型的实例可以按计划跟进。
谁适合先升级
Ascend 等非 CUDA 平台、需要编译 TurboMind 的团队,以及 CI 受 xgrammar 版本影响的用户优先。
升级方式
官方发布页没有给出统一安装命令,版本号来自 v0.18.0 标签。按现有 wheel 或源码构建流程获取该版本,编译前确认工具链支持 C++20。文档也修正了 A100 FP16 基准标签。
出问题怎么排查
编译失败先核对 C++ 标准与 NCCL 头文件;依赖冲突时把 xgrammar 固定到 0.2.5.post1 以下;请求被拒时确认是否把多模态消息发给了文本模型。同类自部署升级也可以参考 vLLM 0.34.0 升级报错:block size 默认 64 与 ROCm 镜像移除后怎么解决。
常见问题
- LMDeploy 0.18.0 解决了哪个依赖冲突?
- 官方把 xgrammar 固定在 0.2.5.post1 以下,用于修复单元测试 CI 被新版本打断的问题。
- LMDeploy 0.18.0 对非 CUDA 加速器做了什么调整?
- 移除了 NTK rotary embedding 中的 CUDA 硬编码,非 CUDA 加速器不再走错分支。
- LMDeploy 0.18.0 为什么编译会报 NCCL 相关错误?
- 本版改用公开设备 API 头文件构建 NCCL stub,旧构建脚本若依赖私有头文件需要同步调整。
- LMDeploy 0.18.0 的 TurboMind 编译要求有什么变化?
- TurboMind 迁移到 C++20,编译工具链需要支持对应标准。
相关术语
- xgrammar
- xgrammar 是结构化输出与语法约束库,LMDeploy 用它约束模型生成的格式。
- NCCL stub
- NCCL stub 是编译期使用的占位库,让程序在没有 NCCL 运行时的环境也能完成链接。
- TurboMind
- TurboMind 是 LMDeploy 的推理引擎,负责模型加载与加速执行。
- generation config
- generation config 是模型自带的生成参数配置,本版在缺项时会回退到它。
这篇文章的来源是什么?
文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。
- v0.18.0 · LMDeploy · 2026-11-12
「v0.18.0」 —— LMDeploy
文章目录