New Hot

LMDeploy 0.18.0 修复依赖冲突与 NCCL 构建报错,非 CUDA 部署兼容性怎么处理

LMDeploy依赖NCCL编译

LMDeploy 0.18.0 修复 xgrammar 版本冲突、环境解析出错后 getenv 无法恢复、NCCL stub 构建依赖私有头文件与 NTK rotary embedding 硬编码 CUDA 等问题,TurboMind 同时迁移到 C++20。自行编译与非 CUDA 加速器部署需要先核对工具链。

0.18.0 修复 xgrammar 冲突与 NCCL stub 私有头文件依赖

LMDeploy 0.18.0 修复 xgrammar 版本冲突、NCCL stub 私有头文件依赖与 NTK rotary embedding 的 CUDA 硬编码。 功能更新与修复混在同一版本。

依赖与 CI 构建

官方把 xgrammar 固定在 0.2.5.post1 以下,用于修复单元测试 CI 被新版本打断的问题。环境解析出错后 getenv 无法恢复的问题也被修复,构建脚本不必再依赖进程重启。

NCCL 与设备头文件

NCCL stub 改为使用公开的设备 API 头文件构建,减少对私有头文件的依赖。这意味着自行编译或在非标准 CUDA 环境打包时,依赖面更小。(来源:LMDeploy 官方发布说明)

非 CUDA 加速器

NTK rotary embedding 中硬编码的 CUDA 逻辑被移除,非 CUDA 加速器不再因为这段代码走错分支。TurboMind 同时迁移到 C++20,编译工具链需要满足对应标准。Ascend 侧新增 glm52 支持,SM90 的量化 GEMM 也做了扩展;文档把 quickstart 的 Python 版本对齐到 3.10–3.12。

文本模型拒绝多模态请求,TurboMind 迁移到 C++20

文本模型开始拒绝多模态请求、TurboMind 迁移到 C++20,自行编译与非 CUDA 部署受影响更明显。 官方未披露镜像标签变更。

请求校验更严格

文本模型现在会拒绝多模态请求;服务端也能容忍多模态预处理中缺少 content 字段的消息。工具调用侧修复了 tool_choice='required' 与 Intern-S、GPT-OSS 的处理,并让推理服务在环境解析失败后恢复原有变量。

编译与运行时

TurboMind 迁移到 C++20 后,老版本编译器可能无法直接构建。健康检查 RPC 的调度延迟、InternViT 输入缓冲区按需分配等修复,主要改善长时间运行的服务。

配置回退

模型缺少必要字段时会回退到模型自带的 generation config,减少因配置缺项导致的服务启动失败。

非 CUDA 平台与自行编译 TurboMind 的团队建议升级

在非 CUDA 加速器上部署、自行编译或依赖 xgrammar 的团队建议升级。 只用官方镜像跑标准模型的实例可以按计划跟进。

谁适合先升级

Ascend 等非 CUDA 平台、需要编译 TurboMind 的团队,以及 CI 受 xgrammar 版本影响的用户优先。

升级方式

官方发布页没有给出统一安装命令,版本号来自 v0.18.0 标签。按现有 wheel 或源码构建流程获取该版本,编译前确认工具链支持 C++20。文档也修正了 A100 FP16 基准标签。

出问题怎么排查

编译失败先核对 C++ 标准与 NCCL 头文件;依赖冲突时把 xgrammar 固定到 0.2.5.post1 以下;请求被拒时确认是否把多模态消息发给了文本模型。同类自部署升级也可以参考 vLLM 0.34.0 升级报错:block size 默认 64 与 ROCm 镜像移除后怎么解决。

常见问题

LMDeploy 0.18.0 解决了哪个依赖冲突?
官方把 xgrammar 固定在 0.2.5.post1 以下,用于修复单元测试 CI 被新版本打断的问题。
LMDeploy 0.18.0 对非 CUDA 加速器做了什么调整?
移除了 NTK rotary embedding 中的 CUDA 硬编码,非 CUDA 加速器不再走错分支。
LMDeploy 0.18.0 为什么编译会报 NCCL 相关错误?
本版改用公开设备 API 头文件构建 NCCL stub,旧构建脚本若依赖私有头文件需要同步调整。
LMDeploy 0.18.0 的 TurboMind 编译要求有什么变化?
TurboMind 迁移到 C++20,编译工具链需要支持对应标准。

相关术语

xgrammar
xgrammar 是结构化输出与语法约束库,LMDeploy 用它约束模型生成的格式。
NCCL stub
NCCL stub 是编译期使用的占位库,让程序在没有 NCCL 运行时的环境也能完成链接。
TurboMind
TurboMind 是 LMDeploy 的推理引擎,负责模型加载与加速执行。
generation config
generation config 是模型自带的生成参数配置,本版在缺项时会回退到它。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

  • v0.18.0 · LMDeploy · 2026-11-12
「v0.18.0」 —— LMDeploy

搜索文章

输入关键词,快速查找标题和正文内容。