New Hot

SGLang 0.5.23 部署升级:TPU 平台支持、Docker 镜像标签与单卡显存策略怎么调整

SGLang部署DockerTPU

SGLang 0.5.23 新增 Google TPU7x 支持与 Paged Experts 开关,让单张消费级显卡也能运行大于显存的 MoE 模型,同时更新了 NVIDIA、AMD、Intel 各平台的 Docker 镜像标签与安装命令。升级前需要按硬件重新核对镜像与启动参数。

0.5.23 新增 TPU7x 支持与单卡大 MoE 的 Paged Experts 开关

SGLang 0.5.23 新增 Google TPU7x 支持,更新 NVIDIA、AMD、Intel 镜像标签,并提供单卡跑大 MoE 的 Paged Experts 开关。 升级命令与镜像标签都已更新。

安装命令与预发布标记

官方给出的升级方式是 uv pip install --prerelease=allow sglang==0.5.23。命令里保留了 --prerelease=allow,说明这次仍按预发布渠道分发。官方统计本版包含 1,007 个 PR、257 位贡献者。

新增 TPU 镜像

SGLang 现在可以通过 SGLang-TorchTPU 在 Google TPU7x 上运行,镜像是 lmsysorg/sglang:v0.1.0-tpu。NVIDIA、AMD、Intel GPU 与 Intel CPU 也各有独立标签。新模型列表包括 Muse Spark Open、Beam-1.0、MiniCPM-V 4.7 与 FLUX.3 Image Klein。DeepSeek-V4.1 在 GB300 上高负载时 prefill 吞吐最高提升 1.5 倍,32K 到 64K 提示的首 token 延迟约降低 28%。(来源:SGLang 官方发布说明)

显存不足的新路径

Paged Experts 为可选开关,官方称它能在单张消费级 GPU 上运行大于显存的 MoE 模型,速度最高可达 CPU offload 的 30 倍。低延迟模式通过可选的 NVIDIA megakernel 与 AMD monokernel 插件,把单用户 decode 在 GB300 与 MI350X 上分别提升到 44% 与 75%;MoE 模型在 8K 提示下的首 token 可提前 30% 到 58% 到达。

各平台镜像标签独立,--speculative-skip-dp-mlp-sync 被移除

镜像标签不再通用,一次拉错平台标签就会在启动阶段失败。 升级前要先确认硬件与镜像的对应关系。

平台与镜像对应

NVIDIA CUDA 13 用 lmsysorg/sglang:v0.5.23;AMD MI35x 与 MI30x 分别是 -rocm10-mi35x 与 -rocm10-mi30x;Intel GPU 为 -xpu,Intel CPU 为 -xeon。旧标签不能跨平台复用。

调度与缓存

DeepSeek 风格的 MLA 模型在 decode context parallelism 下可以把前缀缓存放进 HiCache 的文件型 L3 存储;量化 MoE 模型也能通过新的可选 LoRA 引擎挂载适配器。官方还让 MoE 模型在 8K 提示下的首 token 更早到达,并把 DeepSeek-V4.1 的前缀缓存扩展到文件型 L3。

参数清理

--speculative-skip-dp-mlp-sync 参数被移除,继续传入会报参数错误;相关调度改为自动处理。依赖该参数的启动脚本需要同步修改。镜像与安装命令都指向同一个版本号,避免混用。官方还把 DeepSeek-V4.1 的编码器重放与解码尾部放进可中断的 prefill 图,让长上下文启动更稳定。

需要 TPU7x 或单卡跑大 MoE 的部署建议升级

需要 TPU、单卡跑大 MoE 或 DeepSeek-V4.1 新特性的部署建议升级。 现有 GPU 部署按平台标签更新即可。

谁适合先升级

TPU7x 用户、想在消费级显卡上跑大 MoE 的团队,以及使用量化 MoE LoRA 的场景优先。只跑标准模型的实例可以按计划跟进。

升级方式

Python 侧执行 uv pip install --prerelease=allow sglang==0.5.23;容器侧按硬件选择对应镜像标签,不要沿用旧 tag。

出问题怎么排查

启动失败先核对镜像与硬件是否匹配;显存不足时尝试开启 Paged Experts;参数报错时检查是否仍传入已移除的 --speculative-skip-dp-mlp-sync。官方未披露回退步骤,保留旧镜像更稳妥。也可以参考 LMDeploy 0.18.0 修复依赖冲突与 NCCL 构建报错,非 CUDA 部署兼容性怎么处理。

常见问题

SGLang 0.5.23 怎么安装升级?
官方给出的命令是 uv pip install --prerelease=allow sglang==0.5.23。
SGLang 0.5.23 的 TPU 镜像标签是什么?
Google TPU7x 通过 SGLang-TorchTPU 运行,镜像标签为 lmsysorg/sglang:v0.1.0-tpu。
SGLang 0.5.23 显存不足时有什么新选项?
可以开启可选的 Paged Experts,官方称能在单张消费级 GPU 上运行大于显存的 MoE 模型。
SGLang 0.5.23 移除哪个启动参数?
--speculative-skip-dp-mlp-sync 被移除,继续传入会报参数错误。

相关术语

Paged Experts
Paged Experts 是 SGLang 的可选 MoE 专家分页机制,把暂时不用的专家放到显存之外。
TPU7x
TPU7x 是 Google 的第七代张量处理单元,SGLang 通过 TorchTPU 插件在其上运行。
HiCache
HiCache 是 SGLang 的多级前缀缓存机制,本版支持把 MLA 前缀缓存写入文件型 L3 存储。
LoRA 引擎
LoRA 引擎是挂载低秩适配器的运行时组件,本版支持在量化 MoE 模型上启用。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「v0.5.23」 —— SGLang

搜索文章

输入关键词,快速查找标题和正文内容。