SGLang 0.5.23 部署升级:TPU 平台支持、Docker 镜像标签与单卡显存策略怎么调整
SGLang 0.5.23 新增 Google TPU7x 支持与 Paged Experts 开关,让单张消费级显卡也能运行大于显存的 MoE 模型,同时更新了 NVIDIA、AMD、Intel 各平台的 Docker 镜像标签与安装命令。升级前需要按硬件重新核对镜像与启动参数。
0.5.23 新增 TPU7x 支持与单卡大 MoE 的 Paged Experts 开关
SGLang 0.5.23 新增 Google TPU7x 支持,更新 NVIDIA、AMD、Intel 镜像标签,并提供单卡跑大 MoE 的 Paged Experts 开关。 升级命令与镜像标签都已更新。
安装命令与预发布标记
官方给出的升级方式是 uv pip install --prerelease=allow sglang==0.5.23。命令里保留了 --prerelease=allow,说明这次仍按预发布渠道分发。官方统计本版包含 1,007 个 PR、257 位贡献者。
新增 TPU 镜像
SGLang 现在可以通过 SGLang-TorchTPU 在 Google TPU7x 上运行,镜像是 lmsysorg/sglang:v0.1.0-tpu。NVIDIA、AMD、Intel GPU 与 Intel CPU 也各有独立标签。新模型列表包括 Muse Spark Open、Beam-1.0、MiniCPM-V 4.7 与 FLUX.3 Image Klein。DeepSeek-V4.1 在 GB300 上高负载时 prefill 吞吐最高提升 1.5 倍,32K 到 64K 提示的首 token 延迟约降低 28%。(来源:SGLang 官方发布说明)
显存不足的新路径
Paged Experts 为可选开关,官方称它能在单张消费级 GPU 上运行大于显存的 MoE 模型,速度最高可达 CPU offload 的 30 倍。低延迟模式通过可选的 NVIDIA megakernel 与 AMD monokernel 插件,把单用户 decode 在 GB300 与 MI350X 上分别提升到 44% 与 75%;MoE 模型在 8K 提示下的首 token 可提前 30% 到 58% 到达。
各平台镜像标签独立,--speculative-skip-dp-mlp-sync 被移除
镜像标签不再通用,一次拉错平台标签就会在启动阶段失败。 升级前要先确认硬件与镜像的对应关系。
平台与镜像对应
NVIDIA CUDA 13 用 lmsysorg/sglang:v0.5.23;AMD MI35x 与 MI30x 分别是 -rocm10-mi35x 与 -rocm10-mi30x;Intel GPU 为 -xpu,Intel CPU 为 -xeon。旧标签不能跨平台复用。
调度与缓存
DeepSeek 风格的 MLA 模型在 decode context parallelism 下可以把前缀缓存放进 HiCache 的文件型 L3 存储;量化 MoE 模型也能通过新的可选 LoRA 引擎挂载适配器。官方还让 MoE 模型在 8K 提示下的首 token 更早到达,并把 DeepSeek-V4.1 的前缀缓存扩展到文件型 L3。
参数清理
--speculative-skip-dp-mlp-sync 参数被移除,继续传入会报参数错误;相关调度改为自动处理。依赖该参数的启动脚本需要同步修改。镜像与安装命令都指向同一个版本号,避免混用。官方还把 DeepSeek-V4.1 的编码器重放与解码尾部放进可中断的 prefill 图,让长上下文启动更稳定。
需要 TPU7x 或单卡跑大 MoE 的部署建议升级
需要 TPU、单卡跑大 MoE 或 DeepSeek-V4.1 新特性的部署建议升级。 现有 GPU 部署按平台标签更新即可。
谁适合先升级
TPU7x 用户、想在消费级显卡上跑大 MoE 的团队,以及使用量化 MoE LoRA 的场景优先。只跑标准模型的实例可以按计划跟进。
升级方式
Python 侧执行 uv pip install --prerelease=allow sglang==0.5.23;容器侧按硬件选择对应镜像标签,不要沿用旧 tag。
出问题怎么排查
启动失败先核对镜像与硬件是否匹配;显存不足时尝试开启 Paged Experts;参数报错时检查是否仍传入已移除的 --speculative-skip-dp-mlp-sync。官方未披露回退步骤,保留旧镜像更稳妥。也可以参考 LMDeploy 0.18.0 修复依赖冲突与 NCCL 构建报错,非 CUDA 部署兼容性怎么处理。
常见问题
- SGLang 0.5.23 怎么安装升级?
- 官方给出的命令是 uv pip install --prerelease=allow sglang==0.5.23。
- SGLang 0.5.23 的 TPU 镜像标签是什么?
- Google TPU7x 通过 SGLang-TorchTPU 运行,镜像标签为 lmsysorg/sglang:v0.1.0-tpu。
- SGLang 0.5.23 显存不足时有什么新选项?
- 可以开启可选的 Paged Experts,官方称能在单张消费级 GPU 上运行大于显存的 MoE 模型。
- SGLang 0.5.23 移除哪个启动参数?
- --speculative-skip-dp-mlp-sync 被移除,继续传入会报参数错误。
相关术语
- Paged Experts
- Paged Experts 是 SGLang 的可选 MoE 专家分页机制,把暂时不用的专家放到显存之外。
- TPU7x
- TPU7x 是 Google 的第七代张量处理单元,SGLang 通过 TorchTPU 插件在其上运行。
- HiCache
- HiCache 是 SGLang 的多级前缀缓存机制,本版支持把 MLA 前缀缓存写入文件型 L3 存储。
- LoRA 引擎
- LoRA 引擎是挂载低秩适配器的运行时组件,本版支持在量化 MoE 模型上启用。
这篇文章的来源是什么?
文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。
- v0.5.23 · SGLang · 2026-11-12
「v0.5.23」 —— SGLang
文章目录