New Hot

llama.cpp b12503 修复 OpenVINO 后端显存占用与 -fa off 启动报错问题

llama.cppOpenVINO显存KV cache

llama.cpp b12503 集中修复 OpenVINO 后端的显存占用、SWA 识别与 -fa off 启动问题:GPU 无状态模式改用 4-D KV cache,减少每步解码的整块复制;-fa off 在状态模式下会回退到无状态执行并给出警告,同时还加入了新的环境变量开关。

b12503 修复 OpenVINO 显存占用与 -fa off 启动失败

llama.cpp b12503 集中修复 OpenVINO 后端的显存占用、SWA 识别与 -fa off 启动失败。 这批改动主要面向 Intel GPU 与 NPU 部署。

显存与 KV cache 布局

GPU 无状态模式把整块 KV cache 绑定为 4-D 张量,配合 StatelessKVFusion 避免每步解码复制整块缓存,减少随上下文增长的内存池分配。需要旧布局可以设置 GGML_OPENVINO_DISABLE_KV_4D=1。无状态 GPU 模式的 KV cache 改为按 token 轴写入,进一步减少每步解码的整块复制。

SWA 识别与重复编译

当 SWA 缓存大小与完整缓存一致时,改为按使用每种 mask 的层数识别 SWA 层。官方提到,等待窗口出现会造成序列中途重新编译,例如 Gemma-4 在 -c 1024、位置 512 之后约 9 秒。官方还修复了 GCC 因缺少字段初始化触发 -Wmissing-field-initializers、导致 CI 以 LLAMA_FATAL_WARNINGS 失败的问题。

-fa off 与状态模式

-fa off 时 V cache 以转置形式写入,状态模式不支持;官方改为记录警告并回退到无状态执行,而不是直接构建失败。(来源:llama.cpp 官方发布说明)

mask 截断到 -30000,环境变量进入缓存键触发重编译

KV cache 改成 4-D 后显存占用下降、SDPA mask 需截断到 -30000、切换环境变量会触发重新编译,OpenVINO 部署要重新核对缓存键。 其他后端感知有限。

形状推导

attention size 改为从 KQ mask 形状推导,Q head size 变静态,便于融合 SDPA。需要旧行为时设置 GGML_OPENVINO_DISABLE_SHAPE_FROM_MASK=1。

数值与模型兼容

融合 SDPA 要求把 mask 截断到 -30000,避免整块被 -inf 掩蔽时返回 NaN。Q5_0 数据类型与动态 embedding 形状进入 OV GPU 后端,覆盖更多模型。手动 GQA 注意力路径改为保持 4-D,避免 GPU 插件为每层复制转置后的 K、V 缓存。Split 复用只发生在与分块完全对齐的视图上,避免错误结果。

缓存键

两个环境变量都被纳入 graph 与 model cache 键,切换开关会触发重新编译,第一次启动会变慢。这些修复都进入同一构建。

Intel GPU 与 NPU 上的 OpenVINO 部署建议优先升级

Intel GPU 与 NPU 上遇到显存增长、SWA 模型反复编译或 -fa off 启动失败的用户建议升级。 纯 CPU 部署可以按计划跟进。

谁适合先升级

使用 OpenVINO 后端跑 Gemma-4、Phi-3.5 mini、Phi-4 mini 等模型的部署优先;出现 NaN 或显存随解码增长的环境也应升级。

升级方式

版本标签为 b12503,官方发布页没有给出安装命令,按现有构建或预编译包流程更新即可。升级后首次启动会因缓存键变化重新编译。

出问题怎么排查

启动报错先确认是否启用状态模式与 -fa off;显存异常检查 4-D KV cache 开关;输出 NaN 时确认 mask 截断是否生效。官方未披露更多回退步骤,保留旧二进制更直接。也可以参考 Ollama 0.40.17 版本修复 Vulkan 集显内存映射与 ChatGPT CLI 重启异常 中本地推理后端的内存变化。

常见问题

llama.cpp b12503 修复了 OpenVINO 的什么问题?
修复 SWA mask 识别、KV cache 写入索引、显存占用与 -fa off 启动失败等一批问题。
llama.cpp b12503 的 -fa off 会直接报错吗?
不再直接失败,官方改为记录警告并回退到无状态执行。
llama.cpp b12503 怎么恢复旧的 KV cache 布局?
设置 GGML_OPENVINO_DISABLE_KV_4D=1 可以保留之前的布局。
llama.cpp b12503 为什么要重新编译图?
两个 OpenVINO 环境变量都进入了 graph 与 model cache 键,切换开关会触发重新编译。

相关术语

OpenVINO
OpenVINO 是 Intel 的推理工具链,llama.cpp 通过 ggml-openvino 后端在 Intel GPU 与 NPU 上运行。
SWA
SWA 是滑动窗口注意力,只保留最近一段上下文的 KV cache。
KV cache
KV cache 是注意力计算缓存的键值张量,决定解码阶段的显存占用与读写方式。
SDPA
SDPA 是缩放点积注意力算子,OpenVINO GPU 后端可以把整段注意力融合进该内核。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

  • b12503 · llama.cpp · 2026-11-18
「b12503」 —— llama.cpp

搜索文章

输入关键词,快速查找标题和正文内容。