New Hot

Ollama 0.40.17 版本修复 Vulkan 集显内存映射与 ChatGPT CLI 重启异常

OllamaVulkanmmapCLI 重启

Ollama 0.40.17 修复 Vulkan 集成显卡内存映射、ChatGPT CLI 恢复与优雅重启,并让 OpenCode 设置读取 thinking 元数据;MLX 后端新增并发生成,llama.cpp 与 MLX 依赖同步升级。使用集显或经常重启命令行的用户可以优先升级。

Vulkan 集显内存分配改用 mmap,CLI 恢复优雅重启

Ollama 0.40.17 把 Vulkan 集显内存分配改为 mmap、改善 ChatGPT CLI 恢复与优雅重启,并让 MLX 支持并发生成。 版本变更集中在运行时细节。

Vulkan 集显改用 mmap

官方把 Vulkan 集成显卡的内存分配改为 mmap,让共享显存的机器在加载模型时更容易控制内存占用。集显没有独立显存,这意味着此类机器在启动大模型时更依赖系统内存管理。

CLI 恢复与优雅重启

本版改善了 ChatGPT CLI 的恢复与优雅重启,进程中断后重新进入可以接着使用。同一批变更还让 OpenCode 设置读取 thinking 元数据。

依赖同步升级

llama.cpp 升到 b12257,MLX 与 MLX-C 也同步升级;MLX 后端新增并发生成支持。以上内容见 GitHub 的 v0.40.17 发布说明。(来源:Ollama 官方发布说明)

MLX 后端支持并发生成,Mac 多会话可共用后端

受影响最大的是用集成显卡、Mac MLX 或经常重启命令行客户端的本机部署。 纯 CPU 与服务器部署的感知较小。

集显机器启动更稳

mmap 让模型加载更多依赖系统内存管理,集显笔记本与迷你主机在加载较大模型时更可控,减少启动阶段的内存争抢。

Mac 侧并发

MLX 支持并发生成后,同一后端可以同时处理多个生成请求,适合本地多会话使用。

升级前留配置

发布说明没有给出新的环境变量或迁移步骤,升级前记录现有模型目录与启动参数即可。

用 Vulkan 集显或 Mac MLX 的用户建议升级

遇到集显加载异常、CLI 恢复失败或需要 MLX 并发的用户可以升级。 只做单次本地推理的可以按计划跟进。

谁适合先升级

使用 Vulkan 集显、在 Mac 上跑 MLX,或依赖 ChatGPT CLI 会话恢复的用户优先。

升级方式

发布标签为 v0.40.17-rc1,官方发布页只列出 v0.40.16 到 v0.40.17 的变更清单,具体安装命令官方未披露。按你现有的安装方式获取该版本即可。

出问题怎么排查

先确认显卡后端是否走 Vulkan,再检查 MLX 与 llama.cpp 依赖版本是否随主程序更新;CLI 异常时重启进程并查看启动日志。官方未披露更多回退步骤。同类本地推理部署也可以参考 llama.cpp b12503 修复 OpenVINO 后端显存占用与 -fa off 启动报错问题。

常见问题

Ollama 0.40.17 修复了集显上的什么问题?
Vulkan 集成显卡的内存分配改用 mmap,让共享显存的机器在加载模型时更容易控制内存占用。
Ollama 0.40.17 的 ChatGPT CLI 重启问题解决了吗?
本版改善了 ChatGPT CLI 的恢复与优雅重启,进程中断后重新进入可以接着使用。
Ollama 0.40.17 对 Mac 上的 MLX 有什么变化?
MLX 后端新增并发生成支持,MLX 与 MLX-C 依赖也同步升级。
升级 Ollama 0.40.17 需要改配置吗?
发布说明没有给出新的环境变量或迁移步骤,升级前记录现有模型目录与启动参数即可。

相关术语

mmap
mmap 是内存映射机制,把文件或设备内存映射到进程地址空间,常用于控制大块内存的分配方式。
Vulkan
Vulkan 是跨平台图形与计算 API,Ollama 用它调用部分集成显卡的推理能力。
MLX
MLX 是 Apple 的机器学习框架,Ollama 在 Mac 上通过它运行本地模型。
thinking 元数据
thinking 元数据是模型返回的推理过程标记,OpenCode 设置会读取它来决定展示方式。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「v0.40.17」 —— Ollama

搜索文章

输入关键词,快速查找标题和正文内容。