New Hot

月之暗面 Kimi 发布 PerceptionBench,用 3000 道题评测多模态模型的原子视觉感知

Kimi月之暗面PerceptionBench多模态评测开源

月之暗面 Kimi 发布 PerceptionBench,用 3000 道题评测多模态模型的原子视觉感知,题目来自 42 个基准上的真实失败案例。官方称 16 个前沿模型无一达到 60% 准确率,感知幻觉是最弱能力,数据集与评测代码已开源。

3000 道题拆解 10 项原子视觉感知

月之暗面 Kimi 发布 PerceptionBench,把多模态模型的视觉感知拆成 10 项原子能力单独评测。 基准共 3000 道题,数据集与评测代码已开源。

基准是怎么构建的

团队从 42 个基准上前沿模型的失败案例出发,归纳出 10 项原子感知能力,再把失败拆成子问题并补充新题。内部题库超过 17000 道,正式发布时抽取 3000 道,其中 60% 来自失败拆解、40% 为新撰写,并做了类别平衡与难度分层。(来源:Kimi 官方公告)

评测结果

官方称在 16 个前沿多模态模型上,没有一个达到 60% 准确率,感知相关的幻觉是平均最弱的能力。整体分数接近的模型,在实际感知内容上也可能差别很大。

官方原文称:“Across sixteen frontier MLLMs, no model reaches 60% accuracy, and perception-related hallucination is the weakest capability on average.”

设计原则

官方强调每道题只隔离一项能力,回答只需看图,不需要推理或外部知识。另一个依据是各来源基准覆盖的感知错误重叠很弱,平均成对加权 Jaccard 只有 0.20,因此需要按能力重新聚合。

16 个前沿模型准确率均未达 60%

对开发者来说,这是一份按 10 项原子能力定位短板的诊断集:官方测 16 个前沿模型,无一达到 60% 准确率。 官方提供了能力级别的观察视角。

对模型选型的影响

过去选模型常看综合榜单,PerceptionBench 把差距拆到具体能力上。做图像审核、文档识别或视觉问答的团队,可以按业务相关的能力项单独比较模型。

对评测方法的启示

从官方描述看,先收集真实失败再反推能力项,比预先定义维度更贴近模型的实际短板。这种构建方式也可以迁移到语音、视频等模态。

与图像生成评测的差别

MiniMax 发布开源图像模型 H3-Image:4K 图片生成进入 10 秒内,支持 16 张参考图 关注生成速度与画质,字节跳动豆包发布 Seedream 5.5:百轮编辑更稳定,文字与小字渲染提升,并支持原生透明输出 关注编辑稳定性。PerceptionBench 评测的是理解侧,三者覆盖的环节不同。

基准维护计划与提交入口未公布

公告没有说明基准的维护计划、版本迭代与提交入口,接下来要看其他团队能否复现结果,以及厂商是否据此改进感知能力。 官方只发布了首版基准。

复现与更新

开源数据集与代码让复现成为可能,但公告没有说明维护计划、版本迭代与提交入口。基准一旦被广泛使用,防泄漏也会成为问题。

对模型改进的压力

官方称基准的目标是推动多模态模型看得更忠实、更一致。是否会有厂商针对这些原子能力做专项优化,需要看后续模型版本的表现。

官方未披露的部分

各模型的分项得分、题目难度分布与人工标注流程细节都没有在公告中展开。需要完整结论的团队,只能等论文或数据集说明。

常见问题

Kimi 发布的 PerceptionBench 用来评测什么?
它专门评测多模态大模型的原子视觉感知,把感知拆成 10 项能力,每道题只考察其中一项。
PerceptionBench 的 3000 道题是怎么来的?
题目从 42 个基准的真实失败案例推导而来,60% 由失败拆解生成,40% 为新撰写,并做了类别平衡与难度分层。
前沿多模态模型在 PerceptionBench 上表现如何?
官方称 16 个前沿模型没有一个达到 60% 准确率,感知相关的幻觉是平均表现最弱的能力。
PerceptionBench 的数据集可以下载吗?
官方称已开源数据集与评测代码,但没有在公告中给出下载地址与许可条款。

相关术语

PerceptionBench
PerceptionBench 是月之暗面 Kimi 发布的视觉感知基准,按原子能力组织题目。
原子视觉感知
原子视觉感知是指只需看图就能回答的最小感知能力,不依赖推理或外部知识。
MLLM
MLLM 是多模态大语言模型,能同时处理文本与图像等输入。
感知幻觉
感知幻觉是模型对图像内容产生错误描述,例如看错数量、位置或对象属性。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「PerceptionBench」 —— 月之暗面 Kimi

搜索文章

输入关键词,快速查找标题和正文内容。