New Hot

Meta 宣布开源视觉模型 DINO 与 SAM 在端侧运行,支持匹兹堡大学 RAMMP 辅助机器人

MetaDINOSAM辅助机器人开源模型

Meta 宣布其开源视觉模型 DINO 与 SAM 被用于匹兹堡大学 HERL 的辅助机器人项目 RAMMP,该项目由 ARPA-H 提供最高 4150 万美元资助。模型在设备端运行,可识别自动门按钮、杯子和路缘,官方称首个原型已集成相关能力。

RAMMP 辅助机器人用 DINO 与 SAM 识别物体

Meta 宣布其开源视觉模型 DINO 与 SAM 被用于匹兹堡大学的辅助机器人项目 RAMMP,并在设备端运行。 该项目由 ARPA-H 提供最高 4150 万美元资助。

项目背景与参与方

项目由匹兹堡大学 Human Engineering Research Laboratories(HERL)牵头,ATDev 参与,目标是构建面向残障人士的辅助移动与操作平台 RAMMP。官方给出的背景数字是:美国约 550 万轮椅使用者,每年有超过 10 万起与轮椅相关的急诊伤害。(来源:Meta 官方公告)

模型承担的工作

DINO 负责从无标注数据中学习视觉表征,SAM 负责分割与勾画对象。RAMMP 的感知系统基于 RF-DETR,用 DINOv2 的嵌入做微调,训练数据则由 SAM 自动标注。

官方原文称:“DINO and SAM have already assisted in a variety of projects ranging from those focused on medical imaging to wildlife conservation.”

首个原型已经能做什么

官方称团队已把 DINO 相关工具集成进首个原型,用于识别自动门按钮、杯子和路缘,辅助导航。下一阶段聚焦语音与触摸输入,让用户直接选择周围物体。

端侧部署需权衡电池、散热与内存

对辅助设备使用者来说,感知从云端回到设备本地,首个原型已能识别自动门按钮、杯子和路缘;对开发者来说,这是端侧部署 DINOv3 与 SAM 的公开样本。 官方披露的仍是原型阶段。

对端侧部署的参考价值

官方提到部署时要权衡电池、散热、网络不稳定与体积重量,做法包括压缩内存占用、在合适场景降低精度、按实际分辨率运行。这些取舍对任何要在电池供电硬件上跑视觉模型的团队都有参考意义。

对辅助技术行业的影响

从官方描述看,项目把工程重心放在真实环境的可靠性,而不是榜单精度。RAMMP 联盟还包括 Kinova Robotics、LUCI Mobility,以及卡内基梅隆、康奈尔、东北与普渡等高校。

与其他厂商行业落地的对照

Anthropic 宣布用 Claude 加速新药研发:与六家研究机构合作,并公开早期技术报告与成果 把模型放进药物研发流程,Cohere 宣布与 Ensemble 合作,基于 Command 系列打造美国医疗首个 RCM 原生大语言模型 则进入医疗账务。Meta 选择的是开源模型加学术合作。

原型进入真实测试,认证与规模未披露

功能已准备好进入真实环境测试,但测试规模、参与人数与安全认证都未披露,接下来要看真实用户测试结果与低功耗硬件上的稳定性。 官方没有给出时间表。

从原型到产品的距离

官方称相关功能已准备好进入真实环境测试,但测试规模、参与人数与安全认证都没有披露。辅助设备涉及人身安全,认证周期通常不短。

开发者可以关注什么

DINOv3 与 SAM 均为开源模型,开发者可以自行复现端侧部署方案。官方没有公布针对 RAMMP 的专用权重或接口,复现时要以公开模型为准。

官方未披露的部分

项目的评测基准、模型推理延迟、量产计划与价格均未出现在公告中。这些信息需要等 HERL 或 ATDev 后续发布。

常见问题

Meta 宣布这次把哪些模型用在了辅助机器人上?
官方称使用开源的 DINO 与 Segment Anything Model,并在设备端部署 DINOv3 和 SAM 处理摄像头与传感器数据。
RAMMP 项目是什么,由谁在推进?
RAMMP 是匹兹堡大学 HERL 牵头、ATDev 参与的辅助机器人移动与操作平台,由 ARPA-H 提供最高 4150 万美元资助。
这些模型在机器人上具体做什么?
官方称首个原型已用 DINO 相关工具识别自动门按钮、杯子和路缘,团队正在加入语音与触摸输入。

相关术语

DINO
DINO 是 Meta 开源的自监督视觉 Transformer,可从无标注数据中学习视觉表征。
SAM
SAM 是 Segment Anything Model,能在极少提示下识别并勾画图像或视频中的任意对象。
端侧计算
端侧计算是在设备本地处理摄像头与传感器数据,不依赖云端往返,便于实时响应。
数字孪生
数字孪生是物理设备的虚拟仿真副本,用于在部署前做安全、可扩展的测试。

这篇文章的来源是什么?

文中涉及版本、价格与功能的信息,均以厂商原文为准;下面是可以核对的原始出处。

「Reimagining Independence: How Meta’s AI Models Are Helping the University of Pittsburgh Transform Assistive Robotics」 —— Meta

搜索文章

输入关键词,快速查找标题和正文内容。