机器人视觉大飞跃!新模型助力 AI “看懂” 三维世界,成功率提升 31%
在机器人领域,让人工智能真正 “看懂” 三维世界一直是一个棘手的问题。传统的视觉语言模型(VLA)大多依赖机器于二维图像和文本数据训练,难以理解真实环境中的三维空间。然而,最近来自上海交通大学和剑桥大学的研究团队提出了一种人视名为 Evo-0的新型增强视觉语言动作模型,通过轻量化的方式注入3D 几何先验,使得机器人在复杂任务中的空间理解觉大能力得到了显著提升。
Evo-0模型的创新在于其利用视觉几何基础模型(VGGT),从多视角的 RGB 图像中提飞跃取出三维结构信息,并将这些信息与已有的视觉语言模型相结合。这种方法不仅避免了使用额外传感器或显式深度输!新入的需要,还显著提升了空间感知能力。在 RLBench 仿真实验中,Evo-0在五个需要精细操作的任务上,成模型功率比基线模型 pi0高出15%,并且在开放 VLA(openvla-oft)上提升了31%。
具体而言,Ev助力o-0将 VGGT 作为空间编码器,引入了通过 VGGT 提取的 t3^D token,这些 token 包含了深度上 A下文和空间关系等几何信息。通过交叉注意力融合模块,模型能够将提取的二维视觉 token 与三维 token 进行有效结合I ,提升了对空间布局和物体关系的理解能力。这种方法在保证训练效率的同时,灵活性和部署便捷性也得到了提高。
在真实世界“看的实验中,Evo-0在处理复杂空间任务时表现出色,包括目标居中放置、插孔、密集抓取等任务,均超过了基线模懂”型,平均成功率提升了28.88%。特别是在对复杂空间关系的理解和操控能力方面,Evo-0展现出显著优势。
综上所 三述,Evo-0通过巧妙的空间信息融合,为未来的通用机器人策略提供了一条新的可行路径。该研究成果不仅在学术界引发了维世广泛关注,也为机器人领域的实际应用带来了新的可能性。
论文地址:https://arxiv.org/pdf/2界,507.00416
- ·智能机器人:衡量高端制造水平的重要标志
- ·25分钟训练机器人学会6个动作,伯克利开发高效机器人操纵框架
- ·标签: 壹达外卖 眼护士 掌上药店 药安食美
- ·标签: 华沿机器人 大族机器人 协作机器人 大族激光
- ·模糊的指标掩盖了云计算企业价值 投资人更关注股票而非业绩
- ·微软计划在智利建立一个新的数据中心区域
- ·Hive 和 Spark的爱恨情仇恩怨交织
- ·标签: TikTok 皮尤研究中心 新闻网红 Z世代
- ·云计算开发:Python3-splitlines()方法详解
- ·让我们一下玩转 Docker 部署
- ·亚马逊Q2获得净销售额1131亿美元 AWS净销售额为148.09亿美元
- ·Realbotix 与 Grupo Kuo 达成合作 将 AI 机器人引入西班牙和葡萄牙
- ·标签: 威马汽车 新威马 EX5 E.5
- ·OpenAI与英伟达联手巨资投资英国数据中心
- ·标签: 芯德半导体 联发科技 小米长江 长电科技
- ·标签: 新石器 RoboVan CES 2026 X1 CES2026
- ·神经符号系统、跨学科交互,李飞飞等16名学者共同探讨AI未来
- ·苹果 M5芯片重磅发布:AI 性能实现“四倍飞跃”,加速终端侧智能体验
- ·标签: 赛力斯 新能源汽车 A+H上市 港股汽车股
- ·标签: 微信 多设备登录 用户调研 微信客服
- ·威胁情报如何成为安全产品“连接器”?腾讯安全行业沙龙落地
- ·OpenAI 收购苹果 “快捷指令” 原团队新创公司
- ·微软正式推出首款自家 AI 图像生成器 MAI-Image-1
- ·马斯克:苹果的App Store抽成实际上是全球互联网税
- ·港科大&MSRA研究:关于图像到图像转换,Finetuning is all you need
- ·标签: 埃芯半导体 赛米基金 晶圆量测 先进封装
- ·从懂互联网到懂用户,谷歌这次都押了哪些宝? 原创
- ·AI玩具新风向:Haivivi完成2亿元A轮融资,多款重磅IP新品即将面世
- ·人脸识别访客系统的好处有哪些 ?
- ·标签: 大唐移动 小米 专利纠纷 FRAND
- ·硅基流动上线蚂蚁百灵团队 Ling-flash-2.0,推理速度再创新高
- ·Verizon灏嗘妸璋锋瓕Messages浣滀负榛樿�娑堟伅搴旂敤锛氬�鎶楄嫻鏋渋Message
- ·标签: 凌雄科技 设备订阅 IT技术订阅 2025业绩
- ·VMware发布高级云工作负载保护,为容器和Kubernetes提供安全性
- ·谷歌云试图抢占SAP软件云市场 但击败微软和亚马逊并不易
- ·瓢虫的天敌
