平面布置图对于可视化空间、规划路线和沟通建筑设计非常有用。例如，一个进入新建筑的机器人可以使用从视平面图快速感知总体布局。创建平面图通常需要一个完整的布局，这样3D传感器和摄像机就可以捕捉到整个频片空间。

1月11日消息，据外媒报道，近日，来自Facebook、德克萨斯大学奥斯汀分校和卡内基梅隆大学的研段中究人员正在探索一种人工智能技术，利用视觉和音频，从一个短视频剪辑中重建一个平面图。

研究人员断言，推断音频提供了空间和语义信号，补充了图像的映射能力。他们说，这是因为声音天生是由物体的几何形状所驱楼层动的。声音从表面反射回来，揭示了房间的形状，远远超出了相机的视野。从远处听到的声音，甚至是多个房间之外平面的声音，可以揭示自由空间的存在，声音物体可能存在。此外，从不同方向听到的声音暴露了基于这些声音所代表的活图 动或事物的布局。例如，淋浴的声音可能暗示着浴室的方向，而微波炉的声音则暗示着厨房的方向。

研究人新A员的方法被称为AV-Map，旨在将带有多通道音频的短视频转换成2D楼层平面图。机器学习模型利用音频和I研视觉数据序列来推理楼层平面图的结构和语义，最终使用解码组件融合音频和视频信息。AV-Map生成的平究令面图大大超出了视频中直接可见的区域，显示了划分为离散语义房间标签(如家庭房间和厨房)的自由空间和被占用区人大域。

该团队在来自Matternet3D和SoundSpaces数据集的数字环境中试验了两种设置，即开眼主动和被动。在第一个实验中，使用一个虚拟摄像机在模型房屋的房间内移动时发出一种已知的声音。在第二种从视情况下，只依赖家中物体或人自然发出的声音。

研究人员表示，在未来的工作中，将计划考虑扩展多层平面图，并将绘频片图想法与机器人连接起来，主动控制摄像头。

• ·IDC：阿里AI语音语义市场增速96%，中国第一
• ·腾讯开源图检索增强生成框架Youtu-GraphRAG
• ·在线学习的“后浪”：现代学习系统中的人工智能
• ·AI公司Flock Safety 欲用智能摄像头消灭美国犯罪
• ·巴黎奥运会将基于阿里云实现云上转播
• ·标签: 钛动科技 钛极大模型 Navos AI营销
• ·标签: 春光集团 软磁铁氧体磁粉 创业板IPO 磁性材料
• ·​Uber 印度推出司机数据分类新任务，助力 AI 模型发展
• ·标签: 美宜佳 烟草专卖 假烟事件 广东3·15晚会
• ·挑战主流认知！蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
• ·国家发改委：加快打造10个国家数据中心集群
• ·标签: 联博精密 定转子 高端制造 新能源汽车
• ·京东开源人脸识别工具包：覆盖最强模型，支持训练跑分
• ·标签: 杨立昆 AMI 勒布伦 人工智能
• ·Hinton独立发布44页论文：给你们个idea，自己去试吧
• ·混元世界模型1.1正式发布:革新3D 重建技术，秒级生成高质量场景