FB的Habitat生成逼真的虚拟住宅 教AI agents用于真实世界的导航技能

Facebook研究人员于4月份与康奈尔大学合作发表了一篇论文。Facebook AI团队发博文对这项研究进行解释。

“在将学到的技能转化为现实之前，AI Habitat可以在高度逼真和高效的3D模拟器中训练体现AI agents（虚拟机器人）。这使得从基于静态数据集（例如，ImageNet，COCO，VQA）的“互联网AI”到AI agents的范式转变，其中AI agents在现实环境中行动，带来积极的感知、长期规划，从交互中学习，以及基于环境“进行对话”。

使用机器学习训练机器人在物理住宅中导航和执行任务可能需要数年时间。然而，正如我们已经看到的OpenAI等其他人工智能系统，能通过快速运行模拟，可以在几天内获得数百年的经验。Habitat本身不是一个模拟世界。相反，它是一种可以托管虚拟环境的平台。根据研究人员的说法，Habitat已经与几个3D数据集兼容，包括MatterPort3D，Gibson和SUNCG。它经过优化，因此其他研究人员可以比现实世界快数百倍地运行模拟世界。

为了使环境更加真实，Facebook为Habitat创建了一个名为“Replica”的数据库。它是一组逼真房间的照片，使用实际住宅的摄影和深度贴图创建。从起居室到浴室的所有东西都被重新创建为3D模块，可以组合成任意数量的配置，每个配置都有适当的家具。

所有对象都在语义上标记，因此AI可以知道某些内容是“在…之上”，“旁边”或是“蓝色”等。每个语义都有自己的颜色，结果看起来像AI上面的图片。这使得其能够遵循复杂的命令，例如“去卧室并告诉我梳妆台上的盒子是什么颜色的”。研究人员发布了一个视频，展示了经过培训的AI agents可以完成的事情。

本文素材来自互联网