“Alexa，去厨房给我拿点零食来。”
难道我们不都希望有人帮忙做家务吗?尤其是如果有一个聪明、适应性强、不会抱怨的机器人来帮忙的话。当然，在家电领域也有只有一招的roomba。但麻省理工学院的工程师们正在设想机器人更像家庭助手，能够遵循高级的、alexa类型的命令，比如“去厨房给我拿个咖啡杯来。”
为了完成这样高水平的任务，研究人员认为机器人必须能够像人类一样感知他们的物理环境。
麻省理工学院航空航天学助理教授卢卡·卡龙说:“为了做出任何决定，你需要对周围环境有一个心智模型。”“这对人类来说是轻而易举的事情。但对机器人来说，这是一个极其困难的问题，要把它们通过相机看到的像素值转化为对世界的理解。”
现在，卡龙和他的学生们已经开发出一种机器人的空间感知模型，该模型模仿人类感知和导航世界的方式。
办公环境三维动态场景图
办公环境的三维动态场景图。图中的节点表示环境中的实体(人、物体、房间、结构)，而边表示实体之间的关系。感谢研究人员提供的资料
新模型,他们称3 d动态场景图,使机器人能够快速生成的3 d地图环境还包括对象和它们的语义标签(例如,一把椅子和一个桌子),以及人、房间,墙壁和其他结构,机器人有可能看到在其环境。
该模型还允许机器人从3D地图中提取相关信息，查询物体和房间的位置，或者在其路径上的人的移动。
Carlone说:“这种环境的压缩表现是有用的，因为它允许我们的机器人快速做出决定和规划路径。”“这与我们人类的做法相差无几。如果你需要计划从你家到麻省理工学院的路线，你不需要计划你需要做的每一份工作。你只需要考虑街道和地标，这有助于你更快地规划路线。”
卡龙说，除了家务助理之外，采用这种新型环境心理模型的机器人还可能适用于其他高级职位，天富平台怎么样？比如在工厂车间与人并肩工作，或者为幸存者探索灾难现场。
他和他的学生，包括第一作者和麻省理工学院研究生Antoni Rosinol，将在本周的机器人:科学和系统虚拟会议上展示他们的发现。
一个映射混合
目前，机器人的视觉和导航技术主要在两方面取得了进展:3D制图技术使机器人能够在实时探索的过程中以三维的方式重建环境;以及语义分割(semantic segmentation)，它帮助机器人将其环境中的特征分类为语义对象，比如汽车和自行车，到目前为止，这主要是在2D图像上完成的。
Carlone和Rosinol的新空间感知模型是第一个实时生成环境的3D地图，同时还在3D地图中标注物体、人(与物体相反，是动态的)和结构。
该团队的新模型的关键组件是Kimera，这是一个开源的库，该团队之前开发了它来同时构建一个环境的三维几何模型，同时编码一个物体是一把椅子和一张桌子的可能性。
“就像神话中的生物是不同动物的混合体一样，我们希望Kimera在3D中是映射和语义理解的混合体，天富平台怎么样？”Carlone说。
Kimera的工作是通过从机器人的相机中获取一连串的图像，以及车载传感器的惯性测量，来估计机器人或相机的轨迹，并将场景重建成一个3D网格，所有这些都是实时的。
为了生成一个语义3D网格，Kimera使用一个训练了数百万真实图像的现有神经网络，来预测每个像素的标签，然后使用一种被称为射线投射的技术将这些标签投射到3D中，这种技术在计算机图形学中用于实时绘制。
其结果是一个机器人环境的地图，类似于一个密集的三维网格，其中每个面都是作为环境中的物体、结构和人的颜色编码的一部分。
一个分层的场景
如果一个机器人仅仅依靠这个网格在它的环境中导航，这将是一个计算昂贵和耗时的任务。因此，研究人员以Kimera为基础，开发出算法，从Kimera最初的、高度密集的3D语义网中构建出三维动态“场景图”。
场景图是操纵和渲染复杂场景的流行计算机图形模型，通常用于视频游戏引擎来表示3D环境。
