传统方法与机器学习相结合，室内场景完整地图的高效构建

本文是对CVPR 2022入选论文“Multi-Robot Active Mapping via Neural Bipartite Graph Matching”的解读。在本文中，北京大学陈宝全研究团队与山东大学、腾讯AI实验室、清华大学、斯坦福大学合作，将传统方法与机器学习相结合，提出了一种多机器人协同主动建图算法NeuralCoMapping，实现了室内场景全图。高效构建。

实验表明，与其他多机协同建图算法相比，NeuralCoMapping在时间效率上具有显着优势用到贪心策略的算法，在各种未知场景和不同数量的机器人中表现出优异的泛化能力。

照片 | 叶凯

视觉计算与学习 (VCL)

论文地址：

1

研究背景

构建室内场景的 2D 或 3D 地图是计算机视觉和机器人领域的一项重要任务。机器人导航、增强现实等前沿应用离不开场景地图的构建。解决这个问题最原始的方法是派技术人员使用手持或车载传感器设备手动扫描场景，然后将收集到的数据合成到场景地图中。然而，此类方法严重依赖技术人员的操作，很快被机器人自动测绘的方法所取代。

Active Mapping是机器人在未知场景中主动移动并收集数据以自动构建场景地图的过程。这个任务的难点在于如何高效地探索未知环境，构建完整的场景图。传统算法大多基于贪心策略，效率有限；近年来，基于机器学习的算法注重效率，但不能保证地图的完整性。因此，我们将传统算法与机器学习相结合，同时借鉴传统算法地图完整性高和机器学习方法全局效率高的优势，提出了NeuralCoMapping算法。

2

本文的方法

NeuralCoMapping 算法由四个模块组成：Mapping Module、Global Planner、Local Planner 和 Action Controller。

图1.算法流程

首先，每个机器人的传感器收集当前时间步的深度图（Image）和位姿数据（Pose），Mapping Module根据这些数据更新Occupancy Map。随后用到贪心策略的算法，障碍物图被传递到本地规划器中。同样传入局部规划器的还有每个机器人的目标位置（Global Positions），而这些目标位置是由全局规划器（Global Planner）定期获取的。本地规划器根据每个机器人的当前位置和目标位置计算地图上的移动路线（Moving Trajectories），然后由动作控制器（Action Controller）计算出机器人在当前时间步（前进，左转或右转）。

全局规划器的规划算法在主动映射中起着决定性的作用，是我们算法设计的核心部分。这部分算法根据当前地图和机器人位置，确定每个机器人在进行下一次全局规划前需要到达的目标位置，从而逐步探索场景并更新地图。

图2.全局规划算法

具体来说，我们首先从地图中提取两种类型的节点，机器人位置（robots）和边界点位置（frontiers）。边界点，也称为边界点，是地图上位于已探索和未探索区域之间没有障碍物的分界线上的点。基于这两种类型的节点，我们将全局规划抽象为一个二分图匹配问题：为每个机器人分配一个边界点作为目标位置。以引导点为目标，机器人将始终向未知区域移动。当地图中没有更多的边界点时，我们得到完整的场景地图。

为了实现全局计划之间的连续性，我们添加了两种附加类型的辅助节点，历史机器人和历史目标。通过Multiplex Graph Neural Network，我们提取机器人与边界点之间的距离成本作为二分图匹配的亲和矩阵。基于相关矩阵，我们使用线性分配层执行可微匈牙利算法获得二分图匹配，即每个机器人分配一个边界点作为目标位置。

3

实验结果

图3.时间效率实验结果

我们在 iGibson 模拟器中使用 Gibson 和 Matterport3D 数据集进行实验。具体来说，我们从 Gibson 数据集中随机选择 9 个场景进行训练，并使用剩余的场景和来自 Matterport3D 数据集的场景作为测试。结果表明，与其他多机协作算法相比，我们提出的 NeuralCoMapping 在全局时间效率方面具有显着优势。测试场景区域越大，NeuralCoMapping 的优势越明显。在 Matterport3D 场景中的测试结果也表明 NeuralCoMapping 对不同类型的场景有很好的泛化能力。

图4. 泛化性能实验结果

此外，NeuralCoMapping 在不同数量的机器人上也表现出良好的泛化能力。在三个机器人上训练的模型仍然可以直接应用于两个或四个机器人（附加材料包含最多九个机器人的泛化实验），这要归功于我们算法的分层设计：我们将复杂的全局规划问题抽象为二分图对机器人数量不敏感的匹配问题，通过使用多路图神经网络，算法可以在任意数量的机器人上运行。

综上所述，我们将传统算法与机器学习相结合，提出了一种高效的多机协同算法NeuralCoMapping，实现了对未知室内场景的自动探索和完整地图构建。该方法对于多种未知场景和不同数量的机器人具有出色的泛化能力。

视觉计算与学习实验室

视觉计算与学习

在陈宝全教授的带领下，北京大学视觉计算与学习实验室在图形学、3D视觉、可视化和机器人学等领域开展了科学研究。国际化团队深度合作，积极开展产业化实践与推广。