课题组鄢智杰在IEEE Robotics and Automation Letters上发表论文《Dynamic Open-Vocabulary 3D Scene Graphs for Long-term Language-Guided Mobile Manipulation》。
摘要：
使移动机器人在动态的现实环境中执行长期任务是一项极具挑战性的工作，尤其是在环境因人机交互或机器人自身行为频繁变化的情况下。传统方法通常假设场景是静态的，这限制了它们在不断变化的现实世界中的适用性。为克服这些局限，我们提出了 DovSG，一种新颖的移动操作框架，结合了动态开放词汇的三维场景图与语言引导的任务规划模块，用于支持长期任务执行。DovSG 以 RGB-D 序列为输入，利用视觉-语言模型（VLMs）进行目标检测，从而提取高层次的语义特征。在分割得到的目标基础上，构建出包含低层空间关系的结构化三维场景图。此外，该框架还引入了一种高效的局部更新机制，使机器人在交互过程中无需重建整个场景即可动态调整图的一部分结构。这一机制在动态环境中尤为重要，使机器人能够持续适应场景变化，进而有效支持长期任务的执行。我们在多种实际环境中对系统进行了验证，环境中包含不同程度的人工
详细信息请查阅：https://ieeexplore.ieee.org/abstract/document/10909193/
手机浏览
