2025年2月16号，课题组鄢智杰、王佐旭等在中科院一区TOP期刊Robotics and Computer-Integrated Manufacturing上发表论文《VLM-MSGraph: Vision Language Model-enabled Multi-hierarchical Scene Graph for robotic assembly》
摘要：
智能机器人装配正日益成为制造业的关键组成部分，受益于对柔性化、可持续性和韧性的不断增长的需求。在制造环境中，机器人需要具备感知、决策和操作能力，以支持多样化产品的柔性生产。然而，传统的机器人装配系统通常依赖于针对特定场景进行的耗时训练，缺乏泛化能力和零样本学习能力。为应对这些挑战，本文提出了一种融合视觉语言模型的多层次场景图（VLM-MSGraph）方法，用于机器人装配，支持泛化的装配序列学习和开放场景下的三维操作。MSGraph 在高层通过多个 VLM 智能体组织成三元组结构，实现任务规划；在低层则保留了工业零件之间的三维空间关系，使机器人在执行装配任务时能够考虑物体几何特征，实现高效操作。我们基于装配图纸、物理仿真和实验室环境中的装配任务对所提系统进行了评估，推动了机器人柔性自动化的发展。
详情请阅读：https://www.sciencedirect.com/science/article/pii/S0736584525000328
手机浏览
