认知智能驱动设计与制造
一、人的认知智能
当脑电数据文件上传并提交后，系统会自动对其中的数据进行频域转换和特征提取，然后通过认知状态识别模型完成识别，最终将该段脑电数据所对应的认知状态显示在页面上。
二、机的认知智能（设计系统/制造系统的认知智能）
[齿轮图像精准识别]
一种使用多模态模型进行齿轮图像精准识别的方法，其特征在于，该方法通过大语言模型实现齿轮图像识别。
航天器型号产品MBD模型信息提取与解析技术主要包含两个层次：模型几何信息提取层、标注信息提取层和数据融合层，可实现针对模型中包含的几何与标注两部分数据信息完成分别提取，并在融合层中完成信息融合，最终输出MBD模型加工特征列表。（在研）
|
|
[ManufVisSGG: 基于VLM的场景图理解和生成方法]
为了建立认知制造系统，场景图生成（SGG）是一个让机器/机器人在各种场景下理解对象及其关系的基本任务。现有的研究主要集中在检测和全景分割方法上，其中对象通过边界框或全景分割来识别，然后预测它们的成对关系。这个过程意味着最终场景图预测的质量严重依赖于高成本的注释质量。为了解决这个问题，我们提出了一种简单但功能强大的方法，即制造视觉场景图生成（ManufVisSGG），它利用视觉-语言模型（VLMs）的能力快速准确地生成场景图，而无需额外的对象注释。此外，利用ManufVisSGG方法，我们实施了一个细致的注释程序，编制了一个高质量的制造场景图生成（MSG）数据集，包含10,000张制造及其他工业场景的图像。通过与各种场景图生成方法和两个其他数据集上的基准进行比较，我们展示了ManufVisSGG方法的优越性，并强调了MSG数据集相对于现有数据集的优势。
三、认知智能驱动设计
针对复杂产品设计过程中知识需求难以有效获取、设计知识难以有效利用的问题，结合专利知识和脑电眼动相关技术，深入研究基于表示学习的设计知识空间构建方法、脑眼融合的设计知识需求空间构建方法和情境感知驱动的设计知识自动推荐方法，并开发相应的原型系统，实现及时而准确的设计知识主动推荐，从而适时为设计人员提供创新设计思路，有效提高复杂产品设计的成功率和效率。
通过定义多维专利知识模型，并基于此采用深度预训练语言模型（Bidirectional Encoder Representations from Transformers, BERT）和图注意力网络（Graph Attention Network, GAT）分别对专利的文本和引用知识进行表示学习，将多维度的专利知识表征为统一的向量形式，形成向量化的设计知识空间，从而实现设计知识的有效管理，为知识推荐提供丰富的知识资源。
通过实验采集设计人员在不同认知状态下的标准脑电数据及真实设计场景中的脑电和眼动数据，利用自动编码器和深度神经网络DNN训练认知状态识别模型，结合设计对象信息，对设计人员在设计过程不同阶段的知识需求进行识别，从而为知识推荐提供需求信息。
在前两项内容所建立的设计知识空间和知识需求空间之间建立映射关系，基于领域多样化的机制，对知识需求进行向量化表示，并与设计知识空间进行匹配，从而筛选出与当前知识需求最为相关且最有助于激发创新设计思路的专利知识，向设计人员进行主动的知识推荐。
四、认知智能驱动制造
（在研）
