针对当前因部分医学图像成像干扰大、多中心数据一致性差、小样本、弱标注或标注不足、缺少合适的决策路径导致的“基于图像的智能诊断筛查在多中心跨地域的落地应用难”这一瓶颈,将半监督学习、多尺度特征和语义信息提取、特征关系驱动等精巧融入基于图像的诊断筛查中,设计了一系列新的方法并解决了相应医学图像诊断/筛查的问题,并突破关键技术壁垒研制基于图像智能的高可靠Time-Lapse胚胎培养箱,打破了欧美澳等国外厂商对中国市场的标准和技术的垄断。
(1)结合临床场景开展智能方法创新和医疗数据融合分析。利用眼部图像和其它补充数据,针对青光眼、糖网等开展筛查取得良好效果(AAAI 2021、IJCIA 2022);并开发半自动标注工具对数万例病情进行高效的标记工作。提出创新的血管约束网络,提出同时输出视网膜血管分割和动/静脉分类的并联特征图,实现了视网膜动脉和静脉血管的高效快速识别分类,发现眼底彩照与心脑血管病的相关指标(如直接胆红素、总胆固醇、高/低密度脂蛋白等)的密切关系,并设计识别系统(与同仁医院和北京市眼科研究所申获卫健委体系内项目)。提出“数据+模型”双驱动策略,基于眼底彩照对全身系统疾病(糖尿病、动脉硬化、高血压、慢性肾病等)开展横断面筛查和队列预测的关联研究,多中心验证效果良好(IEEE JBHI 2022、Front. Cell Dev. Biol. 2021);在同仁医院、开滦总医院成功开展应用推广(ZL201910849327.9、ZL202011450625.X)。
(2)医学图像分割算法创新。在多模态结构核磁图像上,模型算法设计和三维图像分割在公开数据比赛取得前两名(曾第一),包括:灰、白质和脑脊液分割;海马、海马亚区的分割;提出SAU-Net实现对脊椎图像的自动分割;在多个独立测试集检验达到很高水平,创新方法独立测试多项指标超过已发表最好结果(IEEE ISBI 2020,MIDL 2020)。还基于CT图像和较少标注数据,设计探索高效的新冠肺炎(COVID-19)识别和感染区域分割的新方法,提出通过特征关系驱动的学习方法构建模型,通过 从非新冠的肺部数据中提取出肺部病理组织的共有特征 辅助新冠任务的分割。该方法在缺乏标注的情况下展现出良好的分割与识别性能,更符合实际临床应用环境,在实现对COVID-19的评估和量化分析中发挥很大作用(研发产品在江苏和安徽合肥应用得到临床好评;IEEE JBHI 2021)。开展胎儿超声心动图四腔心切面分割研究,基于心脏组织的高度约束性,设计新的数据驱动训练策略,将解剖学知识融入训练网络并监督权重,保证了分割结果和标签之间的解剖相似性,克服了超声图像组织模糊、边界不完整、语义层面类内相似性和类间差异性不显著的难点。新的模型方法在多个指标衡量下取得第一名的好成绩;与安贞医院合作,有力支持了胎儿先心病的早诊和及时治疗,得到临床高度认可(GMIG 2019,Neurocomputing 2021)。
(3)开展辅助生殖中的高可靠Time-Lapse胚胎培养箱国产化及智能配件和耗材的体系研发,打破欧/美澳等国外厂商对中国市场的体外一站式智能胚胎培养箱的垄断。在独立舱培养、智能自检反馈、自动对焦、胚胎图像分割、智能评价、可靠性设计方面已取得关键技术突破,已完成一代样机试制,与临床生殖医学中心合作,推进动物和临床试验,在申报医疗器械注册证。