近日，我院吴云老师团队在人工智能领域国际顶级期刊《Neural Networks》上发表了题为“G2ViT: Graph Neural Network-Guided Vision Transformer Enhanced Network for retinal vessel and coronary angiograph segmentation”的研究论文。论文第一作者为我院2022级硕士研究生徐豪同学，通讯作者为吴云老师，公共大数据国家重点实验室与云鼎国际4118登录为共同单位。

血管分割是提取血管形态特征以用于临床诊断眼底和冠状动脉疾病的关键阶段。然而，传统卷积神经网络（CNNs）局限于学习局部特征，难以捕捉图结构信息，也无法感知血管的全局上下文。因此，该论文提出了一种新的图神经网络引导的视觉Transformer增强网络（简称G2ViT）用于血管分割。G2ViT 巧妙地协调了卷积神经网络、图神经网络和视觉Transformer，从而增强了对整个血管图形结构的理解。为了深入洞察全局图结构和更高层次的全局上下文感知，本文研究了图神经网络引导的视觉Transformer模块。该模块利用CNNs提取的高级特征，以全新的方式构建图结构表征，用于图推理。为了在增大感受野的同时确保最小化边缘信息的丢失，G2ViT 引入了多尺度边缘特征注意力模块（MEFA），利用不同扩张率的扩张卷积和 Sobel 边缘检测算法来获取血管的多尺度边缘信息。为了避免上采样和下采样过程中的关键信息丢失，本文设计了多层次特征融合模块（MLF2），以融合粗略特征和精细特征之间的互补信息。在视网膜血管数据集和冠状动脉造影数据集上的实验表明，G2ViT在鲁棒性、通用性和适用性方面表现优异。

《Neural Networks》是国际神经网络学会（INNS）、欧洲神经网络学会（ENNS）和日本神经网络学会（JNNS）三个世界上历史最悠久的神经建模学会的官方期刊。该期刊是中科院SCI一区Top期刊，CCF推荐人工智能领域B类期刊，在神经网络和人工智能领域具有极高的学术声誉。

G2ViT的整体结构图

G2ViT模块示意图

论文链接：https://doi.org/10.1016/j.neunet.2024.106356