卷积神经网络在生物医学图像上的应用进展(5)
2.2 在医学影像中的应用
医学影像是通过非侵入方式取得的人体内部组织影像的技术,其目的是疾病诊断、手术引导等。对医学影像的处理包含图像重建、病变分割、疾病诊断、多模态和时序的影像配准、三维可视化等。CNN 在基于影像的疾病分类与分期、器官及病变区域的检测与分割等方面的应用最为广泛,这能够辅助医生更准确地了解患者状况,为疾病诊断、手术规划及药物剂量安排等提供有用信息。针对目前已有成果,将从脑、眼睛、乳腺、肺、骨骼、皮肤等方面介绍(如图4),并汇总在表2 中。
图4 CNN在医学图像分析中的应用实例
2.2.1 脑医学影像
大脑是人体最重要的器官,内部的脑白质、灰质以及大脑脊液与人类健康和疾病有着重要联系,因此实现大脑的自动分割能够为疾病诊断提供重要信息。然而大脑结构十分复杂,这给大脑分割任务带来重大挑战。针对这一问题,Moeskops 等[32]利用多尺度CNN 来学习脑部MR图像中多尺度的结构特征,对各年龄段人群的小脑、脑干、皮质灰质等8个组织类别进行了精确分割,该方法在5 个来自不同年龄段的数据集[33-35]中,Dice 值分别为0.87、0.82、0.84、0.86 和0.91。Kleesiek 等[36]发现大多数大脑分割算法在非增强的T1加权MR图像上表现良好,但是应用于其他模式图像时仍有困难。针对这一问题,他们设计了一种多模态输入的CNN 网络同时使用非增强和对比增强T1、T2 和T2-flair 这4 种模态进行训练和预测,以增强模型在不同模态之间的鲁棒性。在3个公共数据集(IBSR[37]、LPBA40[38]和OASIS[35])上的测试结果Dice 值分别达到0.963 2、0.969 6 和0.950 2。婴儿大脑存在等强度期,即6~8个月婴儿大脑中的白质灰质区域存在大量重叠,并在T1和T2 MR图像上展示出相同密度水平,这使得婴儿脑组织的分割相当困难。Zhang等[39]利用多模态输入的CNN模型来提高等强度期婴儿脑组织中白质、灰质和脑脊液区域的分割准确率。考虑到核磁弥散张量成像的各向异性图像(Fractional Anisotropy,FA)能够提供大脑组织中主要纤维束的丰富信息,该方法将T1、T2 和FA 这3 个模态的图像块作为CNN 模型的输入图像来进行婴儿大脑组织的分割。该模型在从10 名健康婴儿受试者获取的MR 图像数据集中分割结果的Dice值达到了0.850 3。
脑肿瘤是神经外科最常见的疾病,其中脑胶质瘤由于其高致死率而备受关注。目前,脑胶质瘤在空间分布和结构上的变异性是其图像处理任务面临的主要问题。针对上述问题,Havaei等[40]提出一个能够有效利用局部细节特征和全局上下文特征的双通道CNN模型来分割不同类别的脑胶质瘤区域,该模型通过设计不同大小的卷积核实现对不同尺度信息的关注,局部路径使用小卷积核来关注细节信息,全局路径则使用大卷积核来关注上下文信息。作者还将此CNN模型的输出作为另一个CNN输入图像的附加通道,从而形成级联CNN结构,该方法最终在BRATS2013[41]数据集上分割完整肿瘤、核心区域、强化区域的Dice 值分别为0.84、0.71 和0.57。为了充分利用图像的三维信息,Zhao等[42]提出了一种基于FCN和条件随机场(Conditional Random Fields,CRFs)的集成模型来实现肿瘤区域的分割。它将FCN生成的分割概率图以及原始图像输入CRFs,根据像素强度和位置信息来优化分割结果以保证外观和空间一致性。该方法分别在轴向、冠状面、矢状面使用图像块来训练3个分割模型,然后使用基于投票的融合策略对脑肿瘤进行分割。该方法在BRATS2013排名数据集上分割3 个区域(完整肿瘤、核心区域、和强化区域)的Dice值分别达到0.86、0.73和0.62。
2.2.2 眼医学影像
眼底彩照获取方式便捷,能够为糖尿病视网膜病变、青光眼等眼底疾病提供丰富的颜色、对比度等信息,是目前临床中常采用的眼底成像方式。糖尿病视网膜病变是糖尿病最常见的微血管并发症之一,在眼底图像上主要表现为微动脉瘤、渗出、出血以及血管增生。对糖尿病视网膜病变检测的难点在于病变种类多、形态尺度变化大。Gulshan等[43]基于Inception-v3模型实现了对可发病的糖尿病视网膜病变的筛查。该方法使用在ImageNet数据集上预训练的Inception-v3模型进行微调来实现病变图像的筛查,在两个测试集EyePACS-1 和Messidor-2[44]上敏感度达到90.3%和87.0%,特异度达到98.1%和98.5%。上述方法实现了对糖尿病视网膜病变的筛选和分期,但明确病变的位置和类别可以帮助医生和患者更好地指定诊疗方案。在这方面,Yu等[45]实现了糖尿病视网膜病变中渗出液的分割。该方法首先使用形态学算法提取出渗出液候选点,然后利用CNN 模型对这些候选点进行分类,最终在E-Ophtha EX数据集[46]上分割渗出液的准确度、敏感度、特异度分别达到91.92%、88.85%和96.00%。Playout等[47]使用基于U-Net的多任务架构同时分割红色病变(出血斑和微动脉瘤)和亮色病变(硬性渗出和软性渗出)。该方法使用了一个U-Net的编码块和多个解码块并行完成分割任务,并在编码块中引入了残差连接、基于空间压缩的混合池化模块、低尺度上使用大卷积核和密集连接机制,旨在通过聚合多个区域内的最大激活值来增强对噪声的鲁棒性。该方法在DIARETDB1[48]数据集上红色病变的Dice值、敏感度和特异度分别为0.598 0、0.669 1 和0.998 2,亮色病变的分别为0.789 7、0.753 5和0.998 6。
文章来源:《生物医学工程学杂志》 网址: http://www.swyxgcxzzzz.cn/qikandaodu/2021/0619/606.html