CNN和CAD用于色素性皮肤病的研究进展与展望
摘要
关键词
卷积神经网络,图像分析,计算机辅助诊断,深度学习,人工智能,色素性皮肤病
正文
色素性皮肤病是色素沉着异常,黑素细胞和黑素生成异常导致的一类皮肤病,临床上表现为色素增多或减少导致的皮肤颜色改变,不论是大体观察还是通过皮肤影像学的检查在一定程度上都会受到医生经验等主观因素和不同医疗条件的影响,精确识别和及时的诊断迫切需要计算机辅助诊断的实现,深度学习(Deep Learning,DL)以接近人类的准确性和更好的重现性展现出了在图像识别领域的巨大潜力,并且在真实临床诊断中发挥了很好的作用[1]。计算机图像分析(computer digital image analysis,CDIA)系统是通过传感器输入、分割、识别、解释处理图像,智能提取所需要的信息,在医学图像分析(biomedical image analysis)领域已有研究应用,在中医皮肤病中,CDIA还可以辅助诊断舌像,使诊断方式更合理化。[2]皮肤镜的图像诊断很大程度上取决于皮肤科医生的经验,因此需要计算机辅助诊断(CAD)技术,计算机辅助诊断主要基于根据“ABCD”(Asymmetry,Border irregularity,Colorvariation and Different structures)原则,许多特征提取和分类算法是基于此研究被开发出来的,随着特征袋模型、深度学习和图像检索的发展,研究者采用这些方法进行皮损的特征提取进而分析检索,取得了良好的效果,将这些方法引入皮肤镜的图像分析进一步推进了皮肤镜图像分析技术的完善。[3]常见的CAD系统由图像分割、特征提取和分类三个步骤组成,特征提取和分类是对皮肤图像定量分析的关键。Zhen Ma等[4]提出了一种基于形变模型的皮肤病图像分割方法,通过对250张皮肤镜图像的定量分析讨论了该算法的实现问题,与其他算法相比更具有鲁棒性和灵活性,但是在处理背景复杂的图像上存在一定的不足,在图像精度分类上有待提升。卷积神经网络(Convolutional Neural Networks,CNNs)是深度学习的代表算法之一,具有极强的特征学习、数据归纳和图像识别能力,能够高效地提取图像高级语义信息。随着深度学习理论的提出和计算机的进步,卷积神经网络现在已经被用于计算机视觉处理领域,近年出现的CNN端到端的语义分割方法融入机器视觉中,可以在精密测量分析场合下形成泛用性强的人工智能方法。[5]可以说,深度学习的神经网络是CAD更进一步的发展、更成功的应用,DL实现了图像特征自动提取,检测准确性更高。
1. CNN与CAD在色素性皮肤病中的应用
1.1白癜风的客观诊断与疗效评价 白癜风是皮肤科最常见的色素沉着不足的皮肤病,常常对患者的心理和生活造成严重影响,其早期诊断和治疗十分关键,白癜风的客观测量对评估其严重程度和治疗效果至关重要,到目前为止白癜风的评估方法主要是临床量表、VETFa或者VASI,这些方法都缺乏客观性并且受到一些限制,评估往往受观察者影响具有差异性,因此一直以来缺少客观量化的评估标准,目前缺少在白癜风智能诊断和识别方向的研究,在白癜风领域还没有完善的人工智能系统和数据库来辅助白癜风的诊断和治疗。CDIA系统是对白癜风皮损的量化的、数字化的评估方法,通过对比皮损部和正常皮肤在红、绿、蓝3种桢体下测定的平均光密度和积分光密度值,精确地计算出皮损面积,相比大多采用的肉眼观察和主观评价的方法,皮肤计算机图像分析方法更为科学、客观,不但可以为临床诊断提供可靠的依据,更对于进一步对比白癜风患者的疗效评估有重大意义。[7, 8]TOH等[8]提出了结合全局和自适应阈值分割技术和超像素方法精确计算白癜风皮损区域的数字图像分析方法,与传统的手动评分VASI相比降低了评估者之间的差异,使白癜风严重程度评分更加客观标准,该研究为白癜风与人工智能结合的未来研究提供了思路和方向。为了监测白癜风的进展情况,Moyakine等[9]提出了一项基于CDIA程序确定白癜风靶尺寸的研究,该程序对病变区域变化高度敏感,并且能够测量边缘和毛周色素再沉着,并且可能用于观察疗效。与CDIA相似,CNN适用于白癜风的条件在于,白癜风是一种色素性疾病,其病变区域在不同颜色空间下有较高的对比度。罗卫等[10]人提出了一种基于CNN模型的白癜风智能分析系统,该系统使用三个不同的CNN模型(Resnet50、VGG16、Inception v2)训练了空军特色医学中心的白癜风专科图片数据库近四万张图片,通过融合多个模型的方法可以有效识别病变区域,精确地识别白斑面积和白斑复色灰度情况。训练结果表明,该CNN模型融合系统与传统的单个CNN图像识别方法相比更稳健有效(Acc:86.3%,PPV:91.2%,Sen:90.5%),可以更好地协助医生诊断,减少医生的工作难度,也可以让患者在首诊后自行分析治疗后的复色情况。采用YOLO v3和unet++体系结构的混合AI模型可以即时定位分割病灶,有利于测量白癜风的病变的大小和色度(色素沉着程度)。[11]人工神经网络的模型还可用于白癜风激光治疗的临床反应预测,基于该模型可能开发出预测激光治疗后患者获得色素沉着所需的治疗疗程,但是仍需要更大的白癜风病变和准分子激光治疗反应数据库来建立更有预测性的模型,[12]这是人工智能发展中的普遍问题。
1.2色素痣的鉴别诊断 王诗琪等[13]人通过CNN网络ResNet-50迁移学习训练建立了CNN二分类模型,训练了5094幅色素痣和脂溢性角化(SK)病的图像,总准确率与95位有皮肤镜培训经验的皮肤科医师相当(88.33%,84.47%),差异无统计学意义,但是该模型仍然存在错误分类的情况,原因需要进一步探索。何雪英等[14]人针对中国人色素性皮肤病训练了结构化的深度卷积神经网络模型,通过数据增强和迁移学习来避免模型受样本量限制出现地过拟合问题,该模型采用ISIC数据集训练了黑素瘤、色素痣和SK三个皮肤镜肿瘤图像,以VGGNet作为模型基础构架,另外选择ResNet-34和GooLeNet两个模型对比,通过加权(w)缓解数据集之间类别不平衡问题,实现了基于皮肤镜图像的色素性皮肤病的自动识别分类,虽然黑素瘤与另外两类病变极度相似,但是计算机辅助诊断仍具有较高的敏感度和识别正确率(ResNet+w:Acc:53.3%,Sen:58.43%;GoogleNet+w:Acc:61.33%,Sen:56.12%;VGG+w:Acc:71.34%,Sen:70.01%)。肉眼观察皮肤镜图像中皮肤病变的对比度低,特别是黑色素瘤与非黑色素瘤在视觉上高度相似,黑色素瘤通常是指恶黑,近年来其发病率和病死率逐年升高,除了早期手术外缺少特效治疗手段,因此早期的鉴别诊断和治疗十分重要,由于皮肤镜图像的人工检查通常耗时且受主观影响,Lequan Yu等[15]提出了利用CNNs自动识别黑色素瘤,并在ISBI2016皮肤病变分析中进行了广泛评估证明了该模型的有效性,该网络架构深度超过50层,提出了一个非常深的FCRN来精确分割皮肤病变,与较浅的网络(AlexNet、VGG-16等)相比能解决复杂的图像分析任务,进一步提高了黑素瘤识别的精度,但是该模型在处理皮损周围低对比度、形状不规则和有伪影时分割失败,模型的深度达到100层以上时处理性能下降是训练CNN数据集的主要问题。基底细胞癌是最常见的皮肤恶性肿瘤之一,由于富含色素不易与色素痣和黑色素瘤鉴别,但是其恶性程度较低,谢斌等[16]在湘雅医学大数据平台构建了基于中国人为主的皮肤病临床图像集,基于此数据集评估了5种主流的CNN模型(ResNet50,InceptionV3,InceptionResNetV2,DenseNet12,Xception)的性能,解决了之前皮肤肿瘤领域缺乏中国人临床图像数据和AI研究多为黑素瘤的皮肤镜图像的不足,并且对于CNN可解释性较弱的问题,该研究用Grad-CAM的技术将分类结果可视化,其最优模型Xception的诊断结果与30为专业的皮肤科医生相当,总准确率(92%,89%),进一步推动了AI辅助皮肤病诊断在中国的发展。
1.3色斑 现有的色斑检测分割方法大多是基于ISIC(International Skin Imaging Collaboration)和LBS(Lesion Boundary Segmentation)数据集,多为侧脸等多角度的人脸图像,为此陈友升等[17]提出了构建人脸正脸图像的数据集,采用Mask R-CNN分割模型实现人脸图像色斑分割,使用ResNet作为Mask R-CNN模型骨干网络解决了模型深度问题,使图像特征更丰富,准确性更高,同时对比了不同骨干网络(ResNet-34,ResNet-18,ResNet-50,ResNet-101,ResNet-152),ResNet-34的识别效率和准确度更出色,色斑分割效果良好J(A,B)81.5%(真实、预测色斑区域比值),证明了CNN用于面部色素性色斑诊断中的可行性,并且提出Mask R-CNN可能将进一步用于痤疮、黑痣等其他皮肤病的分析检测。利用YOLO v5算法建立的面部损容性色素性疾病的人工智能诊断模型的诊断准确率与经验丰富的专科医生相当,并且优于基层皮肤科医生。[18]
2. 数字化与信息化在皮肤科领域的现状及问题
现有数据证明AI在皮肤科的应用是可行的,在皮肤病变的筛查和诊断中表现出了巨大的潜能,准确性和特异性具有明显的优势,“优智AI”数据库的建立也使皮肤科AI逐渐向决策支持和患者管理方向发展。临床预测模型的本质是临床研究,需要学习代码,影像组学还需要机器学习的基础,而AI越来越受到学者的青睐,可解释、可通用的下一代人工智能方法已有越来越多的研究,基于ACP(Artificial Societies、Computational Experiments、Parallel Execution)方法结合平行皮肤框架(描述智能-预测智能-指示智能)建立人工皮肤图像系统,通过学习选择生成特定数据增加模型的可解释性,但依旧存在无法输出知识、给出具体诊断依据的局限性,临床研究、疾病导向、病人护理证据等可能成为深度网络可解释性的证据,从而增加辅助诊断的透明度与可信性,这也是迫切需要解决的问题之一[19]。CNN相比前两者更容易实现,临床AI必须确保最高的数据质量和验证标准,充分考虑患者数量、肤色等影响因素。[20]虽然在皮肤科领域的已经建立了部分数据库,但也存在两个问题,一方面,现有的算法需要大数据的训练和测试,数据孤岛和图像孤岛导致以形态学为基础的AI识别率不高,[21]其中图像质量参差不齐是图像收集过程中亟须解决的问题,孟如松等[22]指出图像应符合高保真、高分辨和高精度(三高)是深度学习模型建成的基本要求。另一方面是从模型到临床的运用,要脱离空跑模型无法投入使用的理论,首先,特定的数据库只适用于一种皮肤病,这对图像和数据的收集是一个巨大的工作和挑战;第二,AI数据的输出是既定的公式,这意味着可能出现难以预见的错误,对临床的决策可能造成灾难性后果,必然需要人工的监督和干预;第三,尽管AI的处理能力强大,但其不具法律效力,无法归属医疗事故的责任,在医学伦理学方面仍有待完善;最后,AI作为机器,其诊断和处理过程缺乏对病人的人文关怀和情感护理[23]。此外,基于手机软件平台的智能检测研究还很少,大部分的深度学习算法还是通过高性能的计算机运算的,因此,在保证准确性的前提下精简算法,降低运算量,将其运用到移动设备或者可穿戴设备具有重大的研究意义。[24]更全面、更标准的皮肤病智能诊断系统需要更多的数据积累和多中心、多学科的不断交流,帮助建立能够服务于患者快速就医和初步诊断的人工智能医学平台,未来甚至实现智能辅助检查、治疗、药品配送、预后随访等一系列服务。[25]
3. 结语与展望
数据化与信息化是社会发展的必然趋势,AI减轻了大量的重复劳动,缩小了误差,一定程度上避免了医生的肉眼观察和大体观察的主观性,同时对于改善医疗条件不充足、医生水平不一的现状具有巨大意义,也有利于远程医疗、互联网医疗的发展,用于色素性皮肤病的高性能AI模型,可以作为客观便捷的工具,辅助基层全科医生和低年资医生诊断。目前深度学习的运用不局限于色素性皮肤病,在皮肤科其他疾病中也有大量的研究,DL在炎症性皮肤病、皮肤良恶性肿瘤的模型也表现出与临床医生水平相当的诊断能力,杨静等[26]人通过“优智皮肤”和“睿肤识别”两个深度学习软件分析其在皮肤恶性肿瘤的能力,中低级职称的皮肤科医生与深度学习软件的诊断准确率相当,Li Wan等[27]人的研究结果表明深度学习模型识别RCM图像在鉴别炎症性皮肤病中的表现优于普通皮肤科医生,基于AI的临床决策甚至高于单独的AI和临床医生,这也证明了CNN和CAD应用在皮肤科疾病的巨大潜力,在基层医院推广和辅助经验不足的皮肤科医生诊断上有较大意义。
参考文献
[1] Bajwa M N, Muta K, Malik M I, et al. Computer-Aided Diagnosis of Skin Diseases Using Deep Neural Networks[J]. Applied Sciences, 2020,10(7):2488.DOI:10.3390/app10072488.
[2] 计算机图像处理技术在中医皮肤病诊断中应用分析[J].
[3] 谢凤英, 刘洁, 崔勇, 等. 皮肤镜图像计算机辅助诊断技术[J]. 中国医学文摘(皮肤科学), 2016,33(01):45-50.
[4] Ma Z, Tavares J M R S. A Novel Approach to Segment Skin Lesions in Dermoscopic Images Based on a Deformable Model[J]. IEEE Journal of Biomedical and Health Informatics, 2016,20(2):615-623.DOI:10.1109/JBHI.2015.2390032.
[5] 黄坚, 刘桂雄. 面向机器视觉检测的CNN语义分割方法进展[J]. 激光杂志, 2019,40(05):10-16.
[6] 罗卫, 孟如松, 蔡瑞康. 计算机图像分析系统对白癜风皮损及周边正常皮肤的测定研究[J]. 武警医学, 2011,22(12):1059-1060.DOI:10.3969/j.issn.1004-3594.2011.12.016.
[8] Moyakine A V, Hermans D J J, Fuijkschot J, et al. Propranolol treatment of infantile hemangiomas does not negatively affect psychomotor development[J]. Journal of the American Academy of Dermatology, 2015,73(2):341-342.DOI:10.1016/j.jaad.2015.04.053.
[9] 罗卫, 王学磊, 刘健, 等. 基于卷积神经网络的白癜风智能检测研究[J]. 中国医疗设备, 2019,34(9):52-54.DOI:10.3969/j.issn.1674-1633.2019.09.013.
[10] Guo L, Yang Y, Ding H, et al. A deep learning-based hybrid artificial intelligence model for the detection and severity assessment of vitiligo lesions[J]. Annals of Translational Medicine, 2022,10(10):590.DOI:10.21037/atm-22-1738.
[11] Cazzaniga S, Sassi F, Mercuri S R, et al. Prediction of Clinical Response to Excimer Laser Treatment in Vitiligo by Using Neural Network Models[J]. Dermatology, 2009,219(2):133-137.DOI:10.1159/000225934.
[12] 王诗琪, 刘洁, 朱晨雨, 等. 皮肤科医师与深度卷积神经网络诊断色素痣和脂溢性角化病皮肤镜图像比较[J]. 中华皮肤科杂志, 2018,51(07):486-489.
[13] 何雪英, 韩忠义, 魏本征. 基于深度卷积神经网络的色素性皮肤病识别分类[J]. 计算机应用, 2018,38(11):3236-3240.DOI:10.11772/j.issn.1001-9081.2018041224.
[14] Yu L, Chen H, Dou Q, et al. Automated Melanoma Recognition in Dermoscopy Images via Very Deep Residual Networks[J]. IEEE Transactions on Medical Imaging, 2017,36(4):994-1004.DOI:10.1109/TMI.2016.2642839.
[15] 基于卷积神经网络的基底细胞癌和色素痣的临床图像鉴别[J].
[16] 基于Mask R-C丽的人脸皮肤色斑检测分割方法[J].
[17] 郭丽芳, 丁徽, 杨寅, 等. 面部损容性色素性疾病人工智能诊断模型的建立与评价[J]. 临床皮肤科杂志, 2021,50(09):536-539.
[18] 王飞跃, 苟超, 王建功, 等. 平行皮肤:基于视觉的皮肤病分析框架[J]. 模式识别与人工智能, 2019,32(07):577-588.
[19] Kovarik C. Development of High-Quality Artificial Intelligence in Dermatology: Guidelines, Pitfalls, and Potential[J]. JID Innovations, 2022,2(6):100157.DOI:https://doi.org/10.1016/j.xjidi.2022.100157.
[20] 孟晓, 崔炳南. 在体皮肤反射式共聚焦显微镜图像的人工智能识别研究现状[J]. 中国医刊, 2022,57(09):938-941.
[21] 孟如松, 李艺鹏, 胡博, 等. 浅谈皮肤图像质量在AI研究中的价值[J]. 皮肤科学通报, 2018,35(02):229-237.
[22] 费文敏, 李承旭, 韩洋, 等. 人工智能在皮肤病诊断和评估中的作用[J]. 中国数字医学, 2021,16(02):1-6.
[23] 张杰, 赵惠军, 李贤威, 等. 基于深度学习方法检测皮肤镜图像中黑色素瘤的研究进展与展望[J]. 医疗卫生装备, 2018,39(11):90-95.
[24] 谭鸿, 巴伟, 李承新. 深度学习在皮肤图像识别中的应用[J]. 实用皮肤病学杂志, 2020,13(06):348-351.
[25] 杨静, 段晓雨, 蔡梅. 深度学习软件对皮肤恶性肿瘤诊断准确性的分析[J]. 中国皮肤性病学杂志, 2021,35(11):1249-1256.
[26] deep learning for inflammatory disease classification based on reflectance confocal microscopy[J].
...