中国眼科人工智能真实世界研究：识别眼底病变能力媲美专家

《柳叶刀-数字健康》（The Lancet Digital Health）近日发表由中山大学中山眼科中心林浩添教授团队牵头，联合鹰瞳Airdoc、广东省医疗器械质量监督检验所等国内外18家医疗、企业和科研机构完成的一项医学人工智能真实世界研究。该研究使用207,228张眼底彩照训练出可以识别14种常见眼底异常的眼底疾病综合智能诊断专家—CARE，并在全国35家不同地区不同级别的医疗机构进行前瞻性临床真实世界验证。研究表明，CARE在临床真实世界中对眼底病变识别的平均受试者操作特征曲线下面积（AUC）为0.968，不仅在眼底异常筛查的表现媲美眼科医生，而且在非中国人眼底图像和不同型号的眼底照相机获取的图像中仍然保持令人满意的疾病识别能力。我们特别邀请作者团队带来文章解读。

作者介绍

林浩添（通讯作者）

中山大学中山眼科中心副主任（副院长），研究员，主任医师，教授，眼科学和生物医学工程双学科博导。国家“万人计划”领军人才，国家卫健委突出贡献中青年专家，中国青年五四奖章获得者。主要研究方向为眼科人工智能算法和临床应用体系，对各种常见眼病的防治具有丰富临床经验，尤其擅长先天性白内障等儿童眼病的防治。

林铎儒（第一作者）

中山大学中山眼科中心主治医师，医学博士、博士后。中国人工智能学会会员、广东省青年科学家协会成员。主要研究方向为致盲眼病的精准防治和人工智能真实世界研究。

研究背景

眼底检查对于系统性疾病引起的眼部改变（如糖尿病和高血压），以及原发眼底疾病（如年龄相关性黄斑变性）都有重要意义[1]。人工智能技术的发展为大规模人群的眼底病变筛查提供了新思路[2,3]。在近5年，人工智能模型在实验研究中对识别糖尿病视网膜病变（DR）、年龄相关性黄斑变性等眼底疾病的表现良好[4-6]。目前，医学人工智能逐渐从实验室研究转向临床应用研究阶段[7]。然而，已报道的眼底疾病智能诊断模型仍存在诸多问题，包括模型的训练数据不具代表性和模型运行过于依赖网络连接等[4,8]，导致模型在临床应用容易出现眼底图片难以识别、模型准确性骤降和效率低下等现象，严重限制了其在临床真实环境中的应用效果。针对这些问题，此研究研发了眼底疾病综合智能诊断专家— CARE（Comprehensive AI Retinal Expert），并完成了临床真实世界验证研究，旨在科学和规范医学人工智能产品的研发和临床应用评价体系。

研究方法

研究团队开展了一项全国性研究（详见原文图1），使用16家具有不同疾病分布、不同级别的医疗机构共207228张眼底彩照，通过多疾病标签网络训练出可以识别14种常见眼底异常的眼底疾病综合智能诊断专家—CARE。（原文图2）

Figure 2: Algorithm principle comparison between CARE and an assembled deep-learning system

CARE was trained using multidisease-labelled fundus photographs in a single convolutional neural network in which all disease information was shared with each interconnected classifier (A). This structure was selected as an assembled deep-learning system with independent binary classifiers that do not share disease features (B). CARE=Comprehensive Artificial intelligence Retinal Expert. Conv=convolutional. DR=diabetic retinopathy. HR=hypertensive retinopathy. RD=retinal detachment.

研究团队通过21,867张眼底彩照对CARE进行内部验证，同时在全国将来最有可能应用该模型的35家医疗机构进行实时的临床真实环境验证（前瞻性采集18,136张眼底彩照），包括8家三级医院、6家社区医院和21家健康体检机构。CARE的表现进一步与16位不同地区、不同年资的眼科医生进行比较，并且使用非中国人的眼底彩照和模型训练未涉及的照相机型号获取的眼底彩照对CARE进行测试。此外，研究团队首次使用胶片相机拍摄的眼底图像的电子扫描版对CARE进行测试。

研究结果

CARE的研发和内部验证

研究团队将从全国16家不同级别医疗机构回顾性收集的207,228张后极部眼底彩照，按临床诊断规范进行眼底病变的标注，基于多疾病标签网络训练出眼底疾病综合智能诊断专家—CARE，可识别正常眼底图像和14种常见眼底病变：包括2种系统性疾病的眼部表现（糖尿病和高血压），以及12种眼底异常（青光眼视神经病变、病理性近视眼底改变、视网膜静脉阻塞、视网膜脱离、黄斑裂孔、黄斑水肿、中心性浆液性脉络膜视网膜病变、视网膜前膜、视网膜色素变性、大玻璃膜疣、黄斑新生血管和地图状萎缩）。CARE的内部验证使用了上述16家医疗机构不同时期获取的21,867张眼底图像，按照图像来源分为三级医院、社区医院和体检人群数据集，以验证模型在不同疾病分布下的表现。CARE内部验证的平均受试者操作特征曲线下面积（AUC）为0.955（标准差0.046）（原文表2），优于传统单病种的二分类模型（平均AUC为0.921，标准差0.087），特别是对于黄斑裂孔、玻璃膜疣和地图状萎缩，AUC分别从0.786、0.743和0.869提高至0.953、0.916和0.946，提升幅度最高达20%以上（原文表3）。

临床真实世界验证表现出色

CARE的真实世界验证在全国28个省市的35家医疗机构的真实临床场景中进行，包括8家三级医院、6家社区医院和21家健康管理中心。患者进行眼底图像拍摄后，CARE可即时生成眼底病变筛查的结果报告，患者的筛查结果由具有执业资格的眼科医师最终确认。研究中共前瞻性采集18,136张眼底彩照，CARE系统的平均AUC为0.968（标准差0.037）（原文表2）。

CARE的眼底病变识别能力媲美眼底病专家

研究团队将CARE的眼底病变识别能力表现分别与9组来自不同地区（北京、山东、湖北、湖南、西藏、新疆、广东、广西、上海）、4组具有不同年资（3年以下经验的眼科研究生、5年经验的眼科医生、超过10年经验的眼底病专家、以及中华眼科学会眼底病学组组长/副组长）的眼科医生进行对比。结果表明，不同地区、不同年资的眼科医生在眼底病变判断的表现上具有较大差异（糖尿病视网膜病变的识别灵敏度范围为0.610-0.911，病理性近视眼底病变为0.500-0.929）；而CARE系统不仅对疾病的识别能力媲美眼底病专家，而且表现非常稳定。

CARE可准确识别非中国人的眼底病变

研究团队使用来源于Kaggle公开数据集的眼底彩照（主要收集于拉丁美洲等具有与中国人不同种族特征的人群）测试CARE在识别非中国人眼底病变的表现。结果显示，CARE识别Kaggle数据集中需转诊糖尿病视网膜病变的AUC为0.960，与CARE在中国人群的临床真实世界验证中的表现相当，说明CARE具有在不同种族特征人群中应用的潜能。

CARE在不同型号照相机的眼底彩照进行病变识别的表现

由于在CARE开发过程涉及了大部分常见型号的眼底照相机获取的眼底彩照图像，因此研究团队使用了一款模型训练未使用过的老式胶片眼底照相机（CR6-45NM，佳能公司，日本）获取的打印版眼底彩照，再通过扫描得到的电子版对CARE进行测试。结果表明，CARE对眼底病变识别能力有所下降（需转诊糖尿病视网膜病变的AUC从0.960下降至0.882，地图状萎缩的AUC从0.999下降至0.899、正常眼底的AUC从0.961下降至0.837）。

结论

此项研究的局限性包括模型未能识别周边眼底病变和未调查患者就诊流程及体验等。该研究共纳入眼底彩照超过26万张，眼底病变标签超过30万个，数据来源覆盖中国28个省市共51家不同级别的医疗机构，是目前全球规模最大、设计最全面的眼底多病种识别人工智能临床真实世界研究。结果表明，眼底疾病综合智能诊断专家CARE可以准确识别14种常见眼底异常，适用于不同医疗场景、不同种族、不同眼底照相仪器的临床真实世界环境，且准确率媲美眼底专科医生。此外，CARE的单卷积神经网络结构消耗更少的计算资源，在普通家用电脑就可以离线运行，减少对连接服务器网络的依赖，适用于医疗资源稀缺和网络条件差的老少边穷地区的眼底疾病筛查。研究团队已经获得系列技术专利且获得国家药品监督管理局颁发的第一个眼科人工智能软件Ⅲ类医疗器械产品注册证。美国最顶尖的十所研究型大学之一威斯康星大学的世界权威影像诊断中心主任Amitha Domalpally评价此项研究“标志着医学人工智能研究迈向正确的发展方向。”[9]。END

参考文献：

1. Liu Y, Wu F, Lu L, Lin D, Zhang K. Videos in clinical medicine.Examination of the Retina. N Engl J Med 2015; 373: e9.

2. Ting DSW, Cheung CY, Lim G, et al. Development and validation of a deep learning system for diabetic retinopathy and related eye diseases using retinal images from multiethnic populations with diabetes. JAMA 2017; 318: 2211–23.

3. Son J, Shin JY, Kim HD, Jung KH, Park KH, Park SJ. Development and validation of deep learning models for screening multiple abnormal fidings in retinal fundus images. Ophthalmology 2020;127: 85–94.

4. Gulshan V, Peng L, Coram M, et al. Development and validation of a deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs. JAMA 2016; 316: 2402–10.

5. Burlina PM, Joshi N, Pacheco KD, Liu TYA, Bressler NM. Assessment of deep generative models for high-resolution synthetic retinal image generation of age-related macular degeneration. JAMA Ophthalmol 2019; 137: 258–64.

6. Milea D, Najjar RP. Artifiial intelligence to detect papilledema from ocular fundus photographs. N Engl J Med 2020; 382: 1687–95.

7. Shah P, Kendall F, Khozin S, et al. Artifiial intelligence and machine learning in clinical development: a translational perspective. NPJ Digit Med 2019; 2: 69.

8. Beede E, Baylor E, Hersch F, et al. A human-centered evaluation of a deep learning system deployed in clinics for the detection of diabetic retinopathy. Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems. Association for Computing Machinery; Honolulu; April, 2020.

9. Amitha D, Roomasa C. Real-world validation of artificial intelligence algorithms for ophthalmic imaging. Lancet Digit Health 2021; 3(8): e463-e464.