图为中检院AI研究小组。这支平均年龄不到35岁的科研团队，正在为中国AI医疗器械质量评价事业的未来而努力奋斗。
随着AI技术在医疗健康领域的迅猛发展，国产AI医疗器械已进入产品转化的关键时期，为此，我国正在加紧研究建立AI产品质量评价标准和规范。
新兴技术和创新产品如何进行注册审批和检验检测？ 企业如何拓展研发思路推动产品落地？
这些都成为行业最关注的的问题……
对AI医疗器械而言，过去的2018年是值得铭记的一年。美国食品药品管理局（FDA）首次批准了几款声称使用人工智能的医疗器械，包含独立软件、系统组件等形式，在眼科、骨科、消化科等领域助推了“医疗器械AI+”的浪潮，也激发了世界各国的追赶热情。与此同时，我国AI医疗器械呈现出如火如荼的发展态势，企业数量不断增长，产品预期用途和功能日新月异，在国内外举办的各种竞赛中成绩斐然，在北美放射学年会（RSNA）等场合的集体展示更是引起海内外的广泛关注。
但是，由于算法迭代迅速、标准规范滞后，AI医疗器械的产品质量评价研究仍面临诸多挑战。随着大量产品涌现并进入检验阶段，为更好地服务企业、支撑技术审评，在国家药品监管部门的部署下，中国食品药品检定研究院（以下简称中检院）聚焦AI医疗器械质量评价，从理论策略、检验实践、标准规范等角度逐步深入，AI医疗器械质量评价工作进展顺利。
快速布局 深入调研
截至目前，进入型式检验阶段的国产AI医疗器械产品以独立软件为主，预期用途多种多样，其中医学影像分析、体外诊断数据分析、生理数据分析等学科方向的检品数量比较集中，预期用途和临床功能日益丰富，总体呈现出“大聚居、小杂居、演化快”的特点。
中检院在2016年开始布局AI医疗器械质量评价研究，成立了AI研究小组，对于AI算法的发展、AI在医疗领域的应用、AI医疗器械产品发展、国外监管机构针对AI医疗器械开展的评价进行了较为深入的研究。为了解国产AI医疗器械产品特性，中检院与相关企业召开了几十次专题技术研讨会，在数据组成、数据结构、算法框架、模型调优、临床使用等方面进行了深入调研。同时，中检院还持续与来自药监系统、医学界和研究机构的专家进行产品质量评价方法的讨论。AI医疗器械产品不同于传统医疗器械软件，常规的检测方法不能全面地评价产品质量，尤其是AI产品在训练用数据集质量、算法模型鲁棒性、算法框架实时迭代风险等方面存在较多问题。
通过不断探索，中检院形成了现有的工作思路，并且继续演化为：在软件特性方面，围绕现有标准和指导原则加强实践，提炼AI特色；在AI性能方面紧扣算法特征与临床应用情景，开展量化指标的评价；在AI风险分析方面，将传统医疗器械检验的历史数据与AI技术特征相融合，推进风险评估模型与算法研究。AI的质量评价方法和手段是发展的、立体的、多维度的，中检院将会继续深入探索，助推产业发展。
实践发力 突破瓶颈
作为机器学习的分支，由于其数据驱动的特性，AI医疗器械的质量评价一般需要在测试集上对算法进行验证、确认。高质量的独立封闭测试集在产品质量评价中扮演着重要的角色。美国FDA在2018年8月的一次公告中对此进行了强调，与我国的思路不谋而合。
为满足目前国内数量较多、功能相近的糖尿病视网膜病变（简称糖网）、肺结节类AI产品的检验需求，2018年4月和6月，中检院相继完成了糖网眼底图像标准数据集和胸部CT影像肺结节标准数据集的建设。作为我国首批AI检验专用数据集，这两个标准数据集在标注权威性、数据多样性、临床代表性、数据容量等方面处于国内领先水平。
两个标准数据集具有如下特色：
第一，病种的组成依据我国和国际临床指南设计，满足相关产品检测需要；
第二，原始数据从地理来源、设备厂家和型号等角度充分考虑临床实际条件和地区的多样性差异；
第三，图像标注规则由中检院联合国内一线医学专家团队讨论制定，包括来自中华医学会放射学分会心胸学组、传染病影像学组等组织的专家，并由中华医学会放射学分会候任主委以及多名二级教授、影像科主任、医学读片中心主任等专家在标注现场予以指导；
第四，原始数据经过多轮清洗，在数据质量、隐私保护、合规性等方面经过严格审查，图像标注由通过全国公开考试选拔的医生承担，医生资质、能力考核、培训和实际工作流程均经过严谨的设计，质量控制覆盖全程。
目前，大部分送检的企业产品已经进入测试阶段。通过在中检院封闭数据集上的测试，结合针对性“试错”模拟对抗实验，企业不仅可以客观、公正地比较、评价自己的算法，同时也可发现哪些算法需要改进，如算法对频率敏感、对机型敏感、对一些疾病情况覆盖有缺陷等。另外，通过中检院对社会其他的训练集、测试集的分析和确认，企业也在逐步规范数据集管理体系。
美国FDA在2018年4月批准了首个糖网AI产品，与此同时，中检院也出具了国内首批医疗器械AI产品的性能检验报告，这对继续缩小与国外的差距、加速行业发展、支撑审评审批工作很有意义。
标准立项 不断进步
从技术发展的趋势来看，AI技术在医疗器械产品中的角色、作用还在日益丰富，有效性与安全性的评价方式也将不断发展变化，需要科学的标准体系提供技术支撑。2018年9月，国家药监局批准中检院筹建全国人工智能医疗器械标准化技术归口单位，国内行业标准的制修订已提上日程。12月，中检院牵头的电工电子工程师协会（IEEE）人工智能医疗器械工作组（AIMDWG）宣告成立。该工作组提出两项IEEE标准立项申请并已获得批准，将围绕AI医疗器械有效性与安全性的评价术语、数据集质量管理与评价两个方面开展国际标准研究。这也是我国首次在AI医疗器械领域主导国际标准的制定。
回顾2018年，我国AI医疗器械质量评价工作在产、学、研、医、管的通力合作下取得了显著成绩。根据实践经验，AI医疗器械的质量提升需要数据资源开发与标注、算法研发、测试验证、临床应用、风险评价等技术环节共同发力。可以预见，在2019年，AI医疗器械质量评价与标准化研究还将在社会各界共同努力的基础上，围绕上述环节继续深入，助推中国AI医疗器械走向世界前列。
文、图/王浩 任海萍 杨昭鹏
作者单位：中国食品药品检定研究院
来源/《中国医药报》
新媒体编辑：李易真
统筹策划：刘爽
