导读:注册检验代替临床检验、推出标准数据库,上市后临床、技术黑箱、产品重大变更申报、中美审批差别,中国新一代医疗AI产品审批道阻且长。
令人高兴的是,中检院正在按照病种建立标准测试数据库。目前,糖网和肺结节标准数据库基本建成。2018年3月26日,中检院公布,标准测试数据集(眼底部分)建设完成。肺结节的标准数据库建设方案也已经定稿,近期就可以建设完成(具体标准在下文)。
进入2018年,医疗人工智能行业的发展速度依旧迅猛。在第一季度,汇医慧影、推想科技、深睿医疗、Airdoc、视见医疗等企业都宣布完成了新一轮的融资,金额几乎都在亿元级别。联影也发布了自己的开放的智能AI平台,全面渗透医疗AI领域。
虽然行业发展迅猛,但是有个问题一直制约着行业的发展,那就是监管部门的审批迟迟未定。
据动脉网(微信号:vcbeat)了解,国内目前还没有推出新一代医疗AI 的审批标准,因此之前国内医疗AI公司的新一代医疗AI产品都未获得药监局认证,而国外有些产品则获得过FDA和CE认证。已经拿了认证的产品大多是基于之前CAD产品审批方式获得的,与最近流行的医疗AI产品有些不同。
没有认证就没有市场准入资质,虽然各个创业公司有自己合理合法的营收渠道和高额的融资,但是AI公司数据、人才、算力、运营成本昂贵,如果以医疗AI产品为主营业务的公司迟迟拿不到市场准入资质,那公司的长远发展必将面临挑战。
利用深度学习技术研发的医疗AI产品为何拿不到认证,问题出在哪里,获得认证还需要解决那些问题,各家医疗AI公司,监管部门等机构做了哪些准备,中美的审批有何区别。动脉网试着去解开这些谜题。
1、中国为什么不能像美国那样发放认证
2018年初,美国FDA(美国食品药品监督管理局)接连批准了几项AI诊断决策支持产品。首先是2月14日,Viz.AI的ContaCT应用获得了FDA的批准,这也是FDA批准的第一个针对中风的AI诊断决策支持产品。仅仅一周后,FDA又批准了另外一个第一——Cognoa的深度学习应用作为第一个针对儿童自闭症的AI诊断决策支持系统通过审批。
西门子医学影像分析首席专家周少华博士曾向记者介绍,美国的监管体系是这样的。
FDA分三类监管医疗设备,其根据是设备的可能使用及其给病人带来的风险。第一类class I是低风险设备如医用手套;第二类class II是中等风险设备如CT机;第三类class III是最高风险设备如支架。
Al影像系统有两种:computer-aided detection (CADe) 和 computer-assisted diagnostic (CADx) 。CADe 用于检测不正常状况abnormalities,而CADx评估疾病的存在与否,如疾病的严重性、分类或预测。
FDA 对于监管CADe软件有很多经验,并提供510(k) 的指示标准,如何做临床表现评价。但是,FDA历来把CADx系统作为class III。
(510(k)文件是向FDA递交的上市前申请文件,目的是证明申请上市的器械与不受上市前批准(PMA)影响的合法上市器械同样安全有效,即为等价器械(substantially equivalent)。申请者必须把申请上市的器械与现在美国市场上一种或多种相似器械对比,得出并且支持等价器械的结论。)
但是2017年9月,FDA刚批准了一个乳腺CADx产品为class II,只需要510(k)。也就是说通过降低门槛来过审批。
2、建议各家公司考虑认证三类医疗器械
汇医慧影联合创始人郭娜表示,美国近期批复的几款AI产品全都是走的ClassII的认证流程,通过跟传统CDSS(临床决策支持系统)做等同对比证明安全有效性。中国药监局的法规相对来说更严格,对临床评价的路径控制非常严格,按目前法规,基本上国内的AI产品都得走临床试验这条评价路径,耗时会比较长。目前药监局没有发出这种降低审批标准的信号,按新的分类目录,直接给出诊断治疗建议的辅助决策软件都属于三类,如果仅仅给出量化数值,像骨密度,那就是按二类医疗器械来管理,市场上大部分的AI产品都属于三类。
雅森科技告诉动脉网,虽然经过近两年的工作已取得了二类证,其仍在根据最新规定的变化在筹备三类证的许可。2017年9月4日,CFDA发布的新版《医疗器械分类目录》医用软件中包含的辅助诊断,主要是针对之前已经出现的辅助诊断产品,比如CAD系统等。但这类并不包含自动诊断系统,对最近流行起来的人工智能软件产品的界定并不完善。
这个分类目录是相关部门根据之前辅助诊断类产品的分类、审批、发证的经验和问题重新制定的。而对于新一代医疗人工智能产品,之前并没有先例可寻。现阶段虽然有人工智能公司申报药监局认证,但是目前还没有一家公司拿到三类医疗器械。
对于没有列入目录里面的医疗器械,通常的做法是到中检院的标管中心进行分类鉴定,鉴定类别后,走审批程序。目前在标管中心进行分类鉴定的新一代医疗人工智能产品都被归类为三类医疗器械。
动脉网从各家公司了解到,目前雅森、汇医慧影、推想、深睿、Airdoc、依图医疗等几个大公司都在积极与中检院接触,在进行三类医疗器械的申报。依图医疗表示,他们的全产品矩阵都在做三类认证,不会考虑做二类认证。
日前,Airdoc向药监局送检了第一台中国三类医疗AI服务器。连心医疗申报了二个药监局认证,分别是:
(1)医学影像归档与传输系统(PACS),II类证,目前正在申报体系核查;预计2018年7月份能完成产品注册;
(2)放射治疗轮廓勾画软件,III类证,目前正在进行产品注册检验。预计最快2018年第四季度能完成产品注册。
3、用于审批的标准数据库没有建立
医疗人工智能产品审批受阻主要问题是缺乏审批标准,其中最重要的是用于审批的标准数据库没有建立。
由于各个地区、医院的数据标准并不同。一家公司在北京两家大医院做的临床实验即使完美,但是并不代表产品可以在某县级医院中使用,甚至由于过拟合的现象,导致在其他医院无法使用。而如何验证医疗AI产品的鲁棒性(普遍适应性),建立标准测试数据库是现阶段监管部门正在做的事情。
动脉网从中检院了解到,中检院的标准测试数据库建设是按照病种来进行的,目前,糖网和肺结节标准数据库基本建成。2018年3月26日,中检院公布,标准测试数据集(眼底部分)建设完成。肺结节的标准数据库建设方案也已经定稿,近期就可以建设完成。
动脉网了解到,目前行业内有9家公司参与了标准测试数据库的建设。以肺影像为例,肺结节图像数据采集将不少于5家医院,每家企业2000张,图像采集设备统一为GE,西门子等大厂商符合DICOM3.0协议标准图像,并保证患者数量达到1万,其中有2500张备复查,必须取得伦理委员会许可中检使用。采取二轮背对背主治医师标定方式。
参与此次中检院标准测试数据库建设的第二军医大学长征医院影像医学与核医学科主任刘士远告诉动脉网,标准测试数据库建设为了保证公平性,使建立的数据库能够得到大多数企业和机构的认可,在建设过程中会遵循以下三个原则。
第一是广泛性,数据要来自去全国各地不同的医院,不能只局限于北上广深这些大城市的医学数据。
第二是兼容性,以肺结节为例,目前建立标准测试数据库的时候会考虑不同层厚的CT图像,有6毫米以上的,4-6毫米的,4毫米以下的。
第三是医学图像的标记,刘士远教授表示,在中国,搜集一定数量的图像并不难,难的是为数据打标签。从事标准测试数据库标注的医生都是从做过医疗AI研究的医生中招募。招募以后按照标准的标注方案对医生进行培训,然后再去标注。最终形成没有公司痕迹、没有机器痕迹的标准检测数据库。
4、重新定义重大变更来解决快速迭代问题
医疗AI产品面临一个情况,就是产品性能,算法模型,应用界面都会快速更新,这种情况下,传统增项或者升级审批,显然无法满足行业的发展需要。
如果新的认证规则没有出现,按照传统的审批流程,医疗影像AI产品迭代周期是3-5天,企业每周都要去政府机构报备,企业和政府都会受不了。这种情况下难免会出现“偷懒”现象,企业虽然在不断的更新系统,但是不按照正规程序报备,这是行业不愿意看到的现象。
华光创新(北京)技术服务有限公司副总经理索娜告诉动脉网,当前的审批技术指导原则给出了一个明确的版本命名的举例。一般命名为S、Y、Z、B四个代码,S指重大增强,Y指轻微增强,Z指纠正更新和构建,B指轻微的缺陷修补。如果是S、Y、Z发生变化,需要注册的变更,如果是B发生变更,这是不需要修补的。企业可以依照这样的规则,命名自己的表更,来适应法规的要求,从而不被频繁的变更所累。
这个问题的核心是重大变更的定义。我们沿用重大变更需要报备的传统,但是把重大变更做一下规范。
第一,数据库的变更。如果产品的数据库出现10%-20%(具体规范没有出来以前这个数字尚不确定)的变更,那么研究结果出来以后,企业可以去相关部门报备,提出变更需求;
第二,算法的变更。如果算法框架变化,那就可以提出变更请求。目前很多企业的算法都是基于开源的算法进行优化升级得到的,为了做好本地化也包含有一些前处理软件等周边系统。由于算法的变更很难量化,目前这一条还在商讨之中。
5、人工智能的技术黑箱问题有待进一步商榷
经常在一些场合听到,深度学习技术存在黑箱的嫌疑,输入与输出结果之间原因无法解释,而按照科学论证的观念,存在技术黑箱的话在认证过程中会相对困难一些。但是人工智能技术是否真的存在技术黑箱,质监部门是否有必要纠结这个问题还有待商榷。
目前国内很多公司用的是国际上开源的技术,国内一些优秀的人工智能公司是可以解释其中的一些原理,一共用了多少层,每层在做什么。但是相当一部分公司还不具备这样的能力,这也可以从侧面看到同行之间的一些差距。
索娜表示,没有建立审查指导原则的产品主要依靠主审人员个人的知识和监管部门组成的专家委员会的经验知识对产品进行技术审评,主要审查产品安全性和可靠性。
另外,质检部门并不一定要纠结这个问题,但是企业要做好回答的准备。对于传统的软件系统,质监部门也没有要求必须把每一步都要讲清楚,质检部门优先考虑的是安全和有效。质检部门摸清技术原理是为了确定黑盒测试的方案,所以企业要知道如何回答相关问题。
6、除了标准数据库外,还需要注意的几个问题
是否可以考虑先上市后临床
目前大多数医疗人工智能公司的发展都卡在了审批这个地方。医疗软件注册审批的流程大概是这样的:
从这个流程图,我们可以看到,在获得药监局认证之前,要先获得体系认证,体系认证需要3-6个月。三类医疗器械认证也需要2-3年,在审批之前还要等到标准数据库的建立,数据库是按照病种进行建立的,这个周期也很长。
以糖网为例,2017年12月24日,中检院公布关于召开AI标准测试数据集(眼底部分)建设会议通知,2018年3月26日,中检院公布,标准测试数据集(眼底部分)建设完成,一个病种共花费了3个月的时间。每个公司涉及的病种一般在10个左右,算上临床实验的时间,加起来要3-4年的时间。这个过程,很多企业仅凭科研经费是无法支撑的。
为了企业和行业的持续发展,在保证安全性和稳定性的前提下,是否可以学习药企走先上市后临床审批的方式,让行业先发展起来。
(广义上讲,药物上市后所开展的所有临床研究均称为上市后研究,狭义讲,上市后临床研究是由生产企业、医疗机构或社会团体自行组织与药品有关的应用研究。)
注册检验环节是否可以代替临床检验
现在的注册检验跟临床实验似乎是相互重叠的,比如在肺结节注册检验的时候,标准数据库是要求1万例,按照要求,现在检测准确率的标准是三甲医院的医生背靠背检测,然后与医疗AI的检测结果进行对比,进而判断准确性。
这个流程与后期做临床实验是重合的,做临床实验也是搜集医院脱敏数据,做临床一致性对比实验,进而论证产品性能,而且后期做临床的时候,数据量没有做检验检测的时候多。同样的事情做两遍感觉重复了。这个过程浪费了大量的时间、金钱、精力。针对医疗AI产品,将注册检验环节与临床检验结合可以节约大量财力、时间。
除了以上两个问题,索娜告诉动脉网,有些公司的产品是平台型的产品,可以在各个科室应用,但是现在技术审评把它当成一个具体的产品看待,限定它只可以在某个具体的科室使用,或者限定它必须与某个设备相关联,这就严重限制了产品功能的发挥,也就限制了医疗AI软件的开发。
企业要多与监管部门沟通
医疗人工智能智能行业是一个新兴行业,很多规范没有形成不可避免,很多企业也才刚刚成立2-3年的时间,大家也不必急功近利,医疗本就是一个慢行业,企业和监管机构都要慢慢熟悉行业规则,这毕竟是前无古人的行业。
在这个过程中,企业要积极与质控部门联系,双方要深入沟通,互相了解需求,尽快做出成熟的方案,以便行政部门做决策。
来源:动脉网 作者:王晓行