目前VR(虚拟现实)技术在各行业都有不同程度的应用,在医学教育领域,它是医生学习的新选择。医生只需要戴上VR眼镜就可以完全沉浸式地体验身临手术室的感觉,可以让医生全面了解手术的各个环节,第一视角学习手术技巧。
视觉学习之外,虚拟现实技术与计算机技术相结合用于建立具有实时力反馈的手术模拟训练系统,似乎更能够在一定程度上缓解当下医学所面临的瓶颈。例如用VR进行解剖教学,极大地缓解了医学教育中尸体标本短缺的情况。
“我们开发的系统,就是针对国际和国内市场上还没有较为通用、商业化的骨科手术训练系统的情况,以期解决骨科医生的手术训练问题。”中国科学院深圳先进技术研究院人机交互中心执行主任王琼在接受专访时告诉《中国科学报》记者。
满足手术训练需求
据介绍,骨科手术训练系统以椎弓根钉手术为基本背景,提供了不同种类的手术工具在脊柱上进行操作的三维交互场景模拟,主要仿真了圆钻磨骨、长钻打孔和置钉这几种椎弓根钉手术中风险较高、也最具有训练意义的手术操作。
“我们搭建了一套具有动态反馈、视觉变化的虚拟环境,与人机交互反馈的设备连接。对手术工具与骨骼交互时产生的控制力进行建模,并且模拟骨头被钻后的视觉变化,并通过VR眼镜和力反馈设备反馈给用户,模拟医生拿着钻头钻骨头的真实场景,这可以做到手眼协调方面的训练。”王琼说。
在系统中,王琼团队采用了融合体数据和面数据的数据结构,不仅可以满足在骨骼拓扑结构频繁改变状态下的三维手术工具与骨骼模型之间100Hz的碰撞检测刷新率,同时还可以精准地对磨削后的骨骼表面进行重建,并建立了基于磨削原理的手术工具交互反馈力模型,通过GPU硬件的加速,可以保证力觉的刷新率在1000Hz以上,避免视、触觉交互场景的失真。
该项目可以为医生进行椎弓根钉手术训练提供较为真实的、具有实时力觉反馈的虚拟三维场景,解决临床骨科医生缺乏手术训练机会的问题。
因为用不同的计算机程序可以产生新的交互环境,满足不同的手术训练的情况。“系统可以设置手术的难易程度,开始训练时,系统给出固定的骨钉位置和下钻方向,进阶后把所有预设信息全部删除,训练者自己判断病情与钻头位置,增加难度,这样的训练方式更加有效。”王琼说。
不同的变化方式,一方面提供精细、有效、重复的训练,既节约经济成本,又可以实现传统训练做不到的进阶训练。
四大总体框架
王琼介绍,一般虚拟骨科手术系统的总体设计框架主要包括: 三维骨组织建模、虚拟手术工具建模、形变仿真和力觉模拟以及人机交互模块等四个主要组成部分。
三维骨组织建模主要负责从原始的CT 扫描的二维数据图像中,利用图像处理方法将目标骨骼区域分割出来,然后利用三维重建方法,将骨骼三角面片网格提取出来,同时还可以融合体数据表示的三维骨骼模型。为了方便给后续的力觉建模打下基础,进而对不同的骨骼部位所具有的物理材料属性进行设定,这些参数一般需要通过真实的组织承压拉伸测试或者有限元建模的方法进行确定。
虚拟手术工具的建模对手术中会用到的手术器械,创建它们的三维几何模型和物理模型,并实时接收交互硬件设备传送的信息,用来确定手术工具模型当前的位置、姿态和运动状态。
形变仿真和力觉模块要通过虚拟手术工具与三维骨骼模型之间的碰撞检测来确定两者之间的交互区域,获取交互信息,并对骨骼的三维模型进行相应的形变。通常碰撞检测算法的选取与力觉交互建模有十分紧密的联系,根据力模型的计算特性选择恰当的碰撞检测算法可提高整体的运算效率。随后,可根据获取的交互信息,计算碰撞交互力。
人机交互模块提供人与计算机交互接口。一方面将用户控制力反馈设备时,对设备的空间位置坐标、变化矩阵以及用户手移动的速度等,传送给虚拟手术工具模块,用于力觉计算。此外,还负责对交互模拟的力觉反馈结果进行实时渲染,使用户感受到手术工具上所受到的力觉效果。
遵循总体框架建构的骨科手术训练系统,与传统的训练模式效果比较之后,得到了合作医院的认可。但同时,系统建立的每个环节也存在很多困难。
模拟系统目前大多采用标准化的模型,个性化的病人数据案例比较少,因为在将病人医学图像数据处理做成个性化三维模型时,中间涉及到的环节非常多,包括:图像处理、图像分割、三维重建、模型修补等步骤。一方面它们复杂费时,很多步骤仍需要人工介入处理,另外在将模型用于虚拟手术系统时,考虑到计算速率的问题,又需要对模型的体量进行控制,使用过于精细的数据会影响交互、计算速度,而使用简化的模型,虽然可以提升计算速率,但又可能会丢失了病人的疾病特征。“这些要素之间要做到平衡,由图像数据转变为可交互的三维模型,中间环节多,目前还没有统一的标准和成熟的解决方案。”王琼说。
应用仍有条件
在高盛2016年的报告中对VR医疗的市场规模进行了预测:2020年VR/AR(增强现实)的市场规模将达到800亿美元,其中在医疗保健领域市场达到51亿美元,覆盖340万用户。未来几年VR将会给医疗行业带来巨大的想象空间,而中国必然将为VR+医疗提供巨大的发展空间。但在目前的实际应用中,某些领域似乎并不顺利。
“不论应用在哪个行业,虚拟现实普遍存在内容生成不够丰富,以及重度VR应用真实感、沉浸感不强的情况。”在解释经历2016的火热,虚拟现实逐渐回归理性的原因时,王琼说道。从医学的角度来看,一套模型只能用在一套系统上,换一个病种或手术工具,算法、数据模型就要重新来做,整套虚拟场景的建立非常缓慢,这导致虚拟手术系统的开发周期相对较长。
医生接受度也是影响虚拟手术系统应用的方面,“我国的医生有严格的行业规范,要破坏原有的训练流程,提高医生的接受度,仍需要进一步努力。”王琼说。
对比临床手术领域,VR应用在康复医疗领域接受度更高,先进院医工所医学图像与数字手术研究室吴剑煌团队研发的虚拟脑卒中康复训练系统正在推进应用。该系统向脑卒中患者提供了一种成本低廉且有效的康复训练方案。利用虚拟现实系统,患者可以在虚拟环境完成可控的功能性运动和操作,完成有意义的任务性训练和得到视觉、听觉、触觉的反馈。
而对于医疗美容领域的VR应用,相比骨科精度要求更高,涉及软组织处理容易发生形变,王琼认为,整形领域的VR应用也有很多需要解决的问题。
人才短缺、硬件设备价格、穿戴设备的舒适度、软件系统如何快速开发等都是VR发展过程中需要面对的问题。但从长远看,“硬件的计算速率不断提升,整体还是会平稳推动行业的发展”。王琼说。
中国工程院院士赵沁平对VR在医疗领域的应用十分乐观:“虚拟人体已经成为‘实验室到病床’转化医学研究的新概念平台和实验手段,并已广泛应用在医学研究、新药开发、虚拟手术、医疗器械开发、医学教育培训、康复训练等方面。未来十年,虚拟人体可能在生命科学和医药领域产生颠覆性的影响。”
来源:中国科学报
为你推荐
资讯 重磅,生物药单抗国家集采正式启动
11月21日,全国单抗类制剂联盟采购办公室在安徽省医药集中采购平台发布了全国药品联盟集中带量采购(单克隆抗体类)公告(第1号),正式启动单抗类生物类似药全国集采,推进节奏...
2026-11-21 20:25
资讯 PCSK9/ANGPTL3双靶点降脂siRNA获国内临床默示许可
近日,乐普医疗发布公告,公司控股子公司上海民为生物技术有限公司收到国家药品监督管理局核准签发的《药物临床试验批准通知书》,由上海民为生物申报的MWX205注射液临床试验申...
2026-11-20 17:19
资讯 镁伽科技完成新一轮近2亿美元融资
近日,镁伽科技宣布完成新一轮近2亿美元融资,阿曼苏丹国主权财富基金阿曼投资局(OIA)参与本轮投资,亚投资本、Granite Asia、创新工场等老股东持续加注,招银国际、苏创投、三...
2026-11-20 15:14
资讯 和铂医药靶向ACVR2A/2B LET003用于治疗超重或肥胖症的新药临床试验申请已获国家药监局受理
11月19日,和铂医药公告,公司首款利用Hu-mAtrIx™ AI平台开发的新一代靶向ACVR2A 2B单克隆抗体LET003用于治疗超重或肥胖症的新药临床试验申请已获国家药监局受理。
2026-11-20 13:39
资讯 因美纳夺得2026年虚拟细胞挑战赛冠军
凭借“十亿细胞图谱”这一独特的生物学数据集和全新CellularAI算法,因美纳在Arc Institute主办的2026年虚拟细胞挑战赛(Virtual Cell Challenge)中夺得第一名
2026-11-20 13:06
资讯 AI虚拟细胞公司元示科技完成近3亿元人民币Pre-A轮融资
11月19日消息,元示科技宣布已完成近3亿元人民币Pre-A轮融资。此前,公司已连续完成近亿元天使轮及天使+轮融资。
2026-11-20 11:17
资讯 百图生科发布AI药物安全性评价系统,从虚拟细胞走向虚拟猴
11月19日,百图生科正式发布AI药物安全性评价系统,将虚拟细胞模型、毒性预测能力与非临床安全性评价服务相结合,依托“虚拟猴”等安全性预测模型,将AI预测从细胞层面延伸至动...
2026-11-20 10:42
资讯 银诺医药GLP-1药物出海
11月19日,银诺医药发布公告,本公司间接全资附属公司香港银诺医药控股有限公司(香港银诺)(作为许可人)与全球医药集团Arcera Life Sciences的成员公司Arcera Life Sciences...
2026-11-20 10:06
资讯 AI制药企业Isomorphic Labs再次完成50亿美元C轮融资
据外媒消息,由谷歌DeepMind孵化、诺贝尔奖得主德米斯·哈萨比斯(Demis Hassabis)创办的英国AI药物研发公司Isomorphic Labs宣布完成50亿美元C轮融资,而在此之前,2026年5月...
2026-11-19 16:26
资讯 强生为何33亿美元收购Ollin
近日,强生宣布与Ollin Biosciences达成最终协议,将以22亿美元首付款收购后者,后续可能支付额外监管和商业化里程碑付款共最高约11 25亿美元,交易总对价最高可达约33 25亿美元。
2026-11-19 15:31
资讯 石药集团授权收入大增,带动前三季度利润翻倍
11月18日,石药集团披露2026年前三季度未经审核业绩显示,公司实现营业收入252 60亿元,同比增长27 0%;股东应占溢利70 76亿元,同比增长101 5%。
2026-11-19 13:59
资讯 最高26.4亿美元,辉瑞与星锐医药达成体内CAR-T授权
11月18日,辉瑞宣布其已与星锐医药(Starna Therapeutics) 达成一项独家许可协议。根据协议,辉瑞获得三款处于IND申报前阶段、旨在治疗自身免疫性疾病的体内嵌合抗原受体T细胞...
2026-11-19 11:14
资讯 科伦药业交棒,其子接任董事长
11月18日晚间,科伦药业发布公告称,公司创始人刘革新申请辞去董事长职务。辞任之后,刘革新将继续作为公司董事、董事会战略委员会主任委员履职,并继续担任公司部分子公司董事...
2026-11-19 10:54
资讯 贝达药业恩沙替尼在欧盟获批
11月18日晚间,贝达药业发布公告,公司控股子公司Xcovery申报的盐酸恩沙替尼胶囊上市许可申请获得欧盟委员会批准,上市许可编号EU 1 26 2078,用于间变性淋巴瘤激酶(ALK)阳...
2026-11-19 09:29
资讯 济元生物完成近亿元人民币B轮融资
无锡济元生物科技有限公司宣布完成近亿元人民币 B 轮融资,由锡创投管理的无锡锡创兴吴股权投资基金与维梧人民币基金共同投资。资金将主要用于推进 CG101 的国际多中心临床...
2026-11-18 18:13
资讯 国家医保局拟组织开展第三批参照药预沟通专家论证工作,资料接收时间截至2026年11月30日
国家医疗保障局医药价格和招标采购指导中心拟组织开展第三批参照药预沟通专家论证工作,请符合条件的企业按照《参照药预沟通办法(试行)》,以邮件形式提交必要的申请资料。资...
2026-11-18 17:53
资讯 又一款肿瘤疫苗III期临床数据惊艳,股价当日最高涨幅超200%
美国生物技术公司SELLAS Life Sciences(NASDAQ: SLS)公布了其研发的治疗性癌症疫苗Galinpepimut-S(简称 GPS)关键性Ⅲ期REGAL临床试验的数据。公司称,该试验已达到主要...
2026-11-18 17:13
资讯 斯坦福、哈佛、北京协和医学院等29家机构共建医疗健康 AI 独立评测与分析平台InclusionMed
近日,斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed AI等29家机构的研究人员共同建设推出医疗健康 AI 独立评测与分析平台InclusionMed。
2026-11-18 15:53
资讯 百利天恒收到BMS第二笔2.5亿美元里程碑付款,累计13亿美元
11月17日晚间,百利天恒发布公告称,公司全资子公司SystImmune近日收到百时美施贵宝支付的第二笔2 5亿美元里程碑付款。
2026-11-18 11:40


