目前VR(虚拟现实)技术在各行业都有不同程度的应用,在医学教育领域,它是医生学习的新选择。医生只需要戴上VR眼镜就可以完全沉浸式地体验身临手术室的感觉,可以让医生全面了解手术的各个环节,第一视角学习手术技巧。
视觉学习之外,虚拟现实技术与计算机技术相结合用于建立具有实时力反馈的手术模拟训练系统,似乎更能够在一定程度上缓解当下医学所面临的瓶颈。例如用VR进行解剖教学,极大地缓解了医学教育中尸体标本短缺的情况。
“我们开发的系统,就是针对国际和国内市场上还没有较为通用、商业化的骨科手术训练系统的情况,以期解决骨科医生的手术训练问题。”中国科学院深圳先进技术研究院人机交互中心执行主任王琼在接受专访时告诉《中国科学报》记者。
满足手术训练需求
据介绍,骨科手术训练系统以椎弓根钉手术为基本背景,提供了不同种类的手术工具在脊柱上进行操作的三维交互场景模拟,主要仿真了圆钻磨骨、长钻打孔和置钉这几种椎弓根钉手术中风险较高、也最具有训练意义的手术操作。
“我们搭建了一套具有动态反馈、视觉变化的虚拟环境,与人机交互反馈的设备连接。对手术工具与骨骼交互时产生的控制力进行建模,并且模拟骨头被钻后的视觉变化,并通过VR眼镜和力反馈设备反馈给用户,模拟医生拿着钻头钻骨头的真实场景,这可以做到手眼协调方面的训练。”王琼说。
在系统中,王琼团队采用了融合体数据和面数据的数据结构,不仅可以满足在骨骼拓扑结构频繁改变状态下的三维手术工具与骨骼模型之间100Hz的碰撞检测刷新率,同时还可以精准地对磨削后的骨骼表面进行重建,并建立了基于磨削原理的手术工具交互反馈力模型,通过GPU硬件的加速,可以保证力觉的刷新率在1000Hz以上,避免视、触觉交互场景的失真。
该项目可以为医生进行椎弓根钉手术训练提供较为真实的、具有实时力觉反馈的虚拟三维场景,解决临床骨科医生缺乏手术训练机会的问题。
因为用不同的计算机程序可以产生新的交互环境,满足不同的手术训练的情况。“系统可以设置手术的难易程度,开始训练时,系统给出固定的骨钉位置和下钻方向,进阶后把所有预设信息全部删除,训练者自己判断病情与钻头位置,增加难度,这样的训练方式更加有效。”王琼说。
不同的变化方式,一方面提供精细、有效、重复的训练,既节约经济成本,又可以实现传统训练做不到的进阶训练。
四大总体框架
王琼介绍,一般虚拟骨科手术系统的总体设计框架主要包括: 三维骨组织建模、虚拟手术工具建模、形变仿真和力觉模拟以及人机交互模块等四个主要组成部分。
三维骨组织建模主要负责从原始的CT 扫描的二维数据图像中,利用图像处理方法将目标骨骼区域分割出来,然后利用三维重建方法,将骨骼三角面片网格提取出来,同时还可以融合体数据表示的三维骨骼模型。为了方便给后续的力觉建模打下基础,进而对不同的骨骼部位所具有的物理材料属性进行设定,这些参数一般需要通过真实的组织承压拉伸测试或者有限元建模的方法进行确定。
虚拟手术工具的建模对手术中会用到的手术器械,创建它们的三维几何模型和物理模型,并实时接收交互硬件设备传送的信息,用来确定手术工具模型当前的位置、姿态和运动状态。
形变仿真和力觉模块要通过虚拟手术工具与三维骨骼模型之间的碰撞检测来确定两者之间的交互区域,获取交互信息,并对骨骼的三维模型进行相应的形变。通常碰撞检测算法的选取与力觉交互建模有十分紧密的联系,根据力模型的计算特性选择恰当的碰撞检测算法可提高整体的运算效率。随后,可根据获取的交互信息,计算碰撞交互力。
人机交互模块提供人与计算机交互接口。一方面将用户控制力反馈设备时,对设备的空间位置坐标、变化矩阵以及用户手移动的速度等,传送给虚拟手术工具模块,用于力觉计算。此外,还负责对交互模拟的力觉反馈结果进行实时渲染,使用户感受到手术工具上所受到的力觉效果。
遵循总体框架建构的骨科手术训练系统,与传统的训练模式效果比较之后,得到了合作医院的认可。但同时,系统建立的每个环节也存在很多困难。
模拟系统目前大多采用标准化的模型,个性化的病人数据案例比较少,因为在将病人医学图像数据处理做成个性化三维模型时,中间涉及到的环节非常多,包括:图像处理、图像分割、三维重建、模型修补等步骤。一方面它们复杂费时,很多步骤仍需要人工介入处理,另外在将模型用于虚拟手术系统时,考虑到计算速率的问题,又需要对模型的体量进行控制,使用过于精细的数据会影响交互、计算速度,而使用简化的模型,虽然可以提升计算速率,但又可能会丢失了病人的疾病特征。“这些要素之间要做到平衡,由图像数据转变为可交互的三维模型,中间环节多,目前还没有统一的标准和成熟的解决方案。”王琼说。
应用仍有条件
在高盛2016年的报告中对VR医疗的市场规模进行了预测:2020年VR/AR(增强现实)的市场规模将达到800亿美元,其中在医疗保健领域市场达到51亿美元,覆盖340万用户。未来几年VR将会给医疗行业带来巨大的想象空间,而中国必然将为VR+医疗提供巨大的发展空间。但在目前的实际应用中,某些领域似乎并不顺利。
“不论应用在哪个行业,虚拟现实普遍存在内容生成不够丰富,以及重度VR应用真实感、沉浸感不强的情况。”在解释经历2016的火热,虚拟现实逐渐回归理性的原因时,王琼说道。从医学的角度来看,一套模型只能用在一套系统上,换一个病种或手术工具,算法、数据模型就要重新来做,整套虚拟场景的建立非常缓慢,这导致虚拟手术系统的开发周期相对较长。
医生接受度也是影响虚拟手术系统应用的方面,“我国的医生有严格的行业规范,要破坏原有的训练流程,提高医生的接受度,仍需要进一步努力。”王琼说。
对比临床手术领域,VR应用在康复医疗领域接受度更高,先进院医工所医学图像与数字手术研究室吴剑煌团队研发的虚拟脑卒中康复训练系统正在推进应用。该系统向脑卒中患者提供了一种成本低廉且有效的康复训练方案。利用虚拟现实系统,患者可以在虚拟环境完成可控的功能性运动和操作,完成有意义的任务性训练和得到视觉、听觉、触觉的反馈。
而对于医疗美容领域的VR应用,相比骨科精度要求更高,涉及软组织处理容易发生形变,王琼认为,整形领域的VR应用也有很多需要解决的问题。
人才短缺、硬件设备价格、穿戴设备的舒适度、软件系统如何快速开发等都是VR发展过程中需要面对的问题。但从长远看,“硬件的计算速率不断提升,整体还是会平稳推动行业的发展”。王琼说。
中国工程院院士赵沁平对VR在医疗领域的应用十分乐观:“虚拟人体已经成为‘实验室到病床’转化医学研究的新概念平台和实验手段,并已广泛应用在医学研究、新药开发、虚拟手术、医疗器械开发、医学教育培训、康复训练等方面。未来十年,虚拟人体可能在生命科学和医药领域产生颠覆性的影响。”
来源:中国科学报
为你推荐

《NPJ digital medicine》刊发李冬梅教授团队成果:AI赋能高效识别眼睑肿物
亚太眼整形外科学会主席、中华医学会眼科分会眼整形眼眶病学组副组长李冬梅教授团队携手爱尔数字眼科研究所,在《NPJ digital medicine》(影响因子:12 4)学术期刊发表团队...
文/李林 2025-04-02 10:27

默克全球执行副总裁周虹:合作与创新是默克未来五年战略的两大关键词
近日,德国默克医药健康全球执行副总裁、中国及国际市场负责人周虹带领医药健康中国及国际市场管理团队开启了2025年度首次“中国行”。
2025-04-01 17:11

首个且唯一,阿斯利康PD-L1单抗获FDA批准治疗肌层浸润性膀胱癌
度伐利尤单抗联合吉西他滨和顺铂作为新辅助治疗,随后度伐利尤单抗作为根治性膀胱切除术后的辅助单药治疗,用于治疗肌层浸润性膀胱癌成年患者。
2025-04-01 14:37

全国首个,湖北为脑机接口医疗服务定价
昨日(3月31日),据“湖北发布”消息,湖北省医保局发布全国首个脑机接口医疗服务价格,其中,侵入式脑机接口置入费6552元 次,侵入式脑机接口取出费3139元 次,非侵入式脑机...
2025-04-01 11:03

一款国产创新流感药,获批
近日,据国家药监局官网信息显示,青峰医药下属子公司江西科睿药自主研发的1类创新药玛舒拉沙韦片(商品名:伊速达)正式获批上市,用于既往健康的12岁及以上青少年和成人单纯性...
2025-04-01 10:22

26省联盟药品集采启动,聚焦妇科用药和造影剂
近日,山西省药械集中招标采购中心发布《关于做好二十六省联盟药品集中带量采购品种数据填报工作的通知》,开展相关采购数据填报工作。
2025-03-31 21:48

优时比罗泽利昔珠单抗注射液(优迪革)中国获批,全球首个且唯一双亚型创新药治疗全身型重症肌无力
作为唯一人源化、高亲和力且具备创新修饰结构的IgG4单抗,关键Ⅲ期MycarinG试验证实罗泽利昔珠单抗注射液(优迪革®)较安慰剂显著改善全身型重症肌无力患者的多个临床终点与结局。
2025-03-31 15:58

从手术麻醉到生命全周期护航,麻醉学科发展拓宽生命边界
3月26日,由中华医学会麻醉学分会、中国医师协会麻醉学医师分会等23家学协会共同举办的2025年中国麻醉周学术活动的启动仪式举办,该活动以“生命之重,大医精诚——守生命保驾护...
2025-03-31 15:30

欧狄沃联合逸沃成为中国目前唯一获批的肝细胞癌一线双免疫联合疗法
欧狄沃联合逸沃对比仑伐替尼或索拉非尼,可显著改善不可切除肝细胞癌一线患者的总生存期(OS),客观缓解率(ORR)可改善近3倍,中位缓解持续时间(mDOR)达30个月
2025-03-31 13:45

罗氏制药榜首 “现金牛” 产品罗可适(奥瑞利珠单抗)在华获批:开启多发性硬化症一年两次治疗新时代
罗氏制药今日(3月31日)宣布,其旗下创新药罗可适®(Ocrevus®,通用名:奥瑞利珠单抗注射液 ocrelizumab injection)正式获得中国国家药品监督管理局批准,每六个月静脉输...
2025-03-31 13:39

三生有幸,医者仁心:三生制药向全体医药工作者致敬!
3月30日是国际医师节,由三生制药公益支持的以“三生有幸,医者仁心”为主题的公益活动,携手20位医生代表,以寄语海报的形式,共同向全体医护人员表达诚挚的祝福与关爱。
2025-03-30 17:38

新版药典自2025年10月1日起实施
3月25日,国家药监局官网发布《国家药监局 国家卫生健康委关于颁布2025年版的公告(2025年第29号)》,2025年版《中国药典》自2025年10月1日起施行。
2025-03-30 17:07

向C端发力,华大集团首届健康同行合作伙伴大会圆满举行
3月29日,以“科技普惠,健康生活”为主题的华大集团首届健康同行合作伙伴大会在华大时空中心成功举办,通过报告演示、展台展示等方式,首次系统性地向外界展示运用生命科学前沿...
2025-03-30 10:38

广州试点创新药械“医保+商保”同步结算
本次试点依托国家医保信息平台,在22家试点医院实现医保+商保一站式同步结算,通过提供“商业保险创新药械结算清单”,商保理赔金额将一目了然,市民只需支付医保和商保报销后的...
2025-03-28 18:41

揽入首付款2亿美元,恒瑞医药就一款II期临床药物与默沙东达成新合作
近日,恒瑞医药发布公告称,公司与默沙东达成协议,将恒瑞医药的脂蛋白(a)[Lp(a)]口服小分子项目(包括名为HRS-5346的先导化合物)有偿许可给默沙东,默沙东将获得HRS-5346在大...
2025-03-28 16:24