虚拟骨科手术:借“虚”减缓“实”的疼痛

医疗健康 来源:中国科学报
2017
05/12
10:13
中国科学报 医疗健康

目前VR(虚拟现实)技术在各行业都有不同程度的应用,在医学教育领域,它是医生学习的新选择。医生只需要戴上VR眼镜就可以完全沉浸式地体验身临手术室的感觉,可以让医生全面了解手术的各个环节,第一视角学习手术技巧。

视觉学习之外,虚拟现实技术与计算机技术相结合用于建立具有实时力反馈的手术模拟训练系统,似乎更能够在一定程度上缓解当下医学所面临的瓶颈。例如用VR进行解剖教学,极大地缓解了医学教育中尸体标本短缺的情况。

“我们开发的系统,就是针对国际和国内市场上还没有较为通用、商业化的骨科手术训练系统的情况,以期解决骨科医生的手术训练问题。”中国科学院深圳先进技术研究院人机交互中心执行主任王琼在接受专访时告诉《中国科学报》记者。

满足手术训练需求

据介绍,骨科手术训练系统以椎弓根钉手术为基本背景,提供了不同种类的手术工具在脊柱上进行操作的三维交互场景模拟,主要仿真了圆钻磨骨、长钻打孔和置钉这几种椎弓根钉手术中风险较高、也最具有训练意义的手术操作。

“我们搭建了一套具有动态反馈、视觉变化的虚拟环境,与人机交互反馈的设备连接。对手术工具与骨骼交互时产生的控制力进行建模,并且模拟骨头被钻后的视觉变化,并通过VR眼镜和力反馈设备反馈给用户,模拟医生拿着钻头钻骨头的真实场景,这可以做到手眼协调方面的训练。”王琼说。

在系统中,王琼团队采用了融合体数据和面数据的数据结构,不仅可以满足在骨骼拓扑结构频繁改变状态下的三维手术工具与骨骼模型之间100Hz的碰撞检测刷新率,同时还可以精准地对磨削后的骨骼表面进行重建,并建立了基于磨削原理的手术工具交互反馈力模型,通过GPU硬件的加速,可以保证力觉的刷新率在1000Hz以上,避免视、触觉交互场景的失真。

该项目可以为医生进行椎弓根钉手术训练提供较为真实的、具有实时力觉反馈的虚拟三维场景,解决临床骨科医生缺乏手术训练机会的问题。

因为用不同的计算机程序可以产生新的交互环境,满足不同的手术训练的情况。“系统可以设置手术的难易程度,开始训练时,系统给出固定的骨钉位置和下钻方向,进阶后把所有预设信息全部删除,训练者自己判断病情与钻头位置,增加难度,这样的训练方式更加有效。”王琼说。

不同的变化方式,一方面提供精细、有效、重复的训练,既节约经济成本,又可以实现传统训练做不到的进阶训练。

四大总体框架

王琼介绍,一般虚拟骨科手术系统的总体设计框架主要包括: 三维骨组织建模、虚拟手术工具建模、形变仿真和力觉模拟以及人机交互模块等四个主要组成部分。

三维骨组织建模主要负责从原始的CT 扫描的二维数据图像中,利用图像处理方法将目标骨骼区域分割出来,然后利用三维重建方法,将骨骼三角面片网格提取出来,同时还可以融合体数据表示的三维骨骼模型。为了方便给后续的力觉建模打下基础,进而对不同的骨骼部位所具有的物理材料属性进行设定,这些参数一般需要通过真实的组织承压拉伸测试或者有限元建模的方法进行确定。

虚拟手术工具的建模对手术中会用到的手术器械,创建它们的三维几何模型和物理模型,并实时接收交互硬件设备传送的信息,用来确定手术工具模型当前的位置、姿态和运动状态。

形变仿真和力觉模块要通过虚拟手术工具与三维骨骼模型之间的碰撞检测来确定两者之间的交互区域,获取交互信息,并对骨骼的三维模型进行相应的形变。通常碰撞检测算法的选取与力觉交互建模有十分紧密的联系,根据力模型的计算特性选择恰当的碰撞检测算法可提高整体的运算效率。随后,可根据获取的交互信息,计算碰撞交互力。

人机交互模块提供人与计算机交互接口。一方面将用户控制力反馈设备时,对设备的空间位置坐标、变化矩阵以及用户手移动的速度等,传送给虚拟手术工具模块,用于力觉计算。此外,还负责对交互模拟的力觉反馈结果进行实时渲染,使用户感受到手术工具上所受到的力觉效果。

遵循总体框架建构的骨科手术训练系统,与传统的训练模式效果比较之后,得到了合作医院的认可。但同时,系统建立的每个环节也存在很多困难。

模拟系统目前大多采用标准化的模型,个性化的病人数据案例比较少,因为在将病人医学图像数据处理做成个性化三维模型时,中间涉及到的环节非常多,包括:图像处理、图像分割、三维重建、模型修补等步骤。一方面它们复杂费时,很多步骤仍需要人工介入处理,另外在将模型用于虚拟手术系统时,考虑到计算速率的问题,又需要对模型的体量进行控制,使用过于精细的数据会影响交互、计算速度,而使用简化的模型,虽然可以提升计算速率,但又可能会丢失了病人的疾病特征。“这些要素之间要做到平衡,由图像数据转变为可交互的三维模型,中间环节多,目前还没有统一的标准和成熟的解决方案。”王琼说。

应用仍有条件

在高盛2016年的报告中对VR医疗的市场规模进行了预测:2020年VR/AR(增强现实)的市场规模将达到800亿美元,其中在医疗保健领域市场达到51亿美元,覆盖340万用户。未来几年VR将会给医疗行业带来巨大的想象空间,而中国必然将为VR+医疗提供巨大的发展空间。但在目前的实际应用中,某些领域似乎并不顺利。

“不论应用在哪个行业,虚拟现实普遍存在内容生成不够丰富,以及重度VR应用真实感、沉浸感不强的情况。”在解释经历2016的火热,虚拟现实逐渐回归理性的原因时,王琼说道。从医学的角度来看,一套模型只能用在一套系统上,换一个病种或手术工具,算法、数据模型就要重新来做,整套虚拟场景的建立非常缓慢,这导致虚拟手术系统的开发周期相对较长。

医生接受度也是影响虚拟手术系统应用的方面,“我国的医生有严格的行业规范,要破坏原有的训练流程,提高医生的接受度,仍需要进一步努力。”王琼说。

对比临床手术领域,VR应用在康复医疗领域接受度更高,先进院医工所医学图像与数字手术研究室吴剑煌团队研发的虚拟脑卒中康复训练系统正在推进应用。该系统向脑卒中患者提供了一种成本低廉且有效的康复训练方案。利用虚拟现实系统,患者可以在虚拟环境完成可控的功能性运动和操作,完成有意义的任务性训练和得到视觉、听觉、触觉的反馈。

而对于医疗美容领域的VR应用,相比骨科精度要求更高,涉及软组织处理容易发生形变,王琼认为,整形领域的VR应用也有很多需要解决的问题。

人才短缺、硬件设备价格、穿戴设备的舒适度、软件系统如何快速开发等都是VR发展过程中需要面对的问题。但从长远看,“硬件的计算速率不断提升,整体还是会平稳推动行业的发展”。王琼说。

中国工程院院士赵沁平对VR在医疗领域的应用十分乐观:“虚拟人体已经成为‘实验室到病床’转化医学研究的新概念平台和实验手段,并已广泛应用在医学研究、新药开发、虚拟手术、医疗器械开发、医学教育培训、康复训练等方面。未来十年,虚拟人体可能在生命科学和医药领域产生颠覆性的影响。”

来源:中国科学报

为你推荐

斯坦福、哈佛、北京协和医学院等29家机构共建医疗健康 AI 独立评测与分析平台InclusionMed资讯

斯坦福、哈佛、北京协和医学院等29家机构共建医疗健康 AI 独立评测与分析平台InclusionMed

近日,斯坦福大学、哈佛大学、北京协和医学院、蚂蚁集团、InclusionMed AI等29家机构的研究人员共同建设推出医疗健康 AI 独立评测与分析平台InclusionMed。

2026-11-18 15:53

百利天恒收到BMS第二笔2.5亿美元里程碑付款,累计13亿美元资讯

百利天恒收到BMS第二笔2.5亿美元里程碑付款,累计13亿美元

11月17日晚间,百利天恒发布公告称,公司全资子公司SystImmune近日收到百时美施贵宝支付的第二笔2 5亿美元里程碑付款。

2026-11-18 11:40

三部门联合印发全面推行疫苗处方工作的指导意见资讯

三部门联合印发全面推行疫苗处方工作的指导意见

11月17日,国家疾控局、国家卫生健康委、国家中医药局正式联合对外发布《关于全面推行疫苗处方工作的指导意见》。

2026-11-17 16:34

深化本土化战略,共筑数智化实验室新生态,安捷伦亮相 analytica China 2026资讯

深化本土化战略,共筑数智化实验室新生态,安捷伦亮相 analytica China 2026

11月17日,安捷伦科技公司如期亮相第13届慕尼黑上海分析生化展(analytica China 2026)。

2026-11-17 16:14

拓济医药宣布完成近4000万美元A轮融资资讯

拓济医药宣布完成近4000万美元A轮融资

本轮融资由元禾原点与德诚资本联合领投,龙磐投资、济峰资本、幂方健康基金、松青资本、建发新兴投资跟投,点石资本担任独家财务顾问。 此前其在2025年11月曾完成6000万美元Pre...

2026-11-17 15:10

HPV疫苗诞生20年,从科学突破到全民共防资讯

HPV疫苗诞生20年,从科学突破到全民共防

宫颈癌是全球女性第四大常见癌症,疾病负担沉重。为进一步提升大众认知,世界卫生组织于2020年发布《加速消除宫颈癌全球战略》,并于2025年

2026-11-17 15:04

国家药监局全面开展医疗器械临床试验方案前置咨询服务资讯

国家药监局全面开展医疗器械临床试验方案前置咨询服务

申请开展临床试验方案前置咨询服务的产品,应当为产品已定型、已完成必要的非临床研究的第三类医疗器械。

2026-11-17 13:44

爱萨尔干细胞药物韦立斯托赛注射液上市申请获得受理资讯

爱萨尔干细胞药物韦立斯托赛注射液上市申请获得受理

国家药监局药审中心11月16日信息显示,上海爱萨尔生物的韦立斯托赛注射液上市申请获得受理。

2026-11-17 11:20

南卫股份实控人以涉嫌内幕交易罪于近日被刑事拘留资讯

南卫股份实控人以涉嫌内幕交易罪于近日被刑事拘留

11月15日,上市公司南卫股份发布公告称,到公司实际控制人李平先生家属通知,李平因2023年在公开市场的减持被公安以涉嫌内幕交易罪,于近日被刑事拘留,案件正在调查过程中。

2026-11-16 17:45

首个医保CAR-T细胞疗法定价28.86万元资讯

首个医保CAR-T细胞疗法定价28.86万元

11月15日,药明巨诺发布公告宣布CAR-T产品倍诺达(瑞基奥仑赛注射液)正式纳入2026年版国家基本医疗保险药品目录。

2026-11-16 17:15

不是此次,康方生物依沃西最重要的关键节点是HARMONi-3资讯

不是此次,康方生物依沃西最重要的关键节点是HARMONi-3

针对海外合作方Summit Therapeutics发布公告称,美国食品药品监督管理局(FDA)未批准依沃西(ivonescimab)上市申请的消息,康方生物创始人、董事长夏瑜在11月15日晚间的投资...

2026-11-16 14:22

江苏省医保数据应用研究重点实验室(筹)在苏州揭牌资讯

江苏省医保数据应用研究重点实验室(筹)在苏州揭牌

11月15日,江苏省医保数据应用研究重点实验室(筹)在金鸡湖生命健康投资大会(JHC)“智赋医保·药创未来”AI+生物医药主题分会上重磅揭牌。

2026-11-16 12:49

国家医保局局长章轲在2026医保目录及商保创新药目录发布大会上的致辞资讯

国家医保局局长章轲在2026医保目录及商保创新药目录发布大会上的致辞

11月14日,2026年《国家基本医疗保险、生育保险和工伤保险药品目录》以及《商业健康保险创新药品目录》正式在苏州举办的2026创新药高质量发展大会上对外发布,此为国家医保局局...

2026-11-16 11:33

凯思达生物完成4000万元种子轮融资资讯

凯思达生物完成4000万元种子轮融资

近日,上海凯思达生物医药科技有限公司(下称CataX AI)宣布完成4000万元人民币种子轮融资,由启明创投孵化并独家投资。

2026-11-16 09:12

6款产品纳入2026年国家医保药品目录、商保创新药目录及推荐清单,远大医药“医保+商保”双支付格局成形资讯

6款产品纳入2026年国家医保药品目录、商保创新药目录及推荐清单,远大医药“医保+商保”双支付格局成形

在多层次医疗保障体系加速建设的背景下,远大医药(0512 HK)正加速推进“医保+商保”双支付通道布局。近日,公司发布公告称其六款产品已顺

2026-11-15 19:11

华东医药多款创新药分获国家医保目录与首版商保推荐清单准入资讯

华东医药多款创新药分获国家医保目录与首版商保推荐清单准入

马来酸美凡厄替尼片首次被纳入新版药品目录,脯氨酸加格列净片完成目录内续约,泽沃基奥仑赛注射液继续被纳入新版商保创新药目录

2026-11-15 17:46

默克罕见病创新药盐酸匹米替尼胶囊(贝捷迈)纳入国家医保目录资讯

默克罕见病创新药盐酸匹米替尼胶囊(贝捷迈)纳入国家医保目录

为腱鞘巨细胞瘤患者提供了更加可负担的创新治疗选择。

2026-11-14 15:42

2026年国家医保和商保新增药品名单,CAR-T细胞治疗首次纳入资讯

2026年国家医保和商保新增药品名单,CAR-T细胞治疗首次纳入

11月14日,2026年《国家基本医疗保险、生育保险和工伤保险药品目录》以及《商业健康保险创新药品目录》正式对外发布。

2026-11-14 14:23