虚拟骨科手术:借“虚”减缓“实”的疼痛

医疗健康 来源:中国科学报
2017
05/12
10:13
中国科学报 医疗健康

目前VR(虚拟现实)技术在各行业都有不同程度的应用,在医学教育领域,它是医生学习的新选择。医生只需要戴上VR眼镜就可以完全沉浸式地体验身临手术室的感觉,可以让医生全面了解手术的各个环节,第一视角学习手术技巧。

视觉学习之外,虚拟现实技术与计算机技术相结合用于建立具有实时力反馈的手术模拟训练系统,似乎更能够在一定程度上缓解当下医学所面临的瓶颈。例如用VR进行解剖教学,极大地缓解了医学教育中尸体标本短缺的情况。

“我们开发的系统,就是针对国际和国内市场上还没有较为通用、商业化的骨科手术训练系统的情况,以期解决骨科医生的手术训练问题。”中国科学院深圳先进技术研究院人机交互中心执行主任王琼在接受专访时告诉《中国科学报》记者。

满足手术训练需求

据介绍,骨科手术训练系统以椎弓根钉手术为基本背景,提供了不同种类的手术工具在脊柱上进行操作的三维交互场景模拟,主要仿真了圆钻磨骨、长钻打孔和置钉这几种椎弓根钉手术中风险较高、也最具有训练意义的手术操作。

“我们搭建了一套具有动态反馈、视觉变化的虚拟环境,与人机交互反馈的设备连接。对手术工具与骨骼交互时产生的控制力进行建模,并且模拟骨头被钻后的视觉变化,并通过VR眼镜和力反馈设备反馈给用户,模拟医生拿着钻头钻骨头的真实场景,这可以做到手眼协调方面的训练。”王琼说。

在系统中,王琼团队采用了融合体数据和面数据的数据结构,不仅可以满足在骨骼拓扑结构频繁改变状态下的三维手术工具与骨骼模型之间100Hz的碰撞检测刷新率,同时还可以精准地对磨削后的骨骼表面进行重建,并建立了基于磨削原理的手术工具交互反馈力模型,通过GPU硬件的加速,可以保证力觉的刷新率在1000Hz以上,避免视、触觉交互场景的失真。

该项目可以为医生进行椎弓根钉手术训练提供较为真实的、具有实时力觉反馈的虚拟三维场景,解决临床骨科医生缺乏手术训练机会的问题。

因为用不同的计算机程序可以产生新的交互环境,满足不同的手术训练的情况。“系统可以设置手术的难易程度,开始训练时,系统给出固定的骨钉位置和下钻方向,进阶后把所有预设信息全部删除,训练者自己判断病情与钻头位置,增加难度,这样的训练方式更加有效。”王琼说。

不同的变化方式,一方面提供精细、有效、重复的训练,既节约经济成本,又可以实现传统训练做不到的进阶训练。

四大总体框架

王琼介绍,一般虚拟骨科手术系统的总体设计框架主要包括: 三维骨组织建模、虚拟手术工具建模、形变仿真和力觉模拟以及人机交互模块等四个主要组成部分。

三维骨组织建模主要负责从原始的CT 扫描的二维数据图像中,利用图像处理方法将目标骨骼区域分割出来,然后利用三维重建方法,将骨骼三角面片网格提取出来,同时还可以融合体数据表示的三维骨骼模型。为了方便给后续的力觉建模打下基础,进而对不同的骨骼部位所具有的物理材料属性进行设定,这些参数一般需要通过真实的组织承压拉伸测试或者有限元建模的方法进行确定。

虚拟手术工具的建模对手术中会用到的手术器械,创建它们的三维几何模型和物理模型,并实时接收交互硬件设备传送的信息,用来确定手术工具模型当前的位置、姿态和运动状态。

形变仿真和力觉模块要通过虚拟手术工具与三维骨骼模型之间的碰撞检测来确定两者之间的交互区域,获取交互信息,并对骨骼的三维模型进行相应的形变。通常碰撞检测算法的选取与力觉交互建模有十分紧密的联系,根据力模型的计算特性选择恰当的碰撞检测算法可提高整体的运算效率。随后,可根据获取的交互信息,计算碰撞交互力。

人机交互模块提供人与计算机交互接口。一方面将用户控制力反馈设备时,对设备的空间位置坐标、变化矩阵以及用户手移动的速度等,传送给虚拟手术工具模块,用于力觉计算。此外,还负责对交互模拟的力觉反馈结果进行实时渲染,使用户感受到手术工具上所受到的力觉效果。

遵循总体框架建构的骨科手术训练系统,与传统的训练模式效果比较之后,得到了合作医院的认可。但同时,系统建立的每个环节也存在很多困难。

模拟系统目前大多采用标准化的模型,个性化的病人数据案例比较少,因为在将病人医学图像数据处理做成个性化三维模型时,中间涉及到的环节非常多,包括:图像处理、图像分割、三维重建、模型修补等步骤。一方面它们复杂费时,很多步骤仍需要人工介入处理,另外在将模型用于虚拟手术系统时,考虑到计算速率的问题,又需要对模型的体量进行控制,使用过于精细的数据会影响交互、计算速度,而使用简化的模型,虽然可以提升计算速率,但又可能会丢失了病人的疾病特征。“这些要素之间要做到平衡,由图像数据转变为可交互的三维模型,中间环节多,目前还没有统一的标准和成熟的解决方案。”王琼说。

应用仍有条件

在高盛2016年的报告中对VR医疗的市场规模进行了预测:2020年VR/AR(增强现实)的市场规模将达到800亿美元,其中在医疗保健领域市场达到51亿美元,覆盖340万用户。未来几年VR将会给医疗行业带来巨大的想象空间,而中国必然将为VR+医疗提供巨大的发展空间。但在目前的实际应用中,某些领域似乎并不顺利。

“不论应用在哪个行业,虚拟现实普遍存在内容生成不够丰富,以及重度VR应用真实感、沉浸感不强的情况。”在解释经历2016的火热,虚拟现实逐渐回归理性的原因时,王琼说道。从医学的角度来看,一套模型只能用在一套系统上,换一个病种或手术工具,算法、数据模型就要重新来做,整套虚拟场景的建立非常缓慢,这导致虚拟手术系统的开发周期相对较长。

医生接受度也是影响虚拟手术系统应用的方面,“我国的医生有严格的行业规范,要破坏原有的训练流程,提高医生的接受度,仍需要进一步努力。”王琼说。

对比临床手术领域,VR应用在康复医疗领域接受度更高,先进院医工所医学图像与数字手术研究室吴剑煌团队研发的虚拟脑卒中康复训练系统正在推进应用。该系统向脑卒中患者提供了一种成本低廉且有效的康复训练方案。利用虚拟现实系统,患者可以在虚拟环境完成可控的功能性运动和操作,完成有意义的任务性训练和得到视觉、听觉、触觉的反馈。

而对于医疗美容领域的VR应用,相比骨科精度要求更高,涉及软组织处理容易发生形变,王琼认为,整形领域的VR应用也有很多需要解决的问题。

人才短缺、硬件设备价格、穿戴设备的舒适度、软件系统如何快速开发等都是VR发展过程中需要面对的问题。但从长远看,“硬件的计算速率不断提升,整体还是会平稳推动行业的发展”。王琼说。

中国工程院院士赵沁平对VR在医疗领域的应用十分乐观:“虚拟人体已经成为‘实验室到病床’转化医学研究的新概念平台和实验手段,并已广泛应用在医学研究、新药开发、虚拟手术、医疗器械开发、医学教育培训、康复训练等方面。未来十年,虚拟人体可能在生命科学和医药领域产生颠覆性的影响。”

来源:中国科学报

为你推荐

医药如何数智化?医药工业数智化转型实施方案(2025—2030年)发布资讯

医药如何数智化?医药工业数智化转型实施方案(2025—2030年)发布

研发推广一批智能制药设备、检测设备,开发一批“小快轻准”医药工业软件或系统。支持创建医药工业数智技术应用验证与中试平台,集成推进共性技术攻关、软硬件适配验证测试、计...

2025-04-24 18:26

全球顶尖专家共话尿路上皮癌诊疗领域的新突破——第三届泌尿肿瘤临床研究大会会后会成功举办资讯

全球顶尖专家共话尿路上皮癌诊疗领域的新突破——第三届泌尿肿瘤临床研究大会会后会成功举办

2025年4月24日,北京——,“第三届泌尿肿瘤临床研究大会会后会”在北京成功举办。本次会议以“全球专家共话尿路上皮癌”为主题,汇聚了来自中外的顶尖泌尿肿瘤专家,围绕尿路上...

2025-04-24 16:26

全国预防接种日:“健康中国家,疫苗护万家”健康社区“免疫行动”促进计划启动资讯

全国预防接种日:“健康中国家,疫苗护万家”健康社区“免疫行动”促进计划启动

由新华网主办,中国医药卫生文化协会疫苗与健康分会、《中国社区医师》杂志联合支持的“健康中国家,疫苗护万家——健康社区‘免疫行动’促进计划”于4月23日在北京正式启动。

2025-04-24 14:07

第九十一批仿制药参比制剂目录资讯

第九十一批仿制药参比制剂目录

国家药品监督管理局发布仿制药参比制剂目录(第九十一批)。

2025-04-23 17:29

带状疱疹疫苗“遇冷”,百克生物2024年净利润腰斩资讯

带状疱疹疫苗“遇冷”,百克生物2024年净利润腰斩

近日,国内疫苗龙头企业百克生物发布2024年年报,数据显示,其报告期内实现营收12 29亿元,同比下降32 64%;归属于上市公司股东的净利润2 32亿元,同比下降53 67%。对于营收...

2025-04-23 12:59

国家药监局 海关总署允许进口牛黄试点用于中成药生产资讯

国家药监局 海关总署允许进口牛黄试点用于中成药生产

试点区域为北京、天津、河北、上海、浙江、江西、山东、湖南、广东、四川、福建、广西等12省(自治区、直辖市)。

2025-04-22 18:48

专注心衰管理,合源医疗完成超亿元融资资讯

专注心衰管理,合源医疗完成超亿元融资

三类有源植入产品

2025-04-22 13:17

欧狄沃®在中国获批可切除非小细胞肺癌围术期适应症资讯

欧狄沃®在中国获批可切除非小细胞肺癌围术期适应症

持续丰富早期癌症临床选择

2025-04-22 11:12

从“不患病”到“活得好”!多方联动助力帕金森病全程管理资讯

从“不患病”到“活得好”!多方联动助力帕金森病全程管理

2025年4月11日是第29个“世界帕金森病日”,今年帕金森病日的主题是“人工智能助力帕金森病全程管理”。

2025-04-22 10:59

又一家A股上市药企,退市已定资讯

又一家A股上市药企,退市已定

一直悬在海南普利制药头上的“达摩克利斯之剑”最终还是落下来了。

2025-04-22 09:45

重庆常用药联盟接续集采中选结果资讯

重庆常用药联盟接续集采中选结果

近日,重庆常用药联盟接续集采中选情况公布,该联盟由重庆牵头,联合湖北、广西、海南、贵州、云南、青海、宁夏、新疆及新疆生产建设兵团等十省(区、市)开展的药品集中带量采...

2025-04-21 18:48

降低20%主要心血管不良事件发生风险,诺和盈中国说明书更新资讯

降低20%主要心血管不良事件发生风险,诺和盈中国说明书更新

4月21日,中国国家药品监督管理局(NMPA)批准更新诺和盈®(司美格鲁肽2 4mg)的说明书。

2025-04-21 16:02

全周期智控慢病,诺和诺德与京东健康开启战略合作资讯

全周期智控慢病,诺和诺德与京东健康开启战略合作

2025年4月21日,全球领先的生物制药公司诺和诺德与京东健康在北京正式签署战略合作协议,标志着双方在糖尿病和体重管理领域的合作进入新阶段。依托诺和诺德百年深耕慢病领域的专...

2025-04-21 15:57

康方生物1类新药依若奇单抗上市申请获批,用于中重度斑块状银屑病成人患者资讯

康方生物1类新药依若奇单抗上市申请获批,用于中重度斑块状银屑病成人患者

该药是我国第一个且唯一获批上市的IL-12 IL-23“双靶向”单克隆抗体新药,是康方生物自身免疫性疾病领域首个获批上市的一类新药。

2025-04-21 13:39

阿斯利康乳腺癌1类创新药卡匹色替片中国获批资讯

阿斯利康乳腺癌1类创新药卡匹色替片中国获批

该药适用于联合氟维司群用于转移性阶段至少接受过一种内分泌治疗后疾病进展,或在辅助治疗期间或完成辅助治疗后12个月内复发的激素受体(HR)阳性、人表皮生长因子受体2(HER2)...

2025-04-21 11:02

辉瑞宣布终止一款口服GLP-1减肥药的临床开发资讯

辉瑞宣布终止一款口服GLP-1减肥药的临床开发

近日,辉瑞在其官网宣布,决定终止开发口服胰高血糖素样肽-1受体(GLP-1R)激动剂Danuglipron(PF-06882961),原因系在一项有关用药剂量的临床试验中,一名患者出现了可能由该...

2025-04-21 10:29

福建省医保局印发单列门诊统筹支付医保药品目录(2024年版)资讯

福建省医保局印发单列门诊统筹支付医保药品目录(2024年版)

根据2024年6月发布的《福建省医保药品单列门诊统筹支付管理办法(试行)》,为了让参保患者无需住院、在门诊就医也能用上国家谈判药品、享受医保待遇,将适用于门诊治疗、使用周...

2025-04-20 13:34

首批中国消费名品名单,医药健康企业有哪些?资讯

首批中国消费名品名单,医药健康企业有哪些?

近日,工业和信息化部办公厅发布首批中国消费名品名单,分为中国消费名品名单和中国消费名品成长企业名单。首批中国消费名品名单共包括93个企业品牌和43个区域品牌。中国消费名...

2025-04-20 11:17