基于系统解剖学的临床诊疗思维虚拟仿真系统的应用

新乡医学院三全学院

 

一、工作背景

为深入贯彻党的二十大及全国教育大会有关精神，落实《中国教育现代化2035》《教育信息化2.0行动计划》《河南教育现代化2035》等文件要求，学校明确高等教育数字化转型重要任务，选择医学专业核心课程集群，将虚拟仿真教学作为智慧教学的重要内容，构建虚拟仿真教学工程，实施智慧教学应用与研究，实现医学教育高质量发展。

（一）项目实施背景

1.医工融合助推医学创新性人才培养深化

2018年12月我国工信部制定出台了《关于加快推进虚拟现实产业发展的指导意见》，2020年9月国务院办公厅发布《关于加快医学教育创新发展的指导意见》，提出要以新医科统领医学教育创新。医学院校人才培养目标要以社会现实需求为导向，推进医学与工理文学科交叉融合，探索新时代高等医学院校人才培养路径与教育体系，培养高层次、多元化、创新性医学人才。

2.5G+VR技术助力医学教育高质量发展

人体的复杂性和教学实验材料的特殊性，带来的是高昂的教学成本和有限的实验场地，新一代信息技术融合教育教学，VR技术可以很好的解决这些难题。而5G技术为用户提供超清、低延迟的良好体验，5G+VR技术身临其境的交互体验，应用在医学教育培训上有着得天独厚的优势。基于虚拟现实、增强现实、混合现实等数字技术构建的虚拟仿真教学系统，为医科院校创新教育提供了更富现实感的教学平台。

基于此，我校强化跨学科融合发展的新医科建设理念，整合医学课程资源，搭建了医工协同创新实践平台，构建虚拟仿真教学实验教学工程，开发基于系统解剖学的外科学临床诊疗思维开发的虚拟仿真课程群，包含“虚拟动态心脏基础解剖实验、膝关节解剖虚拟仿真教学系统、气管内插管全身麻醉虚拟仿真教学系统”3个虚拟仿真教学项目。

（二）拟解决的关键问题

本研究为医工深度融合反哺医学生培养的成功案例，拟解决的关键问题如下：

1.利用三维建模技术、Unity交互开发平台及C#语言编程技术等构建虚拟的心脏、膝关节及气管等人体器官组织数字模型，将相关的解剖结构和发病原因及手术方法等教学重点和难点融入模型教学中，实现与虚拟仿真平台的交互操作及过程评价。

2.研究将复杂的GPU渲染和编码任务全部交由服务器端处理的算法和策略，通过优化硬件体系结构设计和改进资源调度，使学习者通过终端设备直接与虚拟仿真程序进行实时交互，摆脱其对高端PC 平台支持的依赖。在局域网管理框架下部署医学虚拟仿真教学实训系统，减少占用GPU资源的时间，实现高速低延迟的虚拟仿真交互体验。

二、工作举措

（一）案例组织与推动

1.学校加大政策支持与资金投入

我校积极响应国家政策号召，推进虚拟现实技术赋能医学教育研究。建立以校长为组长、主管信息化建设与教学的校领导为副组长，各教学单位负责及相关职能部门负责人为主要成员的信息化教学改革领导小组，统筹协调推进；建立信息化项目建设专项经费，持续加大经费投入力度，对智慧教育教学项目建设重点倾斜。

2.全面启动数字化建设机制，协同推动案例实施

我校全面启动数字化建设机制，采用“2支撑+5协同”的智慧教育体系创新模式，协同推动案例的实施，具体内容如图1所示。

 

图1 “2支撑+5协同”的智慧教育体系创新模式

 

（1）搭建泛在教与学环境，构建完备的智慧教学体系。扩充网络基建，实现5G网络覆盖，实施本地服务和云平台并行，共建共享数字化课程与资源，建设以公共基础课、专业基础课和创新创业类课程为重点课程集群。

（2）鼓励创新教学模式，强化教育教学改革成果转化。创新教学模式，重构课程体系，应用新工具与平台，实施课堂教学新方法、新模式。基于新一代信息技术与教育教学融合创新应用，依托特色优势学科，实施课程改革。

（3）强化数据驱动，深化教育数据治理，建立多元评价体系。推动数据动态更新和多源汇聚，推动数据要素合规利用。建立教学管理与质量大数据监控体系，形成多维度评价数据，支撑教育科学决策、精准管理和高效服务。

3.开发知行合一的虚拟仿真教学平台

本案例利用虚拟现实（VR）技术将医学基础知识与临床理论及实践形成横向串联，扩视觉空间，形成三维立体的直观场景，构建逼真的实验环境，在开放、交互的虚拟环境中实施自主实验操作，建设思路如图2所示。

 

图2 线上线下协同推进课程实施路径

 

（1）动态心脏基础解剖实验融入心脏形态、结构及心脏临床相关疾病的知识要点，如图3所示，进行相应的模拟体验操作，以达到培养学生对心脏形态、结构及临床相关知识的掌握与实践能力的目的。

 

图3 心脏虚拟仿真系统界面

 

（2）膝关节解剖虚拟仿真教学系统将膝关节相关的解剖结构和发病原因及手术方法等教学重点和难点融入模型教学中，设置不同的教学环节，涵盖模拟演示，实操训练，可实现反复培训，系统界面如图4所示。

 

图4 膝关节虚拟仿真系统界面

 

（3）气管内插管全身麻醉虚拟仿真教学系统通过病人自我介绍基本信息了解、病史及麻醉方式、既往病史及手术史、近期身体情况、化验报告等多项指标评估麻醉条件，建立以操作步骤为标准的考核模式，系统界面如图5所示。

 

图5 气管内插管全身麻醉心脏虚拟仿真系统界面

 

（二）技术（规范）创新

1.基于5G通信技术的硬件系统结构及实验室部署

通过优化硬件体系结构设计，改进资源调度策略，使终端功能优化提供连接网络、视频解码和人机交互。学习者可不受时空和人数限制的实现跨平台、跨终端学习与培训。5G通信实验室部署方案主要涉及实验室部署、以及机房部署，如图6所示，这是一种全新的延迟优化解决方案。

 

图6 实验室部署方案

 

2. 基于C#语言及Unity平台开发全过程交互学习模式

基于3Dmax建模技术C#语言办成技术及Unity交互开发平台建立虚拟仿真教学与数据平台，设计丰富的交互设计流程，大量生产教学内容，并实践于仿真教学，提升与优化教学质量和课堂模式创新。以膝关节解剖教学与临床实训平台为例，具体开发设计路径如图7所示。

 

图7 膝关节解剖虚拟仿真平台开发技术路线

 

3.多维度优化GPU编程提高灵活性

课题组从内部结构、硬件接口和软件接口三个维度对GPU编程进行优化，使仿真程序通过GPU提供的API接口，可直接调用GPU计算资源。通过对软件底层代码和算法的优化将GPU虚拟化，解决了通过不同用户的需求动态分配虚拟GPU运行环境的资源，增强了GPU编程灵活性。

（三）案例管理与保障

1.案例管理

本案例依托单位平台团队由基础医学院、智能医学工程学院、教育技术中心、校园网管理中心和企业人员组成的具有教授、副教授、讲师及助教的层次化结构梯队。团队成员各司其职，相互协作，有平台的使用、平台管理和维护、数据管理和更新、算法设计和编写以及理论指导等任务分工。

2.实施保障

新乡医学院三全学院开设虚拟现实技术应用、智能医学工程、数据科学与大数据技术、临床医学等相关专业，为医工融合理念的落地与实施提供可靠平台与载体。学校建设高规格虚拟仿真实训中心、智慧化VR/AR实验室。建成生物与基础医学实验教学中心；拥有智慧教学实验室6间，数码互动实验室8间，临床思维训练室2间，总面积约2000平方米，在虚拟现实VR的应用上，有着充足的实验平台，为项目后期开展提供全方位的理论与技术支撑。

三、工作成效

（一）关键成果

1.立足教学应用和创新，教育教学改革成果成效丰硕。

（1）教学质量工程：

1）2021年河南省一流本科课程：虚拟动态心脏基础解剖实验，河南省教育厅；

2）2020年度河南省虚拟仿真实验教学项目：膝关节解剖虚拟仿真教学系统，河南省教育厅；

3）2018年度河南省示范性虚拟仿真实验教学项目：心脏解剖实验教学，河南省教育厅。

（2）教学科研项目：

1）MR（混合现实）技术在医学专业教学中的应用与探索，立项编号： HBKC217010，教育部行指委；

2）基于5G技术的医学虚拟现实在线实验教学平台构建及应用，立项编号：22B413009，河南省教育厅;

3）新医科视域下“VR+”临床医学教学系统构建研究，立项编号：Wjlx2021074，河南省卫计委；

4）VR、AR技术支持下的医学影像、康复MR学习中心，结项证书编号：JYBXT-CJKJ20201203，教育部高等教育司；

5)雨课堂智慧教育学习中心建设，立项编号：201902034023，教育部高等教育司。

（3）专利：

1）基于VR技术的膝关节腔镜微创手术规培系统V1.0，专利号： 2019SR1016909；

2）心脏解剖虚拟仿真教学系统软件V1.0，专利号：2019SR1232123；

3）膝关节虚拟仿真规培系统软件V1.0，专利号：2019SR1232005；

4） 膝关节解剖虚拟仿真教学系统V2.0，专利号：2020SR0447123；

5）心脏解剖虚拟仿真教学系统V2.0，专利号：2020SR0465401；

6） 基于局域网和5G的虚拟仿真平台V1.0（虚拟仿真云平台），专利号：2021SR0220323。

（4）著作：

1）虚拟现实与增强现实应用基础，ISBN：9787030563989，科学出版社，2018年8月；

2）医学虚拟现实与增强现实概论，ISBN：9787302562658，清华大学出版社，2020年10月。

2.推动人才培养，医学人才质量显著提高。

培养医学人才和医工融合人才辈出。学生在第八届全国大学生基础医学创新研究暨实验设计论坛、全国大学生数学建模竞赛河南赛区、第四届全国大学生智能技术应用大赛等高水平比赛中获得多项大奖。仅2022年为45项，在国家级大学生创新创业训练计划项目立项1项，如图8所示。我校郝莺歌等优秀学子综合素质过硬，被多家媒体报道。

  

 图8 学生获奖和立项部分截图

 

3.建成跨校共享的虚拟仿真实验项目的课程资源集群

围绕人体解剖学，建成虚拟仿真实验教学平台3个，建设相关课程7门，建设多类别、立体化、高质量的课程资源，在国家虚拟仿真实验教学课程共享平台上线，校内外平台累计应用人数50000余人，课程累计访问次数175万余次，逐年呈增长趋势，课程集群建设及数据如图9-11所示。

 

 图9 围绕人体解剖学建设的虚拟仿真实验集群

 

图10 膝关节解剖虚拟仿真教学系统（校校共建共享）

 

图11 多类别课程资源

 

 

 

图11 优慕课嵌套虚拟仿真系统平台评价数据

 

（二）用户体验

本虚拟仿真教学具有反复操作，简单易上手，直观形象等特点，弥补了传统解剖教学具有气味难闻，标本易损耗，标本资源紧张等缺点。教师采用PC端和VR端进行阐释和可视化展现，全面清晰的展示解剖结构，实施个性化教学，成效明显；学生加深了对知识和技能学习并掌握的牢固，有效调动了学生参与实验教学的积极性和主动性，激发学生的学习兴趣和潜能。

（三）规模效益

自项目启动以来，我校临床医学、康复医学、康复辅助器具等专业学生及社会各界医学人士受益匪浅。目前该系统在满足我校基础医学相关专业学生学习和训练的前提下，已在中国医科大学、新乡医学院应用。具体应用数据如表1所示。

 

表1 项目应用规模及数据

项目名称	本校上线时间	已服务学生数	是否纳入教学计划	是否面向社会开放
虚拟动态心脏基础解剖实验	2018.5	7200	是	是
膝关节解剖虚拟仿真教学系统	2019.3	4800	是	是
气管内插管全身麻醉虚拟仿真教学系统	2020.12	1200	是	否

 

本项目在局域网和云端上实现部署和应用，打破时空和人数限制，将逐步面向国内开展基础医学教育和临床技能培训的医学院校（医院）开放、共享本虚拟仿真教学项目资源，服务于医学专业教育，为其他医学院校教育教学改革及数字化转型提供新思路，为医疗卫生行业的发展注入新动力。

四、工作经验

本案例基于虚拟仿真技术，将解剖教学和临床实训相融合，通过多模态，三维立体的可视化技术取代传统的平面化解剖的教学方法，提高了虚拟仿真临床实训中的实时交互体验，为培养学生临床诊疗思维提供了一个新的途径。

（一）借助5G技术实现线上线下全方位教学

利用5G通信技术，将虚拟仿真系统部署到局域网和云端服务器上，优化硬件体系结构设计，改进调度资源，打破时空和人数限制。将校内校外、本地异地、局域网融为一体，实现了PC、VR、Web版全方位应用，为医学教育仿真系统网络化提供了理论依据和应用方法。

（二）实现对传统教学的延伸与拓展

虚拟现实技术的运用，基于以学生为中心的教学理念，极大的推动了数字化学习与主动学习策略的实施。基于VR的数字化学习策略与经典医学教学理念相互整合，展现了基于应用创新课程的多样性与课程整合的吸引力。

（三）建立数据平台，加强对教学数据管理及应用评价

建立虚拟仿真教学与数据平台，大量生产教学内容，并实践于仿真教学，提升与优化教学质量和课堂模式创新。线上系统可以自动生成在线学习时间、在线练习情况、实际操作情况的统计报告，通过智能、高效的评价反馈，促进项目改进，提高教学效果。

表2 项目组团队成员及排名

姓名	性别	专业职务	工作单位
胡仕坤	男	副教授	新乡医学院三全学院
袁磊	男	副教授	新乡医学院三全学院
程巍	女	讲师	新乡医学院三全学院
张改改	女	讲师	新乡医学院三全学院
娄岩	男	教授	新乡医学院三全学院
李祥	男	助教	新乡医学院三全学院
高静	女	讲师	新乡医学院三全学院
庞玲玲	女	助教	新乡医学院三全学院
王鑫	男	助教	新乡医学院三全学院