前言:尋找寫作靈感?中文期刊網用心挑選的增強現實技術在臨床醫學教育的應用,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。
摘要:增強現實技術的核心是將計算機生成的虛擬信息疊加于真實場景,實現對現實信息的增強與交互。該技術在臨床醫學教育領域中的應用成為研究熱點。本文介紹了增強現實關鍵技術,并對其在醫學教育中的應用現狀進行綜述。與傳統教學方式相比,增強現實技術具有安全性、趣味性、可重復、可規劃與反饋及可多人協作等優勢,但應用于臨床醫學教育領域中亦存在技術及經濟成本等局限性。
關鍵詞:增強現實;醫學教育;仿真
臨床醫學是一類實踐性極強的學科。學生能力提升依賴于大量系統化、標準化的訓練和實踐。但與之相對,傳統訓練會增加醫源性損傷的發生率。因此,臨床醫學教育與患者安全性之間的平衡成為熱點。仿真學習借助于多媒體、仿真、傳感、人機交互和人工智能多種技術,允許學生在可控的環境下培養臨床思維、訓練復雜臨床技巧,允許犯錯而避免對真實患者造成損傷。隨著科學技術發展,增強現實(augmentedreality,AR)技術逐漸發展成熟并成為仿真學習中重要手段及臨床醫學教育領域的研究熱點[1]。AR技術的核心是將計算機虛擬、生成的信息疊加到真實場景中,從而對現實信息進行增強,提高用戶對現實場景的感知以及和虛擬場景的交互。本篇文章將簡要介紹AR系統的關鍵技術、在臨床醫學教學中的應用形式、優勢與局限性。
1增強現實系統的概念
AR系統強調虛擬-現實連續體。與虛擬現實相比,AR利用虛擬信息對真實場景進行增強,用戶能夠保有身處真實場景的客觀感受,更加適合解決實際問題。AR系統具有3個特點:虛實結合;三維匹配:通過實時跟蹤及計算影像獲得位置與虛擬影像疊加于真實場景的注冊位置,實現虛擬影像與真實場景的融合;實時交互:真實場景信息可以實時反饋給AR系統[2]。
2增強現實系統的關鍵技術
基于上文所述AR系統的3個特點,該系統的關鍵技術主要可分為跟蹤注冊技術、顯示技術和智能交互技術。這些技術決定一個AR系統的精確度。
2.1跟蹤注冊技術
跟蹤注冊技術是實現三維匹配的基礎。首先需檢測客體的特征點及輪廓,并轉化為二維或三維的坐標,最終在正確位置實時顯示,完成三維注冊、匹配。跟蹤注冊技術依據跟蹤對象可分為兩類[2]:跟蹤對象為攝像設備:又可進一步分為基于硬件傳感器、基于計算機視覺。后者的精確度相對較高,也應用于臨床醫學中。例如通過體層掃描相機對牙列外形視覺捕捉,并對此信息進行跟蹤、注冊[3]。跟蹤對象為人:把用戶及用戶周邊信息作為跟蹤對象。而實際上,為保證系統的精確度和更廣泛的使用范圍,避免外界環境對系統的影響、干擾,一個AR系統中往往會用到多種跟蹤注冊技術。
2.2顯示技術
AR系統所采用的顯示技術,根據成像原理的不同可分為視頻式、光學透視式和投影儀式。視頻式的優點為疊加場景的圖像質量高,但缺點為復雜的處理過程可導致最終呈現的疊加場景較真實場景延遲。光學透視式真實和虛擬場景在鏡片上進行融合。投影式技術成本較低,但易受環境干擾[4]。顯示設備則可分成:頭戴式顯示器,有文章報道AR眼鏡在中心靜脈穿刺的仿真教學中的應用[1]。投影顯示器可將虛擬場景投射到大范圍環境中,且投射焦點與用戶視角無關。其他還包括手持式移動顯示器、計算機屏幕顯示器。
2.3智能交互技術
常見的人機交互方式包括:基于傳統硬件設備的交互方式,鼠標、手柄等硬件,對應虛擬場景中某一坐標,真實場景中的硬件操作反映于虛擬場景中該點的行為,手勢交互系統以及投影互動技術。
3增強現實技術在醫學教育中的應用現狀
AR技術能夠將影像結果、器官3D模型等虛擬場景注冊到真實環境中,提供更加可視化、三維、可互動的效果。因此在實踐類、場景識別類的醫學教學內容中應用更廣泛。傳統的教學方式為文字講授、模型展示、現場觀摩、動物實驗甚至是直接操作于患者。
3.1解剖
研究發現,應用基于增強現實技術的Virtuali-TeeT恤衫的學生在學習心臟解剖后測試的結果中優秀率更高[5]。另有研究提示MagicBook可顯著提升學生的解剖知識掌握水平[6]。
3.2有創操作、外科手術
AR技術在有創操作、外科手術的教學中已有較多探索。由于AR的核心技術為虛擬、真實場景的精準疊加,因此在不易移動、變形的器官操作中應用效果較好。目前AR技術的臨床及教學應用多集中于神經外科、頜面外科和普外科等[4,13]。比如通過虛擬腹腔鏡技術培訓醫學生闌尾切除術,可顯著減少醫學生不必要的腔內器械操作,提高手術的安全性[7];LungPoint系統是一種虛擬導航支氣管鏡,根據患者胸部CT予以三維重建仿真支氣管,并智能規劃操作路徑,該系統可縮短呼吸內鏡醫師培訓時間,提高培訓成效[8];中心靜脈穿刺術培訓中引用AR眼鏡,教學結果提示該方式靈活、有效[1]。
3.3超聲影像學
有文章報道,心內科、超聲科學生通過超聲仿真儀器學習經胸廓超聲心動圖、經食道超聲心動圖,大部分被試者認為該系統仿真性較好。EchoCom是一個三維跟蹤注冊系統,通過超聲信息,幫助醫學生訓練及早識別先天性心臟疾病。該系統的應用能夠顯著提高醫學生的診斷率[9]。
4增強現實技術在醫學教育中的優勢
與傳統教學方式相比,AR技術在醫學教育方面擁有以下優勢。
4.1安全性
基于仿真技術的醫學教學方式目標是在避免患者醫源性損傷的同時仍達到對醫學生的培訓要求。AR技術可以通過虛擬系統,代替直接作用于患者的訓練和實踐。醫學生減少對患者直接實行有創操作,可明確減少患者出現操作并發癥,也避免醫學生職業暴露。AR技術能夠保證醫患雙方的安全性。
4.2自主性、趣味性
AR技術能夠提供豐富的虛擬圖像、模型資源,將知識呈現變得更加真實、形象和有趣。它的應用讓學習者的積極性和主動性得以發揮。有研究對比基于AR技術的教學方式與傳統課本的效果,發現使用移動AR技術的學生知識獲取程度遠高于傳統對照組,其益處主要在于激發了學習的參與度[10]。
4.3可重復性
經驗豐富、技術精湛的臨床醫師需要多次重復的訓練。但現實環境中難以保證同一臨床場景反復出現。AR技術通過提取大量臨床資料,并進行模擬、疊加,允許相同場景不斷重復,供學生反復訓練,至強化記憶、熟練掌握該場景。
4.4規劃與反饋
AR技術在醫學教學中的應用,通過建模圖像與真實場景之間的直接疊加,可以減少學生主觀想象,與操作視野之間建立直接、連續的空間關系。這種空間關系的建立是智能操作路徑規劃的基礎。例如正頜外科的數字手術規劃將虛擬的截骨線和真實的頜骨疊加融合[11]。以及在血管外科手術中,定位血管和規劃手術入路[12]。除了操作前的規劃,AR系統還能夠對學生的操作過程通過人機交互系統進行評價,甚至于操作過程中實時反饋,并模擬操作導致的相應后果,便于學生總結經驗、教訓。
4.5多人協作
多人協作、配合的訓練在醫學教育中也極為關鍵。AR系統可通過多個計算機硬件設備相互關聯,分享同一虛擬-現實疊加模型,允許多人在同一系統中學習、協作。且學習及演練過程中可隨時暫停、重復,為師生提供討論時間。
5增強現實技術在醫學教育中的局限性
5.1場景相對單一
AR系統所提供的臨床場景需要前期人為虛擬場景設計,因此,場景較臨床現實相對單一、固定。單獨使用無法取代真正的臨床實踐,學習如何應對不同患者的個體差異及因社會心理問題導致的臨床變異。
5.2技術缺陷
臨床教學中對跟蹤、注冊精準程度、對場景模擬的真實性要求較高,目前我國的AR技術處于發展初期,尚不能完全達到臨床要求。更加先進、全面的技術需要引入AR臨床醫學教育系統。
5.3硬件與經濟成本
AR系統對硬件要求較高、價格昂貴,因此無法在所有醫學教學機構普及。雖然不斷有低成本AR系統問世,但這些系統存在自身局限性:比如為降低成本,顯示方式多選擇投影式,導致場景疊加位置相對固定等;以及不包含實時反饋及校正系統等。目前,AR技術在臨床醫學中的應用仍為小范圍、試驗性。未來,性能與成本之間平衡的系統設計將成為研發重點。
6總結與展望
已有多個研究證實AR系統在臨床醫學教育中能夠提高學生的學習興趣、臨床實踐能力,且能夠減少不熟練的臨床操作給患者帶來的醫源性損害。而除了個體化的操作,AR技術因其能夠提供可視化、三維及可互動的效果,有望應用于臨床醫學科普教育中。另外,AR技術能夠模擬多種場景,可為突發衛生事件應急處理、災難生命支持等領域的學生提供有效訓練。越來越多的成品化AR系統將會為臨床醫學教育帶來巨大的、嶄新的變化。
作者:王珞 陳適 潘慧 單位:中國醫學科學院