前言:尋找寫作靈感?中文期刊網用心挑選的人體動作辨識技術多媒體教學研究,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。
摘要:
本文介紹了一種基于體感識別技術的多媒體教學控制系統,是一種結合計算機控制技術、體感識別技術的產物。硬件部分以計算機為控制中心;KINECT2.0為人體檢測識別模塊。可以達到使用者在不接觸鼠標鍵盤等計算機輸入部分就可以達到控制計算機的目的。主要用于教學,演講,路演等多種需要使用多媒體設備的場合,提高控制多媒體控制的適用性,靈活性和美觀度。
關鍵詞:
多媒體教學;KINECT2.0;體感識別;無線串口WIFI;人機交互自然性
多媒體教育控制系統是以多媒體教學為平臺,教學為主要控制對象,利用綜合布線技術、自動控制技術、音視頻技術將教學有關的設施進行高效集成,構建高效的電子教學設施與教學內容的控制管理系統?,F在的多媒體教學中,多采用鼠標、鍵盤直接控制和紅外線遙控器控制等多種方法,隨著科技的發展,尤其體感技術的逐漸成熟,對于多媒體的控制又有了新的發展空間,我們認為體感技術與多媒體控制技術相結合會增強控制的靈活性和適用性,同時給使用者帶來了全新的教學方法和教學體驗。同時通過這套控制系統無線控制非計算機的教學設備。
1設計來源
在多媒體教學中,目前可以采用鍵盤、鼠標直接控制計算機,以達到對多媒體的控制,此種方法控制直接,但教師或其他使用者不能脫離計算機一定范圍,并且在教學過程中還要保持日常使用計算機的姿態,給使用者帶來了不便。隨著多媒體教學的普及,出現了用外線遙控器來控制多媒體,這種方法解決了前者帶來的問題,這也是現在教學中常用的多媒體控制方案。隨著科技的發展,尤其體感技術的逐漸成熟,對于多媒體的控制又有了新的發展空間,所以以上幾種方式都有一個共同的不足,就是都要通過手與控制終端接觸做出一定的操作控制,而很多時候我們的手跟控制器的協調達不到一致,不需要肢體與控制器接觸就能控制會更加方便、靈活,以自然的方式進行人機交互也逐漸成為了發展趨勢。
2設計所使用的相關技術
隨著科學技術的高速發展,更高層次的人機交互理念對交互方式提出了巨大的需求,眾多科研人員開始對新的交互技術的多通道界面展開研究,目前的研究內容主要是集中在手勢輸入、語音識別及感覺反饋等方面。而Kinect體感技術的出現為促進人機交互的發展具有重要意義,Kinect作為新一代的體感設備,可以依靠實時捕捉使用者的動作、面部識別及語音識別就可以達到輸入功能。這一特性很好地填補了現有人機交互技術的缺陷,并且促使Kinect體感技術成為人機交互領域的一個研究熱點。與傳統輸入設備不同的是,Kinect設備可以實現直接用使用者的身體來控制終端,用這種最自然的方式與終端進行交互的特點貼近了人機交互對自然性的要求,Kinect體感技術對人機交互理念的實現起到了重要的促進作用。因此研究Kinect體感技術在人機交互領域中的應用對其今后的發展具有很大的必要性。自從Kinect到現在,它以其方便的人際交互性,被多個行業和領域廣泛應用:虛擬應用:可以將Kinect應用在虛擬樂器,虛擬實驗,虛擬娛樂等方面。
3本設計的主要內容
本系統設計旨在設計一個根據人體動作來控制信息設備的多媒體教學控制系統。該系統由上位機子系統和下位機子系統兩個部分組成。具體又包括體感識別模塊、無線數據傳輸模塊和電教設備遙控模塊。體感識別模塊會把攝像頭捕捉到的人體姿勢傳到模塊,體感識別模塊會對其做出相應的解讀,并將其傳給電腦。電腦通過上位機傳送數據,WIFI模塊通過局域網和電腦連接,WIFI模塊接收到電腦傳過來的數據后,通過串口把數據傳輸給單片機。單片機通過WIFI模塊接收到電腦傳送過來的數據依據下位機程序做出相應的反應,從而控制對應的電器工作。用戶可根據上位機界面查看人體動作。程序調試主要采用先將各部分的程序分開調試,再將各個程序整合到一起的思想。本設計的程序主要包含對人體動作識別的程序、無線數據傳輸程序、多媒體控制技術和上位機界面的編寫程序,其中人體動作識別程序和無線數據傳輸的程序也是本設計的重點程序。最終將人體動作識別的程序整合到無線數據傳輸程序和計算機多媒體控制中去,以構成本設計的完整程序。
4系統總體結構
本系統工作原理如下:利用和結合Kinect3D體感攝影機實時捕捉人的三維動態信息,并對其進行解讀,然后把其發送給電腦,電腦通過上位機傳送數據,WIFI模塊通過局域網和電腦連接,WIFI模塊接收到電腦傳過來的數據后,通過串口把數據傳輸給單片機。單片機通過WIFI模塊接收到電腦傳送過來的數據依據下位機程序做出相應的反應,從而控制對應的電器工作。本次設計的查詢平臺由上位機子系統和下位機子系統兩個部分組成。上位機子系統由Kinect傳感器模塊、電源模塊、串口通信模塊、計算機等組成;下位機子系統由控制芯片STM32單片機、串口通信模塊、電源模塊、信息設備控制模塊。Kinect設備識別人體動作后,通過USB傳輸線把Kinect接收到的信息發送給計算機,經過處理器對數據進行處理,然后通過串口通信將人體動作數據表達的控制指令傳給計算機,此時用戶可通過上位機的可視化界面觀看人體動作。
作者:姜巖松 劉洋 單位:東北石油大學電氣信息工程學院
參考文獻
[1]李廣弟等.單片機基礎[M].北京:北京航空航天出版社,2001.
[2]王東峰等.單片機C語言應用100例[M].北京:電子工業出版社,2009.
[3]劉守義等.單片機技術基礎[M].西安:西安電子科技大學出版社,2007.
[4]李平等.單片機入門與開發[M].北京:機械工業出版社,2008.