前言:尋找寫作靈感?中文期刊網用心挑選的談卷積神經網絡室內虛擬控制系統設計,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。
摘要:為了能夠實現在智能家居背景下的遠程虛擬控制,解決傳統家居安防系統中所存在的資源浪費,無法高效率控制的技術弊端,文中提出一種基于卷積神經網絡的室內虛擬控制系統設計思路。將RaspberryPi3b+和CIS攝像頭連用作為設計的硬件配置構成,通過攝像頭獲取室內的相關圖像數據,并運用計算機系統對圖像數據進行判斷,根據判斷結果實現對室內虛擬控制。文中首先概述了室內虛擬控制采用的機器人抓取卷積神經網絡模型,并說明此次室內虛擬控制系統設計的軟硬件系統配置。在系統硬件配置部分選用STM32F103C8T6型號作為系統的主控制器,設計語音控制功能模塊和串口屏用于存儲控制代碼、圖片、字庫等內容。在系統軟件部分設計行人檢測,對人臉識別的圖像進行預處理、特征提取、匹配識別。實驗結果表明,所提系統能夠提高室內虛擬控制移位抓取的精準度,提高控制操作簡便性。
關鍵詞:卷積神經網絡;室內虛擬控制;移位抓??;人臉識別;系統設計;仿真實驗
0引言
隨著信息化技術水平的不斷提升中,相較室外控制系統,在室內實現虛擬控制技術需要更精準定位的控制技術。再加上室內的場景圖像復雜度更高,對于定位精準度要求也就更高,無法精準定位獲取準確的圖像內容,就無法獲得高效率準確的室內虛擬控制效果。在硬件技術的發展過程中,機器人抓取控制逐漸發展到由智能算法來抓取任意物體。因為機器人抓取系統領域的復雜度較高,所以對機器人控制算法提出了更高的要求。如今的工業機器人的抓取計算中,仍需要依賴原本建立的物體抓取模型。整理數據庫對于非結構抓取而言,需要建立能夠實時預測環境并且可以快速整定的抓取規則算法?;诖?,在本次研究中將卷積神經網絡算法引入室內虛擬控制系統設計中,通過優化室內環境信息抓取的準確性,建立室內圖像抓取位姿映射關系,并設計該室內虛擬控制系統的軟硬件配置,以真正提高室內控制效果。
1卷積神經網絡定位算法概述
圖1中:CNN1為立體序列與視覺定位卷積神經、CNN2為網絡單視圖深度卷積神經網絡。立體序列學習框架結構能夠成功突破單目模糊尺度這一情況,根據時空保證系統可以做到一致性檢驗。一般像素坐標系中:原點o′處于圖像左上角,u,x兩軸平行,v,y兩軸平行。因此像素坐標系及成像平面存在一個縮放和一個原點平移相差。假設u,v兩軸分別對像素坐標進行α,β倍縮放,即αx1為fx,βx1為fy。這時[c]x,cyT作為圖像中心坐標,P′坐標和[u],vT像素坐標矩陣表達公式如下:式中:K表示相機的內參。因為室內相機處于持續運動狀態,那么P點的相機坐標可以記為PW,以相機所處當前位置轉變相機坐標系結果公式如下:由式(2)可知,等式右側轉變了世界坐標系下齊次坐標為相機坐標系下。為了能夠相乘,K應當取三維組成向量值,之后以齊次坐標方式完成最后維的歸一化處理,獲得相機歸一化平面中的P點投影,如下:據此獲得Pc為經歸一化處理后的坐標,其處于相機前方Z為1時的平面中,即歸一化平面。因為Pc經內參能夠獲得像素坐標,因此可以將[u,v]T坐標視為歸一化平面點完成量測。
2基于卷積神經網絡算法的機器人抓取模型設計
2.1機器人和物體接觸力。在室內虛擬控制過程中運用機器人抓取物體時,機器臂的末端抓手會經多個接觸點關聯物體,這時在接觸點定義所在坐標系。根據三個不同的維度設計了坐標軸z,x,y;接觸點的上切平面定義單位法向量c;p,q作為與右側定則相符的切平面互相垂直的兩個單位向量,圖2為構建的機器臂和物體抓取點坐標系。
2.2物體抓取卷積網絡建模。完成室內物體和機器人的接觸抓取模型g={x},y,d,θ之后,設計物體抓取卷積網絡模型。為了有效提升機器人的物體抓取準確性,將傳感器所獲的深度圖像作為卷積神經網絡輸入。最終呈現全卷積形式完成卷積網絡輸出層設計,這樣能夠有效減少網絡訓練參數。為了增強網絡底層數據利用率,本次室內虛擬控制設計中運用了基礎網絡殘差單元,在輸出網絡中進行歸一化處理。卷積網絡模型所需處理相關參數包括抓取寬度、角度、位置和概率。具體的抓取概念應當先用二進制標記傳感器輸出圖片,之后設置對應區域值??刂茩C械手在[-90°,90°]區間的抓取范圍,設計的抓取角度為sin(2θ),cos(2θ)。為了保證控制卷積輸出層的最終輸出值在1以內,在對抓取寬度求解過程中需要控制深度相機在二指夾持器之間的寬度保持為50像素。
3基于卷積神經網絡室內虛擬控制系統設計
3.1總體構思
本次設計運用了RaspberryPi3b+和CIS攝像頭連用作為硬件配置構成,其能夠經攝像頭成功獲取室內的相關圖像數據,并運用計算機系統對圖像數據進行判斷,再根據判斷結果實現室內虛擬控制。在成功獲取圖像數據后,需對有無人行走以及行走主體進行判斷,并將判斷結果經STM32控制操作室內燈光,向STM33發送輸入信號。如果發現行動主體是陌生人,可以通過RaspberryPi3b+及時向主人遠程發送消息提醒,并且主人也可以根據情況經STM32控制語音模塊發出語音警報信息。
3.2硬件配置
3.2.1RaspberryPi3b+。本次虛擬控制系統設計選用了RaspberryPi3b+連接攝像頭,其能夠控制攝像頭所采集的相關圖像,從而遠程控制攝像檢測行為與啟動人臉識別軟件程序。根據檢測結果,如果是陌生室內人員,需要及時發送用戶提醒。通過向STM32發送信號,以實現對系統語音模塊的實時操控,并發送語音提醒。RaspberryPi3b+作為同系列產品內的新一代產品,其設計了BCM2837B0的SoC,可以集成運用于64位計算機的CPU,1.4GHz主頻,還設計了無線通信控制接口,能夠支持2.4GHz及5GHz的雙頻WiFi,并支撐IEEE802.11b/g/n/ac,運用LAN7515千兆以太網拓展,極大程度提升了網絡速率,可達到300Mb/s的吞吐量,所以具備較強的應用性能。
3.2.2CIS攝像頭。為了方便采集圖像音頻,在本次虛擬控制系統設計中運用CSI接口攝像頭。CIS攝像頭具有OV5647型感光元件,2.9光圈和3.29焦距,能夠支持攝影像素達1080P/720P/640×480P,靜態圖案品可達2592×1944分辨率,并且運用這款攝像頭還能夠在后續使用中跟隨系統升級,用戶自主配置USB接口攝像頭簡化操作。本設計中,攝像頭自動搜索拍攝用戶在室內行走的人臉圖像,并提供給RaspberryPi3b所需的人臉檢測識別圖像數據信息。運用CIS接口攝像頭模塊,可以達到65°室內攝像視角,像素最高可達500W像素。
3.2.3STM32主控制器。本次室內虛擬控制系統選用了STM32F103C8T6作為主控制器。該芯片內核為Cortex⁃3,擁有64KBFLASH、20KBRAM,其在應用中常作為電器的主控制器,能夠執行具體的控制任務,并向GPIO口發送控制開關信號,之后完成讀取即可。STM32F103C8T6主控制器的顯示屏運用了UART通信方式,速率為9600波特率,能夠開關顯示屏、接收語音燈信號。在進入主顯示器界面時,能夠發送主控制器的語音播報指令,并且在STM32F103C8T6主控制器成功接收指令之后,能夠對指令的具體類型和所在狀態進行判斷,最終控制系統語音播報。
3.2.4語音播報。本設計的語音模塊連接STM32,運用可觸發系統語音模塊,觸發電平能夠與TTL電平兼容,保證了有效的低電平,僅需5根杜邦線即可連接STM32F103C8T6主控制器的GPIO。這樣可以實現不同觸發式組合,完成不同的控制語音播放,加快系統虛擬控制指令的觸發速度。
3.2.5串口屏。在此運用了STM32串口屏控制器,其能夠連接外部設備在通信中發送UART信號。串口屏在內部代碼、數據上,經推行上位機完成信號編輯寫入,運用PS軟件操作圖片美化及數字化過程。需要注意的是STM32的RXD屏幕、TXD屏幕均可以連接屏幕TXD,STM32F103C8T6主控制器具有256KB的FLASH,可實現代碼、圖片、字庫存儲,并在意外斷電時可以自動保存重要數據。
3.3軟件設計
3.3.1行人檢測
在該虛擬控制系統的軟件設計部分運用了Python變成語言,對于行人檢測部分運用了IMageAI庫,采用先進RetinaNet目標檢測算法,對性能參數進行實時調整。
3.3.2人臉識別
本系統設計運用M∶N的人臉識別模式,基于C++編程完成了底層深度學習代碼。運用Dlib深度學習庫建立神經網絡,設計OpenCV計算機視覺庫和Python基礎第三方庫,訓練數據識別人臉過程中也會對自身數據不斷改進,提升識別準確率。
1)對于差異化人臉圖像預處理,運用了面部特征點估計算法。尋找多個人臉的統一特定點,包括了下巴頂部、眼鏡輪廓、眉毛內部輪廓等。
2)提取人臉圖像特征完成編碼,并運用同樣測量方式對位置面孔進行測量,尋找與測量結果最接近的臉??梢酝ㄟ^訓練深度卷積神經網絡,并非去識別圖片物體,而是可以在原本人臉上復制生成2倍的測量值。
3)匹配識別人臉,以臉部的測量數據結果為依據,根據臉部編碼尋找匹配人的相應名字,在建立的SVM分類器中,能夠根據新型測試圖像重新獲取測量結果。
4仿真實驗
為了驗證本次基于卷積神經網絡算法的室內虛擬控制系統的深度學習預估準確性,在輪式小車安裝攝像頭并在室內行走。攝像頭均設計為雙目廣角攝像頭,其水平視場角為180°。在初期算法訓練階段,采用兩個攝像頭預測行進軌跡。移動軌跡誤差率的計算結果如表1所示。由表1可知,本系統能夠控制機器人閉環軌跡誤差率低于1%,達到了預期。
5結語
綜上所述,本文提出的基于卷積神經網絡算法的室內虛擬控制系統設計思路,可以運用于解決傳統控制系統中存在浪費能源和所需室內安保場景中。經過仿真實驗,得出了本文系統能夠提高室內虛擬控制移位抓取的精準度,提高控制操作簡便性。
作者:陳雪 單位:河北師范大學匯華學院