前言：尋找寫作靈感？中文期刊網用心挑選的無人機下雙光融合光電系統設計探析，希望能為您的閱讀和創作帶來靈感，歡迎大家閱讀并分享。
【摘要】紅外與可見光圖像融合作為圖像融合領域的一項重要分支，在軍事偵察、衛星遙感、溫度檢測領域有廣泛應用。融合圖像可以穿透煙、霧等人眼障礙檢測熱目標，有可以在光照充足的條件下，最大程度描述場景中的紋理與邊緣等細節信息，對互補信息進行保留，在隱藏目標、夜間偵查等目標檢測方面有廣闊的應用價值。本文設計了一套應用于無人機的紅外與可見光雙光融合光電系統，用以實現對日夜飛行目標的檢測和識別。
【關鍵詞】紅外圖像；可見光圖像；圖像融合
1引言
圖像融合旨在結合不同傳感器的優點，把同時獲取的多幅相同目標圖像融合在一起，輸出一幅能夠更好的被計算機分析處理的圖像[1]。紅外圖像表現物體表面溫度分布狀態，能夠在夜間區分目標和背景，可見光是物體反射可見光所成的像，能夠提供高分辨率和清晰度的細節圖像[2]。紅外與可見光兩種圖像融合可以較好的互補目標場景信息，因此設計一套實現可見光與紅外視頻的融合接入系統，提升不同偵查環境的目標識別率[3]。
2系統總體設計
系統實現無人機前視安裝，具備紅外和可見光雙路鏡頭，并實現雙光融合。系統提供無人機視頻采集融合單元，融合單元由紅外機芯、CMOS傳感器，視頻采集融合處理器構成。紅外機芯采集紅外圖像，通過LVDS接口，將數據傳送至視頻采集融合處理器；CMOS傳感器采集全彩圖像，通過MIPI接口，將數據傳輸至視頻采集融合處理器；視頻采集融合處理器對采集的雙路視頻數據進行融合處理，利用H.264編碼壓縮，通過以太網形式發送至無人機；無人機可通過RS422接口，對視頻壓縮比進行控制。本系統結構如圖1所示：
2.1系統硬件設計
1）系統硬件框圖雙光融合光電整個系統包括：核心處理器、電源系統、CMOS鏡頭、CMOS傳感器、紅外機芯，控制按鍵組、RTC時鐘、DDRRAM、NANDFLASH、SD卡、指示燈、USART、以太網接口、RS-422控制等。雙光融合光電系統硬件架構如圖2所示：2）傳感器選型為降低識別難度，提升視覺效果，選擇高分辨率可見光全彩CMOS傳感器。Sensor芯片選擇索尼IMX334，為對角線8.86mm（1/1.8型）CMOS有源像素型固態圖像傳感器，分辨率3840×2160，像元尺寸2.0μm（H）×2.0μm（V），幀率可達60幀/s。為提升夜晚識別率，選擇高分辨率紅外焦平面探測器。分辨率1024×768，像元尺寸14μm（H）×14μm（V），幀率可達30幀/s。3）核心處理模塊選型核心處理模塊是整個系統核心，采用Hi3519芯片，支持兩路sensor輸入，其中主通道最大分辨率支持到16M（4608x3456），第二路最大分辨率支持8M（4096x2160），主通路最大支持到12xLaneMIPI/LVDS/Sub-LVDS/HiSPi接口，第二路Sensor接口最大支持4xLaneMIPI/LVDS/Sub-LVDS/HiSPi接口。具備對多路采集信號實現視頻預處理、視頻匹配及融合、目標識別、視頻編碼發送等功能。核心處理模塊對紅外機芯和CMOS傳感器兩路鏡頭進行視頻采集，采集圖像首先進行ISP圖像預處理，采集圖像利用算法進行圖像匹配，并進行三維重建及融合。對融合圖像進行移動目標識別，融合圖像通過H.264編碼視頻壓縮，通過以太網方式發送至無人機，無人機可通過RS-422方式，對碼流進行控制。海思平臺集成OpenCL算法庫，支持深度學習卷積神經網，絡進行加速處理的硬件單元，支持常用算法的硬件加速單元，具備視頻采集和算法處理的雙重優勢。
2.2嵌入式軟件模塊設計
嵌入式軟件主要是對核心處理模塊進行編程，核心處理模塊設計搭載linux系統，安裝海思SDK，實現視頻采集、處理、編碼和傳輸。嵌入式軟件主要針對核心處理模塊編程，主要劃分3個層次。1）傳感層主要用于設備傳感器數據采集。通過設備多路傳感器的采集，實現圖像的預處理，為后續圖像融合和識別做準備。多個Sensor及鏡頭，相同型號也不可避免存在硬件精度差異，所以即使配置相同的ISP參數，也會導致相同物體在相鄰圖像中亮度、顏色上一定的差異。設計中利用ISP在STITCH模式下可綜合多sensor的統計信息，使亮度顏色差異較小，忽略AWB/CCM差異標定；若差異較大時，則進行AWB/CCM差異標定，使兩路圖像的顏色及亮度在相同場景下盡量保持一致。2）算法層算法層進行圖像預處理，圖像特征點提取，圖像匹配和三維重建及融合[4]。為了改善圖像質量對原始圖像進行的去噪、增強、校正等處理工作。紅外圖像與可見光圖像的成像波段不同，屬于異源圖像。本文基于特征的配準方法實現異源圖像融合，速度較快，準確率較高。在紅外與可見光圖像融合系統中，前端兩個傳感器的空間位置有差距，再加上傳感器前的光學系統參數不可能完全一樣，造成兩個傳感器采集的圖像在空間中有一定的錯位。在圖像融合前，必須對兩幀圖像進行圖像配準，使兩幀圖像的像素點一一對應，保證圖像融合的精度。為實現可見光和紅外雙路圖像的圖像匹配，首先進行卷積處理，再利用Canny邊緣特征檢測算法和Fast特征點檢測算法，實現特征信息提取；而后利用BRIEF特征點描述算法對提取特征點進行描述，根據描述內容對兩幅圖像的特征點進行匹配，去除誤匹配點，形成匹配圖像。經多尺度分解后產生的變換系數，將在融合規則的指導下完成系數融合，融合規則是確定系數之間如何取舍的指導方案，決定了融合圖像中包含原始圖像信息量的大小，對融合效果起重要作用；融合后的多尺度分解系數將通過逆變換生成重構圖像，完成整個融合過程[5]。3）視頻層視頻層完成采集圖像的H.264硬件編碼輸出，支持圖像的JPEG編碼抓拍，可完成圖像壓縮和存儲等操作。通過優化編碼，提升視頻的實際壓縮率，減少帶寬限制。4）應用層應用層主要涉及數據分析與處理。該部分用于根據用戶需求，完成特定功能。將處理或分析后的數據分類存儲或發送。應用層視頻通信流用以太網方式輸出，應用層解析RS-422協議數據，對壓縮比進行控制。當接收到RS-422協議，首先對協議進行解析，提取碼流設置值，將提取的設置值賦值碼流控制算法，算法根據設置值，計算編碼壓縮率，對實時融合視頻圖像進行編碼輸出。嵌入式設備移植Web端服務器，提供客戶訪問瀏覽，實現可見光圖像、紅外圖像和融合圖像的多窗口展示，支持視頻播放和停止，支持視頻錄像。
3實驗分析
將可見光波段與紅外波段圖像融合后的效果可通過將兩個波段的信息進行綜合，我們可觀察到更加豐富的圖像信息?？梢姽鈭D像中顯示的計算機屏幕畫面細節紋理，以及紅外圖像中清晰捕捉的前景影像，均完整地呈現于融合圖像當中，提高了圖像信息量的豐富性和完整性，融合圖像結合兩者的優點，提升了目標的偵察與識別?？梢姽鈭D像、紅外圖像和融合圖像的采集效果如圖3所示：
4結論
本文以紅外與可見光圖像融合過程為主線，介紹了兩種圖像的成像機理與圖像特點，利用海思平臺實現了應用于無人機的紅外和可見光融合技術，具有國產化程度高、功耗低等特點，便于夜間航行的目標偵測，提升了飛機目標偵察與識別的準確度。
參考文獻：
[1]馬雪亮，柳慧超.《基于多尺度分析的紅外與可見光圖像融合研究》，電子測試，2020年12月.
[2]任凌，王志強，李思洋.《有源功率因數校正技術綜述》，通信電源技術，2005年8月.
[3]沈英，黃春紅等.《紅外與可見光圖像融合技術的研究進展》，紅外與激光工程，2021年.
[4]蔣強衛.《基于卷積神經網絡的雙目視覺物體識別與定位研究》，哈爾濱工程大學，2018年.
[5]佟穎.《基于紅外與可見光雙波段圖像的立體視覺關鍵技術研究》，天津大學，2015年.
作者:李萌 褚孝鵬 單位:天津光電通信技術有限公司
