基于視覺導航基準線的農業機械論文

前言:尋找寫作靈感?中文期刊網用心挑選的基于視覺導航基準線的農業機械論文,希望能為您的閱讀和創作帶來靈感,歡迎大家閱讀并分享。

基于視覺導航基準線的農業機械論文

1國內研究近況

目前基于視覺導航路徑檢測算法較多,大多基于直線模型采用直線擬合方法,通常包括圖像預處理、獲取導航特征點及擬合基準線3個主要環節。采用曲線模型的檢測算法存在計算量大、模型復雜且適應性差等問題,且研究報道較少。

1.1圖像預處理技術

通常農作物圖像的預處理步驟包括灰度化、二值化、濾波及形態學運算等。具體如下:①灰度化。通常農作物與背景相比具有較高的G值,因此采用提高綠色權重的方法(如2G-R-B)進行圖像的灰度化,減少后續圖像處理的數據量。②二值化。目前較多采用最大類間方差法(Ostu算法)實現閾值的自適應選取。Ostu算法通用性好,不需要對像素進行訓練學習,適用于不同特點、不同質量的圖像。③濾波及形態學運算。應用函數窗進行中值濾波去除點狀噪聲,用面積屬性法將余下的小面積噪聲設置成背景,或用相應的結構元素進行腐蝕、膨脹運算加以修正。此外,預處理環節中還包括如下一些常用的方法。于國英等采用固定閾值分割法,用歸一化的超綠特征2g-r-b并選取0.11做固定閾值分割,取得較好效果。司永勝等采用剖線圖法,用G-R作為特征因子,若滿足G-R>0即判該像素為作物,否則判為背景,并對小麥、大豆、玉米進行二值化實驗對比,分割3幅圖像分別用時9、9、10ms;而采用2G-R-B和OSTU法分割分別用時22、23、20ms,圖像分割耗時大幅減少。剖線圖法在常用分割算法中最為簡單快速,但與固定閾值法類似都缺少對環境的適應性。安秋等針對前景與背景差異較小的灰度圖,采用增強的Otsu法分割圖像,即選擇簡單的線性拉伸變換進行對比度增強處理,然后再用Otsu算法分割取得較好效果。馮娟等對灰度化圖像采用二維Otsu算法獲取最優分割閾值,實現樹干區域的提取。該算法既利用圖像像元點間的灰度分布信息,又考慮了像元點之間的空間相關信息,分割效果優于一維Otsu算法;但算法運算量明顯加大,實際應用較少。蔡晉輝等針對復雜環境下圖像存在大面積反光時采用固定閾值法、最優迭代法等全局性閾值效果差的缺陷,提出分區自適應閾值分割方法:將灰度圖均分為若干子區域,計算全局灰度均值M與各子區域灰度均值MeanIn[m],確定各子區域的分割閾值—BinVal[m]=MeanIn[m]+Mt(t為全局亮度調整因子,體現整體亮度對閾值的影響),對各子區域分別二值化。另一類常用的方法是將圖像從RGB空間轉換到HIS、HSV、Lab等空間,實現色度與亮度的分離,以弱化光照對圖像的的影響。孫元義等針對棉田圖像復雜背景,在圖像灰度化時對近200幅動態棉田圖像用2G-R-B、2H、Lab中a色度分量分別灰度化并比較,結果Lab中的a分量灰度化效果最好。王新忠等在溫室壟間視覺導航路徑檢測中,將圖像由RGB空間轉換到HSI空間,提取亮度分量I后采用Otsu算法二值化,并依據人工處理效果合理設置閾值修正量δ,較好實現壟間加熱管的分割識別。該類方法的不足在于模型轉換涉及較多的非線性運算,程序耗時不容忽視。在模式識別方法中,張紅霞等在灰度化圖像的基礎上采用K-means聚類方法實現苗列和背景的分割。高國琴等提取色調分量H,采用K-means算法實現溫室移動機器人導航路徑的識別。K-Means算法的優勢在于能夠實現動態聚類,具有自適應性,不受噪聲和局部邊緣變化的影響,但也存在計算量大及易受聚類個數與初始中心影響的缺點。蔣海波等直接在RGB顏色空間用顏色聚類方法進行圖像分割,類別為路徑和非路徑,通過Euler公式計算圖中某點RGB分量到2個顏色聚類中心距離d1和d2;如果滿足d1<d2,像素點被判為路徑,否則為非路徑,但其缺點在于須先離線分析出兩個聚類點的全局RGB空間坐標。趙博等針對影響路徑識別較大的壟間雜草環境,提出神經網絡分類法。網絡的輸入與輸出是像素的灰度值,輸入層的9個神經元分別代表3×3窗口內的像素灰度值,輸出層的一個神經元代表窗口內像素點的分類號,剔除雜草后用普通環境下的視覺導航方法進一步識別。神經網絡分類法的問題在于其泛化能力,即對于非樣本輸入也要能正確地映射,因此需要足夠大的訓練樣本,但農業環境的復雜性制約了神經網絡樣本集的完整選取。

1.2導航特征點的提取

為準確擬合導航基準線,需要提取最能代表作物行走向的離散特征點,原則上既可以選擇農作物與非農作物間的分界線,也可直接將作物行本身作為導航特征。常用的邊緣檢測方法是對原始圖像按像素的某鄰域構造邊緣檢測算子,如用梯度算子(Roberts、So-bel、Prewitt和Kirsch算子等)和Laplace算子分別對圖像進行一階和二階的運算,在圖像處理應用中比較成熟。近年來還出現如基于小波的邊緣檢測、基于形態學的邊緣檢測、基于模糊梯度的邊緣檢測、基于分形理論的邊緣檢測等多種新型算法;但缺點是計算復雜,影響實時性。針對農作物行圖像而言,一般中間位置線較左、右邊緣線更為整齊,因此作為定位基準線更具有代表意義。張衛等提出中間線檢測準定位基準線,即依據預處理后的目標像素具有一定寬度的特點,逐行掃描目標區域,找出每行左、右端點并求其中點作為導航路徑特征點,用于后續的中心線擬和。該方法在實時性場合獲得較多應用,但其準確性依賴于之前的預處理結果。國外H.T.SΦgaard較早闡述垂直投影法,國內袁佐云最先應用垂直投影法進行作物行定位,即將得到過綠特征圖像劃分為若干水平條,并進行垂直投影,求取投影曲線上突出峰點的位置;用穩健回歸法對位置點進行線性擬合得到作物的行中心線,在大豆作物行定位上獲得驗證。其算法原理簡明,應用廣泛,并且提取的特征點數可隨圖像條高度的變化而改變。姜國權等、籍穎等、曹倩等在此基礎上進一步采用基于垂直投影的窗口移動法提取更多的導航特征點。

1.3直線擬合

上述導航特征點是圍繞某條直線的離散定位點,在使用直線路徑模型的情況下,用直線擬合方法得到真正的導航基準線及其參數。常用直線檢測方法有最小二乘法、標準Hough變換及改進的Hough變換等。吳佳藝等在林間導航路徑生成算法研究中,針對高大作物場景,掃描圖像獲得視野兩邊的樹干與地面的交界點,計算出交點中心的一系列離散點簇,通過最小二乘法生成導航直線。但最小二乘法的缺點是抵抗噪聲能力差,易受所謂“野值”的影響,當圖像中噪聲點較多或目標點趨于分散時,最小二乘法擬合誤差較大。最直接的改進方法是根據數據點與擬合直線之間的誤差分布,將誤差過大的數據點剔除。例如,在數據點服從正態分布的前提下,可將與擬合直線之間誤差超過2倍或3倍分布標準差的數據點去除;但實際的強噪聲環境會顯著提高整個數據集的分布標準差,易使噪聲點被誤認為正常點而無法剔除。齊保謙等提取每行植被像素的中點為特征點,用最小二乘法擬合一次,保留距離直線小于20個像素的特征點,然后二次擬合提取最終的導航基準線。1962年,Paul.Hough以專利的形式首先提出檢測圖像直線的Hough變換法,至今獲得廣泛應用。對于穴播類作物,導航特征表現為比干擾面積大得多的團塊。為此,饒洪輝等對二值化圖像采用8連通區域標記后據其面積屬性去除噪聲,再經一次標記后找出各標記作物的重心點坐標,最后通過標準Hough變換法檢測作物行中心線。對于行播類作物及具有壟溝的連續導航特征,先進行預處理并提取導航區域邊界,求出左右邊界的中值點后直接用Hough變換檢測導航特征。孫元義等、趙瑞嬌等都采用標準Hough變換獲得相應導航路徑。對于溫室壟間輪廓線的識別,李娟娟等運用Susan算子法對灰度圖像二值化,采用標準Hough變換檢測出兩側人工導熱管線,最終提取其中間線。標準Hough變換作為一種全局檢測算法具有很大的盲目性從而降低了算法的效率,因此各種改進算法層出不窮,主要集中在減少其計算的空間、時間開銷。趙穎等根據已耕作、未耕作和非農田區域的不同顏色特征,判斷出田端和犁溝線的位置以及方向候補點群,使用基于一點的改進Hough變換計算出犁溝線的斜率。該算法將逐點向參數空間投票的窮舉式運算轉化為所有點向一個已知點的投票,僅對已知點進行累加分析,大幅提高處理速度;但該方法的關鍵在于已知點的選取,若選取不當,會直接造成導航線提取失敗。Xu等提出了隨機Hough變換(RHT),其基本思想是隨機選取兩點可唯一確定參數空間的一點,只對多到一映射所得參數分配單元并累積。吳剛等在收獲機器人行走目標直線檢測中,應用隨機Hough變換完成直線檢測。陳嬌等針對在像素空間多壟線識別出現的漏檢、跨壟檢與重復檢的問題,首先計算出各導航定位點世界坐標,然后結合壟線平行特征,應用隨機Hough變換實現多壟線的識別與定位。與傳統Hough變換相比,RHT雖然具有存儲空間小、速度快等優點,但其全局采樣仍會引入一定的盲目性,并且算法自身存在收斂性問題,往往需要附加其它條件加以約束。周俊等針對常規方法因忽視成像透視效應造成圖像平面中各像素點權重不同使得直線擬合精度受限的不足,提出一種新的Hough變換方法:把圖像平面中的直線路徑識別過程轉化為機器人位姿空間的累加,將識別過程和位姿求取自然融合在一起,后續結合卡爾曼濾波預測提取作物邊界的導航參數,解決視覺計算導致的測量狀態值滯后問題。

1.4實時性措施

1)感興趣區域(ROI)的構建。

為了提高圖像處理速度,減少計算量,提取最能表現導航特征的關鍵區域作為興趣區域,并以一定尺寸的窗口限定其搜索范圍。馮娟等在果園視覺導航研究中,采用水平投影法提取主干區域,逐行掃描預處理后的圖像求得投影曲線S(i),根據投影曲線的變化特點確定出ROI窗口的上、下界線,窗口寬度取原圖像寬度,然后在ROI區域內提取樹干與地面的交點作為特征點。

2)動態窗口與圖像抽點簡化技術。

由于Hough變換算法受直線間斷的影響小,并不要求像素之間的連通性,因此可只對一定間隔的像素進行Hough變換。楊為民等采用基于Hough變換和動態窗口技術提取自然環境下的導航特征,為了進一步提高實時性,在采用動態窗口跟蹤減少圖像處理工作量的同時還采取了圖像抽點簡化技術,使每幀圖像的處理時間控制在80~100ms以內,以滿足導航的實時性要求。

3)帶角度限制的Hough變換。

由于實際導航過程中圖像具有連續性,導航特征在短時間內不發生突變。楊慶華等針對在同一片作業場景實時跟蹤過程中的導航線偏角變化小,提出限定區域的Hough峰值檢測,實現圖像的批量處理。同樣,蔡晉輝在自動導引車路徑識別算法研究中,根據相鄰幀中的引導線傾斜角接近,指出可由前幀中引導線的傾斜角度α確定當前幀中引導線傾斜角的可能范圍,Hough變換時只對[αmin,αmax]間的角度范圍加以搜索,以提高實時性。

1.5其它檢測方法

于國英等在農業車輛視覺導航參數提取的研究中,在二值圖像邊界提取的基礎上,利用Radon變換直接獲得直線參數ρ和θ作為車輛的導航參數。與Hough變換相比,Radon變換計算量大,實時性差,且對檢測目標的形狀要求比較高,因此應用較少。姜國權等針對Hough變換計算量大、參數空間難以量化的不足,提出基于隨機方法的作物行提取算法,即從定位點中隨機選取2點決定一條候選直線,再根據閾值規則進一步判斷候選直線的真實性,并驗證其速度優于Hough變換和隨機Hough變換,但算法存在判斷過程復雜且人為閾值設置過多的問題。丁幼春等提出基于旋轉投影法的路徑識別算法,即通過角度枚舉對圖像ROI實施旋轉投影變換,由旋轉后的圖像的列均值與枚舉角度構成旋轉矩陣R,對其行向量實施差分運算,得到差分旋轉投影矩陣Rd,由Rd的極值可確定出導航路徑。張志斌等針對Hough變換原理提取田間壟線存在的問題,根據壟線點空間關系,運用Fisher準則函數進行反壓縮處理,得出了多壟識別統一模型;但算法復雜度過高,難以滿足實時應用。李克儉等提出一種基于多次腐蝕的算法,即通過對分割后的圖像進行多次腐蝕,每次相應提取一段,然后將各段導航線連接起來作為農用AGV的曲線導航線。蔣海波等在導航目標曲線檢測算法研究中,應用最小二乘曲線擬合算法,采用5階多項式對路徑中心點擬合,提取出導航參數并投影至世界坐標系。但采用曲線模型的檢測算法存在模型復雜和計算量的問題,而且對于復雜路徑很難找到滿足多種情況的曲線模型。

2國外研究近況

2003年,Francisco等嘗試將立體視覺應用于自動導航的研究,在3D重構圖中使用正弦模板與作物行的高度數據匹配,檢測作物行位置。2005年、2008年Kise等持續研究了雙目立體視覺的方法,在農田拖拉機視覺導航上嘗試建立3D作物行模型,對于農田環境較理想情況下取得較好效果。但是,立體視覺算法普遍計算較為復雜,實時性成問題,且要求兩個攝像頭的同步性,國內相關研究不多。2003年,SΦgaard等提出了一種不用圖像分割的作物行識別算法。首先為減少計算量,該算法先將圖像縮小至1/9大小基礎上用2G-R-B灰度化,然后將灰度圖分割成15個水平條,估計出的灰度重心作為特征點,最后用加權最小二乘法提取作物行。實驗中用圖像中預先設置的白繩索圖像作對照,與檢測出來的壟基準線線進行對比,但灰度重心點計算復雜度較高,并且實驗中未給出實時性指標。2004年,SHan等對玉米和大豆圖像,用單色相機拍攝,在圖片上、下半區中規劃興趣區域,并建立4個跟蹤窗口并用K-means聚類算法來進行分割,采用矩算法來提取導航基準線,最后用先驗行間距信息通過價值函數判斷其結果是否接受或重新計算,將圖像上半興趣區的結果用于導航、下半興趣區的結果用于驗證算法的可靠性。但文獻中并未提及如何獲取興趣區域、跟蹤窗口的具體措施。2005年,Strand等提出了一種魯棒的基于Hough變換的作物行識別方法:首先,在車身側面的灰度相機上安裝近紅外濾片獲取高對比度圖像,運用形態學運算并固定閾值分割獲取二值圖像;然后,根據透視變換幾何模型,根據像素坐標滿足的線性方程關系,對參數航向角α和橫向偏差s進行Hough變換確定導航基準線。Hough變換檢測中,用近鄰的多直線矩形框取代一條直線,以適應不同寬度的作物行。2006年,Leemans等對比了條播機的視覺導航的兩種方法。在對圖像進行預處理獲得二值圖像后,針對條播機留下的犁溝線的跟蹤檢測,采用結合遞歸濾波的改進Hough變換,并采用meanshift算法獲取Hough空間參數;針對多作物行的檢測中,提出了基于先驗行間距知識與消隱點的算法,但都計算復雜且需先驗知識。2008年,TijmenBakker等在溫室甜菜作物行的視覺導航研究中,先通過像機標定把圖像矯正到世界坐標系,并將彩色圖像灰度化,然后根據先驗作物行寬度知識將含3條作物行的灰度圖從左到右分成3塊并疊加而后二值化,最后采用Hough變換得到作物行的直線作為導航線。2012年,Romeo等也提出了一種玉米作物行識別算法。包括兩部分:首先是基于模糊聚類的綠色像素分割方法,出于實時性考慮采用基于離線訓練的方式事先獲取的顏色閾值;然后基于先驗知識與成像幾何約束檢測出作物行,在試驗階段針對多次減半采樣圖像。結果表明該方法的有效性與實時性均優于Hough變換;但算法先驗知識中的假設條件過強,且與其他文獻對比實時性一般。2011年,Xavier等為區分作物行與雜草,設計了一種包括并行執行的魯棒作物行檢測算法(RCRD)與快速圖像處理算法(FIP)兩部分的新算法。預處理階段采用經遺傳算法優化出的RGB顏色系數進行灰度化,再取其灰度均值進行閾值分割;在RCRD中,每次將連續存儲的8幀二值化圖片進行“與”操作,保留出最有可能代表作物行的像素,然后進行形態學去噪并生成的作物行圖像;在FIP中,將圖像分割成25個水平條,并采用投影法計算出可能的作物行位置,然后應用當前RCRD生成的作物行圖像作匹配,并將其余部位的像素作為雜草丟棄。實驗階段對比自動識別與人工識別的效果,并在通常環境、錯誤播種、大塊雜草及相機抖動4種環境下進行驗證。2012年,Montalvo等針對高雜草環境及相機振動,設計了一種的魯棒的作物行檢測方法:首次,OSTU分割獲取綠色像素,接著二次OSTU分割將作物與雜草像素區分開;然后,將二次分割后的圖像與事先構建的已知作物行結構模板進行“與”操作,提取出參與作物行檢測的像素并剔除野值點;最后,利用最小二乘法提取出代表作物行走向的直線。2013年,Guerrero等在此基礎上,設計了作物行檢測的專家系統。第1步是進行綠色像素分割,將RGB空間圖像轉換成GA灰度圖像并采用OSTU方法分割獲取植被像素;第2步是基于已知的作物行結構,將期望直線與真實作物行匹配,與并采用Theil–Sen估計器來修正結果。但方法需要事先構建已知作物行結構的模板,先驗條件強。

3研究方向探討

3.1建立合理的算法評價系統

已有研究結果表明,該領域研究主要存在的問題是算法的實時性與魯棒性、準確性之間的矛盾,這需要根據具體作業情況進行合理的折衷。雖然目前圖像處理技術發展迅速,各步驟中的精確算法較多,但大多時間及空間復雜度較高,有些只適用于實驗室分析的非實時環境。由于農業機械的實時性要求,限制其在視覺導航中的實際應用。僅以直線擬合方法中的改進Hough變換為例,已有若干精確的魯棒回歸方法,如結合Hough變換與最小二乘法的直線檢測、基于多分辨率的Hough變換、基于PCA參數約束的Hough變換、基于梯度方向信息的隨機Hough變換、基于距離約束的隨機Hough變換等,這些方法大多針對高維與大數據集的復雜圖像,有些還需要引入重采樣技術,因此其計算復雜度上的優勢在導航直線類的低維數據集上不能夠得到體現。視覺導航不僅要能準確地提取導航信息,而且要滿足實時性要求。楊為民在其研究中得出若圖像處理的時間過長,則導航精度和穩定性都會變差。另一方面,由于農田非結構化場景復雜多樣、成像條件不可控等原因,不可避免地帶來的算法魯棒性問題。有些研究利用先驗知識事先進行算法閾值設置或構建作物行模版形成特定條件下的有效算法,這些手段雖然有助于算法實現及實時性提高,但當對象或環境發生變化時,將導致算法的魯棒性變差。相比較而言,國內研究比較重視算法的實時性比較,而國外研究則側重于算法的可靠性與穩定性考慮,各種算法之間有時難有優劣之分。因此,建立一套科學合理的評價模型與評價系統,針對具體應用尋求最優方法的是今后的研究方向之一。

3.2基于動態過程的導航特征識別

已有相關研究成果較多集中在單一圖像的靜態處理方面。在動態連續的導航過程中,可根據導航特征的短時間內連續性特點進一步深入開展研究,關鍵是提取出穩定可靠的農田導航特征,并結合預測控制等手段提升整體導航性能。此外,高速或地面不平整等因素不可避免會引起圖像采集時的運動模糊,導航特征的實時識別難度將加大。圖像的運動模糊是由于成像時采集設備與目標發生相對運動而產生,可靠的動態導航也需要考慮到運動模糊圖像的惡劣狀況。針對運動模糊圖像的導航特征實時提取,也是今后需要考慮的研究方向。

3.3復雜環境下的多作物行檢測

目前,視覺導航研究中的單一行走直線檢測的研究成果較多,研究目標無論是提取單一作物行還是兩作物行間的中心線,研究對象無論是低矮作物還是高大樹木,均有多種算法積累。相比之下,多作物行檢測的研究成果較少。由于存在作物行數未知及像素間的互相干擾等問題,加之高密度雜草、變光照、復雜背景等干擾因素的影響,會加大檢測識別難度,因此研究更具挑戰性。已有相關研究或僅考慮近景成像,或忽略雜草影響,或復雜度過高,都存在改進與提高的余地。此外,復雜狀況下仍依靠單一顏色特征識別會存在一定局限,可探索融合顏色、形狀、模版或多光譜等多種手段,應用多分辨率及數據融合理論等現代數學工具,挖掘尋找簡明適用的圖像特征表達。

4結束語

視覺導航技術的應用是農業機械現代化的重要發展方向,應用前景非常廣闊。近年來,雖然國內外學者在此相關領域取得不少研究成果,受限于環境條件的復雜性,尚不存在一種通用的解決算法。成熟可靠的視覺導航算法必須同時兼具實時性、魯棒性、準確性。借鑒多學科交叉融合的思想,充分消化吸收相關領域的現有研究成果,追蹤國內外最新研究動態,積極探索出更為先進理論和方法是當前與今后的任務。

作者:劉陽 高國琴 單位:江蘇大學電氣信息工程學院 南通職業大學電子信息學院

亚洲精品一二三区-久久