前言:中文期刊網精心挑選了神經網絡特征范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。
神經網絡特征范文1
關鍵詞:SOM神經網絡;負荷特性曲線;聚類分析
中圖分類號:TM7 文獻標識碼:A 文章編號:1007-0079(2014)33-0204-03
在國家提出建設堅強智能電網的背景下,提高電力營銷服務水平和智能用電技術已成為電網企業關注的焦點。電力營銷服務水平與智能用電技術的提升離不開在對電力用戶用電行為特征的準確、全面、及時地掌握,而從海量負荷數據中提取用戶日負荷特征曲線并進行深入分析成為研究用戶用電行為特征的一種有效方式。
從研究對象層面來看,以往相關研究側重專線用戶(負荷數據來源為SCADA系統)和專變用戶,并以傳統意義上的行業分類作為提取負荷特征曲線時聚類的依據。從研究方法層面來看,電力用戶日負荷特征曲線的提取多使用聚類算法,主要有統計方法、機器學習方法、人工神經網絡方法和面向數據庫的方法。人工神經網絡因具有大規模的并行協同處理能力、較強的容錯能力、聯想能力、學習能力和自適應能力,故能夠較好地適應海量數據背景下的數據挖掘。應用較多的典型的神經網絡模型包括BP網絡、Hopfield網絡、ART網絡和Kohonen網絡。[1-3]BP網絡屬于有監督學習的神經網絡,需要提供聚類對象類別數量的先驗知識,而公變用戶缺乏傳統意義上類似專變用戶的行業分類,故不適合采用BP網絡。Hopfield網絡、ART網絡和Kohonen網絡都屬于無監督學習的神經網絡,在解決聚類問題上有其各自的優缺點。
本文提出采用SOM神經網絡[4-6]聚類算法提取公變用戶日負荷特征曲線,用MATLAB軟件進行仿真,輸出可視化聚類結果,并對聚類結果進行分析,驗證了采用SOM神經網絡聚類算法提取出的公變用戶日負荷特征曲線能夠較好地顯示不同類型公變用戶用電行為特征上的差異,具備良好的聚類效果,同時為電網企業優化電力營銷服務提供參考和指導。
一、SOM神經網絡
SOM(Self-Organizing Map,自組織映射)神經網絡是較為廣泛應用于聚類的神經網絡。它是由Cohonen提出的一種無監督學習的競爭型神經網絡模型,通過不斷縮小獲勝神經元的鄰域來達到聚類的目的。主要功能是將輸入的高維空間數據映射到一個較低的維度,通常是一維或者二維輸出,同時保持數據原有的拓撲邏輯關系。
SOM神經網絡由輸入層和輸出層兩層組成,輸入層中的每一個神經元通過權與輸出層中的每一個神經元相連,如圖1所示。輸入層的神經元以一維的形式排列,輸入神經元的個數由輸入矢量中的分量個數決定,輸出層的神經元一般以一維或者二維的形式排列,計輸入層的神經元數量為m,輸出層神經元數量為c。輸入的樣本總數為n,第i個輸入樣本用矢量表示為,每個輸出神經元的輸出值記為,。與第j個輸出神經元相連的權用矢量表示為:。
Kohonen算法是無教師示教的聚類方法,它能將任意維輸入模式在輸入層映射成一維或二維離散圖形,并保持其拓撲結構不變,即在無教師示教的情況下,通過對輸入模式的自組織學習,在輸出層將聚類結果表示出來。此外,網絡通過對輸入模式的反復學習,可以使連接權矢量空間分布密度與輸入模式的概率分布趨于一致,即連接權矢量空間分布能反映輸入模式的統計特性。該算法往往在完成極高維數、超大量數據和高度非線性問題的聚類,模式表征和數據壓縮,分類等任務時是一個很有效、很簡便,且快速、穩健、泛化性好的算法。
Kohonen的學習算法如下:
(1)初始化:將整個輸入向量存儲在矩陣p中,對權值w進行初始化,權值向量的每一維的取值范圍同輸入向量每一維的取值范圍。
(2)選擇一個輸入向量,提供給網絡輸入層。
(3)按照下式計算輸出層每一個神經元 j 的權值與輸入向量之差:,其中,。
(4)按照“勝者為王”的原則,對每一個神經元j,以minDist中的最小值所對應的神經元 k作為勝者,對它和它的鄰域內的神經元的權值進行調整,假設當前處于學習的第l步,權值的修正按照下式進行:
其中,lr表示學習速率,br表示鄰域調整率;表示獲勝神經元的鄰域,即:。
(5)選擇另一個輸入向量,返回(3),直到所有的輸入向量全部提供給網絡。
(6)返回(2),直到達到最大訓練步數。
二、MATLAB仿真算例
1.MATLAB仿真實現
對于日負荷特征曲線的提取,負荷曲線的采樣點越多,曲線越精細,越容易進行分類,研究數據來自于電力用戶用電信息采集系統,從中提取公變用戶每15分鐘采集一次的有功功率構成其日負荷曲線,一天共96個采樣點。從某省電力用戶用電信息采集系統中隨機抽取1000臺公用變壓器,選取其2012年7月10日(工作日,該省全年負荷最高日)作為典型日進行日負荷特征曲線提取和分析。每臺公變日負荷曲線由96個有功采樣點組成。由于每臺公變額定容量大小不等,為了有效聚類,首先需要對負荷數據進行歸一化處理。
本文采用聚類SOM神經網絡,在MATLAB環境下,對這些數據進行聚類仿真。聚類SOM神經網絡的MATLAB實現步驟如下:(1)準備數據源。首先從原始數據庫讀取相關數據(輸入樣本總數70,每一個樣本有96個采集時點)作為輸入矢量,并將其以二維數組70×96形式輸入。(2)確定參數。輸入神經元個數為采集時點的個數96;輸出神經元以二維數組3×3形式呈現。(3)運用rand( )函數產生[0,1)之間的隨機數作為權值。(4)調用SOM創建函數newsom( ),創建自組織映射網絡net=newsom( )。(5)對迭代次數net.trainParam.epochs賦值2000;對net.trainParam.show賦值20,表示每20次顯示一下誤差變化情況。(6)運用網絡訓練函數train( )訓練上述初始化后的網絡net=train( )。(7)調用plot( )畫輸入點; plotsom( )作訓練后的權值點及其與相鄰權值點的連線。
2.仿真結果分析
經MATLAB仿真運行后得到聚類結果圖2所示:
圖2所示為SOM神經網絡聚類結果,將樣本公變用戶分為7個類別,為便于后文描述,不妨按照行優先的順序為各激活的優勝神經元標識聚類編號,依次分別為為:公變用戶第一類(包含13個樣本用戶)、公變用戶第二類(包含12個樣本用戶)、公變用戶第三類(包含5個樣本用戶)、公變用戶第四類(包含10個樣本用戶)、公變用戶第五類(包含10個樣本用戶)、公變用戶第六類(包含10個樣本用戶)、公變用戶第七類(包含10個樣本用戶)。
每個競爭層神經元與各輸入神經元之間的連接權構成的向量代表了該優勝神經元所標識類別的聚類中心即日負荷特征曲線,競爭層神經元鄰域權值距離如圖3所示,顏色越深表示領域神經元間的權值距離越遠,即鄰域神經元的聚類中心距離越遠、提取的日負荷特征曲線差異越大。
圖4所示為通過SOM神經網絡聚類算法提取的七大類公變用戶日負荷特征曲線。日負荷特征曲線較為明顯地反映了不同類型公變用戶在該典型日的用電行為。
第一類公變日負荷特征曲線呈現出明顯的午高峰和晚高峰特征,且晚高峰明顯高于午高峰。推測此類為城鎮居民生活的典型日負荷特征曲線,可能由于部分居民上班因素造成晚高峰高于午高峰;第二類公變日負荷特征曲線走勢同全網負荷基本一致,呈現出明顯午高峰和晚高峰,但午高峰一枝獨秀,可能該公變下的用戶類型較多,包括居民用戶和一般工商業用戶,由于各類用電特征比例與全網比例類似,形成具有全網負荷特征的曲線;第七類公變日負荷特征曲線與前六種主要集中在白天用電不同,主要在天黑時間段內(晚上7點左右至第二天早上6點)用電,推測這類用戶主要集中在市政工程類。
三、總結與展望
本文將SOM神經網絡聚類算法應用到電力用戶日負荷特征曲線提取的研究中,選取某省公變用戶作為分析樣本,通過MATLAB仿真計算將樣本公變用戶分為七個類別,以優勝神經元與輸入神經元之間連接權向量作為聚類中心即該類別用戶的日負荷特征曲線。根據提取出的日負荷特征曲線,結合電力用戶用電信息采集系統中的營銷檔案分析了不同類別公變用戶的用電特征與習慣。分析表明,采用SOM神經網絡聚類算法提取日負荷特征曲線具有良好的效果,提取出的日負荷特征曲線能夠較好反映該類型用戶的用電行為與特征,為電力企業了解用戶用電習慣、細分電力市場、調整定價策略和實施需求側管理提供了有益參考。
下一步研究將考慮采用電力用戶全年負荷數據進行聚類分析,驗證小樣本下的聚類結果、發現新的用戶類型;同時改進SOM神經網絡算法,使其適應海量數據下的負荷曲線聚類分析,并通過調整競爭層神經元個數與抑制權值使訓練結果更加穩定,得到更好的聚類效果。
參考文獻:
[1]馬玉梅,馬志超.基于人工神經網絡的手寫阿拉伯數字識別[J].中央民族大學學報(自然科學版),2007,(4).
[2]劉小波,李亞玲,趙景濤,等.基于KOHONEN神經網絡的電壓控制分區[J].浙江電力,2007,(3).
[3]莫禮平.基于Kohonen神經網絡的故障診斷方法[J].成都大學學報(自然科學版),2007,(1).
[4]李培強,李欣然,陳輝華,等.基于模糊聚類的電力負荷特性的分類與綜合[J].中國電機工程學報,2005,(24).
神經網絡特征范文2
關鍵詞關鍵詞:神經網絡;數字識別;特征提取
中圖分類號:TP312文獻標識碼:A 文章編號:16727800(2014)002005803
0引言
數字識別是模式識別領域的一個重要分支,在表單自動讀取、信息錄入等方面有著重要作用。圖像的像素特征反映了圖像的大量信息,穩定性好、易于實現。其矩特征具有平移、旋轉和縮放不變性,匹配性好[1]。
人工神經網絡是由大量簡單的基本元件——神經元相互連接,通過模擬人的大腦神經處理信息的方式,進行信息并行處理和分線性轉換的復雜網絡系統[2]。自1943年心理學家McCulloch和數學家Pitts提出神經元生物學模型以來,人工神經網絡經過不斷地發展成熟,至今已經廣泛地應用于各個領域。本文將圖像的像素特征和矩特征相結合,用于人工神經網絡分類器的訓練和測試,獲得了良好的識別效果。
1圖像特征提取
特征提取是根據測量數據確定出對分類有意義的數據作為特征數據,這些特征類內樣本距離應盡量小,類間樣本距離應盡量大[3]。特征提取算法應具有較高的穩定性和魯棒性,同時又便于提取,易于實現。在特征提取之前,需要對圖像進行預處理。首先,將圖像進行二值化處理,保證目標像素值為1,背景像素值為0;然后,將圖像歸一化為16*16像素大小。在完成圖像二值化和歸一化的基礎上,再對圖像的像素特征和Hu矩特征進行特征提取。
1.1像素特征提取
將16*16的二值圖像矩陣轉化為256維的0、1向量,得到圖像的256維像素特征。
將圖像水平分成四份,垂直分成兩份,分別統計這8個區域內白像素的個數,得到8維特征。水平和垂直各劃兩條線把水平和垂直分割成三分,統計這四條線穿過的白像素的個數,得到4維特征。字符圖像全部白像素數作為1維特征,得到圖像的13網格特征[4],數字1-9的13網格特征如表1所示。
本文設計的PNN神經網絡輸入向量為上文提取的276維特征向量,激活函數采用高斯函數,與BP神經網絡采用相同的測試集,識別率達到92.5%。與BP神經網絡相比,識別率有了大大提高,且省去了訓練時間。
3結語
BP神經網絡采用學習率可變的訓練算法,收斂速度最快,可有效節省時間。PNN神經網絡在創建網絡的過程中對網絡進行訓練,簡化了BP神經網絡復雜的學習過程,且與BP神經網絡相比具有更好的分類性能。在模式識別領域,PNN神經網絡有著巨大的優越性。當然,本文使用的276維特征存在一定程度的冗余,是制約分類器性能的一方面原因,在以后的研究中需要在這些方面作出改進。
參考文獻:
[1]李曉慧. 基于MATLAB的BP神經網絡的應用[J].科技信息,2010(26).
[2]徐遠芳,周旸,鄭華. 基于MATLAB的BP神經網絡實現研究[J].微型電腦應用,2006(08).
[3]Neural Network Toolbox[M].Mathworks,2007:113.
[4]TAN, KOK KIONG.Neural network control:theory and applications[M].Research Studies Press,2004.
[5]周明,孫樹棟.遺傳算法原理及應用[M].北京:國防工業出版社,1999.
[6]魏海坤.神經網絡結構設計的理論與方法[M].北京:國防工業出版社,2005.
[7]呂瓊帥.BP神經網絡的優化與研究[D].鄭州:鄭州大學,2011.
[8]高雋.人工神經網絡原理及仿真實例[M].北京:機械工業出版社,2003.
神經網絡特征范文3
關鍵詞:神經網絡;入侵檢測;模塊
中圖分類號:TP393 文獻標志碼:A 文章編號:1009-3044(2015)13-0171-02
網絡給我們帶來巨大機會和發展的同時也給我們帶來了惡意入侵的危險。就現在的整體情況來看,經常使用的網絡安全技術還局限于防火墻等一些靜態的安全保護方式,要是沒有積極主動的一些安全防護方式相配合,他的安全性能就是有殘缺的。開發一種主動防御、及時控制的技術就很有必要。入侵檢測技術恰恰就是這樣的一種技術。入侵檢測在國內有很多文獻進行研究,目前入侵檢測存在的最大問題是檢測中誤報率較高。所以我們要提高入侵檢測的智能型。神經網絡顧名思義模仿人的大腦,具有很好的并行計算,自適應計算,抗干擾和智能判斷的特征,可以準確處理失真信號。這些特征能優化現有的入侵檢測方法,是發展的必然趨勢。
1網絡攻擊的分類
從攻擊的技術手段方面看,網絡攻擊分為兩大類。第一類分析攻擊行為,并在數據包的載荷部分把其特征隱藏。有字符串結合而成的,服務于系統的一些常用命令,沒有被顯示出來。但是一旦點擊包含此字符串的對象,入侵行為就被激活。這種利用計算機本身系統結構特點和應用層協議的一些漏洞產生的攻擊稱為高層網絡攻擊。第二類攻擊稱為低層網絡攻擊。主要攻擊發生在網絡連接的時間和數據流量上,這類攻擊主要是針對TCP/IP協議棧中的基礎協議的漏洞進行攻擊。
2入侵檢測原型總體結構
圖1描述了原型的總體結構模型。對主要模塊的總體功能進行如下介紹。
1)數據捕獲模塊,捕獲在系統中運行的數據包,預處理模塊處理這些數據包。在實現時,將網絡接口設成混雜模式,方便數據流通,并同時監聽經過設備的數據[1]。
2)數據預處理模塊分析網絡上獲得的信息,對數據包根據協議類型一層一層解析。記錄和計算TCP連接信息,半開連接信息,保護網絡主機不同端口連接信息和半開連接信息,并對SYN報文和FIN報文的鏈表狀態和鏈表結點進行維護。IP協議處理函數中進行碎片信息的處理和記錄,目的是把基于碎片的拒絕服務攻擊提供給神經網絡模塊??偨Y信息并把信息轉化,進行歸一化處理,結合TCP數據報的標志位送入神經網絡檢測模塊,檢測攻擊的存在。最后把得到的特征用于ICMP協議的掃描或攻擊檢測。
3)數據預處理模塊把得到的特征傳給神經網絡檢測模塊,神經網絡檢測模塊負責計算輸出層的輸出結果,并根據結果判斷攻擊。神經網絡檢測模塊有三大模塊構成。能檢測網絡漏洞掃描和TCP協議中拒絕服務攻擊的TCP神經網絡檢測模塊;能通過檢測到拒絕服務攻擊和ICMP的IP神經網絡檢測模塊;基于ICMP的主機活性掃描和拒絕服務攻擊的檢測被神經網絡檢測模塊實現。
4)神經網絡訓練模塊對己知的網絡攻擊離線訓練,以矩陣形式將訓練好的神經網絡的各層連接權存入磁盤文件中,在系統開始運行時神經網絡檢測模塊讀入磁盤中的權值到神經網絡結構中。神經網絡訓練模塊也可分為TCP神經網絡訓練模塊、m神經網絡訓練模塊和ICMP神經網絡訓練模塊[1]。
5)響應報警模塊報告當前的被檢測數據對象是否存在攻擊的跡象,判斷依據是神經網絡的輸出。
3基于神經網絡入侵檢測原型詳細設計
詳細設計分為數據捕獲模塊、數據預處理模塊、神經網絡訓練模塊、神經網絡測試模塊、響應報警模塊五個模塊。
數據捕獲模塊。網絡數據的捕獲通過Libpcap編程接口實現。這種接口是網絡數據包的標準捕獲接口,它效率高、獨立性和移植性強。使用具有快速的網絡數據包過濾功能的BPF數據包捕獲機制。數據捕獲過程中通過Libpcap截獲網絡數據包。
數據預處理模塊。數據預處理模塊接收網絡數據包,這些數據包由數據捕獲模塊送過來。接收后先處理這些數據包,并將處理的結果轉化為向量送入神經網絡檢測模塊檢測。數據預處理模塊處理的數據包分別針對三種協議:IP、TCP、ICMP。IP協議的預處理主要提取針對基于m碎片的攻擊特征;TCP協議的預處理針對基于TCP協議網絡掃描并對拒絕服務攻擊特征提取。
神經網絡訓練模塊。采用雙隱層BP神經網絡作為神經網絡訓練模塊的網絡結構。離線狀態下運行神經網絡訓練模塊。網絡攻擊和正常網絡流通的一些知識,讓檢測模塊在對網絡攻擊事件進行檢查入侵之前學會。提供給神經網絡訓練模塊已知攻擊的輸入特征向量和與之對應的期望輸出向量由系統管理員負責。本原型輸入特征向量是預處理模塊得到的可描述攻擊行為的特征向量;期望輸出數據一般為一串二進制0、1串指示了是何種具體的攻擊。本原型對基于IP、ICMP、TCP協議的網絡掃描和拒絕服務攻擊進行檢測,相應定義了三種(IP、ICMP、TCP)神經網絡[2]。
神經網絡檢測模塊。神經網絡檢測模塊接受的特征向量是由預處理模塊送來,這些特征向量做為神經網絡的輸入向量,是由神經網絡的各層計算出結果,然后把結果在輸出層輸出。輸出結果可能顯示的是正常的數據流,可能指示某一種網絡攻擊,也可能是未知的結果即這個結果在神經網絡訓練時沒有定義。針對這種情況,對于前兩種情況,系統管理員應記錄下這時神經網絡的輸入向量和輸出向量,在神經網絡進行訓練時,加入這兩種情況。對于后一種情況,需要在進行分析。
響應報警模塊。響應報警模塊對接受神經網絡輸出向量,根據編碼的對應關系,判斷攻擊行為。發現對應的攻擊。就會有相應的消息打印在屏幕上,并會有指示這種攻擊的全局變量在系統中設置;若沒有找到對應攻擊,則不打印消息。理論上講訓練神經網絡時,對輸出向量的編碼是0、1串。但真正的輸出不會嚴格的是0、1串,所以約定,數值大于0.7的按1對待,小于0.3的按0對待。
改進后BP神經網絡的訓練
4神經網絡訓練流程
P代表樣本總數。
F代表不合格樣本數。
M代表正確率,設在1%-100%之間。
E為網絡訓練后要達到的精度,設為小數。
5神經網絡檢測
對參數和變量進行初始化;
從記事本文件中讀取檢測樣本、期望值、權值、閾值;
for(n=1;n
{放入矩陣第一行;
{for(n=1;n
根據閾值和權值的到線性輸出,放入矩陣第二行;
…
}
if(小于正確率) 不合格樣本數++;
}
輸出該組數據的檢測結果;
end
正確率輸出結果越接近l,表明可能受到攻擊。
6 結束語
本文調研了常見的網絡攻擊手段,探討了入侵檢測技術的研究方法、入侵檢測的發展方向。根據神經網絡的特點,將神經網絡與入侵檢測結合。設計了一個簡化的基于神經網絡的網絡入侵檢測原型。原型通過統計底層網絡協議的數據流量信息數據包協議頭的信息,將這些信息預處理后送入已訓練過的神經網絡模塊,以此判斷當前網絡數據流量存在的攻擊或掃描行為。此原型提出了具有更高檢測率并且能檢測變種攻擊的模塊設計。
參考文獻:
[1] 張文修,梁怡.基于包含度的不確定推理[M]. 北京:清華大學出版社,2007.
神經網絡特征范文4
關鍵詞:BP神經網絡、圖像分割、特征提取
Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.
Keywords: BP neural network, image segmentation, feature extraction
中圖分類號:TP183 文獻標識碼:A文章編號:
引言
BP人工神經網絡算法是現今應用較為廣泛的多層前向反饋式神經網絡算法,BP人工神經網絡有較好的容錯能力、魯棒性、并行協同處理能力和自適應能力,受到了國內外眾多領域學者的關注。由于神經網絡高效率的集體計算能力和較強的魯棒性,它在圖像分割方面的應用已經很廣泛,Jain和Karu采用了多通道濾波與前向神經網絡相結合的方法實現圖像紋理分割算法。神經網絡算法在特征提取階段,壓縮特征數量,以提高分類速度和精度。在圖像識別領域中神經網絡作為分類器的研究也得到了很大的進展,尤其是其學習能力和容錯性對于模式識別是非常有利的,在一定程度上提高了訓練速度和識別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識別,每一層神經網絡處理較低層次的特征,獲取該層特征信息并傳給上一層。
BP神經網絡的基本原理
人工神經網絡的研究起源于對生物神經系統的研究,它將若干處理單元(即神經元)通過一定的互連模型連結成一個網絡,這個網絡通過一定的機制可以模仿人的神經系統的動作過程,以達到識別分類的目的。人工神經網絡區別于其他識別方法的最大特點是它對待識別的對象不要求有太多的分析與了解,具有一定的智能化處理的特點。神經網絡的學習過程實際上就是不斷地調整權值和閾值的過程。根據有無訓練樣本的指導可以將神經網絡的學習方式分為兩種:監督學習方式和非監督學習方式,也稱為有導師指導學習方式和無導師指導學習方式。監督學習方式,是在給定固定的輸入輸出樣本集的情況下,由網絡根據一定的學習規則進行訓練學習,每一次學習完成后,通過對比實際的輸出和期望的輸出,以此決定網絡是否需要再學習,如果還沒有達到期望的誤差,則將實際誤差反饋到網絡,進行權值和閾值的調整,使實際的誤差隨著學習的反復進行而逐步減小,直至達到所要求的性能指標為止。非監督學習方式,是在沒有外界的指導下進行的學習方式,在學習過程中,調整網絡的權重不受外來教師的影響,但在網絡內部會對其性能進行自適應調節。
BP神經網絡分類器的設計
BP神經網絡是基于誤差反向傳播算法(Back Propagation Algorithm,BPA)的多層前向神經網絡,由輸入層、輸出層、一個或多個隱含層所組成。BP神經網絡結構確定之后,通過對輸出和輸入樣本集進行訓練,反復修正網絡的權值和閾值,達到學習訓練的期望誤差,以使網絡能夠實現給定的輸入輸出映射關系。BP人工神經網絡的學習過程分為兩個階段,第一階段是輸入己知的學習樣本數據,給定網絡的結構和初始連接權值和閾值,從輸入層逐層向后計算各神經元的輸出;第二階段是對權值和閾值進行修改,即根據網絡誤差從最后一層向前反饋計算各層權值和閾值的增減量,來逐層修正各層權值和閾值。以上正反兩個階段反復交替,直到網絡收斂。具體實現步驟如下:
(1) 網絡的初始化:首先對輸入的學習訓練樣本進行歸一化處理,對權值矩陣W和閾值向量賦初值,將網絡計數器和訓練次數計數器置為1,網絡誤差置為0。
(2) 輸入訓練樣本,計算輸入層,隱含層以及輸出層的實際輸出。
(3) 計算網絡輸出誤差。將實際的輸出和期望的輸出值進行對比,采用均方根誤差指標作為網絡的誤差性能函數。
(4) 若誤差還沒達到期望標準,則根據誤差信號,逐層調整權值矩陣和閾值向量。
(5) 若最終調整之后的網絡輸出達到了誤差范圍之內,則進行下一組訓練樣本繼續訓練網絡。
(6) 若全部的訓練樣本訓練完畢,并且達到了期望的誤差,則訓練結束,輸出最終的網絡聯接權值和閾值。
BP神經網絡可以逼近任意連續函數,具有很強的非線性映射能力,而且BP神經網絡中間層數、各層神經元數及網絡學習速率等參數均可以根據具體情況設定,靈活性較強,所以BP神經網絡在許多領域中廣泛應用。一般來說,神經網絡方法應同傳統的人工智能方法相聯系的。神經網絡本身結構及性能上的特點使其對問題的處理更富有彈性,更加穩健。神經網絡的基本特點是采用自下而上的設計思路,使其容易確定具體的目標分割或識別算法,在增加了不確定因素的同時也產生了網絡最優化的問題,這就是所謂的偽狀態(pseudo-trap)。盡管在實踐中并非所有的偽狀態對應完全失敗的結果,但是畢竟這不符合對之完美的或者說合理的期望。人工智能則一般采用自上而下的方法,偏重于邏輯推理建立系統模型。因此將神經網絡同人工智能結合起來,相當于賦予神經網絡高層指導的知識及邏輯推理的能力,具有潛在的優勢。
輸入層中間層 輸出層
圖1 BP人工神經網絡結構
BP神經網絡的訓練
4.1 BP神經網絡的設計
BP神經網絡的設計主要包括兩方面內容:一是神經網絡結構的確定,特別是隱含層層數及隱含層單元數目的確定;二是高精度收斂問題,隱含層和隱含層單元數過多,將導致訓練時間過長并出現過度擬和的問題,隱含層單元數過少又導致網絡收斂速度慢甚至不收斂,達不到誤差精度要求。在確定隱含層層數以及隱含層單元數目時,沒有一個嚴格的理論依據指導,需要根據特定的問題,結合經驗公式確定大致范圍來進行逐步試算比較得到。
4.2 數據預處理
為了加快網絡的訓練速度,通常在網絡訓練前進行神經網絡輸入和輸出數據預處理,即將每組數據都歸一化變為[-1,1]之間的數值的處理過程。
4.3 神經網絡的訓練
%當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
%當前網絡層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
%設置訓練參數
net.trainParam.show = 1000;%限時訓練迭代過程
net.trainParam.lr = 0.1; %學習率,缺省為0.01
net.trainParam.epochs = 100000; %最大訓練次數,缺省為100
net.trainParam.goal = 0.001; %訓練要求精度,缺省為0
[net,tr]=train(net,P,T);%調用 TRAINGDM 算法訓練 BP 網絡
A = sim(net,P) %對 BP 網絡進行仿真
E = T - A;%計算仿真誤差
MSE=mse(E)
結束語
BP網絡因為具有較強的學習性、自適應型和容錯性,在很多領域均已經大量運用。本文將BP人工神經網絡運用于圖像的識別,探索人工神經網絡在圖像識別領域中的重要的現實意義。研究表明,BP人工神經網絡應用于圖像識別在一定程度上提高了識別的效率和準確率。但是,BP神經網絡算法還存在以下幾點不足之處:(1)權的調整方法存在局限性,容易陷入局部最優;(2)網絡的結構需要提前指定或者在訓練過程中不斷的修正;(3)過分依賴學習樣本,由于學習樣本是有限的或者學習樣本質量不高,那么會導致訓練達不到效果;(4)對于規模較大的模式映射問題,存在收斂速度慢、容易陷入局部極小點、判斷不準確等缺陷??傊?,如何解決以上問題,如何進一步提高識別精度,擴大識別范圍,使之更具有更好的工程實用性,是有待進一步研究的內容。
參考文獻:
[1] WE Blanz,S L Gish.A Connectionist Classifier Architecture Applied to Image Segmentation.Proc.10th ICPR,1990,272-277.
[2] Y Le Cun,L D Jackel,B Boser,J S Denker,H P Graf,I Guyon,D Henderson,R E Howard,and W Hubbard,Handwriten Digit Recognition:Applications of Neural Network Chips and Automatic Learning,IEEE Comm.Magazine.Nov.1989.
[3] A K Jain and K Karu,Automatic Filter Design for Texture Discrimination,Proc.12th Int’l Conf.NeuralNetworks,Orlando,Oct.1994,454-458.
[4] 邊肇其,張學工.模式識別(第二版)[M].清華大學出版社,北京.1999,12.
[5] 陳書海,傅錄祥.實用數字圖像處理[M].科學出版社,北京.2005.
[6] 萬來毅,陳建勛.基于BP神經網絡的圖像識別研究[J].武漢科技大學學報(自然科學版).2006,6.
[7] 叢爽.面向MATLAB工具箱的神經網絡理論與應用(第2版)[M].北京:中國科學技術出版社,2003.
[8] 王娟,慈林林等.特征方法綜述[J].計算機工程與科學.2005.27(12).68-71.
[9] 賈花萍.基于神經網絡的特征選擇與提取方法研究[J].網絡安全.2008,7.33-35.
[10] 龔聲榮,劉純平等編著.數字圖像處理與分析[M].清華大學出版社,北京.2006.7.
神經網絡特征范文5
關鍵詞: 圖像檢索; 特征提??; 神經網絡; 機器學習; 相關反饋
中圖分類號: TN711?34; TM417 文獻標識碼: A 文章編號: 1004?373X(2016)21?0078?05
Design and development of image retrieval platform based on artificial neural network
ZHANG Weihua, GAO Ang
(Department of Information Engineering, Zhengzhou Chenggong University of Finance and Economics, Gongyi 451200, China)
Abstract: Since the difference exists between the high?level abstract semantics and underlying feature of the user?description image, the retrieval system based on the image content feature can′t accurately accomplish the user′s retriecal task. To solve the above problem, an image matching calculation method based on neural network is proposed. The correct mapping from image low?level feature to image classification is formed by means of sample automatic learning and user feedback learning. The neural network after learning can classify and retrieve the image automatically. This method is combined with the image low?layer feature description and user high?level semantics feedback to effectively recover the semantic gap. The whole process of neural network learning and image retrieval was realized by integrating the Web front end, image extraction module, neural network module and database module.
Keywords: image retrieval; feature extraction; neural network; machine learning; relevance feedback
在利用神經網絡進行圖像檢索的過程中,圖像的大小、精度及細節越來越豐富,信息含量相應的也越來愈多,當使用大量的信息進行神經網絡的構建和訓練時,所需的時間和成本都大大增加,并且神經網絡的檢索效率也會降低,這就使得其滿足不了用戶準確搜索圖像的需求[1]。同時,隨著神經網絡技術的發展,可以利用各種改進技術提高神經網絡的學習效率和預測準確率,使得利用神經網絡來模擬人腦對圖像的分類和檢索可以得到更好的效果。
1 圖像特征的提取
系統使用圖像分割方法對圖像的形狀特征進行描述,提取圖像中各個部分的形狀特征。
1.1 形狀特征的提取
使用K?均值聚類分割算法進行圖像的分割。將圖像分割后,由于每個簇中的像素在視覺特征上具有很強的相似性,因此對每一區域的特征進行簡單的描述,提取相應的圖像特征然后保存結果,并將其作為圖像檢索系統的區域特征庫。系統針對不同的圖像特征選取不同的方法進行描述:
(1) 區域顏色特征,提取該區域中像素點在Lab顏色空間中的均值來描述。
(2) 區域位置特征,提取該區域中像素點在二維空間中的坐標的平均值來描述。
(3) 區域紋理特征,提取該區域中像素的平均對比度及平均各向異性來描述。
(4) 區域形狀特征,提取該區域的封閉輪廓,并將其分解為可由若干橢圓重構的由橢圓參數組成的序列,然后通過傅里葉描述符來描述該封閉曲線[2]。
1.2 顏色特征的提取
由于顏色直方圖的限制,選擇顏色相關圖進行圖像顏色的提取。圖像的顏色相關圖就是由所有顏色對進行索引的表,在表中[(i, j)]的第[m]個條目表示找到與顏色為[i]的一個像素點距離為[m]的顏色為[j]的一個像素點的幾率。在計算顏色相關圖時需采用一些并行計算,這樣可以提高計算效率。
1.3 紋理特征的提取
通過對比基于Tamura紋理特征算法的檢索程序、基于灰度?梯度共生矩陣算法的檢索程序和基于Gabor小波變換算法,基于Tamura紋理特征提取算法的檢索程序的查詢準確率要比后兩者都高,且其查詢使用的時間也要少很多,因此系統選擇采用Tamura紋理特征提取算法。
2 BP神經網絡模型的搭建
2.1 BP神經網絡特點
選擇BP神經網絡作為圖像的神經網絡分類器,其將[n]維圖像底層視覺特征映射為圖像的分類。通過實驗對BP神經網絡進行一些改進和優化,使其能有效地完成圖像檢索的任務。典型樣本集的選擇、學習復雜性、網絡結構的選擇、輸入特征向量的選擇、預測能力的極限都是需要在搭建BP神經網絡時需要考慮的問題[3]。
2.2 BP神經網絡的原理及拓撲結構
基于BP神經網絡相關原理的學習與分析,確定了系統中BP神經網絡的結構和構建過程:首先定義輸入層、隱含層和輸出層的神經元數目分別為[n,l]和[m,]則[(x1,x2,…,xn)]為網絡的輸入矢量,[(h1,h2,…,hl)]為隱含層神經元的輸出矢量,[(y1,y2,…,ym)]為網絡的實際輸出矢量,同時定義[(d1,d2,…,dm)]為訓練樣本所對應的預期輸出矢量。然后定義輸出層神經元[i]與隱含層神經元[j]的連接權值為[Vij,]隱含層神經元[j]與輸出層神經元[k]的連接權值為[Wjk,]隱含層神經元[j]的閾值為[b,]輸出層神經元[k]的閾值為[c。]由于傳遞函數需要表示具有線性特性的輸入信號與輸出信號的聯系,又根據BP神經網絡要求傳遞函數必須連續可導,因此其一般使用在(0,1)之間連續并可導的Sigmoid函數作為傳遞函數,該函數公式為:
[f(x)=11-e-x] (1)
實際輸出矢量與預期輸出矢量的誤差計算公式為:
[E=12j=1m(dk-yk)2] (2)
隱含層神經元輸出矢量的計算公式為:
[hj=fj=1N-1Vijxi+?j] (3)
輸出層神經元輸出矢量的計算公式為:
[yk=fj=0L-1Wjkhj+θk] (4)
BP神經網絡通過反向傳播算法調整權值,其權值修正公式為:
[Wij(n+1)=Wij(n)+ηδjx′i] (5)
在式(5)中,[Wij(n)]表示第[n]次學習后的神經元[i]與神經元[j]之間的連接權值,信號輸出的神經元為[i,]信號輸入的神經元為[j,][Xi]為神經元[i]的實際輸出,[η]為網絡的學習速率,[δj]為神經元[j]的學習誤差。
系統中BP神經網絡的構建流程如下:
(1) 初始化網絡的連接權值和閾值,其值為均勻分布的隨機數。
(2) 對網絡使用一組樣例數據進行訓練。
(3) 網絡搭建完成,將輸入矢量輸入網絡可仿真輸出符合預期的輸出矢量[4]。
2.3 BP神經網絡的學習過程
通過對相關反饋算法的學習,提出了一種基于BP神經網絡進行學習的圖像檢索方法,它包含兩種學習過程:
(1) 自動樣例學習,首先通過包含高層語義標注的樣例圖像的學習構建圖像高層語義的分類器,其中對于圖像的每種語義分別構造一個分類器,輸入樣例圖像后使系統提取圖像的底層特征作為神經網絡的輸入,然后經過一定時間的學習可以得到網絡的解,使分類器能夠初步完成分類任務;
(2) 用戶交互學習,首先通過用戶的指導,將初步檢索結果進行分類,然后系統將用戶的反饋整理為學習樣本,同樣使用自動樣例學習過程進行學習,最后得出網絡最新的解,使分類器能更精確地完成分類任務。系統中BP神經網絡的學習流程如圖1所示。
2.4 BP算法的改進
使用附加動量法可以使網絡在修正連接權值時,不只考慮誤差在其梯度上的變化趨勢,還考慮誤差在其曲面上的變化趨勢。在沒有附加動量的情況中,網絡在訓練過程中有可能陷入局部極小狀態,通過使用附加動量則可以在一定程度上繞過這些極小值,避免進入極小狀態[5]。附加動量法在反向傳播過程中,在每一個神經元的連接權值及閾值的當次訓練的變化量上附加一個正比于上次訓練后的連接權值及閾值的變化量的項,根據新的變化量計算出新的連接權值及閾值。添加了附加動量因子的連接權值和閾值的變化量計算公式分別為:
[Δwij(k+1)=(1-mc)ηδjpj+mcΔwij(k)] (6)
[Δbj(k+1)=(1-mc)ηδj+mcΔbij(k)] (7)
式中:[k]表示第[k]次訓練;[mc]表示動量因子,[mc]的取值一般在0.95附近。
在結合附加動量法的網絡訓練過程中,需要根據不同條件判斷何時使用動量因子來修正權值,其判斷條件為:
[mc=0,E(k)>E(k-1)×1.040.95,E(k)
式中[E(k)]為第[k]步的誤差平方和。
自適應學習速率的調整公式為:
[η(k+1)=1.05η(k),E(k+1)E(k)×1.04η(k),etc] (9)
式中[E(k)]為第[k]步的誤差平方和。
動量法可以幫助BP算法正確找到全局最優解,自適應學習速率法可以幫助BP算法縮短訓練時間,通過這兩種方法的使用,可以有效地提高神經網絡的學習效果。
2.5 實驗結果分析
實驗目的為確定系統中BP神經網絡分類器的隱含層神經元數目。首先根據研究獲得的圖像特征向量的元素個數構建神經網絡分類器的學習樣例,此處每個樣例的輸入向量的元素個數為165個,因此構建16組含有165個元素的輸入向量,4個一組劃分為一種類別,最終形成含有4種類別的16組訓練樣本,以此方法再生成該4種類別的4組測試樣本。然后根據經驗公式獲得合適隱含層神經元數目的取值范圍,此處為9~17個。最后將訓練樣本及測試樣本先后輸入隱含層神經元數目不同的網絡中進行訓練和測試,記錄數據。
表1記錄了隱含層神經元數目及對應的訓練誤差和測試誤差的數據,由其數據可以看出,隨著隱含層神經元數目的增加訓練誤差總體上逐漸減小,當個數超過15后訓練誤差出現一定程度的波動,出現小幅的增加,雖然不影響網絡的學習效果,但是過多的神經元個數會增加學習時間,而此時測試誤差還是處于降低的趨勢。綜合分析實驗結果,本系統確定采用較合適的15個隱含層神經元。
3 檢索系統的設計與實現
3.1 系統結構分析
3.1.1 系統結構
系統的結構如圖2所示,圖中除了與用戶交互的Web前端,其余的圖像特征提取模塊、神經網絡模塊及數據庫都在服務器端,這種瀏覽器?服務器結構平臺搭建后,用戶可以通過不同客戶端的Web瀏覽器進行圖像檢索的功能,而不必安裝本地應用程序,同時將主要的核心功能集中到服務器上,不僅大大簡化了系統的開發和維護流程,降低了成本,還增強了系統的擴展性。
3.1.2 系統流程
系統針對不同的功能需求設計了相應的不同流程,這些流程包括系統樣例學習流程、用戶反饋學習流程、用戶查詢流程。
如圖3所示,在系統的樣例學習過程中,系統接收到樣例數據后會先對數據進行分析,然后交給神經網絡進行學習,最終生成對應類別的分類器,這些分類器會在用戶檢索時對數據庫中的圖像進行分類,查找到符合用戶需求的圖像[6]。樣例學習的流程是本系統學習分類知識的關鍵步驟,在該步驟中用戶并不參與系統的學習過程,整個學習過程均為系統自動進行,因此需提供大量被正確標注的清晰圖像樣例,通過對這些優質樣例的學習,系統會自動生成針對圖像各種分類所對應的分類器,且經過長時間的學習,這些分類器的準確率會不斷上升,最終使查詢結果更符合用戶需求。
如圖4所示,在系統的用戶查詢流程中,用戶的查詢條件為圖像特征的語義描述,系統最終返回為包含該描述特征的圖像集,這個過程利用神經網絡分類器學習的高層描述語義與低層圖像特征之間的映射,因此隨著神經網絡學習時間的增大,這種映射也就越精確,系統完成的查詢也就越符合用戶要求。
3.1.3 圖像特征提取模塊
如圖5所示,當圖像輸入到圖像特征提取模塊中時,圖像會進行K?均值聚類分割算法處理、顏色相關圖算法處理及Tamura紋理特征算法處理,這三個處理過程并行進行。
經過K?均值聚類分割算法處理,圖像被分割為若干塊區域,每個區域中的像素都具有相似的屬性,對于每個區域,會提取其簡單的區域特征,如顏色特征、位置特征、紋理特征及形狀特征等;經過顏色相關圖算法處理,生成當前圖像的顏色自相關圖;經過Tamura紋理特征算法處理,計算出圖像的粗糙度、對比度、方向度、線性度等數值。將經過三個算法處理后得到的數值整理后得到圖像的特征向量[7]。
3.1.4 神經網絡模塊
系統中的圖像神經網絡分類器由三層組成,分別為輸入層、隱含層及輸出層,其中輸入層的神經元個數與歸一化后的圖像特征向量的個數相同,為固定值;隱含層的神經元個數通過前文中的實驗得出,適合于本系統中神經網絡的要求;輸出層只有一個神經元進行分類,設定1為屬于該分類的學習期望,設定0為不屬于該分類的學習期望,但是實際運行時需要設定1為0.9,0為0.1,這是因為Sigmoid函數無法經過有限的連接權值計算得到1與0的值[8]。
3.1.5 Web 平臺模塊
系統的Web界面包括用戶查詢輸入框、用戶圖像上傳框、查詢結果瀏覽框等。
3.2 實驗結果分析
為了檢驗圖像檢索平臺的性能,首先將系統設置為學習模式,然后從圖像庫中選取1 000幅已進行人工標注的樣例集輸入系統,最后當系統發出已訓練完畢信號后,對系統已學習的分類當作查詢輸入系統進行檢索,記錄系統檢索結果。
檢索結果可知經過人工指導學習,系統可以仿真模擬更符合人類視覺感知的分類方式,并將其記憶于相應的神經網絡分類器中,經過不斷的學習,系統可以返回更準確的符合用戶需求的檢索結果。
4 結 論
本文主要研究包括基于內容的圖像檢索技術及人工神經網絡技術兩個方面。首先使用K?均值聚類分割算法、顏色相關圖算法及Tamura紋理特征提取算法提取圖像相應的形狀、顏色及紋理特征,通過整合形成可以完整描述圖像信息的特征向量。同時,針對基于內容的圖像檢索系統中用戶高層語義與圖像底層特征之間存在的問題,通過樣例自動學習和用戶反饋學習兩種學習方式,BP神經網絡通過反向傳播學習算法調節網絡權值,從而形成圖像底層特征到圖像分類的正確映射,學習后的神經網絡通過這種映射可以進行圖像的自動分類及檢索,該方法結合了圖像的底層特征描述及用戶的高層語義反饋,有效地彌補了語義鴻溝。
參考文獻
[1] KHERFI M L, ZIOU D. Relevance feedback for CBIR: a new approach based on probabilistic feature weighting with positive and negative examples [J]. IEEE transactions on image processing, 2006, 15(4): 1017?1030.
[2] TRAINA A J M, MARQUES J. Fighting the semantic gap on CBIR systems through new relevance feedback techniques [C]// Proceedings of 2011 the 21th IEEE International Symposium on Computer?Based Medical Systems. [S.l.]: IEEE, 2006: 881?886.
[3] 周資云.基于內容的圖像檢索系統研發與應用[J].華章,2012(29):22.
[4] 劉麗,匡綱要.圖像紋理特征提取方法綜述[J].中國圖象圖形學報,2013,14(4):622?635.
[5] KANUNGO T, MOUNT D M, NETANYAHU N S, et al. An efficient k?means clustering algorithm: analysis and implementation [J]. IEEE transactions on pattern analysis and machine intelligence, 2002, 24(7): 881?892.
[6] WILLIAMS A, YOON P. Content?based image retrieval using joint correlograms [J]. Multimedia tools and applications, 2007, 34(2): 239?248.
神經網絡特征范文6
關鍵詞:人工神經網絡;故障診斷;水泵
中圖分類號:TU
文獻標識碼:A
文章編號:1672-3198(2010)04-0295-02
1 人工神經網絡理論應用于水泵故障診斷研究的理論意義
采用人工神經網絡(ANN)技術解決機械故障診斷問題的主要著眼點在于:
(1)ANN的大規模分布式并行處理能力,適于解決復雜的診斷問題。
(2)ANN具有較強的非線性處理能力,適宜于解決故障診斷中復雜的非線性模式識別問題。
(3)ANN具有任意復雜映射的強有力的逼近能力,適宜于解決故障領域中的預測與控制問題。
水泵工作故障往往表現為工作平穩性惡化、振動加劇以及噪聲增大,這往往又是衡量機器制造質量和工作性能的重要指標。本文以某型號離心泵為對象,通過測取故障振動信號來進行故障診斷。
水泵轉子由于制造誤差、裝配不當或在不適當的條件(載荷、等)下使用,常會發生以下故障:①轉子不平衡;②不對中;③油膜渦動。而這些故障將會使軸承的旋轉精度降低,產生振動、噪聲,增加軸承旋轉的阻力,最終將使軸承受到阻滯或卡死,造成整個工業系統的失效。振動中不平衡、不對中以及油膜渦動占整個故障發生率的80%。因此對上述故障進行診斷具有非常重要的意義。
神經網絡之所以適合于故障診斷,是因為神經網絡具有以下優越性:自組織和自學習能力可以根據對象的正常歷史數據訓練神經網絡,然后將此信息與當前測量數據進行比較,以確定故障;聯想記憶神經網絡具有濾出噪聲及在有噪聲情況下得出正確結論的能力,可以訓練神經網絡來識別故障信息,使其能在噪聲環境中有效地工作,這種濾除噪聲的能力使得神經網絡適合在線故障檢測和診斷;非線性映射能力神經網絡對于高維空間模式識別和非線性模式識別問題的分類精度高,具有分辨故障原因及類型的能力,這為實現故障診斷奠定了基礎。因此,神經網絡理論在故障診斷領域顯示出了極大的應用潛力。本文將新興的神經網絡理論應用于水泵的故障診斷和狀態檢測,以某型號水泵的實測數據為例,對神經網絡模型進行訓練分析,取得了令人滿意的結果,具有實際應用價值。
2 人工神經網絡應用于水泵故障診斷技術的實現
2.1 樣本數據的獲取
實驗采用便攜式Dasylab測試系統進行測試,在現場對三種故障進行模擬,將數據信號存儲在磁盤中,得到水泵三種故障:(1)轉子不平衡;(2)轉子不對中; (3)油膜渦動的時域曲線和頻域曲線。對各個故障的頻域曲線,提取了五個不同頻率的幅值作為描述水泵故障的特征值,并把這組特征值作為輸入量。
2.2 特征提取
要從樣本中提取對診斷故障貢獻大的有用信息,這一工作就是特征提取。特征提取就是利用已有特征參數構造一個較低維數的特征空間,將原始特征中蘊含的有用信息映射到少數幾個特征上,忽略多余的不相干的信息,從數學意義上講,就是對一個n維向量X=[x1.x2,…,xn]T進行降維變換成低維向量Y=[y1,y2,…,yn]T,m
由于水泵設備總是運行在噪聲、電磁干擾等環境中,在振動信號分析與處理方法中,常用快速傅立葉(FFT)變換對振動信號進行頻譜分析。
2.3 樣本數據的預處理
原始樣本數據不宜直接作為神經網絡輸入,那會使網絡連接權值相差極大,使網絡輸出性能變得不穩定。因此在輸入網絡前通常需要將數據進行預處理。為了一開始就使各變量的重要性處于同等地位,神經網絡學習和測試時要對提取的數據進行歸一化處理,即:令
x′i=xi-xminxmax-xmin(1.1)
xi――不同頻率下的幅值
xmin――最小幅值xmin=min(xi)
xmax――最大幅值xmax=max(xi)
這樣,網絡所有輸入都在[0, 1]內。
2.4 水泵故障診斷神經網絡模型結構
由于故障機理(故障征兆和故障原因之間的關系)往往隱含于故障實例之中,通過一些故障實例(稱為故障樣本)對神經網絡進行訓練學習,可以建立起系統的故障診斷模型,而故障診斷的推理規則隱含于神經網絡的網絡拓撲結構和網絡權值之中。
多層前饋神經網絡的輸入和輸出之間的關系,可以看成是一種映射關系,這種映射是一個高度非線性映射,如果輸入節點數為L,輸出節點數為N,網絡是從L維歐氏空間到N維歐氏空間的映射。三層神經就已經能夠逼近任意函數了,因此,水泵故障診斷神經網絡采用三層結構即輸入層、輸出層和隱含(中間層)。通過有監督的訓練方法訓練網絡權值。
(1)輸入層設計。
特征參數組成特征向量,特征向量作為網絡輸入。所以,特征參數選取的正確與否直接影響到網絡的性能。
通常,選取的方法應該通過理論分析、專家經驗、試驗找出對水泵性能影響較大,同時對各種故障都有較明顯反應的變量作為特征參數,然后將這些特征參數組成特征向量,經過數據的預處理,作為BP網絡的輸入。第二章通過水泵故障機理的分析可以發現5個參數在故障情況下變動明顯。因此,本文選取以上5個參數作為BP網絡的輸入參數。
輸入層中神經元節點的個數對應著上述狀態特征描述參數矢量或數組。通過對水泵故障的分析,提取了頻域曲線中五個不同頻率的幅值作為描述水泵故障的特征值,并把這組特征值作為輸入量,所以水泵故障診斷神經網絡的輸入單元為5個。
(2)輸出層設計。
網絡輸出向量,通常是具體問題的目標結果。本文的目的是判斷某一狀態下處于何種故障,輸出層中神經元節點的個數對應于神經網絡要識別的故障模式矢量或矩陣。本故障診斷神經網絡需要對不平衡、不對中和油膜渦動三種故障進行識別。因此水泵故障診斷神經網絡的輸出為3個單元。
如以上所述,BP神經網絡的輸入神經元有5個,輸出神經元有3個。隱層神經元數目是由訓練樣本數目決定的。
(3)中間層設計。
中間層數及其神經元節點的個數與輸入的技術特征參數的復雜程度及所需識別的故障模式種類有關。當輸入模式和輸出模式相當不同時,就需要增加中間層,形成輸入信號的中間轉換。處理信號的能力隨層數的增加而增加,如果有足夠的中間層單元,輸入模式也總能轉換為適當的輸出模式。一般來說,還沒有任何理論根據采用兩層以上的中間層。對大多數的實際問題來說,一層中間層即三層網絡己經足夠了。根據經驗,采用兩層以上的中間層幾乎沒有任何益處。采用越多的中間層,訓練時間就會急劇增加,這是因為中間層越多,誤差向后傳播的過程計算就越復雜,使訓練時間急劇增加。另外中間層增加后,局部最小誤差也會增加,網絡在訓練過程中,往往容易陷入局部最小誤差而無法擺脫,網絡的權重難以調整到最小誤差處。
根據試驗的需要和具體的分析,本研究所建立的網絡為一層中間層,確定中間層以后的一個重要問題是選擇適當的中間層處理單元??梢哉f,選用中間層單元數往往是網絡成敗的關鍵,因為中間層處理單元數選用太小,則網絡所能獲取的用以解決問題的信息太少,難以處理復雜的問題;但若中間層處理單元數過多,不僅使網絡的訓練時間急劇增加,難以在人們所能接受的時間內完成訓練,更重要的是過多的中間層處理單元還可能出現所謂“過度吻合”問題。也就是說,如果網絡具有過多的信息處理能力,甚至把訓練集中一些無關緊要的非本質的東西,也學的惟妙惟肖時,則網絡就難以分辨數據中真正的模式。
一般來說,中間層單元數可根據下式確定,
n1=n+m+α
式中n1――中間層單元數 m――輸出層單元數 n――輸入層單元數
α――1-10之間的整數
本文中,m取3,n取5,根據上面公式中間層單元數n1取5。從而該水泵故障診斷神經網絡結構如圖所示。
圖1
2.5 神經網絡關鍵程序實現
(1)創建網絡。
使用newff()函數創建網絡,網絡參數設置如下:
隱藏層神經元設置為5,輸出層神經元個數為3,根據神經網絡的要求和所要達到的網絡輸出目的,選擇輸入層到隱藏層間的傳遞函數為tansig,即S型的正切函數,隱藏層到輸出層間的傳遞函數為logsig型函數,即為S型的對數函數。
使用訓練函數trainlm來訓練網絡。
(2)設置訓練次數。
將訓練次數設置為1000次。
(3)設置學習效率。
學習速率決定每一次循環訓練中所產生的權值變化量,用η表示。η較大時,權值的變化量就較大,學習速率比較快,但有時會導致振蕩。η較小時,學習速率慢,然而學習過程平穩。這樣,在實際的學習過程中,可以將η值取為一個與學習過程有關的變量,并且在學習剛開始時η值相對大,然后隨著學習的深入,η值逐漸減小。在一些簡單的問題中,η可取為一個常數,滿足0
(4)網絡訓練。
使用學習樣本和目標向量訓練網絡,P和T分別設為訓練樣本向量和目標向量。
(5)診斷測試。
利用待診斷數據樣本P_test,使用sim()函數實現測試。
3 結束語
本文采用Dasylab測試軟件采集故障信號,以信號頻譜中各階倍頻和分頻作為智能診斷的特征因子,提取故障樣本,進行BP網絡的訓練。利用MATLAB建立了水泵故障診斷神經網絡學習和診斷程序,實現了基于人工神經網絡理論的某型號水泵故障診斷模型。結果表明,本神經網絡故障診斷模型不僅克服了傳統診斷方法的弊端,而且大大提高了水泵故障診斷的準確率和診斷效率。
參考文獻
[1]廖伯瑜.機械故障診斷基礎[M].北京:冶金工業出版社,2003:1-36.
[2]田景文.工神經網絡算法研究及應用[M].北京:北京理工大學出版社,2006:70-90.
[3]韓力群.人工神經網絡教程[M].北京:北京郵電大學出版社,2006:50-85.