前言：中文期刊網精心挑選了梯度下降法的基本原理范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
梯度下降法的基本原理范文1
關鍵詞：設備診斷；短時傅立葉變換；小波變換；Hilbert變換；盲源分離
1 設備狀態監測與故障診斷的信號處理技術綜述
傅立葉變換是信號變換分析的基本方法，由于其本身的局限性， 為滿足信號與系統分析的實際需要，演變出了多種變換形式，并在工程實際中得到了廣泛的應用，主要有： 短時傅立葉變換、小波變換、希爾伯特—黃變換、信號盲源分析等。
1.1 短時傅立葉變換的基本原理
短時傅立葉變換即加窗傅立葉變換，將傳統的傅立葉變換的時域（或空域）至頻域的映射分析用加窗的方式結合起來， 對局部的時間段（或空間間隔）進行頻域分析。加窗傅立葉變換的思想就是在傅立葉變換的基函數e-jwt前乘上一個有限的時限函數g（t）， g（t）和e-jwt分別有時限和頻限的作用：
加窗傅立葉變換部分地解決了短時信號的分析問題， 對彌補傅立葉變換的不足起了一定的作用。
1.2 小波變換的基本原理
小波變換法由20世紀80年代法國科學家Morlet和Grossman在繼承短時傅立葉變換的基礎上， 應用到分析地震信號時提出的， 定義如下：
小波變換繼承了加窗傅立葉變換的思想， 它的窗口大小不變， 但是窗口形狀可以改變， 是一種時間窗和頻率窗都可以改變的時頻分析方法，即在低頻部分具有較高的頻率分辨率和較低的時間分辨率， 在高頻部分具有較高的時間分辨率和較低的頻率分辨率， 因此在時頻域都具有很強的表征信號局部特征的能力.
1.3 希爾伯特—黃變換的基本原理
希爾伯特一黃變換是1998年由NASA的NordenEHuang等人提出，它完全獨立于傅立葉變換，能夠進行非線性、非平穩信號的線性化和平穩化處理，被認為是近年來對以傅立葉變換為基礎的線性和穩態譜分析的一個重大突破。HHT方法包含兩個主要步驟：l）對原始數據先通過經驗模態分解方法EMD，把數據分解為滿足希爾伯特變換要求的n階本征模式函數（IMF）和殘余函數r（t）之和；2）對分解出的每一階IMF做希爾伯特變換，得出各自的瞬時頻率，做出時頻圖。
對任一信號s（t），首先確定所有的極值點，然后將所有極大值點和所有極小值點分別用一條包絡線連接起來，使兩條曲線間包含所有的信號數據。把上下包絡線的平均值記作m，s（t）與m的差記作h，則：s（t）-m= h，將h視為新的s（t），重復上述操作，直到當h滿足一定的條件（如m變化足夠小）時，記：c1= h，將c1視為一個IMF，再作：s（t）-c1= r，將r視為新的s（t），重復以上過程，依次得到第二個IMFc2，第三個IMFc3…。當r滿足給定的終止條件（如分解出的IMF或殘余函數r足夠小或r成為單調函數）時，篩選過程終止，得分解式：，其
中，r代表信號的平均趨勢。對每個IMF分別作希爾伯特變換后得：
稱其展開式為希爾伯特譜。
1.4 盲源分離的基本原理
盲源分離是從20世紀90年代迅速發展起來的信號處理技術。盲源分離問題一般可以表述為： 在傳輸信道特性未知的情況下， 從一個傳感器陣列或轉換器的輸出信號中分離或估計出源信號。
盲源分離的基本思路是尋求一個分離矩陣w，觀測信號經過w變換后得到輸出矢量， 即：，如果能夠實現（I為單位陣）則，從而實現了恢復源信號的目標。盡管現在有許多有效的 BSS 算法， 但這些算法的本質都是首先應用信息理論、統計理論和矩陣理論的相關知識建立一個以分離矩陣W為變元的目標函數（ 代價函數）J（W）， 如互信息量最小化、信息傳輸準則的熵最大化等， 如果某個W使得 J（W）達到最大或最小值， 該W即為所求的解W。其次尋找一種有效的優化算法求解， 如一般的梯度下降法、隨機梯度法、自然梯度法、Newton 法以及遺傳算法等。
2 基于信號處理的設備故障診斷技術在工程中的應用
設備故障診斷不斷吸取現代科學技術發展的新成果， 基于信號分析處理的設備故障診斷技術從理論到實際應用都有了迅速的發展。隨著信息技術的進一步推廣與深入，人們對故障機理、故障信號處理技術、故障診斷的智能化與遠程化、故障診斷裝置的研究進入了一個全新的發展階段。例如：短時傅立葉變換在大型水輪發電機組振動分析中的應用，小波變換在信號消噪及信號奇異點檢測處理中的應用，希爾伯特黃變換在真空泵故障診斷中的應用，盲源分離在齒輪箱故障診斷中的應用等。
參考文獻
[1]朱家富，傅立葉變換在工程應用中的演變，2009（2）。
[2]曲麗榮，短時傅立葉變換在數字信號處理中的應用，2007
[3]王 靜， 毋茂盛， 孫玉強.小波變換及其應用，2002（5）
梯度下降法的基本原理范文2
關鍵詞：小波神經元網絡；隸屬度；短期負荷預測；電力系統
ABSTRACT：Wavelet neural network (WNN) possesses more degree of freedom and better adaptivity than multi-layer FP neural network. To better reflect the influence of climate factors on load and improve the precision of load forecasting， the Morlet wavelet is chosen to establish a wavelet neuron network， the back propagate algorithm is adopted to train the WNN network， a new method of analyzing clustering by self-study membership is used to train the samples. The load data and climatic data of Wuhan power network in recent years are applied in modeling and load forecasting. The forecasting results show that the established WNN model possesses better convergence and the forecasting precision can be improved by choosing training samples with analyzing clustering by self-study membership.
KEY WORDS：Wavelet neural network；Membership；Short-term load forecasting；Power system
1 引言
短期負荷預測是負荷預測的重要組成部分，是電力系統運行調度中的重要內容。國內外已提出了多種短期負荷預測方法，如多元回歸、ARMA模型、人工神經元網絡方法等?？蓺w類為：①利用負荷的自身發展規律，如ARMA模型[1]等；②負荷發展規律與氣象因素相結合，如ANN(Artificial Neural Network)方法[2]；③其他方法，如小波分解法[3-5]、模糊聚類法[6]及混沌算法[7]。
人工神經網絡以其強大的多元性映射能力能夠準確捕捉并學習負荷值與天氣之間的非線性關系，使考慮氣象因素的電力系統短期負荷預測成為可能。近年來它一直受到密切關注，且已成為解決電力負荷預測問題的有效計算工具。小波在分析非固定信號和構造非線性函數模型方面具有卓越性能，因此結合了小波基函數的小波神經元網絡(WNN)比一般神經網絡具有更多的優越性。
為更好地反映氣象因素對負荷的影響及提高負荷預測的精度，本文構建了一種小波神經元網絡負荷預測模型，以Morlet小波取代Sigmoid函數，采用誤差反傳學習算法來訓練網絡，采用自學習隸屬度分析聚類方法來選擇訓練樣本。
2 小波及小波變換
基本小波或母小波定義為滿足相容性條件(如式(1)所示)的平方可積函數φ(t)∈L2(R)(L2(R)為二尺度空間)
式中 a、b為實數，且a≠0，稱φab(t)為由母小波 (t)生成的依賴于參數a、b 的連續小波，也稱為小波基。設反映負荷變化規律趨勢的函數為f(t)∈L2(R)，定義其小波變換wf(a，b)為
3 小波神經元網絡
3.1 基本原理
小波神經元網絡是基于小波分析的具有神經元網絡思想的模型，即采用非線性小波基取代常用的非線性Sigmoid函數，通過線性疊加所選取的非線性小波基來擬合負荷歷史數據序列。負荷曲線y(t)可采用小波基φab(t)進行如下擬合：
式中
為負荷曲線y(t)的預測值序列； Wk、bk、ak分別為第k個權重系數和第k個小波基的平移因子與伸縮因子；n為小波基個數。
在小波神經元網絡中，小波神經元負責對輸入信號進行預處理，再將其傳遞到多層感知器。采用神經元網絡學習算法訓練網絡，在迭代過程中調整網絡的各個參數和小波系數，使輸出誤差最小化。
3.2 網絡結構
圖1為4層小波神經元網絡，圖中輸入層有I個神經元，xi為其第i個輸入量；小波變換層有J個神經元， 、vj分別為其第j個輸入量和輸出量
隱層有K個神經元，yk為其第k個輸出量；輸出層有1個神經元，輸出結果為Om，代表預測日第m個預測點的負荷值
式中 Ψs，t，j為小波變換函數； Wij、Wjk和Wk分別為輸入層與小波層、小波層與隱層、隱層與輸出層之間的連接權值。
考慮到Morlet小波的簡明表達方式，選擇Morlet小波作為網絡隱含層的變換基函數
式中 xz =(x-tj)/sj ，sj 為小波神經元j的放縮系數，tj 為小波神經元j的平移系數。
神經元學習算法用于修正sj和tj以及網絡輸出線性組合的權值Wij、 Wjk和Wk，通過最小化誤差能量函數優化這些網絡參數。簡化式(7)、(8)，取g(x)=x，小波神經元網絡的輸出Om可表示為
式中 D為訓練樣本數目； 為第d個樣本的第m個期望輸出值。
轉貼于 3.3 小波神經元網絡的誤差反傳學習算法
為使誤差Em最小，采用梯度下降法學習函數作為小波神經元網絡的學習法則。該學習過程與普通神經元網絡的算法相同。根據式(5)-(7)和式(8)，可得到Em的負梯度值，由此推出與該WNN每個參數有關的局部誤差函數。如由局部誤差函數值構造出梯度矢量，該WNN參數即可用梯度下降法更新確定。對于式(11)的Em，對于第d個樣
由于小波基函數對放縮系數和平移系數特別敏感，因此小波基節點數應足夠大，以確保神經元網絡的穩定性。此外，本文模型的網絡參數初值選取如表1所示。
4 小波神經元網絡預測模型的建立
4.1 采用改進隸屬度分析聚類法選擇訓練樣本
為避免氣象突變、日期、星期類型的不同導致負荷模式的不同，從而顯著增加神經元網絡的訓練時間并影響預測精度，需從歷史數據中選取與預測日的特征量最為接近的歷史日的數據作為訓練樣本，聚類分析是選擇樣本的有效手段。
在短期負荷預測的數據聚類中主要考慮的聚類特征指標有：最高溫度、最低溫度、平均溫度、風力、可見度、濕度、天氣類型、舒適度指數以及日期、星期等。這些因素對負荷變化的影響程度不同，其中最高溫度、最低溫度的變化對負荷變化的影響最大，且各因素的取值范圍與正常變化范圍也不同。本文采用自學習加權隸屬度函數來進行模糊聚類分析。
假設有K個負荷日，特征量的個數為M，第k個負荷日的第j個特征量表示為ykj，將其作如下歸一化處理
各特征量的隸屬度函數表達式為
式中 μkj為第k個負荷日的第j個特征變量的隸屬度值；gj為預測日(即聚類中心)的第j個特征變量；
設置閾值λ來確定訓練樣本，λ越大符合選擇條件的訓練樣本數越少。采用監督式學習來決定權值wj。定義目標函數為
式中 nL為學習的樣本數目；yi＝Li/L0；L1為歷史日i的負荷總量；L0為目標日的負荷總量；ti為歷史日i與目標日的相似度值，即隸屬度值。采用梯度下降法來調整權值使式(22)達到最小值。
4.2 WNN的構建與訓練
本文構建的WNN網絡有55個輸入神經元(如表2所示)，112個小波層神經元，30個隱含層神經元，1個輸出神經元。
需指出的是，隱含層神經元最適宜的數目取決于誤差檢驗，WNN網絡通過未參加訓練的某一階段的歷史數據來檢驗誤差。訓練中取近60天的歷史數據運用上述基于隸屬度分析的聚類方法來選取小波神經元網絡的訓練樣本(10個)和檢驗樣本(5個)。通過誤差檢驗來確定隱含層神經元的數目。
5 算例
基于本文的模型原理和建模步驟，采用C++語言編寫出小波神經元網絡負荷預測程序。利用湖北省武漢市1999年5月-12月的歷史氣象和負荷數據進行預測：①WNN網絡與BP網絡的性能比較(10個樣本批量訓練，單點輸出條件下)見表3；②采用本文模型對武漢市電網負荷進行預測，將其預測結果與使用普通BP神經元網絡的結果進行比較。表4為采用小波神經元網絡方法對1999年5月21日-1999年5月27日的負荷進行預測的平均相對誤差與普通BP網絡的比較，結果表明本文預測算法穩定實用，能夠改善預測精度。
6 結論
本文探討了小波神經元網絡用于解決短期負荷預測的能力。研究表明恰當地選擇訓練樣本和合理地選擇網絡結構是影響WNN網絡預測精度的主要因素。小波神經元網絡具有比BP網絡更快的收斂速度，改進隸屬度聚類方法的應用可改善負荷大波動日的預測精度。
[1] 施泉生(Shi Quansheng)．短期負荷預報模型庫的研究及應用(A study and apply on model system of short-term load forecasting)[J]．系統工程理論與實踐(System Engineering Theory and Practice)，1996，16(7)：99-104．
[2] Park D C，El-Sharkawi M A，Marks R J II et al．Electric load forecasting using an artificial neural network[J]．IEEE Transactions on Power Systems，1991，6(2)：442-449．
[3] 邰能靈，侯志儉，李濤，等(Tai Nengling，Hou Zhijian，Li Tao et al)．基于小波分析的電力系統短期負荷預測方法(New principle based on wavelet transform for power system short-term load forecasting)[J]．中國電機工程學報(Proceedings of the CSEE)，2003，23(1)：45-50．
[4] 冉啟文，單永正，王騏，等(Ran Qiwen，Shan Yongzheng，Wang Qi et al)．電力系統短期負荷預報的小波-神經網絡-PARIMA方法(Wavelet-neural networks-PARIMA method for power system short term load forecasting)[J]．中國電機工程學報(Proceedings of the CSEE)，2003，23(3)：38-42．
[5] 謝宏，陳志業，牛東曉(Xie Hong，Chen Zhiye，Niu Dongxiao)．基于小波分解與氣象因素影響的電力系統日負荷預測模型研究(The research of daily load forecasting model based on wavelet decomposing and climatic influence)[J]．中國電機工程學報(Proceedings of the CSEE)，2001，21(5)：5-10．
[6] 姜勇(Jiang Yong)．基于模糊聚類的神經網絡短期負荷預測方法(Short-term load forecasting using a neural network based on fuzzy clustering)[J]．電網技術(Power System Technology)，2003，27(2)：45-49．
梯度下降法的基本原理范文3
論文摘要:近幾十年里，數字信號處理技術取得了飛速發展，特別是在自適應信號處理方面，通過內部參數的最優化來自動調節系統特性并以其計算簡單，收斂速度快等許多優點而被廣泛使用。本文主要介紹了幾種常用的自適應算法，如：LMS，RLS，NLMS等。分別就幾種算法在算法原理，算法性能分析和計算機仿真等方面來說明各種算法的優越性。通過圍繞算法的優缺點進行比較，得出一些重要結論。最后對自適應信號處理的一些應用作了介紹和分析，并對其進行了仿真。
Abstract：In recent decades， digital signal processing technology has made rapid development， especially in adaptive signal processing. The adaptive signal processing algorithm can adjust the internal parameters of filters to optimize system characteristics automatically. For its simple computational complexity， fast convergence speed and many other advantages， adaptive filer has been widely used.
This paper introduces several commonly used algorithms， such as: LMS， RLS， NLMS， etc.. Through the principle of adaptive algorithm analysis and simulation， we illustrate the various aspects of the adaptive algorithm’s superiority. And through the comparing of their advantages and disadvantages， we could draw some important conclusions for different algorithm.
Keywords: Adaptive signal processing， Adaptive filter
1引言
自適應信號處理是信號處理領域的一個非常重要的分支。作為自適應信號處理基礎的自適應濾波理論是對信號處理研究的一個重要方法，本文亦將它作為研究的手段。自適應信號處理經過近40年來的發展，隨著人們在該領域研究的不斷深入，其理論和技術已經日趨完善。尤其是近年來，隨著超大規模集成電路技術和計算機技術的迅速發展，出現了許多性能優異的高速信號處理專用芯片和高性能的通用計算機，為信號處理，特別是自適應信號處理的發展和應用提供了重要的物質基礎。另一方面，信號處理理論和應用的發展，也為自適應信號處理的進一步發展提供了必要的理論基礎。自適應信號處理已經在諸如噪聲對消，信道均衡，線形預測等方面得到廣泛的應用。
本文主要研究的是自適應信號處理中一些基本的算法，如：LMS，RLS，NLMS等。在學習和總結前人工作的基礎上，對各種算法進行了詳細的推導，分析了它們的特點及性能，諸如穩態特性，收斂條件及參數的取值。對其中的兩個基本算法LMS和RLS算法在收斂性和穩定性進行了分析比較，并用matlab仿真得到驗證。最后對自適應處理的一些應用作了簡要說明，如：噪聲對消，信道均衡，線性預測及陷波器等，并對其進行了仿真。
1.1 研究的目的和意義
常規的信號處理系統，利用自身的傳輸特性來抑制信號中的干擾成分，對不同頻率的信號有不同的增益，通過放大某些頻率的信號，而使另一些頻率的信號得到抑制。由于其內部參數的固定性，消除干擾的效果受到很大的限制。通常許多情況下，并不能得到信道中有用信號和干擾信號的特性或者它們隨時間變化，采用固定參數的濾波器往往無法達到最優濾波效果。在這種情況下，可以用自適應處理系統，來跟蹤信號和噪聲的變化。
自適應系統可以利用前一時刻已經獲得的濾波器參數等結果，自動的調節現時刻的濾波器參數，以適應信號和干擾未知的或隨時間變化的統計特性，從而實現最優濾波。正是由于它在設計時需要很少或者無需任何關于信號和干擾的先驗知識就可以完成的優點，所以發展很快，并得到廣泛的應用。
1.2 自適應系統的組成
自適應系統和常規系統類似，可以分為開環自適應和閉環自適應兩種類型。開環自適應系統主要是對輸入信號或信號環境進行測量，并用測量得到的信息形成公式或算法，用以調整自適應系統自身；而閉環自適應系統還利用系統調整得到的結果的有關知識去優化系統的某種性能，即是一種帶“性能反饋”的自適應系統。
下圖a表示一個開環自適應系統，控制該系統的自適應算法僅由輸入確定。圖b則表示一個閉環自適應系統，控制該系統響應的自適應算法除了取決于輸入外，還依賴系統輸出的結果。
1.3基本自適應算法
這里主要介紹LMS，RLS，NLMS三種基本算法。
LMS算法是最被廣泛應用的濾波器演算法，最大的特點就是計算量小，易于實現?；谧钚【秸`差準則，LMS算法使濾波器的輸出信號與期望輸出信號之間的均方誤差最小。運算過程不需要對相關函數及復雜的反矩陣做運算，所以經常拿來用作比較的基準。
LMS算法為了便于其實現，采用誤差輸出模的瞬時平方值(即瞬時功率) 的梯度來近似代替均方誤差 的梯度。實際上我們可以直接考察一個由平穩信號輸入的自適應系統在一段時間內輸出誤差信號的平均功率，即把平均功率達到最小作為測量自適應系統性能的準則，這就是RLS算法。換句話說，LMS算法是將輸出誤差信號的平均平方值 最小化，而RLS算法是將輸出誤差信號平方值總和最小化。雖然RLS算法復雜度和階數平方成正比，但是由于它的收斂速度快，所以仍然受到廣泛的應用。
為克服常規的固定步長LMS自適應算法在收斂速率，跟蹤速率與權失調噪聲之間的要求上存在的較大矛盾，許多學者提出了各種各樣的改進型LMS算法。比如歸一化LMS，基于瞬變步長LMS以及基于離散小波變換的LMS自適應濾波算法。這里我們討論歸一化的LMS算法，即NLMS算法。
以上這些算法主要特點是不需要離線方式的梯度估值或者重復使用樣本數據，而只需在每次迭代時對數據作“瞬時”梯度估計。因此自適應過程中的迭代比較簡單，收斂速度比較快。
1.4 Matlab語言介紹
本文的算法仿真采用了MATLAB語言。MATLAB是Mathworks公司于20世紀80年代推出的數值計算軟件，近些年來得到了廣泛的應用。MATLAB的全稱是Matrix Laboratory，意思是矩陣實驗室。它是以矩陣運算為基礎的新一代程序語言。與Fortran和C相比，MATLAB語句顯得簡單明了，更加符合人們平常的思維習慣。同時，MATLABB有著良好的數據可視化功能，能將數字結果以圖形的方式表現出來，讓人們一目了然。這些特點使得MATLAB從眾多數值計算語言中脫穎而出，并正以相當快的速度在科學研究和工程計算中得到應用和普及。
MATLAB有著非常強大的數值計算能力，它以矩陣為基本單位進行計算，數域擴展到復數，這一特點決定了MATLAB有著非凡的解決數值問題的能力。繪圖方面，MATLAB的繪圖語句簡單明了，功能齊全。它能夠在不同坐標系里繪制二維、三維圖形，并能夠用不同顏色和線型來描繪曲線。正是由于MATLAB這些特點，從而使它適合與進行自適應算法仿真。
2 基本自適應算法的分析與Matlab仿真
2.1最小均方誤差(LMS)自適應算法
2.1.1 LMS自適應濾波器基本原理
SHAPE \* MERGEFORMAT
圖2.1.1 LMS自適應濾波器原理框圖
圖2.1.1中， 表示時刻 的輸入信號， 表示時刻 的輸出信號， 表示時刻 的參考信號或期望響應信號， 表示時刻 的誤差信號。誤差信號為期望響應信號 與輸出信號 之差，記為 。自適應濾波器的系統參數受誤差信號控制，并根據 的值而自動調整，使之適合下一時刻 的輸入 ，以使輸出信號 更加接近期望信號 ，并使誤差信號 進一步減小。當均方誤差 達到最小值時， 最佳地逼近 ，系統已經適應了外界環境。
2.1.2 E[e2(n)]與權值W的關系
LMS自適應濾波器通過算法，當 最小時，濾波器已經調節出適合現在外部環境的濾波器權值W。
(1)我們可以先推導出 與加權系數W的關系式。
可以從上式看出均方誤差 是加權系數 的二次函數，它是一個中間上凹的超拋物形曲面，是具有唯一最小值的函數。即 與 的關系在幾何上是一個“碗形”的多維曲面。為了簡單，設 是一維的，則與 的關系成為一個拋物線。調節加權系數 使均方誤差最小，相當于沿超拋物形曲面下降到最小值。連續地調節加權系數使均方誤差最小，即尋找“碗”的底點。碗底： ，即 點。
2.1.3 LMS算法推導
最小均方差（LMS）算法，即權系數遞推修正達到最佳權系數 是依據最小均方算法。最陡下降法（Steepest Descent Method）是LMS算法的基礎，即下一時刻權系數矢量 應該等于“現時刻”權系數矢量 加上一項比例為負的均方誤差函數的梯度 ，即
式（2.1.3.1）
其中 為
式（2.1.3.2）
為控制收斂速度與穩定性的數量常數，稱為收斂因子或自適應常數。式（2.1.3.1）中第二項前的負號表示當梯度值為正時，則權系數應該小，以使 下降。根據式（2.1.3.1）的遞推算法，當權系數達到穩定時，一定有 ，即均方誤差達到極小，這時權系數一定達到所要求的最佳權系數 。LMS算法有兩個關鍵：梯度 的計算以及收斂因子 的選擇。按（2.1.3.2）計算 時，要用到統計量G，P，因此有很大困難，故通常用一種粗糙，但卻有效的方法，就是 用 代替，即
式（2.1.3.3）
式（2.1.2.3）的含義是指單個誤差樣本的平方 作為均方誤差 的估計值，從而使計算量大大減少。從而最終可以推出權系數迭代的LMS算法為：
式（2.1.3.4）
為輸入樣本向量，只要給定系數迭代的初值 ，根據上式可以逐步遞推得到最佳權系數，并計算出濾波器誤差輸出。下圖為LMS算法的流程圖：
SHAPE \* MERGEFORMAT
2.1.4 LMS算法的參數分析
LMS算法所用到計算式如下：
系統輸出：
誤差估計：
權值更新：
其中 為信號輸出， 為輸入向量， 為誤差值， 為權值向量， 為期望值， 為步長。在LMS算法中步長值 的取舍問題非常重要，直接影響了算法的收斂速度。 值是用來調整加權參數的修正速度，若 值取的過小，收斂速度就會過于緩慢，當取的過大時，又會造成系統收斂的不穩定，導致發散。所以選取最佳的 值是LMS算法中一個重要的問題。具體收斂條件可由下面的式子分析得出：
可以以得出收斂條件 及
其中 是輸入相關矩陣 的最大特征值。
2.1.5 LMS算法的仿真分析
圖(2.1.5.1)
上面為輸入信號與輸出信號圖示。輸入信號采用正態隨機信號加上高斯白噪聲?？梢钥闯鲚敵鲂盘柦涍^一段時間基本達到跟蹤，濾波的效果。
圖(2.1.5.2)
圖(2.1.5.3)
梯度下降法的基本原理范文4
關鍵詞：渦輪增壓系統；故障診斷；BP神經網絡；RBF神經網絡；Elman神經網絡
中圖分類號：U472 文獻標識碼：A
在現代生產過程中，柴油機作為常見的機械設備之一，廣泛應用于動力發電、工程機械等各種領域，其動力性和可靠性的好壞直接影響著整個系統的工作狀況。因此，對柴油機進行故障診斷和狀態監測，及時發現并排除故障，對增加柴油機工作狀態下的安全性與可靠性，減少經濟損失，避免事故發生具有重大的意義。傳統的柴油機故障診斷與處理方法包括油法、振動噪聲法等，但都是以定期保養和事后維修為主，這些方法缺乏事故預見能力、成本高、效率低[1]。隨著計算機技術、信號分析處理技術、人工智能的迅猛發展，柴油機故障診斷技術的水平也在不斷地提高。以非線性并行分布處理為主的神經網絡為柴油機故障診斷技術的研究開辟了新的途徑[2]。經過對柴油機的故障資料進行分析，柴油機的渦輪增壓系統發生的故障較多，本文只研究柴油機渦輪增壓系統故障的診斷，利用MATLAB神經網絡工具箱，分別基于BP、RBF和Elman網絡進行柴油機的故障診斷，并對三種網絡方法診斷結果的可靠性和適用性進行比較和分析。
1 渦輪增壓系統的故障分析
根據對柴油機工作過程的分析和實際運行經驗，可以確定渦輪增壓系統的出現的工作故障的原因和部位主要有：增壓器效率下降、空冷器傳熱惡化、透平保護格柵阻塞、透平通流部分、空氣濾清器阻塞、空冷器空氣測流阻塞增大和廢熱鍋爐流阻增大。其中后三項故障可以直接由部件特性參數診斷得出，系統的工作狀況和前四項故障原因作為網絡輸出變量由建立的神經網絡進行故障診斷，確定柴油機渦輪增壓系統是否處于安全運行中。柴油機渦輪增壓系統工作狀況下可以得到的征兆變量包括排氣總管溫度、掃氣箱壓力、平均燃燒最大爆發壓力、掃排氣道壓損系數、增壓器轉速、壓氣機出口溫度、掃氣箱溫度、空冷器壓損系數、濾網壓損系數、廢氣鍋爐壓損系數和柴油機工作負荷參數，共11項可以作為網絡的輸入變量。
根據某型號柴油機技術規范要求，可以得到柴油機無故障時的數據，如下所示[3,4]。
氣缸排氣溫度： 30K
掃氣箱壓力： 0.06MPa
最大爆發壓力： 1MPa
濾網壓損系數： 0.1
增壓器轉速： 1500r/min
空冷器壓損系數： 0.1
廢氣鍋爐壓損系數： 0.1
掃排氣道壓損系數： 0.06
壓氣機出口溫度： 30K
掃氣箱溫度： 40K
其中，由于濾網壓損系數、空冷器壓損系數和廢氣鍋爐壓損系數可以作為部件特性系數，直接進行診斷，所以，排氣總管溫度、掃氣箱壓力、最大爆發壓力、增壓器轉速、掃排氣道壓損系數、壓氣機出口溫度、掃氣箱溫度和柴油機負荷作為網絡的輸入變量。由神經網絡診斷出的數據參數上下偏差超過以上數據時，則認為柴油機有故障。
2 神經網絡模型
2.1 BP神經網絡
BP學習算法的基本原理是梯度最快速下降法，通過梯度搜索使網絡的實際輸出值和期望輸出值的誤差均方值為最小。BP神經網絡是誤差反向傳播算法的學習過程，如圖1所示，輸入層各神經元負責接收來自外界的輸入信息，并傳遞給中間層各神經元；中間層是內部信息處理層，負責信息變換，根據信息變化能力的需求；傳遞到輸出層各神經元的信息，完成學習的正向傳播處理過程，由輸出層向外界輸出信息處理[5,6]。
圖1 BP神經網絡結構
2.2 RBF神經網絡
RBF神經網絡屬于前向神經網絡類型，如圖2所示。第一層為輸入層，由信號源結點組成；第二層是隱含層，隱含層中神經元的變換函數是非線性函數，傳遞函數為radbas；第三層為輸出層，傳遞函數為線性函數purelin,對輸入模式作出響應[7]。
RBF神經網絡的基本原理是前饋式神經網絡，它具有最佳逼近性能和全局最優特性，并且結構簡單，訓練速度快，在模式識別、非線性函數逼近等領域的神經網絡模型方面應用廣泛[8]。
2.3 Elman神經網絡
Elman神經網絡是一個具有局部記憶單元和反饋連接的局部前向回歸網絡，主要結構是前饋連接，包括輸入層、隱含層、承接層和輸出層，其中承接層從隱含層接收反饋信號，用來記憶隱含層神經元的輸出值，經過延遲和存儲，在輸入到隱含層中，這樣對歷史數據具有敏感性，增強了網絡的動態信息處理能力[9]。
圖2 RBF網絡結構
3 網絡設計
3.1 樣本數據選取與處理
確定正確的訓練樣本集是神經網絡能夠準確故障診斷的一個關鍵環節，柴油機渦輪增壓系統的每一種故障都對應著一個樣本，樣本的目標值取0,0.5和1來表示診斷出故障的嚴重程度。確定訓練樣本，分別取滿負荷運行、90%負荷運行、70%負荷運行和半負荷運行四種狀況下的數據集，現抽取其中的9組數據作為訓練樣本，3組數據作為測試樣本。由于原始數據幅值不同，甚至相差很大，直接在網絡中使用學習速率會變得很慢，無法反應出小的測量值變化，所以要先將訓練樣本進行歸一化處理，處理后的數據對于網絡更容易訓練和學習[10]。歸一化函數如下所示：
Xi =(xi-A)/B
式中：Xi表示歸一化后的測試數據，xi表示原始的測試數據，A表示相應的無故障情況下的基準值，B表示最大偏差值的絕對值。
3.2 建立網絡并故障診斷
3.2.1 BP神經網絡
根據試湊法，選取隱含層節點數為12，第一層傳遞函數使用tansig函數，第二層傳遞函數使用logsig函數，訓練函數為trainlm函數，訓練次數3000，訓練目標0.01，學習速率為0.1。
net=newff(minmax(P),[12,5],{'tansig','logsig'},'trainlm');
net.trainParam.epochs=1000;
net.trainParam.goal=0.01;
LP.lr=0.1;
net=train(net,P,T);
如圖3所示, 經過32次訓練后，網絡的性能達到了要求。
圖3 BP網絡訓練結果
利用訓練好的BP網絡對測試樣本進行測試，測試代碼為yi=sim(net,pi) i=0,1,2測試結果為：y1=0.0000 0.9999 0.0000 0.0036 0.0000;y2=0.21050.0000 0.5245 0.0000 0.0059y3=0.0000 0.0014 0.0000 1.0000 0.0000測試結果表明，經過訓練后，網絡可以滿足柴油機渦輪系統故障診斷的要求。
3.2.2 RBF神經網絡
由于樣本數目比較小，將徑向基分布常數設定為1.2，由此，利用MATLAB創建一個RBF神經網絡如下：spread=1.2;net=newrbe(P,T,spread);經過訓練后，對策是樣本進行測試，測試結果如下：y1 = 0.0000 1.0550 -0.189 -0.0758 0.0147;y2 =0.0000 -0.0018 0.5196 0.0055 -0.0087;y3 = 0.0000 0.0202 -0.0111 0.9804 0.0028測試結果表明，網絡成功診斷出了所有故障。
3.2.3 Elman神經網絡
創建單隱層的Elman神經網絡，最影響函數性能的是隱含層節點數，通過考慮網絡的速度與性能，將隱含層節點數定為15，創建網絡如下所示：net=newelm(minmax(P),[15,5],{'tansig','logsig'})net.trainParam.epochs=500;net.trainParam.goal=0.01;net=train(net,P,T);
如圖4所示，經過訓練和對數據測試后，結果如下所示：y1 = 0.0232 0.8539 0.0050 0.2311 0.0021;y2 = 0.0112 0.0291 0.4829 0.0468 0.0447;y3 = 0.0129 0.2031 0.0146 0.7644 0.0204
圖4 Elman神經網絡訓練結果
測試結果雖然誤差較大，但可以測試樣本的故障診斷結果。
4 結語
(1)采用神經網絡建立故障診斷模型，能夠客觀的反映柴油機是否故障及嚴重情況，三種網絡均能夠滿足故障診斷的要求；(2) BP網絡具有很強的非線性映射能力，在柴油機故障診斷中應用很成功，但由于BP網絡是前向的神經網絡，所以收斂速度比較慢，而且有可能收斂到局部極小點；RBF神經網絡收斂速度快，當函數的擴展速度spread越大，函數擬合就越平滑，如果數值過大，會使傳遞函數的作用擴大到全局，喪失了局部收斂的優勢，所以在網絡設計中需要嘗試確定最優解；Elman網絡的訓練誤差曲線比BP網絡要平滑，收斂速度很快，能準確的識別所有故障類型，但相對于BP網絡和RBF網絡，Elman網絡的識別誤差更大，但并沒有影響所建立模型的應用。(3) 由于樣本量比較小，對于和訓練數據相差很大的數據，所建立的網絡可能無法正確診斷。在實際應用中要采用大容量的訓練樣本，并對樣本數據進行分析和檢查，如利用小波方法處理非正常的高峰值波動數值等[11]。
參考文獻
[1]張蕾. 融合技術在柴油機故障診斷中的應用[J]. 小型內燃機與摩托車，2002，31（3）：33-36.
[2]汪云，張幽彤.神經網絡在電控柴油機實時的故障診斷[J].汽車工藝與材料，2001，（1）：38-40.
[3]馬旭凱，谷立臣，李世龍. 基于SOM神經網絡的柴油機故障診斷[J]. 機械制造與研究，726-731.81-83.
[4]丁艷君，吳占松．鍋爐煙氣排放檢測軟件傳感器[N]. 清華大學學報（自然科學版），2002，42（12）：1636-1638.
[5]李玉峰，劉玫.基于動量BP網絡的柴油機故障診斷[J].控制工程，2007.
[6]傅薈璇，趙紅等.MATLAB神經網絡應用設計 [M].北京：機械工業出版社，2010.
[7]朱大奇，史慧．人工神經網絡原理及應用[M]. 北京：科學出版社，2006.
[8]Luce H，Govind R．Neural network pattern recognizor for detection of failure modes in the SSME[J].AIAA90-1893.
梯度下降法的基本原理范文5
作者簡介:蘇義鑫（1965-），男，湖北仙桃人，教授，博士生導師，主要研究方向：智能控制; 沈俊（1982-），男，湖北漢川人，碩士研究生，主要研究方向：計算機控制、信息系統集成; 張丹紅（1968-），女，湖北漢川人，教授，主要研究方向：計算機控制、現場總線技術; 胡孝芳（1984-），女，湖北巴東人，碩士研究生，主要研究方向：計算機控制、信息系統集成。
文章編號:1001-9081（2011）07-1793-04doi:10.3724/SP.J.1087.2011.01793
（武漢理工大學 自動化學院，武漢 430070）
（）
摘 要:提出了一種基于神經網絡與改進粒子群算法的地震預測方法，該方法采用前向神經網絡作為地震震級的預測模型，引入改進的粒子群算法對前向網絡的連接權值進行修正。為了設計在全局搜索和局部搜索之間取得最佳平衡的慣性權重，基于粒子動態變異思想對粒子群優化算法進行改進，提出了一種動態變異粒子群優化算法，并將其應用于地震震級預測神經網絡模型優化。在仿真實驗中,將所提出的方法與另外兩個采用不同算法的前向網絡預測方法進行了比較。結果表明所提出的優化算法收斂速度最快，所得模型的預測誤差最小，泛化能力最強，對地震的中期預測有很好的參考作用。
關鍵詞:地震預測；前饋神經網絡；粒子群優化算法；BP算法
中圖分類號:TP311文獻標志碼:A
Application of neural networks and improved
PSO algorithms to earthquake prediction
SU Yi-xin, SHEN Jun, ZHANG Dan-hong, HU Xiao-fang
（College of Automation,Wuhan University of Technology,Wuhan Hubei 430070, China）
Abstract: This paper proposed an earthquake prediction method based on neural networks and an improved particle swarm optimization algorithm. In this method, a feed forward neural network was applied to predict the level of earthquake, and a modified particle swarm optimization algorithm was applied to optimize the neural network model. In order to get weights of the optimal balance between the global search and local search, a Dynamic Mutational Particle Swarm Optimization （DMPSO） algorithm was designed by using the ideology of dynamic mutation. This algorithm was used to adjust weights of the feed forward neural network. The simulation results of the proposed method were compared with the simulation results of two feed forward networks with different training algorithms. The comparison results show that the prediction model with DMPSO has fastest convergence rate, the smallest prediction error and strongest generalization ability. In conclusion, the model with DMPSO is a good reference to the middle earthquake prediction.
Key words: earthquake prediction; Feed Forward Neural Network （FFNN）; Particle Swarm Optimization （PSO）algorithm; Back Propagation （BP） algorithm
0 引言
憑借人類現有的技術水平，很難深入到地球內部去設置各種儀器直接對震源進行觀測，而僅僅通過在地球表面各地設置的各種疏密不均的觀測站也難以獲得準確完備的觀測資料，所以很難了解清楚地震的孕育細節、發震構造、震源機制以及地震之間的關系。由于引發地震的相關性因素很多，導致大地震的孕育和發生是一個非常復雜的過程，地震活動存在著有限、離散、點集、信息非完備性、高度非線性、不可逆性以及難于用動力學方程描述等特點。以人類現有的認知水平，想找到地震發生機理的精確數學模型相當困難。如今隨著人工智能技術的飛速發展，一些先進的控制技術和算法越來越多地應用于地震預測模型，使地震預測精度有了很大提高。其中比較常見的有神經網絡（Neural Network，NN）［1］、自回歸（Auto Regressive，AR）模型［2］、遺傳算法（Genetic Algorithm，GA）［3］、支持向量機（Support Vector Machine, SVM）算法［4］等。
神經網絡因其具有良好的非線性擬合能力使之在目前的地震預測建模中使用最廣泛，但由于神經網絡所使用的訓練算法收斂速度慢且極容易陷入局部極小，而且泛化能力也比較差，結果導致預測精度不高。AR模型是一種線性預測的數理統計方法，它通過模型外推達到預測地震的目的，然而AR模型所要求的時間序列應具有等時性，在建模時首先要進行數據的平穩性檢驗，地震測試數據的極度非線性不一定滿足平穩性條件,從而大大降低了AR模型的地震預測能力。遺傳算法訓練的神經網絡可以提高分類正確率以及加快網絡收斂速度，然而遺傳算法的選擇、復制、交叉、變異等一系列遺傳操作使神經網絡的訓練時間隨著問題復雜程度呈指數級增長，導致算法在接近最優解時收斂緩慢甚至出現收斂停滯現象。SVM算法雖然具有明確的表達式和較好的穩定性，在精確性和效率方面也比神經網絡有明顯的優勢，但由于SVM算法的應用研究起步較晚，技術尚不成熟，而且其預測結果與神經網絡一樣存在奇異值，導致相對誤差較大，影響預測精度。
本文對粒子群優化（Particle Swarm Optimization，PSO）算法中的慣性權重w進行了優化處理，并將此經過優化處理的算法運用于對地震震級預測的前向神經網絡模型之中。
1 震級預測前向神經網絡模型
目前地震預測研究主要有三種不同的思路：從地質結構上判斷地震、從統計概率中推算地震、從震前“異象”中得出地震先兆［8］。研究已發生的大地震的地質構造特點雖有助于今后判定何處具備發生大地震的地質背景，但有些地震發生之前當地的地質構造往往不明朗；運用概率統計的方法是把地震問題歸結為數學問題，因需要對大量地震資料做統計，研究的區域往往過大所以判定地震發生的地點有困難；通過前兆研究地震的最大困難是觀測中常常遇到各種天然的和人為的干擾，而且所謂前兆與地震的對應往往是先驗性的，而且目前根本沒有找到一種普遍適用的可靠前兆。本文的方法是把以上三種不同研究思路結合起來，從大量資料中提取出具有代表性的多個預報因子并建立冗余度很強的前向神經網絡模型。這種做法克服了單純采用某一種思路研究的局限性，使得預測模型的建立更合理,數據資料搜集更完備,預測模型結果更準確。
通過分析大量現有地震資料，提取出地震發生之前的8個起決定意義的預報因子，建立起以這些預報因子為輸入向量，實際震級輸出為目標向量的非線性模型。這8個起決定作用的預報因子分別為：地震累計頻度、累計釋放能量、b值、異常地震群個數、地震條帶個數、活動周期、相關區震級、地震斷層個數。本文提出采用三層前向神經網絡（Feed Forward Neural Network, FFNN）來搭建這個非線性模型。設定前向網絡的輸入變量有8個，分別是8個預報因子，輸出變量有1個，為地震震級輸出。根據輸入輸出變量個數選定前向網絡的輸入神經元個數為8個，輸出神經元個數為1個，根據經驗公式選定隱含層神經元個數為15個，網絡的隱含層傳遞函數設置為tan-sigmoid函數，輸出層傳遞函數設置為log-sigmoid函數［5］。該前向網絡結構如圖1所示。
圖1 前向神經網絡預測模型
2 改進的PSO算法設計
2.1 PSO算法
PSO算法基本原理：在N維搜索空間中的一個沒有重量和體積的粒子，在搜索空間中以一定的速度飛行，該飛行速度由粒子個體的飛行經驗和群體的飛行經驗進行動態調整［9］。其算法如下：
用S表示種群的數量，用N表示粒子向量的維數，Xi（t）（Xi1（t）,Xi2（t）,…,XiN（t））為粒子i的當前位置，Vi（t）（Vi1（t）,Vi2（t）,…,ViN（t））為粒子i的當前飛行速度，Pi（t）（Pi1（t）,Pi2（t）,…,PiN（t））稱為到t時刻止粒子i的個體最優位置。
其中，Pg（t）（Pg1（t）,Pg2（t）,…,PgN（t））稱為到t時刻止粒子群的全局最優位置。對于最小化問題，目標函數值越小，對應的適應度越好。
設f（X）為最小化的目標函數，到t時刻止粒子i的個體最好位置為Pi（t），則t+1時刻止粒子所經歷的個體最好位置Pi（t+1）由式（1）決定：
Pi（t+1）Pi（t）, f（Xi（t+1））≥f（Pi（t））
Xi（t+1）, f（Xi（t+1））
每個粒子的速度和位置更新方程如下：
Vij（t + 1）wVij（t） + c1R1（t）［Pij（t）-Xij（t）］+
c2R2（t）［Pgj（t）-Xij（t）］（2）
Xij（t+1）Xij（t）+Vij（t）（3）
其中：i表示粒子序號，j為粒子向量中元素的序號， i∈［1,S］， j∈〖1,N〗；Vij（t）∈［－Vmax,Vmax］，Xij（t）∈［－Xmax,Xmax］；c1,c2為學習因子；w為慣性權重。本文中取c1c22；R1（t）～U（0,1）,R2（t）～U（0,1）是兩個服從均勻分布的相互獨立的隨機函數。
2.2 對PSO算法的改進
PSO算法中當慣性權重w較大時,算法具有全局搜索能力；當w較小時，算法具有局部搜索能力［6］。為了設計在全局搜索和局部搜索之間取得最佳平衡的慣性權重w，可以設法使粒子在朝全局最優解不斷接近過程中w線性地衰減,從而使算法在初期具有較強的全局搜索能力，而在晚期又具有較強的局部發掘能力?；诖?本文提出對慣性權重w作如下修改：
wwmax－（wmax－wmin）×（4）
其中，wmax為慣性權重最大值，wmin為慣性權重最小值，tmax為算法最大迭代次數， t為算法當前迭代次數。
按照式（4）對慣性權重w的改進方法雖然提高了算法收斂速度，但在實驗中發現若只是令w呈線性地衰減，仍然容易使PSO算法陷入局部最優［10］。最明顯的缺陷是當某一粒子在迭代中連續多次被選為全局最優點時，粒子群就會迅速收斂于該點，從而使粒子群喪失全局搜索能力。為此，提出一種基于動態變異思想的修改慣性權重w的方法：當某個粒子連續多次被選為全局最優點時，采用式（5）動態修改慣性權重w。
ww×en, rand（n）
w, rand（n）0.5
w/en, rand（n）>0.5 （5）
式（5）中等式右邊的w是根據式（4）計算后得到的值，n為全局最優點連續為同一粒子的次數，rand（n）是介于0～1的隨機數。該方法的具體思想是把迭代中的粒子數按隨機函數rand（n）在數值0.5鄰域范圍內的取值大小隨機地分為三部分：當rand（n）0.5時,粒子慣性權重w 將按指數速度衰減,這部分粒子將以很小的移動速度向目前的全局最優點Gbest收斂，從而彌補因部分變異粒子跳出該區域而造成搜索點減少的問題。采用這種動態改變慣性權重w的方法既能使粒子擴大搜索范圍從而減少陷入局部最優的情況發生，使粒子能及時跳出局部最優,繼續全局搜索，又能使粒子在靠近全局最優解時更好地收斂。
把基于以上這種粒子動態變異思想的改進粒子群優化算法稱為動態變異粒子群優化算法（Dynamic Mutational Particle Swarm Optimization, DMPSO）。其算法具體執行過程為：粒子在正常尋優情況下采用式（4）修改慣性權重w；當全局最優點連續被選為同一粒子時則對基于式（4）計算出的w值采用式（5）進行修改。
2.3 對DMPSO算法的測試
利用典型函數Schaffer 函數和Rosenbrock 函數測試DMPSO算法。取種群個數50，最大迭代次數5000，每個函數優化30次，學習因子c1c22，兩種典型函數都取2維測試。測試結果見表1、表2。測試結果表明，相比PSO算法，DMPSO算法在收斂速度方面有很大的進步，平均適應度方面也有了很大的改善，從對測試函數的測試結果來看,DMPSO算法取得了很好的效果。
表1 Schaffer函數的測試結果
表2 Rosenblock函數的測試結果
3 DMPSO算法對神經網絡的優化
DMPSO算法對前向網絡進行優化就是以整個前向網絡的所有連接權值與閾值數目作為每個粒子位置向量的維數，每個粒子向量的元素對應前向網絡的權值和閾值，從而形成前向網絡的權值、閾值與粒子向量的函數映射。把整個權值、閾值空間作為粒子群的搜索空間，粒子的適應度函數為該前向網絡的均方誤差。
DMPSO算法流程如下：
1）初始化粒子種群規模N1和粒子的位置和速度向量。每個粒子向量維數為以下4個量之和：輸入層與隱含層間的連接權值個數、隱含層與輸出層間的連接權值個數、隱含層的閾值數、輸出層的閾值數；
2）初始化每個粒子的個體極值Pi（0）（i1,2,…,N1）和種群最優值Pg（0）；
3）根據式（6）、（7）計算每個粒子的適應度：
Eik（t）∑N2 k1 （dik（t）－yik（t））2 （6）
MSEi（t）∑N2k1Eik（t）（7）
其中：N2為樣本集個數，dik（t）為樣本集中第k個樣本的期望輸出值，yik（t）為前向神經網絡對第k個樣本的實際輸出值。
先輸入一個粒子，對每一個樣本分別計算前向神經網絡的實際輸出值，按照式（6）計算出所有樣本的適應度。然后繼續輸入其他粒子，逐步計算出所有粒子的適應度。比較每個粒子的適應度，以最小均方差作為評價標準來更新粒子的個體極值Pi（t）和全局最優值Pg（t）；
4）對種群進行適應度評價，判斷算法是否已經達到最大迭代次數或規定的最小誤差標準，如果條件滿足則轉步驟⑦，否則轉步驟⑤；
5）根據式（4）和（5）更新慣性權重w，根據式（2）、 （3）來更新粒子的速度和位置；
6）迭代次數加1，轉步驟③；
7）算法結束，生成最優解。當前種群全局最優解Gbest即為網絡連接權值和閾值的最優解。
4 震級預測模型的仿真研究
4.1 數據處理
本仿真實驗用到的訓練樣本和測試樣本取自我國云南地區1982―2003年間6.0級以上地震的記錄資料［7］，見表3。本文選取序號為1～10的地震數據構建前向網絡的訓練樣本，選取序號為11～17的地震數據作為網絡震級預測有效性的測試樣本。由于前向網絡的激活函數輸出范圍是［0,1］，所以利用歸一化處理使樣本數據歸一到0～1，可以更好地適應網絡的輸出，同時減小權值的調整幅度。樣本數據按下式統一進行歸一化處理：
y（x－MinValue）/（MaxValue－MinValue）
其中x，y分別為轉換前、后的值，MaxValue、 MinValue分別為樣本數據的最大值和最小值。表4為歸一化處理后的訓練樣本數據，表5為歸一化處理后的另外7組檢驗前向網絡震級預測是否有效的測試數據。
表3 滇西地區1982―2003年間6.0級以上地震資料
4.2 仿真結果
圖2中三條曲線分別是BP算法、PSO算法以及DMPSO算法對前向神經網絡進行訓練的誤差變化趨勢圖。在圖3中，縱坐標采用了對數刻度，三種算法訓練的網絡分別稱為BP、PSO-FFNN和DMPSO-FFNN。訓練結束以后，為了檢驗網絡學習性能和比較三種算法的泛化能力，選用表5給出的另外7組經過歸一化處理后的震例實測數據對訓練后的網絡進行測試。表6是7組測試樣本分別對BP網絡、PSO-FFNN網絡以及DMPSO-FFNN網絡進行測試的測試結果。
表4 10組網絡訓練樣本數據（已歸一化處理）
表5 7組網絡測試樣本數據（已歸一化處理）
表6 三種算法訓練網絡的測試誤差
圖2中給出了分別采用三種訓練算法進行訓練后前向神經網絡的輸出誤差曲線。
圖2 三種算法的訓練誤差曲線
從圖2中可以看出，梯度下降法收斂速度比較慢，前向網絡經過大約185次訓練后目標誤差才達到精度要求。PSO算法相對梯度下降法有比較明顯的優勢，收斂速度更快，經過大約151次迭代即到達最小誤差，通過與另外7組測試樣本的誤差作對比分析，PSO算法訓練的前向網絡比梯度下降法訓練的網絡預測精度更高，而且還具備較強的泛化能力。DMPSO算法的收斂速度比梯度下降法和PSO算法都要快速，網絡只需經過大約103次訓練目標誤差就能達到要求，而且通過分析測試樣本誤差表6，DMPSO算法比BP算法和PSO算法具有更高的預測精度以及更強的泛化能力。
5 結語
地震給人類帶來了深重的災難，為了能盡量減小災害損失，地震的提前預報至關重要。本文提出了一種基于前向神經網絡與改進粒子群算法相結合的地震預測方法。前向神經網絡作為地震震級預測的模型，而改進的粒子群優化算法用來訓練前向網絡。為了設計在全局搜索和局部搜索之間取得最佳平衡的慣性權重w，基于粒子動態變異的思想本文對粒子群優化算法進行了改進，提出了一種動態變異粒子群優化算法。與BP網絡和采用基本粒子群算法訓練的前向網絡相比較，仿真曲線表明，該改進的粒子群優化算法所訓練的DMPSO-FFNN網絡對地震震級的預測有更高的精確度，更好的泛化能力，能更加有效地預測地震，使地震災害損失降到最低。
參考文獻:
［1］ 王煒,蔣春曦.BP神經網絡在地震綜合預報中的應用［J］.地震,1999,19（2）:118-126.
［2］ 秦長源,張淑亮.AR模型預測太原盆地地震活動的趨勢［J］.地震研究,1997,20（4）:4-9.
［3］ 陳一超,曾三友,張好春等.基于遺傳神經網絡的地震預測研究［J］.計算機應用與軟件,2008,25（4）:77-85.
［4］ 武安緒,李平安,魯亞軍,等.基于支持向量機的多維地震時間序列建模［J］.東北地震研究,2006（4）:4.
［5］ 楊居義,易永紅.基于BP神經網絡的地震預測研究［J］.微電子學與計算機,2008,25（10）:11-15.
［6］ 高海兵,高亮,周馳等.基于粒子群優化的神經網絡訓練算法研究［J］.電子學報,2004,32（9）:15-19.
［7］ 張立,平建軍,蘇有錦.云南地區綜合地震前兆信息量及其短期映震能力分析［J］.地震研究,2006, 29（10）:26-29.
［8］ 王鳳,黃力宇,張宇翔.基于Matlab的BP預測模型在地震前兆預測中的應用研究［J］.華北地震科學,2009,27（1）:48-52.
梯度下降法的基本原理范文6
關鍵詞： 神經網絡；信息融合；智能家電；故障測控
中圖分類號：TP399文獻標識碼：A文章編號：1009-3044(2007)15-30824-02
Fault Detection and Control System on Intelligent Household Electrical Appliance based on Information Fusion and BP Algorithm
HUANG Xin，LIU Guo-liang
(Network and Embeded System Research Center, Chongqing Communication Institute, Chongqing 40035, China)
Abstract:According to the maintenance mode and requirement, a fundamental frame of fault detection and control system of intelligent household electrical appliance based on neural network and information fusion is presented. The system not only can be satisfied the needs of different intelligent-household-electrical appliance which needs different guarantee of QoS, but also can be put into practice effectively. The level and efficiency of fault diagnosis and maintenance can be enhanced and the cost can be economized by using the system. The products are more competent. It is useful to put the artificial intelligence into the maintenance of electrical household appliance as well.
Key words:neural network; information fusion; intelligent household electrical appliance; fault detection and control system
1 引言
近年來，雖然我國家電維修行業取得了巨大的發展，但仍然面臨如下問題：①由于家用電器的社會擁有量非常巨大，導致大量故障家電得不到及時維修；②由于大量新技術被廣泛運用到各種新型家電設備中，對維修人員的素質提出了更高的要求；③由于家電本身是一種相當復雜的機電一體化設備，所以家電故障診斷與維修是個費時費力的工作。
隨著計算機網絡技術和家用電器技術的不斷擴展，消費電子、計算機、通訊一體化趨勢日趨明顯，基于家庭網絡的智能化信息家電產品已經開始步入社會和家庭。這為家電的在線測控提供了可能。
另一方面，人工智能技術也在迅速的發展，特別是人工神經網絡和信息融合技術在故障測控領域的應用，為設備故障測控的智能化提供了可能性，也使得測控技術進入了新的發展階段。
因此有必要對現有的家電維修方式進行改進，基于神經網絡和信息融合技術的智能家電故障測控系統正是為了解決這一問題。一方面可以提高我國家電企業故障診斷與維修的水平和效率，節省檢測和維修成本并使產品具有更大的競爭力。另一方面，對將人工智能技術引入到家電維修行業進行有益的探索。
2 BP神經網絡算法
在眾多神經網絡模型中，應用最廣泛的是BP網絡。BP網絡所使用的訓練算法是誤差反向傳播學習算法(Error Back-Propagation)，即BP算法[1]。該算法的學習過程由正向傳播和反向傳播組成。在正向傳播過程中，輸入信息從輸入層經隱含層逐層處理，并傳向輸出層。每一層神經元的狀態只影響下一層神經元的狀態。如果輸出層得不到期望的輸出，則轉入反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經元的權值，使得誤差信號最小。
基于BP算法的神經網絡模型獲得了廣泛的應用，在故障測控中，引入該算法，一方面可以適應測控環境的動態變化，另一方面可以提高效率。
3 信息融合
人類能夠利用自己五官所具有的聽覺、視覺、味覺、觸覺等功能獲得對事物的各個不同側面(或角度)的具有不同度量特征的信息，人腦再根據己有的知識對這些信息綜合分析，從而更全面地認識事物。
信息融合的基本原理就是模仿人腦的這個過程，得到一個對復雜對象的一致性解釋或結論。信息融合比較確切的定義可概括為：充分利用多個傳感器在空間或時間上的冗余或互補信息，依據某種準則來進行融合，以獲得被測對象的一致性解釋或描述，從而取長補短，精確地反映被測對象的特征，消除信息的不確定性，提高系統的可靠性[2,3]。
由于智能家電故障測控系統是一個多信息源、多特征參數的復雜系統，將信息融合技術引入到該系統中，可以大大提高故障診斷的準確性。
4 智能家電概念
智能家電指的是將微電腦和通信技術融入到傳統的家用電器中，使之智能化并具有網絡終端功能，可以隨時隨地地獲取與處理信息的消費電子產品。其重要特征是可以傳遞數字信息[4,5,6]。正是由于這一重要特征，使得基于網絡環境的故障測控成為可能。
5 智能故障測控系統
與傳統的故障測控方式相比，智能故障測控方式具有以下優點。
(1)能夠模擬人腦的邏輯思維過程，可以解決需要進行復雜推理的復雜測控問題。
(2)可以存貯和推廣領域專家寶貴的經驗和知識，更有效地發揮各種專門人才的作用，使一般的維修人員也可以掌握復雜設備的故障測控知識。
(3)智能故障測控系統在某些方面比人類專家更可靠，更靈活，可以在任何時候，任何條件下提供高質量的服務，不受外界的干擾。
(4)智能故障測控系統便于用戶對知識庫的修改和完善。先進的智能故障測控系統還具有學習的功能，能夠在測控過程中自動完善知識庫，提高系統的測控能力。
因此，智能故障測控系統是測控技術的重要發展方向。
6 技術方案
6.1 系統總體目標
考慮到當前的經濟技術條件，基于神經網絡和信息融合技術的智能家電故障測控系統的總體目標為：①作為一種有效的工具，能幫助維修人員迅速提高維修水平和工作效率；②可實現家用電器的自適應控制；③具有自學習和自判別能力；④提供輔助決策建議。例如，監測電冰箱的各項工作指標，通過壓縮機上的震動傳感器隨時掌握電冰箱的工作情況，在得到即將出現故障信號時就可以在線對其進行智能診斷，并自動對其進行處理。
6.2 系統總體框架
基于神經網絡和信息融合技術的智能家電故障測控系統的總體框架如圖1所示。該系統主要由測控中心、BP神經網絡模塊庫、信息融合模塊庫和現場網絡四部分構成。
圖1 系統的總體框架
6.2.1 測控中心
根據BP神經網絡模塊和信息融合模塊，對現場設備采集到的數據進行處理，視處理結果而作出相應的動作。例如在線控制、電話通知用戶或向智能家電生產廠商匯報等。
6.2.2 BP神經網絡模塊庫
根據不同的智能家電，基于改進的BP神經網絡算法訓練得到的故障測控模塊集，負責進行相應智能家電的故障測控。例如，當空調出現故障后，就調用空調測控模塊（基于改進的BP算法）進行測控；當電視機出現故障后，就調用電視機測控模塊（基于改進的BP算法）進行測控。
6.2.3 信息融合模塊庫
根據不同的智能家電，基于不同的信息融合規則而建立的信息融合模塊集，負責進行相應智能家電的故障融合。例如，當空調出現故障后，就調用空調信息融合模塊；當電視機出現故障后，就調用電視機信息融合模塊。
6.2.4 現場網絡
主要通過家庭網絡將各種智能家電連接起來，一方面完成現場數據的采集、計量，另一方面負責將采集結果上傳到測控中心。
6.3 系統的實現
系統的實現主要包括兩個方面，一方面是對BP算法進行改進，另一方面是滿足不同的智能家電需要不同的QoS(服務質量)保障要求。
6.3.1 對BP算法進行改進
為了滿足家用電器故障測控系統的實時性要求，所以有必要對傳統的BP算法進行改進（傳統的BP算法收斂速度慢）。
基本的BP算法根據梯度法、即最速下降法來解決使誤差函數(E(W))達到最小這一問題，權向量按照誤差函數的負梯度方向來修正，直到函數E(W)達到最小值。因此，權向量的迭代公式為：
W(k+1)=W(k)+ηG(k)
其中η為學習率，表示學習的步長（在變步長算法中η可以調整）；G(k)為函數E(W)的負梯度，即：
G(k)=-E(W)/W
但是，常規的BP算法收斂速度慢是一個比較突出的問題，為了加快BP算法的收斂速度，引入動量因子α，從而將權向量迭代修正規則改進為：
W(k+1)=W(k)+ηG(k)+αΔW(k)
式中：
ΔW(k)=W(k)-W(k-1)。
ΔW(k)記憶了上一時刻權向量的修正方向。動量因子α的取值范圍為0
6.3.1 滿足不同智能家電需要不同的QoS(服務質量)保障要求
考慮到家庭網絡中智能家電設備的多樣性，不同的設備就需要不同的QoS(服務質量)保證；例如：電視機的實時性要求比電話機高，電話機的實時性要求比電冰箱高。另一方面，不同的家電設備其故障參數也不盡相同。為了保證智能家電的QoS要求，采取了以下措施。
網絡模型的確定以家庭網絡中各種家用電器的故障現象X=(x1,x2,x3,…,xn)作為輸入，故障原因Y=(y1,y2,y3,…,ym)作為輸出，以不同的故障原因導致的故障現象為訓練樣本進行學習，從而建立故障現象與故障原因之間的映射關系。采用改進的BP算法進行訓練，直到得到期望的輸出為止。進而將該訓練后得到的BP網絡模型保存到BP神經網絡模塊庫中。如此反復訓練，獲得所有智能家電的BP神經網絡訓練模塊，均保存到BP神經網絡模塊庫中。
信息融合模塊庫的建立以智能家電故障權值(故障出現的統計概率)乘以由傳感器實時檢測到的故障概率作為判斷概率，判斷概率越大，說明出現故障的可能性就越大；由于有實時概率的校正，所以比單獨使用統計概率具有更大的準確性。對每種智能家電都進行這樣的處理，最后得到多種智能家電的信息融合模塊集。
智能家電的識別由于家庭網絡中有多種智能家電，對不同的智能家電就需要進行區分。我們給每一個智能家電一個標號，例如：1表示電視機，2表示空調等。因此，只要我們在發送信息時，在標識位填入相應的標號即可識別不同的智能家電。
優先級的確定：一個故障現象可能是由多種故障原因所引起，但每一種故障原因發生的概率是不一樣的，為了加快確定引起故障現象的原因，我們把不同故障原因定義不同的優先級，優先級的數值越大，表明發生故障的概率越大，并且每一個優先級對應一個給定的權值。
例如：以空調故障為例，當“房間溫度均偏高”故障現象發生時，可定義：
優先級0：表冷器結霜，造成堵塞 ；（出現的概率最?。?/p>
優先級2：通過空氣處理設備的風量過大，熱交換不良；
優先級3：噴水堵塞；
優先級4：冷凍機產冷量不足。（出現的概率最大）
6.4 工作過程
現場網絡首先對智能家電參數進行采集、預處理，然后上傳到測控中心，測控中心首先判斷是哪一個智能家電發生故障，再根據BP神經網絡和信息融合模塊庫調用相應的經過訓練的模塊，并且根據判斷概率(故障權值乘以故障出現的統計概率)進行相應的處理。根據處理結果做出相應的動作反應。例如，若即將出現故障或故障較輕，就可以自動地、在用戶不知情的情況下對智能家電進行在線維護；若故障嚴重，在線修復成為不可能，就可以電話通知用戶或者通過Internet通知生產廠家。
6.5 技術帶來的好處
(1)節省維修費用。采用該系統后，智能家電維修大多數情況下是在線進行的，維修人員不必親自上門服務。進而降低成本，節省維修費用。
(2)有利于改善產品質量。在測控中心，對各種智能家電以及各種故障一目了然，可以通過跟蹤最常見故障，找出原因，進而改善產品質量。
(3)方便用戶。傳統情況下，一旦家電出現故障，用戶要么將家電搬到維修中心，要么叫維修人員上門服務，這樣對廠家對用戶都不方便，并且用戶隨時都要關心自己家中的家用電器使用情況，無形之中增加了心理負擔?，F在用戶只管放心地使用家電而不必關心家電的使用情況，因此對于用戶來說增加不多的費用卻帶來了高檔次的服務和方便的使用。
7 結束語
該系統設計方案將神經網絡和信息融合技術應用于家庭網絡中的智能家電故障測控系統，切實可行。依托該系統，可全面提高故障診斷與維修的水平和效率；不但方便用戶使用，而且降低企業維修成本并快速改善產品質量，進而提高其在國內國際中的競爭力。
參考文獻：
[1] 王永慶. 人工智能原理與方法[M]. 西安：西安交通大學出版，2001.
[2] 權太范. 信息融合神經網絡[M]. 北京：國防工業出版社，2002.
[3] 李山林, 閻福旺, 袁延藝. 信息融合技術[M]. 北京：海洋出版社，2005.
[4] 吳莘. 利用通信手段進行智能家電遠程控制的探討[J]. 貴州科學, 2002,(4):107-109.
[5] 黃孝建. 社區寬帶業務與網絡[M]. 北京:北京郵電大學出版社,2002.
[6] 戴瓊海. 寬帶信息網絡[M]. 北京：清華大學出版社，2002.
[7] 王波，卿曉霞. 智能建筑導論[M]. 北京：高等教育出版社，2003.
[8] 劉國良，樂琦. 基于Internet的智能家電故障測控系統[J]. 微處理機,2005,(6).