前言：中文期刊網精心挑選了神經網絡隱含層的作用范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
神經網絡隱含層的作用范文1
【關鍵詞】工程項目；風險評價；BP神經網絡；模糊綜合評價
【Abstract】In this article， a evaluation method by BP neural network of composite fuzzy was presented and the Evaluation Model based on BP Neural Network of Composite Fuzzy was built， than used this model to evaluation engineering project risk of owner financing.
【Key words】Engineering Project；owner inancing；venture evaluation；BP neural network；Fuzzy Synthetic Evaluation
0 引言
當建設項目投資需求金額很大，業主通?？刹捎庙椖咳谫Y的方式建設。由于項目融資時間長、規模大、參與方多、結構復雜，導致融資風險極大，它直接關系到項目融資能否成功以及項目能否進行建設。因此，有效的風險管理通常能夠較好的防范或者是降低風險帶來的損失，而在風險管理過程中，風險評價則是非常重要的一個環節，所以選擇合適的風險評價模型就起到了關鍵性的作用。本文研究采用了基于BP神經網絡的模糊綜合評判模型。該模型既考慮到了風險評價具有模糊性，也利用了神經網絡具有較好的學習能力、加速權重的學習調整的優點。
1 基于BP神經網絡的模糊綜合評判模型
基于BP神經網絡的模糊綜合評判模型是指在BP神經網絡評價系統的基礎上引入模糊邏輯，使其能夠直接處理一些模糊性的信息。它的基礎模型是三層BP神經網絡模型，在基礎模型的輸人層前增加了模糊語言量化層，從而能夠處理那些模糊語言描述的信息，同時能讓模糊化處理、規則與推理轉換成神經網絡的學習，綜合評判模型如圖1所示。
圖1 基于BP神經網絡的模糊綜合評判模型
1.1 模糊信息輸入量化層
通過模糊信息的輸入量化層預處理之后，就能將模糊概念融入到BP神經網絡中。模糊信息的評價指標值不是反映的分值大小，而是反映出對某些模糊評價觀念隸屬度的高低。
BP神經網絡模型前置的模糊信息輸入量化層將指標的特征值轉化為其隸屬度，轉換過程如下：
根據定量因素指標的屬性，因素指標對最優評價的隸屬度分別為以下三種情況：
1）指標屬性越大越優
v■=■■（1）
2）指標屬性越小越優
v■=■t（2）
3）指標屬性適中為優
v■=ew（3）
在上式中，v■指第i個指標對最優評價的隸屬度，取值范圍是[0，1]；U■指第i個指標的指標值；當t=1即為線性分布； w=-■■ ；U■指最優指標值。
1.2 BP神經網絡結構
1.2.1 BP神經網絡的學習原理
BP神經網絡是一種多層次反饋型網絡，所使用的是有“導師”的學習算法。網絡由一個輸入層、若干個隱含層和一個輸出層組成，每層都有一個或多個神經元節點，下層每個神經元與上層每個神經元都實現權連接，輸入信號先向前傳播到隱含層節點，經過函數作用，再把隱含節點的輸出信號傳播到輸出節點，如果輸出層得不到期望的輸出，則反向傳播，將誤差信號沿原來的連接通道返回，通過修改各層神經元權值，使得誤差信號最小。
1.2.2 BP神經網絡的結構設計
1）輸入層節點數
輸入層節點數是指評價指標個數。實際應用中，輸入節點的數目由風險因素的數目來決定，使輸入層數據的全面性得到了有效保證。
2）隱含層層數及節點數
隱含層的作用主要是從輸入的樣本信息中提取特征。增加隱含層層數可以降低誤差、提高精度，但同時也使網絡復雜化，從而增加網絡權值的訓練時間。當采用S型函數作為激活函數時，一個隱含層就能滿足實現需要的判決分類，所以目前很多評價模型都選用1個隱含層。
隱含層節點的作用主要是從輸入的樣本中提取并儲存其內在規律。若隱含層節點數量過少，可能訓練不出網絡或者網絡不夠“強壯”，不能識別以前沒遇到過的樣本，容錯性差；但節點數量過多，又會使學習時間過長誤差也不一定最佳，還容易出現“過度吻合”的問題，降低了網絡泛化的能力。通過大量實踐研究，目前已獲得比較科學的節點數量計算公式。最佳隱含層節點數量公式：
N=■+a（4）
在上式中，N為最佳隱含層節點數，n為網絡輸入層輸入節點數，m為網絡輸出層輸出節點數，a為1-10之間的一個常數。
輸出層節點數由評價結果的需要來確定。
3）訓練次數
最佳的訓練次數能使建立好的模型獲得較好的泛化能力。為了得到最佳的訓練次數，可將樣本數據分為訓練集和測試集，訓練集用來訓練修改BP神經網絡的權值，直到輸出結果與期望值之間的誤差滿足要求，其原理如圖1所示。經過一定數量的訓練次數后，網絡的訓練誤差和測試誤差隨著訓練次數的增加而減少，但當訓練次數超過某一值后，測試誤差會隨著訓練次數的增加而增加。在神經網絡訓練的過程中，設定好時間間隔，測試網絡誤差并記錄下權值，當發現測試誤差開始增加時，就已達到最佳的訓練次數。
1.2.3 BP神經網絡的算法
BP神經網絡主要分為網絡的學習過程和網絡的檢驗過程，也就是用一定數量的樣本數據訓練網絡（學習過程），然后用一定數量的樣本數據對訓練好的網絡進行測試（檢驗過程）。每一樣本具體算法過程如下：
1）原始數據通過輸入量化層的模糊轉換后，輸入網絡，給出相應的期望值。并給w■，v■，T■，θ■隨機賦一個較小的值， 其中w■是輸入層節點ai到隱含層節點br的連接權值，v■是隱含層節點br到輸出層節點cj間的連接權值，T■是隱含層節點的閥值，θ■是輸出層節點的閥值。
2）隱含層節點的輸出計算為：br=f■w■a■+T■；輸出層節點的輸出計算為：cj=f■v■b■+θ■
其中f（?）為神經元輸入與輸出之間的轉換函數。Sigmoid型函數由于對線性和非線性問題都能很好的適應，應用也最為廣泛，所以本文模型采用此函數，其函數形式如下：
f（x）=■
3）計算輸出層節點輸出c■與期望輸出的誤差，令：d■=c■（1-c■）?（c■■■■-c■）；向隱含層節點反向分配誤差，令：e■=b■?（1-b■）?（■v■?d■）
4）調整隱含層與輸出層節點間連接權值v■及輸出層節點閥值θ■：
v■=v■+a?b■?d■；θ■=θ■+a?d■（0
調整輸入層與隱含層節點間連接權w■及隱含層節點閥值T■：
w■=w■+a?ai?e■；T■=T■+a?e■（0
5）重復步驟（2）～（4），直至EAV變得足夠?。篍AV=■■■（c■■-c■）■其中p為訓練樣本的個數，EAV為學習的目標函數。
2 應用舉例
以工程項目風險評價來說明該模型的應用。
2.1 工程項目風險評價指標體系
根據全面性、獨立性、可比性和準確性相結合的原則，參考大量相關文獻資料，并運用德爾菲（Delphi）法咨詢多位實踐經驗豐富的專家，建立一套較為合理、系統的業主項目融資風險評價指標體系，并為各指標分配權值。建立好的指標體系如下所示。
2.2 基于BP神經網絡的模糊綜合評判模型構建
神經網絡模型輸入層取12個神經元；隱含層經計算確定為5個神經元；輸出層取1個神經元，輸出為工程項目風險系數；因此，神經網絡模型結構為12×5×1。其中隱含層選用一層，采用S型函數作為激活函數。
表1 網絡權值Wir
表2 網絡權值Wrj
將取得的10個業主項目融資風險評估案例隨即分為8個訓練樣本和2個測試樣本，樣本數據通過模型的模糊輸入層轉換為隸屬度值，然后進入到模型的神經網絡部分，依據上文中描述的神經網絡算法，利用輸入樣本數據對該網絡模型進行訓練和測試，即經歷學習過程和檢驗過程。計算過程可結合matlab軟件的應用，最后獲得了穩定的網絡狀態和較高的計算精度。故可用該模糊神經網絡綜合評判模型處理工程項目風險評估問題。訓練好的網絡權值如表1、表2。
3 結論
利用BP神經網絡模糊綜合評判模型來實現評價功能，不僅使評價系統具有了學習能力。同時，還結合了模糊評價的優勢解決了業主項目融資風險評價的模糊性問題。并且各個評價指標的權重是由網絡通過學習自動生成的，它避免了傳統評價方法中人為確定權重的主觀性，彌補了傳統方法的不足，使評價的結果更具客觀性和準確性。
本文用基于BP神經網的模糊綜合評判模型對業主項目融資風險進行了綜合評價，利用matlab編寫相關程序并且實現了神經網絡的權值學習，在實際評價中取得了令人滿意的結果，表明此方法是可行的，具有推廣和應用價值。
【參考文獻】
[1]周志華.神經網絡及其應用[M].北京：清華大學出版社，2OO4：25-33.
[2]鄧鐵軍，仇一顆.工程風險管理[M].北京：人民交通出版社，2004.
[3]董長虹.Matlab神經網絡與應用[M].北京：國防科技大學出版社，2005.
神經網絡隱含層的作用范文2
關鍵詞： 人工神經網絡; 類風濕關節炎; 預測
類風濕關節炎(Rheumatoid arthritis ,RA)是一種以關節滑膜發生慢性炎性病變的自身免疫性疾病，其病程多呈進行性進展，致殘率高，治愈率低下[1]，早期臨床表現不典型，單項自身抗體檢測的靈敏度和特異性均有不足，類風濕因子的檢出率也偏低，容易造成誤診[2，3]。因此醫務人員主要是通過敏感性互補的幾個檢驗指標和臨床表現對類風濕關節炎作出診斷[4]，但在疾病的診斷中往往帶有很多的主觀因素。近年來發展起來的人工神經網絡是種理論化的數學模型,是模仿人腦神經的網絡結構及其功能而建立起來的一種信息處理系統，具有自行學習、聯想記憶、錯誤容納和強大的非線性處理能力[5]。因此人工神經網絡常常被應用到臨床醫學疾病的診斷上。本研究結合類風濕關節炎診斷的8個主要指標，設計一種基于人工神經網絡類風濕關節炎的診斷方法，通過對150例樣本的網絡運算，探討了人工神經網絡對類風濕關節炎診斷的可行性。
1 人工神經網絡基本原理
人工神經網絡可以通過對外界信息的學習，以特定的方式對這些信息進行處理和概括，從而具備了對這些信息的識別功能，并產生了一個相對應的結論。因此，再次給人工神經網絡這樣一個相似的條件時，神經網絡就會根據已學到的知識，自行推理判斷，得到一個我們需要的結果。
1.1 人工神經元
人工神經元是組成人工神經網絡的基本處理單元，簡稱為神經元。如圖1顯示了一個具有r個輸入分量的人工神經元模型[6]。
圖1中p(r=1，2，…，r) 為該神經元的輸入數據;Wr 為該神經元分別與各輸入數據間的連接強度，稱為連接權重，權重值的大小代表上一級神經元對下一級神經元的影響程度。b為該神經元的閾值，f(x)為作用于神經元的激勵函數，通常采用的是S 型函數，其數學表達式見式(1)[7]：
f(x)=(1+e-Qx)-1(1)
a為神經元的輸出數據。神經元將接收信息pi與連接權重wi 的點乘積求和構成其總輸入, 在神經元閾值b的作用下經函數f(x)的作用,產生信號輸出a。
圖1 人工神經元模型
1.2 人工神經網絡
人工神經網絡是由多個不同的神經元連接而成，一般含有多個層次，每個層次又包含了多個神經元，上一層次的神經元只能對下一層的神經元產生作用，同層神經元間無相互作用[7]。根據神經元的不同連接方式，就形成了不同功能的連接網絡模型。比如BP神經網絡，Kohonen神經網絡，Hopfield神經網絡等等，多達數十種。在醫學中應用比較廣泛的是BP神經(Back Propagation)，也就是誤差逆向傳遞網絡[8]，本研究中采用的也是BP神經網絡。BP神經網絡一般由輸入層，隱含層和輸出層構成，其結構模型如圖2所示。
神經網絡輸入層的神經元是接受外界信息的端口，不包括數據運算功能，他將外界的輸入數據通過一個連接權重傳遞給下一隱含層的神經元。隱含層是神經網絡的核心部分，數量上可以有一個或多個層次，隨著層次的增多，網絡結構變得更復雜，網絡數據處理功能也增強。網絡的最后一層是輸出層，輸出層接收到隱含層的各項信息，然后經過轉換把信息傳給外界。
輸入層 隱含層 輸出層
圖2 BP人工神經網絡模型
神經網絡隱含層的作用范文3
關鍵詞：風電場功率預測；天氣預報（NWP）；BP神經網絡；預測誤差
中圖分類號：TP301文獻標識碼：A文章編號：16727800（2013）004003103
0引言
能源是支撐人類文明進步的物質基礎，是現代社會發展不可或缺的基本條件。在中國實現現代化和全體人民共同富裕的進程中，能源始終是一個重大戰略問題。大力發展新能源和可再生能源，是推進能源多元清潔發展、培育戰略性新興產業的重要戰略舉措，也是保護生態環境、應對氣候變化、實現可持續發展的迫切需要， 到“十二五”末，非化石能源消費占一次能源消費比重將達到11.4%，非化石能源發電裝機比重達到30%＼[1＼]。
風電作為可再生能源中最具開發價值的能源，在世界范圍內得到了廣泛的開發利用。但是由于風速的隨機性，導致風電功率具有很大的波動性和不確定性，這給電力系統的穩定運行帶來了影響，從而限制了電力系統對風電功率的吸納。據國家能源局最新統計報告中指出：內蒙古風電裝機容量占該地區所有能源總量的30%左右，但是并到電網上的風電機組容量份額不到總風電裝機容量的2%。要提高對風電的開發利用，需要進一步提高風電功率預測的準確性。文獻＼[2，3＼]介紹了利用傳統BP神經網絡來對風電場短時功率進行預測，在預測過程中考慮了風速的季節性變化，預測結果滿足應用要求；文獻＼[4＼]給出利用歷史功率信息進行預測和利用歷史氣象信息與功率信息進行預測的不同，并指出利用歷史氣象信息和功率信息的預測結果要高；文獻＼[57＼]介紹由多種預測算法組合而成的風電場功率預測算法，并指出這些組合預測算法的預測精度比單一預測算法的精度有所提高，但是計算時間比單一預測算法要長。
本文首先對傳統BP神經網絡進行了改進，然后利用過去10天的NWP數據和功率數據，作為改進后BP神經網絡的輸入數據對神經網絡進行訓練。以未來3小時的NWP數據作為改進后BP神經網絡的輸入數據對輸出功率進行預測，預測結果既確保了較低的預測誤差，又提高了系統的穩定性和收斂速度。
1BP神經網絡算法改進
1.1BP神經網絡理論
BP網絡又稱為誤差逆傳播算法，典型的BP網絡由輸入層、隱含層和輸出層組成，各層之間實行全連結。BP網絡的學習過程，由模式順傳播、誤差逆傳播、記憶訓練、學習收斂4個過程組成。
1.1.1模式順傳播
模式順傳播是由輸入模式提供給網絡的輸入層開始，輸入層各單元對應于輸入模式向量的各個元素。設輸入模式向量Xz=（x1，x2，…，xn）（z=1，2，…，m），其中，z為學習模式對，n為輸入層單元個數。對應輸入模式的希望輸出向量Yz=（y1，y2，…，yq），其中，q為輸出層單元個數。根據BP網絡的計算原理，隱含層各單元的輸入為：
sj=∑n[]i=1wijai-θj（1）
式（1）中：s＼-j為隱含層輸入值；θ＼-j為隱含層閾值，j=1，2，…，p；p為隱含層單元個數；w＼-＼{ij＼}為輸入層和隱含層的連接權值；a＼-i為輸入層的第i個神經元，i=1，2，…，n。
為模擬生物神經元的非線性特性，以s＼-j為S函數的自變量，計算隱含層各單元的輸出，S函數的數學表達式為：
bj=f（sj）=1[]1+e-sj（2）
式（2）中：b＼-j為隱含層第j個神經單元的輸出值。
單元輸出閾值θ＼-j為模擬生物神經元的閾值電位而設置，它在訓練過程中不斷被修改。輸出層各單元的輸入為：
Lt=∑p[]j=1vjt-γ＼-t（3）
Ct=f（Lt）（4）
式（3）、（4）中：v＼-＼{jt＼}為隱含層神經元j至輸出層神經元t的連結權值；γ＼-t為輸出層神經元的閾值，t為輸出層神經元個數，t=1，2，…，q；f為S函數；L＼-t為輸出層神經的輸入值。
1.1.2誤差逆傳播
誤差逆傳播的第一步是進行誤差計算，誤差逆傳播過程是由輸出層的誤差d＼-j向隱含層的誤差e＼-j傳遞的過程，輸出層的校正誤差為：
dkt=（ykt-Ckt）f′（Lt）（5）
式（5）中：（y＼+k＼-t-c＼+k＼-t）表示網絡希望輸出與實際輸出的絕對誤差，k=1，2，…，m；f′（L＼-t）是根據每個單元的實際響應調整偏差量。
為完成誤差向隱含層傳遞，需要計算隱含層各單元的校正誤差，隱含層校正誤差為：
ekj=∑q[]t=1vjtdktf′（sj）（6）
式（6）的物理意義與（5）相似，只不過每一個中間隱含層單元的校正誤差都由q個輸出層單元校正誤差傳遞而產生。
得到了校正誤差d＼+k＼-t與e＼+k＼-j之后，沿逆方向調整整個輸出層至隱含層、隱含層至輸入層之間的連接權以及各單元的輸出閾值，其調整公式為：
Δvjt=dktbkj（7）
Δγt=dkt（8）
Δwij=βekjaki（9）
Δθj=βekj（10）
式（7）～式（10）中：、β為學習速率，0
1.2BP神經網絡算法改進
由于傳統BP網絡算法收斂速度慢，容易陷入局部最小點，實際使用效果較差。本文采用慣性校正算法來對傳統BP網絡算法進行改進。所謂慣性校正算法，就是在每一次對連接權或輸出閾值進行校正時，按一定的比例加上前一次學習時的校正量，即慣性項，加速網絡學習的收斂。
ΔW（N）=d+ηΔW（N-1）（11）
式（11）中：ΔW（N）為本次應得校正量；ΔW（N-1）為前一次校正量；d為本次誤差計算得到的校正量；η為慣性系數（0
上面提到的學習速率、β在標準BP算法中是常數，如果學習系數選擇不當，將會導致網絡收斂速度較慢，運算時間較長，在訓練時如何選擇最佳的學習系數是一件困難的事情，本文采用一種自適應調整學習速率的方法＼[8＼]。在訓練過程中，學習速率根據局部誤差曲面作出不斷調整，學習速率的調節如式（12）所示。
α（n+1）=kincα（n），E（t+1）E（t）α（n） ，E（t+1）=E（t）（12）
其中，學習速率增量k＼-＼{inc＼}大于1，學習速率減量k＼-＼{dec＼}小于1。當E（t+1）E（t）時，表明第t次迭代運算是無效的，應減小學習速率。
2模型建立及數據處理
根據以上BP神經網絡的學習原理，結合風電場數值天氣預報數據和功率數據，構建BP神經網絡的模型。本文的神經網絡模型由輸入層、隱含層和輸出層三層構成，輸入層的輸入數據主要是數值天氣預報的數據，包括風速、風向、溫度、濕度和壓力，其中風向可由角度的正弦值和余弦值來進行表示，從而可確定神經網絡的輸入層神經元數量為6個。按照神經網絡構建經驗，隱含層神經元個數約是輸入層神經元個數的2倍左右，本文中取隱含層神經元個數為13個。輸出層的輸出主要是風電場的功率，所以輸出層神經元個數為1個。圖1是按照本文要求設計的神經網絡結構。
數據樣本為某風電場2月1日-10日之間的天氣預報數據和風電場的輸出功率數據，每15min采集一次數據樣本，共960組訓練數據。該風電場風機類型為GE公司1.5WM風機，切入風速為3m/s，額定風速為13m/s，整個風電場裝有風機122臺，風電場裝機總容量183WM。
3網絡訓練及數據分析
將10天采集的960組數值天氣預報數據作為數據，對神經網絡進行訓練，訓練次數為1 000次，訓練誤差為0.03，誤差訓練結果如圖2所示。通過圖2可知，當訓練到達98次時，均方誤差已經達到訓練要求。
圖3是訓練樣本中風電場實際輸出功率與網絡計算功率的比較圖，實線表示風電場實際輸出功率，虛線表示神經網絡計算功率。從圖中可知，風電場實際功率與神經網絡輸出功率的變化趨勢相同，證明利用改進的BP神經網絡對未來數據進行預測具有實際可行性。
本文以2月11號3h的風電場數值天氣預報數據作為輸入，利用訓練好的改進后的BP神經網絡對未來3h的風電場可能輸出功率進行預測，預測誤差在12%左右，滿足國家電網公司對風電場功率預測的要求＼[9＼]。
4結語
對常規BP神經網絡進行了改進，加快了BP神經網絡的收斂速度，克服了BP神經網絡容易陷入局部最小點的缺點，增加了BP神經網絡的實用價值。
以某一風電場2月1-10日共10天的風電場數值天氣預報數據和風電場輸出功率數據為訓練樣本，對改進后的BP神經網絡進行訓練，訓練過程收斂速度快，訓練結果理想。利用訓練后的BP神經網絡對2月11號3h內的風電場輸出功率進行預測，預測結果滿足能源局要求。
參考文獻：
＼[1＼]國務院新聞辦公室.《中國的能源政策（2012）》白皮書＼[R＼].北京：新華社，2012.
＼[2＼]袁鐵江，晁勤，李義巖，等.大規模風電并網電力系統經濟調度中風電場出力的短期預測模型＼[J＼].中國電機工程學報，2010（13）.
＼[3＼]ZHENHAI GUO， JIE WUB， HAIYAN LU， et al. A case study on a hybrid wind speed forecasting method using BP neural network＼[J＼].KnowledgeBased Systems，2011（24）.
＼[4＼]MARIA GRAZIA DE GIORGI， ANTONIO FICARELLA， MARCO TARANTINO. Assessment of the benefits of numerical weather predictions in wind power forecasting based on statistical methods＼[J＼].Energy，2011（36）.
＼[5＼]J P S CATAL O， H M I POUSINHO. Hybrid waveletpsoanfis approach for shortterm wind power forecasting in portugal＼[J＼].IEEE Transactions on Sustainable Energy，2011（1）.
＼[6＼]方江曉，周暉，黃梅，等.基于統計聚類分析的短期風電功率預測＼[J＼].電力系統保護與控制，2011（11）.
＼[7＼]孟洋洋，盧繼平，孫華利，等.基于相似日和人工神經網絡的風電功率短期預測＼[J＼].電網技術，2010（12）.
神經網絡隱含層的作用范文4
【關鍵詞】傅里葉變換;BP神經網絡;自適應濾波
引言
BP神經網絡具有很強的非線性函數逼近、自適應學習和并行信息處理能力，為解決未知不確定非線性信息處理和自適應濾波提供了一條新途徑[1]。但隨著BP神經網絡輸入向量維數增加，其隱含層層數和學習次數也會相應增加，降低了網絡的自適應性且延長了學習時間。傅里葉變換是數字信號處理領域一種很重要的算法，其思想是將原始信號從時域變換到頻域，通過對頻譜圖的分析，去除高頻處的頻率分量，再將頻域變換回時域，達到信號去噪濾波的功能[2]。利用傅里葉變換與神經網絡相結合的方法，對信息進行預處理，減少信息處理量，再利用神經網絡強大的非線性函數逼近能力，從而實現信號的自適應濾波，減少網絡的待處理信息，增強網絡的自適應能力，其工作過程如圖1所示。
圖1
1.BP神經網絡模型
1.1 神經元結構模型
人工神經網絡是人腦的某種抽象、簡化或模擬，它由大量的神經元廣泛互聯而成。網絡的信息處理由神經元之間的相互作用來實現，網絡的學習和識別取決于神經元間連接權系數的動態演化過程[3]，其模型可以用圖2來表示。
輸入向量與輸出y之間的關系式;
其中權值向量，輸入向量，閾值，活化函數。
圖2
1.2 BP神經網絡
BP神經網絡（Back-Propagation Neural Network）是一種無反饋的前向網絡，網絡中的神經元分層排列，除了有輸入層、輸出層之外，還至少有一層隱含層，BP學習算法是調整權值使網絡總誤差最小。具有隱含層BP網絡的結構如圖3所示，圖中設有M個輸入節點，L個輸出節點，隱含層含有n個神經元。其中為網絡輸入向量，為實際輸出向量，為網絡的目標輸出，為網絡的輸出誤差。BP網絡學習流程：（1）網絡初始化，確定輸入向量與輸出向量的維數、目標向量、學習次數以及允許的誤差值。（2）輸入學習規則，初始化權值W。（3）計算輸出層的輸出與目標向量的誤差。（4）判斷誤差精度是否達到預定值，沒有則調整權值W并改變學習規則。（5）誤差精度達到預定值，學習結束。
圖3
2.BP神經網絡權值變換理論基礎
BP網絡的自適應過程，其實就是對輸出層權系數和隱含層權系數的調整的過程。記為第i層網絡節點輸出，為第j層網絡節點的輸入，則：
（1）
（2）
（3）
（4）
記二次型誤差函數：
（5）
3.數值仿真與分析
在MATLAB神經網絡工具箱中提供了實現BP神經網絡的創建，仿真環境以單輸入單輸出的非線性函數，分別作為輸入函數和目標函數。本文同時采取傅里葉變換、BP神經網絡以及基于傅里葉變換的BP神經網絡分別進行仿真濾波[5][6]，表1給出了三種算法在MATLAB軟件中的仿真主要步驟。
表1
三種算法在MATLAB中仿真處理方法
傅里葉變換 采樣點N=256，t=0：1/256：255/256，X=fft（x），前24個點不變，高頻部分置0，x=ifft（X）
BP神經網絡 N=256，t=0：1/256：255/256，T1=y（t），P1=x（t）， net=newff（P1，T1，900），學習次數2000，誤差精度0.01，[net，tr]=train（net，P1，T1）a1=sim（net，P1）;
基于傅里葉變換的BP神經網絡 X=fft（x），Y=fft（x），前24個點不變，高頻置0，T2=Y（1，1：24），P2=X（1，1：24）net=newff（P2，T2，200），學習次數1000誤差精度0.01，[net，tr]=train（net，P2，T2）
a2=sim（net，P2）;x=ifft（a2）;
圖4為y（t）與x（t）函數的波形圖，圖5是經傅里葉變換處理后的x（t）波形，圖6是BP網絡自適應濾波后的x（t）波形，圖7是基于傅里葉變換的BP網絡作用后的x（t）自適應濾波后的波形。通過比較圖5、6、7可以明顯看出傅里葉變換的濾波效果出現高頻振蕩，BP網絡自適應濾波在形狀上幾乎與元波形一致，但是在某些點位置出現疵點，而基于傅里葉變換的BP神經網絡自適應濾波后波形幾乎和目標函數y（t）波形完全一致。
圖4
圖5
圖6
圖7
4.結束語
本文通過三種算法在MATLAB中的仿真分析，可以得出在輸入向量維數比較大時，可以采用基于傅里葉變換的BP神經網絡的方法對含噪信息進行處理，不僅可以降低隱含層的層數，增加自適應能力和減少學習時間，而且在波形擬合上可以達到更好的效果。
參考文獻
[1]華，李雷，趙力.基于BP神經網絡的自適應補償控制方法[J].計算仿真，2012，29（7）：202-205.
[2]張德豐.MATLAB小波分析[M].北京：機械工業出版社，2009：39-48.
[3]楊芳，馬建偉.基于神經網絡自適應濾波的低頻Prony分析[J].中國水能及電氣化，2012，86（4）：32-37.
[4]李國勇，楊麗娟.神經模糊預測控制及其MATLAB實現[M].北京：電子工業出版社，2013：17-22.
神經網絡隱含層的作用范文5
【關鍵詞】 BP神經網絡； 疾病預測； BP算法； 精神分裂癥
BP神經網絡是人工神經網絡的一種，它通過模仿生物大腦神經系統信息處理功能實現輸入與輸出之間的任意非線性優化映射，有著傳統統計方法無法比擬的適應性、容錯性及自組織性等優點，特別是用傳統統計方法效果不好或不能達到目的時，采用BP神經網絡往往能收到較好的效果，它在疾病預測中有著廣闊的應用前景。
1 BP神經網絡基本結構及BP算法基本原理
BP神經網絡的基本處理單元是神經元（即節點），大量神經元廣泛連接構成神經網絡。BP網絡通常含有輸入層、隱含層（中間層）和輸出層，每層均包括多個神經元，輸入層與輸出層各有一層，隱含層根據需要可以設多層，也可不設。神經元之間通過權相互連接，前一層神經元只對下一層神經元作用，同層神經元之間無相互作用，權值的大小代表上一級神經元對下一級神經元的影響程度，如圖1 所示。網絡中作用于神經元的激勵函數通常采用的是S 型函數（sigmoid 可微函數），見式（1）。
f(x)=(1+e-Qx)-1（1）
式中Q 為調節激勵函數形式的參數，稱增益值。Q 值越大，S 形曲線越陡峭;反之，曲線越平坦，通常取Q =1。
BP算法(Back Propagation) 是為了解決多層前向神經網絡的權值調整而提出來的，也稱為反向傳播算法，即網絡權值的調整規則是向后傳播學習算法，具體來說，BP算法是建立在梯度下降法的基礎上的，訓練過程由正向傳播和反向 傳播組成，在正向傳播過程中，輸入信息由輸入層經隱含層逐層處理，并傳向輸出層，如果輸出層得不到期望的輸出，則轉入反向傳播，逐層遞歸的計算實際輸入與期望輸入的差即誤差，將誤差信號沿原來的連接通道返回，通過修改各層神經元的權值，最終使得誤差信號最小。
2 BP網絡的建模過程及模型設計要點
在流行病學中，可以應用BP網絡建立疾病的預測模型，建模的基本過程如下：首先收集導致疾病發生的主要影響因素及疾病發生的結果；然后把影響因素及疾病結果輸入到設計好神經網絡模型中進行反復訓練，直到網絡收斂（即達到預期的訓練誤差），在訓練過程中可適當采用一定的技巧使網絡的訓練速度最快、誤差最小、模型最優；最后用建立好的模型進行疾病預測。下面具體探討網絡模型的設計要點。
2.1 確定訓練樣本
訓練樣本應來源于研究總體的一個隨機無偏樣本，并且按隨機、對照、重復及盲法等原則收集資料、整理資料、分析資料，保證訓練結果的無偏性。訓練樣本含量適宜，含量過大會造成訓練速度偏慢，訓練結果過分逼近訓練集（或者說是該研究的外部真實性較差），使得網絡的推廣泛化能力降低，況且，大樣本的收集大大增加了工作量；樣本過小其代表性不夠，使訓練結果不夠可靠（或者說是該研究的內部真實性較差）。一般來說，網絡的結構越復雜，所需樣本越多，結構越簡單，所需樣本可相應減少。對于單層BP網絡可參照Logistic回歸對樣本含量的一般要求，當樣本含量與連接權的個數比為10：1時［1］，就基本能夠滿足要求，多層BP網絡的樣本量應在此基礎上根據網絡的復雜程度適當增加。
2.2 變量值的歸一化處理
歸一化處理的目的是把變量值歸一到區間［-1，1］內，此原因大致有兩個：一是因為BP網絡中非線性傳遞函數的值域一般在區間［-1，1］內，因此輸入及輸出變量的取值都限于這個區間之內。二是為了使輸入值（特別是那些比較大的輸入值）均落在Sigmoid傳遞函數變化較大的區間，使網絡的訓練速度最快，改善網絡的性能，當然如果輸入及輸出值原本就位于［0， 1］區間內，可不進行的歸一化處理，歸一化處理可采取以下兩種形式：
xbji=xji/ (xji，max-xji，min)(2)
xbji=xji/ (xji，max)(3)
上式中xbji 為歸一化后樣本中第j 個樣品的第i 個輸入變量，xji 為原始資料第j個樣品的第i 個輸入變量; xji，max 與xji，min 為原始資料第j 個樣品的第 i個輸入變量的最大值和最小值。
2.3 BP網絡的初始化
開始訓練時，首先進行網絡權值的初始化，這是因為如果初始權值選擇不當，有可能造成訓練時間過長，誤差平面陷入局部極?。?］，甚至不收縮。所以網絡的初始權值一般?。?1 1］之間的隨機數，這樣可保證每個神經元的權值都能夠在 型傳遞函數變化梯度最大的地方進行調節。
2.4 輸入層的設計
輸入層僅設一層，輸入神經元的個數與輸入變量的個數相同。
2.5 隱含層的設計
一是隱含層的層數，對BP網絡而言，一個三層BP網絡就可以完成任意的n維到m維的映射，一般情況下，采用單隱層的網絡就可滿足要求；二是隱含層神經元的個數，隱單元數目的確定比較復雜，與資料的特點、輸入輸出單元的數目都有關系，往往根據設計者的經驗和多次試驗來確定，本文采取類似于統計學中建立"最優"多元回歸方程中逐步向前法和向后法的方式來確定隱單元的數目，該方法如下：先根據以下公式［3］確定一個隱單元數的范圍，n1=n+m+a(4) 式中n 為輸入單元數，m 為輸出單元數，a 為［1，10］之間的常數。
然后放入足夠多的隱單元，通過訓練將那些不起作用的隱單元逐步剔除，直到不收縮為止（此即靈敏度修剪算法［4］）；或者在開始時放入比較少的神經元，逐步增加隱單元的數目，直到達到比較合理的隱單元數目為止。
2.6 輸出層的設計
輸出層僅有一層，輸出層神經元的個數與所希望得出的預測變量數目相等。
3 其它需要注意的問題
如何提高網絡的泛化能力。網絡的泛化能力，通俗的說就是網絡對新樣本的預測能力。網絡的泛化能力與網絡的結構和訓練樣本的特性有關，一般說來，網絡的隱節點數與隱層數越少，網絡的泛化能力越強，因此在實際應用時盡可能采用較少的隱節點數和隱層數來得到較優的網絡，另外，加入噪聲等也可以提高網絡的泛化能力［5］。
如何提高網絡的訓練速度與收斂速度。為提高訓練速度，可采用變化的學習速率或自適應的學習速率［6］。
如何克服局部極小。BP算法可以使權值收縮到某個值，但并不能保證其誤差平面的全局最小值，這是因為采用梯度下降發可能會產生一個局部最小值。對于這個問題，可采用附加動量法［7］、遺傳算法等。
4 模型擬合實例
某市通過隨機抽樣、多因素逐步Logistic回歸分析該市的4所精神病醫院的精神分裂癥新發病例及其對照各131例，篩選出影響精神分裂癥發病的主要因素共10個：X1(本人學歷)、X2（母親學歷）、X3（婚姻狀況）、X4（事件經歷史）、X5（性格）、X6（工作學習壓力）、X7（母親孕齡）、X8（出生體重）、X9（家族史）、X10（非雙親撫養史）。變量賦值如表1。表1 精神分裂癥發病影響因素及量化（略）
4.1 確定訓練樣本及測試樣本。以上述131對樣品作為訓練樣本，另外選取精神分裂癥患者及正常人各20例作為測試樣本。
4.2 設計合適的神經網絡參數。輸入神經元10個，單層隱含層，隱含層神經元數目4~13個之間，通過靈敏度修剪算法確定隱含層的最佳神經元個數，輸出層神經元個數為1；訓練次數1000次，訓練目標0.01，學習速率0.1；隱含層采用 型正切函數tansig，輸出層采用 型對數函數logsig ，網絡訓練的函數設定為trainlm。
4.3 編寫程序。應用Matlab7.0編寫BP神經網絡程序如下：p=［ 0 1 3 1 0 0 3 0 1 0;0 1 1 2 2 1 4 1 2 1;......］ '; %輸入訓練樣本的輸入變量p
for i=1:10
P(i，:)=(p(i，:)-min(p(i，:)))/(max(p(i，:))-min(p(i，:)));
%輸入變量的歸一化處理
end t=［1 1 1 1 1 1 1...... ］'; %輸入訓練樣本的輸出變量tthreshold=［0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1;0 1］;
%限定輸入變量的最大值與最小值no=［4 5 6 7 8 9 10 11 12 13 14］;%隱含層神經元的個數 for i=1:11net=newff(threshold，K［no(i)，1］，{ 'tansig'，'logsig'}，'trainlm');
%設定網絡訓練函數net.trainParam.epochs=1000; %設定訓練次數net.trainParam.goal=0.01; %設定訓練目標LP.lr=0.1;%設定學習速率net=init(net); %網絡的初始化net=train(net，P，t); %網絡訓練
p_test=［0 1 3 1 0 0 3 0 1 0;0 1 1 2 2 1 4 1 2 1;......］'; %輸入預測樣本的輸入變量for i=1:10
P_test(i，:)=(p_test(i，:)-min(p_test(i，:)))/(max(p_test(i，:))-min(p_test(i，:))); %歸一化處理 end
Out=sim(net，P_test); %輸出預測變量X=［1 1 1 1 1 1 1 1......］; %輸入預測樣本的實際結果
plot(1:40，X-Out); %繪制預測誤差曲線
4.4 訓練結果。通過反復訓練發現，當隱含層神經元個數為8時，網絡的訓練速度最快，僅需要9次訓練便達到到了預期的訓練誤差，訓練的速度也比均勻，網絡振蕩最小。
4.5 測試樣本的前瞻性考核。把40個測試樣本的調查資料輸入上述訓練好的BP神經網絡模型進行前瞻性考核，如果按照預報誤差大于0.05時為預測錯誤的標準，則病例中有2例預測錯誤，正常人有3例預測錯誤，靈敏度及特異度分別為90%、85%，預測的一致率為87.5%，前瞻性考核的效果較好，通過預測誤差曲線也可看出，如圖2。
5 討論
BP神經網絡是一種非傳統的多元非線性模型，可以識別變量間復雜的非線性關系，功能十分強大，而且無論變量是何種類型，是否滿足正態性、獨立性等條件均可用于BP網絡建模。疾病的發病過程亦是一個受多因素影響的復雜過程，利用傳統的統計方法預測疾病的發生過程往往存在很大的局限性，而BP神經網絡的優點恰恰適合預測疾病的發生過程。BP神經網絡的設計直接關系到網絡的應用效果，在應用時按照資料的特點從每一細節考慮網絡的設計。當然，BP網絡在流行病學領域的應用剛剛起步，尚存在一些問題有待解決，如權重系數的假設檢驗，計算權重系數的可信區間，含隱含層時權重系數的流行病學意義，輸入變量的選擇等都還需要進一步研究。
參考文獻
1 Martin S，Werner V，Reinhard R．Neural networks and logostoc regression：Part I．Comp Stat Data Analy ，1996，21:661.
2 Haykin，S.神經網絡原理(葉世偉等譯).第2版.機械工業出版社，2004.
3 飛思科技產品研發中心.神經網絡理論與MATLAB7實現.第1版.電子工業出版社，2005 .
4 鄧偉，金丕煥，林果為.BP神經網絡修剪算法篩選白血病預后危險因素.復旦學報（醫 學版），2003，2：154~157.
5 HolmstromL，KoistinenP -Using Additive Noise in Back-Propagation-IEEE Trans·Neural Networks.1992，3：24~38.
6 張洪，鄒樂君，沈曉華. BP神經網絡在測井巖性識別中的應用.地質與勘探 ，2002，38(6)：63~65.
神經網絡隱含層的作用范文6
【關鍵詞】故障診斷；神經網絡；隱含層；訓練函數
隨著國民經濟的持續、高效、健康的發展，電力工業進入了智能電網發展階段。在電力系統向超高壓、大電網、大容量、自動化方向發展的同時，提高電氣設備的運行可靠性顯得尤為重要。電力變壓器是電力系統中最重要的電氣設備之一，其運行狀態直接影響到系統的安全性水平。因此，研究變壓器故障診斷技術，提高變壓器的運行維護水平，具有重要的現實意義。
過熱性故障和高能放電故障是運行中的充油電力變壓器故障的主要類型，典型故障分為六種：高溫過熱、中溫過熱、低溫過熱、高能放電、低能放電、高能放電兼過熱[1]。油中溶解氣體分析法（Dissolved Gas Analysis，DGA）是目前判斷變壓器故障性質的重要方法。它以變壓器油中溶解的氫氣（H2），甲烷（CH4），乙炔（C2H2），乙烯（C2H4），乙烷（C2H6）氣體的組分、含量及產氣速率來判斷變壓器的故障[2]。
在實際應用中，由于故障分類本身存在模糊性，一種故障狀態可能引起多種故障特征，而一種故障特征也可在不同程度上反映多種故障狀態，當有多種故障聯合作用時，傳統的DGA方法易出現誤判。本文采用BP神經網絡對變壓器故障診斷進行研究。
1.BP神經網絡
神經網絡是由大量的處理單元（神經元）互相連接而成的網絡，為了模擬大腦的基本特征，在神經科學研究的基礎上，提出了神經網絡模型。BP（Back-Propagation Network，反向傳播網絡）是一個前向多層網絡，利用誤差反向傳播算法對網絡進行訓練，在函數逼近、模式識別、信息分類及數據壓縮等領域都得到了廣泛的應用[3]。
典型的BP神經網絡有輸入層、隱含層和輸出層，如圖1所示。
設系統有r個輸入，m個輸出，選擇j個隱含層，w1（r，j）和w2（j，m）表示各層權值，b1j和b2m表示各層閾值，f1和f2各層傳輸函數，通常選擇非線性函數，則各層輸出滿足：
BP網絡的學習過程分為兩個階段：第一個階段是輸入已知學習樣本，通過設置的網絡結構和前一次迭代的權值和閾值，從網絡的第一層向后計算各神經元的輸出；第二階段是從最后一層向前計算各權值和閾值對總誤差的影響（梯度），據此對各權值和閾值進行修改。使總的誤差向減小的方向變化，直至達到所要求的誤差性能為止。
BP神經網絡是一種大規模的分布式并行處理系統，具有自組織性和自學習性，能夠很好地解決傳統方法不能解決的具有高度非線性、耦合性、多變量性系統的建模問題。
2.建立變壓器故障診斷模型
結合DGA方法，選取氫氣（H2），甲烷（CH4），乙烷（C2H6），乙烯（C2H4），乙炔（C2H2）為故障診斷的五種特征氣體，以其組分含量占總含量的百分比作為神經網絡的輸入向量，輸出層用低溫過熱、中溫過熱、高溫過熱、低能放電、高能放電、高能放電兼過熱作為輸出神經元，分別表示為001、010、011、100、101、110。表1為21組樣本數據，前15組作為訓練樣本，后6組作為測試樣本。（如表1）
對任何在閉區間內的連續函數，都可以用一個隱含層的BP神經網絡實現任意輸入到輸出的映射關系，但是隱含層神經元數目選擇是一個十分復雜的問題。隱含層神經元數目過少，則網絡所能獲取的用以解決問題的信息太少；若數目太多，不僅增加訓練時間，還會導致學習時間過長。
根據經驗公式：
其中：n1為隱含層單元數，n為輸入單元數，m為輸出單元數，a為[1，10]之間的常數，確定出隱含層數的范圍為[4，13]。
采用MATLAB軟件，設置傳輸函數為“logsig”，訓練函數為“traingd”，學習函數為“learngdm”，訓練次數設為5000，訓練目標的均方誤差為0.01，學習速率0.05，在初始化權值和閾值相同的基礎上，改變隱含層的數目，對訓練樣本進行訓練仿真，訓練結果如表2所示。
從表2中可以看出，隱含層數目為12時，訓練次數較少，其性能指標為佳（如圖2），故選擇5-12-3型BP神經網絡用于構建變壓器故障診斷模型。
3.BP神經網絡訓練函數的選擇
變壓器故障診斷模型建立之后，用訓練樣本對網絡模型進行訓練，確定出適合網絡收斂的權值和閾值。在網絡結構參數相同、訓練樣本相同的情況下，依次采用表3中的訓練函數進行訓練，結果如表3所示。
根據訓練結果，彈性BP算法訓練次數相對較少，原因在于該算法在進行權值修正時取決于與幅值無關的修正量，消除了梯度幅值的不利影響?；?-12-3結構的BP神經網絡，采用改進的彈性BP算法，對測試樣本進行仿真，能夠得出準確地變壓器故障診斷結論。
4.結論
通過對變壓器故障診斷模型的確立與仿真結果分析，BP神經網絡具有較好的應用效果，多種改進的BP算法（除了動量BP算法）能較好地提高網絡的收斂速度，對網絡模型的性能有較大的改善。
參考文獻
[1]王曉鶯著.變壓器故障與監測[M].北京：機械工業出版社，2004.
[2]李儉.大型電力變壓器以油中溶解氣體為特征量的內部故障診斷模型研究[D].重慶大學，2001：26-28.
[3]張德豐，等.MATLAB神經網絡應用設計（第二版）[M].北京：機械工業出版社，2012，3.
[4]沈花玉，等.BP神經網絡隱含層單元數的確定[J].天津理工大學學報，2008，24（5）：13-15.
