訓練神經網絡的優化方法范例6篇

前言:中文期刊網精心挑選了訓練神經網絡的優化方法范文供你參考和學習,希望我們的參考范文能激發你的文章創作靈感,歡迎閱讀。

訓練神經網絡的優化方法

訓練神經網絡的優化方法范文1

【關鍵詞】遺傳算法;BP神經網絡;柴油機;故障診斷

柴油機缸蓋振動信號中包含著豐富的工作狀態信息,在對其現代診斷技術中,基于振動信號分析的診斷方法顯示出了其優越性,利用缸蓋振動信號診斷柴油機故障是一種有效方法。故障特征的提取和故障類型的識別是利用振動信號分析法在對柴油機進行故障診斷過程中兩個最為重要的過程。根據提取的故障特征識別柴油機的故障類型是一個典型的模式識別問題,對柴油機故障類型識別采用恰當的模式識別方法就尤為重要。神經網絡作為一種自適應的模式識別技術,其通過自身的學習機制自動形成所要求的決策區域,而不需要預先給出有關模式的經驗知識和判斷函數;它可以充分利用狀態信息,對來自于不同狀態的信息逐一進行訓練而獲得某種映射關系。鑒于其自身特性,在故障模式識別領域中有著越來越廣泛的應用。而據統計,有80%~90%的神經網絡模型都是采用了BP網絡或者是它的變形。BP網絡是前向網絡的核心部分,是神經網絡中最精華、最完美的部分。但是它也存在一些缺陷,例如學習收斂速度、不能保證收斂到全局最小點、網絡結構不易確定。遺傳算法是一種基于生物自然選擇與遺傳機理的隨機搜索算法。其基本操作是選擇、交叉和變異,核心內容是參數編碼、初始群體的設定、適應度函數的設計、遺傳操作設計和控制參數的設定。遺傳算法通過種群隨機搜索,對數據進行并行處理,將結果收斂到全局最優解。因此,將遺傳算法與BP神經網絡結合應用于柴油機故障診斷中,可以提高網絡的性能,避免網絡陷入局部極小解,進而實現對設備故障的識別。

1 BP神經網絡

1.1 BP神經元模型在柴油機故障診斷中的應用

BP神經網絡是一種多層前饋型神經網絡,其神經元的傳遞是S型函數,輸出量為0至1之間的連續量,它可以實現從輸入到輸出的任意非線性映射。由于權值的調整采用反向傳播學習算法,因此也稱為其為BP網絡。

圖1 BP神經元模型

上圖給出一個基本的BP神經元模型,它具有R個輸入,每個輸入都通過一個適當的權值和ω下一層相連,網絡輸入可表示為:

a=f(wp+b)

f就是表示輸入/輸出關系的傳遞函數。

BP神經網絡的結構與所有影響齒輪故障的特征因素有關。柴油機運動部件多而復雜,激勵源眾多且其頻率范圍寬廣,加之噪聲的融入,使得柴油機表面振動信號極為復雜?;谶@種特點,可以確定用于柴油機故障診斷的BP神經網絡的輸入層、輸出層隱含層以及節點數等。由小波包提取各柴油機故障的特征值作為輸入節點,輸出節點數目與柴油機故障類別的數目有關。

1.2 BP神經網絡與遺傳算法

BP神經網絡又稱為反向傳播算法,其算法數學意義明確、步驟分明,是神經網絡中最為常用、最有效、最活躍的一種網絡模型。常用方法梯度下降法和動量法,但是梯度下降法訓練速度較慢,效率比較低,訓練易陷入癱瘓,而且其實質是單點搜索算法,不具有全局搜索能力;動量法因為學習率的提高通常比單純的梯度下降法要快一些,但在實際應用中速度還是不夠;BP神經網絡學習訓練開始時網絡的結構參數是隨機給定的,因此結果存在一定的隨機性。

遺傳算法(Genetic Algorithm,GA)是模擬達爾文的遺傳選擇和自然淘汰的生物進化過程的計算模型,它是由美國密歇根大學的J.Holland 教授于1975年首先提出來的,遺傳算法具有很強的宏觀搜索能力和良好的全局優化性能,因此將遺傳算法與BP神經網絡結合,訓練時先用遺傳算法對神經網絡的權值進行尋找,將搜索范圍縮小后,再利用BP網絡來進行精確求解,可以達到全局尋找和快速高效的目的,并且可以避免局部極小點問題。該算法不僅具有全局搜索能力,而且提高了局部搜索能力,從而增強了在搜索過程中自動獲取和積累搜索空間知識及自應用地控制搜索的能力,從而使結果的性質得以極大的改善。

2 基于遺傳算法的BP神經網絡

遺傳算法優化BP神經網絡主要分為:BP神經網絡結構確定、遺傳算法優化權值和閥值、BP神經網絡訓練及預測。其中,BP神經網絡的拓撲結構是根據樣本的輸入/輸出個數確定的,這樣就可以確定遺傳算法優化參數的個數,從而確定種群個體的編碼長度。因為遺傳算法優化參數是BP神經網絡的初始權值和閥值,只要網絡結構已知,權值和閥值的個數就已知了。神經網絡的權值和閥值一般是通過隨機初始化為[-0.5,0.5]區間的隨機數,這個初始化參數對網絡訓練的影響很大,但是又無法準確獲得,對于相同的初始權重值和閥值,網絡的訓練結果是一樣的,引入遺傳算法就是為了優化出最佳的初始權值和閥值。

2.1 基于遺傳算法的BP神經網絡在柴油機故障診斷中的應用

通過基于遺傳算法的BP神經網絡建立小波包特征量與故障之間的對應關系。表1為柴油機常見故障在不同頻段的能量分布,構成了人工神經網絡的訓練樣本。表2為網絡輸出樣本,“0”代表沒有故障,“1”代表發生故障。利用表1中的訓練樣本對基于遺傳算法的BP神經網絡進行訓練,經1000次訓練達到了理想訓練效果。

表1 訓練樣本

表2 網絡理想輸出

表3 待診斷的故障樣本

表4 診斷結果

將表3中的待診斷的故障樣本輸入到已經訓練好的BP神經網絡,得到診斷結果如表4所示。第1組待診斷的信號第1個輸出節點接近1,可以根據訓練樣本結果判斷該組數據故障為供油提前角晚;第2組待診斷的信號第4個輸出節點接近1,根據訓練樣本結果可以判斷該組數據故障類型為供油提前角早;第3組待診斷的信號第7個數據節點接近1 ,可以判斷故障類型為針閥卡死,其診斷結果和現場勘查結果一致。

3 結語

遺傳算法優化BP神經網絡的目的是通過遺傳算法得到更好的網絡初始值和閥值。通過以上研究可以看出,遺傳算法和BP算法有機的融合,可以有效地彌補BP神經網絡結構、權值和閥值選擇上的隨機性缺陷,充分利用了遺傳算法的全局搜索能力和BP神經網絡的局部搜索能力,克服了傳統的BP神經網絡柴油機故障診斷的缺點,提高了柴油機故障診斷的精度。

【參考文獻】

訓練神經網絡的優化方法范文2

關鍵詞:電阻點焊;神經網絡;消音鋸片

0序言

電阻點焊過程是一個高度非線性,既有多變量靜態疊加又有動態耦合,同時又具有大量隨機不確定因素的復雜過程。這種復雜性使得傳統方法確定最佳工藝參數存在操作復雜、精度低等缺陷。

本文通過深入研究提出了一種神經網絡優化消音鋸片電阻點焊工藝參數方法。以試驗數據為樣本,通過神經網絡,建立焊接工藝參數與焊接性能之間的復雜模型,充分發揮神經網絡的非線性映射能力。為準確預測點焊質量提高依據。在運用試驗手段、神經網絡高度非線性擬合能力結合的方式,能在很大程度上克服傳統方法的缺陷,完成網絡的訓練、檢驗和最優評價,為電阻點焊過程的決策和控制提供可靠依據。

1原理

人工神經網絡是用物理模型模擬生物神經網絡的基本功能和結構,可以在未知被控對象和業務模型情況下達到學習的目的。建立神經網絡是利用神經網絡高度并行的信息處理能力,較強的非線性映射能力及自適應學習能力,同時為消除復雜系統的制約因素提供了手段。人工神經網絡在足夠多的樣本數據的基礎上,可以很好地比較任意復雜的非線性函數。另外,神經網絡的并行結構可用硬件實現的方法進行開發。目前應用最成熟最廣泛的一種神經網絡是前饋多層神經網絡(BP),通常稱為BP神經網絡。

神經網絡方法的基本思想是:神經網絡模型的網絡輸入與神經網絡輸出的數學關系用以表示系統的結構參數與系統動態參數之間的復雜的物理關系,即訓練。我們發現利用經過訓練的模型進行權值和閾值的再修改和優化(稱之為學習)時,其計算速度要大大快于基于其他優化計算的速度。

BP神經網絡一般由大量的非線性處理單元——神經元連接組成的。具有大規模并行處理信息能力和極強的的容錯性。每個神經元有一個單一的輸出,但可以把這個輸出量與下一層的多個神經元相連,每個連接通路對應一個連接權系數。根據功能可以把神經網絡分為輸入層,隱含層(一或多層),輸出層三個部分。設每層輸入為ui(q)輸出為vi(q)。同時,給定了P組輸入和輸出樣本 ,dp(p=200)。

(6)

該網絡實質上是對任意非線性映射關系的一種逼近,由于采用的是全局逼近的方法,因而BP網絡具有較好的泛化的能力。

我們主要是利用神經網絡的非線性自適應能力,將它用于消音鋸片的電阻點焊過程。訓練過程是:通過點焊實驗獲得目標函數與各影響因素間的離散關系,用神經網絡的隱式來表達輸入輸出的函數關系,即將實驗數據作為樣本輸入網絡進行訓練,建立輸入輸出之間的非線性映射關系,并將知識信息儲存在連接權上,從而利用網絡的記憶功能形成一個函數。不斷地迭代可以達到sse(誤差平方和)最小。

我們這次做的消音金剛石鋸片電焊機,通過實驗發現可以通過采用雙隱層BP神經網絡就可以很好的反應輸入輸出參數的非線性關系。輸入神經元為3,分別對應3個電阻點焊工藝參數。輸出神經元為1,對應焊接質量指標參數。設第1隱含層神經元取為s1,第2隱含層神經元取為s2。輸入層和隱含層以及隱層之間的激活函數都選取Log-Sigmoid型函數,輸出層的激活函數選取Pureline型函數。

2點焊樣本的選取

影響點焊質量的參數有很多,我們選取點焊時的控制參數,即點焊時間,電極力和焊接電流,在固定式點焊機上進行實驗。選用鋼種為50Mn2V,Φ600m的消音型薄型圓鋸片基體為進行實驗。對需要優化的參數為點焊時間,電極力和焊接電流3個參數進行的訓練。最后的結果為焊接質量,通常以鋸片的抗拉剪載荷為指標。

建立BP神經網絡時,選擇樣本非常重要。樣本的選取關系到所建立的網絡模型能否正確反映所選點焊參數和輸出之間的關系。利用插值法,將輸入變量在較理想的區間均勻分布取值,如果有m個輸入量,每個輸入量均勻取n個值(即每個輸入量有m個水平數), 則根據排列組合有nm個樣本。對應于本例,有3個輸入量,每個變量有5個水平數,這樣訓練樣本的數目就為53=125個。

我們的實驗,是以工人的經驗為參考依據,發現點焊時間范圍為2~8s,電極力范圍為500~3000N,點焊電流范圍為5~20kA時,焊接質量比較好。我們先取點焊電流,電極力為定量,在合理的范圍內不斷改變點焊時間,得到抗拉剪載荷。如此,可以得到不同點焊電流和電極力的抗拉剪載荷。根據點焊數據的情況,我們共選用200組數據。部分測試數據如表1:

神經網絡建模的關鍵是訓練,而訓練時隨著輸入參數個數的增加樣本的排列組合數也急劇增加,這就給神經網絡建模帶來了很大的工作量,甚至于無法達到訓練目的。

3神經網絡

我們用200組訓練樣本對進行神經網絡訓練,以err_goal=0.01為目標。調用Matlab神經網絡工具箱中的函數編程計算,實現對網絡的訓練,訓練完成后便得到一個網絡模型。

程序如下:

x1=[2.1 2.5 3 3.5 4……]; %點焊時間輸入,取200組

x2=[1.3 1.5 1.9 2.1 2.3……];%電極力輸入,取200組

x3=[9 10 11 12 13……];%點焊電流輸入,取200組

y=[2756 3167 3895 3264 2877……]; %輸出量,取200組

net=newff([1 10;0.5 3;5 20],[10 10 1],{'tansig''tansig''purelin'});

%初始化網絡

net.trainParam.goal = 0.01;%設定目標值

net=train(net,[x1;x2;x3],y);%訓練網絡

figure; %畫出圖像

選取不同的s1,s2,經過不斷的神經網絡訓練,發現當s1=8,s2=6時,神經網絡可以達到要求。工具箱示意圖如下圖1。

圖 1工具箱示意圖

工具箱示意圖非常清晰地表示了本實驗的神經網絡的輸入,輸出以及訓練的過程。

神經網絡的訓練結果,如圖2所示:

圖2神經網絡的學習過程

圖中可以看出雙層網絡訓練的sse在訓練100次時,已經接近0.0001,效果較理想。

為了驗證經過訓練的網絡模型的泛化能力,在輸入變量所允許的區域內又另選多個樣本進行了計算。發現:利用BP神經網絡模型計算的測試輸出與期望輸出值相符,誤差小于2%。

在已經訓練好的網絡中找出最大值:

for i=2:10 %點焊時間選擇

for j=0.5:0.1:3%電極力選擇

fork=5:0.1:20%點焊電流選擇

a=sim(net,[i,j,k]);%仿真

ifa>n %比較仿真結果與最大值,取最大值n=a;

i(1)=i;%最大值的時間

j(1)=j;%最大值的電極力

k(1)=k; %最大值的電流

end

end

end

end

將i(1),j(1),k(1)以及n輸出,n為最大值。得到點焊時間為3.4s,電極力為12.7kN,點焊電流為11.8kA,此時的抗剪拉剪載荷為4381N,為訓練結果的最大值。將點焊時間為3.4s,電極力為12.7kN,點焊電流為11.8kA在點焊機上進行實驗,得到結果為4297N。并且通過與實際的結果相比較,發現誤差也在2%以內。

4結論

1)本文采用了插值法作為選取BP神經網絡訓練樣本的方法。并且在數據變化劇烈的地方多選取了75組數據,這樣可以得到較高精度的網絡模型,使點焊模型的可行性。

2)基于此方法建立了三個點焊參數的BP神經網絡模型,而且所建的BP模型具有較高的精度,可以很好的描述了這三個點焊參數與點焊質量的映射關系。

3)由于神經網絡模型將系統結構參數與傳統動態特性參數之間的物理關系,反映為神經網絡模型的網絡輸入與網絡輸出的數學關系,因此,在神經網絡模型上進行結構修正與優化比在其他模型上更直接,簡單與高效。

本文采用神經網絡的方法優化復合消音鋸片的點焊工藝參數,為分析點焊質量提供了很好的輔助手段。通過與以前工藝相比較,提高了點焊質量。

參考文獻

[1] 方平,熊麗云.點焊電流有效值神經網絡實時計算方法研究.[J].機械工程學報,2004(11).148-152.

訓練神經網絡的優化方法范文3

【摘要】

人工神經網絡模擬人腦生物神經網絡系統處理信息的方式,是通過經驗而不是通過設計好的程序進行學習、訓練,這些構成了人工神經網絡具有模式識別、預測、評價和優化決策等能力的基礎。本文就神經網絡近年來在藥劑學的處方設計及優化、制備工藝及體內體外相關性評價等方面的應用做一綜述。

【關鍵詞】 人工神經網絡;藥物制劑

Abstract:Artificial neural networks simulating the process of human brains nerve systems to deal with information,which learning and training date according with the experience other than the designed programme,is the base of the ability that the artificial neural network could be used for pattern distinguish,prediction and optimization etc.This papertbriefly reviewed the application of neural networks in pharmaceutical fields,such as formulation optimization,preparation parameters optimization and in vitro-in vivo correlation evaluation.

Key words:artificial neural networks;pharmaceutic

藥物制劑研究是一個復雜的過程,包括制劑處方,制劑制備工藝及制劑體內體外評價等,其中任何一個方面都屬于多因素,多水平的復雜優化問題。例如處方設計過程中涉及不同質量不同用量的各種敷料配比及壓力、溫度、水分等,這些因素直接影響劑型的安全性和有效性;制劑設備工藝涉及眾多紛繁復雜的工藝參數優化,制劑體內體外評價更是受生物系統的極端復雜性影響。過去人們通常依靠某一方面的專家來承擔相應的工作,免不了受許多經驗化主觀因素的影響,效率較低,而基于人工智能的神經網絡則很適于處理這類復雜的多變量非線性系統,并可通過網絡的預測能力實現多因素的同步優化[1-3]。

1 神經網絡理論

人工神經網絡(artificial neural network)是一種由大量簡單處理單元以某種方式相互連接而成,對連續的輸入做出狀態響應的動態信息處理系統。它模擬人腦生物神經網絡系統處理信息的方式,通過經驗而不是通過設計好的程序進行學習、訓練。因此,人工神經網絡具有人腦的某些重要特性,如聯想記憶、并行處理、自學習、自組織、自適應和容錯性等能力,這些構成了人工神經網絡具有模式識別、預測評價和優化決策等能力的基礎。

如圖1所示,這是含有一個隱含層的神經網絡示意圖,其中空心圓圈表示神經元,神經元是神經網絡(neural network)的基本單元,也稱為節點。每層中可以包含多個節點,多層節點之間按一定的方式相互連接構成神經網絡。神經網絡的信息處理功能由神經元的輸入和輸出、網絡的拓撲結構、連接權的大?。ㄍ挥|聯系強度)以及神經元的閾值所決定的。輸入層節點的輸入變量為自變量(樣本圖1 神經網絡結構示意圖

Fig.1 Delineation of structure of artificial neural networks

參數),輸出層節點的輸出變量為應變量(目標函數),當多個輸入進入神經元后,其加權求和值超過神經元的閾值后會形成輸出,通過連接權連接,傳遞到下一層神經元,作為下一層神經元的輸入值,這樣按網絡的拓撲結構依次傳遞。根據神經網絡的計算原理,每一神經元的輸入值將更新變化,最后到達輸出層。將輸出值與樣本的期望輸出值進行比較,計算出誤差,按學習規律將誤差反向傳播到前一層神經元,調整連接權大小,重新計算,再輸出。如此反復,直到訓練集樣本輸出誤差和達到期望值。至此得到固定的連接權值,就達到對未知樣本進行預測和分析。其中網絡的信息主要儲存在連接權中[4]。

根據神經元之間的相互結合關系和作用方式,神經網絡模型可以分為很多種,其中反向傳播神經網絡(back-propagation neural network)即BP[5]神經網絡是目前藥劑領域中應用最廣泛、計算能力最強的人工神經網絡模型之一。由于這種網絡的權值和閾值調整采用了反向傳播的學習算法,解決了感知器所不能解決的問題,可以實現從輸入到輸出的任意非線性映射。在確定了網絡的結構后,利用輸入樣本集對其進行訓練,即對網絡的權值和閾值進行學習和調整。經過訓練的BP網絡,對于不是樣本集中的輸入樣本也能給出合適的輸出,利用這種方式可以使用該網絡對未知樣本進行預測。

2 人工神經網絡在藥劑中的應用

2.1 藥物制劑處方設計及優化

制劑處方設計及優化是目前神經網絡在藥物制劑中應用最多[6-11],也是比較有發展前景的方向之一,尤其是應用于緩控釋制劑的處方優化和設計中。

梁文權[12]等將人工神經網絡應用于優化HPMC緩釋片處方。以藥物的溶解度、含藥量、HPMC的量、HPMC的固有黏度、輔料的量、黏合劑的濃度、溶出儀的轉速為神經網絡的輸入,藥物的累計釋放量作為輸出,采用BP網絡對52個樣本進行訓練,建立BP神經網絡模型。然后與優化算法相結合實現對乙酰氨基酚、甲氧芐氨嘧啶、米諾地爾、氧氟沙星等模型藥物在不同的含藥量、不同轉速條件下的處方進行優化。試驗結果發現利用神經網絡預測藥物的釋放、訓練處方和測試處方的實測值和預測值能很好吻合,得到的4個優化處方的釋放值均和目標值很接近。魏曉紅[13]等選取9種藥物作為模型藥物,按HPMC:糊精=5-0.2∶1配比制成不同釋放度的緩釋片,測定各個處方的釋放度,以每個藥物的溶解度和處方中HPMC∶糊精的配比值作為網絡的輸入,以釋放度測量中每個給定取樣時間點藥物的累積釋放量作為輸出變量,得到含一個隱含層,迭代次數為25次的BP神經網絡,通過優化,成功擬定了4個制劑處方,按此處方制備的緩釋片的實測釋放值與神經網絡預測值相符。根據此法,可以從藥物的溶解度設計符合一定釋放度要求的緩釋制劑處方。

駱快燕[14]等用干壓包衣技術制備卡托普利延時起效延緩片時,用人工神經網絡預測釋藥時滯。運用一個3層BP神經網絡,以釋放度作為輸入層神經元,以對應時間點作為輸出層神經元,得到一個含8個隱含層神經元的BP網絡,其中變換函數為雙曲正切函數,學習規則為歸一化累積Delta規則,目標誤差為0.001,學習速率為0.01。神經網絡預測釋藥時滯結果為后面用SAS進行多元線性回歸提供了可靠的數據,使預測優化處方很快達到設計要求。

吳濤等[15]在硫酸沙丁胺醇滲透泵控釋片的處方篩選中采用反應曲面法和人工神經網絡法優化法。選擇包衣液中PEG 1 500含量與包衣膜的厚度為網絡的輸入因素,以各個處方1~8小時的積累釋放度對實踐的相關系數和各處方8小時的累積釋放度為輸出因素,在36個實驗處方中隨機抽取24個作為網絡的訓練數據,其余作為網絡的測試數據檢測網絡預測性能,建立了含一個隱含層的BP神經網絡建立模型,最后根據預測結果實現處方優化。比較結果證實神經網絡方法較優。

2.2 藥物制劑制備工藝方面的應用

藥物劑型的制備工藝過程中,存在著諸如溫度、壓力、粘度、流速等諸多影響因素,這些工藝參數與制劑質量指標之間往往存在很強的非線性和耦合性,很難用傳統的方法建立有效的質量控制模型。基于人工智能的人工神經網絡具有辨識和逼近任意復雜非線性系統的能力,而且具有一定的容錯能力,可以同步優化制備工藝中的多個工藝參數[16]。

張宇飛等[17]收集某大型中藥企業滴丸制劑生產線的100多個生產批次,每個批次包含多個數據的樣本作為神經網絡訓練集,設計了一個具有三個層的BP神經網絡,輸入層的5個節點分別為化料溫度,化料時間,滴制溫度,滴制速度及冷凝溫度;輸出層的結點為滴丸成品率,建立了某滴丸制劑過程工藝參數與滴丸成品率之間的神經網絡映射模型。然后利用遺傳算法對模型輸入參數空間進行尋優,搜索使滴丸成品率達到最優時所對應的工藝參數值。經生產試制,利用優化后的工藝參數值進行生產,能使該制劑過程的成品率提高約2.6個百分點,表明利用神經網絡與遺傳算法對制劑過程進行建模與優化是合理的,該項目屬于國家863高技術研究發展計劃項目。

2.3 藥物制劑體內-體外相關性評價的應用

建立體內外相關性評價方法對藥物制劑研究非常重要。一個好的體內外相關性模型應能使預測值與實測值相互吻合,從而用體外的釋藥數據預測藥物的體內過程,設計與已知制劑生物等效的制劑,或者制定藥物制劑的質量標準及指導臨床用藥。但是生物系統是極其復雜的,藥物在體內的代謝過程也是相當復雜的,使得判定藥物療效與生物學、藥物動力學及藥物分布等各因素之間的關系非常困難[18]。人工神經網絡是模擬生物神經系統對外界系統的認知過程,它給我們提供了一個很好的研究體內外相關性的方法[19-20]。

李凌冰[21]等采用人工神經網絡結合Wagner-Nelson法,研究氯氮平非pH依賴型緩釋片的體內體外相關性。以處方中HPMC與琥珀酸的用量為神經網絡輸入變量,考慮到緩控釋制劑的特點,以2h的血藥濃度,12h的血藥濃度一時間曲線下面積AUCl2,以及血藥濃度的峰值(max數據為輸出,建立了氯氮平非pH依賴型緩釋制劑處方組成和血藥濃度之間的關系模型。以此為基礎,繪制輸出三個輸出變量的等高線圖譜,分別在3個等高線圖譜上標記最佳變量所取值的范圍,將3個圖中的最佳區域結合在一起從而求得生物利用度最佳的處方。李凌冰等[22]應用人工神經網絡研究紅霉素緩釋微囊的體內外相關性。以明膠為囊材制備紅霉素緩釋膠囊,以體外釋放度的數據作為網絡輸入,血藥濃度數據作為網絡輸出,通過比較血藥濃度實測值與預測值的差異考察了網絡的可靠性,結果令人滿意。

3 結語

人工神經網絡技術作為一種新方法新技術雖然已在藥劑研究領域取得了一定的進展,但仍然有許多問題需要進一步的研究。例如神經網絡雖然可用于制劑制備工藝參數的優化,但能否利用神經網絡實時監控工藝過程以控制質量還需要進一步探討;人工神經網絡通常需要大量的數據訓練網絡,但有時數據的獲得比較困難,尤其是體內的試驗數據;神經網絡拓撲結構的選擇規律、傳遞函數的選取,防止過擬合和陷入局部最優等問題也需要在模型的建立過程中考慮;在制劑分析中的方法適應性和重現性等基礎工作也還需要深入的研究。

總之,神經網絡是一個充滿了活力的研究領域,通過以上的簡述可以發現神經網絡在藥劑學研究領域具有廣闊的應用前景,相信隨著神經網絡理論和技術的不斷發展,神經網絡以其獨特的模擬、學習、預測能力必將在藥劑學的各個方面得到更充分的應用。

參考文獻

[1]Takayama K,Fujikawa M,Obata Y,et al.Morishita M,Neural Network Based Optimization of Drug Formulations[J].Advanced Drug Delivery Reviews,2003,55(9):1 217-1 231.

[2]Agatonovic-Kustrin S,Beresford R.Basic Concepts of Artificial Neural Networks Modeling and Its Application in Pharmaceutical Research[J].Journal of Pharmaceutical and Biomedical Analysis,2000,22(4):717-727.

[3]K Takayama,A Morva, M Fujikawa,et al.Formula Optimization of Theophylline Controlled-release Tablet Based on Artificial Neural Networks [J].Journal of Controlled Release,2000,68(2):175-186.

[4]Hassoun M.Fundamentals of Artificial Neural Networks[M].The MIT Press,1995:25.

[5]R J Erb.Introduction to Backpropagation Neural Network Computation[J].Pharmaceutical.Research,1993,10(2):165-170.

[6]P.C.Wu,Y.Obata,M.Fujikawa,et al.Simultaneous Optimization Based on Artificial Neural Networks in Ketoprofen Hydrogel Formula Containing O-enthyl-3-butylcyclohexanol as Percutaneous Absorption Enhancer[J].Journal of Pharmaceutical Sciences,2001,90(7):1 004-1 014.

[7]A P Plumb,R C Rowe,P York,et al.The Effect of Experimental Design on the Modeling of a Tablet Coating Formulation Using Artificial Neural Networks[J].European Journal of Pharmaceutical Sciences,2002,16(3):281-288.

[8]Onuki Y,Hoshi M,Okabe H,et al.Formulation Optimization of Photocrosslinked Polyacrylic Acid Modified with 2-hydroxyethyl Methacrylate Hydrogel as an Adhesive for a Dermatological Patch[J].Journal of controlled release,2005,108(2-3):331-340.

[9]Fan T,Takayama K,Hattori Y,et al.Formulation Optimization of Paclitaxel Carried by PEGylated Emulsions Based on Artificial Nneural Network[J].Pharmaceutical Research,2004,21(9):1 692-1 697.

[10]Lim CP,Quek SS,Peh KK.Prediction of Drug Release Profiles Using an Intelligent Learning System:an Experimental Study in Transdermal Iontophoresis[J].J Pharm Biomed Anal,2003,31(1):159-168.

[11]Plumb AP,Rowe RC,York P,et al.Effect of Varying Optimization Parameters on Optimization by Guided Evolutionary Simulated Annealing(GESA)Using a Tablet Film Coat as an Example Formulation[J].European Journal of Pharmaceutical Sciences,2003,18(3-4):259-266.

[12]范彩霞,梁文權.神經網絡多目標同步優化HPMC緩釋片處方[J].中國藥學雜志,2004,39(10):768-771.

[13]魏曉紅,吳建軍,梁文權.神經網絡用于口服緩釋制劑的處方設計[J].藥學學報,2001,36(9):690-694.

[14]駱快燕,姚彤煒,黃安琪.卡托普利延遲起釋型緩釋片的研制[J].中國現代應用藥學雜志,2005,22(3):224-228.

[15]吳淘,潘衛三,陳濟民,等.多目標同步優化法優化硫酸沙丁胺醇滲透泵控釋片的制備工藝[J].藥學學報,2000,35(8):617-621.

[17]張宇飛,邵秀麗,雷建軍.基于神經網絡和遺傳算法的中藥滴丸制劑過程建模與優化[J].計算機工程與應用,2005,2(2):191-194.

[18]James AD.Artificial Network Applied to the in Vitro-in Vivo Correlation of an Extended-release Formulation:Initial Trials and Experience[J].Journal of pharmaceutical Science,1999,88(1):154-160.

[19]Fu XC,Chen CX,Wang GP,et al.Prediction of Human Intestinal Absorption Using an Artificial Neural Network[J].Pharmazie,2005,60(9):674-676.

[20]Balan G,Timmins P,Greene D,et al.In Vivo-in Vitro Correlation Models for Metformin after Administration of Modified-release Oral Dosage Forms to Healthy Human Volunteers[J].Journal of.Pharmaceutical Sciences,2001,90(8):1 176-1 185.

訓練神經網絡的優化方法范文4

關鍵詞:客運量預測;蟻群算法;神經網絡;ACONN模型;灰色預測

中圖分類號:G642 文獻標識碼:A 文章編號:1009-3044(2014)06-1348-04

Prediction and Analysis of Hefei Highway Passenger Quantity Based on ACA-NN

ZHANG Qinq-lin,LIU Chun-ling

(Department of Information Engineering, Anhui Economic Management Institute, Hefei 230051,China)

Abstract: According to the defects of neural network, this paper puts forward neural network highway customer forecast method which based on colony algorithm optimization. This model is used common BP neural network structure, the algorithm is used is a new kind of evolutionary algorithm- ant colony algorithm. Finally, it takes

highway passenger transportation in hefei as an example, try ACONN ant colony neural network application in the passenger traffic forecast, results show that the ant colony neural network model's prediction precision is better than other models.

Key words: Passenger traffic forecast;ant colony algorithm;neural networks;ACONN model;gray prediction

隨著汽車保有量的增加,公路客運量也隨之增加,公路客運能力受到了極大的挑戰。如何有效利用現有工具來預測客運量,滿足公路客運管理和交通工程建設,這是交通管理和建設部門面臨的一項重要工作任務。國內外學者對預測模型進行了大量詳盡的研究,其中AR模型、ARMA模型、ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統方法及統計回歸方法等建模方法比較常用[1~2]。這些方法很多是線性的,無法逼近真實的歷史數據;也有利用原始BP神經網絡方法來預測,雖然多層BP網絡可以實現任意可實現的線性和非線性函數的映射,但是在訓練過程中易陷入局部最小的情況,所以這些預測方法的準確率還不是很高。該文針對神經網絡存在無法有效收斂最優值問題,構建基于蟻群算法優化的神經網絡的公路客運預測模型[3]。經過對2012年合肥公路客運量進行預測分析,掌握各個時段客運量的分布,有利于相關部門作出相應決策,應對客運高峰期帶來的種種壓力,更好地滿足廣大人民群眾的需求, 以最合理的人力和財力的投入,來獲得最大經濟效率,達到最好的社會效果。

1 蟻群算法

蟻群算法(Ant Colony Algorithm,簡稱ACA)是人們受到對自然界中真實的螞蟻群體行為啟發而提出的一種仿生優化算法。屬于隨機搜索算法,該算法是在1991年召開的第一界歐洲人工生命會議上,由Dorigo M等人第一次提出的關于蟻群算法的基本模型[4]。Dorigo M等人通過模擬螞蟻搜索食物的過程(就是怎樣去找到蟻穴到食物源的最短路徑,前提是在個體之間相互合作的情況下)來求解TSP問題。

該算法以前主要解決一維的靜態優化問題,發展到現在用于解決多維動態組合優化的問題,在多種研究領域,已經得到廣泛應用。蟻群算法目前軟件及硬件的實現上都取得了突破性的研究進展,既具有深刻的學術思想,又具有廣闊的發展前景。

以TSP為例,基本蟻群算法的程序結構流程圖如圖1。

2 蟻群算法與神經網絡NN(Neural Network)的融合

2.1 基本思想

針對反向傳播BP(Back Propagation)算法容易陷入局部極小的不足,采用蚊群優化算法ACO(Ant Colony Optimization)訓練方法。[5]蟻群優化神經網絡訓練過程就是在實數權值組合中,找到一組最優的,使得期望結果與輸出結果之間的誤差達到最小,而蟻群算法正是尋找這樣的最優權值組合的不錯選擇。

2.2 構建蟻群優化神經網絡ACONN系統

應用蟻群優化神經網絡ACONN(Ant Colony Optimization Neural Network)系統預測的框圖2如下,首先對輸入數據進行預處理,再建立原始的神經網絡,再次利用蟻群算法來優化神經網絡的權值、閾值構建一個性能完好的ACONN系統,最后利用優化好的ACONN系統來預測,輸出預測數據。

圖2 ACONN系統預測圖

3 合肥客運量預測的蟻群優化神經網絡模型構建

3.1 樣本采集與數據預處理

樣本選擇了以合肥市歷年的客運量為樣本數據,月為單位的訓練樣本選擇了2011年每月的數據,預測2012年中每月的客運總量。

由于BP神經網絡要求輸入的數據范圍一般在(0,1)。因此對樣本數據進行歸一化處理。其公式為[6]:

[Y=X-XminXmax-Xmin]

其中Xmax取一個比較大的值,保證預測年的數據小于該數值, Xmin取一個小于樣本數據序列中最小值的值,保證歸一化后的數據不太接近于0。

3.2 預測方式選擇及ACONN的訓練樣本設計

我們知道,目前我們基于蟻群優化的神經網絡的客運預測模型,它是屬于一種數據驅動的方法,也就是說,我們去利用目前神經網絡的一種非線性的特性去逼近一個時間序列,這樣通過神經網絡的清晰邏輯關系,并且利用過去時刻的值,去表達未來某一時刻的值。我們的人工神經網絡預測,目前可以分為單變量時間序列預測和多變量時間序列預測[7]。所以說無論是單變量時間序列預測還是多變量時間序列預測,都可以使用我們平時的常用的方法,共有三種是:單步預測,滾動預測,多步預測[8]。

現采用的是滾動預測方式,在訓練樣本設計時需要根據網絡的結構。以月為單位預測,采用2個輸入,即連續兩年的同月份2個月數據作為輸入,下一年同月份作為輸出。設有歸一化的樣本集 X(t)(t=1,2,…,n),選擇一步預測時,選取個m輸入,1個輸出,可組成如下的訓練組對:

表1

[輸入數據 期望輸出\&X(1),X(2),…,X(m) X(m+1)\&X(2),X(3),…,X(m+1) X(m+2)\&…… ……\&X(n-m),X(n-m+1),…,X(n-1) X(n)\&]

3.3 蟻群優化神經網絡的結構與參數

現在我們所熟知的蟻群優化神經網絡采用具有一個隱含層的三層BP網絡結構。由于采用年和月為單位預測,因此根據需要在輸入層、隱含層上有差別,具體的各層神經元個數在年與月的預測中有具體的設置。目前,我們可以去根據萬能逼近定理,如果有一個三層的BP網絡,它可以以任意的精度去逼近一個連續函數。這樣,也就是說可以采用具有一個隱含層的三層BP網絡結構。在網絡模型結構確定的基礎上設定網絡參數,網絡的連接數目S,蟻群算法參數選為ρ=0.7,Ant=40,網絡權值參數隨機值選值N=30, 網絡權值參數隨機值范圍為[-3,3],訓練次數為500次學習,像Q、S等參數根據年和月的預測會有所不同,在后續有具體設置。

3.4 預測分析

現在用蟻群優化神經網絡ACONN、反向傳播神經網絡BPNN、灰色預測GM(1,1)三種模型分別對來合肥市客運量進行預測[9-10]。ACONN是通過蟻群算法找到最優的初始權值,從而固定了初始權值,因此每次的預測值幾乎趨于固定;可是目前神經網絡中,我們知道它的初始權值的選取,都是具有隨機性的,所有我們去使用相同的數據,去進行多次預測時時候,得到的預測結果就不會完全相同。因此,為了使預測更具有一定的普遍性,ACONN與BPNN可以采取一樣的網絡結構,同時我們選取10次預測的平均值作為最終的預測結果。

將ACONN、BPNN、GM(1,1)模型分別作預測,將預測結果進行反歸一化,預測結果如下表:

表2

將ACONN、BPNN、GM(1,1)模型預測合肥市客運量結果用圖形表示,可以更直觀看到它們之間預測的精度。具體預測結果如圖3。

圖3 ACONN、BPNN、GM(1,1)模型預測結果圖

從每幅圖形可以直觀地看出ACONN的數據在實際值附近有很小的波動,BPNN數據值比ACONN的在實際值附近波動要大些,而GM(1,1)數據只有中間很小區間比較精確一點,而數據的開始和末端狀態都表現出發散,其數據預測精度不高。所以比較之,ACONN很明顯表現出很好的優勢,預測數據比較穩定。

4 結束語

ARIMA模型、Box-Jenkins方法、馬爾可夫方法、灰色系統方法及統計回歸方法等,這些預測方法很多是線性的,無法逼近真實的歷史數據。利用原始BP神經網絡方法來預測,我們現在知道,雖然多層的BP網絡能去實現任意一個可實現的線性以及非線性函數的映射,但是在訓練過程中易陷入局部最小的情況,所以這些預測方法的準確率還不是很高。經過分析蟻群算法在神經網絡中應用的可行性后,提出一種基于蟻群算法和神經網絡相結合的新型預測方法,該方法可以有效地避免原始BP神經網絡存在的問題和單一預測方法精確度不高的缺陷,為預測提供了新的途徑。

參考文獻:

[1] 翁鋼民,鄭竹葉,劉洋,等.基于GM-Markov 模型的旅游客源預測[J].燕山大學學報,2008,9(2):109-112.

[2] 李松,劉力軍,郭海玲.短時交通流混沌預測方法的比較[J].系統工程,2009,27(9):60-64.

[3] 董超俊,劉智勇.多層混沌神經網絡及其在交通量預測中的應用[J].系統仿真學報,2007,19(10):101-104.

[4] 張維存,鄭丕諤,吳曉丹.蟻群遺傳算法求解能力約束的柔性作業車間調度問題[J].計算機集成制造系統,2007,13(2):333-337.

[5] 萬李,楊杰.小波神經網絡在短時交通流量預測中的應用[J].計算機仿真,2012,29(9):352-355.

[6] 方琴,李永前.K 近鄰短期交通流預測[J].重慶交通大學學報:自然科學版,2012,31(4):829-831.

[7] 吳寶春,鄭蕊蕊,李敏,楊亞寧.基于遺傳灰色GM(1,1,ρ)模型的短時交通流量預測[J].電子設計工程,2012,20(13):165-167.

[8] 郭杰,丁镠,朱超余.灰色預測模型的系統動力學仿真[J].電子設計工程,2011,19(14):4-7.

訓練神經網絡的優化方法范文5

旅游市場趨勢預測是旅游業發展戰略和旅游規劃與開發工作的重要基礎依據,一直是旅游市場研究中最重要的內容之一。根據市場趨勢預測的結果,旅游相關部門才可以制定合理的旅游規劃,進行旅游資源的優化配置。旅游市場趨勢預測是在對影響市場的諸因素進行系統調查和研究的基礎上,運用科學的方法,對未來旅游市場的發展趨勢以及有關的各種因素的變化,進行分析、預見、估計和判斷。

近年來,旅游研究者對旅游市場趨勢預測的方法進行了探索。目前主要有時間序列法、回歸分析法、指數預測法、人工神經網絡法。由于旅游市場的變化受到諸多因素的影響,導致旅游市場的趨勢預測難度較大,但我們對預測精度的要求卻越來越高。

本文是基于人工神經網絡方法,提出使用遺傳算法對人工神經網絡進行優化,探索更精確、更適用于旅游市場預測現實狀況的預測方法。

1 方法概述

人工神經網絡是近年來的熱點研究領域,是人類智能研究的重要組成部分,已經成為神經科學、計算機科學、認知科學、數學和物理學等多學科關注的熱點。其應用領域包括:分類、預測、模式識別、信號處理和圖像處理等,并繼續向其他領域延伸。

1.1 BP神經網絡

BP神經網絡是一種多層前饋神經網絡,該網絡的主要特點是信號前向傳遞,誤差反向傳播。在前向傳遞中,輸入信號從輸入層經隱含層逐層處理,直至輸出層。每一層的神經狀態只影響下一層神經元狀態。如果輸出層得不到期望輸出,則轉入反向傳播,根據預測誤差調整網絡權值和閾值,從而使BP神經網絡預測輸出不斷逼近期望輸出。

圖中,X1,X2,…,Xn是BP神經網絡的輸入值,Y1,Y2,…,Ym是BP神經網絡的預測值,wij和wjk為BP神經網絡權值。從圖可以看出,BP神經網絡可以看成一個非線性函數,網絡輸入值和預測值分別為該函數的自變量和因變量。當輸入節點數為n,輸出節點數為m時,BP神經網絡就表達了從n個自變量到m個因變量的函數映射關系。

1.2 遺傳算法

遺傳算法(Genetic Algorithms)是1962年由美國Michigan大學Holland教授提出的模擬自然界遺傳機制和重托進貨論而成的一種并行隨機搜索最優化方法。它把自然界“優勝劣汰,適者生存”的生物進化原理引入優化參數形成的編碼串聯群體中,按照所選擇的適應度函數并通過遺傳中的選擇、交叉和變異對個體進行篩選,使適應度值好的個體被保留,適應度差的個體被淘汰,新的群體既繼承了上一代的信息,又優于上一代。這樣反復循環,直至滿足條件。

1.3 遺傳算法優化BP神經網絡的流程

遺傳算法優化BP神經網絡分為BP神經網絡結構確定、遺傳算法優化和BP神經網絡預測3個部分。其中,BP神經網絡結構確定部分根據按擬合函數輸入輸出參數個數確定BP神經網絡結構,進而確定遺傳算法個體的長度。遺傳算法優化使用遺傳算法優化BP神經網絡的權值和閾值,種群中的每個個體都包含了一個網絡所有權值和閾值,個體通過適應度函數計算個體適應度。遺傳算法通過選擇、交叉和變異操作找到最優適應度值對應個體。BP神經網絡預測用遺傳算法得到最優個體對網絡初始權值和閾值賦值,網絡經訓練后預測函數輸出。

遺傳算法優化BP神經網絡是用遺傳算法來優化BP神經網絡的初始權值和閾值,使優化后的BP神經網絡能夠更好地預測函數輸出。遺傳算法優化BP神經網絡的要素包括種群初始化、適應度函數、選擇操作、交叉操作和變異操作。

1)種群初始化

個體編碼方法為實數編碼,每個個體均為一個實數串,由輸入層與隱含層連接權值、隱含層閾值、隱含層與輸出層連接權值以及輸出層閾值4部分組成。個體包含了神經網絡全部權值和閾值,在網絡結構已知的情況下,就可以構成一個結構、權值、閾值確定的神經網絡。

2)適應度函數

2 實證分析

旅游客流量與當地旅游硬件及軟件設施建設、各種交通設備的完善程度有著密切的關系。一個旅游地的交通設施完善程度決定了該景區的可進入性以及客源地到旅游地的時間距離,直接影響該景區游客量。此外,景區建設情況及旅游接待設施的建設情況決定著景區的吸引力。需要指出的是,由于信息傳達的特性,游客數量對景區旅游相關條件改善的反應具有延遲性的特點。本文中,采用2000 年以來北京旅客周轉量、人均GDP、全國交通、A級及以上景區個數、北京公共交通運營線路長度、北京市基礎投資,預測北京市旅游人數。

通過查詢中國國家統計局及北京市統計局相關資料,得到全國人均GDP、全國交通、北京市旅客周轉量、北京市A級及以上景區個數、北京市公共交通運營線路長度、北京市基礎投資數據,如表1所示。

根據遺傳算法和BP 神經網絡理論,在MATLAB 軟件中編程實現基于遺傳算法優化的BP神經網絡進行預測。預測誤差及真實值與預測值對比如圖2、圖3所示。

3 模型的評價

訓練神經網絡的優化方法范文6

>> 基于人工神經網絡過閘流量模型在南水北調中線工程的應用 基于人工神經網絡的優化配置研究 基于BP神經網絡的彩色溫度軟測量 基于小波神經網絡的網絡流量預測研究 基于改進小波神經網絡的網絡流量預測研究 基于混沌神經網絡的區域物流量預測 基于BP神經網絡的鐵路客流量預測研究 基于人工神經網絡的煤炭需求預測 基于人工神經網絡的PPI預測模型 基于人工神經網絡的自適應距離保護 基于人工神經網絡的故障診斷 基于人工神經網絡的化工安全評價 基于人工神經網絡的人口預測 基于人工神經網絡的圖像識別 基于人工神經網絡的車牌識別探究 基于人工神經網絡的信息處理 基于人工神經網絡的巨大兒預測的研究 基于BP人工神經網絡的土壤含水量預測模型的研究 基于BP人工神經網絡的知識管理戰略選擇研究 基于人工神經網絡的水泵故障診斷技術研究 常見問題解答 當前所在位置:

關鍵詞:BP網絡;軟測量;過閘流量;MATLAB神經網絡工具箱

DOI: 10.3969/j.issn.1005-5517.2013.10.011

引言

通過閘門的水流量是一個非常重要的參數。只有獲得準確的流量值,才能實現對水資源的優化配置。目前對于過閘水流量的測量已形成了幾種方法:流速儀法、水力學公式法以及曲線法[1,2]。其中,被廣泛運用與現場測流中的方法是流速儀法,它也是流量測量中最重要的方法。流速儀法是通過實測斷面上的流速和水道斷面積來確定流量的方法。測量時先在斷面上布設測速垂線和測速點,再將流速儀放到測速點處測速,用分割法計算斷面面積,推算出流量。雖然這種測流方法是目前的主導方法,但卻存在著一些天生的缺陷:一是很難確定合適的測速垂線及測點,這是由于河道斷面形狀的不規則以及流速場分布情況復雜等原因造成的;二是實時性不高,測量時間比較長,從而導致管理部門不能及時了解過閘流量,耽誤啟閉閘門的最佳時機;三是需要的硬件資源比較多,因此大大增加了測流成本。鑒于此,研究一種新型的即簡單、操作方便實時性又高,并且精度滿足要求的測流方法已成為目前的迫切需求。而本文采用的BP網絡軟測量技術正好解決了以上諸多問題。

BP神經網絡軟測量模型

隱含層神經元數的確定

隱含層神經元數的選擇在理論上并沒有一個明確的規定。因此,選擇合適的神經元數就顯得十分麻煩。如果神經元太少,則網絡不能很好地學習,需要的訓練次數也多,訓練的精度也不高。反而言之,如果隱含層神經元數選的太多,雖然功能會越大,但是循環次數也就是訓練時間也會隨之增加。另外可能還會出現其他的問題,如導致不協調的擬合。一般的選擇原則是:在能夠解決問題的前提下,再加上一到兩個神經元以加快誤差的下降速度即可[7]。

這里,我們通過對不同神經元數進行訓練對比,以及通過簡單的交叉驗證法確定隱含層的神經元數為15個?;贐P網絡的過閘流量軟測量模型如圖1所示。

數據樣本的選取及處理

所用的人工神經網絡的訓練與測試集樣本來源于碧口水電廠右泄工作門2001年水文歷史數據。從中選取典型的60組數據,其中前40組作為訓練樣本,后20組作為測試樣本。限于篇幅只列出部分數據,如表1所示。

由于輸入樣本各參數的集中取值范圍不同,參數大小不一,為了使各類參數所起的作用大致相同,必須對輸入數據進行標準化,把輸入數據都規一到[0,1]閉區域內[8]。因此,我們對表1的數據做如下處理:H*G=HG/10;H*UP=HUP/1000;Q*=Q/Qmax。

運用MATLAB神經網絡工具箱對網絡進行訓練與測試

在運用MATLAB神經網絡工具箱對網絡進行訓練之前,要注意兩方面問題。一是初始權值的選擇,再個就是學習速率的選取。

由于系統是非線性的,初始值對于學習是否達到局部最小、是否能夠收斂以及訓練時間的長短的關系很大。一般選取初始權值為(-1,1)之間的隨機數。在MATLAB工具箱中可采用函數initnw.m初始化隱含層權值。學習速率決定每一次循環訓練中所產生的權值變化量。若學習速率過大可能導致系統的不穩定;但學習速率過小會導致訓練時間較長,收斂速度很慢,不過能保證網絡的誤差值不跳出誤差表面的低谷而最終趨于最小誤差值。所以在一般情況下,傾向于選取較小的學習速率以保證系統的穩定性。學習速率的選取范圍在0.01到0.8之間。綜合考慮一下,本系統選取學習速率為0.1。BP網絡訓練程序如下所示[9]:

%定義輸入向量和目標向量

P=[0.5 0.6 0.8 ??;0.7082 0.7081 0.7079 ??];

T=[0.3744 0.4533 0.3735 0.648??];

%創建BP網絡和定義訓練函數及參數

net=newcf( minmax(P),[15,1],{‘lo gsig’,‘purelin’},‘traingd’);

net=initnw(net,1);

net.trainParam.epochs=5000;

net.trainParam.lr=0.1;

net.trainParam.goal=0.00001;

%訓練神經網絡

[net,tr]=train(net,P,T);

待網絡訓練好后,利用選定的20組測試樣本對其進行測試,以測量其泛化能力。測試結果如圖2和圖3所示。

圖2為真實流量值與通過BP網絡軟測量模型的預測值之間的擬合曲線,方框代表預測值,圓點代表真實值。

亚洲精品一二三区-久久