前言：中文期刊網精心挑選了神經網絡中偏置的作用范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
神經網絡中偏置的作用范文1
關鍵詞：卷積神經網絡 人體行為識別 Dropout
中圖分類號：TP391.41 文獻標識碼：A 文章編號：1672-3791（2017）04（c）-0028-02
該文采用隨機Dropout卷積神經網絡，筆者將此法的優點大致概況為將繁瑣雜亂的前期圖像處理簡易化，原來的圖像不可以直接輸入，現在的原始圖像即可實現直輸功能，因其特性得到廣泛研究與應用。另外，卷積神經網絡在圖像的處理中能夠將指定的姿勢、陽光的照射反應、遮避、平面移動、縮小與放大等其他形式的扭曲達到魯棒性，從而達到良好的容錯能力，進而可以發現其在自適應能力方面也非常強大。因為卷積神經網絡在之前建立網絡模型時，樣本庫為訓練階段提供的樣本，數量有限，品質上也很難滿足要求，致使網絡權值參數不能夠完成實時有效的調度與整理。
1 卷積神經網絡
據調查卷積神經網絡由K.Fukushima在80年代提出，那時候它被稱為神經認知機，這一認知成為當時的第一個網絡，后來網絡算法發生了規模性變革，由LeCun為代表提出了第一個手寫數字識別模型，并成功投入到商業用途中。LeNet被業界冠以卷積神經網絡的代表模型，這類系統在很多方面都起到了不容小趨的作用，它多數應用于各類不同的識別圖像及處理中，在這些層面上取得了重要成果。
筆者經查閱資料發現卷積神經網絡其實是由兩個種類組合而來，它們分別是特征提取、分類器，這種組成我們可以看到特征提取類可由一定數量的卷積層以及子采樣層相互重疊組合而成，全部都連接起來的1層或者2層神經網絡，就是由分類器來進行安排的。卷積神經網絡中的局部區域得到的感覺、權值的參數及子采樣等可以說是重要網絡結構特征。
1.1 基本CNN網絡結構
圖1中就是最為經典的LeNet-5網絡模型結構圖。通過圖1中我們可以獲悉，該模型有輸入輸出層，除這兩層外還有6層，其征提取可在前4層中體現，后兩層體現的是分類器。
在特征提取部分，6個卷積核通過卷積，是圖像經尺寸為32×32的輸入而得見表1，運算過程如式（1）：
（1）
式中：卷積后的圖像與一個偏置組合起來，使函數得到激活，因此特征圖變誕生了，通過輸出得到了6個尺寸的特征圖，這6個尺寸均為28×28，近而得到了第一層的卷積，以下筆者把它簡要稱為c1；那么c1層中的6個同尺寸圖再經由下面的子采樣2×2尺寸，再演變成特征圖，數量還是6個，尺寸卻變成了14×14，具體運算如公式（2）：
通過表2我們可以使xi生成的和與采樣系數0.25相乘，那么采樣層的生成也就是由加上了一個偏置，從而使函數被激活形成了采樣層的第1個層次，以下我們簡要稱為s1；這種過程我們可反復運用，從而呈現出卷積層中的第2層，可以簡要稱之為c2，第2層簡稱s2；到目前為止，我們對特征的提取告一段落。
神經網絡的識別，我們可以看到它是由激活函數而形成的一個狀態，這一狀態是由每個單元的輸出而得；那么分類器在這里起到的作用是將卷積層全部連接起來，這種通過連接而使1層與上面1層所有特征圖進行了串連，簡要稱之為c5；因而2層得到了退變與簡化效應，從而使該神經網絡成為經典，簡要稱之為F6，向量及權值是由F6 輸送，然后由點積加上偏置得到結果的有效判定。
1.2 改進的隨機DropoutCNN網絡
1.2.1 基本Dropout方法
神經網絡泛化能力能夠得到提升，是基于Dropout方法的深入學習。固定關系中存在著節點的隱含，為使權值不再依附于這種關系，上述方法可隨機提取部分神經元，這一特性是通過利用Dropout在網絡訓練階段中隨機性而得，對于取值能夠有效的存儲及保護存留，這一特性在輸出設定方面一定要注重為0，這些被選擇的神經元隨然這次被抽中應用，但并不影響下次訓練的過程，并具還可以恢復之前保留的取值，那么每兩個神經元同時產生作用的規避，可以通過重復下次隨機選擇部分神經元的過程來解決；我們通過這種方法，使網絡結構在每次訓練階段中都能呈現不同變化，使一些受限制的特征，不再受到干擾，使其真正能展現自身的優點，在基于Dropout方法中，我們可以將一些神經元的一半設為0來進行輸出，隨機神經元的百分比可控制在50%，有效的避免了特征的過度相似與穩合。
1.2.2 隨機Dropout方法
Dropout方法就是隨機輸出為0的設定，它將一定比例神經元作為決定的因素，其定義網絡在構建模型時得到廣泛采用。神經元基于隨機Dropout的方法是該文的重要網絡輸出途徑，通過設定輸出為0，使其在網絡中得到變。圖2是隨機Dropout的加入神經元連接示意圖，其在圖中可知兩類神經元：一類是分類器的神經元，這一階段的神經元可分榱講悖渙硪煥嗌窬元是由輸出而形成的層次。模型在首次訓練的階段會使神經元隨機形成凍結狀態，這一狀態所占的百分比為40%、60%，我們還可以看到30%及50%的神經元可能在網絡隨機被凍結，那么這次凍結可以發生在模型第二次訓練，那么第三次神經元的凍結可從圖示中得出70%及40%，還可以通過變化用人工設置，其范圍值宜為35%～65%，那么網絡神經元連接次序的多樣化，也因此更為突出與精進，網絡模型的泛化能力也得到了跨越勢的提高。
2 實驗及結果分析
2.1 實驗方法
卷積神經網絡通過實驗，通過輸入層呈現一灰色圖像，該圖像尺寸被設定成28×28的PNG格式，這里我們以圖像框架圖得到雙線性差值，用來處理圖像及原視頻中的影像，將框架圖的卷積核設定為5×5的尺寸，子采樣系數控制值為0.25，采用SGD迭代200次，樣本數量50個進行設定，一次誤差反向傳播實現批量處理，進行權值調整。實驗采用交叉驗證留一法，前四層為特征提取層，C1-S1-C2-S2按順序排列，6-6-12-12個數是相應特征，通過下階段加入隨機Dropout，這階段為雙層也就是兩層，進行連接，連接層為全體，從而可知結果由分類得出，又從輸出層輸出。
2.2 實驗結果分析
識別錯誤率可通過卷積神經網絡模型，及訓練過程與檢測過程中可查看到的。在訓練階段中，我們可以將Dropout的網絡中融入200次訓練，在將沒有使用該方法的網絡進行相互比較分析，我可以得知，后者訓練時的識別錯誤率稍高于前者，前者與后的相比較所得的差異不是很大，進而我們可知使用Dropout方法，對卷積神經網絡在泛化能力上得到有效的提升，從而有效的防止擬合。
3 結語
筆者基于Dropout卷積神經網絡，人體行為識別在視頻中進行， 通過Weizmann數據集檢測實驗結果，隨機Dropout在分類器中加入。通過實驗可以得知：隨機Dropout的加入，使卷積神經構建了完美網絡模型，并且使其在人體行為識別中的效率贏得了大幅度的提升，近而使泛化能力可以通過此類方法得到提高，可以防止擬合。
參考文獻
[1] 其它計算機理論與技術[J].電子科技文摘，2002（6）.
神經網絡中偏置的作用范文2
【關鍵詞】GIS；神經網絡；土地利用
引言
土地是人類目前生活發展過程中最基本、最重要的間接資源之一。運用科學合理的管理、發展土地的方法有著重要意義。土地利用是當今全球環境變化的重要原因之一，開展典型區域的個案研究是認識全球環境變化的必要途徑，也是區域可持續發展研究的關鍵。目前土地管理中實現了文字信息與地圖信息一體化的自動管理模式。土地利用動態變化預測是土地管理工作中的重要部分，直接關系到國家的可持續發展。因而研究土地利用的變化對提高土地利用率有著深遠的意義。
1. 土地利用變化預測模型現狀
早期的土地利用變化模型重點是理解靜態的空間格局，1990以來，首先是時間動態模型在空間格局分析的基礎上與地理信息系統的結合；其次是遙感技術的被廣泛發展，遙感數據具有相對客觀性和高分辨率的特點，對于識別和分析土地利用變化發揮著至關重要的作用；最后是21世紀出現的地理信息系統（（Geographic Information System，簡稱GIS），GIS是一門十分復雜的綜合叉學科，并且和眾多學科相結合，例如與地理學、地圖學以及遙感技術等學科相結合，在不同的領域范圍中應用廣泛，除可以對空間信息進行分析以及預處理之外，還能夠把視覺化的地圖和地理數據分析功能，連同一般的數據庫操作等集成到一起來分析。
2.神經網絡
從神經網絡的輸入層到其隱含層實現這一過程，其實是一個非線性映射的過程，然而，從隱含層到輸出層這一過程卻是線性映射；神經網絡強大的處理功能相當于從高維空間到低維空間的映射。神經元是對神經網絡模型操作處理的基本單位，同時也是神經網絡設計的最基本的基礎，如圖所示為神經元基礎模型。
神經元模型一般含有三種基本元素：
（1）突觸或連接鏈，每一個都存在其權值，因此可以被看作為特征。
（2）加法器，用于求解輸入神經元相應突觸加權所產生的和。
（3）激活函數用來限制神經元輸出振幅。貼近得到任意的函數形式。但是，如果信息中含有某些敏感點，那么這些敏感點，很有可能造成神經網絡在學習和練習的過程中陷入局部最小值。如果只利用神經網絡去對土地利用變化分析，毋庸置疑存在缺點，所以我們利用GIS和神經網絡相結合方法對土地利用變化進行模型。
3. GIS和神經網絡相結合土地利用變化預測模型
3.1模型的優化結構
土地利用變化研究需要基于大量的數據的前提 ，遙感是數據存儲和處理的工具，我們通過神經網絡模型和GIS相結合方式，預測出土地利用的變化。模型分為兩個部分――神經網絡訓練和神經網絡模擬。其中神經網絡的練習經常使用算法為反向傳播。通過對兩期遙感影像的土地利用圖進行分類，隨機選擇出測試樣本以及訓練樣本，用ThinksPro操作軟件創建該神經網絡模型，反復進行訓練目的是獲取神經網絡的權值參數以及偏置參數。在我們確定自由參數以后，就可以用已知的數據進行預測土地利用變化規律，需要反復預測過程，通過給定的回合數確定預測的時間。
3.2 獲取空間數據
神經網絡的輸入數據功能，一般是用來存儲一系列數據層或者解決數據問題的，其中最根本的數據圖層便是土地利用分類圖層，因此我們需要對每一種數據進行編碼，用來表示對預測單元的影響大小，這些編碼以后便作為輸人變量的初始值。
3.3 處理遙感數據
遙感數據是主要數據來源對土地利用變化研究來說，通過軟件對遙感影像進行處
理，遙感數據處理的過程有以下幾各步驟：
（1）合成遙感影像數據
（2）對影像幾何精校正
（3）圖像效果增強處理
（4）圖像的鑲嵌
（5）對研究區裁減
（6）遙感影像的分類
（7）對分類結果評價
3.4 GIS空間分析
由模型可知，模型可以很好的c柵格數據相結合，采用GIS軟件空間分析是重要數據生成一種方法，在這里我們用作為空間分析的重要工具。
空間緩沖區分析，即再實體周圍創建相互存在一定間隔的帶狀區域，用來區別這些實體對附近對象所產生的輻射大小。因此，空間緩沖區分析，首先要確定出分析源，在實際應用中，隨著距離的不斷增大，其產生的影響就會緩慢減弱。在本文中，筆者主要通過空間緩沖區分析這一功能，從而獲得各實體對其緩沖區產生的影響結果。
4.結語
用神經網絡進行預測方法充分利用了其復雜映射能力，很強的自組織等長處，此外，通過使用GIS數據輔助訓練樣本的選擇，達到了對樣本點的自動化選取目的，從而大大提高了選取訓練樣本的效率，節省了寶貴的時間；另外神經網絡存在大量的缺點：例如特別容易陷入局部最小、學習收斂速度慢等一系列缺點，以及忽略一些重要影響因素的特征，所以我們預測結果并非特別精確，我相信在不遠的將來，我們一定可以通過更好的模型預測出更加精確的土地利用動態變化。
參考文獻
[1]張明媛.基于GIS模擬土地利用變化[J] .燕山大學學報.2014.
神經網絡中偏置的作用范文3
關鍵詞：暫態混沌神經網絡;優化問題;非線性函數優化;TSP
中圖分類號：TP183 文獻標識碼：A 文章編號：1004－373X(2009)04－076－04
Transient Chaotic Neural Netwgork and Its Optimization ofthe Applied Research
PENG Jingbin1,2,YE Jinbao2,3,WANG Xuejiao3
(1.Hengyang Transport Machinery Co.Ltd.,Hengyang,421002,China;2.Hunan Sci.and Tech.Economy Trade Vocational College,Hengyang,421009,China;
3.University of South China,Hengyang,421001,China)
Abstract：For analysing and studing the characteristic and optimized mechanism of transient chaotic neural network,based on analysis of transient chaotic neuron model,through programming the simulation analysis in the Matlab software to compare the neural network dynamic characteristic and various parameters regarding the network optimization process influence.Transient chaotic neural network model by the chaos inherent in the use of random traversal of the track,and carries on the search in wide range according to its own rule,the search process,according to traverse chaotic orbit,free from restrictions on the objective function,which has overcome the local minimum The ability to effectively can solve a series of combinatorial optimization problems.The control network parameter is selected according to the network dynamic characteristic,through the simulation,problems of non－linear function optimization and 10 city TSP problems are solved.The optimization results is satisfied.And thus is conducive to such a chaotic neural network optimization problem in the promotion.
Keywords：transient chaotic neural network;optimization;non－liear function optimization;TSP
0 引 言
生物神經網絡是一個非常復雜的非線性巨系統,存在各種復雜的動力學行為,在生物學實驗中人們已觀察到人腦和動物神經系統中的各種混沌行為。由于人工神經網絡是對生物神經網絡的模擬,因而深入研究人工神經網絡中的復雜動力學(特別是混沌)對于提高人工神經網絡的智能化程度具有重要意義。人工神經網絡的一個重要應用領域是用于優化。神經網絡的尋求穩定平衡點的大規模并行計算能力對于優化問題是強有力的工具,但由于其利用梯度下降的動力學,因此在求解許多實際優化問題時常陷入局部極小值。由于混沌具有遍歷性、隨機性、規律性的特點,混沌運動能在一定范圍內按其自身的規律不重復地遍歷所有狀態,因此,利用混沌變量進行優化搜索,無疑會比隨機搜索更為優越?；煦鐒恿W為人們研究神經網絡提供了新的契機,用神經網絡研究或產生混沌以及構造混沌神經網絡,混沌神經網絡具有更加豐富和遠離平衡點的動力學特性。混沌動力學是以對初始條件的敏感性以及在相空間的不停運動為特征的,這一特點使得混沌成為很好地在狀態空間進行搜索的機制,當將其用于優化時,它具有逃離局部極值的能力。正是基于這個機制,這里研究了暫態混沌神經網絡模型和其優化問題中的應用,它具有暫態的混沌動力學行為,可以對狀態空間做暫時的搜索。
1 暫態混沌神經元
混沌神經元是標定混沌神經網絡的基本單位,對于單個神經元的混沌特性的了解可為混沌神經網絡提供必要前提和認識基礎。在混沌神經元的研究中,振蕩子是一種典型的研究對象,因為振蕩子或它們的組合可表現出豐富的混沌動力學行為，為了理解混沌神經網絡的運行機理,在此以單個神經元為例檢驗該網絡的混沌動力學行為。首先給出暫態混沌神經網絡模型:
Иui(t+1)=kui(t)+α\j≠1wijvj+θ-s1(k)\〗-
gi(t)\И
當Е聯=0時單個神經元的網絡模型：
Иu(t+1)=ku(t)－g(t)\(1)
v(t)=11+exp{－μu(t)\}(2)
gi(t)=(1－β)gi(t+1)(3)
η(t+1)=η(t)ln{e+λ\}(4)И
在Matlab中仿真混沌神經元模型進行模擬仿真，對式（1）~式（4）隨機取參數Е=0.7,β=0.001,λ=0.006,μ=300Щ煦縞窬元內部狀態的演變如圖1所示。
圖1 混沌神經元狀態演化圖
對于這里的單個混沌神經元的動力學特性和控制參數的演化過程進行仿真與研究。
圖2、圖3是在式（1）~式（4）取參數k=0.9,β=0.001,λ=0.006，g(0)=0.08時單個神經元的動力學特征和控制參數的退化曲線，可以看出式（1）~式（4）組成的網絡具有暫態混沌動力學的行為，隨著控制參數在時間上的不斷衰減，通過一個倍周期倒分叉過程，網絡將逐漸趨于穩定的平衡點。
圖2 單個神經元的動力學特征
圖3 控制參數的退化曲線
圖4、圖5中k=0.9,β=0.003,λ=0.006，g(0)=0.08，由于圖4，圖5相對于圖2和圖3只是β增大，但可以知道β增大有利于加速收斂，但優化質量會有所下降，從網絡的動態方程可知，β增大使能量函數對動態方程的影響增大，如影響過大，將不能產生充分地混沌動態；反之太小的β使能量函數的變化不能充分的影響動態的演變，從而搜索過程難以收斂到對應最小能量值的最優解，同時過分的混沌搜索將導致優化過程變長。
圖4 單個神經元的動力學特征
圖5 控制參數的退化曲線
圖6、圖7中k=0.9,β=0.001,λ=0.008，g(0)=0.08，由圖6，圖7相對于圖2和圖3只是λ增大，然而可以知道λ增大有利于加速收斂，但優化質量會下降，λ的大小反應控制參數Z（t）的下降速率的快慢，過大的λ會使Щ煦綞態消失的過快，從而容易收斂到局部最小或非法狀態；反之混沌動態持續太久，將嚴重影響收斂速度。
圖6 單個神經元的動力學特征
圖7 控制參數的退化曲線
圖8、圖9中k=0.9,β=0.001,λ=0.008，g(0)=0.10，由圖8和圖9相對于圖2和圖3只是Z(0)增大，但可以知道Z(0)減小有利于加速收斂，但算法收斂到次優解的概率將增加，加快Z的下降速度，一旦混沌行為不充分則必然影響優化性能；反之Z(0)過大將使得下降過程過慢，從而混沌對系統演化過程的影響過大，收斂必然緩慢。
圖8 單個神經元的動力學特征
圖9 控制參數的退化曲線
2 暫態混沌神經網絡
上述部分對單個無反饋神經元的動力學特性和控制參數進行了仿真與研究，下面系統地對混沌神經網絡進行研究。顯然暫態混沌神經網絡有反饋項，而且還是許多單個的神經元構成，其構成是將混沌機制引入到Hopfield神經網絡中，構造出具有自組織特性和克服局部極小能力的暫態混沌神經網絡，其數學模型如下：
Иui(t+1)=kui(t)+α\j≠1wijvj+θ-s1(K)\〗-
gi(t)\(5)
vi(t)=11+exp{－μui(t)\}(6)
gi(t)=(1－β)gi(t+1)(7)
ηi(t)=ηi(t－1)ln{e+λ\}(8)И
其中：式（5）為混沌神經網絡的動態方程；式（6）為神經網絡的激勵函數。ui和vj為神經網絡在K時刻的輸入和輸出；wij為從第j個神經元到第i個神經元的連接權值；k為比例常數；θ為神經元偏置；S1(K)，S2(K)為外加的混沌變量；β和λ為時變量gi(t)和ηi(t)У乃ゼ躋蜃印Hopfield神經網絡離散型模型為：
Иui(K+1)=(1－Δtτ)ui(K)+Δtβ′［∑njwijvj(K)+θ］
=kui(K)+β［∑njwijvj(K)+θ］(9)И
比較混沌神經網絡和Hopfield神經網絡模型只是在Hopfield神經網絡后面加上Вgi(t)\項，變量gi(t)表示每個神經元的抑制自反饋鏈接的強度，當t0,gi(t)0,Щ煦縞窬網絡退化為神經網絡暫態混沌神經網絡模型綜合了隨機性和確定性算法的優點。優化過程分為基于混沌的“粗搜索”和基于Hopfield神經網絡“細（梯度）搜索”兩個階段。粗搜索中的混沌搜索同時具有隨機性和軌道遍歷性，具有克服陷入局部極小的能力。隨機性保證大范圍搜索能力，軌道遍歷性使算法能按系統自身的行為不重復地遍歷所有可能狀態，有利于克服一般隨機算法中以分布遍歷性的機制搜索帶來的局限性。粗搜索過程結束，轉入HHN梯度搜索及細搜索階段，隨著粗搜索結束，系統方程中控制參數決定項的作用很弱，及暫態混沌動力行為消失后，網絡優化過程基本按能量函數的梯度下降方向進行。此時的行為類似于Hopfield神經網絡尋優過程。系統最終收斂于一個穩定的平衡點，即收斂到全局意義下較滿意的解。
算法流程圖如圖10所示。
3 暫態混沌神經網絡模型在優化問題中的應用
3.1 在函數優化中的應用
求解下述非線性優化問題:
ИF(x)=(x1-0.8)2\+
(x2-0.6)2\И
目標函數的全局最小點為：（0.8，0.6）；局部極小點為有3個：（0.7，0.5），（0.7，0.6），（0.8，0.5）。以min F(x)為網絡的能量函數進行優化求解并給定相應的網絡參數和網絡初始值。
計算結果見表1。
表1 計算結果
全局最優解對應最優解迭代次數
理論解0.000.8，0.6-
混沌解1.478E－0070.799，0.59990
在此給出網絡的神經元的輸出X(t)隨時間的演化過程（隨時間變化）：如圖11所示。
圖10 優化流程圖
圖11 神經元1的輸出X1(t)和神經元2的輸出X2（t）
兩個神經元的輸出函數的初始狀態是不可預測的混沌運動，隨著非線性反饋強度的逐漸減弱，經過短暫的分叉過程后，最終收斂到網絡的穩定狀態（0.8，0.6）處。因此該網絡具有避免陷入局部極小值的能力，從而實現全局優化。
3.2 應用于TSP問題（10個城市TSP問題）
TSP問題是一類典型的組合優化難題,它要求旅行商用最短的路徑走遍地圖上的n個城市而且只能訪問一次,最后回到起始點。TSP問題分為對稱TSP(dij=dji)和非對稱TSP(dij≠dji)。其中：dij表示城市i與城市j之間的距離；對稱TSP的可能路徑有(n-1)!/2條,非對稱的有(n-1)!條。顯然,用窮舉法來尋找最短路徑將花費大量的時間,而且若城市數量大，則該方法幾乎是無法解決TSP問題的。1985年,Hopfield與Tank構造了TSP問題滿足所有限制條件的一個能量公式：
ИE=w12\ni=1(∑njxij－1)2+∑nj=1(∑nixij－1)2\〗
+w22∑ni=1∑nj=1∑nk=1(xkj+1+xkj－1)xijdikИ
同時,結合HNN算法成功地解決了TSP問題。但是對于10個城市的TSP問題,20次實驗中,只得到16次合法解,10次最優解通過分析得到解決TSP問題的差分方程：
yij(t+1)=kyij(t)+α{－w1\ni≠jxij(t)+
∑nk≠ixkj(t)\〗－w2\nk≠idik(xkj+1(t)+xkj－1)\〗+
w1}-zi(t)\, i=1,2,…，n
對于10個城市的TSP問題,原始數據取自文,參數選取如下:k=0.9; W1=1;W2=1;I0=0.65;γ=100;z(0)=0.05;εi=250;變動β,λ,隨機選取初始值仿真120次得到表2的仿真結果。
表2 仿真結果
Е力婁霜ё鈑漚猹な目次優解な目平均迭代ご問
0.020.060.011173320
0.020.040.011200289
0.020.040.024254
0.030.020.012241
從表2中取出1組數據Е=0.03，β=0.02，λ=0.01，神經元輸出能量函數演化圖以及最優路徑如圖12所示。
圖12 10個城市TSP最短路徑仿真圖
對圖12分析可以得到：模型中存在很多參數需要選取。輸入正比例系數Е劣跋斕代步數的多少與模型混沌動態性能,過小的α值使迭代步數增加,過大的α值則減弱模型混沌動態性能,故應該仔細選取該參數;β控制增益函數的衰減速率,這個參數將顯著影響尋優過程的收斂速度,較小的β值將會加快收斂速度;較大的λ值會加快收斂速度但會使混沌動態消失過快,從而影響尋優結果,較小的λ值會使混沌動態作用時間加長而使收斂速度變慢。
4 結 語
暫態混沌神經網絡利用混沌所固有的隨機性和軌道遍歷性在大范圍內按其自身規律進行搜索,搜索過程按混沌軌道遍歷,不受目標函數限制,從而具有克服陷入局部極小的能力。當混沌搜索結束以后,網絡進入類似Hopfield網絡的梯度搜索過程,由于混沌搜索為梯度搜索提供了一個好的位于全局最優解附近的初始值,因而可以較快地獲得全局意義下的最優解。通過實例仿真分析，比較暫態混沌神經網絡在優化方面顯示出了其優化方面的優勢和較好的發展前景。
參 考 文 獻
［1］Aihara K,Takabe T,Toyada M.Chaotic Neural Networks［J］.Phys.Letters A,1990,144(6/7):333－340.
［2］Nozawa H.Solutions ofthe Optimization Problem Using the Neural Network Model as a Globally Coupled Map［J］.Physica D,1994,75(1－3):179－189.
［3］張學義,胡仕誠,謝榮生,等.一種混沌神經網絡及其在優化計算中的應用［J］.系統工程與電子技術,2000,22(7)：69－71.
［4］王凌,鄭大鐘.一種基于退火策略的混沌神經網絡優化算法［J］.控制理論與應用,2000,17(1):139－142.
［5］竇春霞,張淑清.基于混沌神經網絡預測模型的最優控制決策及應用［J］.動力工程,2004,24(1):68－72.
［6］Chen Luonan,Aihara Kazuyuk.Global Searching Ability of Chaotic Neural Networks ［J］.IEEE Transactions on Circuits and System I:Fundamental Theory and Application,1999,46(8):974－993.
［7］竇春霞.基于混沌一神經網絡模型最優控制及應用［J］.系統工程學報,2004,19(3):229－233.
［8］李薪宇,呂炳朝.暫態混沌神經網絡中的模擬退火策略優化［J］.計算機應用,2005(10):198－200.
［9］周婷,賈振紅,劉秀玲.一種用于函數優化的小波混沌神經網絡［J］.計算機應用,2007,27(12):2 910－2 912.
［10］高海昌,馮博琴,朱利.智能優化算法求解TSP問題［J］控制與決策,2006(3):241－247.
神經網絡中偏置的作用范文4
關鍵詞：卷積神經網絡；語言模型；分析
1 卷積神經網絡語言模型
CNN語言模型基本結構包括輸入層、卷積層、池化層及后續的分類層。輸入層是表示語言的矩陣，該矩陣可以是通過Google word2vec或GloVe預訓練得到的詞嵌入表示，也可以是從原始數據重新訓練的語言的向量表示。輸入層之后是通過線性濾波器對輸入矩陣進行卷積操作的卷積層。在NLP問題中，輸入矩陣總是帶有固定順序的結構，因為矩陣的每一行都表示離散的符號，例如單詞或者詞組等。因此，使用等寬的濾波器是非常合理的設置。在這種設置下，僅需要考慮濾波器的高度既可以實現不同尺寸的濾波器做卷積操作。由此可知，在處理NLP問題時，卷積神經網絡的濾波器尺寸一般都是指濾波器的高度。
然后，將卷積層輸出的特征映射輸入池化層，通過池化函數為特征映射進行降維并且減少了待估計參數規模。一般的，CNN池化操作采用1-max池化函數。該函數能夠將輸入的特征映射統一生成維度相同的新映射。通過池化操作，可以將卷積層生成的特征連接成更抽象的高級特征，所得到的高級特征尺寸與輸入的句子不再存在直接關系。
最后，將得到的高級特征輸入softmax分類層進行分類操作。在softmax層，可以選擇應用dropout策略作為正則化手段，該方法是隨機地將向量中的一些值設置為0。另外還可以選擇增加l2范數約束，l2范數約束是指當它超過該值時，將向量的l2范數縮放到指定閾值。在訓練期間，要最小化的目標是分類的交叉熵損失，要估計的參數包括濾波器的權重向量，激活函數中的偏置項以及softmax函數的權重向量。
2 卷積神經網絡語言模型應用分析
CNN語言模型已經廣泛應用于諸如文本分類，關系挖掘以及個性化推薦等NLP任務，下面將對這些應用進行具體的介紹與分析。
2.1 CNN在文本分類中的應用分析
kim提出了利用CNN進行句子分類的方法。該方法涉及了較小規模的參數，并采用靜態通道的CNN實現了效果很優異的句子分類方法。通過對輸入向量的調整，進一步提高了性能實現了包括情感極性分析以及話題分類的任務。在其基礎上為輸入的詞嵌入設計了兩種通道，一種是靜態通道，另一種是動態通道。在卷積層每一個濾波器都通過靜態與動態兩種通道進行計算，然后將計算結果進行拼接。在池化層采用dropout正則化策略，并對權值向量進行l2約束。最后將該算法應用于MR、SST-1與SST-2、Subj、TREC、CR以及MPQA等數據集。MR數據集為電影評論數據集，內容為一句話的電影評論，其分類包括積極情感極性與消極情感極性兩類。SST-1與SST-2數據集為斯坦福情感樹庫是MR數據集的擴展，但該數據集已經劃分好了訓練集、驗證集及測試集并給出了細粒度的標記，標記包括非常積極、積極、中性、消極、非常消極等情感極性。Subj數據集為主觀性數據集，其分類任務是將句子分為主觀句與客觀句兩類。TREC數據集為問題數據集，其分類任務是將所有問題分為六類，例如關于數字、人物或位置等信息的問題。CR數據集為評論數據集，包括客戶對MP3、照相機等數碼產品的評論，其分類任務是將其分為積極評價與消極評價兩類。MPQA數據集是意見極性檢測任務數據集。通過實驗證明，該方法在這幾個典型數據集上都能取得非常優異的效果。
2.2 CNN在關系挖掘中的應用分析
Shen等人提出了一種新的潛在語義模型，以詞序列作為輸入，利用卷積-池化結構為搜索查詢和Web文檔學習低維語義向量表示。為了在網絡查詢或網絡文本中捕捉上下文結構，通過輸入單詞序列上下文時間窗口中的每個單詞來獲取詞匯級的n-gram語法特征，將這些特征聚合成句子級特征向量。最后，應用非線性變換來提取高級語義信息以生成用于全文字符串的連續向量表示。該模型的不同之處在于，輸入層與卷積層之間加入了word-n-gram層與letter-trigram層，它們能夠將輸入的詞序列轉變為letter-trigram表示向量。在卷積層通過上下文特征窗口發現相鄰單詞的位置特征，并變現為n-gram形式。然后通過max池化將word-n-gram特征合并為句子級的高級特征。在池化層之后增加了語義層來提取更高級的語義表示向量。
2.3 CNN在個性化推薦中的應用分析
Weston等人提出了一種能夠利用標簽（hashtag）有監督的學習網絡帖子短文本特征表示的卷e嵌入模型（Convolutional Embedding Model）。該方法利用提出的CNN模型在55億詞的大數據文本上通過預標注的100，000標簽進行訓練。該方法除了標簽預測任務本身能取得好的效果外，學習到的特征對于其它的文本表示任務也能起到非常有效的作用。該模型與其它的詞嵌入模型類似，輸入層為表示文本的矩陣，但是，在用查找表表示輸入文本的同時將標簽也使用查找表來表示。對于給定的文檔利用10萬條最頻繁出現的標簽通過評分函數對任何給定的主題標簽進行排序。
其中，econv（w）表示CNN的輸入文檔，elt（t）是候選標簽t的詞嵌入表示。因此，通過對分數f（w，t）進行排序可以獲取所有候選主題標簽中排序第一的話題進行推薦。實驗數據集采用了兩個大規模語料集，均來自流行的社交網絡文本并帶有標簽。第一個數據集稱作people數據集，包括搜集自社交網絡的2億1000萬條文本，共含有55億單詞。第二個數據集被稱作pages，包括3530萬條社交網絡文本，共含有16億單詞，內容包括企業、名人、品牌或產品。
3 結束語
卷積神經網絡應用于語言模型已經取得了非常大的發展，對于自然語言處理中的各項任務均取得了優異的結果。本文通過對幾項典型工作的分析，探討了不同卷積神經網絡模型結構在不同任務中的表現。通過綜合分析可以得出以下結論。首先，CNN的輸入采用原始數據訓練的向量表示一般效果會優于預訓練的詞嵌入表示；其次，在卷積層濾波器的尺寸一般采用寬度與輸入矩陣寬度相等的設置；最后，為了優化結果可以采用dropout正則化處理。
神經網絡中偏置的作用范文5
關鍵詞關鍵詞：極限學習機；模式識別；高光譜遙感圖像；判別信息
DOIDOI：10.11907/rjdk.162600
中圖分類號：TP317.4文獻標識碼：A文章編號文章編號：16727800（2017）001016105
對于連續狹窄的光譜帶，高光譜成像傳感器能夠捕獲詳細和豐富的光譜信息。近年來，隨著圖像處理技術的發展，高光譜圖像得到廣泛應用，在高光譜圖像應用中最重要的任務是對圖像進行分類。然而，在高光譜遙感圖像分類問題中存在一些挑戰。例如有限訓練樣本之間的不平衡和高維度，高光譜遙感圖像幾何形狀復雜，高光譜遙感圖像分類計算復雜度高。為使高光譜遙感圖像分類取得良好效果，近年來，機器學習方法在高光譜圖像分類中得到廣泛應用，例如人工神經網絡（Artificial neural networks，ANNs）[1]、支持向量機（Support vector machine，SVM）[2]、多項邏輯回歸（Multinomial logistic regression，MLR）[3]、主動學習（Active learning，AL）[4]等，其它方法如利用稀疏表示[5]以及譜聚類[6]對高光譜進行分離也得到廣泛應用。然而，由于高光譜遙感圖像具有{維度以及復雜性，通過機器學習算法尋找最優的參數來進行分類通常非常困難，并且耗時，實現高光譜遙感圖像高效快速分類已成為遙感圖像領域的重要問題。
近年來，Huang等[7]基于單隱層前饋神經網絡（Single-hidden layer feedforward networks，SLFNs）結構提出了極限學習機（Extreme learning machine，ELM）。ELM隨機產生隱層節點的輸入權值和偏置值，所有參數中僅有輸出權值經過分析確定。ELM將傳統神經網絡的求解過程轉化為一個線性模型，ELM隨機選擇輸入權值和分析確定SLFNs的輸出權值，避免了傳統神經網絡學習方法收斂速度慢及陷入局部極小解的可能，具有更好的泛化能力和更快的學習速度。文獻[7]指出ELM通過隨機產生隱層節點的輸入權值和偏置值分析確定輸出權值，保持了SLFNs的通用逼近能力，同時能夠得到一個全局最優解。由于ELM良好的泛化能力，使得ELM應用在不同的領域中。在高光譜遙感圖像領域，Pal等[8]將ELM應用到土地覆蓋分類中，與BP[9]神經網絡和支持向量機相比，ELM取得了更好的分類效果，并且ELM算法的計算復雜度遠遠小于BP和支持向量機。Bazi等[10]利用差分進化方法優化核ELM算法的參數，提高了高光譜遙感圖像的分類效果。為了提高ELM算法在高光譜遙感圖像分類中的穩定性，Samat等[11]基于Bagging 和 AdaBoost算法提出了集成的極限學習機算法（Ensemble extreme learning machine，E2LM）。
雖然針對高光譜遙感圖像分類問題，研究人員在ELM算法的基礎上提出了改進，然而 ELM及其改進算法并未充分考慮數據樣本間的幾何特征和數據蘊含的判別信息。知道樣本之間具有某些相似的屬性和分布特征，樣本之間的相似屬性和分布特征能夠彌補ELM學習不夠充分的問題，進而可以提高ELM的泛化能力，因而數據樣本的幾何特征和數據蘊含的判別信息對ELM的分類性能具有重要作用。
基于以上分析，本文提出一種基于判別信息極端學習機（Discriminative information regularized extreme learning machine，IELM），對于分類問題，IELM同時考慮到數據樣本的幾何特征和數據蘊含的判別信息，通過最大化異類離散度和最小化同類離散度，優化極端學習機的輸出權值，從而在一定程度上提高ELM的分類性能和泛化能力。IELM方法的優勢在于：①繼承了ELM的優點，在一定程度上避免了ELM學習不充分的問題；②將異類離散度和同類離散度引入到ELM中，充分利用數據樣本的判別信息；③利用MMC[12]方法有效解決最大化異類離散度和最小化同類離散度矩陣奇異問題。
為評價和驗證本文提出的基于判別信息極端學習機的高光譜遙感圖像分類方法，實驗使用Indian Pines，Salinas scene兩個高光譜遙感圖像數據，將本文所提出的方法與ELM、支持向量機（Support vector machine，SVM）、最近鄰分類器協作表示（Collaborative representation nearest neighbor classifier，CRNN）[13]進行對比，實驗結果表明本文提出的算法能夠取得較好的分類效果。
實驗環境為惠普工作站處理器：Intel（R）Xeon（R） CPU E5-1603 0 @2.80 GHz，安裝內存：8.00GB ，系統類型：64位操作系統，版本：win7，語言開發環境采用 Matlab 2010b。
第一組實驗數據為Indian Pines遙感圖像數據，Indian Pines數據是AVIRIS傳感器在薩利納斯山谷收集的數據，該圖像包含200個波段，圖像大小為145×145，地表真實分類如圖1所示，Indian Pines數據集屬性設置如表1所示。
第二組實驗數據為Salinas scene遙感圖像數據，Salinas scene數據是AVIRIS傳感器在薩利納斯山谷收集的數據，該圖像包含204個波段，圖像大小為512×217，地表真實分類如圖2所示， Salinas scene數據集屬性設置如表2所示。
實驗中，對于Indian Pines和Salinas scene圖像數據，隨機選取1%的數據樣本作為訓練集，剩下部分為測試集，使用總體精度（OA），Kappa系數，平均準確率（AA）衡量不同算法的性能。
（1）體精度。總體精度（overall accuracy，OA）是對分類結果質量的總體評價，等于被正確分類的像素總和除 以總的像素個數。被正確分類的像素沿著混淆矩陣的對角線分布，它顯示了被正確分類到真實分類中的像元數。根據混淆矩陣可得OA的計算式為：p=∑ci=1miiN（21）其中，c表示類別數目，mii表示混淆矩陣對角線上的元素，N=∑ci=1∑cj=1mij表示測試樣本的總數。
（2）Kappa系數。Kappa系數采用一種多元離散分析技術，反映分類結果與參考數據之間的吻合程度，它考慮了混淆矩陣的所有因子，是一種更為客觀的評價指標，其定義為：k=N∑ci=1mii-∑ci=1（mi+m+i）N2-∑ci=1（mi+m+i）（22）其中，mi+，m+i分別表示混淆矩陣第i行的總和、第i列的總和，c表示類別數目，N為測試樣本總數，mii表示混淆矩陣對角線上的元素，Kappa系數越大分類精度越高。
（3）平均精度。平均精度（average accuracy，AA）定義為每類分類準確率相加除以類別總數。AA=∑ci=1accic（23）其中，c表示類別數目，acci表示每類的分類準確率。
4.2實驗結果及分析
將IELM與ELM，SVM，CRNN進行對比，SVM采用libsvm工具箱，核函數采用徑向基核函數（Radial basis function，RBF），懲罰參數c=0.02，核函數參數g=0.02，IELM與ELM均采用Sigmoid函數作為激活函數，隱層節點個數設置為500，懲罰參數c=20。
5結語
本文提出了一種基于判別信息極端學習機的高光譜遙感圖像分類方法，創新之外在于考慮到光譜遙感圖像數據的聯系和差異信息。IELM引入同類離散度和異類離散度的概念，體現了輸入空間數據的判別信息，通過最大化異類離散度和最小化同類離散度，優化極端學習機的輸出權值。與NN，SVM， ELM算法的對比實驗表明，本文所提出方法的分類效果優于NN，SVM，ELM算法。
參考文獻：
[1]Q SAMI UL HAQ，L TAO.Neural network based adaboosting approach for hyperspectral data classication[J].International Conference on Computer Science and Network Technology（ICCSNT），2011：241245.
[2]J A GUALTI，R F CROMP.Support vector machines for hyperspectral remote sensing classification[J].in Proc.SPIE 27th AIPR Workshop：put.Assisted Recognit.Int.Soc.Opt.Photonics，Washington，DC，USA，1999：221232.
[3]J Li，J BIOUCASDIAS，A.PLAZA.Semisupervised hyperspectral image classification using soft sparse multinomial logistic regression[J].IEEE Geosci.Remote Sens.Lett，2013，10（2）：318322.
[4]W DI，MM CRAWFORD.Active learning via multiview and local proximity coregularization for hyperspectral image classification[J].IEEE Journal of Selected Topics in Signal Processing，2011，5（3）：618628.
[5]J BIOUCASDIAS，M A T.FIGUEIREDO.Alternating direction algorithms for constrained sparse regression：application to hyperspectral unmixing[J].Hyperspectral Image and Signal Processing：Evolution in Remote Sensing （WHISPERS），2010：14.
[6]Y TARABALKA，J A BENEDIKTSSON，J CHANUSSOT.Spectralspatial classification of hyperspectral imagery based on partitional clustering techniques[J].IEEE Transactions on Geoscience and Remote Sensing，2009，47（8）：29732987.
[7]GB HUANG，H ZHOU，X DING，et al.Extreme learning machine for regression and multiclass classification[J].IEEE Trans.Syst Man Cybern B，2012，42（2）：51329.
[8]M PAL，A E MAXWELL，T A WARNER.Kernelbased extreme learning machine for remotesensing image classification[J].Remote Sens.Lett，2013，4（9）：853862.
[9]D RUMELHART，G HINTON，R WILLIAMS.Learning by backpropagating errors[J].Nature，1986，323（6088）：533536.
[10]Y BAZI.Differential evolution extreme learning machine for the classification of hyperspectral images[J].IEEE Geosci.Remote Sens.Lett，2014，11（6）：10661070.
[11]A SAMAT，P DU，S LIU，et al.E2LMs：ensemble extreme learning machines for hyperspectral image classification[J].IEEE J.Sel.Topics Appl.Earth Observ.Remote Sens，2014，7（4）：10601069.
[12]H LI，T JIANG，K ZHANG.Efficient robust feature extraction by maximum margin criterion[J].IEEE Transactions on Neural Networks ，2006，17（1）：157165.
神經網絡中偏置的作用范文6
作者簡介：孫涵，博士生，講師，主要研究方向為資源管理工程和能源系統模型。
基金項目：中國地質大學（武漢）優秀青年教師特色學科團隊項目（編號：CUG090113）；教育部人文社科青年項目（編號：10YJC790071）。
（中國地質大學經濟管理學院， 湖北 武漢 430074）
摘要 為了取得可靠的能源需求預測，本文引入工業化、城市化等重要因素，利用支持向量回歸機在時間序列預測中的優勢，確定了輸入向量集合和輸出向量集合，建立基于支持向量回歸機能源需求預測模型。將我國1985-2009年能源需求相關數據進行模擬與仿真，并對中國2010-2020年能源需求量進行預測，并模擬解釋變量不同增長率下能源需求的演變并給出政策選擇。研究結果表明，中國高速的經濟增長以及工業化和城市化的發展對能源需求影響很大，到2020年能源需求將達到45.3億t標準煤，而且經濟增長速度越快對能源需求就越大。變量模擬得出的結論是產業結構也是能源需求重要影響因素之一，工業結構的調整，即便是微調，也會對能源需求有很大的抑制作用；中國城市化進程以及城市化發展階段所表現出的工業化特征，推動了能源需求快速增長，城市化率越高對能源需求越大，且對能源需求是剛性的，城市化也是能源需求重要影響因素之一。
關鍵詞 能源需求；城市化；工業化；支持向量回歸機
中圖分類號 F407.21；C913.3文獻標識碼 A文章編號 1002-2104（2011）07-0007-06doi:10.3969/j.issn.1002-2104.2011.07.002
能源是人類生存和發展的重要物質基礎，也是國家經濟命脈和國家安全的重要戰略物資。未來能源基礎能否支撐我國經濟的可持續增長，成為國內外關注的十分重要的問題。因此，做好未來能源需求分析，搞好能源需求預測，為能源規劃及政策的制訂提供科學的依據，對于保持我國國民經濟可持續發展具有重要的現實意義。
國內外許多能源機構或相關機構主要從經濟學理論和工程技術理論這兩個角度對影響能源需求的影響因素、能源需求預測以及預測方法做了大量的研究。這些具有代表性的預測方法：MARKAL（市場分配）模型、情景分析法、彈性系數法、靜態或動態投入產出法、時間序列法等方法已被廣泛應用于能源需求研究和預測［1-3］。在解釋經濟發展與能源消費之間長期均衡和短期波動關系方面，標準Granger因果檢驗、協整和誤差修正模型（ECM）得到廣泛運用［4-6］。但是迄今，在對能源需求研究和預測的文獻中，主要有兩點不足：第一，除了將經濟水平作為最重要的解釋變量，一些學者也試圖納入其它變量以增強模型的解釋能力。但是，截止目前對能源需求的研究中，很少同時將工業化和城市化兩個因素納入進行定量的實證研究。發達國家的城市化和工業化已基本完成，能源需求處于相對穩定的緩慢增長或下降階段，在模型中可以忽略這兩個因素的影響。然而，當涉及到經濟處于轉型時期的發展中國家特別是中國時，這對研究結果的影響就尤其顯著。目前，中國有著世界第一大規模的人口、第二大規模的經濟，但區域之間發展極不平衡，這是基本國情；經濟持續高速增長、城市化加快和其間的工業化特征，這是現在及今后相當一段時期內中國經濟社會發展的最重要特點［7-8］。對中國能源需求的研究，必須考慮到上述基本國情和特殊經濟社會發展階段中的主要特征。第二，能源系統是一個的非線性系統，上述預測方法預測精度不高。能源消費和經濟增長之間存在一種非線性的關系，一些學者得到了二者之間存在著類似環境庫茲涅茨曲線的結論。由于傳統的線性預測方法對數據樣本沒有學習過程，難以準確刻畫能源系統中的非線性關系，導致預測精度較低［9］。盡管人工神經網絡方法是公認的相對較好的方法，但我國能源需求的歷史數據較少，在小樣本情況下神經網絡進行預測通常得不到充分的訓練，使得性能不穩定，并且還存在推廣（預測）能力不強等缺點［10-11］。而支持向量機［12-13］是一種專門研究有限樣本情況下非參數估計問題的機器學習方法，它在解決小樣本、非線性及高維模式識別問題中表現出許多特別的優勢，受到學者的青睞，并已成功應用于時間序列預測［14］，已經成為機器學習界的研究熱點之一。
因此，本文將在前人研究的基礎上做出兩個主要改進：第一將城市化和工業化同時納入模型中，分析中國經濟增長和能源消費的長期關系；第二，運用支持向量回歸機方法，建立能源消費和經濟增長的非線性數據模型。基于上述模型，對中國2010-2020年能源需求量進行預測，模擬解釋變量不同增長率下，未來能源需求的演化路徑，并給出政策分析與建議。
1 能源需求預測模型的建立
支持向量機（Support Vector Machines, SVM）最早是由Cortes 和Vapnik［12-13］于1995年提出的一項新的數據挖掘技術，它借助于最優化方法，非常成功地處理回歸問題（時間序列分析）和模式識別（分類問題）等諸多問題。
1.1 能源需求的回歸支持向量機模型構建
能源系統是一個大而復雜的非線性系統，能源需求受經濟、社會等諸多因素的影響，各因素相互滲透，相互作用。一般說來，能源需求影響因素與能源需求量的關系非常復雜，很難用一個具體的模型來描述。本文采用SVR來映射輸入（能源需求影響因素）與輸出（能源需求量） 之間的關系。具體說來：
在本文中，把能源需求量以及所確定的各影響因素指標的歷時數據作為樣本，構造一個多輸入、單輸出的支持向量回歸機預測模型，如圖1所示。
把影響能源需求變量［9-10］作為輸入，把能源需求量作為輸出，分別用（x1，x2，…，xd）和y來表示。本文用經濟增長（GDP）、城市化（城市人口數量占總人口數量）和產業結構（第二產業占整個產業的比重）和人口總數四個變量來表示輸入。
根據上述歷年的數據看作時間序列{X（t）,t1,2,…,n},則其預測模型可以描述為X（t）Φ［X（t-1）,X（t-2）］，…X（t-d）式中：Φ為非線性函數；d為輸入向量維數。
在進行能源需求預測時，利用支持向量回歸機（SVR）進行回歸與預測的基本思想［12-13］，就是將輸入的影響因素x1，x2，…,xd，映射到一個高維特征空間，并在此空間進行線性回歸，從而將特征空間的非線性回歸問題轉化為高維特征空間線性回歸問題，所以它對于一些復雜的或非線性的問題非常有效。由統計學習理論［10-11］可確定回歸函數如下：
f（X）（w,φ（X））+b（1）
其中，φ∶RnF,w∈F。（,）表示內積，φ為Rn空間到F空間的非線性映射，X∈Rn，w為權重，w∈F，b為偏置。
SVR解決回歸問題是使結構風險最小化，而不是傳統回歸方法使經驗最小化，這使得預測模型具有很好的函數逼近能力和泛化能力。式（1）中φ已知，利用樣本數據（Xi，Yi）進行訓練使式（2）泛函數最小化，可求出試（1）中w和b估計值。
Remp［f］∑Si1C（ei）+λω2（2）
其中，式（2）中Remp［f］為經驗風險，ω2為置信風險。C（ei）為模型的經驗損失，eif（Xi）-YiY＾-Yi ，Y＾和Yi分別表示樣本的預測值和真是值，ei為誤差，S為樣本容量。
由于φ是固定的，ω2反映了模型在高維特征空間的復雜性，其值越小則置信風險越小。λ是用于控制樣本訓練損失與模型復雜性折中的正則化參數。
求解式（2）等價于求解如下式（3）優化問題
minLwTw+C∑Si1（ε*i+εi）（3）
s.t.y-（w,φ（Xt））-bε+ε*i
（w,φ（Xt）+b-y）ε+εi
ε*i,εi0
其中c1/λ，其他符號跟上述公式符號相同。為了便于求解，往往把上述式（3）轉化為對偶問題，并求解。
那么可得到：w∑Si1（αi-α*i）φ（Xi），則可得非線性函數f（x）：
f（x）∑li1（αi-α*i）K（Xt,X）+b（4）
b是偏置，可由任一支持向量機代入求得；K（Xt,X）是內積函數。本文選擇徑向基核函數［9,15］:
K（Xt,X）exp（-）（5）
將式（5）代入式（4）中，經過等價交換可得到下式（6）
f（x）∑li1ajexp-+b（6）
式（6）中：xj是訓練年份輸入數據向量；xv是預測年份的輸入數據向量；f（x）為輸出向量集合。式（6）經過運算會得到能源需求預測的參數αj和b，從而得到預測模型。
1.2 方法的檢驗與驗證
首先將把1985-2005年（訓練樣本）能源需求變量數據，作為SVR的輸入，相應的中國能源消耗量作為輸出，進行模擬與仿真。其次，運用訓練好的模型對中國2006-2008年能源需求量進行預測（檢測樣本），最后根據預測的結果與實際值進行比較，以驗證方法的有效性和可行性。在進行訓練與預測時，需要確定SVR正規化參數C和RBF核函數參數σ2。本文將最終的預測結果所產生的誤差作評價標準，根據驗證集上的性能表現，來確定合適的取值。本文經過反復試驗，最后確定當C80，σ275時，預測2006-2009年能源需求量分別為24.727、27.305、29.214和29.159億t標準煤，與實際能源消耗相比誤差分別為0.41%、2.81%、2.5%和4.89%。為了驗證其方法的可行性，將預測結果與真實值和BP神經網絡預測值進行比較，如表1所示。由此可見，該方法預測的誤差范圍都很小，較BP神經網絡方法好，其結果理想。因此，可以說本文選取的影響因素和所建立的模型具有一定的可行性和可靠性。上述模型的建立、編程及預測等工作均在Matlab8.0軟件上編寫實現的。
2 能源長期需求預測分析
2.1 數據來源
由于對能源需求做預測時，首要的工作是數據的收集與整理，特別是口徑統一的一致性分析等。因此，本文所涉及到的數據是根據2000年和2009年《中國統計年鑒》中相關數據直接引用或間接計算而得，由于篇幅原因，數據略。從而保證了數據的可靠和口徑的統一。又由于改革開放之前我國是一個封閉型的經濟，這與1978年之后我國經濟體制和運行環境都有較大區別，再根據數據的可
表1 能源需求預測結果
Tab.1 Energy demand forecast result
獲性，本文只考察了中國1985-2009年的能源需求數據。
2.2 數據預處理
已確定的輸入和輸出數據共包含5個方面的內容。由于指標的量綱不同，數據在數量上差異性很大，如果直接用原始數據進行運算，則很可能出現較大范圍的變化，使預測結果準確性降低。因此，需要對各指標的數據進行歸一化處理，通過式（7），可以把全部數據都歸一化到［0,1］之間。
x（7）
2.3 情形分析
由于預測是基于歷史數據的，而未來能源影響因素如城市化、產業結構以及中國經濟增長存在各種不確定性都會對預測的結果產生影響。因此，需要在不同影響情況下，對能源需求進行模擬分析。
為了更加全面地分析經濟增長對用能源需求的影響，本文在GDP增長率為8%的基礎上上下浮動0.5個百分點。盡管GDP 增長率低可以降低能源需求，但是保持經濟高速增長（約8%） 是中國社會發展和勞動就業的保障［4］，因此它不該納入我們的政策模擬分析中。相反，其它變量都是政府部門能夠通過產業政策、加以影響的，因此在一定程度上都能成為抑制能源需求的政策工具。
產業結構的變化根據國家發展和改革委員會能源研究所研究結果［12］，第二產業結構的增長率為8.27%。2009年全國城市化率約46.69%，距離中等收入國家61%、高收入國家78%的平均水平相去甚遠。以2009年為基礎，2020年要達到60%的城市化率［5］?？捎嬎愀髂甑某鞘谢俣冉咏?.2%。2009年中國人口13.35億，2020年達到14.5億，可計算各年的人口增長速度接近6.4‰。我們在目標假設的基礎上，逐個改變GDP 以外變量的變動幅度，其中第二產業在原來增長率的基礎上上下浮動0.5個百分點（其它產業增長率不變化），城市化的增長率上下浮動0.4個百分點。由于人口增長緩慢，因此本文不對人口總數可能變化做分析。綜上所述，本文把目標趨勢假設：8%GDP 增長率；8.27%第二產業結構變量增長率；2.2%城市化增長率為基本情況，為2009年為基準，模擬在不同的路徑下，中國2010-2020年能源需求量，其結果如表2所示。
2.4 預測結果分析
第一，對經濟增長速度的模擬結果表明，在目標趨勢假設下，能源消費量自2010年的31.553億t，然后逐年增長，直到2020年為45.3億t。由于經濟的增長對能源的需求有較大影響，于是本文對不同GDP 增長率的進行模擬，其結果表明，7.5%GDP增長率使得中國在2010年的能源需求預測值為31.471億t，到2020年則到45.055億t；8.5%GDP增長率使得中國在2010年的能源需求預測值為31.631億t，到2020年則到達45.381億t。說明中國在2010-2020年中，依然要消耗大量的能源，經濟增長仍然是一個重要的影響因素，經濟增長的大能源需求也越大。而這也說明正處在工業化中期的中國，未來能源消費量與經濟發展水平有較強的正相關性。這也與許多經濟學家研究的結論是一致的。
第二，對產業結構調整的模擬結果表明：-0.5%的下調（減少第二產業比例） 使得能源2010年的能源需求為31.484億t，比目標預測值少0.069億t，到2020年能源仍需求45.249億t，比目標預測值少0.051億t；+0.5 %的上調（增加第二產業比例） 使得能源2010年的需求為31.621億t，比目標預測值多0.068億t，到2020年能源仍需求45.349億t，比目標預測值多0.049億t。由此可見，不同的產業結構會改變能源消耗倒U型曲線需求量的高度，由于短期內重工業結構是很難大幅度進行調整的，只能進行微調［11］，但是從模擬結果我們仍然可以看出，即使微調對未來能源需求也有很大的抑制作用，可以說產業結構對能源需求影響大。由此可見，產業結構也是中國未來能源需求增加的重要因素之一。
第三，對城市化調整的模擬結果表明：-0.4%的下調使得能源2010年的需求為31.515億t，比目標預測值少0.038億t，到2020年能源仍需求45.158億t，比目標預測值少0.142億t；+0.4%的上調使得能源2010年的需求為31.591億t，比目標預測值多0.038億t，到2020年不同的城市化的變化率，能源需求都為45.393億t，比目標預測值多0.093億t。由此可見，不同的城市化會改變能源消耗倒U型曲線需求的高度，且城市化對未來能源需求的影響呈現一種不斷加大的趨勢，即城市化程度越高，對能源消耗越多，對未來能源的影響也越大（見表2）?？梢哉f，城市化也是中國未來能源需求增加的主要因素之一。
通過以上分析，我們發現2010-2020年，城市化、工業化和經濟增長一樣成為影響未來能源需求的主要因素。中國的能源動態表明，2010年到2020年間，中國能源年消費總量還會不斷增長，說明與能源密切相關的高耗能產業在快速增長，表明了工業化和城市化進程在加速。主要是因為：中國的城市化、工業化仍未完成以及中國政府對經濟的駕馭能力，即使保守估計，中國經濟還可以再快速增長30年［3］。正處在工業化中期，進入重工業化階段的中國，高耗能產業快速增長，未來現代化目標必須完成工業化。工業化的資源路線決定了必然消耗大量的能源，這是一條無法跳脫的基本規律。而隨著城市化進程推動，農村人口的快速城市化過程必然帶來能源消費量的相應增長。2009年全國城市化率為46.69%，要想接近或達到距離中等收入國家61%的水平時，到2020年，中國大約有2.4億人口將遷移進城市居住和工作（相當于目前美國2008年人口的75.66%）。保守地估計，中國城市人口能源消費是農村人口3.5到4倍［8］。2.4億農村移民的能源消費將是一個龐大的數字。大規模城市基礎設施和住房建設，需要大量水泥和鋼鐵，這些都只能在國內生產，因為世界上沒有哪一個國家能為中國生產這么多的鋼材和水泥。因此，高耗能產業對能源的需求也是剛性的?？梢哉f，中國城市化進程以及城市化發展階段所表現出的工業化特征，推動了能源需求快速增長。
3 結 論
基于SVR的方法，我們預測了至2020年中國能源的長期需求，2020年的能源消費量將達45.3億t，比其它預測要稍高一些。說明在現有的能源消費結構下，保持高速經濟增長速度和現有第二產業結構比例，能源需求很大。對不同GDP 增長率的模擬結果表明，7.5 %的GDP 增長率使得中國在2020年的能源需求預測值為45.055億t；8.5%的GDP增長率為45.381億t；而不同的經濟增長速度對能源需求是不同的，經濟增長越高能源消耗也越大。因此可以說，在此演義的路徑下，經濟增長速度是能源政策的一個重要影響變量。由于高速的經濟增長（8%）是中國社會發展和勞動就業的保障，不該納入我們的政策模擬分析中。但是，這對我國能源戰略規劃具有重要的參考價值。因而，經濟增長速度是能源政策的一個重要變量。
工業化對中國2010-2020年能源需求都有顯著的影響。這個因素可以改變倒U型曲線的形狀和能源消費量的高度。也就是說，在不同經濟增長方式和能源環境政策下，未來能源消費的“環境庫茲涅茨”曲線高度。這意味著，通過制定和執行積極的能源政策，有可能使“環境庫茲涅茨”曲線降低，或在曲線上找到一條近似水平的通道，甚至讓能源需求峰值提前到來。例如調整產業結構來抑制高耗能產業的發展。工業結構的調整，盡管短期內重工業結構很難大幅度進行調整，但是我們可以進行微調，也會對能源需求有很大的抑制作用。因此，從中長期看，第一，中國必須加速改變全球化貿易分工的低端高耗能產業結構，從能源密集型的制造業向高技術、服務業的轉型，特別是要警惕一味追求GDP的地方政府對落后產業的過分保護。第二，加強全民的環保節能意識。比如，建筑物的節能，中國的老百姓還很少考慮。這樣通過這種方法減少中國經濟對能源過度依賴，是有效的政策取向。
城市化也是對中國2010-2020年能源需求的主要影響之一。在城市化推進的過程中，中國的能源消費將發生巨大變化，即使技術進步有可能提高能源使用效率，但為滿足經濟增長和社會現代化的需要，中國能源消費總量仍將經歷一段剛性的高增長階段。從總體來看，城市化將是一個比較長的歷程。各國社會條件不同，經歷的時間會有所不同，但這一過程是每個發達和中等收入國家都經歷過的。如果沒有出現大的災難性問題，中國城市化進程到2020年左右才能完成。需要并且真正理解這一階段的能源消費增長和能源消費剛性問題，是制定有效的能源戰略和政策的必要前前提。但長期來看，中國城市化水平的提高有利于提高能源的利用效率，所以，用推進城市化來調整和優化產業結構，是我國資源節約型社會建設的一項重要內容，這必將進一步提高能源效率，從而降低經濟社會發展對能源的依賴程度。
參考文獻（References）
［1］王安建,王高尚.能源與國家經濟發展［M］.北京:地質出版社,2008.［ Wang Anjian, Wang Gaoshang. Energy and State Economy Development［M］.Beijing: Geology Press,2008.］
［2］Capros P, Mantzos L. The European Energy Outlook to 2010 and 2030［J］. International Journal of Global Energy Issues, 2000,14（1-4）: 137-154.
［3］梁巧梅,魏一鳴,范英.中國能源需求和能源強度預測的情景分析模型及其應用［J］.管理學報,2004,1（1）:62-67.［Liang Qiaomei, Wei Yiming, Fan Ying. A Model for Scenario Analysis of China’s Energy Requirement and Energy Intensity and Its Applications［J］.Chinese Journal of Management, 2004,1（1）:62-67.］
［4］Bentzen J, Engsted T. Short and Long Run Elasticities in Energy Demand: A Cointegration Approach ［J］.Energy Economics,1993,15:9-16.
［5］何曉萍,劉希穎,林艷蘋.中國城市化進程中的電力需求預測［J］.經濟研究,2009, （1）: 118-130.［ He Xiaoping,Liu Xiying and Lin Yanping. China's Electricity Demand Forecast under Urbanization Process［J］.Economic Research Journal,2009,（1）:118-130.］
［6］林伯強,魏巍賢,李丕東.中國長期煤炭需求:影響與政策選擇［J］.經濟研究, 2007, （2）: 48-58 ［Lin Boqiang,Wei Weixian, Li Pidong. China's Long-run Coal Demand: Impacts and Policy Choice［J］.Economic Research Journal,2007,（2）:48-58.］
［7］林伯強.中國重化工業之行的能源和環境約束［N/OL］.2005,5.省略 / html/ 2005-10-18/17393.htm. ［ Lin Boqiang. The Heavy Chemical Industry in China's Energy and Environmental Constraints［N/OL］. 省略/html/2005-10-18/17393.］
［8］林伯強.城市化是能源可持續問題的關鍵［N/OL］.21世紀經濟報道,2008,5.省略/.［Lin Boqiang. Urbanization is the key to Energy Sustainable Issues［N/OL］.21ST century Business Herald,2008,5. 省略/.］
［9］胡雪棉,趙國浩.基于Matlab的BP神經網絡煤炭需求預測模型［J］.中國管理科學, 2008,10（16）:521-525. ［Hu Xuemian, Zhao Guohao. Forecasting Model of Coal Demand Based on Matlab BP Neural Network［J］.Chinese Journal of Management Science,2008, 10（16）:521-525.］
［10］Lawrence S, Giles C L, Tsoi A C. Lessons in Neural Network Training: Overfitting May Be Harder Than Expected ［C］. Proceedings of the Fourteenth National Conference on Artificial Intelligence［M］. Mento Park,CA: AAAl Press,1997: 540 -545.
［11］Moody J E. The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems［J］.NIPS, 1992,4:847-854.
［12］Vapnik V N. The Nature of Statistical Learning Theory［M］.Springer,1995.
［13］鄧乃揚,田英杰.數據挖掘中的新方法―支持向量機［M］.北京:科學出版社,2004.［Deng Naiyang, Tian Yingjie. A New Method of Data Mining: Support Vector Machine［M］.Beijing: China Science Press,2004.］
［14］Theodore B, Trafalis H I. Support Vector Machine for Regression and Applications to Financial Forecasting ［C］. IEEE-INNS-ENNS International Joint Conference on Neural Networks, 2000:348-353.
［15］吳巧生,成金華,王華.中國工業化進程中的能源消費變動――基于計量模型的實證分析［J］.中國工業經濟,2005,（4）:30-371.［Wu Qiaosheng, Cheng Jinhua, Wang Hua. Change of Energy Consumption with the Process of Industrialization in China［J］. China Industrial Economy, 2005,（4）:30-371.］
［16］郭菊娥,柴建,呂振東.我國能源消費需求影響因素及其影響機理分析［J］.管理學報, 2008,9（5）:651-654.［ Guo Ju'e, Chai Jian, Lu Zhendong. Application of Path analysis and PLSR to Forecast the Energy Resource Demand in China［J］.Chinese Journal of Management, 2008,9（5）: 651-654.］
［17］國家發展和改革委員會能源研究所課題組.中國2050年低碳發展之路：能源需求暨碳排放情景分析［M］.北京：科學出版社,2009.［State Development and Reform Commission Energy Research Institute Topic-based Group. China's Low Carbon Development Pathways by 2050: Scenario Analysis of Energy Demand and Carbon Emissions［M］. Beijing: Science Press, 2009.］
［18］魏一鳴,范英,韓智勇，等.中國能源需求報告（2006）:戰略與政策研究［M］.北京:科學出版社,2006.［Wei Yiming, Fan ying, Han Zhiyong,et al. China Energy Report（2006）: Strategy and Policy Research ［M］. Beijing: Science Press,2006.］
［19］Sazimy C. Use of Artificial Neural Networks for Transport Energy Demand Modeling［J］. Energy Policy, 2006,34（17）:3165-3172.
［20］Judson R A, Schmalensee R, Stoker T M. Economic Development and the Structure of the Demand for Commercial Energy［J］. Energy Journal,1999, 20（2）:29-57.
China Energy Demand Forecast and Analysis in the Process of
Industrialization and Urbanization
SUN Han CHENG Jin-hua
（School of Economics and Management， Chinese University of Geosciences,Wuhan Hubei 430074,China）
