前言：中文期刊網精心挑選了神經網絡的正則化方法范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
神經網絡的正則化方法范文1
Guo Qingchun； He Zhenfang；Kou Liqun；Kong Lingjun；
Zhang Xiaoyong；Cui Wenjuan
（①Shaanxi Radio & TV University，Xi'an 710068，China；
②Cold and Arid Regions Environmental and Engineering Research Institute，Chinese Academy of Sciences，Lanzhou 730000，China）
摘要： 宏觀經濟政策的制定要參照各次產業的發展水平，所以對產業發展水平進行評估和預測就顯得十分必要。通過運用改進BP算法神經網絡的建模方法對我國第三產業產值比重進行分析，最后建立了單隱層的BP神經網絡模型。結果表明基于改進BP算法的神經網絡模型預測精度高，收斂速度快，具有良好的泛化能力，模型的通用性和實用性強。
Abstract: The formulation of macroeconomic should consult the industry development level, so it is very important to assess and predict the industrial development level. Through the application and improvement of modeling method of BP algorithm neural network, the production value of the tertiary industry in China is analyzed, finally single hidden layer of BP neural network model is established. The research results show that the model based on the improved BP neural network has high forecast precision, fast convergence rate, good generalization ability, strong universality and strong practicality.
關鍵詞： 第三產業 產值比重 BP神經網絡 預測
Key words: tertiary industrial；the proportion of output-value；BP Neural Network；predict
中圖分類號：F20 文獻標識碼：A文章編號：1006-4311（2011）15-0009-02
0引言
第三產業的產值比重是衡量一個國家經濟發展水平的重要指標之一，第三產業的興旺發達已經成為全球性的經濟發展趨勢，成為了現代經濟的一個重要特征。而第三產業受到人均國民生產總值、第一產業及第二產業的就業比重和產值比重的影響，而且這種影響是非線性的、不確定的、模糊的，傳統的經濟數學模型是很難得到滿意結果的。
人工神經網絡是目前一種有效的預測方法，大量的仿真實驗和理論研究已經證明BP算法是一種有效的神經網絡學習算法，它具有很強的處理非線性問題的能力，近年來已經廣泛應用到各個領域[1-4]。但在實際應用中，BP算法也暴露出一些自身的缺點，算法容易陷入局部極值點，收斂速度慢等，這使得BP算法只能解決小規模的問題，求得全局最優的可能性較小，這樣限制了BP算法在實際中的應用。因此應用改進BP算法的人工神經網絡模型預測第三產業的產值比重，和常規方法相比在計算速度、訓練時間等方面都有顯著提高。
1數據來源和預處理
數據來源于《中國統計年鑒（2009年）》，資料時間范圍為1978年-2008年。在發展中國家，第三產業主要受人均國內生產總值和第二產業的影響，所以采用的數據有：人均國內生產總值，第二產業的產值比重，第二產業的就業比重。一般來說，在實際應用中，由于所采集的數據跨度較大，為提高訓練速度和靈敏性以及有效避開Sigmoid函數的飽和區，一般要求輸入數據的值在-1~l之間。通過標準化(y=2*(x-min(x))/(max(x)-min(x))-1)處理，構成一組新序列。
2BP神經網絡模型的建立
BP模型實現了多層學習的設想，當給定網絡一個輸入模式時，它從輸入層單元傳到隱含層單元，經隱含層單元逐層處理后再發送到輸出層單元，經輸出層單元處理后產生一個輸出模式，這是一個逐層狀態更新的過程，稱為前向傳播，如果輸出響應與期望輸出模式有誤差，不滿足要求，則轉入誤差反向傳播，將誤差值沿連接通路逐層反向傳送并修正各層連接權值和閾值，當各個訓練模式都滿足要求時，則學習結束。
研究中直接把影響第三產業產值比重的3項指標（人均國內生產總值，第二產業的產值比重，第二產業的就業比重）作為BP神經網絡的輸入向量，把第三產業產值比重作為輸出向量，這樣就確定了輸入層節點數為3，輸出層節點數為1。BP模型中，轉移函數常用的有兩種：sigmoid函數和線性函數（y=x），sigmoid函數又有兩種函數：tansig函數和logsig函數，本研究窮盡了這二種轉移函數的搭配組合，測試不同組合對網絡性能的影響，結果表明，當輸入-隱層為tansig函數、隱層-輸出層為線性函數時，效果最好。
若輸入層和輸出層采用線性轉換函數，隱含層采用Sigmoid轉換函數，則只有一個隱含層的網絡能夠以任意精度逼近任何有理函數，所以第三產業產值比重預測模型也只選用一層隱含層來構建網絡。在預測中分別組建了隱層節點數從1～25的BP網絡，經過大量試算，最后根據試報效果，確定了較為理想的隱層單元數是5。
由于傳統神經網絡存在不足，因此需對其進行改進，trainbr（Levenberg-Marquardt優化方法與Bayesian正則化方法）函數采用Levenberg-Marquardt優化方法進行網絡權值和閾值的最優化搜索，并采用Bayesian正則化方法在網絡訓練過程中自適應地調節性能函數比例系數y的大小，使其達到最優，并且采用trainbr函數訓練后BP網絡具有較好的推廣能力。
3結果
利用1978年-2003年的第三產業產值比重數據作為訓練樣本，采用改進BP算法的trainbr訓練函數進行訓練構建的神經網絡，不斷調整輸入層和隱含層、隱含層和輸出層的權值和閾值，達到預定精度，結束訓練，然后采用2004年-2008年的第三產業產值比重數據作為檢驗樣本，利用訓練好的網絡對2004年-2008年的第三產業產值比重進行預測。結果表明訓練樣本模擬值和實際值的平均相對誤差為0.037%，它們的相關系數為0.998297；檢驗樣本預測值和實際值的平均相對誤差為1.408%，它們的相關系數為0.732383；無論是訓練樣本的殘差和誤差，還是檢驗樣本的殘差和誤差，都較小，而且它們的相關系數都較高，該方法進行預測時，如2007年我國第三產業產值比重預測值為40.75%，實際值為40.37%，二者相差不大；2008年的預測值為40.83%，實際值為40.07%，相對誤差僅為1.9%。
4結論
利用1978年-2003年的數據作為訓練樣本，建立了基于改進BP算法神經網絡的GDP預測模型，并對2004年-2008年進行了預測，通過模型建立和研究可以得出以下結論：
訓練樣本模擬值和實際值的平均相對誤差為0.037%，它們的相關系數為0.998297；檢驗樣本預測值和實際值的平均相對誤差為1.408%，它們的相關系數為0.732383；說明預測精度高和泛化能力強。
改進BP算法的神經網絡采用Levenberg-Marquardt優化方法進行網絡權值和閾值的最優化搜索，并采用Bayesian正則化方法在網絡訓練過程中自適應地調節性能函數比例系數y的大小，系統的計算速度更快、預測精度更高，應用該方法對我國1978-2008年第三產業的產值比重進行計算和預測，結果比較合理。
改進BP算法的人工神經網絡能夠捕捉到第三產業產值比重和人均國內生產總值、第二產業的產值比重、第二產業的就業比重之間的高度復雜的非線性函數映射關系，很好地解決了第三產業產值比重預測的難題，為經濟政策的制定提供了科學依據，實踐證明這種方法具有較大的理論意義和應用價值。
參考文獻：
[1]王曉東，薛宏智.基于BP神經網絡的股票漲跌預測模型[J].價值工程，2010，29（31）：47-49.
[2]朱劉陽.一種雷達信號自適應盲分離算法[J].價值工程，2010，29（30）：211-212.
神經網絡的正則化方法范文2
關鍵詞：圖像復原；盲復原；逆濾波；神經網絡復原
1 圖像退化及復原模型
1.1 圖像降質的數學模型
圖像復原處理的關鍵問題在于如何建立退化模型。假定輸入圖像f（x，y）經過某個退化系統后輸出的是一幅退化的圖像。為了方便討論， 把噪聲引起的退化（即噪聲）對圖像的影響一般作為加性噪聲考慮，這也與許多實際應用情況一致，如圖像數字化時的量化噪聲、隨機噪聲等就可以作為加性噪聲，即使不是加性噪聲而是乘性噪聲，也可以用對數方式將其轉化為相加形式。原始圖像f（x，y） 經過一個退化算子或系統H（x，y） 的作用，然后和噪聲n（x，y）進行疊加，形成退化后的圖像g（x，y）。圖像退化的過程可以用數學表達式寫成如下的形式：
g（x，y）=H[f（x，y）]+n（x，y）
n（x，y）是一種統計性質的信息下圖表示退化過程的輸入和輸出的關系，其中H（x，y）包含了退化系統的物理過程，即所要尋找的退化數學模型。
1.2 圖像的退化恢復模型
數字圖像的圖像恢復問題可以看作是：根據退化圖像g（x ，y）和退化算子H（x ，y）的形式，沿著逆向過程去求解原始圖像f（x ，y）， 或者說逆向地尋找原始圖像的最佳近似估計。
2 研究背景與意義
圖像復原是數字圖像處理技術的一個重要研究方向，在現實生活中，有著非常廣闊的應用前景和市場。數字圖像處理研究很大部分是服務于數字圖像復原的，而運動模糊圖像的復原又是圖像復原中的重要課題之一，從六十年代起就有人研究它。初期研究的主要原因是對衛星所拍攝的圖像進行復原，因為衛星相對地球是運動的，所拍出的圖像是模糊的（當然衛星所拍攝圖像的模糊原因不僅僅是相對運動而造成的，還有其他原因如大氣湍流所造的模糊等等）。美國的噴氣推進實驗室（JPL）對徘徊者飛行器發回的月球照片進行了圖像恢復處理。傳統的圖像恢復方法可以很好地恢復出來原始圖像，但是需要事先知道系統的先驗知識（例如系統的點擴散函數）。在先驗知識不足的情況下，如何恢復出來原始圖像？這就需要模糊圖像盲恢復技術。根據不同的應用背景和先驗知識，大致可以兩種方法恢復兩種類型的模糊圖像，以滿足不同的應用要求。
第一種方法：如何快速恢復模糊圖像，進行適時性圖像處理？這個技術在實際生活中有著廣泛應用。
第二種方法：如何在事先不能確定模糊系統點擴散函數的情況下，恢復模糊圖像，改善圖像的質量，這就是圖像盲恢復的問題。
3 國際國內研究發展和現狀
從歷史上來看，數字圖像處理研究有很大部分是在圖像恢復方面進行的，包括對算法的研究和針對特定問題的圖像處理程序的編寫。數字圖像處理中很多值得注意的成就就是在這兩方面取得的。
在六十年代中期，去卷積（逆濾波）開始被廣泛地應用于數字圖像恢復。這一階段對模糊圖像的研究主要是把因相對運動而拍攝的模糊圖像復原過來，從而增強人們的判讀能力。早期做圖像復原研究，主要強調盡可能使模糊圖像復原到原貌，增加它的判讀性，在此發展了很多的復原方法，諸如：差分復原、維納濾波等.這些方法各有特點，較好的解決了運動模糊圖像的判讀問題，但是在應用上均有一定的限制。
雖然經典的圖象復原方法不少，但歸納起來大致可分為逆濾波法，或稱相關變換法（ inv ersefiltering or t ransfo rm related techniques） 和代數方法（ alg ebraic techniques） 兩種。
3.1 傳統復原法
3.1.1 逆濾波方法
逆濾波法大致有經典逆濾波法、維納濾波法、卡爾曼濾波法等. 其中，在傅立葉變換域，經典逆濾波的變換函數是引起圖象失真的變換函數的逆變換，其雖在沒有噪聲的情況下，可產生精確的復原圖象，但在有噪聲時，將對復原圖象產生嚴重的影響，雖然濾波函數經過修改，有噪聲的圖象也能復原，但它僅適用于極高信噪比條件下的圖象復原問題； 維納濾波法是通過選擇變換函數，同時使用圖象和噪聲的統計信息來極小化均方復原誤差，這雖然在一定程度上克服了逆濾波法的缺點，但是維納濾波法需要較多有關圖象的先驗知識，如需要對退化圖象進行滿足廣義平穩過程的假設，還需要知道非退化圖象的相關函數或功率譜特性等等，而在實際應用中，要獲得這些先驗知識有較大的困難，為此，Ozkan 等人在研究圖象序列的復原問題時，提出了一種解決空間和時間相關性的多幀維納濾波法，是近年來維納濾波法的新發展； 卡爾曼濾波是一種遞歸濾波方法，其雖可用于非平穩圖象的復原，但是因計算量過大，而限制了其實際應用的效果。 Wu 和Kundu 又對卡爾曼濾波方法進行了改進，不僅提高了速度，并考慮了應用于非高斯噪聲的情況； Cit rin 和Azimi-Sadjadi 也對卡爾曼濾波方法進行了改進，提出了塊卡爾曼濾波方法； Koch 等提出了擴展卡爾曼濾波（ extended Kalmam filter） 復原方法，該方法可以較好地復原模糊類型不相似的退化圖象.除了上述的逆濾波方法外，還有參數估計濾波法，它實質上是維納濾波法的變種. 20 世紀90 年代初，又提出了基于遞歸圖象濾波的自適應圖象復原方法及合成濾波方法，它代表了濾波方法新的發展方向. 1998 年Kundur 等人首先明確提出了遞歸逆濾波（ recursiv e inv er se filter ing ） 算法 ，2000 年Chow 等人又進行了改進，即在代價函數中增加了空間自適應正則化項，從而很好地抑制了噪聲，并減少了振鈴現象，較好實現了在低SNR 條件下的盲圖象復原. 2001 年，Eng 等人結合模糊集的概念，提出了自適應的軟開關中值濾波方法，它能在有效地去掉脈沖噪聲的同時，很好地保存圖象的細節，是一種值得重視的新的圖象復原方法。
3.1 2 代數方法
Andrews 和Hunt 提出了一種基于線性代數的圖象復原方法。這種方法可能比較適合那些相對于積分運算，則更喜歡矩陣代數，而相對于分析連續函數，又更喜歡離散數學的人的口味。它為復原濾波器的數字計算提供了一個統一的設計思路。代數方法可分為偽逆法、奇異值分解偽逆法、維納估計法和約束圖象復原方法等。 其中，偽逆法，實質上是根據圖象退化的向量空間模型來找到引起圖象退化的模糊矩陣，但由于模糊矩陣總是很大的，因此在計算上往往不可行； 而奇異值分解偽逆法則是利用矩陣可分解成特征矩陣系列的思想，將模糊矩陣進行分解，由于簡化了計算，從而有利于模糊矩陣的估計計算，但在有噪聲存在時，經常會出現不穩定的現象； 維納估計法雖然考慮了噪聲的情況，但它僅適合噪聲是二維隨機過程，且已知其期望和協方差的情況。前面的方法僅把圖象看成是數字的陣列，然而一個好的復原圖象應該在空間上是平滑的，其在幅度值上是正的，而約束圖象復原方法就是將這些因素作為約束條件，如基于維納估計法和回歸技術而提出的圖象復原方法就是一種約束圖象復原方法，而且通過選取不同的約束參數和回歸方法可以得到不同的圖象復原算法。傳統的圖象復原算法或面臨著高維方程的計算問題，或要求恢復過程滿足廣義平穩過程的假設，這就是，使得具有廣泛應用價值的圖象復原問題沒有得到圓滿的解決的根本原因。
3.2 神經網絡圖象復原的方法
神經網絡圖象復原方法的發展方向自從神經網絡圖象復原首次提出十多年來，其研究在不斷地深入和發展，描述它的現狀已屬不易，展望它的未來更是困難，況且科學研究具有不確定性. 據筆者判斷，如下諸方面是亟待解決的問題，或研究活動已有向這些方面集中的趨勢。
3. 2.1小波神經網絡用于圖象復原將是研究的重點
自1992 年Zhang 提出小波神經網絡以來，如今已提出了各種類型的小波網絡，且小波與神經網絡的結合成了一個十分活躍的研究領域。通過學者們的理論分析和模擬實驗表明： 由于小波神經網絡具有逼近能力強、可顯著降低神經元的數目、網絡學習收斂的速度快、參數（ 隱層結點數和權重） 的選取有理論指導、能有效避免局部最小值問題等優點，因此將其用于圖象復原是一個值得研究的方向。將小波的時頻域局部性、多分辨性等性質，與神經網絡的大規模并行性、自學習特性等優點結合起來，不僅將使用于圖象復原的小波神經網絡具有自適應分辨性，也將使正則化參數的選取更具有自適應能力. 最終使復原圖象既能保持圖象的細節，又能很好地抑制圖象中的各種噪聲。
3.2.2細胞神經網絡、BP 網絡、自組神經網絡
值得進一步研究細胞神經網絡（ CNN ） 由于其具有易于硬件實現的特點，因而具有很強的商業價值，但由于其自身還有很不成熟的地方，因此值得深入地研究. 其研究方向有： 細胞神經網絡理論基礎的進一步完善及在此基礎上建立細胞神經網絡中鄰域系統的概念； 與圖象數據局部相關性等概念結合起來研究，以建立新的圖象復原理論，形成新的圖象復原技術。BP 網絡對受污染或帶噪聲的訓練樣本，不僅能進行正確的映射，且與其純樣本仍相似。 正是BP 網絡的泛化能力強，使它在解決圖象復原問題時，可能比其他神經網絡具有更好的潛在性能。 將BP 網絡用于圖象復原是很值得進一步研究的.大家知道，人腦的學習方式是“自主的”，即有自組織和自適應的能力的，即人腦能在復雜、非平穩和有“干擾”的環境及其變化的情況下，來調整自己的思維和觀念，還能根據對外界事物的觀察和學習，找到其內在的規律和本質屬性，并能在一定的環境下，估計到可能出現的情況以及預期會遇到和感覺到的各種內容及情況。 自組織神經網絡（SONN） 正是基于人腦的這些功能而生成的，由于它具有能從輸入的數據中，揭示出它們之間內在關系的能力，因此將其用于“盲圖象”的復原將是非常有利的。
3.2.3 需要提出更適合圖象復原的新神經網絡模型
小波神經網絡是為逼近任意非線性函數而提出來的，但為了圖象復原的需要，可考慮針對圖象復原的特殊情況，提出新的神經網絡模型。 如，因為大多數圖象是由平滑區域和輪廓細節組成的，其圖象數據在平滑區域雖具有較強的相關性，但與輪廓細節相鄰的數據應極不相關，所以，提出一種專用于圖象復原的“相關性神經網絡模型”是必然的期待； 再有，因為多項式具有較廣的擬合性和較好的收斂性，所以應提出的“多項式神經網絡”，將它們用于圖象復原也是值得研究的。
3.2.4 神經網絡與其他理論的結合
研究是尋求新模型、新方法的重要途徑目前神經網絡的研究正由單純的神經計算轉向計算智能，并結合腦科學的研究向生物智能方向發展。 為此，神經網絡圖象復原的研究也應考慮吸收模糊、分形、混沌、進化計算、信息融合等交叉學科的研究成果。 與模糊系統的結合將是一個重要的研究方向，因為，神經網絡與模糊系統有如下很多的相同之處： （ 1） 它們在處理和解決問題時，無需建立對象的精確數學模型，而只需要根據輸入的采樣數據去估計其要求的決策； （ 2） 在對信息的加工處理過程中，均表現出了很強的容錯能力； （ 3） 它們都可以用硬件來實現. 由此可見，將神經網絡與模糊系統結合，用于圖象復原將是有意義的研究工作。
4 未來展望
圖像恢復發展到現在，已經有了許多成熟的算法，但是還是存在許多問題，等待著我們去解決。目前圖像恢復的最新發展有：
1. 非穩圖像復原，即空間可變圖像復原。
2. 退化視頻信號的復原問題，以及攝像機拍照圖像復原，這是一個需要進一步研究的領域。
3. 運動補償時空復原濾波，同時將時間相關應用到運動補償中。
4. “Telemedicine“的出現，遠程診斷極大的依賴于遠程接受的圖像質量，圖像恢復在醫學領域中有相當重要的作用。
5. 模糊 PSF 的 Identification 仍然是一個困難的問題，尤其在空間可變的 PSF 的估計中。
6. 空間可變恢復方法，可以利用 Wavelets 和 Markov 隨機場等方法進行復圖像恢復，這是一個具有發展潛力的研究方向。
參考文獻
1 馮久超，黃海東. 基于神經網絡的盲圖象恢復[ J ] . 計算機科學，2000，27（ 1） ： 67～68.
2 Er ler K，Jernigan E. Adaptive image restorat ion using recursive image f ilters [ J ] . IEE E Trans actions on Signal Process ing，1994，42（ 7） ： 1877～1881.
神經網絡的正則化方法范文3
針對傳統多輸入多輸出（MIMO）支持向量機（SVM）沒有考慮多個輸出端之間依賴關系的問題，提出了一種新的基于主曲線的MIMO SVM算法。該算法基于所有輸出端的模型參數位于一個流形上的假設，首先在現有的多維支持向量回歸機（MSVR）的基礎上，構建一個流形正則化的優化目標，其中正則項為輸出端模型參數到通過所有參數集合中間的主曲線的投影距離；其次，由于該優化目標為非凸，采用交替優化的方法，交替計算模型參數和參數集合的主曲線，直至收斂。采用仿真數據和實際的載荷識別工程數據進行驗證，結果表明，與MSVR和SVM單獨建模方法相比，該算法可有效提高預測精度和數值穩定性。
關鍵詞：
支持向量機；多輸入多輸出；主曲線；交替優化；流形正則化
0引言
多輸入多輸出（MultiInputMultiOutput， MIMO）模型常見于機械制造、動力控制、信道檢測等領域[1]，其特點在于同時對多個輸出目標進行建模，以便同時獲得較好的回歸建模效果和較少的耗時。提高MIMO建模的精度有著明確的工程應用價值。
傳統的MIMO建模方法是將一個MIMO模型分解為多個子模型，單獨進行回歸建模[1]。該方法簡單明了，但重復建模會增加計算量。神經網絡的網絡結構決定了它可以同時預測多個輸出端，但對于小樣本問題，該方法較依賴初值設定，容易陷入局部極值，導致過學習。目前MIMO建模廣泛采用的方法是多維支持向量回歸機（Multidimensional Support Vector Regression， MSVR）[2]。該算法構建于經典支持向量機（Support Vector Machine， SVM）[3]的理論基礎之上，通過在超球空間重定義ε不敏感損失函數，將多個輸出端同時納入風險評估，最終采用迭代變權最小二乘法求解相應的對偶問題，從而得到各輸出端的預測模型。該方法可有效適用于小樣本MIMO建模問題，目前已成功解決多點載荷識別、腦電源信號定位等問題[4-5]。
與傳統SVM等方法相比，MIMO建模的關鍵在于能否有效利用多個輸出端之間的依賴關系，增加模型的信息含量。但是，現有的方法很少考慮到輸出端之間的具體關系。例如，盡管MSVR將多個輸出端納入統一的風險函數，但沒有明確它們之間具體的依賴關系，這將限制MSVR建模效果進一步的提升。為了解決該問題，本文提出了一種新的MIMO建模算法。該算法首先對各輸出端之間的關系進行假設，即所有輸出端回歸模型的參數位于一個流形上；其次，在現有MSVR的基礎上，添加一個流形正則項，該項為輸出端模型參數到通過所有參數集合中間的主曲線的平方距離；最后，采用交替優化的方法，求得最優模型參數。據作者文獻調研結果，本文為首次將輸出端的關系引入到MIMO建模算法中，并采用主曲線而非函數回歸來實現該關系。
4結語
提高MIMO建模效果的關鍵在于有效利用輸出端之間蘊含的背景知識，而這需要對輸出端之間的依賴關系進行有效的界定和建模。而直接采用回歸分析建模，無法有效描繪輸出端參數的真實關系。本文假設MIMO輸出端的模型參數位于一個流形之上，在現有的MSVR的基礎上，構建了基于流形正則化的MIMO算法，并采用主曲線作為低維流形的表示，計算各輸出端參數到該流形的投影距離，最終采用交替優化的方法，優化得到最優模型參數，并在仿真數據和圓柱殼振動數據集驗證了該算法的有效性。該方法的特點主要是構建了流形正則化的優化目標，因此也適用于其他形式的MIMO SVM算法。
參考文獻：
[1]
周欣然， 滕召勝， 趙新聞. 基于LSSVM的MIMO系統快速在線辨識方法[J]. 計算機應用， 2009， 29（8）： 2281-2284.
[2]
SNCHEZFERNNDEZ M， DEPRADOCUMPLIDO M， ARENASGARCA J， et al. SVM multiregression for nonlinear channel estimation in multipleinput multipleoutput systems[J]. IEEE Transactions on Signal Processing， 2004， 52（8）：2298-2307.
[3]
VAPNIK V N. The nature of statistical learning theory[M]. New York： Springer， 1995.
[4]
MAO W T， TIAN M， YAN G R. Research of load identification based on multipleinput multipleoutput SVM model selection[J]. Proceedings of the Institution of Mechanical Engineers， Part C： Journal of Mechanical Engineers Science， 2012， 226（5）： 1395-1409.
[5]
李建偉， 汪友華， 吳清. 基于多維輸出支持向量回歸機的腦電源定位[J]. 中國組織工程研究與臨床康復， 2009， 13（17）： 3256-3259.
[6]
張軍平， 王玨. 主曲線研究綜述[J]. 計算機學報， 2003， 26（2）： 129-146.
[7]
KGL B， KRZYZAK A， LINDER T， et al.Learning and design of principal curves[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（3）： 281-297.
[8]
齊紅威， 張軍平， 王玨. 主曲線異常檢測及其在股票市場中的應用[J]. 計算機研究與發展， 2005， 42（8）： 1306-1311.
[9]
CAWLEY G C， TALBOT N L C. Preventing overfitting during model selection via Bayesian regularisation of the hyperparameters[J]. Journal of Machine Learning Research， 2007， 8： 841-861.
神經網絡的正則化方法范文4
[關鍵詞] 支持向量機 時間有效性 技術指標 短期預測
證券市場具有高收益與高風險并存的特性,關于證券市場分析與預測的研究一直為人們所關注。但是由于影響市場的因素眾多,而且它們之間的相互作用是非線性和時變的,因此建立完整的動力方程來描述其內部相互作用因素或狀態變量之間的關系是非常困難的,也是證券分析研究領域的熱點之一。如果將股票價格序列看作系統的輸出,則可以緩解無法建立市場動力方程的遺憾。作為系統的輸出,價格序列畢竟是影響市場各因素相互作用的結果,因此,價格序列必定承載著關于系統狀態變量的信息。
眾多股市分析方法的應用效果都難如人意。常用的預測方法有時間序列法、灰色模型法、證券投資分析方法、專家評估法等。隨著非線性科學的發展,人們提出了神經網絡方法,通過綜合系統的不確定性和工程經驗,來解決復雜的設計問題。神經網絡方法存在最終解過于依賴初值,存在過學習的現象,訓練過程中存在局部極小問題,且收斂速度慢,網絡的隱節點難以確定等問題。
支持向量機 (Support Vector Machine,簡稱SVM)方法基于統計學習理論,由Vapnik等人在90年代中期提出。支持向量機目前已成為機器學習界的熱點,成功應用于分類和回歸問題。當前,SVM已經在模式識別領域取得了很好的應用效果,廣泛應用于文本識別、語音識別、人臉識別。近年來,人們發展了回歸型支持向量機,它可以按任意精度逼近非線性函數,具有全局極小值點和收斂速度快的優點。與神經網絡方法相比有顯著的優越性,且在非線性時間預測方面取得很好的效果。
最近的研究指出股票市場受宏觀經濟形勢、行業周期、公司財務等多方面因素影響,股票市場是一個復雜多變的系統。很多的因素影響著股票價格,在一定時間宏觀經濟變量和股市技術指標被證明對股票價格走勢有一定的預測作用。比如:市場容量和信心被證明在預測期貨交易價格的作用。
股價和成交額作為基礎性技術指標,許多復雜的技術指標都是根據它們轉換而來。本文以日收盤價和日成交價作為研究對象,根據輸入變量時間長短不同,設計9組方案。通過SVM建模,進行9組對比試驗,將試驗結果指標化,找到預測精度最高的那組試驗。根據精度最高的試驗組,確定收盤價、成交額在影響未來股價方面的最佳時刻。該時間點可以反映股價波動的短期周期性
支持向量機理論
支持向量機
支持向量機廣泛應用于函數回歸,模式識別以及密度估計等問題中,與傳統的神經網絡不同,SVM應用的是結構風險最小化原則,而不是經驗風險最小化原則,即SVM尋求的是一般誤差上界的最小化而不是單純訓練誤差的最小化,由于SVM 具有模型的自動選擇(參數,基函數的位置等),可以將訓練轉變為二次規劃問題(有全局最優解)以及對于小樣本良好的學習能力等特性"引起了越來越多研究者的興趣。SVM在回歸(Support vector regression, SVM)尤其是股票價格等非線性時間序列預測中的應用近年來頗受人們的關注。
SVMs回歸函數的形式如下:
式中是一個高維的特征空間(feature space)中的函數,系數b是一個常數。 和b通過將下式最小化來求解。
其中第一項是經驗風險,第二項是正則化的風險,是全部的風險。參數C稱為正則化參數,調整它的大小可使上述兩種風險取得折衷。函數稱為損失函數。損失函數有多種形式,常用的損失函數是不敏感損失函數,即
式中稱為管道大小,它反映函數逼近的精確程度。參數C和 都是使用者定義的自由參數。
為求解和b,引入正松弛變量將公式()轉換為最小化的原規劃問題。
St.
最后,對上面的約束條件引入拉格朗日乘子,可以得出方程(2)中的決策函數:
St.
公式(8)中,是拉格朗日乘數。它們滿足如下公式:
公式(12)中是核函數。核函數的值等于兩個向量在特征空間的內積。常用的多項式核函數的表達式為:
對于核函數我們選擇高斯徑向核函數:。高斯核函數是普遍使用的核函數,因為它對應的特征空間是無窮維的,有限的數據 樣本在該特征空間中肯定是線性可分的。
實際預測過程中使用SVMs回歸方法對經過預處理過的樣本數據進行訓練,計算出支持向量xi,參數。將它們代入(1)式,再代入經過預處理的測試集樣本,就可以計算出映射到[-1,1]區間的預測值,把這個結果作逆映射到原來的區間就得出了所求的預測值。
實證研究
試驗設計
圖1 SVM 預測流程圖
數據處理:
預測過程要經過選擇研究樣本,選取數據;數據預處理;設定模型參數;輸入訓練數據,生成模型;預測輸出預測值;計算評價指標并對結果進行分析等過程。整個過程見圖1。
對象選擇:
本文以深證綜指作為研究對象。指數短期波動期間,研究收盤價和成交量在指數預測中的時間有效性。收集日收盤價、日成交額、漲跌比率作為研究數據。訓練數據集總共有120組數據(2009.07.03到2009.10.25),預測數據集共有55組數據(2009.10.28到2010.03.23)
表1 股價數據集
Xij表示輸入向量,Yij表示輸出值。Xij表示第i(1~9)個方案,第j天的輸入向量。Yij值是第i個方案第j天的漲跌比率。ai表示第i天的收盤價,vi表示第i天的成交量。
數據預處理:
數據預處理中采用的辦法是轉換數據的尺度,將全部數據線性映射到[-1,1]的區間內。之所以這樣做,輸入變量不同其數值的大小也不同,只有將它們都映射到相同的區間內,才有利于衡量它們對因變量的影響。經過這樣處理以后,需要在數據后處理時把[-1,1]上的數據逆映射到原來的區間之內。線性轉換公式如下:
參數的選擇:
SVM回歸預測的參數選擇面臨二個問題:一是決定核函數的類型,二是選擇合適的自由參數c、g、p。通常如果函數是光滑的,高斯核函數有優良的逼近效果。在對數據沒有更多的附加信息。因此,本實驗中采用了高斯核函數。公式如下:
不同的輸入向量,對c、g、p的取值會產生不同的影響。在輸入變量確定的前提下,所有的方案都使用gridregression.py尋找回歸最優參數。所有方案的參數確定標準一樣,避免不同的參數選擇過程對預測結果產生影響。這樣各個方案的預測結果只受有輸入向量的影響。通過將預測結果對比,找出最佳的輸入向量。
評價指標:
預測結果采用2個指標。第一個指標v1是平均絕對差。第二個指標v2是方向一致性指標。其中v1是對預測值偏離實際值的一種度量,它的值越小表示預測的結果越準確。v2則能衡量出預測價格方向的正確比率,它的值則是越大越好。指標的計算公式如下:
其中是實際值,是預測值。
實驗結果分析
下圖2可以明顯看出方案7、8的預測結果都為負值,方案9的預測結果都為正值。在實際情況中連續漲(跌)10日是極其少見的。更何況是連續漲(跌)55天在實現情況下不可能的。方案7、8、9更能體現是在股價中期預測,本文研究的是股價短期波動。所以剔除方案7、8、9。
圖2 實際值與方案7、8、9的預測值
圖3 實際值與方案1、2、3、4、5、6的預測值
表4顯示:方案3的v1值(0.524015)最小,說明方案3的預測精度最高。同時方案3的v2值(0.537)最大,說明方案3預測股價漲跌方向的能力是最強的。方案3是以提前3天的收盤價、成交額作為輸入向量x3j(aj-1,vj-1,aj-2,vj-2 aj-3,vj-3)。試驗結果顯示當天的收盤價、成交額對預測未來3天的股價有一定的指導意義。當天收盤價、成交額在預測第4、5、6、7、8、9天股價方面就失去有效性,甚至對預測結果產生負面影響。
結論
從技術分析的角度分析,試驗證明通過分析提前3天的收盤價,成交額可以有效預測當前的股價。該結論反映股價的短期波動周期為3天。方案1、2、4、5、6的預測結果跟跟方案3的預測結果相差不是很大,說明股價的短期波動周期不是很明顯。在實現生活中股價的影響因素是多方面的比如:宏觀經濟、行業周期、企業的經營水平等等。從不同的角度分析股價的波動的時間有效性是不一樣的。股價的周期有一個季度、一年、4年、8年、10年等等。技術分析在預測價格短期波動是比較有效地方法。以后的研究重點:
(1)研究不同影響股價的因素如:宏觀因素、行業周期、企業財務狀況等對股價影響的時間有效性。綜合中期、長期指標,再對各個指標時間周期進行組合分析。
(2)日開盤價、日最高價、日最低價等技術指標對股價也有一定的影響作用。分析它們在股價預測中的時間有效性。
盡管試驗結果取得一定的成效,但還有很多可以改進的地方。研究不用指標的時間有效性,并對各個周期進行組合分析,能對股票市場投資有很好的指導意義。
參考文獻:
[1]胡蓉:多輸出支持向量回歸及其在股指預測中的應用,計算機技術與發展[J],2007,10
[2]呂淑萍 趙詠梅:基于小波神經網絡的時間序列預測方法及應用[J]. 哈爾濱工程大學學報,2004, 25(2):180-182
[3]高瑋:基于進化神經網絡的股市預測研究[J] 計算機科學.2004,31(B09): 191-l93
[4]Vapnik V. The nature of statistic learning theory. New York:Springer;1995
[5]Matilla-Garcia,G.,&Arguellu,C.(2005).A hybrid approach based on neural networks and genetic algorithm to the study of protability in the Spanish stock market. Applied Economics Letter, 12,303-308
[6]Black,A.J.,&Mcmillan,D.G. Non-linear predictability of value and growth stocks and economic activity.Journal of Business Finance and Accounting, (2004).31,439474
[7]Zhang Xue-gong(張學工). Introduction to Statistical Learning Theory and Support Vector Machines(關于統計學習理論與支持向量機)[J]. Acta Automatica Sinica(自動化學報), 2000,26(1):37-47
[8]Liu Jiang-hua(劉江華), Cheng Jun-shi (陳佳品). Support Vector Machine Training Algorithm Review (支持向量機訓練算法綜述)[J]. Information and Control (信息與控制), 2002,31(1):45-50
[9]Cao Li-juan, Tay Francis E H. Financial Forecasting Using Support Vector Machines [J]. Neural Comquting &Applications, 2001, 10(2): 184-192
神經網絡的正則化方法范文5
0 引 言
隨著信息化進程的不斷加快，計算機網絡已在各個領域得到廣泛應用，并給人類的生產、生活帶來了極大的便利和巨大的經濟效益;但與此同時，計算機網絡安全問題卻日益突出，如何客觀、科學地評價計算機網絡安全已成為計算機網絡安全研究領域的重要課題。針對此問題，國內許多學者都進行了相關研究并提出了多種評價方法，如層次分析法、模糊綜合評價法、灰色評價法等主觀評價方法[1]。主觀評價法在確定權重時隨意性大，受專家的經驗和知識等因素影響，很難得出被廣為認可的結論。鑒于此，很多學者提出了基于神經網絡的評價方法，并取得了較好的評價效果[2?5]。
但是，神經網絡方法存在一些固有的缺點，如網絡的結構不好確定、收斂速度慢、易陷入局部極值、過學習、推廣能力不強和訓練需要大量數據樣本等問題。支持向量機(Support Vector Machine，SVM)是V.Vapnik等人于20世紀90年代在統計學習理論的基礎上發展起來的一種新型機器學習算法，其克服了神經網絡方法很多固有的缺點[6]。它通過結構風險最小化準則較好地解決了以往許多機器學習方法中高維數、非線性和小樣本等難題，具有訓練時間短、全局優化、泛化性能好、適應性強和抗干擾能力強等優點，在預測、模式識別、系統辨識、故障診斷、優化控制和數據挖掘等領域得到了廣泛的應用[7]。支持向量回歸機(Support Vector Regression，SVR)是支持向量機在回歸領域的應用，被廣泛應用于各種預測問題并取得了非常理想的效果。因此，本文利用支持向量回歸機來解決計算機網絡安全評價問題。
1 計算機網絡安全評價指標體系的構建
建立科學、合理的評價指標體系是進行計算機網絡安全評價的基礎和前提，影響計算機網絡安全評價的因素有很多，并且多種因素相互影響。評價指標過多或過少都會影響評價的效果，評價指標過多，存在重復性，會受干擾;評價指標過少，可能所選的指標缺乏足夠的代表性，會產生片面性。因此，構建計算機網絡安全評價指標體系需要遵循指標體系構建的有關原則。
1.1 指標體系構建的原則
(1) 系統性原則。指標體系應能全面反映計算機網絡安全的本質特征，指標體系的整體評價功能大于各分項指標的簡單總和。應注意使指標體系層次清楚、結構合理、相互關聯、協調一致，要抓住主要因素，以保證評價的全面性和可信度。
(2) 一致性原則。評價指標體系應與計算機網絡安全評價目標一致，從而充分體現評價活動的意圖，所選的指標既能反映直接效果，又要反映間接效果。
(3) 獨立性原則。同層次上的指標不應具有包含關系，保證指標能從不同方面反映計算機網絡安全的實際情況。
(4) 科學性原則。以科學理論為指導，以計算機網絡安全要素以及其本質聯系為依據，定性與定量分析相結合，正確反映計算機網絡安全整體和內部相互關系的特征。
(5) 可比性原則。計算機網絡安全評價的指標體系可比性越強，評價結果的可信度就越大。評價指標和評價標準的制定要符合客觀實際，便于比較。
1.2 計算機網絡安全評價指標體系本文在深入分析計算機網絡安全影響因素的基礎上，根據指標體系構建的原則，從管理安全、邏輯安全和物理安全角度出發，構建了如圖1所示的計算機網絡安全評價指標體系。為了便于分析計算，管理安全、邏輯安全和物理安全三個二級指標分別用A，B，C代替，二級指標下的三級指標分別用A1～A4，B1～B9和C1～C6代替。
2 計算機網絡安全評價指標的規范化和安全等級
在進行計算機網絡安全評價前，必須對通過各種方法得到的指標值進行規范化處理。指標包括定性指標和定量指標。一般來說，定性指標和定量指標的規范化方法有所不同。對于定性指標，由于其可能取值有多種，一般是通過建立一一映射或定性等級量化表來進行規范化;對于定量指標，一般是把指標值映射為上、下限分別為1和0的實數，這種數學變換關系是一個從實數集[R]到[0，1]的函數，稱為指標的規范化函數。定性指標也叫模糊性指標，通過專家打分可以將定性指標轉化為確定指標，這種方法在實踐中經常被采用。定性指標的規范化方法最終歸結為兩種途徑：一是轉化為確定的定量值;二是采用模糊數或區間數的形式表示。本文采取專家打分的方式來評價定性指標，然后將各分值規范化為0～1之間的數值。對于定量指標，考慮到指標體系中的定量指標均為效益型指標，因此可以利用式(1)進行規范化處理。
3 支持向量回歸機算法
4 基于支持向量回歸機的計算機網絡安全評價
模型
以上構建了計算機網絡安全評價指標體系，提出了指標的規范化方法和安全等級的劃分方式，在此基礎上，可以構建如圖2所示的基于支持向量回歸機的計算機網絡安全評價模型。
5 仿真實例
為了驗證所構建的基于支持向量回歸機的計算機網絡安全評價模型的有效性，收集了10組計算機網絡安全相關數據作為樣本，如表2所示。其中前8組數據作為訓練樣本，后2組數據作為校驗樣本。采用Matlab 7.0.1軟件并調用支持向量機工具箱，編寫基于支持向量回歸機的計算機網絡安全評價模型，通過對訓練樣本進行訓練，最終將支持向量回歸機的相關參數分別設置為：不敏感值[ε]=0.001，正則化參數[C=1 000，]徑向基核函數的寬度參數[σ=8]。
經過計算，可以得出如表3所示的5～8組訓練樣本的預測誤差，從中可以看出，所建立的基于支持向量回歸機的計算機網絡安全評價模型的訓練效果非常好，4組訓練樣本的絕對誤差均為0.000 1，平均絕對誤差僅為0.022 7%，準確性較高。為了檢驗所建立的評價模型的泛化能力，對后2組樣本進行預測，所得結果和誤差也列于表3。通過計算得到校驗樣本的平均絕對誤差為0.005 8%，遠小于文獻[4]提出的PSO?BP神經網絡模型所預測的平均絕對誤差0.022%，也小于文獻[3]提出的改進型BP神經網絡模型所預測的平均絕對誤差0.01%，這說明本文所建立的評價模型具有較強的泛化能力，預測的準確性較高。
6 結 論
如何科學有效地對計算機網絡安全等級進行評價，并根據評價結果對安全等級較低的計算機網絡采取有效措施以提高安全等級，最大限度地降低安全風險和可能帶來的損失，是當前計算機網絡安全研究領域的熱點問題。本文針對以往計算機網絡安全評價模型尤其是神經網絡評價模型存在的不足，建立了計算機網絡安全評價指標體系，提出了一種基于支持向量回歸機的計算機網絡安全評價方法。仿真實例的預測結果表明，建立的基于支持向量回歸機的計算機網絡安全評價模型具有較強的泛化能力和較高的預測精度，為計算機網絡安全評價提供了一種新的評價方法。
神經網絡的正則化方法范文6
關鍵詞：橋梁損傷識別振動神經網絡空間小波分析曲率模態靜載試驗汽車動力響應單元模態綜述
中圖分類號： TU997 文獻標識碼： A 文章編號：
一引言
通過恰當的方法及時了解橋梁的當前狀態，特別是及時發現危及橋梁安全的損傷，是橋梁安全評價的核心問題，一些傳統的結構檢測方法都以局部無損檢測技術為主，盡管目前這種技術可以對某些缺陷進行較為精確的定位，探查，甚至定量分析。但對于隱秘構件的損傷以及大型復雜接哦古的檢測則仍是力不從心。以下具體介紹了幾種主要的橋梁損傷識別的方法，各種方法具有較強的針對性，利用不同的實驗依據對橋梁進行損傷檢測都能得出較為精確的實驗結果，對于以后橋梁損傷識別方法研究的發展具有良好的指導性作用。
二橋梁損傷識別方法
1 基于振動的橋梁損傷識別方法
隨著使用年限的增加，工程結構中橋梁的長期檢查仍然是定期人工檢查，鑒于定期人工檢查的局限性，基于振動的橋梁損傷識別方法逐漸引入現代橋梁損傷識別中來?；谡駝拥膿p傷識別方法按照所利用的特性量是否使用結構模型可以分為有模型識別方法和物模型識別方法：無模型損傷識別的方法是通過分析比較直接從振動響應的過程或者相應的傅里葉譜和其他變換得到的特征量，從而識別損傷的方法；有模型識別方法按照求解問題的方法可以分為動力指紋分析法或模式識別方法和模型修正法兩類。
2 基于神經網絡的橋梁損傷位置識別方法
大型橋梁的損傷檢測過程可以分為損傷報警、損傷區域定位、具體損傷構件和損傷程度的識別三個階段，對橋面結構損傷區域的定位常用的方法是用損傷區域定位指標如莫泰曲率指標、模態柔度指標等來指示損傷區域。由于這些結構指標對測量數據的數量過多的要求，使得這些方法在大型工程結構上的實際應用受到較大的限制，因此神經網絡技術在損傷檢測中的使用價值得到進一步體現。
3 橋梁損傷檢測的曲率模態方法
根據結構動力學理論可知，結構損傷的存在會影響結構的動態特性一般會降低結構的剛度、增大阻尼、改變振動頻率與振動模態、引起結構邊界條件的變化等，是結構顯示出與正常結構相區別的動態特性，因此可以利用結構系統各種模態參數的變化作為特性標識量來診斷結構的損傷。利用曲率模態法進行結構損傷檢測之前首先要解決損傷標識量選擇問題，用于損傷識別的物理量最好是局域量，并且需要滿足兩個基本條件：一是對局部損傷敏感；二是位置坐標的單調函數。在試驗中必須控制噪聲的控制問題，當位移模態噪音小于1%時，噪音的影響不太明顯，超過1%時，則損傷位置很難檢測出來。
4 利用動靜力測量數據的橋梁結構損傷識別方法
模型修正理論的結構損傷在結動力學中最大的困難是結構模態測試數據不完備、結構模型噪聲和測量的誤差，為借助更多反映結構狀況的實測信息，基于振動模態數據的子結構修正法提出來一種聯合運用動力和靜力量測數據的損傷識別方法，這一方法客服了工程實測中自由度不足的困難。利用靜動力測量數據的橋梁損傷識別方法中首先是一種利用結構振動模態數據修正結構剛度的子結構算法（包括基于振動模態數據的子結構修正、基于靜力位移量測值的子結構修正和推廣的子結構修正法），然后將這一方法推廣為同時利用振動模態數據和靜力位移量測技術的損傷識別方法。運用縮階的理論分析模型解決實測自由度不足的問題。最后從對一懸臂梁的損傷仿真試驗中證明了利用靜動力測量數據的橋梁損傷識別方法在現有測試條件下能夠較好的識別結構的損傷，實驗結果有較高的可信度。
5 基于過橋汽車動力響應的橋梁損傷識別方法
根據Yang等分析過橋汽車的動力響應可以反映橋梁參數的變化，本文將汽車在車-橋系統中作為傳感器的作用的動力響應在時域識別橋梁的損傷。主要是將橋梁等效為等長的歐拉梁單元，汽車等效為單自由度3參數模型，江橋梁各單元抗彎剛度的減小定義為損傷因子。然后根據損傷因子采用最小二乘法和正則化方法可用測試得到汽車加速度響應識別橋梁損傷。實驗結果表明，損傷識別的結果對汽車參數變化比較敏感，汽車過橋行駛速度和采樣頻率對迭代次數有顯著影響；損傷識別誤差隨著橋面不平順和測試的噪音的增加而加大。
6 基于單元模態應變能法的橋梁結構損傷識別方法
當前國內外對橋梁結構損傷識別的方法有靜力法和動力發?；趩卧B應變能法師根據橋梁結構損傷前后動力特征變化的分析，導出單元損傷引起的結構模態振型的改變系數，然后運用結構局部損傷因子法建立單元損傷敏感的指示因子，從而推導出單元損傷前后的單元模態應變能的變化，并對損傷單元與未損傷的單元之前的關系進行了研究。最后以單元模態應變能的變化率作為損傷定位的判別參數，對橋梁結構進行損傷識別?；趩卧B應變能法的橋梁損傷識別對系桿拱橋局部損傷進行識別有較好的識別效果，對于其他橋梁應該在知道損傷前、后的模態振型和單元剛度振型等信息的前提下才可以運用單元模態應變法對其進行損傷識別診斷。
三結束語
橋梁損傷識別方法的研究涉及了振動理論、傳感技術、測試技術、系統識別理論、信號分析處理、數據通信、計算機、隨機過程和可靠度等多門學科，是一個系統工程。經過多年來的積極探索，國內外許多知名人士已經去得了很多成果。但是由于橋梁結構受到許多不確定因素和復雜工作環境的影響，以及對橋梁在使用年限的工作特性的變化缺乏全面深入的了解因此當前取得的成就和研究還僅僅處于一個基礎性探索階段，距離實用性的系統規范還有很大的差距，因此對于橋梁損傷識別方法的研究還需要新的理論突破及現代科技、材料、信息技術、經濟等的進步來促進橋梁損傷識別方法的發展。
參考文獻
[1]唐和生，小波基帶寬的變化對結構損傷識別的影響[J].同濟大學學報（8）
[2]馮忠緒?；炷翑嚢枥碚撆c設備[M] .北京：人們交通出版社
