前言：中文期刊網精心挑選了神經網絡的基本概念范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
神經網絡的基本概念范文1
詞：人工神經網絡模糊系統進化計算粗糙集理論決策樹支持向量機
將知識發現技術應用在醫院信息系統中．在國外已有多年的研究，并有豐富的實踐經驗的積累。國內近幾年也陸續有研究．但總體上還處在研發階段，這里將知識發現技術在醫院中的應用作一簡單介紹。
1人工神經網絡
一種模仿生物神經網絡的。以人工神經元為基本運算單元的一種互聯的，分布式存儲信息的智能信息處理系統。人工神經網絡具有很強的自組織性，魯棒性和容錯性，在醫學數據挖掘中得到了廣泛的應用。采用bayesian神經網絡結構．能夠找出服用抗精神病藥物與心肌病發作的關系；結合領域的統計知識，將bayesian神經網絡用于醫護工作的研究可以取得優良的效果：運用組合神經網絡可對危及生命的心律失常進行歸類；文獻[1]中將專家系統與神經網絡的集成應用于醫療輔助診斷的智能決策支持系統。采用單參數動態搜索算法訓練神經網絡明顯優于傳統的BP算法，極大地提高了神經網絡的訓練速度和分類精度。準確性97％．明顯高于臨床醫生的診斷準確性83％。還可以通過伸進網絡來預測肝癌患者術后的效果。動態檢測患者的麻醉深度和合控制物的用量等。
2模糊系統
建立在模糊數學基礎上的一種推理方式．它將人的定性思維和判斷方法定量化，以適合計算機對信息處理的需要。在數據挖掘中，模糊邏輯經常與神經網絡或最近鄰技術聯合起來應用。在醫學數據挖掘和信息處理中利用模糊神經網絡，可以從心跳記錄中識別心室的過早收縮。還可以用來分析肝臟的超聲圖像等。
3進化計算
模擬自然界中生物的進化過程和進化方式對工程問題進行優化求解的技術．包括遺傳算法、遺傳規劃、進化規劃和進化策略。在醫學數據挖掘中，運用并行遺傳算法可為治療二尖瓣脫垂綜合癥提供決策：采用進化規劃可以對胸痛癥狀疾病進行診斷：運用交互的進化計算方法可以有效的發掘臨床中的噪聲數據：采用進化計算方法還可以對脊柱側凸進行分類。
4粗糙集理論
利用粗糙集合中的屬性約簡和規則約簡理論來對數據進行客觀而有效的處理，從而迅速的獲得知識。文獻中闡述了粗糙集的基本概念。算法模型，并對該項技術應用于胸痛發病結果的預測。非腫瘤辨別診斷．類風濕類型的診斷．胎兒早產的診斷，急性闌尾炎分類診斷，做簡單介紹。粗糙集理論在醫學數據挖掘中可用于肺癌的診斷II．用于醫院院內感染的知識發現，預測脊髓損傷患者的下床活動時間和檢測宮頸癌病變的不同階段等。
5決策樹
通過對決策樹進行剪枝處理，最后把決策樹轉化為規則，利用這些規則可以對新事例進行分類。決策樹在醫學數據挖掘中用于上呼吸道感染者的病情危重度分析．將決策與多層感知器網絡技術結合還可以從大腦膠質瘤病例中獲得膠質瘤惡性程度的術前診斷知識151。
6支持向量機
神經網絡的基本概念范文2
關鍵詞：數據挖掘；知識；醫學；智能
中圖分類號：TP311文獻標識碼：A文章編號：1009-3044(2011)30-7365-02
隨著信息技術的飛速發展，計算機信息管理系統在各類醫療、研究機構得到了廣泛的應用。大量關于病人治療的臨床信息，醫院管理信息等信息的不斷累積使得醫學數據庫迅速膨脹。傳統數據庫查詢檢索策略及統計學分析方法只能從大量的數據中獲取一些表層信息，而無法發現數據之間內在關聯及隱藏知識。利用數據挖掘技術從海量的醫學信息中提取有價值的知識和規則，以智能的方法來處理和分析科學實驗或臨床研究數據，從而更好地為醫院的決策管理、醫療和科研服務已成為一個非常重要的研究課題[1]。
1 數據挖掘的基本概念
目前有關數據挖掘的定義有很多，比較公認的一種是：數據挖掘（Data Mining）是從大量的、有噪聲的、模糊的、隨機的數據中提取隱含在其中的、人們未知的、潛在的有用信息和知識。這些信息可表示為概念、規則、規律和模式等。廣義的數據挖掘對象包括數據庫、數據倉庫、文件系統、Web信息及各種形式的數據集。數據挖掘所要處理的問題，就是在龐大的數據集中尋找出有價值的隱藏事件加以分析，并以一定的置信度對未來進行預測，將這些有意義的信息歸納成結構模式，用來對決策形成參考。
2 醫學數據挖掘特點
1）處理數據的規模十分巨大。由于醫療工作自身的特點――如病情觀察的不可間斷、各種醫療檢查結果的紛繁復雜，醫學數據庫是一個涉及面廣、信息量大的海量信息庫，醫學數據挖掘經常會面對尺度為GB甚至TB數量級的數據庫。
2）挖掘對象是復雜的、各種類型的數據。醫學數據庫中含有各種不同來源，不同性質的數據，包括純數據記錄（如患者生命體征的各項參數、化驗結果）、文字（如患者的病歷記錄、診斷結果）、信號(如肌電、腦電信號)、圖像(如B超、CT檢測結果)，以及音頻和視頻等形式的健康傳媒類信息[2]。
3）挖掘結果是潛在的、未知的信息，這些信息有助于預測未來趨勢及行為，為醫療活動做出前瞻性的科學決策。對醫學數據進行挖掘的一個主要目的是預測疾病發作，將數據挖掘技術應用于醫學領域可以對正常人的各項體征數據和生物數據進行各種分析對比，挖掘出相關關系，對某些疾病的前兆特征分析，以便能預防或及時救治，挽救患者生命。
3 醫學數據挖掘方法
數據挖掘的任務有兩個，即描述和預測。與之對應，數據挖掘方法分為描述型方法和預測型方法。前者是通過判別數據之間的關系或模式，探索被分析數據的隱藏屬性；后者利用從歷史數據中發現的已知結果，推斷或預測未知的可能值。在實際應用中，需根據對象的性質及要解決的具體問題，采用不同的數據挖掘方法。
1）決策樹法。決策樹方法是一種通過逼近離散值目標函數的方法，利用信息增益原理，將數據庫中具有最大信息量的屬性字段作為決策樹一個節點，節點的每一個后繼分支對應于該屬性的一個可能值，在每個分支子集中重復建立樹的下層節點和分支。決策樹方法主要應用于醫學數據挖掘中的分類過程――通過現有醫療數據，對患者的病癥信息進行分類，分析患有該類疾病病人的共同特征以及可能患有的疾病類型，找出真正原因，從而做出針對該類疾病的最佳治療方案。利用決策樹法可大大增加診斷的準確度，提高診斷效率。
2）神經網絡（neural networks）。人工神經網絡是一種模仿生物神經網絡的，通過訓練來學習的非線性預測模型，具有很強的容錯性、自組織性和魯棒性。神經網絡以人工神經元為基本運算單元的，能夠對大量復雜的數據進行分析，并完成及其復雜的模式抽取及趨勢分析，在醫學數據挖掘中具有非常廣泛的應用。利用神經網絡可動態監測病人的麻醉深度，從而控制物的使用劑量；采用貝葉斯（Bayesian）神經網絡結構能夠找出服用抗精神病藥物與心肌炎和心肌病發作的關系；還可以運用組合神經網絡可對危及生命的心率失常進行歸類等。
3）關聯規則。關聯規則描述和分析了數據庫中一組對象之間某種共生現象，反映了事物之間存在的關聯性――如兩者“同時發生”或“兩者存在因果關系”等。在醫學領域同樣存在關聯現象，若某種疾病同時表現出若干種癥狀，則這幾種癥狀與該疾病之間存在著關聯性，且癥狀之間也呈現某種關聯[3]。關聯規則分析可為疾病的鑒別診斷提供參考依據。有研究者利用關聯規則分析法對糖尿病數據庫進行多維數據分析，以期望發現長期血糖濃度過高與并發癥之間的關聯；還有研究者對37000例腎病患者的癥狀（包括臨床檢驗和檢測）進行了追蹤觀察，監測尿蛋白水平、腎小球過濾率以及患者貧血狀況，結果發現以上三種生理指標中的任何一項異常都伴隨著心臟病發病率的上升[4]。
4）聚類分析。聚類分析是根據所選樣本間關聯的標準將其劃分為幾個組，同組內的樣本具有較高的相似度，不同組的則相異。聚類分析方法適用于對孤立點的檢測及用于探討樣本間的內部關系，從而對樣本結構做出合理的評價。有研究者[5]利用聚類方法分析流行病學因素對肺癌患者臨床醫學狀況的影響。首先從SEER的數據庫中選取21758例肺癌病例，每一例數據包含23個流行病學特征屬性和22個臨床臨床醫學狀態特征屬性，繼而根據流行病學特征屬性的相似程度將病例數據劃分成20類，比較各類別之間的臨床醫學狀態特征屬性的差異，在此基礎上還可更進一步分析各類流行病學因素對肺癌患者臨床醫學狀況的不同影響。
3 結束語
醫學數據挖掘是信息網絡技術、人工智能、模式識別、統計學等學科與醫療科學相結合的產物，對提高醫療服務質量和醫院科研、管理水平發揮著重要作用，具有極其廣闊的應用前景。醫學數據挖掘面向整個醫學數據庫或醫學信息集合提供知識和決策，因此挖掘對象是涉及面廣、數據量大、且包含著各種類型數據的海量信息庫；在挖掘方法中，決策樹法、人工神經網絡、關聯規則、聚類分析等方法顯示出了獨特的優勢，已經在醫學信息處理和疾病診療方面得到了應用。隨著理論研究的深入和進一步的實踐探索，數據挖掘技術將在臨床、科研、教學以及醫院決策管理等方面發揮巨大的作用。
參考文獻：
[1] 王華,江啟成,胡學鋼.數據挖掘在醫學上的應用[J].安徽醫藥,2008.12(8):746-748.
[2] 袁占花,李祥生.數據挖掘在醫學信息系統中的應用[J].電腦開發與應用,2009,22(7):55-57.
[3] 龔著琳,陳瑛,蘇懿,等.數據挖掘在生物醫學數據分析中的應用[J].上海交通大學學報:醫學版,2010,30(11).
神經網絡的基本概念范文3
關鍵詞： 模式識別； 神經網絡； 卷積； 文字識別
中圖分類號： TN711?34； TP391.4 文獻標識碼： A 文章編號： 1004?373X（2014）20?0019?03
Large pattern online handwriting character recognition based on multi?convolution neural network
GE Ming?tao1， WANG Xiao?li1， PAN Li?wu2
（1. SIAS International School， Zhengzhou University， Zhengzhou 451150， China；
2. Henan University of Animal Husbandry and Economy， Zhengzhou 450011， China）
Abstract： Online handwriting character recognition is an important field in the research of pattern recognition. The traditional recognition method is based on the common convolutional neural networks （CNNs） technology. It has an efficient recognition rate for the small pattern character set online handwriting characters， but has low recognition rate for the large pattern character set recognition. A recognition method based on multi?convolutional neural networks （MCNNs） is presented in this paper to overcome the situation that the previous methods have the low recognition rate for large pattern character set and improve the recognition rate for the large pattern handwriting character set recognition. The stochastic diagonal Levenbert?Marquardt method is used in the system for training optimization. The experimental results show that the proposed method has the recognition rate of 89% and has a good prospect for online handwriting character recognition for large scale pattern.
Keywords： pattern recognition； neural network； convolution； character recognition
0 引 言
隨著全球信息化的飛速發展和對自動化程度要求的不斷提高 ，手寫文字識別技術被廣泛地應用到許多方面。特別是近幾年擁有手寫功能的手機、平板電腦等智能電子產品的普及，聯機手寫文字識別研究已經成為一個備受關注的主題。聯機手寫字符識別要求實時性較高，識別過程中要求特征空間的維數比較高，在進行特征樣本訓練時要求訓練的數目很大，要匹配的特征值或特征對象比較多 [1?2]。
卷積神經網絡（Convolutional Neural Networks，CNNs）的優點在于圖像的識別過程中對視覺模式的獲得是直接從原始圖像中獲得的，所以在設計系統時圖像的預處理工作很少，與一般神經網絡相比是一種高效的識別方法。卷積神經網絡在模式識別的一些領域具有很好的魯棒性，如在識別有變化的模式和對幾何變形的識別方面。利用卷積神經網絡的手寫識別方法具有如下一些優點：對于要檢測的圖像可以與事先制定網絡拓撲結構之間有較高的匹配率；特征提取和模式分類同時進行；訓練參數往往是系統計算量的重要參數，而卷積神經網絡中利用權值共享技術，這樣就可以大大降低該參數，在設計系統結構時使得結構變得更簡單，從而使得整個系統具有更好的適應性[3?5]。
目前，人機交互系統的手寫字符識別、汽車車牌號識別和信息安全中常用的人臉識別等領域都有卷積神經網絡的成功應用。文獻[6]用一個4層的卷積神經網絡LeNet?5對Mnist庫進行識別實驗，獲得了98.4%的識別率，用2層的BP網絡的識別率[4，6]是87%。許多學者對卷積神經網絡在聯機手寫文字識別方面做了多方位的研究。 但是，這些成功的聯機手寫文字識別主要是針對小模式字符集，利用以往的這些方法對大規模模式分類的聯機手寫文字的識別依然有識別率不高的問題。本文介紹了卷積神經網絡的基本概念和一種典型的卷積神經網絡結構，給出了基于多重卷積神經網絡的字符識別和詞語識別模型。通過使用大字符集的UNIPEN數據庫進行訓練和測試，本文提出的方法在大模式聯機手寫識別上，取得了較高的識別速度和滿意的識別率。
1 卷積神經網絡
文獻[6?7]中詳細地描述了卷積神經網絡如何保證圖像對位移、縮放、扭曲魯棒性能。典型的手寫字符卷積神經網絡LeNET 5的結構圖如圖1所示[6?7]。
圖1 典型的卷積神經網絡結構
在圖1中，輸入層接收要識別32×32的手寫字符圖像，經過簡單的大小歸一化和圖像灰度處理，之后的結果作為一個采樣層的圖像；然后用一個可學習核進行卷積操作，卷積結果經過激活函數的輸出形成這一層的神經元，每個神經元與輸入圖像的一個5×5的鄰域相連接，從而得到由6幅特征圖組成的第一個隱層（C1層）。每個特征圖有25個權值（如方向線段，端點、角點等），考慮到邊界效果，得到的特征圖的大小是28×28，小于輸入圖層[3?9]。卷積層的數學計算過程可表示為：
[xlj=fi∈Mjxl-1j*kernellij+blj] （1）
式中：[l] 代表層數；kernel是卷積核；[Mj]代表輸入特征圖的一個選擇。每個輸出圖有一個偏置[b]。
每個卷積層的結果作為下一個次采樣層的輸入，次采樣層的作用是對輸入信息進行抽樣操作。如果輸入的特征圖為n個，則經過次采樣層后特征圖的個數仍然為n，但是輸出的特征圖要變小（例如，各維變為原來的50%）。因此隱層S2是由6個大小為14×14的特征圖組成的次采樣層。次采樣層計算公式可以用式（2）表示：
[xlj=fβl-1jdown（xl-1j）+blj] （2）
式中down（?） 表示次采樣函數。次采樣函數一般是對該層輸入圖像的一個n×n大小的區域求和，因此，輸出圖像的大小是輸入圖像大小的[1n]。每一個輸出的特征圖有自己的β和b。
類似的，C3層有16個10×10的特征圖組成的卷積層，特征圖的每個神經元與S2網絡層的若干個特征圖的5×5的鄰域連接。網絡層S4是由16個大小為5×5的特征圖組成的次采樣層。特征圖的每個神經元與C3層的一個2×2大小的鄰域相連接。網絡層C5是由120個特征圖組成的卷積層。每個神經元與S4網絡層的所有特征圖的5×5大小的鄰域相連接。網絡層F6，包括84個神經元，與網絡層C5進行全連接。最后，輸出層有10個神經元，是由徑向基函數單元（RBF）組成，輸出層的每個神經元對應一個字符類別。RBF單元的輸出yi的計算方法如式（3）所示：
[yi=j（xj-wij）2] （3）
很多研究人員通過對字符集作彈性訓練，經測試發現在MNIST字符集上的識別率可以高達99%以上[6?7] 。卷積神經網絡的優勢主要是對小模式集上，如對數字或26個英文字母組成的集合都有著較高的識別率。然而，對大模式集的識別仍然是一個挑戰，因為設計一個優化的并足夠大的單一網絡是比較困難的，且訓練時間也較長。因此，本文的目的旨在通過組合多個對某一字符集有高識別率的卷積神經網絡，從而構成多重卷積神經網絡，進而提高卷積神經網絡對大模式集手寫字符的識別率。
2 多重卷積神經網絡
2.1 多重卷積神經網絡字符識別
根據傳統卷積神經網絡的運算過程以及其在處理大模式集手寫字符時存在的不足，本文提出一種多重卷積神經網絡來改進傳統的卷積神經網絡模型，用多個擁有高識別率的小卷積神經網絡組成一個多重卷積神經網絡。每一重小卷積神經網絡對某一具體字符集有較高的識別率，另外，單重卷積神經網絡除了有一個正式的輸出集之外，還產生一個未知的輸出（即難以識別的字符），即如果一個輸入字符沒有被正確識別，它將被輸出為一個未知字符，然后輸入模式轉到下一重卷積神經網絡進行識別。最后，通過一個拼寫檢查模塊進行判斷，選擇最好的結果輸出。系統的流程如圖2所示。
其中CNN 1是識別手寫數字的卷積神經網絡，CNN 2是識別手寫小寫英文字母的卷積神經網絡，該模型具有極強的擴展性，可以添加多任意模式的卷積神經網絡（如中文，日文等）。
圖2 多重卷積神經網絡字符識別示意圖
2.2 隨機對角Levenberg?Marquardt訓練方法
傳統的結構比較簡單、單一的卷積神經網絡多采用基本的Back Propagation（BP）規則訓練網絡，往往需要幾百次迭代，網絡的收斂速度較慢。本文采用LeCun博士提出的隨機對角Levenberg?Marquardt 算法對網絡作訓練，該算法需要的迭代次數明顯比基本的BP 算法少[4，9]。隨機對角Levenberg?Marquardt算法的公式為：
[ηki=ε?2E?w2ij+μ] （4）
式中[ε]是全局的學習率，一般取初始值0.01，太大會使網絡無法收斂，太小則會降低收斂速度，且使網絡更容易陷入局部極小值，訓練過程中可以用啟發式規則改變[ε]的值，本文取最下值為5e-005； [?2E?w2ij]是一個估計值，根據訓練集的大小可以調整樣本數量，文中隨機選取200個樣本估算它的值；[μ]用來避免[?2E?w2ij] 太小時[ηki]的變化過大 。
2.3 多重卷積神經網絡詞句識別
本文提出的多重卷積神經網絡對手寫詞語的識別方法可以簡單地描述為：首先對輸入的手寫圖像進行預處理和分割，然后通過多重卷積神經網絡模塊分別進行識別，最后采用單詞識別模塊對識別結果進行判斷，選擇最好的結果輸出。其過程如圖3所示。
圖3 多重卷積神經網絡聯機手寫詞句識別過程
本文提出的多重卷積神經網絡聯機手寫文字識別方法克服了傳統卷積神經網絡文字識別的對字符集的限制，每一重卷積神經網絡是一個針對小模式的卷積神經網絡，易于訓練和優化，更重要的是此方案的靈活性非常好易于調節參數，可擴展性強。每一重卷積神經網絡都具有可重用能力，可以根據需要加載一個或多個網絡，可以根據新的模式添加新的網絡而不需改變或重建原來的網絡。
3 訓練和實驗
為了評估多重卷積神經網絡對基于大模式字符集的聯機手寫文字識別的性能，本系統采用MNIST和UNIPEN兩種不同的手寫字符訓練集進行測試。UNIPEN數據庫是在1992年舉行的IEEE IAPR會議上提出并建立的，其目的是創建一個大型的手寫體數據庫用于為在線手寫識別提供研究和開發的基礎，得到了多個知名公司或研究所的支持并完成了UNIPEN的規范設計。在進行數據比對實驗中，本文采用許多研究使用的MNIST手寫數字數據庫，該數據庫是NEC 研究中心設計的，是NIST（The National Institute of Standards and Technology）數據庫的一個子集，該訓練集中有大量訓練樣本和測試用例。本文默認用以下定義：
[識別率=正確識別數樣本總數×100%]
[失誤率誤識率=錯誤識別數樣本總數×100%]
實驗測試是在通用的臺式電腦上進行的。整個識別原型系統采用C#編寫，運行在.NetFrame 4.5平臺上。經測試對MNIST訓練集識別正確率可達[9]99%，對UNIPEN數字識別正確率可達97%，對UNIPEN數字和大寫字母識別正確率可達89%（1a，1b） ，對UNIPEN小寫字母識別正確率可達89%（1c） 。圖4是對UNIPEN小寫字母3次訓練的均方誤差比較。
圖4 訓練的誤差數據
從圖4中可以看出，在開始的幾個訓練周期內，均方誤差（MSE）下降得很快，然后在第13個周期后神經網絡達到一個穩定的值，約為0.148 5。也就是說，網絡在第13個周期后，改善程度就很小。所以修改訓練錯誤率的值為0.000 45后重新進行18代的第二次訓練，均方誤差有所降低。經過第三次的訓練后趨于穩定，對UNIPEN小寫字母識別正確率可達89%。經測試，通過使用隨機對角Levenberg?Marquardt方法，收斂速度比基本BP算法快了許多，經過68代訓練后識別正確率可達89%。
4 結 語
本文提出了基于多重卷積神經網絡的聯機手寫字符的識別方法，通過使用多個識別率高的卷積神經網絡和隨機對角 Levenberg? Marquardt方法，可以適用于大模式聯機手寫識別。經過實驗數據比較，該方法在大模式聯機手寫識別過程中具有很高的識別率，與此同時識別速度也很快，有很好的實時性，總體效果很好。在當今觸摸屏應用遍及生產生活的各個方面的趨勢下，該方法有著廣闊的應用前景。同時此方法為今后多手寫漢字識別的研究提供了很好的借鑒。
注：本文通訊作者為潘立武。
參考文獻
[1] 吳鳴銳，張鈸.一種用于大規模模式識別問題的神經網絡算法[J].軟件學報，2001，12（6）：851?855.
[2] 張輝.大規模聯機手寫漢字識別數據庫整理、統計與實驗分析[D].廣州：華南理工大學，2012.
[3] 徐姍姍，劉應安，徐，等.基于卷積神經網絡的木材缺陷識別[J].山東大學學報：工學版，2013，43（2）：23?28.
[4] 呂剛.基于卷積神經網絡的多字體字符識別[J].浙江師范大學學報：自然科學版，2011，34（4）：425?428.
[5] PHAM D V. Online handwriting recognition using multi convolution neural networks [M]. Berlin Heidelberg： Springer， 2012： 310?319.
[6] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [C]// Proceeding of IEEE. USA： IEEE， 1998： 2278?2324.
[7] SIMARD P Y， STEINKRAUS Dave， PLATT John. Best practices for convolutional neural networks applied to visual document analysis [C]// International Conference on Document Analysis and Recognition （ICDAR）. Los Alamitos： IEEE Computer Society， 2003： 958?962.
神經網絡的基本概念范文4
關鍵詞:Smith 控制；人工免疫；預測控制；時滯系統；反饋控制
中圖分類號: TP273+.5文獻標志碼:A
引言
在工業過程控制領域中，許多被控對象不同程度地存在滯后性同時伴隨復雜的不確定性，以致難以采用精確數學建模方法給出有效的可控模型，傳統的Smith預估控制對此實際應用效果不理想［1］。改進的模糊Smith預估控制［2-3］在一定程度上減少了對被控模型的敏感性，但模糊控制器置于前饋部分，對Smith預估器所在的反饋部分未做改進，故沒有從根本上解決不精確建模對Smith預估控制的不良影響?；谏窠浘W絡的Smith預估控制［5-6］則較好地解決了這一問題。然而神經網絡具有隱層單元數目難以確定、權值受初始值影響較大、學習時間長、學習過程容易陷入局部最小等問題，使得基于神經網絡的Smith預估控制難以實際應用。有學者采用支持向量機對被控對象進行建模［7］，解決了傳統Smith預估控制需要預先知道被控對象精確數學模型的問題，但是支持向量需解二次規劃問題，其存儲需求隨著訓練樣本大小的平方增長，因此當數據量大時訓練速度很慢,限制了其的應用。近年來基于預測控制與Smith相結合的控制方法為其研究提供了新的思路［9-10］。本文結合生物免疫自體非自體識別原理及反饋機制，提出了一種Smith免疫自適應預測控制方法。對被控模型采用非線性自回歸滑動平均模型并進行免疫自適應預測，通過克隆選擇算法實現滾動優化來跟蹤預測模型中的時滯參數。這種策略對時滯時間不確定的系統以及系統模型發生誤差時有很好的控制效果。
1基本概念
1.1Smith 預估模型
神經網絡的基本概念范文5
數據挖掘是指從數據集合中自動抽取隱藏在數據中的那些有用信息的非平凡過程，這些信息的表現形式為：規則、概念、規律及模式等。它可幫助決策者分析歷史數據及當前數據，并從中發現隱藏的關系和模式，進而預測未來可能發生的行為。數據挖掘的過程也叫知識發現的過程。
二、數據挖掘的方法
1.統計方法。傳統的統計學為數據挖掘提供了許多判別和回歸分析方法，常用的有貝葉斯推理、回歸分析、方差分析等技術。貝葉斯推理是在知道新的信息后修正數據集概率分布的基本工具，處理數據挖掘中的分類問題，回歸分析用來找到一個輸入變量和輸出變量關系的最佳模型，在回歸分析中有用來描述一個變量的變化趨勢和別的變量值的關系的線性回歸，還有用來為某些事件發生的概率建模為預測變量集的對數回歸、統計方法中的方差分析一般用于分析估計回歸直線的性能和自變量對最終回歸的影響，是許多挖掘應用中有力的工具之一。
2.關聯規則。關聯規則是一種簡單，實用的分析規則，它描述了一個事物中某些屬性同時出現的規律和模式，是數據挖掘中最成熟的主要技術之一。關聯規則在數據挖掘領域應用很廣泛適合于在大型數據集中發現數據之間的有意義關系，原因之一是它不受只選擇一個因變量的限制。大多數關聯規則挖掘算法能夠無遺漏發現隱藏在所挖掘數據中的所有關聯關系，但是，并不是所有通過關聯得到的屬性之間的關系都有實際應用價值，要對這些規則要進行有效的評價，篩選有意義的關聯規則。
3.聚類分析。聚類分析是根據所選樣本間關聯的標準將其劃分成幾個組，同組內的樣本具有較高的相似度，不同組的則相異，常用的技術有分裂算法，凝聚算法，劃分聚類和增量聚類。聚類方法適合于探討樣本間的內部關系，從而對樣本結構做出合理的評價，此外，聚類分析還用于對孤立點的檢測。并非由聚類分析算法得到的類對決策都有效，在運用某一個算法之前，一般要先對數據的聚類趨勢進行檢驗。
4.決策樹方法。決策樹學習是一種通過逼近離散值目標函數的方法，通過把實例從根結點排列到某個葉子結點來分類實例，葉子結點即為實例所屬的分類。樹上的每個結點說明了對實例的某個屬性的測試，該結點的每一個后繼分支對應于該屬性的一個可能值，分類實例的方法是從這棵樹的根結點開始，測試這個結點指定的屬性，然后按照給定實例的該屬性值對應的樹枝向下移動。決策樹方法是要應用于數據挖掘的分類方面。
5.神經網絡。神經網絡建立在自學習的數學模型基礎之上，能夠對大量復雜的數據進行分析，并可以完成對人腦或其他計算機來說極為復雜的模式抽取及趨勢分析，神經網絡既可以表現為有指導的學習也可以是無指導聚類，無論哪種，輸入到神經網絡中的值都是數值型的。人工神經元網絡模擬人腦神經元結構，建立三大類多種神經元網絡，具有非線形映射特性、信息的分布存儲、并行處理和全局集體的作用、高度的自學習、自組織和自適應能力的種種優點。
6.遺傳算法。遺傳算法是一種受生物進化啟發的學習方法，通過變異和重組當前己知的最好假設來生成后續的假設。每一步，通過使用目前適應性最高的假設的后代替代群體的某個部分，來更新當前群體的一組假設，來實現各個個體的適應性的提高。遺傳算法由三個基本過程組成:繁殖(選擇)是從一個舊種群(父代)選出生命力強的個體，產生新種群(后代)的過程；交叉〔重組)選擇兩個不同個體〔染色體)的部分(基因)進行交換，形成新個體的過程；變異(突變)是對某些個體的某些基因進行變異的過程。在數據挖掘中，可以被用作評估其他算法的適合度。
7.粗糙集。粗糙集能夠在缺少關于數據先驗知識的情況下，只以考察數據的分類能力為基礎，解決模糊或不確定數據的分析和處理問題。粗糙集用于從數據庫中發現分類規則的基本思想是將數據庫中的屬性分為條件屬性和結論屬性，對數據庫中的元組根據各個屬性不同的屬性值分成相應的子集，然后對條件屬性劃分的子集與結論屬性劃分的子集之間上下近似關系生成判定規則。所有相似對象的集合稱為初等集合，形成知識的基本成分。任何初等集合的并集稱為精確集，否則，一個集合就是粗糙的(不精確的)。每個粗糙集都具有邊界元素，也就是那些既不能確定為集合元素，也不能確定為集合補集元素的元素。粗糙集理論可以應用于數據挖掘中的分類、發現不準確數據或噪聲數據內在的結構聯系。
8.支持向量機。支持向量機(SVM)是在統計學習理論的基礎上發展出來的一種新的機器學習方法。它基于結構風險最小化原則上的，盡量提高學習機的泛化能力，具有良好的推廣性能和較好的分類精確性，能有效的解決過學習問題，現已成為訓練多層感知器、RBF神經網絡和多項式神經元網絡的替代性方法。另外，支持向量機算法是一個凸優化問題，局部最優解一定是全局最優解，這些特點都是包括神經元網絡在內的其他算法所不能及的。支持向量機可以應用于數據挖掘的分類、回歸、對未知事物的探索等方面。
事實上，任何一種挖掘工具往往是根據具體問題來選擇合適挖掘方法，很難說哪種方法好，那種方法劣，而是視具體問題而定。
三、結束語
目前，數據挖掘技術雖然得到了一定程度的應用，并取得了顯著成效，但仍存在著許多尚未解決的問題。隨著人們對數據挖掘技術的深人研究，數據挖掘技術必將在更加廣泛的領域得到應用，并取得更加顯著的效果。
參考文獻:
蘇新寧楊建林鄧三鴻等:數據挖掘理論與技術[M].北京:科學技術文獻出版社,2003
神經網絡的基本概念范文6
關鍵詞:公共政策分析;定量分析;回歸分析
一、公共政策分析和定量分析的概念
1.實現公共決策的科學化、民主化和法制化是我國政治體制改革及社會主義民主政治建設的一個基本任務。而掌握實現決策科學化的方法、工具是當前各級各類公共政策分析人員迫切需要加強的能力。
公共政策分析是政策分析人員或者組織對政府為解決各類公共政策問題所采取的對政策的本質、產生原因、及實施效果的研究。
科學決策需要逐步采用現代化的決策方法、程序和技術,尤其需要掌握定量分析工具。所謂定量分析方法,就是指用數學方法對自然界和人類社會中存在的各種現象進行研究,并用數學變量來描述和刻畫其中的客觀規律的方法。定量分析方法的實質就是數學方法,在社會科學領域中,稱其為定量方法,目的在于追求公共政策“ 是什么”,并同傳統的定性方法相區別。在政策制定過程中對各種有關的資料數據、信息等能夠用確切的數字量化表示出來,建立數學模型,并運用計算機或有關分析軟件進行計算,求得政策指定的各種方案并從中選優,最后進行決策[1]。
數學化、模型化和計算機化是定量分析方法的主要特點。
二、定量分析方法的過程和理論基礎
過程包括:搜集資料階段;建立語言模型階段;建立數學模型階段;求解數學模型階段;數學模型評估階段;建立計算機模型求解階段。
理論基礎主要有:統計學;系統工程學;計量經濟學;邏輯學;運籌學等。
三、定量分析方法的分類:
1.線性規劃
線性規劃是公共管理領域常用的定量分析方法,也是運籌學中最重要、最基礎的技術。線性規劃問題是由前蘇聯學者康托洛維奇與1939年提出的,1947年George Dantzig提出了求解線性規劃問題的有效方法――單純形法。
2.回歸分析
回歸是研究變量之間關系的主要統計方法,大約80%的科研項目研究使用回歸分析的方法。該法通過一個變量或一些變量的變化解釋另一變量的變化。其主要內容和步驟是,首先根據理論和對問題的分析判斷,將變量分為自變量和因變量;其次,設法找出合適的數學方程式(即回歸模型)描述變量間的關系;由于涉及的變量具有不確定性,接著還要對回歸模型進行統計檢驗;統計檢驗后,再利用回歸模型,根據自變量去估計和預測因變量的變化情況。
3.相關分析
公共政策分析的變量中,有許多變量之間并不存在著確定性的函數關系,但通過大量的觀測數據,可以發現他們之間存在的統計規律性,研究這些變量之間的關系就稱為相互關系分析,探討其相關方向以及相關程度。分為線性相關分析、質量相關、品質相關、偏相關分析和典型相關分析。
4.因子分析、聚類分析和判別分析[2]
1904年,英國心理學家CSpearman創立了因子分析的雙因素(普通因素和獨特因素)方法。在公共政策分析中,往往需要對反應事物的多個變量進行大量的觀測,但與許多變量之間可能存在相關性從而增加了問題分析的復雜性,同時對分析帶來不便。因子分析就是從研究相關矩陣內部的依賴關系出發,把一些具有錯綜復雜關系的變量歸結為少數幾個綜合變量的一種降維的統計分析方法。
聚類分析又稱為集群分析,是研究“物以類聚”的一種多元統計分析方法,是應用較為廣泛的統計分析技術。該法可以將性質相近的個體歸為一類,性質差異較大的個體屬于不同的一類,是類內個體具有較高的同質性,類間個體具有較高的異質性。
判別分析是在已知研究對象分成若干類型并已取得各種類型的一批已知樣本的觀測數據的基礎上,根據某些準則建立判別函數,然后將待分類的樣本的實測值代入該函數,求出其函數值,最后對未知類型的樣本進行判別分類。判別分析和聚類分析的區別主要是,在聚類分析中一般人們事先并不知道或一定要明確應該分成幾類,完全根據數據來確定。而在判別分析中,至少有一個已經明確知道類別的“訓練樣本”,利用這個數據,就可以建立判別準則,并通過預測變量來為未知類別的觀測值進行判別。
5.通徑分析和結構方程分析
通徑分析最先由美國科學家賴特(Wright)于1930年用于多基因遺傳病的研究。通徑分析在公共管理領域的研究始于20世紀80年代。通徑分析是回歸分析的進一步深化,旨在將一些簡單相關系數分解為許多部分,以顯示某一自變量對因變量的直接作用和間接作用效果。可以彌補回歸分析的不足,給人們提供更多的資料和信息。通徑分析的基本框架包括三個組成部分:變量、通徑和通徑系數,這三個部分組成完整的通徑分析圖,也稱通徑模型。根據研究結果可以解釋說明各個自變量對因變量的總作用的大小、方向、作用方式。
結構方程模型是一門基于統計分析技術的研究方法學,是當前非常流行的用于研究一組具有相互關系的變量之間因果關系的一種統計方法。該法的基本原理是比較兩個或更多個不同協方差矩陣(或相關矩陣),然后通過分析這些不同的協方差矩陣(或相關矩陣)之間的擬合指數來判斷原模型是否符合研究要求。結構方程模型主要由驗證性因子模型和各潛變量之間的因果關系模型兩部分組合而成。
6.神經網絡分析
神經網絡的全稱是人工神經網絡(Artificial Neural Network,ANN),它采用物理上可實現的器件或采用計算機來模擬生物體中互相連接的神經網絡的某些結構和功能。
神經網絡的信息處理通過神經元的相互作用來實現,知識與信息的存儲表現為網絡元件互連分布式的物理聯系。神經網絡模型分為前向型神經網絡、反饋型神經網絡和自組織與LVQ神經網絡。神經網絡在公共政策分析中的應用主要是預測以及模式識別(分類)。
7.系統動態學方法
系統動態學(System Dynamics; SD)是美國麻省理工學院(MIT)的Jay W. Forrester(佛睿思特)教授于1956年創立起的一門學科。系統動態學以系統論為基礎,吸收了控制論、信息論、計算機模擬技術、管理科學及決策論等知識,是研究復雜系統的定量方法。系統動態學有以下幾個特征:(1)它能處理高階次、非線性、多重反饋、復雜時變系統的問題;(2)它能對系統的長期動態發展進行計算機模擬;(3)它是一種結構型模型,對數字的精確性要求不高;(4)它能對系統設定各種政策參數,通過改變各政策參數值觀察系統行為的變化,進而可以找到改善系統績效的政策方案。該法能幫助公共政策分析解決更多的總體問題和上層決策問題。包括經濟分析方法(盈虧平衡分析、投資回收期法)、多目標評價(加權和法、TOPSIS法)、數據包絡分析等方法。
8.圖與網絡分析方法
圖論(Graph Theory)是運籌學的一個重要分支,它是建立和處理離散數學模型的一個重要工具。所謂的網絡分析,就是利用圖論的基本概念和方法對網絡做優化分析。它是運籌學的一個應用十分廣泛的重要分支,現在圖論與計算機科學、系統論、控制論等密切結合,得到廣泛的應用。
9.決策分析方法
是政策制定者為了達到某個目標,從一些可能的方案中,進行選擇的分析過程,是對影響決策的諸因素作邏輯判斷與權衡。較有實用價值的隨機性決策分析方法包括:確定性決策、風險性決策、非確定性決策和貝葉斯分析。應用較廣泛的有成本―效益分析、資源分配、計劃評審技術(PERT)、關鍵路徑法(CPM)、博弈論分析等。
四、定量分析常用的四大軟件工具:
1. SPSS軟件
2. LISREL
3. Matlab
4. Vensim
參考文獻:
[1]. 陳慶云.公共政策分析[J].北京:北京大學出版社,2006
[2]. 范柏乃,蘭志勇.公共管理研究與定量分析方法[J].北京:科學出版社,2008.
作者簡介:
