前言：中文期刊網精心挑選了人工神經網絡的起源范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
人工神經網絡的起源范文1
關鍵詞：BP神經網絡、圖像分割、特征提取
Abstract: the image recognition process including the image preprocessing, feature extraction, image understanding and analysis. Which BP artificial neural network in the image segmentation using better; In the feature extraction phase BP neural network is also very good find application, and obtain the better feature extraction results; In the image understanding and the analysis phase using neural network classifier design, can get accurate classification results.
Keywords: BP neural network, image segmentation, feature extraction
中圖分類號：TP183 文獻標識碼：A文章編號：
引言
BP人工神經網絡算法是現今應用較為廣泛的多層前向反饋式神經網絡算法，BP人工神經網絡有較好的容錯能力、魯棒性、并行協同處理能力和自適應能力，受到了國內外眾多領域學者的關注。由于神經網絡高效率的集體計算能力和較強的魯棒性，它在圖像分割方面的應用已經很廣泛，Jain和Karu采用了多通道濾波與前向神經網絡相結合的方法實現圖像紋理分割算法。神經網絡算法在特征提取階段，壓縮特征數量，以提高分類速度和精度。在圖像識別領域中神經網絡作為分類器的研究也得到了很大的進展，尤其是其學習能力和容錯性對于模式識別是非常有利的，在一定程度上提高了訓練速度和識別率。Le Cun等人提出了多層特征選擇(Multilayer Selection Procedure)方法用于字符識別，每一層神經網絡處理較低層次的特征，獲取該層特征信息并傳給上一層。
BP神經網絡的基本原理
人工神經網絡的研究起源于對生物神經系統的研究，它將若干處理單元（即神經元）通過一定的互連模型連結成一個網絡，這個網絡通過一定的機制可以模仿人的神經系統的動作過程，以達到識別分類的目的。人工神經網絡區別于其他識別方法的最大特點是它對待識別的對象不要求有太多的分析與了解，具有一定的智能化處理的特點。神經網絡的學習過程實際上就是不斷地調整權值和閾值的過程。根據有無訓練樣本的指導可以將神經網絡的學習方式分為兩種：監督學習方式和非監督學習方式，也稱為有導師指導學習方式和無導師指導學習方式。監督學習方式，是在給定固定的輸入輸出樣本集的情況下，由網絡根據一定的學習規則進行訓練學習，每一次學習完成后，通過對比實際的輸出和期望的輸出，以此決定網絡是否需要再學習，如果還沒有達到期望的誤差，則將實際誤差反饋到網絡，進行權值和閾值的調整，使實際的誤差隨著學習的反復進行而逐步減小，直至達到所要求的性能指標為止。非監督學習方式，是在沒有外界的指導下進行的學習方式，在學習過程中，調整網絡的權重不受外來教師的影響，但在網絡內部會對其性能進行自適應調節。
BP神經網絡分類器的設計
BP神經網絡是基于誤差反向傳播算法(Back Propagation Algorithm，BPA)的多層前向神經網絡，由輸入層、輸出層、一個或多個隱含層所組成。BP神經網絡結構確定之后，通過對輸出和輸入樣本集進行訓練，反復修正網絡的權值和閾值，達到學習訓練的期望誤差，以使網絡能夠實現給定的輸入輸出映射關系。BP人工神經網絡的學習過程分為兩個階段，第一階段是輸入己知的學習樣本數據，給定網絡的結構和初始連接權值和閾值，從輸入層逐層向后計算各神經元的輸出；第二階段是對權值和閾值進行修改，即根據網絡誤差從最后一層向前反饋計算各層權值和閾值的增減量，來逐層修正各層權值和閾值。以上正反兩個階段反復交替，直到網絡收斂。具體實現步驟如下：
(1) 網絡的初始化：首先對輸入的學習訓練樣本進行歸一化處理，對權值矩陣W和閾值向量賦初值，將網絡計數器和訓練次數計數器置為1，網絡誤差置為0。
(2) 輸入訓練樣本，計算輸入層，隱含層以及輸出層的實際輸出。
(3) 計算網絡輸出誤差。將實際的輸出和期望的輸出值進行對比，采用均方根誤差指標作為網絡的誤差性能函數。
(4) 若誤差還沒達到期望標準，則根據誤差信號，逐層調整權值矩陣和閾值向量。
(5) 若最終調整之后的網絡輸出達到了誤差范圍之內，則進行下一組訓練樣本繼續訓練網絡。
(6) 若全部的訓練樣本訓練完畢，并且達到了期望的誤差，則訓練結束，輸出最終的網絡聯接權值和閾值。
BP神經網絡可以逼近任意連續函數，具有很強的非線性映射能力，而且BP神經網絡中間層數、各層神經元數及網絡學習速率等參數均可以根據具體情況設定，靈活性較強，所以BP神經網絡在許多領域中廣泛應用。一般來說，神經網絡方法應同傳統的人工智能方法相聯系的。神經網絡本身結構及性能上的特點使其對問題的處理更富有彈性，更加穩健。神經網絡的基本特點是采用自下而上的設計思路，使其容易確定具體的目標分割或識別算法，在增加了不確定因素的同時也產生了網絡最優化的問題，這就是所謂的偽狀態(pseudo-trap)。盡管在實踐中并非所有的偽狀態對應完全失敗的結果，但是畢竟這不符合對之完美的或者說合理的期望。人工智能則一般采用自上而下的方法，偏重于邏輯推理建立系統模型。因此將神經網絡同人工智能結合起來，相當于賦予神經網絡高層指導的知識及邏輯推理的能力，具有潛在的優勢。
輸入層中間層 輸出層
圖1 BP人工神經網絡結構
BP神經網絡的訓練
4.1 BP神經網絡的設計
BP神經網絡的設計主要包括兩方面內容：一是神經網絡結構的確定，特別是隱含層層數及隱含層單元數目的確定；二是高精度收斂問題，隱含層和隱含層單元數過多，將導致訓練時間過長并出現過度擬和的問題，隱含層單元數過少又導致網絡收斂速度慢甚至不收斂，達不到誤差精度要求。在確定隱含層層數以及隱含層單元數目時，沒有一個嚴格的理論依據指導，需要根據特定的問題，結合經驗公式確定大致范圍來進行逐步試算比較得到。
4.2 數據預處理
為了加快網絡的訓練速度，通常在網絡訓練前進行神經網絡輸入和輸出數據預處理，即將每組數據都歸一化變為[-1,1]之間的數值的處理過程。
4.3 神經網絡的訓練
%當前輸入層權值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
%當前網絡層權值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
%設置訓練參數
net.trainParam.show = 1000;%限時訓練迭代過程
net.trainParam.lr = 0.1; %學習率，缺省為0.01
net.trainParam.epochs = 100000; %最大訓練次數，缺省為100
net.trainParam.goal = 0.001; %訓練要求精度，缺省為0
[net,tr]=train(net,P,T);%調用 TRAINGDM 算法訓練 BP 網絡
A = sim(net,P) %對 BP 網絡進行仿真
E = T - A;%計算仿真誤差
MSE=mse(E)
結束語
BP網絡因為具有較強的學習性、自適應型和容錯性，在很多領域均已經大量運用。本文將BP人工神經網絡運用于圖像的識別，探索人工神經網絡在圖像識別領域中的重要的現實意義。研究表明，BP人工神經網絡應用于圖像識別在一定程度上提高了識別的效率和準確率。但是，BP神經網絡算法還存在以下幾點不足之處：（1）權的調整方法存在局限性，容易陷入局部最優；（2）網絡的結構需要提前指定或者在訓練過程中不斷的修正；（3）過分依賴學習樣本，由于學習樣本是有限的或者學習樣本質量不高，那么會導致訓練達不到效果；（4）對于規模較大的模式映射問題，存在收斂速度慢、容易陷入局部極小點、判斷不準確等缺陷?？傊绾谓鉀Q以上問題，如何進一步提高識別精度，擴大識別范圍，使之更具有更好的工程實用性，是有待進一步研究的內容。
參考文獻：
[1] WE Blanz，S L Gish．A Connectionist Classifier Architecture Applied to Image Segmentation．Proc．10th ICPR，1990，272-277．
[2] Y Le Cun，L D Jackel，B Boser，J S Denker，H P Graf，I Guyon，D Henderson，R E Howard，and W Hubbard，Handwriten Digit Recognition：Applications of Neural Network Chips and Automatic Learning，IEEE Comm．Magazine．Nov．1989．
[3] A K Jain and K Karu，Automatic Filter Design for Texture Discrimination，Proc．12th Int’l Conf．NeuralNetworks，Orlando，Oct．1994，454-458．
[4] 邊肇其，張學工．模式識別（第二版）[M]．清華大學出版社，北京．1999，12．
[5] 陳書海，傅錄祥．實用數字圖像處理[M]．科學出版社，北京．2005．
[6] 萬來毅，陳建勛．基于BP神經網絡的圖像識別研究[J]．武漢科技大學學報（自然科學版）．2006，6．
[7] 叢爽．面向MATLAB工具箱的神經網絡理論與應用（第2版）[M]．北京：中國科學技術出版社，2003．
[8] 王娟，慈林林等．特征方法綜述[J]．計算機工程與科學．2005．27（12）．68-71．
[9] 賈花萍．基于神經網絡的特征選擇與提取方法研究[J]．網絡安全．2008，7．33-35．
[10] 龔聲榮，劉純平等編著．數字圖像處理與分析[M]．清華大學出版社，北京．2006．7．
人工神經網絡的起源范文2
關鍵詞：人工神經網絡 遺傳算法 模擬退火算法 群集智能 蟻群算法 粒子群算
1 什么是智能算法
智能計算也有人稱之為“軟計算”，是們受自然（生物界）規律的啟迪，根據其原理，模仿求解問題的算法。從自然界得到啟迪，模仿其結構進行發明創造，這就是仿生學。這是我們向自然界學習的一個方面。另一方面，我們還可以利用仿生原理進行設計(包括設計算法)，這就是智能計算的思想。這方面的內容很多，如人工神經網絡技術、遺傳算法、模擬退火算法、模擬退火技術和群集智能技術等。
2 人工神經網絡算法
“人工神經網絡”(ARTIFICIAL NEURAL NETWORK，簡稱ANN)是在對人腦組織結構和運行機制的認識理解基礎之上模擬其結構和智能行為的一種工程系統。早在本世紀40年代初期，心理學家McCulloch、數學家Pitts就提出了人工神經網絡的第一個數學模型，從此開創了神經科學理論的研究時代。其后，F Rosenblatt、Widrow和J. J .Hopfield等學者又先后提出了感知模型，使得人工神經網絡技術得以蓬勃發展。
神經系統的基本構造是神經元(神經細胞)，它是處理人體內各部分之間相互信息傳遞的基本單元。據神經生物學家研究的結果表明，人的一個大腦一般有1010～1011個神經元。每個神經元都由一個細胞體，一個連接其他神經元的軸突和一些向外伸出的其它較短分支——樹突組成。軸突的功能是將本神經元的輸出信號(興奮)傳遞給別的神經元。其末端的許多神經末梢使得興奮可以同時傳送給多個神經元。樹突的功能是接受來自其它神經元的興奮。神經元細胞體將接受到的所有信號進行簡單處理(如：加權求和，即對所有的輸入信號都加以考慮且對每個信號的重視程度——體現在權值上——有所不同)后由軸突輸出。神經元的樹突與另外的神經元的神經末梢相連的部分稱為突觸。
2.1 人工神經網絡的特點
人工神經網絡是由大量的神經元廣泛互連而成的系統，它的這一結構特點決定著人工神經網絡具有高速信息處理的能力。人腦的每個神經元大約有103～104個樹突及相應的突觸，一個人的大腦總計約形成1014～1015個突觸。用神經網絡的術語來說，即是人腦具有1014～1015個互相連接的存儲潛力。雖然每個神經元的運算功能十分簡單，且信號傳輸速率也較低(大約100次/秒)，但由于各神經元之間的極度并行互連功能，最終使得一個普通人的大腦在約1秒內就能完成現行計算機至少需要數10億次處理步驟才能完成的任務。
人工神經網絡的知識存儲容量很大。在神經網絡中，知識與信息的存儲表現為神經元之間分布式的物理聯系。它分散地表示和存儲于整個網絡內的各神經元及其連線上。每個神經元及其連線只表示一部分信息，而不是一個完整具體概念。只有通過各神經元的分布式綜合效果才能表達出特定的概念和知識。
由于人工神經網絡中神經元個數眾多以及整個網絡存儲信息容量的巨大，使得它具有很強的不確定性信息處理能力。即使輸入信息不完全、不準確或模糊不清，神經網絡仍然能夠聯想思維存在于記憶中的事物的完整圖象。只要輸入的模式接近于訓練樣本，系統就能給出正確的推理結論。
正是因為人工神經網絡的結構特點和其信息存儲的分布式特點，使得它相對于其它的判斷識別系統，如：專家系統等，具有另一個顯著的優點：健壯性。生物神經網絡不會因為個別神經元的損失而失去對原有模式的記憶。最有力的證明是，當一個人的大腦因意外事故受輕微損傷之后，并不會失去原有事物的全部記憶。人工神經網絡也有類似的情況。因某些原因，無論是網絡的硬件實現還是軟件實現中的某個或某些神經元失效，整個網絡仍然能繼續工作。
人工神經網絡是一種非線性的處理單元。只有當神經元對所有的輸入信號的綜合處理結果超過某一門限值后才輸出一個信號。因此神經網絡是一種具有高度非線性的超大規模連續時間動力學系統。它突破了傳統的以線性處理為基礎的數字電子計算機的局限，標志著人們智能信息處理能力和模擬人腦智能行為能力的一大飛躍。
2.2 幾種典型神經網絡簡介
2.2.1 多層感知網絡(誤差逆傳播神經網絡)
在1986年以Rumelhart和McCelland為首的科學家出版的《Parallel Distributed Processing》一書中，完整地提出了誤差逆傳播學習算法，并被廣泛接受。多層感知網絡是一種具有三層或三層以上的階層型神經網絡。典型的多層感知網絡是三層、前饋的階層網絡，即：輸入層I、隱含層(也稱中間層)J和輸出層K。相鄰層之間的各神經元實現全連接，即下一層的每一個神經元與上一層的每個神經元都實現全連接，而且每層各神經元之間無連接。
但BP網并不是十分的完善，它存在以下一些主要缺陷：學習收斂速度太慢、網絡的學習記憶具有不穩定性，即：當給一個訓練好的網提供新的學習記憶模式時，將使已有的連接權值被打亂，導致已記憶的學習模式的信息的消失。
2.2.2 競爭型(KOHONEN)神經網絡
它是基于人的視網膜及大腦皮層對剌激的反應而引出的。神經生物學的研究結果表明：生物視網膜中，有許多特定的細胞，對特定的圖形(輸入模式)比較敏感，并使得大腦皮層中的特定細胞產生大的興奮，而其相鄰的神經細胞的興奮程度被抑制。對于某一個輸入模式，通過競爭在輸出層中只激活一個相應的輸出神經元。許多輸入模式，在輸出層中將激活許多個神經元，從而形成一個反映輸入數據的“特征圖形”。競爭型神經網絡是一種以無教師方式進行網絡訓練的網絡。它通過自身訓練，自動對輸入模式進行分類。競爭型神經網絡及其學習規則與其它類型的神經網絡和學習規則相比，有其自己的鮮明特點。在網絡結構上，它既不象階層型神經網絡那樣各層神經元之間只有單向連接，也不象全連接型網絡那樣在網絡結構上沒有明顯的層次界限。它一般是由輸入層(模擬視網膜神經元)和競爭層(模擬大腦皮層神經元，也叫輸出層)構成的兩層網絡。兩層之間的各神經元實現雙向全連接，而且網絡中沒有隱含層。有時競爭層各神經元之間還存在橫向連接。競爭型神經網絡的基本思想是網絡競爭層各神經元競爭對輸入模式的響應機會，最后僅有一個神經元成為競爭的勝者，并且只將與獲勝神經元有關的各連接權值進行修正，使之朝著更有利于它競爭的方向調整。神經網絡工作時，對于某一輸入模式，網絡中與該模式最相近的學習輸入模式相對應的競爭層神經元將有最大的輸出值，即以競爭層獲勝神經元來表示分類結果。這是通過競爭得以實現的，實際上也就是網絡回憶聯想的過程。
除了競爭的方法外，還有通過抑制手段獲取勝利的方法，即網絡競爭層各神經元抑制所有其它神經元對輸入模式的響應機會，從而使自己“脫穎而出”，成為獲勝神經元。除此之外還有一種稱為側抑制的方法，即每個神經元只抑制與自己鄰近的神經元，而對遠離自己的神經元不抑制。這種方法常常用于圖象邊緣處理，解決圖象邊緣的缺陷問題。
競爭型神經網絡的缺點和不足：因為它僅以輸出層中的單個神經元代表某一類模式。所以一旦輸出層中的某個輸出神經元損壞，則導致該神經元所代表的該模式信息全部丟失。
2.2.3 Hopfield神經網絡
1986年美國物理學家J.J.Hopfield陸續發表幾篇論文，提出了Hopfield神經網絡。他利用非線性動力學系統理論中的能量函數方法研究反饋人工神經網絡的穩定性，并利用此方法建立求解優化計算問題的系統方程式?；镜腍opfield神經網絡是一個由非線性元件構成的全連接型單層反饋系統。
網絡中的每一個神經元都將自己的輸出通過連接權傳送給所有其它神經元，同時又都接收所有其它神經元傳遞過來的信息。即：網絡中的神經元t時刻的輸出狀態實際上間接地與自己的t-1時刻的輸出狀態有關。所以Hopfield神經網絡是一個反饋型的網絡。其狀態變化可以用差分方程來表征。反饋型網絡的一個重要特點就是它具有穩定狀態。當網絡達到穩定狀態的時候，也就是它的能量函數達到最小的時候。這里的能量函數不是物理意義上的能量函數，而是在表達形式上與物理意義上的能量概念一致，表征網絡狀態的變化趨勢，并可以依據Hopfield工作運行規則不斷進行狀態變化，最終能夠達到的某個極小值的目標函數。網絡收斂就是指能量函數達到極小值。如果把一個最優化問題的目標函數轉換成網絡的能量函數，把問題的變量對應于網絡的狀態，那么Hopfield神經網絡就能夠用于解決優化組合問題。
對于同樣結構的網絡，當網絡參數(指連接權值和閥值)有所變化時，網絡能量函數的極小點(稱為網絡的穩定平衡點)的個數和極小值的大小也將變化。因此，可以把所需記憶的模式設計成某個確定網絡狀態的一個穩定平衡點。若網絡有M個平衡點，則可以記憶M個記憶模式。
當網絡從與記憶模式較靠近的某個初始狀態(相當于發生了某些變形或含有某些噪聲的記憶模式，也即：只提供了某個模式的部分信息)出發后，網絡按Hopfield工作運行規則進行狀態更新，最后網絡的狀態將穩定在能量函數的極小點。這樣就完成了由部分信息的聯想過程。
Hopfield神經網絡的能量函數是朝著梯度減小的方向變化，但它仍然存在一個問題，那就是一旦能量函數陷入到局部極小值，它將不能自動跳出局部極小點，到達全局最小點，因而無法求得網絡最優解。 3 遺傳算法
遺傳算法（Genetic Algorithms）是基于生物進化理論的原理發展起來的一種廣為應用的、高效的隨機搜索與優化的方法。其主要特點是群體搜索策略和群體中個體之間的信息交換，搜索不依賴于梯度信息。它是在70年代初期由美國密執根（Michigan）大學的霍蘭（Holland）教授發展起來的。1975年霍蘭教授發表了第一本比較系統論述遺傳算法的專著《自然系統與人工系統中的適應性》（《Adaptation in Natural and Artificial Systems》）。遺傳算法最初被研究的出發點不是為專門解決最優化問題而設計的，它與進化策略、進化規劃共同構成了進化算法的主要框架，都是為當時人工智能的發展服務的。迄今為止，遺傳算法是進化算法中最廣為人知的算法。
近幾年來，遺傳算法主要在復雜優化問題求解和工業工程領域應用方面，取得了一些令人信服的結果，所以引起了很多人的關注。在發展過程中，進化策略、進化規劃和遺傳算法之間差異越來越小。遺傳算法成功的應用包括：作業調度與排序、可靠性設計、車輛路徑選擇與調度、成組技術、設備布置與分配、交通問題等等。
3.1 特點
遺傳算法是解決搜索問題的一種通用算法，對于各種通用問題都可以使用。搜索算法的共同特征為： ① 首先組成一組候選解； ② 依據某些適應性條件測算這些候選解的適應度； ③ 根據適應度保留某些候選解，放棄其他候選解； ④ 對保留的候選解進行某些操作，生成新的候選解。在遺傳算法中，上述幾個特征以一種特殊的方式組合在一起：基于染色體群的并行搜索，帶有猜測性質的選擇操作、交換操作和突變操作。這種特殊的組合方式將遺傳算法與其它搜索算法區別開來。
遺傳算法還具有以下幾方面的特點：
(1)遺傳算法從問題解的串集開始嫂索，而不是從單個解開始。這是遺傳算法與傳統優化算法的極大區別。傳統優化算法是從單個初始值迭代求最優解的；容易誤入局部最優解。遺傳算法從串集開始搜索，覆蓋面大，利于全局擇優。(2)許多傳統搜索算法都是單點搜索算法，容易陷入局部的最優解。遺傳算法同時處理群體中的多個個體，即對搜索空間中的多個解進行評估，減少了陷入局部最優解的風險，同時算法本身易于實現并行化。
(3)遺傳算法基本上不用搜索空間的知識或其它輔助信息，而僅用適應度函數值來評估個體，在此基礎上進行遺傳操作。適應度函數不僅不受連續可微的約束，而且其定義域可以任意設定。這一特點使得遺傳算法的應用范圍大大擴展。
(4)遺傳算法不是采用確定性規則，而是采用概率的變遷規則來指導他的搜索方向。
(5)具有自組織、自適應和自學習性。遺傳算法利用進化過程獲得的信息自行組織搜索時，硬度大的個體具有較高的生存概率，并獲得更適應環境的基因結構。
3.2 運用領域
前面描述是簡單的遺傳算法模型，可以在這一基本型上加以改進，使其在科學和工程領域得到廣泛應用。下面列舉了一些遺傳算法的應用領域： ① 優化：遺傳算法可用于各種優化問題。既包括數量優化問題，也包括組合優化問題。 ② 程序設計：遺傳算法可以用于某些特殊任務的計算機程序設計。 ③ 機器學習：遺傳算法可用于許多機器學習的應用，包括分類問題和預測問題等。 ④ 經濟學：應用遺傳算法對經濟創新的過程建立模型，可以研究投標的策略，還可以建立市場競爭的模型。 ⑤ 免疫系統：應用遺傳算法可以對自然界中免疫系統的多個方面建立模型，研究個體的生命過程中的突變現象以及發掘進化過程中的基因資源。 ⑥ 進化現象和學習現象：遺傳算法可以用來研究個體是如何學習生存技巧的，一個物種的進化對其他物種會產生何種影響等等。 ⑦ 社會經濟問題：遺傳算法可以用來研究社會系統中的各種演化現象，例如在一個多主體系統中，協作與交流是如何演化出來的。
4 模擬退火算法
模擬退火算法來源于固體退火原理，將固體加溫至充分高，再讓其徐徐冷卻，加溫時，固體內部粒子隨溫升變為無序狀，內能增大，而徐徐冷卻時粒子漸趨有序，在每個溫度都達到平衡態，最后在常溫時達到基態，內能減為最小。根據Metropolis準則，粒子在溫度T時趨于平衡的概率為e-ΔE/(kT)，其中E為溫度T時的內能，ΔE為其改變量，k為Boltzmann常數。用固體退火模擬組合優化問題，將內能E模擬為目標函數值f ，溫度T演化成控制參數t，即得到解組合優化問題的模擬退火算法：由初始解i和控制參數初值t開始，對當前解重復“產生新解計算目標函數差接受或舍棄”的迭代，并逐步衰減t值，算法終止時的當前解即為所得近似最優解，這是基于蒙特卡羅迭代求解法的一種啟發式隨機搜索過程。退火過程由冷卻進度表(Cooling Schedule)控制，包括控制參數的初值t及其衰減因子Δt、每個t值時的迭代次數L和停止條件S。
5 群體（群集）智能（Swarm Intelligence）
受社會性昆蟲行為的啟發，計算機工作者通過對社會性昆蟲的模擬產生了一系列對于傳統問題的新的解決方法，這些研究就是群集智能的研究。群集智能(Swarm Intelligence)中的群體(Swarm)指的是“一組相互之間可以進行直接通信或者間接通信(通過改變局部環境)的主體，這組主體能夠合作進行分布問題求解”。而所謂群集智能指的是“無智能的主體通過合作表現出智能行為的特性”。群集智能在沒有集中控制并且不提供全局模型的前提下，為尋找復雜的分布式問題的解決方案提供了基礎。
群集智能的特點和優點：群體中相互合作的個體是分布式的(Distributed)，這樣更能夠適應當前網絡環境下的工作狀態; 沒有中心的控制與數據，這樣的系統更具有魯棒性(Robust)，不會由于某一個或者某幾個個體的故障而影響整個問題的求解?？梢圆煌ㄟ^個體之間直接通信而是通過非直接通信(Stimergy)進行合作，這樣的系統具有更好的可擴充性(Scalability)。由于系統中個體的增加而增加的系統的通信開銷在這里十分小。系統中每個個體的能力十分簡單，這樣每個個體的執行時間比較短，并且實現也比較簡單，具有簡單性(Simplicity)。因為具有這些優點，雖說群集智能的研究還處于初級階段，并且存在許多困難，但是可以預言群集智能的研究代表了以后計算機研究發展的一個重要方向。
在計算智能(Computational Intelligence)領域有兩種基于群智能的算法，蟻群算法(Ant Colony Optimization)和粒子群算法(Particle Swarm Optimization)，前者是對螞蟻群落食物采集過程的模擬，已經成功運用在很多離散優化問題上。
5.1 蟻群優化算法
受螞蟻覓食時的通信機制的啟發，90年代Dorigo提出了蟻群優化算法(Ant Colony Optimization，ACO)來解決計算機算法學中經典的“貨郎擔問題”。如果有n個城市，需要對所有n個城市進行訪問且只訪問一次的最短距離。
在解決貨郎擔問題時，蟻群優化算法設計虛擬的“螞蟻”將摸索不同路線，并留下會隨時間逐漸消失的虛擬“信息素”。虛擬的“信息素”也會揮發，每只螞蟻每次隨機選擇要走的路徑，它們傾向于選擇路徑比較短的、信息素比較濃的路徑。根據“信息素較濃的路線更近"的原則，即可選擇出最佳路線。由于這個算法利用了正反饋機制，使得較短的路徑能夠有較大的機會得到選擇，并且由于采用了概率算法，所以它能夠不局限于局部最優解。
蟻群優化算法對于解決貨郎擔問題并不是目前最好的方法，但首先，它提出了一種解決貨郎擔問題的新思路；其次由于這種算法特有的解決方法，它已經被成功用于解決其他組合優化問題，例如圖的著色(Graph Coloring)以及最短超串(Shortest Common Supersequence)等問題。
5.2 粒子群優化算法
粒子群優化算法(PSO)是一種進化計算技術(Evolutionary Computation)，有Eberhart博士和Kennedy博士發明。源于對鳥群捕食的行為研究。
PSO同遺傳算法類似，是一種基于疊代的優化工具。系統初始化為一組隨機解，通過疊代搜尋最優值。但是并沒有遺傳算法用的交叉(crossover)以及變異(mutation)。而是粒子在解空間追隨最優的粒子進行搜索。
同遺傳算法比較，PSO的優勢在于簡單容易實現并且沒有許多參數需要調整。目前已廣泛應用于函數優化，神經網絡訓練，模糊系統控制以及其他遺傳算法的應用領域。
粒子群優化算法(PSO) 也是起源對簡單社會系統的模擬，最初設想是模擬鳥群覓食的過程，但后來發現PSO是一種很好的優化工具。
5.2.1 算法介紹
PSO模擬鳥群的捕食行為。一群鳥在隨機搜索食物，在這個區域里只有一塊食物。所有的鳥都不知道食物在那里。但是他們知道當前的位置離食物還有多遠。那么找到食物的最優策略是什么呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。
PSO從這種模型中得到啟示并用于解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一只鳥。我們稱之為“粒子”。所有的粒子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然后粒子們就追隨當前的最優粒子在解空間中搜索。
PSO初始化為一群隨機粒子(隨機解)，然后通過疊代找到最優解，在每一次疊代中，粒子通過跟蹤兩個“極值”來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest，另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分最優粒子的鄰居，那么在所有鄰居中的極值就是局部極值。
5.2.2 PSO算法過程
① 種群隨機初始化。
② 對種群內的每一個個體計算適應值(fitness value)。適應值與最優解的距離直接有關。
③ 種群根據適應值進行復制 。
④ 如果終止條件滿足的話，就停止，否則轉步驟 ② 。
從以上步驟，我們可以看到PSO和遺傳算法有很多共同之處。兩者都隨機初始化種群，而且都使用適應值來評價系統，而且都根據適應值來進行一定的隨機搜索。兩個系統都不是保證一定找到最優解。但是，PSO沒有遺傳操作如交叉(crossover)和變異(mutation)，而是根據自己的速度來決定搜索。粒子還有一個重要的特點，就是有記憶。
與遺傳算法比較，PSO的信息共享機制是很不同的。在遺傳算法中，染色體(chromosomes) 互相共享信息，所以整個種群的移動是比較均勻的向最優區域移動。在PSO中， 只有gBest (or lBest) 給出信息給其他的粒子， 這是單向的信息流動。整個搜索更新過程是跟隨當前最優解的過程。與遺傳算法比較， 在大多數的情況下，所有的粒子可能更快的收斂于最優解。
現在已經有一些利用PSO代替反向傳播算法來訓練神經網絡的論文。研究表明PSO 是一種很有潛力的神經網絡算法，同時PSO速度比較快而且可以得到比較好的結果。
6 展望
目前的智能計算研究水平暫時還很難使“智能機器”真正具備人類的常識，但智能計算將在21世紀蓬勃發展。不僅僅只是功能模仿要持有信息機理一致的觀點。即人工腦與生物腦將不只是功能模仿，而是具有相同的特性。這兩者的結合將開辟一個全新的領域，開辟很多新的研究方向。智能計算將探索智能的新概念，新理論，新方法和新技術，而這一切將在以后的發展中取得重大成就。
參考文獻
[1] “Ant-Colony Optimization Algorithms(ACO)”，
leanair4.mit.edu/docushare/dscgi/ds.py/Get/File-378/RG_EE141_W8ACO.pdf
[2 ] “Swarm intelligence-what is it and why is it interesting”
micro.caltech.edu/Courses/EE150/dungeon/Week1/OH_W1SwarmIntel.pdf
[3] Tony White，“Swarm Intelligence: A Gentle Introduction With Application”，
sce.carleton.ca/netmanage/tony/swarm-presentation/index.htm
[4] 胡守仁等.神經網絡導論[M].長沙:國防科技大學出版社，1993.113～117.
[5] 姚新，陳國良，徐惠敏等.進化算法研究進展[J].計算機學報，1995，18(9):694-706.
人工神經網絡的起源范文3
關鍵詞：CRM；渠道偏好度；電信
一、 案例研究方法與模型介紹
西方學者的案例研究過程淵源已久，Kyburz-Graber（2004）將案例研究分為三類：描述性案例研究、探索性案例研究以及因果解釋性案例研究。本研究屬于探索性案例研究，希望以國內一家電信運營商的CRM管理過程實踐為研究對象，分析客戶對于渠道的偏好度。本案例企業為某電信運營商的一家地市分公司，擁有超過三百萬用戶，主要從事移動通信和數據服務業務。
這家電信運營商在完成基本的各種業務運營的生產性信息系統后，進一步完成數據匯總并建設了涵蓋所有客戶互動歷史數據的中央數據倉庫系統作為企業級業務數據平臺。其市場營銷部門充分利用這個統一集中的管理信息平臺，對客戶作各種深度的數據挖掘研究。對于渠道的偏好度的研究分析方案
1. 渠道的類型定為四類：營業廳、電話客服中心、短信、網站。
2. 客戶渠道的偏好度模型，使用數據挖掘的人工神經網絡技術（詳述如后），計算出每個用戶使用四種渠道辦理業務的傾向度評分。
3. 主要的數據來源包括客服中心呼叫記錄，短信請求記錄，網站渠道運營記錄，業務支撐系統工單，服務使用數據，以及客戶基本屬性數據等。
4. 時間分析窗口數據，利用渠道偏好度模型給每個分析用戶進行渠道使用傾向評分，再通過驗證窗口用戶使用渠道情況進行模型驗證。分析窗口：用于分析特征的歷史數據的時間跨度，需要3個月的歷史數據；驗證窗口：用于驗證用戶使用渠道情況，需要2個月的歷史數據。
5. 本案例研究所使用的技術方法為人工神經網絡（ANN）。人工神經網絡的研究發展起源于20世紀40年代，是一種模仿人腦神經系統的非線性映射結構。它不依賴于精確數學模型，而顯示出自適應和自學習功能。1943年，法國心理學家W.S.McCuloch和W.Pitts提出了第一個神經元數學模型，開創了人類自然科學史上的一門新興科學ANN的研究。
人工神經網絡會不斷檢驗預測結果與實際情況是否相符。把與實際情況不符合的輸入輸出數據作為新的樣本，對新樣本進行動態學習并動態改變網絡結構和參數，這樣使網絡適應環境或預測對象本身結構和參數的變化，從而使預測網絡模型有更強的適應性。而在ANN的實現過程當中，往往需要大量的數據來產生充足的訓練和測試樣本模式集，以有效地訓練和評估ANN的性能，這正好是建立在數據倉庫和數據挖掘工具所能提供的。由于ANN和數據挖掘兩者的優勢互補，將神經網絡用于數據挖掘具有現實意義和實用價值。人工神經網絡在數據挖掘中的優勢是：對于噪聲數據的強承受能力，對數據分類的高準確性，以及可用各種算法進行規則提取。
人工神經網絡方法常用于分類、聚類、特征挖掘、預測和模式識別。神經網絡模型大致可分為以下三種：（1）前饋式網絡：以感知機、反向傳播模型和函數型網絡為代表，主要用于預測和模式識別等領域；（2）反饋式網絡：以Hopfield離散模型和連續模型為代表，主要用于聯想記憶和優化計算；（3）自組織網絡：以自適應共振理論：（Adaptive Resonance Theory，ART）模型為代表，主要用于聚類分析。
在本案例應用中，主要是用前饋式網絡來進行多變量的概率分布預測。因為本文目標是對用戶使用幾種渠道的可能性高低進行預測。
二、 案例研究的實施與分析
1. 業務規劃的考量。對客戶使用渠道的習慣偏好進行分析具有重大意義，可以對營銷活動提供有力的支持。通過客戶行為特征分析，尋找客戶選擇渠道的偏好，提供客戶營銷渠道的最優路徑。不但有利于優化渠道資源，降低營銷成本，更能提高營銷成功率，提升客戶滿意度。
目前電信客戶可以使用的移動通信服務渠道包括營業廳、電話客服、短信、網站、自助服務終端等，其中營業廳提供服務功能最為齊全，但成本也是最高；電話客服使用最為廣泛，幾乎每個客戶都有使用電話客服的經驗，也是提供最多服務的渠道，對于電信公司的用戶滿意度非常重要。因此，研究應用的重點之一就是如何發揮電話客服的優勢，以有限資源服務更多的高價值客戶和業務，減少低價值客戶和業務占用客服資源的比例。同時，重點發展電子渠道，著重提高電子渠道的普及率，培養用戶使用電子渠道的習慣，引導用戶從傳統渠道（營業廳、電話客服）向電子渠道（短信和網站）轉變。
2. 具體的技術實現方案：
（1）數據準備：基于業務理解以及數據分析，選取以下變量為構建模型的基礎變量；（詳細列表如表1所示）
（2）數據質量分析：對預處理之后的基礎變量進行數據質量分析以剔除質量較差的變量；
（3）數據探索：通過可視化（Visualization）工具及統計分析等方法來展示及探索各個變量的可用性，從而獲得模型的輸入變量。從中了解變量的重要性及業務發展規律；
（4）數據處理流程：按照挖掘任務的要求，將數據從中央數據倉庫抽取生成挖掘專用的數據集市?；镜臄祿幚砹鞒逃校簲祿吹膮R總合并；執行數據探索抽樣；透過人工神經網絡（ANN）進行模型打分；產生模型并進行模型驗證整體技術方案的關鍵點體現在兩個方面：建模過程：為渠道偏好的分類預測找到合適的基礎變量，有助于模型收斂更快更好；模型應用過程：應用最小長度原理，控制隱藏節點數，以達到擬合最優。另借助SAS軟件工具實現模型打分。
3. 具體應用實現案例。根據電話、網站、短信和營業廳渠道各個評分前10%的用戶，取各渠道用戶的評分值、每用戶平均收入（ARPU）、以及在網時長的信息設計營銷方案。
（1）對偏好電話的客戶，通過電話營銷中心外呼進行營銷，完成后需要對客戶進行短信感謝，同時介紹網站渠道的便利性和信息豐富的特點。
（2）對偏好網站的客戶，通過短信提醒用戶登錄網上營業廳辦理業務的優惠信息，在客戶登錄網上營業廳時進行營銷推薦，同時考慮發展響應較高的用戶群作為網站營銷的種子客戶，進行持續的優惠激勵。
（3）對偏好短信的客戶，通過短信進行營銷推薦，給予短信辦理業務的優惠條件，提醒客戶可以嘗試使用信息更加豐富的渠道――網站，并提供網站辦理的簡單指引。
（4）對偏好營業廳的客戶，通過短信提醒客戶最近的營業廳，同時推薦客戶使用電話渠道，而后再通過電話引導客戶使用營業廳之外的渠道，并考慮對這些客戶給予業務優惠吸引他們采用。
4. 渠道模型分析結果與驗證。
（1）電話客服中心渠道的偏好度分析。在電話客服中心的營銷活動中，電話外呼的目標客戶優先選擇具有電話偏好度的客戶群，其次是沒有明顯渠道偏好的客戶群，再次是營業廳偏好的客戶群，針對營業廳偏好客戶，可以在電話營銷的時候加入向用戶推薦就近的營業廳的資料。
通過電話渠道偏好客戶分析，歸納出影響偏好電話客服渠道最明顯的前10個參數如表2示。
其中，撥打客服次數、在網時長、總計費分鐘數、是否VIP客戶、撥打客服平均時長、撥打聲訊臺次數、呼轉次數這7個因素對客戶的電話偏好產生正影響，也就是客戶的這些參數的值越大，其偏好電話渠道的可能性就越大；而網站操作業務類型數、短信操作次數、網站登錄次數這3個因素對電話偏好產生負影響，與正影響相反。
以“撥打客服次數”為例，T統計量基本顯著（P-值小于顯著性水平0.05），即“撥打客服次數”對因變量具有顯著的解釋能力，參數估計值為0.102 3，即在其他控制其他變量不變的情況下，對數發生比隨著“撥打客服次數”的增加而增加。
從電話渠道模型驗證的角度，前10%的用戶數量明顯較多，因此選擇前模型得分前10％的客戶作為電話偏好的目標客戶。從圖2的曲線來看，模型得分前10％的客戶覆蓋實際具有電話渠道偏好客戶比例達到了30％以上，因此模型提升率達到3倍以上，說明選擇前10%是可以滿足目前的要求。
（2）短信渠道的偏好度分析。通過短信渠道偏好客戶分析，歸納出影響偏好短信渠道最明顯的前9個參數：其中短信操作業務類型數、WLAN使用分鐘數、是否使用中文秘書、漫游計費分鐘4個參數，對短信偏好產生正影響；而在網時長、網站操作業務類型數、總計費分鐘數、撥打客服次數、是否使用留言信箱5個參數對短信偏好產生負影響。
由于短信辦理業務的方式比較容易被年輕人接受，而在網時長比較大的客戶通常是老客戶，他們比較習慣使用電話，使用短信的可能性比較小，因此對比可以看出，在網時長對電話渠道是正影響，對短信渠道是負影響。
對短信渠道模型進行驗證，幾乎所有的短信業務辦理的用戶都是模型得分在20％以內的，采用短信方式辦理業務的用戶的得分都很高，模型覆蓋率非常精確，模型評分前20％的用戶幾呼覆蓋100％的短信辦理用戶，模型提升率接近5倍。說明短信渠道偏好的模型評價用戶是否有短信偏好的能力較強，具有很好的預測能力。
（3）網站渠道的偏好度分析。通過網站渠道偏好的客戶分析，歸納出影響偏好網站渠道最明顯的前10個參數：其中網站操作業務類型數、數據業務使用種類數、是否使用號碼管理3個參數對網站偏好產生正影響；而撥打客服次數、總計費分鐘數、撥打客服平均時長、訂購的WAP服務數、是否VIP客戶、短信操作業務類型數、彩鈴IVR買歌次數7個參數對網站偏好產生負影響。
前10大參數中，網站偏好影響為正的參數只有3個，負影響的因素則有7個，原因是參數的設置和選擇目前主要來自于客戶屬性和使用手機的信息，這些內容通常與網站操作沒有太多關聯性，與網站相關的許多數據目前的系統中難以取到；另一個原因可能是網站營業廳的出現時間比較晚，能夠提供的服務內容比較少。針對熟練使用網站辦理業務的用戶，可以提供目標性的營銷發展成為公司的網站業務使用的“種子客戶”，通過他們去影響交往圈的其他客戶，從而提升網站辦理的數量和比例，減輕對電話渠道的壓力，使得電話營銷中心的資源可以投放到更有生產力的活動中。
網站渠道模型評分排名前10％的客戶實際驗證中通過網站辦理數明顯高于排名靠后的其他客戶，說明模型評分的準確度比較高。
三、 研究案例總結
掌握好渠道偏好度的工作，能夠有效地以有限的資源盡可能的服務更多的高價值的客戶和業務，減少低價值客戶和業務占用客服渠道資源的比例。同時，重點發展電子渠道，培養引導用戶從傳統渠道（營業廳和電話客服）向電子渠道（網站和短信）轉變，對于電信運營商就必能產生關鍵性的績效提升。
利用數據倉庫再進行數據挖掘可以突破以往的技術困難限制，有效地建立高精確度的模型。構建模型時基礎變量選取得當能夠產生很好的適應性和普及彈性，體現涵蓋不同省、市的區域差別。從上述實際的案例，也驗證了應用這種CRM信息技術的優越能力，一旦建立了標準模型和技術方案的實施機制，將會易于其推廣便利為運營商創造顯著績效。
參考文獻：
1. Armstrong, G, Kotler, P. Marketing: An introduction，2005.
2. Eisenhardt, K. Building Theories from Case Study Research. Academy of Management Review, 1989,14（4）:532-550.
3. Kyburz-Graber, R. Does Case-study Methodology Lack Rigour? The Need for Quality Criteria for Sound Case-study Research, as Illustrated by a Recent Case in Secondary and Higher Education. Environmental Education Research,2004,10（1）:53-65.
人工神經網絡的起源范文4
關鍵詞：數字圖像處理 GIS 技術應用
中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2016）05-0000-00
數字圖像處理就是利用計算機對圖像信息進行加工來滿足人類視覺或心理需求的行為，實質上是一串能夠被計算機還原顯示和輸出為一幅圖像的數字碼，在科學技術高度發展的現代社會，人類對信息的獲取與傳輸主要依靠圖像，所以圖像對于人類認識世界，認識社會都有著很重要的作用。圖像處理技術發展時間并不長，其技術起源是在20世紀20年代，至今還不到一個世紀，因此數字圖像技術還未被完全的開發和利用，現如今除了對圖片作出處理之外，也在GIS（地理信息系統）中被充分應用。數字圖像處理技術在GIS中的應用，為地理信息系統的發展完善作出了巨大的貢獻。
1數字圖像技術的發展與現狀
數字圖像技術的應用就是圖片通過計算機網絡傳遞的過程中將圖片轉化成一組具有特定規律的計算機可以接受的數字形式，一般是用數字矩陣來表達的。所以數字圖像處理技術的發展是在計算機基礎上發展來的，主要是靠計算機水平和數學理論作為發展動力，換言之就是計算機的發展推動數字圖像處理技術的發展。
隨著計算機的發展，數字圖像技術也開始發展，數字圖像技術的起源是20世紀20年代，但真正的發展是在20世紀40年代計算機技術開始發展之后，其最早期的處理是以傅里葉變換為基礎對圖像進行簡單的處理，但是由于當時的計算機的容量很小，而圖片的容量卻很大，因此這個階段的圖像處理通常是分段進行，并且時間也較慢，所以在當時的實用性并不是很強[1]。
一直到了20世紀80年代，隨著計算機技術實現質的飛躍后，數字圖像處理才真正的在計算機中實現，其真正的價值意義才被發掘，并且隨著數字化儀與掃描儀的生產與運用、遙感技術的發展與數學算法的成熟都在一定程度上促進了數字圖像技術的進步與完善，其主要的應用范圍是在通訊技術、宇宙探索、遙感技術、生物醫學、工業生產、氣象預測、計算機科學軍事技術、偵緝破案考古以及測繪等等方面，數字圖像處理技術的應用為這些領域的發展打開了新的發展領域。
2數字圖像處理的基本理論與技術
數字圖像處理自從其發展以來一直在不斷的發展與完善，不斷的尋求新的理論與算法，在不斷的發展探索中形成了多種理論。
（1）小波理論。小波理論相對于傅里葉變換有著很大的優越性，但是小波理論的真正突破是從20世紀80年代開始的，雖然經過了長時間的發展但還是存在很多的問題亟待解決。小波理論還被成為數學的“顯微鏡”[2]，當前對小波理論的應用還大多數在2維，目前仍然在探討階段。
（2）分形理論。分形理論是由英國人創立的，是非線性代數中的一個分支，它在自然科學中被廣泛的應用，在自然界中的物質大都可以分為兩種情況，一種的有形狀尺度的，例如一棵樹的高度，也有沒有具體的形狀尺度的，比如雨雪，而這些沒有尺度的就是分形，在圖像中分形幾何的物質大量的存在，所以在數字圖像處理中分形理論被大量的運用。
（3）人工神經網絡。人工神經網絡顧名思義就是模仿人腦在工作中的方式而設計的一種機器，它具有不斷的獲取知識而解決問題的能力，在快速的運算以及學習理論的能力都有著非常重要的成果。人工神經網絡已經被應用到很多領域，對于圖像處理領域主要應用于字體字符的識別、語音、簽字、指紋、人臉等的識別，以及對癌細胞的識別，心電圖與腦電圖的分類等等。雖然在人工神經網絡方面取得了一定的成果，但是仍然是處于初級階段，發展道路仍然很漫長。
（4）遺傳算法。遺傳算法在近幾年來的研究中廣受歡迎，其主要是依據生物學中的遺傳規律來研究生物個體之間的關系，數字圖像處理中主要是運用遺傳算法來對圖像進行分類，并且也取得了一定的成果，但是遺傳算法的價值不僅在于此，更多的價值有待發掘。
（5）數學形態學。形態學本是生物學種研究植物、動物的結構的一個分支，后來被應用于以形態為基礎對圖形進行分析的一種數學工具。數學形態學在數字圖像處理中可以簡化圖片的數據，保持圖像的基本圖形。
3 熟悉圖像處理在GIS中的應用
GIS（地理信息系統）是一門在諸多學科的基礎上發展起來的一門學科，有獨立的學科體系，GIS中融合了地理學、地圖學、測量學以及計算機等科學，它主要作為獲取、整理、分析和管理地理空間數據的重要工具與技術手段，近年來被廣泛的關注與發展，并且取得了一定的成果，但是GIS是具有非常鮮明的時代性的學科，所以隨著時代的不斷進步，GIS也會不斷的發展。當前我國對GIS的研究僅停留在了3維，所以發展研究的空間仍然很大。
當前我國運用的GIS系統主要是以數字圖像處理技術為基礎的，GIS的編輯、存儲以及查詢等都是運用的圖像處理技術；根據GIS的發展動向來看，今后的GIS將會主要依據遙感技術，而遙感技術就是圖像處理技術中的技術要領；GIS中運用到的數據分析也是依靠的數字圖像處理技術理論來對數據進行壓縮和編碼的，因此GIS的發展與完善都離不開數字圖像處理，并且隨著數字圖像處理的不斷的發展，GIS也會隨之不斷的前進。
4結語
數字圖形處理技術主要依據電子計算機的發展而發展，因此數字圖形處理的發展受計算機行業的發展速度影響，今后其應用也會越來越廣泛，并且也會一直影響GIS的發展與創新，數字圖形處理在GIS中的應用也會越來越深入。
參考文獻
人工神經網絡的起源范文5
在本領域核心學術期刊ACS Nano、Scientific Reports、IEEE Electron Device Letters （EDL）、IEEE Transactions on Electron Devices （TED）、Applied Physics Letters（APL）及學術會議Symposium on VLSI Technology （VLSI）、International Electron Device Meeting （IEDM）等120余篇，其中2篇期刊論文為ESI（基本科學指標數據庫）高被引論文（Top1%）；論文累計SCI他引800余次，h因子17。已申請中國發明專利50余項，30項獲得授權；申請國際發明專利5項，3項獲得授權。
興趣使然，劉力鋒從河北工業大學一路讀到中國科學院半導體研究所獲得博士學位，然后在北京大學完成博士后研究。那時，國際上還鮮有人提及“阻變存儲器”這個新興器件，他所在的團隊負責人康晉鋒教授卻敏銳地預感到其廣闊的應用前景，于是率領團隊展開相應研究。劉力鋒也自然走上這條時代科學前沿的攻堅之路。
十年磨一劍，如今的劉力鋒對阻變存儲器的了解有如庖丁解牛。研究初期，他的研究焦點集中在對于不同阻變材料的阻變機制的認識和理解上；現在，他將研究聚焦在如何利用阻變材料實現穩定、可靠的三維集成的阻變存儲器，獲得高密度低成本的器件，以滿足實際的存儲器件應用需求。同時，開展阻變器件的創新應用研究。
理清阻變機制
基于阻變現象實現數據存儲的器件稱為阻變存儲器件（RRAM）?；诮饘傺趸锏淖枳兇鎯ζ骺梢酝瑫r滿足大容量非揮發數據存儲和高速度讀寫的需求，被認為是未來存儲器技術中最有競爭力候選者之一。然而，對金屬氧化物阻變存儲器阻變特性的物理機制認識不清，阻礙了RRAM技術發展，“對阻變機制的爭論主要集中在阻變介質中構成導電通道的成分及形貌、不同形貌下的電流輸運機制，以及導電通道連通和斷開的原因等問題”，劉力鋒說，阻變機制不清就無法準確地理解RRAM的各種本征和非本征特性，從而難以對RRAM器件的特性做出正確評估，也難以鑒別影響RRAM阻變特性的關鍵因素。同時，缺乏RRAM器件的準確物理模型，難以對材料選擇和工藝技術的改進提出有價值的指導。
在深入研究金屬氧化物RRAM阻變開關特性的基礎上，劉力鋒及團隊成員利用第一性原理計算并結合實驗研究，提出了基于氧空位通道的電子跳躍導電輸運機制，建立了以氧空位的產生和復合為基礎的統一描述氧化物單極型和雙極型RRAM電阻開關特性的物理模型。
探究過程中，劉力鋒和團隊成員們經常開會討論，爭論不斷，往往上午剛剛得出的結論下午就被推倒重來。然而，功夫不負有心人，最終他們研究提出了統一的阻變微觀機制――以統一的物理效應和觀點闡明單、雙極阻變的微觀起源，可合理解釋在金屬氧化物阻變器件中觀測到的多種現象。據劉力鋒介紹，與之前所提的阻變機制不同，新機制重點突出了可動氧離子的作用，同時首次指出了氧離子與氧空位的復合是由電場作用下的氧空位電子耗盡效應決定，其對金屬氧化物基RRAM材料優選和阻變開關性能的優化可謂具有重要的理論指導意義?；谧枳兾⒂^機制，他們還進一步研究發展了可以定量表征和預測阻變過程中相關物理效應及阻變器件性能的模型。
優化提高阻變性能和可靠性
盡管氧化物RRAM器件性能優越，但普遍存在電阻開關轉變不穩定的問題。隨著器件開關次數的增加，將發生因高阻態電阻、低阻態電阻、置位電壓和復位電壓的退化而導致器件失效的不穩定現象。劉力鋒從器件材料優化和操作模式優化兩個角度，對阻變器件特性的設計與性能改善方案做出指導性建議。
為了優化阻變器件性能，劉力鋒歷經大量時間篩選適合阻變材料和結構。后來，通過設計適量摻雜的阻變氧化層，電極材料以及界面層，同時引入電流掃描和優化的脈沖操作模式，成功制備出具有高性能的阻變器件。據悉，其set阻變時間小于20ns，具有阻變穩定的四級電阻態，多阻態的耐久循環次數超過106，在150度高溫下的電阻態保持測量數據外推可達10年。
在此基礎上，劉力鋒利用提出的RRAM的微觀阻變機制和理論模型，分析了影響氧化物RRAM器件阻變穩定性的關鍵因素；結合金屬氧化物材料特性的第一性原理計算研究，提出了利用合適金屬離子摻雜改善RRAM阻變開關均勻性的技術，同時提出摻雜離子種類和工藝的優化選擇方法。此外，還提出一種新型編程和擦寫操作模式，可有效改善氧化物RRAM阻變參數的一致性，提出了利用器件材料優化和操作模式優化相結合改善阻變器件綜合性能的技術方案，為金屬氧化物RRAM綜合阻變性能的優化提供了指導性建議。
優化了阻變存儲器的穩定性能，劉力鋒又面臨著提高其可靠性的問題，“目前，阻變器件的可靠性還無法滿足實際器件應用的需求，這也是阻礙RRAM器件邁向產品化的一個重要技術瓶頸”?？煽啃詥栴}包括氧化物RRAM器件的保持特性失效現象，耐久力特性的失效行為等。RRAM阻變器件是基于新原理的存儲器件，傳統的存儲器件失效評測技術將不能完全適用于RRAM器件評測，因此亟需發展一個新的可靠特性評測技術方法。
針對RRAM阻變器件保持特性失效現象、耐久力特性失效行為，劉力鋒探討了氧化物RRAM的阻變開關失效機制，提出了一種可以有效評測金屬氧化物RRAM失效概率和電阻態保持時間的物理模型，并建立金屬氧化物RRAM的高阻態和低阻態保持特性的評測方法；根據金屬氧化物RRAM耐久力特性的各種失效特性，提出了可描述其耐久力性能退化的物理模型，用于預測RRAM阻變開關的耐久力特性。更重要的是，他提出了一種新型的器件操作模式，可將金屬氧化物RRAM器件的耐久力提高一個數量級。
創新阻變器件應用
RRAM阻變器件除了在存儲器領域有廣闊應用前景外，還可能在邏輯電路中有所應用。眾所周知，現有計算機使用的是馮諾依曼體系，即計算和存儲分開。它的缺陷顯而易見――運行數據必須在存儲器和運算器之間相互傳輸，傳輸效率會因此降低。而若能將一些簡單的運算直接在存儲器中完成，就可以省去傳輸過程，從而實現更高的運算效率。這也被稱為非揮發邏輯功能。根據這一想法，劉力鋒希望研發出一種基于阻變現象的非揮發邏輯器件，可以同時實現多值存儲和多值邏輯，“這將極大提高運算效率，還可以簡化電路結構，實現更低的成本”。于是，他利用TiN/Gd：HfOx/Pt阻變器件實現了四進制的加法操作，成功演示了RRAM器件可用于多值非揮發邏輯器件的功能。
再進一步，劉力鋒開展了RRAM阻變器件的神經網絡計算應用研究。仿制生物大腦進行神經形態計算一直是人類追求的熱點問題。他借鑒生物學中的神經網絡的思想，采用并行運算的方法，實現人工神經網絡功能電路。隨著集成電路技術的發展，直接利用電子器件制造硬件神經網絡系統，從而實現神經形態計算功能的設想逐漸進入人們的視線。硬件神經網絡系統可以在與生物大腦類似的體積內，以相似的能量消耗，實現類似人腦的思考和計算。
人工神經網絡的起源范文6
讓機器自我學習
就像每個人在獲得技能前，必須經歷過學習訓練一樣，機器要實現智能化，也只能通過學習。機器學習起源于人工智能的一個分支，在這一領域，計算機科學試圖創造計算機的類人智慧。
真正的機器學習與我們所認為的傳統編程有本質的不同。當提到電腦程序時（或者一個程序里用到的運算法則），我們一般會認為是工程師為電腦下達了一系列指令，告訴他們怎么樣去處理一系列的輸入，然后產生相應的輸出。一個瀏覽器會跟蹤被瀏覽的網頁，然后對于用戶的輸入通過一種確定的可預料的方法進行回應。但這些都是由人類事先編碼好的，而非機器主動學習的結果。
機器學習，就是機器自己編程，這些機器經過培訓，也能像人類一樣進行編程。谷歌公司2015年了一款名為“深夢”的圖片識別應用軟件，這款軟件不僅可以識別圖像，而且可以利用圖像制造一些出人意料的奇幻景象。例如，你呈現一幅風景圖時，軟件會根據你的圖片進行分析，輸出一幅計算機眼中的風景圖。
這是怎么做到的呢？谷歌深夢的運作原理是通過模擬人類的神經元網絡，建立起計算機自己的神經網絡系統，通過神經元獲得物體的信息，從而進行分析。計算機的神經元網絡系統包含了上千個互動的神經元，以實現數學上的精密運算。
當然，為了讓機器能識別物體信息，在過去四年里，研究者們一直用大量圖片訓練電腦神經網絡，例如給“深夢”軟件看許多圖片，并告訴每張圖片中的主體是什么，一旦“深夢”從上百個角度看過上百個狗頭一千次之后，它就能學會自己輸出圖像。
在實驗中，“深夢”產生出了混合著鳥、眼睛和狗頭輪廓的模糊圖像，雖然它們并不那么栩栩如生，但是也揭示了電腦處理圖像時的一種創造性，它已經不用人類監督指導地學會了識別小貓、小狗的臉。
神經網絡的機器構造模仿了人類大腦，也充分發揮了計算機超強的記憶功能，在生活中有更普遍地應用。谷歌的搜索引擎、亞馬遜的推薦目錄、臉書的好友動態和垃圾郵件的過濾，還有軍事、金融、科研、比人類駕車更靠譜的自動駕駛等重要工作，都是神經網絡運作的具體應用。
今天，機器學習已經被成功地應用于更多領域，從檢測信用卡交易欺詐的數據挖掘程序，到獲取用戶閱讀興趣的信息過濾系統，再到能在高速公路上自動行駛的汽車?？梢哉f，我們的智能生活，都是機器學習的結果。
研究機器人學習的算法
機器學習能追溯到上世紀40年代二戰結束前后，得益于戰時交戰雙方的科學精英殫精竭慮，計算機理論在那一時期得到突飛猛進的發展。當時，控制論研究者們設想有一個神經元計算機模型，能夠大致模擬生物神經元，并且可以用一種簡潔和明確的數學形式來表示。
但是，面對一個不確定性和多樣性的世界，人工預先制定的數學形式根本就難以應付?；蛘哒f，人工編程的世界，與現實的人類世界偏差太遠，現實的世界不會那么有秩序和守規則。
例如，計算機預先以數學形式來表達馬有四條腿，但這會產生兩個問題。首先，電腦怎么樣去學會理解這個事實；其次，對于那些因意外而失去了一條腿的馬怎么辦。這些看似是很愚蠢的問題，卻是人工編程時遇到的最大障礙。這就是為什么至今搜索引擎還不能回答問題、僅僅能搜索關鍵詞的原因所在。
但如果機器學習創造了自我編程系統，就可以對于他們自己的錯誤做出反應，并且不斷更新他們的內部狀態。人工編程中的漏洞在之前需要被檢查出來，而機器學習的運算法則能在過程之中不斷糾錯，比人工智能更加靈活、有智慧。
但怎么能讓機器學習呢？這就涉及到算法?？梢哉f，算法是構建互聯網的核心，現在許多網絡搜索和溝通方式，都是基于設定好的數學公式構建起來的，比如谷歌搜索引擎、蘋果語音系統、Facebook。在信息時代，我們的生活實際上是被一些數學公式引導著，在醫學方面，已經有了公式能算出糖尿病和瘧疾。今天，我們也在讓學習公式的機器查看胸透時的X線量。
連接學習、符號推演法、貝葉斯學習、類比學習是4個當代計算機學習范式。其中，連接學習就是模仿人腦神經系統，建立起計算機人工神經網絡；符號推演法就是將問題或知識表示成某種邏輯網絡，采用符號推演的方法來學習；貝葉斯學習理論就是通過概率規則來實現學習和推理過程；類比學習就是通過對相似事物進行比較來學習。這4種學習范式還是過于復雜了，因此，華盛頓大學教授佩德羅?多明戈斯提供了一個更大膽的假設，即在未來，能將現有的算法公式統一成一個萬能算法。
萬能算法下的世界
多明戈斯構思了這樣一個萬能算法，它能將物理學、生物學上已經發現的理論和標準模型或者中心法則統一起來，同時，可以從數據中發現所有的知識，所有的人類現有的知識，也包括所有的未來的知識。例如，萬能算法可以從第谷?布拉赫的太空觀察中，推出牛頓定律，即使它沒有相關的基礎知識。
大腦皮層可能就是這樣一個萬能算法的典型例子。一些神經學家認為在所有領域，大腦皮層只用到了一個相同的公式，就能不斷調整皮層下各級腦部及脊髓的機能，使他們能根據環境不斷學習調整，聽見、看見或者是弄懂周圍世界的意思。
在信息時代，萬能算法也將發揮類似大腦皮層的作用。它能在數據云的基礎上，學習和利用信息，改變現在呆板的計算機被動執行模式，主動改進功能和完善輸出，這將給人類信息生活帶來革命性的轉變。
例如，現在的網絡信息量龐雜，打幾個關鍵字，卻得到了上百萬網頁，常常令人無法抉擇。但有了萬能算法，電腦將變成百科全書，只要問幾個問題，就能很迅速地給出準確答案。
同時，今天的推薦系統也將得到徹底更新?，F在，每個人會遇到許多的推薦信息。基于每個人留下的碎片化的數據，上百萬個推薦系統每天會為你推薦不同的東西：暴風影音從你開始看他們的電影時，就為你推薦電影；亞馬遜根據你買了什么和沒買什么為你推薦書本；新浪會在你注冊時推薦上百個興趣群。但大多數人可能更需要的是一個更聰明的系統，能根據你上網產生的所有的數據和信息，來進行更具針對性的推薦服務。例如，它能在你生活的每個階段推薦相應的東西，不僅是書和電影，還有房子、工作等。為了能達成這樣的效果，首先就需要來自你日常生活所產生的數據，但另一方面，也需要萬能算法，因為面對大量的數據，沒有公式也無法處理這些數據。
