前言：中文期刊網精心挑選了如何學習神經網絡范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
如何學習神經網絡范文1
關鍵詞：智能決策支持系統；人工神經網絡；模糊邏輯系統；模糊神經網絡
中圖分類號：TP183 文獻標識碼：B
文章編號：1004-373X(2008)02-084-03
Design and Realization of Intelligent Prediction Model Based on Fuzzy Neural Network
YAN Hongrui,MA Liju
(The PLA Military Represent Office in No.847 Factory,Xi′an,710043,China )[HJ1*3][HJ]
Abstract：For the predicting problems that the intelligent decision support system often encounters,according to the characters of artificial neural network and fuzzy logic system,a kind of fuzzy neural network model is designed.Firstly,the fuzzy logic system for realizing fuzzy prediction is expressed by the construction of artificial neural network.Then the fuzzy logic system is trained by associate studying algorithms.At last,the model of fuzzy neural network has been proved by practice and realized in program.
Keywords：intelligent decision support system;artificial neural network;fuzzy logic system;fuzzy neural network
智能決策支持系統\[1\]（Intelligent Decision Support System,IDSS）是以管理科學、運籌學、控制論和行為科學為基礎，以計算機技術、仿真技術和信息技術為手段，面對半結構化的決策問題，輔助支持中、高層次策者決策活動的、具有智能作用的計算機網絡系統。神經網絡和模糊邏輯是智能決策支持技術應用于信息管理后迅速發展的智能技術，在決策預測領域頗有成效。本文根據人工神經網絡和模糊邏輯的特點，設計一種模糊神經網絡完成決策支持系統中的信息預測功能，較好地解決了決策支持系統的實用化問題。
1 人工神經網絡與模糊邏輯系統介紹
1.1 人工神經網絡
2 模糊神經網絡模型的設計與實現
2.1 模糊神經網絡模型的選定
由以上介紹可知，在預測領域中，模糊邏輯具有較強的結構性知識表達能力，能較好地表示用語言描述的經驗知識、定性知識，但通常不具備學習能力，只能主觀地選擇隸屬度函數和模糊規則。神經元網絡具有強大的自學習能力和數據直接處理能力，但網絡內部的知識表達方式不清楚，在學習時只能從任意初始條件開始，其學習的結果完全取決于訓練樣本。
本文將神經網絡的學習算法與模糊邏輯理論結合起來，利用正規化模糊神經網絡(NFNN)實現模糊邏輯系統；用模糊規則表示神經網絡，用預先的專家知識以模糊規則的形式初始化，用神經網絡的學習算法訓練模糊系統，然后結合神經計算的特點實現推理過程。
2.2 模糊神經網絡模型的結構
本文采用一個3層的前向網絡(如圖3所示)來構造模糊系統（見圖3）。這樣模糊神經網可以用通用的三層模糊感知器來表示，該模糊感知器定義如下：
(1) U=∪i∈NUi是一個非零的神經元集合，N={1,2,3}是U的索引值集合，對所有的i,j∈N且滿足為輸入層，為規則（隱含）層，為輸出層；И
2.4 模糊神經網絡的編程實現
系統主要通過4個類來描述神經網絡模型。他們是神經元類、神經元權類、神經元層類、神經元網絡類。神經元類的作用是模擬單個神經元的數據結構和計算過程。神經元權值類用于保存神經元之間連接的權值。神經元層類的作用是生成每一層的神經元，并進行每一層的計算，他接受神經元網絡類的調用，并調用神經元類的函數實現每一層的計算。神經元網絡類定義了整個神經網絡結構和所有的網絡操作，他提供公共函數給應用程序調用，他的計算函數調用神經元層類和神經元類的函數進行網絡計算。
通過4個類的描述，將建立和運行神經網絡所需的主要數據結構和計算過程做了定義。當程序運行時，首先由應用程序生成神經網絡類實例，然后此網絡類實例進行層類實例的建立，接下來層類實例建立每層的神經元實例。同時，神經網絡類也從外部文件讀取網絡結構的連接和權值數據，供建立網絡時使用。
3 模糊神經網絡的預測驗證
模糊神經網絡的預測驗證如表1所示。
4 結 語
模糊神經網絡模型把神經網絡的學習算法與模糊邏輯理論相結合，將模糊系統用類似于神經網絡的結果表示，再用相應的學習算法訓練模糊系統，通過樣本的學習算法提高網絡性能。此模型曾經用于某軍事模擬對抗系統中戰場態勢的預測，成功地實現了該模型的預測功能。但是模糊推理機是基于知識庫中的知識和規則進行推理的，如何建立具有專家經驗和知識的知識庫，是模糊神經網絡模型應用中的難點和重點。如何建立實用的知識庫
以及決策過程中存在許多不確定性因素等問題還有待于進一步研究。
參 考 文 獻
［1］George M Marakas.21世紀的決策支持系統[M].朱巖,譯.北京：清華大學出版社,2002.
［2］Martin T Hagan,Howard B Demuth,Mark H.Beale.神經網絡設計\[M\].戴葵,譯.北京：機械工業出版社， 2003.
［3］劉有才.模糊專家系統原理與設計[M].北京：北京航空航天大學出版社，2003.
［4］張乃堯,閻平凡.神經網絡與模糊控制[M].北京：清華大學出版社，1998.
如何學習神經網絡范文2
過去10年，人們對機器學習的興趣激增。幾乎每天，你都可以在各種各樣的計算機科學課程、行業會議、華爾街日報等等看到有關機器學習的討論。在所有關于機器學習的討論中，許多人把機器學習能做的事情和他們希望機器學習做的事情混為一談。從根本上講，機器學習是使用算法從原始數據中提取信息，并在某種類型的模型中表示這些信息。我們使用這個模型來推斷還沒有建模的其他數據。
神經網絡是機器學習的一種模型，它們至少有50年歷史了。神經網絡的基本單元是節點(node)，基本上是受哺乳動物大腦中的生物神經元啟發。神經元之間的連接也以生物的大腦為模型，這些連接隨著時間的推移而發展的方式是為“訓練”。
在20世紀80年代中期和90年代初期，許多重要的架構進步都是在神經網絡進行的。然而，為了得到好的結果需要大量時間和數據，這阻礙了神經網絡的采用，因而人們的興趣也減少了。在21世紀初，計算能力呈指數級增長，計算技術出現了“寒武紀大爆發”。在這個10年的爆炸式的計算增長中，深度學習成為這個領域的重要的競爭者，贏得了許多重要的機器學習競賽。直到2017年，這種興趣也還沒有冷卻下來；今天，我們看到一說機器學習，就不得不提深度學習。
作者本人也注冊了Udacity的“Deep Learning”課程，這門課很好地介紹了深度學習的動機，以及從TensorFlow的復雜和/或大規模的數據集中學習的智能系統的設計。在課程項目中，我使用并開發了用于圖像識別的卷積神經網絡，用于自然語言處理的嵌入式神經網絡，以及使用循環神經網絡/長短期記憶的字符級文本生成。
本文中，作者總結了10個強大的深度學習方法，這是AI工程師可以應用于他們的機器學習問題的。首先，下面這張圖直觀地說明了人工智能、機器學習和深度學習三者之間的關系。
人工智能的領域很廣泛，深度學習是機器學習領域的一個子集，機器學習又是人工智能的一個子領域。將深度學習網絡與“經典的”前饋式多層網絡區分開來的因素如下:
比以前的網絡有更多的神經元更復雜的連接層的方法用于訓練網絡的計算機能力的“寒武紀大爆炸”自動特征提取
這里說的“更多的神經元”時，是指神經元的數量在逐年增加，以表達更復雜的模型。層(layers)也從多層網絡中的每一層都完全連接，到在卷積神經網絡中層之間連接局部的神經元，再到在循環神經網絡中與同一神經元的循環連接(recurrent connections)。
深度學習可以被定義為具有大量參數和層的神經網絡，包括以下四種基本網絡結構：
無監督預訓練網絡卷積神經網絡循環神經網絡遞歸神經網絡
在本文中，主要介紹后三種架構。基本上，卷積神經網絡(CNN)是一個標準的神經網絡，通過共享的權重在空間中擴展。CNN設計用于通過內部的卷積來識別圖像，它可以看到圖像中待識別的物體的邊緣。循環神經網絡(RNN)被設計用于識別序列，例如語音信號或文本。它的內部有循環，這意味著網絡上有短的記憶。遞歸神經網絡更像是一個層級網絡，在這個網絡中，輸入必須以一種樹的方式進行分層處理。下面的10種方法可以應用于所有這些架構。
1.反向傳播
反向傳播(Back-prop)是一種計算函數偏導數(或梯度)的方法，具有函數構成的形式(就像神經網絡中)。當使用基于梯度的方法(梯度下降只是方法之一)解決優化問題時，你需要在每次迭代中計算函數梯度。
對于神經網絡，目標函數具有組合的形式。如何計算梯度呢？有兩種常用的方法：(i)解析微分(Analytic differentiation)。你已經知道函數的形式，只需要用鏈式法則(基本微積分)來計算導數。(ii)利用有限差分進行近似微分。這種方法在計算上很昂貴，因為函數值的數量是O(N)，N指代參數的數量。不過，有限差分通常用于在調試時驗證back-prop實現。
2.隨機梯度下降法
一種直觀理解梯度下降的方法是想象一條河流從山頂流下的路徑。梯度下降的目標正是河流努力達到的目標——即，到達最底端(山腳)。
現在，如果山的地形是這樣的，在到達最終目的地之前，河流不會完全停下來(這是山腳的最低點，那么這就是我們想要的理想情況。)在機器學習中，相當從初始點(山頂)開始，我們找到了解決方案的全局最小(或最佳)解。然而，可能因為地形的性質迫使河流的路徑出現幾個坑，這可能迫使河流陷入困境。在機器學習術語中，這些坑被稱為局部極小值，這是不可取的。有很多方法可以解決這個問題。
因此，梯度下降很容易被困在局部極小值，這取決于地形的性質(用ML的術語來說是函數的性質)。但是，當你有一種特殊的地形時(形狀像一個碗，用ML的術語來說，叫做凸函數)，算法總是保證能找到最優解。凸函數對ML的優化來說總是好事，取決于函數的初始值，你可能會以不同的路徑結束。同樣地，取決于河流的速度(即，梯度下降算法的學習速率或步長)，你可能以不同的方式到達最終目的地。這兩個標準都會影響到你是否陷入坑里(局部極小值)。
3.學習率衰減
根據隨機梯度下降的優化過程調整學習率(learning rate)可以提高性能并減少訓練時間。有時這被稱為學習率退火(learning rate annealing)或自適應學習率(adaptive learning rates)。訓練過程中最簡單，也是最常用的學習率適應是隨著時間的推移而降低學習度。在訓練過程開始時使用較大學習率具有進行大的改變的好處，然后降低學習率，使得后續對權重的訓練更新更小。這具有早期快速學習好權重，后面進行微調的效果。
兩種常用且易于使用的學習率衰減方法如下：
逐步降低學習率。在特定的時間點較大地降低學習率。
4?. Dropout
具有大量參數的深度神經網絡是非常強大的機器學習系統。然而，過擬合在這樣的網絡中是一個嚴重的問題。大型網絡的使用也很緩慢，這使得在測試時將許多不同的大型神經網絡的預測結合起來變得困難。Dropout是解決這個問題的一種方法。
Dropout的關鍵想法是在訓練過程中隨機地從神經網絡中把一些units(以及它們的連接)從神經網絡中刪除。這樣可以防止單元過度適應。在訓練過程中，從一個指數級的不同的“稀疏”網絡中刪除一些樣本。在測試時，通過簡單地使用一個具有較小權重的單一網絡，可以很容易地估計所有這些“變瘦”了的網絡的平均預測效果。這顯著減少了過擬合，相比其他正則化方法有了很大改進。研究表明，在視覺、語音識別、文檔分類和計算生物學等監督學習任務中，神經網絡的表現有所提高，在許多基準數據集上獲得了state-of-the-art的結果。
5. Max Pooling
最大池化(Max pooling)是一個基于樣本的離散化過程。目標是對輸入表示(圖像，隱藏層輸出矩陣等)進行下采樣，降低其維度，并允許對包含在分區域中的特征進行假設。
這在一定程度上是為了通過提供一種抽象的表示形式來幫助過擬合。同時，它通過減少學習的參數數量，并為內部表示提供基本的平移不變性(translation invariance)，從而減少計算成本。最大池化是通過將一個最大過濾器應用于通常不重疊的初始表示的子區域來完成的。
6.批量歸一化
當然，包括深度網絡在內的神經網絡需要仔細調整權重初始化和學習參數。而批量標準化有助于實現這一點。
權重問題：無論權重的初始化如何，是隨機的也好是經驗性的選擇也罷，都距離學習到的權重很遙遠?？紤]一個小批量(mini batch)，在最初時，在所需的特征激活方面將會有許多異常值。
深度神經網絡本身是有缺陷的，初始層中一個微小的擾動，就會導致后面層巨大的變化。在反向傳播過程中，這些現象會導致對梯度的分散，這意味著在學習權重以產生所需輸出之前，梯度必須補償異常值，而這將導致需要額外的時間才能收斂。
批量歸一化將梯度從分散規范化到正常值，并在小批量范圍內向共同目標(通過歸一化)流動。
學習率問題：一般來說，學習率保持較低，只有一小部分的梯度校正權重，原因是異常激活的梯度不應影響學習的激活。通過批量歸一化，減少異常激活，因此可以使用更高的學習率來加速學習過程。
7.長短時記憶
LSTM網絡在以下三個方面與RNN的神經元不同：
能夠決定何時讓輸入進入神經元；能夠決定何時記住上一個時間步中計算的內容；能夠決定何時讓輸出傳遞到下一個時間步長。
LSTM的優點在于它根據當前的輸入本身來決定所有這些。所以，你看下面的圖表：
當前時間標記處的輸入信號x(t)決定所有上述3點。輸入門從點1接收決策，遺忘門從點2接收決策，輸出門在點3接收決策，單獨的輸入能夠完成所有這三個決定。這受到我們的大腦如何工作的啟發，并且可以基于輸入來處理突然的上下文/場景切換。
8. Skip-gram
詞嵌入模型的目標是為每個詞匯項學習一個高維密集表示，其中嵌入向量之間的相似性顯示了相應詞之間的語義或句法相似性。Skip-gram是學習單詞嵌入算法的模型。
Skip-gram模型(以及許多其他的詞語嵌入模型)的主要思想是：如果兩個詞匯項(vocabulary term)共享的上下文相似，那么這兩個詞匯項就相似。
換句話說，假設你有一個句子，比如“貓是哺乳動物”。如果你用“狗”去替換“貓”，這個句子仍然是一個有意義的句子。因此在這個例子中，“狗”和“貓”可以共享相同的上下文(即“是哺乳動物”)。
基于上述假設，你可以考慮一個上下文窗口(context window，一個包含k個連續項的窗口)，然后你跳過其中一個單詞，試著去學習一個能夠得到除跳過項外所有項的神經網絡，并預測跳過的項是什么。如果兩個詞在一個大語料庫中反復共享相似的語境，則這些詞的嵌入向量將具有相近的向量。
9.連續詞袋(Continuous Bag Of Words)
在自然語言處理問題中，我們希望學習將文檔中的每個單詞表示為一個數字向量，使得出現在相似的上下文中的單詞具有彼此接近的向量。在連續的單詞模型中，我們的目標是能夠使用圍繞特定單詞的上下文并預測特定單詞。
我們通過在一個龐大的語料庫中抽取大量的句子來做到這一點，每當我們看到一個單詞時，我們就會提取它周圍的單詞。然后，我們將上下文單詞輸入到一個神經網絡，并預測位于這個上下文中心的單詞。
當我們有成千上萬的這樣的上下文單詞和中心詞以后，我們就有了一個神經網絡數據集的實例。訓練神經網絡，最后編碼的隱藏層輸出表示特定單詞的嵌入。而當我們對大量的句子進行訓練時也能發現，類似語境中的單詞得到的是相似的向量。
10.遷移學習
如何學習神經網絡范文3
關鍵詞：神經網絡；學習評價；數據結構
中圖分類號：G642.0 文獻標志碼：A 文章編號：1674-9324（2014）29-0266-03
一、引言
網絡學習中需要解決的一個重要問題就是學習評價，通過評價用來衡量學生掌握知識的程度，測量所有教學形式和活動的成效，并調整網絡學習課程的設計。傳統的學期末對學生進行筆試和平時情況的綜合考評并不適合網絡學習，對于網絡學習評價，我們可以從平時的在線時間、作業完成量、數據結構實驗的完成情況，在線測試結果，答疑解惑積分；分析這些因素，然后制定等級指標，并賦予不同等級。比如可以采取優秀、良好、中等、及格、不及格五個等級，達到最高標準的為優秀（90～100分），其次為良好（80～90分）、中等（70～80分）、及格（60～70分）、不及格（60以下），再根據相同等級中不同高低的評價語言比較得出較為符合實際的合理準確的分值。要得出各個指標的值，在現今的網絡技術里面并不困難，可以在每個學生登錄系統以后以這些指標作為一個數據項，記錄這些值。因此網絡學習評價問題就是一個根據輸入得出一個分類的問題。根據網絡學習評價指標因素，對各因素進行分析，處理得出學生的評定等級。在上面提的問題中，如何確定各個因素所占的權重是該分類問題里面一個需要考慮的要素，我們不能憑空想象，也不能按照主觀來判定，因為那樣對一部分學生而言是不公平的，比如：如果我們把在線時間作為一個重點考察的因素，假設權重給出0.5，但是有些學生學習效率高，在短的時間來里面能夠完成教師所留的作業，或者達到了相應的學習效果，相對來說在線的時間可以短一些，如果在線時間的權重較大，該學生最后的評價肯定會受到影響。合理確定各指標所占權重并分類是該網絡學習評價系統的主要問題，而神經網絡恰好能解決這兩個問題。因此，本文設計了一個基于神經網絡的《數據結構》網絡課程的學習評價系統。
二、神經網絡
神經網絡（人工神經網絡（Artificial Neural Networks，簡寫為ANNs）是一種模仿動物神經網絡行為特征，進行分布式并行信息處理的算法數學模型。這種網絡依靠系統的復雜程度，通過調整內部大量節點之間相互連接的關系，從而達到處理信息的目的。神經網絡首先要以一定的學習準則進行學習，然后才能工作。訓練時，首先把樣例信息輸入到網絡中，由網絡自第一個隱層開始逐層的進行計算，并向下一層傳遞，直至傳至輸出層，其間每一層神經元只影響下一層神經元的狀態。然后，與其輸出與樣例的期望輸出進行比較，并利用兩者按一定的原則對各層節點連接權值進行調整，使誤差逐步減小，直到滿足要求為止。經過網絡按以上學習方法進行若干次學習后，網絡判斷的正確率將大大提高。當網絡再次遇到其中任何一個模式時，能夠做出迅速、準確的判斷和識別。一般說來，網絡中所含的神經元個數越多，則它能記憶、識別的模式也就越多。后向傳播模型（BP，Back Propagation）是一種按誤差逆傳播算法訓練的多層前饋網絡，是目前應用最廣泛的神經網絡模型之一。其具體模型如下：
BP算法具體過程如下：
①選定p個樣本。②權值初始化（隨機生成）。③依次輸入樣本。④根據作用函數依次計算各層的輸出，一般來說作用函數選取f（x）=■，對于隱藏層yi=f（■
WijXj-θi），其中：Wij連接權值，θi結點閾值。而對于輸出層Ol=f（■Tliyi-θl），其中：Tij連接權值，θi結點閾值。⑤求各層的反傳誤差。對于輸出層，假設輸出結點的期望輸出ti，所有樣本誤差：E=■ek
三、基于BP神經網絡的學習評價系統的設計
針對《數據結構》網絡課程評價系統的特點，以及神經網絡的算法功能，下面對基于神經網絡的學習評價系統的過程流程圖：
1.準備階段，確定學習評價指標。主要考慮學生學習評價的幾個特征量，主要由在線時間、作業評定和數據結構實驗的完成情況，在線測試結果，答疑解惑積分。在線時間可以記錄學生登錄網絡教學系統的時間、次數等統計數據，主要包含上網總時間、在線交流總時間等。作業評定用來顯示教師對學生在網絡教學系統中提交作業的評判和評分。數據結構實驗完成情況，主要根據教師布置的實驗學生的完成情況。在線測試結果是學生對數據結構網絡課程給出的在線測試題目所得分數。答疑解惑積分記錄學生在本課程學習中，參與在線交流討論答疑的次數和時間，同時，還記錄在本課程的討論答疑中，提出問題和回復問題的次數，針對改評價系統的需要，我們可以在設定學生屬性時，增加這些數據項的記錄。
2.數據的獲取，由于在設計數據庫的時候已經考慮了學生的各項評價指標，因此只需在數據庫中讀取即可。
3.數據的處理，是指利用從數據庫中獲取出的學生評價指標，并通過個指標的數據進行0-1處理，作為我們神經網絡的輸入，通過對神經網絡對數據的訓練，得出合理的權值，然后得出評價結果。
4.評價結果，即神經網絡的輸出層。由于網絡學習評價的結果只有一個，因此輸出層就只有一個節點。
四、系統的實現
本系統利用matlab的神經網絡工具箱，對設計的基于神經網絡的系統實現，這里面涉及到參數的訓練，以今年上學期本人所任教的數據結構課程的其中一個班的學生成績50組數據作為訓練集，學生有在線時間、作業完成量和數據結構實驗的完成情況，在線測試結果，答疑解惑積分數據，這個作為神經網絡系統的輸入，經過神經網絡的分類以后得出輸出結果，其結果與學生筆試和平時成績按比例得出的結果比較，如果相差較大則不斷地調整權值，直到符合能接受的誤差為止。具體的操作步驟如下：
1.歸一化處理。為了提高神經網絡的訓練效率，通常要對樣本數據作適當的預處理。首先，利用prestd函數對樣本數據作歸一化處理，使得歸一化后的輸入和目標數據均服從正態分布，即[pn，meanp，stdp，tn，meant，stdt]=prestd（p，t）；然后，利用prepca函數對歸一化后的樣本數據進行主元分析，從而消除樣本數據中的冗余成份，起到數據降維的目的。
2.對訓練樣本、驗證樣本和測試樣本進行劃分。在訓練之前，需要將上面處理后的樣本數據適當劃分為訓練樣本集、驗證樣本集和測試樣本集。在本案中以2012～2013年第二學期學習該門課程一個班的50組學生作為訓練樣本，利用各項網絡學習指標作為樣本輸入數據，根據期末考試的總評成績作為輸出目標，訓練出我們評價系統的各合適權值。以另一個班的50名學生為驗證樣本集，同時對另外90名學生的學習狀況動態跟蹤采集，作為測試樣本集。
3.網絡生成與訓練。選用兩層BP網絡，其中網絡輸入維數為5，輸出維數為1，輸出值即為學生評價的等級。網絡中間層神經元數目預選為4，傳遞函數類型選為tansig函數，輸出層傳遞函數選為線性函數purelin，訓練函數設為trainlm。網絡的生成語句如下：net=newff（minmax（ptr），[51]，{'tansig' 'purelin'}，'trainlm'）；利用train函數對所生成的神經網絡進行訓練。
4.對訓練出來的神經網絡，利用sim函數進行網絡仿真。對訓練出來的神經網絡利用sim函數對2012～2013年第二學期的另外90名學生進行網絡仿真評價，同時，對比該組學生的筆試成績和平時實驗成績的綜合成績，只有7組同學的結果出現偏差，正確率達92.2%。
五、結語
實驗結果表明：基于神經網絡的網絡學習評價系統能較好地評價學生的學習狀況，該系統具有很好的實用性和指導作用，系統設計比較合理，從測試結果看，該模型正確率很高，其性能可滿足網絡學習評價的要求，評價結果較為科學，系統克服傳統評價方法中只能使用線性模型的缺陷，并大大降低了人為因素的影響，能較全面反映學生的學習狀況，經系統得到的評價結果和理論結果，顯示一致性較好，使用起來簡便，可操作性強。
參考文獻：
[1]呂寨平，茹宏麗.網絡教學中情感交互設計缺失因素的調查研究[J].教育理論與實踐，2011，（27）：45-47.
[2]桑慶兵.基于神經網絡的雙語教學評價體系[J].江南大學學報：自然科學版，2010，（03）：26-30.
如何學習神經網絡范文4
關鍵詞：BP神經網絡 牛頓法 盲均衡技術
中圖分類號：U491.113 文獻標識碼：A 文章編號：1007-9416（2016）06-0025-01
Abstract：With the rapid development of computer technology，we have higher. Requirements about the performance and speed of the communication network .Because of its structure is extremely complex， unpredictability and randomness of user access cell switching， the current problem is that broadband technology to meet the needs of users and to ensure the quality of communication service ，at the same time how to make full use of network resources. This paper uses gradient and Newton Combination with BP neural network algorithm， the use of their respective advantages and disadvantages of complementary features， What is the use in blind equalization algorithm to solve the mutual interference between channels.
Key Words：Neural network；Newton method； blind equalization
目前，基于BP神經網絡的盲均衡算法比其他的算法具有更低的誤碼率和信噪比。由于BP神經網絡的訓練時間長且有不確定性，因此不適宜單獨應用于盲均衡技術中。牛頓法通過一種迭代求非線性方程的最優解得來，它在學習后期收斂快且有二階收斂速度的優勢，但牛頓法在網絡學習初始階段對學習初值較為敏感，也不適合單獨應用，因此本文提出一種基于BP神經網絡和牛頓法相結合的算法，利用BP神經網絡算法在網絡學習初級階段函數調整速度快，學習后期，牛頓法的迭代算法復雜度較低，收斂較快，充分發揮兩種算法各自的優點，從而解決信道的非理想特性引起的碼間干擾，從而提高通信的質量。
前饋BP神經網絡由多層非線性處理單元組成，相鄰層之間通過突觸權陣連接起來。由多個選定的發送信號作為一組數據構成原始樣本集.經過剔除重復或沖突的樣本等加工處理，得到最終樣本集。通過前饋BP神經網絡學習獲得網絡的學習模型.從而建立輸入到期望結果輸出的對應關系，人為的對權系數進行學習，使輸出的結果更大程度的趨近預期均衡值，從而很大成都提高信道的使用效率。
前饋BP神經網絡中前一層的輸出作為下一層的輸入，通過對權系數進行學習，從而調整輸出結果。設發送信號X（x），將X（x）作為網絡的輸入，經過信道t，由人給定相應場合下想要輸出的均衡信號為O（y），均衡器的長度為l，隱層的神經元的個數為n個，調節權值為d（x）；
因為后期BP神經網絡的收斂速度會比較慢，通過牛頓法進行相應的優化，可以提高算法的計算效率，當下對的的任務是將BP神經網絡算法作為優化目標函數f，求函數f的極大極小問題，可以轉化為求解函數f的導數f’=0的問題，這樣求可以把優化問題看成方程求解問題（f’=0）。即剩下的算法優化部分即是對牛頓法進行求解。這次為了求解f’=0的根，把f（m）的泰勒展開，展開到2階形式：這個式子是成立的，當且僅當 Δx 無線趨近于0。此時上式等價與：求解：，得出相應迭代公式；牛頓法利用其曲線本身的信息，比梯度下降法更容易收斂（迭代更少次數），從而簡化算法的復雜度。
結論：盲均衡技術在通信發展史上具有舉足輕重的地位，它解決了自適應均衡技術對通信效率的影響，利用所接收到的信號序列對信道進行均衡。隨著通信性能的要求的不斷提高，盲均衡技術越來越受到學者們的關注。而BP神經網絡算法的應用是近年研究的重要技術之一，它具有魯棒性、學習性、非線性逼近等特性，為盲均衡技術的研究提供了嶄新的思路，但由于其本身還未完全被人們所掌握，目前仍存在訓練復雜度較高，時間較長等缺點，BP神經網絡本身仍有一系列問題等待解決。運用其他算法彌補該算法的部分缺點，將會大大改進算法的性能。BP神經網絡前途廣闊，隨著問題的各個擊破，他將滲透到生活中的每個領域，為生活的方方面面帶來便利。
參考文獻
[1]焦李成.神經網絡系統理論[M].西安：西安電子科技大學出版社，1990.
[2]郭業才.自適應盲均衡技術[M].合肥工業大學出版社，2007：1.
[3]馬曉宇，胡建偉.盲均衡技術的研究及發展[J].中國新通信，2009年19期.
如何學習神經網絡范文5
關鍵詞：機器學習；深度學習；推薦算法；遠程教育
深度學習（DeepLearning），也叫階層學習，是機器學習領域研究的分支，它是學習樣本數據的表示層次和內在規律，在學習的過程中獲取某些信息，對于數據的解釋有巨大幫助。比如對文字數據的學習，在網絡上獲取關鍵字，對圖像數據的學習，進行人臉識別等等。
一、深度學習發展概述
深度學習是機器學習領域里一種對數據進行表征學習的方法。一句話總結三者之間的關系就是：“機器學習，實現人工智能的方法；深度學習，實現機器學習的技術。深度學習目前是機器學習和人工智能領域研究的主要方向，為計算機圖形學、計算機視覺等領域帶來了革命性的進步。機器學習最早在1980年被提出，1984年分類與回歸樹出現，直到1986年，Rumelhart等人反向傳播（BackPropaga-tion，BP）算法的提出，解決了感知模型只能處理線性分類的問題，1989年出現的卷積神經網絡（ConvolutionalNeuralNet-works，CNN）也因此得到了一定的發展。在1990年至2012年，機器學習逐漸成熟并施以應用，GeoffreyHinton在2006年設計出了深度信念網絡，解決了反向傳播算法神經網絡中梯度消失的問題，正式提出了深度學習的概念，逐漸走向深度學習飛速發展的時期。隨后，各種具有獨特神經處理單元和復雜層次結構的神經網絡不斷涌現，深度學習技術不斷提高人工智能領域應用方面的極限。
二、深度學習主要模型
1、卷積神經網絡卷積神經網絡（ConvolutionalNeuralNetworks，CNN）是指有著深度結構又包含著卷積計算的前饋神經網絡。卷積物理上理解為系統某一時刻的輸出是有多個輸入共同疊加的結果，就是相當于對一個原圖像的二次轉化，提取特點的過程。卷積神經網絡實際上就是一個不斷提取特征，進行特征選擇，然后進行分類的過程，卷積在CNN里，首先對原始圖像進行特征提取。所以卷積神經網絡能夠得到數據的特征，在模式識別、圖像處理等方面應用廣泛。一個卷積神經網絡主要由三層組成，即卷積層（convolutionlayer）、池化層（poolinglayer）、全連接層（fullyconnectedlayer）。卷積層是卷積神經網絡的核心部分，通過一系列對圖像像素值進行的卷積運算，得到圖像的特征信息，同時不斷地加深節點矩陣的深度，從而獲得圖像的深層特征；池化層的本質是對特征圖像進行采樣，除去冗雜信息，增加運算效率，不改變特征矩陣的深度；全連接將層間所有神經元兩兩連接在一起，對之前兩層的數據進行分類處理。CNN的訓練過程是有監督的，各種參數在訓練的過程中不斷優化，直到得到最好的結果。目前，卷積神經網絡的改進模型也被廣泛研究，如全卷積神經網絡（FullyConvolutionalNeuralNetworks，FCN）和深度卷積神經網絡（DeepConvolutionalNeuralNetworks，DCNN）等等。2、循環神經網絡區別于卷積神經網絡在圖片處理領域的應用，循環神經網絡（RecurrentNeuralNetwork，RNN）主要應用在自然語言處理領域。RNN最大的特點就是神經元的輸出可以繼續作為輸入，再次利用到神經元中循環使用。RNN是以序列的方式對數據進行讀取，這也是RNN最為獨特的特征。RNN的串聯式結構適用于時間序列的數據，可以完好保持數據中的依賴關系。循環神經網絡主要有三層結構，輸入層，隱藏層和輸出層。隱藏層的作用是對輸入層傳遞進來的數據進行一系列的運算，并將結果傳遞給輸出層進行輸出。RNN可用于許多不同的地方。下面是RNN應用最多的領域：1.語言建模和文本生成，給出一個詞語序列，試著預測下一個詞語的可能性。這在翻譯任務中是很有用的，因為最有可能的句子將是可能性最高的單詞組成的句子；2.語音識別；3.生成圖像描述，RNN一個非常廣泛的應用是理解圖像中發生了什么，從而做出合理的描述。這是CNN和RNN相結合的作用。CNN做圖像分割，RNN用分割后的數據重建描述。這種應用雖然基本，但可能性是無窮的；4.視頻標記，可以通過一幀一幀地標記視頻進行視頻搜索。3、深度神經網絡深度神經網絡（deepneuralnetworks，DNN）可以理解為有很多隱藏層的神經網絡。多層神經網絡和深度神經網絡DNN其實也是指的一個東西，DNN有時也叫做多層感知機（Mul-ti-Layerperceptron,MLP）。DNN內部的神經網絡層也是分為三類，輸入層，隱藏層和輸出層，一般來說第一層是輸入層，最后一層是輸出層，而中間的層數都是隱藏層。深度神經網絡（DNN）目前作為許多人工智能應用的基礎，并且在語音識別和圖像識別上有突破性應用。DNN的發展也非常迅猛，被應用到工業自動駕駛汽車、醫療癌癥檢測等領域。在這許多領域中，深度神經網絡技術能夠超越人類的準確率，但同時也存在著計算復雜度高的問題。因此，那些能夠解決深度神經網絡表現準確度或不會增加硬件成本高效處理的同時，又能提升效率和吞吐量的技術是現在人工智能領域能夠廣泛應用DNN技術的關鍵。
三、深度學習在教育領域的影響
1、學生學習方面通過網上學習的實時反饋數據對學生的學習模式進行研究，并修正現有教學模式存在的不足。分析網絡大數據，相對于傳統在線學習本質區別在于捕捉學生學習過程，有針對性，實現學生個性化學習。舉個例子，在學習過程中，可以通過學習平臺對學生學習課程所花費的時間，參與的程度，知識的偏好等等數據加以分析。也可以通過學生學習某門課程的次數，鼠標點擊次數、停留的時間等，來推斷學生學習情況。通過以上或類似數據匯總分析，可以正向引導學生學習，并給予積極的學習評價。這種利用計算機收集分析出來的客觀數據，很好展示了學生學習行為的結果，總結學習規律，而不需要教師多年的教學經驗來判斷。對于教育研究者而言，利用深度學習技術可以更客觀準確地了解學生，使教學工作良好發展更進一步。2、教學方面學習平臺的數據能夠對教學模式的適應度進行預測，通過學生的考試成績和對教師的線上評價等加以分析，能夠預測出某一階段的教學方式發發是否可行，影響如何。通過學生與教師的在線互動，學生測驗時完成的時間與完成的結果，都會產生大量的有效的數據，都可以為教師教學支持服務的更好開展提供幫助，從而避免低效率的教學模式造成教學資源的浪費。
四、成人遠程教育中深度學習技術的可應用性
深度學習方面的應用在眾多領域都取得了成功，比如電商商品推薦、圖像識別、自然語言處理、棋類博弈等等。在遠程教育方面，深度學習的技術還有很大的發揮空間，智能網絡教育的實現是人們的眾望所盼。若要將深度學習技術應用到遠程教育平臺，首先要清楚學生的需求和教學資源如何分配。1、針對學生的學習需求與學習特征進行分析美國斯坦福大學克里斯皮希研究團隊的研究成果顯示，通過對學生知識學習進行時間建模，可以精確預測出學生對知識點的掌握情況，以及學生在下一次學習中的表現。深度學習的應用可以幫助教師推測出學生的學習能力發展水平。通過學生與教學環境的交互行為，分析其學習風格，避免教師用經驗進行推斷而產生的誤差。2、教學資源的利用與分配深度學習技術能夠形成智能的分析結論。計算機實時采集數據集，對學生的學習情況加以分析，使教師對學生的學習狀態、情緒狀態等有更加清晰、準確的了解。有了上面良好的教學模式，教師對學生的學習狀態有了更準確的掌握，對學生的學習結果就有了更科學的教學評價?；谏疃葘W習的人工智能技術，還可以輔助教師實現智能閱卷，通過智能閱卷自動總結出學習中出現的問題，幫助教師減少重復性勞動，減輕教師負擔。作為成人高校，遠程教育是我們的主要教學手段，也是核心教學方式，學校的教學必定是在學生方便學習的同時，以學生的學習效果為重。通過深度學習技術，可以科學地分析出學生的學習效果，對后續教與學給予科學、可靠的數據支撐。我們可以在平臺上為每位同學建立學習模型，根據學生的學習習慣為其定制個性化方案，按他們的興趣進行培養，發揮他們專業的潛能。同時，可以將學生正式在線參加學習和考試的學習行為和非學習時間瀏覽網站的行為結合到一起，更加科學地分析出學生在學習網站上感興趣的地方。采用深度學習算法，根據學生學習行為產生的海量數據推算出學生當前狀態與目標狀態之間的差距，做到精準及時的學習需求反饋。有助于幫助學生明確學習目標，教師確立教學目標，真正做好因材施教?；谏疃葘W習各種智能識別技術，可以為教師的線上教學活動增光添彩，在反饋學生學習狀態的同時，采用多種形式的教學方法吸引學生的注意力，增強教學活動的互動性，達到良好的教學效果。
如何學習神經網絡范文6
【關鍵詞】 遺傳算法 BP神經網絡 結構參數 優化
一、引 言
傳統的濾波器設計需要大量繁瑣計算和曲線查找，在商用電磁仿真軟件出現后，微波濾波器的設計得到了很大的改善，但是在實際操作中對經驗依賴性還是很強。如何快速準確的設計出符合要求的濾波器，是傳統的濾波器設計方法和目前的商用電磁仿真軟件難以有效解決的。針對以上問題，本文將遺傳算法和BP神經網絡結合[1]，在MATLAB環境下實現了對腔體濾波器結構參數的設計。
二、遺傳神經網絡優化
BP神經網絡尤其適用在有大量實驗數據，而數據間的內在關系很難用明確的表達式的非線性系統中，但在實際應用中神經網絡存在學習時間長，容易陷入局部極小點等弊端。因為該算法從本質上來說屬于局部尋優算法，為此利用遺傳算法全局搜索能力強的特點，結合神經網絡的局部尋優能力，可以更好的實現對非線性系統的預測，其基本思想是通過遺傳算法得到更好的網絡初始權重。
2.1算法實現過程
遺傳神經網絡分為BP神經網絡結構確定、遺傳算法優化和BP神經網絡預測3個部分。本文是以三腔體濾波器為例，將濾波器的頻率f和耦合系數c作為輸入向量
其次，使用改進的遺傳算法對網絡初始權重進行優化，將初步得到的權重賦給尚未開始訓練的BP神經網絡。然后，設置訓練參數，開始訓練網絡，將 90組數用于網絡訓練，10組作為測試樣本。最后將預測結果反歸一化，觀察得到的誤差值，其流程圖如圖1所示。
2.2 優化結果
采用上述遺傳神經網絡算法對腔體濾波器的結構參數進行優化，均方誤差為5.0972×10-5， 時間為1.056s；BP網絡的均方誤差為2.8871×10-4，時間為2.103s，可以看出遺傳神經網絡優化值更加精確，速度快。
三、結論
本文針對遺傳算法和神經網絡的優缺點，將遺傳算法與BP神經網絡有機地結合在一起，應用在腔體濾波器結構參數的優化中，優化結果表明此方法可以在較短的時間內達到精度范圍內的優化值，為腔體濾波器的結構參數優化設計提供了一種新方法。
