前言：中文期刊網精心挑選了卷積神經網絡可視化范文供你參考和學習，希望我們的參考范文能激發你的文章創作靈感，歡迎閱讀。
卷積神經網絡可視化范文1
關鍵詞：Deep Learning；多隱含層感知；DropConnect；算法
中圖分類號：TP181
Deep Learning是機器學習研究的新領域，它掀起了機器學習領域的第二次浪潮，并受到學術界到工業界高度重視。Deep Learning概念根源于人工神經網絡[3]，它由Geoffrey Hinton等在Science上提出。它致力于建立模擬人腦分析學習機制的多層次神經網絡，并通過這種網絡分析解釋數據，如視頻、文本和聲音等。Deep Learning的多隱含層使得它具有優異的特征學習能力，而且學習得到的特征對數據有更本質的刻畫，從而有利于可視化或分類。它的“逐層初始化”（layer-wise pre-training[4]）可以有效克服深度神經網絡在訓練上的難度。本文在對Deep Learning算法分析的基礎上，著重闡述了對Regularization of Neural Networks using DropConnect模型的改進。
1 Deep Learning算法分析
1.1 Deep Learning多隱含層感知架構
Deep Learning算法最優秀特征是多隱含層感知器架構，這種架構通過組合低層特征來形成更加抽象的高層屬性類別或特征，并實現對數據分布式表示。Deep Learning的多隱含層結構是由輸入層、隱層（多層）、輸出層組成的多層網絡（如圖1所示），只有相鄰層神經元之間有連接，同一層以及跨層節點之間相互無連接，每一層可以看作是一個淺層機器學習模型（如logistic regression，Support Vector Machines）。
圖1 含多個隱含層的Deep Learning模型
Deep Learning的多隱含層感知結構模擬的是人腦的大腦皮層工作。人大腦皮層計算也是分多層進行[5]，例如圖像在人腦中是分多個階段處理，首先是進入大腦皮層V1區提取邊緣特征，然后進入大腦皮層V2區抽象成圖像的形狀或者部分，再到更高層，以此類推。高層的特征是由底層組合而成。使用含多隱含層感知器架構網絡主要優勢在于它能以更簡潔的方式表達比淺層網絡大得多的函數關系（如圖2）。通過這種深層非線性網絡結構，Deep Learning可以實現復雜函數的逼近，表征輸入數據的分布式表示，并展現了強大的從少數樣本集中學習數據集本質特征的能力。
圖2 多層次實現復雜函數圖
1.2 Deep Learning訓練過程
（1）首先逐層構建單層神經元，使得每次都是訓練一個單層網絡。
（2）當所有層訓練完后，使用Wake-Sleep算法[6]進行調優。
將除最頂層的其它層間的權重是雙向的。向上的權重用于“認知”，向下的權重用于“生成”。然后使用Wake-Sleep算法調整所有的權重。讓“認知”和“生成”達成一致，也就是保證生成的最頂層表示能夠盡可能正確的復原底層的結點。
1.3 Deep Learning數據處理一般過程
Deep Learning算法通過傳感器等方式獲得數據之后，首先對數據進行預處理。在數據預處理中，標準的第一步是數據歸一化處理，第二步是數據白化處理（如PCA白化和ZCA白化）。其次特征提取和特征選擇。然后將輸出作為下層的輸入，不斷進行特征提取和特征選擇，直到學習到合符要求的最佳特征。在特征提取和特征選擇過程中，常用自動編碼、稀疏編碼、聚類算法、限制波爾茲曼機、卷積神經網絡等算法進行特征提取和特征選擇。然后用反向傳播算法、隨機梯度下降算法、批量梯度下降算法等進行調優處理，再用池化等算法避免特征過度擬合，從而得到最終提取特征。最后將學習到的最終提取特征輸入到分類器（如softmax分類器，logistic回歸分類器）進行識別、推理或預測。
2 基于Regularization of Neural Networks using DropConnect模型改進
2.1 Regularization of Neural Networks using DropConnect模型[2]
該模型的四個基本組成成分是：
（1）特征提取：v=g（x；Wg）。x是輸入層的輸入數據，Wg是特征提取函數的參數，v是輸出的提取特征，特征提取函數g（）。其中g（）為多層卷積神經網絡算法函數，而Wg卷積神經網絡的偏值。
（2）DropConnect層：r=a（u）=a（（M*W）v）如圖3。v是輸出的提取特征，W是完全連接的權重矩陣，M是二進制掩碼矩陣，該矩陣的每個元素隨機的以1-p概率設置為0或以p概率設置為1，a（）是一個非線性激活函數，r是輸出向量。M*W是矩陣對應元素相乘。
（3）Softmax分類器層：o=s（r；Ws）。將r映射到一個k維的輸出矩陣（k是類的個數），Ws是softmax分類函數的參數。
（4）交叉熵損失：A（y，o）=-∑yi（oi），i∈1，2，3…k。y是標簽，o是概率。
圖3 DropConnect示意圖
2.2 模型改進描述和分析
對DropConnect模型的改進主要集中在上面它的四個基本組成成分中的DropConnect層。由于該層以隨機方式讓掩碼矩陣M的每個元素Mij按1-p的概率設置為0，然后讓掩碼矩陣與層間的權重矩陣對應相乘即M*W。相對DropOut模型r=a（（M*（Wv））得到的特征，r=a（（M*W）v）得到的特征是比較好的特征r，同時也提高算法的泛化性。因為Dropconnect模型在權重W和v運算之前，將權重以一定的概率稀疏了，從運行結果看整體算法的錯誤率降低了。但是，由于是隨機的讓Mij按1-p的概率為0，并且這種隨機是不可以預測的，故可能會導致某些重要特征對應的權重被屏蔽掉，最終造成輸出ri的準確性降低。故就此提出了新的設計思想。
改進思想是用單層稀疏編碼層代替DropConnect層，通過稀疏編碼訓練出一組最佳稀疏的特征。具體描述：讓經過多層卷積神經網絡提取到的特征v作為稀疏編碼的輸入，經過稀疏編碼重復訓練迭代，最終得到最佳的稀疏的特征r。因為稀疏編碼算法是一種無監督學習方法，用它可以尋找出一組“超完備”基向量來更高效地表示輸入數據。
總之任何對Deep Learning算法的改進，都是為了提取出最佳特征，并使用優秀的分類算法來分類、預測或推理，最終降低算法的錯誤率。而對于怎樣改進算法，以何種方式降低錯誤率，則沒有具體的限制。并且各種提取特征和特征選擇的算法之間并不是互斥的，它們之間可以有各種形式的嵌套，最終的目標都是提高算法的正確率和效率。
3 結束語
Deep Learning使得語音、圖像和文本等的智能識別和理解取得驚人進展，如Google Brain項目和微軟推同聲傳譯系統。它極大地推動了人工智能和人機交互快速發展。隨著從學術界到工業界的廣泛重視，Deep Learning算法的改進依然在繼續，Deep Learning算法的正確率和效率仍在不斷提高。Deep Learning的發展將加快“大數據+深度模型”時代來臨。
參考文獻：
[1]Hinton G E，Salakhutdinov R R.Reducing the dimensionality of data with neural networks[J].Science，2006（5786）：504-507
[2]湯姆?米切爾.機器學習[M].北京：機械工業出版社，2003：1-280.
[3]吳昌友.神經網絡的研究及應用[D].哈爾濱：東北農業大學，2007.
[4]HINTON G，OSINDERO S，TEH Y. A fast learning algorithm for deep belief nets[J].Neural Computation，2006（07）：1527-1554.
[5]Hubel D H， Wiesel T N. Receptive fields，binocular interaction and functional architecture in the cat's visual cortex[J].The Journal of physiology，1962（01）：106.
[6]Chuang Gao，Bin Chen，Wei Wei.Dynamic detection of wake-sleep transition with reaction time-magnitude[J].Neural Regenerattion Research，2009（07）：552-560.
卷積神經網絡可視化范文2
【摘要】 為了實現人體器官的三維重建，如何準確、有效地提取二維醫學圖像的邊緣成了首要解決的問題。我們提出一種新的圖像邊緣提取方法，該方法先將原始CT圖像二值化，然后利用數學形態運算對二值化圖像進行預處理，最后利用Canny算子提取圖像邊緣。通過腎臟CT圖像邊緣提取結果表明，該方法簡單、高效、性能優越。
【關鍵詞】 CT圖像；邊緣提取；數學形態學；Canny算子
Research on the Edge Extraction of CT ImageZHANG Xiaoping，ZHU Zhisong，WANG Junze
(Nantong Univirsity， Nantong 226019， China)
Abstract：To reconstruct the body organs in 3-D， how to extract the edges from 2-D medical images accurately and effectively has benen the primarily problem. Therefore， a new method of edge extraction was introduced in this paper. The original CT image was binarized firstly and then preprocessed by mathematical morphology operating. Finally， the image edge was extracted by the Canny algorithm. The results of kidney CT image edge extraction show that the method is simple， efficient and superior performance.
Key words：CT image；Edge extraction；Mathematical morphology；Canny algorithm
1 引 言
隨著計算機技術、CT（計算機斷層掃描）、MRI（核磁共振）等醫學影像技術的不斷發展，虛擬現實技術也越來越多地應用到現代醫療領域。利用計算機圖像處理和數據可視化技術，根據醫學影像設備提供的二維斷層圖像，進行人體器官的三維重建已是現代醫學重要發展方向之一。腎臟疾病的外科手術是泌尿外科中的一個重點和難點，因此，根據CT二維圖像重構腎臟及其周圍結構的三維模型，有助于醫生選擇最佳手術路線、減少手術損傷、提高手術成功率［1］。CT二維圖像的邊緣提取作為器官三維重構的第一步，一直受到國內外學者的關注，提出了眾多的邊緣檢測算法，如小波變換法、神經網絡法、模糊技術法等［2］。近幾年，隨著數學形態學理論的不斷完善與發展，數學形態學在圖像邊緣檢測中得到了廣泛的應用［3-5］。本研究正是在數學形態學的基礎上，結合Canny算子，以腎臟為例，進行了CT圖像的邊緣提取。
2 數學形態學在圖像預處理中的運用
數學形態學是一門新興的、以形態為基礎對圖像進行分析的學科。它利用具有一定結構和特征的結構元素對圖像進行匹配，以實現對圖像的分析和識別，在去除噪聲、邊緣檢測等圖像預處理問題中有著明顯的優勢［6］。數學形態學定義了兩種基本變換，即膨脹（Dilation）和腐蝕（Erision）。首先介紹其定義［7］：設F是原始圖像，B是結構元素，膨脹運算定義為：
D(F)=FB=｛(x，y)/Bxy∩F≠Φ｝(1)
即B對F膨脹產生的二值圖像D（F）是由這樣的點（x，y）組成的集合，若圖B的原點位移至（x，y），那么它與F的交集非空。
腐蝕運算定義為：
E(F)=FΘB=｛(x，y)/BxyF｝(2)
即B對F腐蝕產生的二值圖像E（F）是由這樣的點（x，y）組成的集合，若圖B的原點位移至（x，y），那么B將完全包含于F。
由上述兩種基本運算可以復合得到開啟、閉合變換。
開啟是對圖像先腐蝕后膨脹的過程，F用B來開啟，其數學表達式可記為：
F·B=(FΘB)B(3)
閉合是對圖像先膨脹后腐蝕的過程，F用B來閉合，其數學表達式可記為：
F·B=(FB)ΘB(4)
上述4種運算中，膨脹可以填充圖像中的小孔及圖像邊緣上小的凹陷部分；腐蝕可以消除圖像中細小的成分；開啟則具有消除細小物體、在纖細處分離物體和平滑較大物體邊界的作用；閉合則具有填充物體內細小孔洞、連接臨近物體和平滑邊界的作用。
利用數學形態學進行圖像預處理時，選擇簡單、表現力強的結構元素是關鍵，是形態變換中最重要的參數；其次，還要綜合考慮目標體的清晰度和噪聲的大小來選取結構元素的大?。?］。一般目標體輪廓不清晰時，選擇較小的結構元素；噪聲顆粒較大時，選擇較大的結構元素。
3 Canny算子的邊緣檢測原理
經過數學形態變換之后，圖像的邊緣將變得清晰、突出，此時，圖像的邊界信息可以被方便地提取出來。傳統的算法有Sobel、 Prowitt 、Robert、Canny算子等［9］。在眾多的算子中，Canny算子因其具有高信噪比、高定位精度及單邊緣響應等優良性能［10］，在許多圖像處理領域得到應用。本研究也正是采用該算法提取腎臟CT圖像邊緣。
Canny算子的基本思想是采用二維高斯函數的任意方向上的一階方向導數為噪聲濾波器，通過與圖像卷積進行濾波，然后對濾波后的圖像尋找局部梯度最大值，以此來確定圖像邊緣［11］。其數學描述如下：
3.1 用高斯濾波器平滑圖像
二維高斯濾波函數為：
G(x，y)=12πσ2exp(-x2+y2〖〗2σ2)(5)
在某一方向n上G(x， y)的一階導數為:
Gn=Gn=nG(6)
式6中n是方向矢量，n=cosθ
sinθ，
G是梯度矢量，G=Gx
Gy。
將圖像{F｜f(x，y)}與Gn 作卷積，改變n的方向，Gn×f(x，y)取得最大值時的n，就是正交于檢測邊緣的方向。
3.2 梯度的幅值和方向計算
用一階偏導的有限差分來計算梯度的幅值和方向。
Ex=Gx×f(x，y) Ey=Gy×f(x，y)
A(x，y)=Ex2+Ey2 Φ=Arctan(ExEy)(7)
A(x，y)反映了圖像(x，y)點處的邊緣強度，Φ是圖像(x，y)點處的法向矢量。
3.3 對梯度幅值進行非極大值抑制
為確定圖像邊緣，必須保留局部梯度最大的點，而抑制非極大值。若圖像F上（x，y）點處的梯度幅值A(x，y)小于沿著梯度線方向上的相鄰像素點的邊緣強度，則認為該點為非邊緣點，將A(x，y)置為0。
3.4 用雙閾值法檢測和連接邊緣
設定兩個閾值t1和t2（t2＞t1）。凡邊緣強度>t2者，則一定是邊緣點；凡邊緣強度t2的點，若有，則補為邊緣點，若沒有，則不是邊緣點。用t1、t2兩個閾值對非極大值抑制圖像進行雙閾值化，可得兩個檢測結果，分別記為T1和T2。圖像T2閾值較高，所以噪聲較少，但會造成邊緣信息的損失；圖像T1閾值較低，則保留了較多信息。于是以圖像T2為基礎，以圖像T1為補充，連接圖像的邊緣。
由此可見，Canny算子是既能去除噪聲又能保留邊緣特性的邊緣檢測一階微分算法的最佳方法。
4 應用實例
本研究在Matlab6.5軟件平臺上，以某醫院一患者的腎臟CT斷層圖像為例，提取了其中右腎的邊緣輪廓，具體實施步驟如下：
4.1 圖像二值化
CT圖像是灰度圖像，為了更好的形態運算和邊緣檢測，首先進行二值化處理，即把灰度圖像轉變成由0、1 組成的矩陣所表示的圖像。圖1為原始CT圖像，圖2是二值化圖像。在本次實驗中，二值化閾值為0.8。實驗過程中發現，該方法簡單、高效，且丟失的信息也很少。
4.2 數學形態學處理
由圖2可見，圖像存在著一些空腔、毛刺、邊緣凹陷等現象，要進行邊緣檢測，還需經過進一步處理，通過本研究介紹的數學形態運算即可完成。
所求邊緣是腎臟外圍輪廓，首先需要填充圖像中的空腔和邊緣凹陷。對此，可采用imclose函數進行閉合運算，即進行先膨脹后腐蝕，其中結構元素為5×5圓形結構元素，結果見圖3。由圖3可見，經過閉合運算后，圖像中還存在一些小短枝和孤立斑點，這些也必須剔除，否則，將影響邊緣提取效果。對此，可采用imopen函數進行開啟變換實現，即先腐蝕后膨脹。針對小短枝和孤立斑點，無法用同一種結構元素去剔除，所以必須分兩步：首先選用3×3矩形結構元素執行開啟變換，去除小短枝像素，結果見圖4；然后用3×3菱形結構元素再次執行開啟變換，去除孤立斑點，結果見圖5。
4.3 Canny算子提取邊緣
經過上述處理，腎臟圖像邊緣已經逐漸清晰、突出，此時利用Canny算子即可提取其邊界信息，如圖6所示，本次實驗中，邊緣強度閾值t1為0.0063，t2為0.0156 。圖6基本無失真地描述了邊界信息。提取圖6中各邊界點的坐標，即可獲得重構的邊界圖形，見圖7。對腎臟各層CT圖像進行上述運算后，經過插值處理，即可進行該器官的三維重構。
5 結束語
本研究從實用性的角度出發，闡述了利用數學形態學和Canny算子進行腎臟CT斷層圖像邊緣提取的方法和步驟。實驗證明該方法簡單、快速、精度高、適用性強，為醫學圖像的三維重建和虛擬手術技術的研究奠定了良好的基礎。
參考文獻
［1］王洛夫， 張紹祥，江軍，等．腎臟及其周圍結構的三維可視化研究［J］.第三軍醫大學學報，2004，26 ( 6 ): 537-539.
［2］張小琳．圖像邊緣檢測技術綜述［J］.高能量密度物理，2007，(1):37-40.
［3］Bai X Z， Zhou F． Edge detection based on mathematicalmorphology and iterative thresholding［A］.International conference on computational intelligence and Security［C］. NY: IEEE， 2006.1849-1852.
［4］Serra J． Image analysis and mathematical morphology［M］.New York： Academic Press，1982.
［5］Huang C-P，Wang R-Z．An intergrated edge detection method using mathematical morphology［J］.Pattern Recgnition and Image Analysis，2006，16(3):406-412.
［6］陳虎，王守尊，周朝輝．基于數學形態學的圖像邊緣檢測方法研究［J］.工程圖學學報，2004，(2):112-115.
［7］崔屹．圖像處理與分析-數學形態學方法及應用 ［M］．北京：科學出版社，2000.
［8］Li Z H，Yang Y P，Jiang W．Multi-scale morphologictracking approach for edge detection［A］.The 4th International conference on image and graphics［C］. NY: IEEE，2007.358-362.
［9］馬艷， 張治輝．幾種邊緣檢測算子的比較［J］.工礦自動化，2004(2): 54-56.
