前言：尋找寫作靈感？中文期刊網用心挑選的互聯網流量管理系統，希望能為您的閱讀和創作帶來靈感，歡迎大家閱讀并分享。
1概述 隨著互聯網的快速發展，人們不斷在互聯網的數據采集和分析方面進行深入研究和系統開發，以期能向社會提供豐富的統計和決策分析信息，同時提高對互聯網業務的控制和監管。國內外互聯網數據采集分析方法主要分為3類，即采用SNMP協議、RMON協議或NetFlow技術采集數據。但是國內外同類產品在具體應用中都有一定的局限性[1]?？紤]到應用的安全性，更希望能采用具有國內自主知識產權的產品。 本文對數據匯聚分發和采集分析進行了研究，開發了一套集數據匯聚、分發、采集和分析于一體的綜合系統。 2互聯網流量匯聚分發采集分析系統總體框架 本文系統主要用于提供復雜接入環境下多鏈路數據采集、互聯網原始數據分發、綜合數據、綜合流量識別與分析等服務，系統的研制目標包括以下4個方面： (1)多路接入環境下多條大容量鏈路數據進行匯聚，匯聚的接入鏈路包括光纖、電路2類，數據類型包括以太、ATM2種格式。 (2)對多條大容量鏈路數據進行分發，將多路匯聚后的數據向數據輸出端若干組端口實時并行發送。數據分發的目的包括信息安全、國家安全、公共安全等。 (3)實時采集大容量多路原始數據，并生成網絡數據會話流。 (4)基于應用協議進行數據識別及實時統計分析，為其他應用系統提供靈活的數據格式和分析結果。 3系統關鍵技術實現 本文系統的實現主要從數據匯聚分發和數據采集分析兩方面進行關鍵技術研發。 3.1數據匯聚分發 數據匯聚分發的主要功能是在多路接入環境下將多條大容量鏈路的數據進行匯聚和分發。各鏈路數據進行匯聚分發時，系統數據輸入端配置N個輸入端口，數據輸出端可以分不同組別進行分發。按照不同需求，系統輸出可以分為4類： (1)單/雙端口萬兆輸出；(2)N個端口千兆輸出；(3)M個端口千兆輸出(M<N)；(4)N個端口百兆輸出。在研發中，基于H3CS9500系列核心交換機，聯合杭州華三公司進行了二次定制開發，實現了數據的匯聚和分發系統，其關鍵技術包括：(1)利用虛擬管道使不同流量進入不同復制域虛擬管道是利用標簽而衍生出來的，指匯聚分發的報文進入S9500后，S9500采用內部標簽標識，利用標簽技術對相應的報文增加不同的標簽進行標識。對不同的輸入端報文構建了不同的虛擬管道，不同輸入端的報文可以不考慮其帶有沖突的802.1q內容，從而為不同客戶劃定不同的復制域，這些復制域還同時具有防802.1q沖突的能力。 這里只需設置不同客戶接入端口為虛擬管道入口，而各輸出端口為各自的虛擬管道出口。在管道中，通過硬件底層下發訪問控制列表(AccessControlList,ACL)規則，使流量只能從管道的入口進、管道的出口出，因此，不會出現環路風暴問題。 (2)以組播技術實現每個復制域內單播報文的多份復制IP組播報文在路由器、交換機的轉發是一對多的轉發，IP組播報文進入S9500后，直接進入硬件的組播交換引擎，查找組播硬件轉發表，確定下一跳和出接口列表，并完成報文目的和源地址內容的修改，在組播引擎完成組播報文的多份復制后，從各個出接口送出。 3.2數據采集分析 在數據采集分析模塊開發中，聯合上海直真視通公司，實現該模塊的關鍵技術包括： (1)流量捕獲 基于端口識別網絡流量的傳統方法已不適用于識別新型的、復雜互聯網應用類型產生的流量，應用級流量采集與分析應采用數據包深度分析技術識別網絡流量。本文系統采用了高性能網卡加Libpcap軟件的方式捕獲數據包。Libpcap是Unix/Linux平臺下通用的數據包捕獲函數包。捕獲數據包時，Libpcap將網卡設置為混雜模式，在內核空間內復制網絡驅動程序讀取的數據包，再傳遞到用戶空間。Libpcap捕獲數據包需要二次內存復制，限制了其捕獲性能，因此，采用了零拷貝和負荷平衡方法來改進Libpcap[2]。 (2)網絡流生成 網絡流生成是將鏈路上獲取的原始數據包歸并為網絡流形式輸出。網絡流是對一個測量間隔內一些具有相同屬性的數據包集合的抽象描述，可以定義為一個測量間隔內具有相同(源IP地址,目的IP地址,源端口,目的端口,協議類型)五元組的網絡包集合，它是一種單向的、細粒度的流量聚合形式。 網絡流生成過程如下：網絡流生成器在內部維持當前活躍網絡流的記錄緩存結構，當捕獲到新的原始數據包時，網絡流生成器判斷這個數據包是否屬于當前活躍網絡流，如果是，修改網絡流相關信息；如果不是，創建新的網絡流記錄并設置網絡流相關信息。 (3)網絡流應用類型識別 本文系統的應用級流量采集與分析方法首先在網絡流生成的同時，融合多種流量識別算法識別網絡流的應用類型。 目前互聯網上常見的協議和應用主要包括傳統型(HTTP、研制了網絡協議分析和識別系統TAS，其核心為iSIE互聯網會話識別引擎。TAS由采集探針和協議分析引擎兩部分組成，如圖2所示。其中，采集探針負責采集寬帶流量數據并進行預處理，將預處理結果提供給協議分析引擎；協議分析引擎能夠接收一個或者多個探針的預處理數據，并對這些預處理數據進行綜合分析，統計、識別協議類型，將分析結果存入數據庫。 在具體實現時，將流量采集與分析分為多個階段來實現，包括原始流量捕獲、會話流生成、會話流存儲、流量分析和信息呈現。其中的流量分析主要使用網絡流應用類型識別和基于網絡流關聯識別應用類型的方式進行流量識別和實時統計。#p#分頁標題#e# FTP、Telnet、SSH、DNS等)、多媒體/流媒體(SIP、MMS、RTP、Q.931、H.245等)、P2P(thunder、pplive、ppstream等)、游戲和互聯網磁盤等。按照通信模式或會話結構，可以將這些互聯網應用采用的會話結構分為5類，針對上述5種不同會話結構的互聯網應用，本文采用的流量識別和分析算法包括： 1)基于端口識別的方法 基于端口識別的方法適合TypeS-F-2類型的應用，準確度較高。該方法依據流量使用的端口識別應用類型，分3種情況：使用IANA組織分配的公認端口；企業開發的專用協議或應用使用在IANA組織注冊的登記端口；國內開發的流行協議或應用也使用專用端口。 2)基于協議解析的方法 基于協議解析的方法適合TypeM-D-2類型的應用，用于識別一些使用動態端口的網絡應用產生的流量。這類應用的特點是先通過一個公開的固定端口建立一個控制會話，在控制會話中協商出之后的數據會話的動態端口。有些應用則是在協商出數據會話的動態端口之前還有一個二級控制會話的端口協商過程。除了流量和流向外，這些應用往往還關注連接時長、適用的音視頻編解碼算法、音視頻質量等信息，因此，有必要對有效負荷進行解析。首先建立一個描述控制會話端口的表CPT，再通過動態會話流端口解析算法DSPP(DynamicSessionPortParsing)解析協議，算法具體步驟如下：步驟1如果CPT中存在網絡包主端口，且無FIN標志，執行步驟2~步驟5；否則，執行步驟6。 步驟2由分派函數指派相應的協議解析函數，對有效負荷進行協議分析。 步驟3如果協議分析結果正確，則為該應用建立會話流，并且解析出后續動態會話端口；否則，該網絡包視為其他應用，參與其他應用的分析。 步驟4如果所屬應用有二級會話，繼續執行步驟2、步驟3，直至解析出數據會話端口。 步驟5所有屬于二級控制會話和數據會話的網絡包都屬于該應用的這個會話流。步驟6如果收到斷開連接的網絡包或超時后會話流數據包不再到達，則會話流結束。 3)基于特征識別的方法 基于特征識別的方法適于部分TypeM-F-3和TypeM-D-3類型的應用，對機器性能要求高，且對大部分流量無效。該方法使用特征匹配技術發現已知應用和網絡行為，可以將特征匹配技術應用于識別網絡流量的應用類型[3]?；谔卣髯R別方法是檢查一個網絡流前幾個數據包的負載部分，確定是否存在預定義的應用特征碼。 4)網絡流關聯識別的方法 網絡流關聯識別的方法適合TypeM-F-2、TypeM-F-3和TypeM-D-3的應用。在一般的網絡應用分析中，采用傳統基于數據包的模式匹配算法或會話數據流重組算法對網絡行為進行管理[4]。本文提出基于網絡流關聯識別的加權會話流關聯映射分組算法WSFRG(WeightedSessionFlowRelationship-mappingGrouping)，將一些具有時間、空間屬性相似性的網絡流相關聯，將獲取的交互圖與已知網絡應用的會話結構做比較，由此識別應用類型。WSFRG算法將獨立的網絡流按照關聯管理組合成網絡流組，這些組屬于同一種應用：首先按照屬性依賴關系進行分組，稱作屬性依賴分組(PropertyDependencyGrouping,PDG)，將網絡流進行關聯合并，形成PDG組。在此基礎上，按照一定權重將在源、目的地址上存在關聯關系的PDG組進行關聯合并，稱為LDG(LocationDependencyGrouping)，最后形成LDG組。經過上述2個步驟合并后的網絡流組的數目會有所減少，根據這些流組信息進行應用類型分析，對于未知應用類型的流組，包含的信息也可以提供給離線的應用分析作為參考。 4系統實施效果 本文系統經過一段時間的試用后，在應用協議識別和流量采集方面體現了較好的性能，可以識別90%以上流量中的應用協議，同時識別協議的種類超過2000種。經過上海市軟件測評中心的第三方測試，系統與國內外同類型產品相比，具有較高的技術水平，尤其在協議識別、流量控制方面超過同類產品[5]。本文系統應用于上?；ヂ摼W絡交換中心后，明顯節省了交換中心會員單位的重復建設費用、政府相關服務部門的數據采集費用以及互聯網運營商的通信帶寬費用。 5結束語 本文利用虛擬管道、組播、網絡數據采集與協議分析等技術，設計實現了一個面向IP網絡的數據匯聚分發采集分析系統。目前系統已經基本具備推廣使用的基礎，可以應用于政府、運營商、公益服務機構、信息安全等領域的互聯網監管和應急防范。
