《畢業(yè)設計（論文）-網絡流量監(jiān)測技術的比較研究.doc》由會員分享，可在線閱讀，更多相關《畢業(yè)設計（論文）-網絡流量監(jiān)測技術的比較研究.doc（42頁珍藏版）》請在裝配圖網上搜索。

1、武漢理工大學畢業(yè)設計（論文）網絡流量監(jiān)測技術的比較研究學院（系）： 專業(yè)班級： 學生姓名： 指導教師： 學位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。除了文中特別加以標注引用的內容外，本論文不包括任何其他個人或集體已經發(fā)表或撰寫的成果作品。本人完全意識到本聲明的法律后果由本人承擔。作者簽名： 年 月 日學位論文版權使用授權書本學位論文作者完全了解學校有關保障、使用學位論文的規(guī)定，同意學校保留并向有關學位論文管理部門或機構送交論文的復印件和電子版，允許論文被查閱和借閱。本人授權省級優(yōu)秀學士論文評選機構將本學位論文的全部或部分內容編入有關數據進行檢索

2、，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。本學位論文屬于1、保密 囗，在 年解密后適用本授權書2、不保密囗。（請在以上相應方框內打“”）作者簽名： 年 月 日導師簽名： 年 月 日武漢理工大學本科生畢業(yè)設計（論文）任務書學生姓名 專業(yè)班級 指導教師 工作單位 設計（論文）題目：網絡流量監(jiān)測技術的比較研究設計（論文）主要內容：1. 網絡流量監(jiān)測技術的發(fā)展概述2. 基于MRTG的網絡流量監(jiān)測3. 基于NTOP的網絡流量監(jiān)測4. 兩種方式的仿真比較。要求完成的主要任務：1. 查閱不少于15篇的相關資料，其中英文文獻不少于三篇，了解網絡流量監(jiān)測的研究現(xiàn)狀，完成開題報告2. 熟悉和掌握S

3、NMP協(xié)議的系統(tǒng)模型及MRTG監(jiān)測方法3. 熟悉和掌握NTOP的安裝和配置并與MRTG進行深入比較4. 完成20000字符的英文文獻翻譯5. 完成不少于12000字的畢業(yè)設計論文，論文中設計圖紙不少于12張必讀參考資料：1 劉芳.網絡流量監(jiān)測與控制.北京郵電大學出版社，20092 程光.互聯(lián)網流測量.東南大學出版社，20083 高彥剛.實用網絡流量分析技術.電子工業(yè)大學，20094 Gregg Schudel.路由器安全策略.人民郵電出版社，20085 王群.計算機網絡管理技術.清華大學出版社，2008指導教師簽名 系主任簽名 院長簽名（章）武漢理工大學本科學生畢業(yè)設計（論文）開題報告1、論文

4、的目的及意義（含國內外的研究現(xiàn)狀分析）論文的目的：隨著寬帶互聯(lián)網在中國的迅速發(fā)展，全國各大電信運營商的網絡規(guī)模都在不斷擴張，網絡結構日漸復雜，網絡業(yè)務日趨豐富，網絡流量高速增長。電信運營商需要通過可靠、有效的網絡業(yè)務流量監(jiān)測系統(tǒng)對其網絡以及網絡所承載的各類業(yè)務進行及時、準確的流量和流向分析，進而挖掘網絡資源潛力，控制網絡互聯(lián)成本，并為網絡規(guī)劃、優(yōu)化調整和業(yè)務發(fā)展提供基礎依據。在分析的基礎上，找到一種更好的網絡流量監(jiān)測系統(tǒng)是本次設計的根本目的。論文的意義：通過對業(yè)務流量數據的監(jiān)測，可以獲取網絡性能特征參數，并由此建立準確的流量模型，能夠指導網絡管理員及時排除問題，改善網絡運行狀況。因而研究網絡流

5、量測量技術具有以下幾個方面意義：（1）網絡體系架構的需要從網絡體系架構來說，網絡流量是一切研究的基礎。所有對網絡的應用和網絡本身的行為特點的研究都可以通過對網絡流量的研究來獲得。網絡的行為特征可以通過其承載的流量的動態(tài)特性來反映，所以有針對性地監(jiān)測網絡中流量的各種參數，就能從中分析和研究網絡的運行特征。通過分析和研究網絡上所運載的流量特性，有可能提供一條有效的探索網絡內部運行機制的途徑。（2）網絡協(xié)議部署的需要根據監(jiān)測的流量分布，可以配置路由器的路由協(xié)議、負載均衡策略、實施流量工程、進行業(yè)務與協(xié)議的科學部署。而流量工程在傳輸業(yè)務時，能夠優(yōu)化資源利用率，提高應用性能。網絡傳輸的流量與網絡路由策略

6、密切相關。流量測量還可以顯示鏈路權重的改變對流量的影響。國內外的研究現(xiàn)狀分析國外在網絡流量測量方面起步較早，自從互聯(lián)網開始興起時就己開始，有許多科研機構、大學、學術團體和企業(yè)組織了網絡測量的研究。近些年來，許多大型研究項目組和研究人員在網絡測量領域己經開發(fā)出了很多測量系統(tǒng)。美國在1992年開始著手Internet特征的研究。其中比較著名的項目包括UC Berkeley的科學家們對Intemet開展的兩次長達三個月的大規(guī)模測量，其改進平臺NIMI已經廣泛設置于許多國家，產生了非常深遠的影響。IEPM (Intemet EndtoEnd Performance Measurement，Inteme

7、t 端到端性能測量)主要來監(jiān)視Intemet上的端到端性能；IPMA(Intemet Performance Measurementand Analysis，Intemet性能測量和分析)主要研究局域網和廣域網環(huán)境中的網絡性能和網絡協(xié)議。國內清華大學提出了大規(guī)?；ヂ?lián)網絡性能監(jiān)控模型LIPM(Large scale Internet Performance Monitor model)，借鑒了ISO(The International Organization for Standardization)的層次結構思想，將整個模型分為數據采集、數據管理、數據分析、數據表示四個層次，融匯了TMN(Te

8、lecommunication Management Network)在對象管理方面的方法，易于實現(xiàn)和維護。西安交通大學提出了互聯(lián)網應用性能測量系NAPM(NetworkApplicationPerformanceMeasurement)，提出了應用探針和區(qū)域探針的分布式體系結構。2、基本內容和技術方案基本內容：（1）理論基礎闡述：結合國內外的情況，闡述研究網絡測量的背景及研究現(xiàn)狀，并說明研究網絡流量測量技術的意義，以及其對社會的作用。（2）基于MRTG的網絡流量監(jiān)測：查詢資料，了解MRTG的基本工作原理和組成，學會如何用perl來編寫MRTG的相關程序，同時下載相應的軟件，完成網絡流量監(jiān)測的

9、設計與仿真。（3）基于NTOP的網絡流量監(jiān)測：查詢資料，了解Ntop的工作原理，運行環(huán)境和部署方式。下載相應的軟件，完成基于NTOP的網絡流量監(jiān)測的設計與仿真。（4）兩種方式的仿真比較：根據仿真圖，從各個方面對這兩種方式進行比較。技術方案：通過查閱與網絡流量監(jiān)測有關的資料，了解MRTG和NTOP的基本工作原理和他們的組成，尤其做好相應的資料整理、外文翻譯等工作。能夠熟練地運用和掌握相關的軟件，利用相關的軟件，設計出基于MRTG和NTOP的網絡流量監(jiān)測系統(tǒng)，并且仿真。同時，根據不同的仿真結果，對這兩種不同的監(jiān)測系統(tǒng)在各個方面進行比較和分析。最后系統(tǒng)梳理論文的寫作思路，明確需要解決的關鍵問題以及可

10、能取得的預期研究成果，擬定論文提綱，完成開題報告；在論文框架確定之后，逐步充實文章內容撰寫初稿，并反復修改最終定稿。3、進度安排周次（時間） 工作內容1 （3.1 3.7） 分組、確定選題、校內搜集資料。23（3.83.21） 整理資料，寫出文獻檢索摘要，并撰寫開題報告。45（3.224.4）下載相關軟件，學習如何利用這些軟件設計與仿真。610（4.55.9） 參考資料，弄清兩種監(jiān)測方式的工作原理，并用軟件設計和仿真。1112（5.105.23） 撰寫論文，提交初稿。13（5.245.30） 論文審查及打印。14（5.316.6）學生提出答辯申請，并作答辯準備；教師審閱論文，并審查答辯資格。1

11、5（6.76.13） 答辯。4、指導教師意見 指導教師簽名： 年 月 日 目 錄摘 要IAbstractII1 緒論11.1 網絡流量測量背景及研究現(xiàn)狀11.2 網絡流量測量的意義32.1 網絡流量分類42.2 流量采集的體系結構52.3 流量采集技術研究62.3.1 基于Sniffer的流量采集62.3.2 基于SNMP的流量采集82.4 幾種流量采集技術的比較83 基于MRTG的網絡流量監(jiān)測103.1 SNMP簡介103.1.1 SNMP的構造103.1.2 SNMP管理模型概述103.1.3 SNMP的工作原理113.1.4 MIB簡介123.2 MRTG簡介123.2.1 MRTG的工

12、作原理及組成123.2.2 MRTG的特點133.3 網絡流量監(jiān)測的設計與實現(xiàn)143.3.1 MRTG的安裝143.3.2 MRTG的配置143.4 網絡流量監(jiān)測圖的分析153.4.1 日流量監(jiān)測圖153.4.2 周流量監(jiān)測圖163.4.3 月流量監(jiān)測圖163.5 本章小結164 基于NTOP的網絡流量監(jiān)測174.1 NTOP系統(tǒng)的設計目標和原則174.1.1 NTOP流量監(jiān)測系統(tǒng)設計主要有以下幾個目標174.1.2 NTOP流量監(jiān)測系統(tǒng)的設計原則174.1.3 NTOP的功能184.1.4 NTOP的布局184.2 NTOP監(jiān)測網絡流量圖194.2.1 查看網絡整體流量194.2.2 查看所

13、有協(xié)議所占流量的詳細情況214.2.3 TCP/UDP協(xié)議所占流量的情況214.2.4 查看主機流量224.3 本章小結225 MRTG與NTOP的比較分析245.1 流量分析要點245.2 MRTG的分析245.2 NTOP的分析255.3 總結256 結束語27參考文獻28致 謝29武漢理工大學畢業(yè)設計（論文）摘 要最近幾年，互聯(lián)網有了飛速的發(fā)展，網絡基礎設備不斷完善，網絡的應用也不斷增加，在日常網絡管理維護的工作中，如何有效的監(jiān)測網絡 而較小的干涉網絡運行，是當前網絡流量監(jiān)測的熱點。本文首先對SNMP網絡管理模型進行了介紹，接著詳細說明流量監(jiān)測體系結構，并利用MRTG和NTOP分別建立了

14、一個采用被動監(jiān)測方式的的流量監(jiān)測系統(tǒng)。該系統(tǒng)可以實時的通過收集網絡上路由器、交換機或者需要被檢測設備上的狀態(tài)數據，并直觀的生成流量向量圖，同時對網絡參數的測量幾乎不會影響到網絡的正常運行。關鍵詞：流量監(jiān)測；SNMP；NTOP；MRTGAbstractIn recent years,domestic Intemet with the rapid development of network infrastructure equipment continued to be refined，networking applicafions will continue to increase，in th

15、e day-to-day network management and maintenance work，how to effeefively monitor network trtlf6c and less interference in the operation 0f the network。network traffic monitoring is hotThe paper begins with a SNMP network management model，and analysis of network Performance management，followed by a de

16、tailed account of the flow monitoring structure，and the establishment of a Passive monitoring mode using the flow monitoring systemsThe system is capable of realtime network muter through the collection，switchboard，or rite state nds to be monitoring equipment and visual data flow vector generationTh

17、e measurements almost the same time the network will not affect the normal operation of the networkKeywords: flow monitoring；SNMP；NTOP；MRTG311 緒論隨著Internet重要性的日益提高和網絡結構的日益復雜，越來越有必要對網絡的整體拓撲結構和網絡行為進行深入的了解、分析，以利于發(fā)現(xiàn)網絡瓶頸，優(yōu)化網絡配置，并進一步發(fā)現(xiàn)網絡中可能存在的潛在危險。為此，需要對大規(guī)模網絡結構進行動態(tài)描述，并根據網絡流量的變化分析網絡的性能，為加強網絡管理、提高網絡利用率、防范大規(guī)

18、模網絡攻擊提供技術平臺。人們在實時計算機系統(tǒng)中的資源管理方面己經做了許多工作，這樣的系統(tǒng)通常包括通過一個或多個計算機網絡和許多實時應用程序連接起來的大量的計算機。這些程序的服務質量對于整個計算機系統(tǒng)的性能而言是至關重要的。為應用程序維持合適的服務質量需要資源管理中間件對計算機資源進行管理，這些計算機資源包括計算資源和網絡資源。其中，計算資源是實現(xiàn)諸如計算機，CPU時間，內存等在內的一些計算機性能的應用程序，這些直接關系到某個應用的服務質量；而網絡資源則提供了個體計算機和其它計算機之間彼此互聯(lián)的方式，比如網絡連接，接口，帶寬等等。1.1 網絡流量測量背景及研究現(xiàn)狀國外在網絡流量測量方面起步較早，

19、自從互聯(lián)網開始興起時就己開始，有許多科研機構、大學、學術團體和企業(yè)組織了網絡測量的研究。自從美國國家科學基金會NSF在二十世紀八十年代中期確立它的網絡計劃以來，高質量的訪問因特網對教學、科研以及日常的生活都起著越來越重要的作用。但這些年來，因特網變得越來越復雜，即使是經驗豐富的網絡工程師對數據傳輸服務的路徑、可靠性和性能等也只能有一個非常模糊的認識。沒有準確的Internet性能方面的數據，以及收集和分析這些數據的有效工具，教育、科研機構，以及其他需要這些性能數據的用戶或組織，就很難對網絡的建立、管理和應用等作出正確決策。為了解決諸如此類的問題，Internet工程任務組IETF(Intern

20、et Engineering Task Force)1專門成立了一個IPPM1(IP Performance Metrics)工作組，專門負責發(fā)展一套用于衡量Internet數據傳輸服務的質量、性能、可靠性等方面的度量標準。同時許多組織、團體、機構或公司紛紛建立了它們的測量項目。近些年來，許多大型研究項目組和研究人員在網絡測量領域己經開發(fā)出了很多測量系統(tǒng)。美國在1992年開始著手Internet特征的研究。其中比較著名的項目包括UC Berkeley的科學家們對Internet開展的兩次長達三個月的大規(guī)模測量，其改進平臺NIMI已經廣泛設置于許多國家，產生了非常深遠的影響2。IEPM(Inte

21、rnet End-to-End Performance Measurement，Internet端到端性能測量)主要來監(jiān)視Intemet上的端到端性能；IPMA(Intemet Performance Measurement and Analysis， Internet性能測量和分析)主要研究局域網和廣域網環(huán)境中的網絡性能和網絡協(xié)議。MOAT of NLANR(Measurement&Operations Analysis Team of National Laboratory for Applied NetworkResearch)：主要研究高性能網絡的行為特征，并開發(fā)了一個網絡測量平臺。測

22、量平臺研究核心主要由兩個項目組成：被動測量分析項目組PMA(Passive Measurement and Analysis Project)和主動測量測量項目組AMP (Active Measurement project)。PMA在測量點被動捕獲數據包，分析數據包頭得到負載信息；AMP項目的目的是為了增強參與站點和用戶對高性能網絡運行情況的理解，幫助網絡用戶和服務提供商分析問題。AMP項目使用的測量工具有ping，traceroute等，測量包括：端到端的RTT，包丟失、拓撲以及吞吐量等性能指標。Surveyor是一個能夠在Internet路徑上測量單向延遲，包丟失和路由信息的測量體系結構

23、；其他項目還包括NLANR，和Skitter(CAIDA)。除美國外，其他國家也展開了對Internet的大規(guī)模測量和研究，如：加拿大的TRIUMF網絡監(jiān)視(主要目的是對國家Internet路徑上的丟包情況和路由特征進行測量)和新西蘭的WAND (Waikato Applied Network Dynamic)WlTS(Waikato Intemet Traffic Storage)(主要目的是創(chuàng)建用于統(tǒng)計分析和創(chuàng)建模擬模型的Intemet流量模型)等。歐洲于1995年也展開了對Internet的測量，其中PPNCG(粒子物理網絡協(xié)作組)是在這方面做得較為成功的一個組織。Internet2 M

24、easurement working Group3：正在開發(fā)一個Internet2的分布測量平臺。該平臺將用來分析端到端的網絡性能，研究QoS性能特征等。并采用NetFlow，MRTG， SNMP等技術提供每天，每周，每月及每年的流量和性能分析報告。國內清華大學提出了大規(guī)模互聯(lián)網絡性能監(jiān)控模型LIPM(Large scale Internet Performance Monitor model)，借鑒了ISO(The International Organization for Standardization)的層次結構思想，將整個模型分為數據采集、數據管理、數據分析、數據表示四個層次，融匯了

25、TMN(Telecommunication Management Network)在對象管理方面的方法，易于實現(xiàn)和維護。西安交通大學 提出了互聯(lián)網應用性能測量系統(tǒng)NAPM(Network Application Performance Measurement)，提出了應用探針和區(qū)域探針的分布式體系結構。隨著網絡性能測試的研究與發(fā)展，許多公司、組織或團體等開發(fā)出大量的網絡性能測試方面的工具，其中應用或電子商務方面的有CompuWare EcoScope Optimal Application Expert，Clevertools WebBoy等；帶寬吞吐量方面的有bing，Clink，Netpe

26、rf, Neaimer，Pathchar，Pchar，Treno，ttcp and nttcp等；延遲方面的有Ping，F(xiàn)ping，Traceping等；連接的利用率方面的有IPTraf,Libpcap等。1.2 網絡流量測量的意義通過對業(yè)務流量數據的監(jiān)測，可以獲取網絡性能特征參數，并由此建立準確的流量模型，能夠指導網絡管理員及時排除問題，改善網絡運行狀況。因而研究網絡流量測量技術具有以下幾個方面意義4：1)網絡體系架構的需要從網絡體系架構來說，網絡流量是一切研究的基礎。所有對網絡的應用和網絡本身的行為特點的研究都可以通過對網絡流量的研究來獲得。網絡的行為特征可以通過其承載的流量的動態(tài)特性來反

27、映，所以有針對性地監(jiān)測網絡中流量的各種參數(如packet interarrival,packet length，packet loss rate,packet delay，etc)，就能從中分析和研究網絡的運行特征。通過分析和研究網絡上所運載的流量特性，有可能提供一條有效的探索網絡內部運行機制的途徑。2）網絡協(xié)議部署的需要根據監(jiān)測的流量分布，可以配置路由器的路由協(xié)議、負載均衡策略、實施流量工程、進行業(yè)務與協(xié)議的科學部署。而流量工程在傳輸業(yè)務時，能夠優(yōu)化資源利用率，提高應用性能。網絡傳輸的流量與網絡路由策略密切相關。流量測量還可以顯示鏈路權重的改變對流量的影響。3)網絡性能監(jiān)控的需要網絡流量反

28、映了網絡(物理鏈路)的運行狀態(tài)，是判別網絡(物理鏈路)運行是否正常的關鍵數據。在網絡中，如果網絡所接收的流量超過其實際運載能力，就會引起網絡性能下降。吞吐量是表征網絡性能的重要標志。然而在實際的網絡中，如果對網絡流量控制得不好或發(fā)生網絡擁塞，將會導致網絡吞吐量下降，網絡性能降低。通過流量測量不僅能反映網絡設備(如路由器、交換機等)工作是否正常，而且能反映出整個網絡運行的資源瓶頸，這樣管理人員就可以根據網絡的運行狀態(tài)及時采取故障補救措旌和進行相關的業(yè)務部署，提高網絡的性能。4）網絡安全的需要隨著Intemet的應用領域和應用規(guī)模的快速增長，通過網絡傳播計算機病毒的種類越來越多，傳播速度更快，感染

29、面積更廣，全球的信息安全受到了普遍而嚴重的威脅。例如網絡蠕蟲病毒，其傳播速度快、傳播面積廣、破壞性強，大量占用路由器和交換機的帶寬，導致網絡阻塞甚至癱瘓。因而對網絡進行流量監(jiān)測分析，可以建立網絡流量基準，通過連接會話數的跟蹤，源目的地址對的分析，TCP流的分析，能夠及時發(fā)現(xiàn)網絡中的異常流量，進行實時告警，保障網絡安全。根據網絡流量在網絡運行各個環(huán)節(jié)中的關鍵地位，對網絡流量進行研究，同時采取一定的方法，科學地測量和分析流量特征成為一項艱巨而有意義的工作。2 網絡流量監(jiān)測技術要真實了解網絡的運行情況，發(fā)現(xiàn)網絡運行中存在的問題，必須對網絡中的流量狀況有一個全面了解。面對復雜多變的規(guī)模龐大的網絡環(huán)境，

30、這就需要一個能夠適應不同場合和快速分析處理數據的流量監(jiān)測系統(tǒng)；而如何采集異構環(huán)境下的網絡流量是系統(tǒng)實現(xiàn)的關鍵所在。下面我們重點討論網絡流量采集技術，并對不同的采集技術各自的優(yōu)缺點分析比較，為設計基于多模式的流量采集技術提供理論依據。2.1 網絡流量分類如今國外很多知名的公司或學校，已經大規(guī)模開展了對網絡流量的分析研究和應用。運用這些技術，運營商可以科學地估算出各種業(yè)務在網絡總流量中所占的比重和在各條鏈路上的分布，能夠科學地預測鏈路流量和業(yè)務流量的變化規(guī)律，從而客觀地評價各類用戶的上網特性。同時可預測當上網用戶增多的情況下對網絡可能造成的影響，用以指導網絡建設，合理規(guī)劃網絡資源分布。以下根據網絡

31、流量包含的信息內容對網絡流量進行分類5，同時對當前技術成熟的流量采集工具進行描述。以期對本文的網絡流量監(jiān)測系統(tǒng)的設計有一個指導性作用。1網絡節(jié)點端口流量網絡節(jié)點端口流量指網絡節(jié)點設備端口流入和流出數據包的信息統(tǒng)計。它包括數據包的個數、字節(jié)數、包大小分布、丟包數等非常多的統(tǒng)計信息。在網絡上，網絡監(jiān)聽效果最好的地方是在網關、路由器、防火墻一類的設備處，通常由網絡管理員來操作。使用最方便的是在一個以太網中的任何一臺上網的主機上，它可以在不同的操作平臺上進行監(jiān)聽。目前有許多能實現(xiàn)監(jiān)聽功能的優(yōu)秀軟件：1)Sniffit：由Lawrence Berkeley實驗室開發(fā)，運行于Solaris、SGI和Lin

32、ux等平臺。可以選擇源、目標地址或地址集合，還可選擇監(jiān)聽的端口、協(xié)議和網絡接口等。2)NetXRay：在Windows9X和WindowsNT上，NetXRay是一個功能強大、使用方便的協(xié)議分析和網絡監(jiān)控工具。它是一個優(yōu)秀的軟件，能監(jiān)控多個網段，并且允許多監(jiān)控實例存在，同時還能捕捉所需要對餓任何類型的報文。使用NetXRay還可以設置許多過濾條件，而且其操作界面也比較漂亮。3)Tcpdump：Tcpdump是網絡管理員的強大監(jiān)聽工具。它是從應用程序中讀入網絡上有關的大量分組信息，與指定準則進行匹配來過濾這些分組信息。但是UNIX平臺上的監(jiān)聽軟件，界面都不是很友好，操作性不強。4)監(jiān)視節(jié)點端口流

33、量的典型工具是Multi Router Traffic Grapher(MRTG)它，是一款監(jiān)測網絡連接上網絡流量加載情況的軟件，它通過生成包含PNG圖形的HTML頁面來呈現(xiàn)出實時的網絡流量狀況。MRTG可以工作在大多數的UNIX和windowsNT平臺上，它是用Perl語言編寫的源代碼。MRTG利用一個完全用Perl語言編寫的極便攜的SNMP實現(xiàn)機制來進行工作，且不用安裝任何額外的SNMP數據包，而且他還能夠讀取最新的SNMPv2 64位計數器。另外，MRTG也能以周期(最近7天、最近5周、最近12個月)為單位來建立一種直觀的流量表達方式，這是因為MRTG可以保留來則路由器的所有數據情況的日

34、志，這個日志能夠自動整理以便其不會因時間的推移而日益臃腫，但它仍可以保存最近兩年的所有流量數據的相關情況。因此，我們能夠監(jiān)測200個甚至更多網絡鏈路的使用情況。另外其他廠商的網管工具也提供監(jiān)視網絡節(jié)點端口流量的功能。如HP公司的orIenView平臺，Agilent平臺的Firehunter等?？梢钥紤]用這些工具的強大分析功能與MRTG結合起來使用。2端到端的IP流量端到端的IP流量指的是在網絡層從一個源地址到一個目的地址的IP包統(tǒng)計信息；通過對其分析，可以了解到網絡中的用戶都訪問了哪些目的網絡，是網絡分析、規(guī)劃、設計和優(yōu)化的重要依據。采集端到端口流量的典型工具包括Sniffe、Netflow

35、和流量探針等，根據其不同特點，它們分別適用于不同范圍的流量采集。3業(yè)務層流量業(yè)務層流量除了包含端到端口流量的信息之外，還包含了第四層(TCP層)的端口信息。顯而易見，它包含了應用服務的種類信息，利用這些信息可以做更詳細的分析。Sniffer，Netflow和流量探針等工具也實現(xiàn)了這個層次的流量信息采集。4完整的用戶業(yè)務數據流量完整的用戶業(yè)務流量對于安全、性能等方面的分析非常有效251。例如，捕獲黑客的來訪數據包可以制止某些犯罪行為或得到重要證據：由于捕獲完整的用戶業(yè)務數據需要超強的硬盤存儲速度和容量，而利用Sniffer和流量探針等實現(xiàn)短時間內數據包的捕獲和跟蹤。Niksun(獵信)都只能公司

36、在這個方面卻有自己獨到之處，其NetDetector產品能提供長時間的完整的用戶業(yè)務流量采集。通過上述對網絡流量分類的了解，可以在本文擬設計的網絡流量監(jiān)測系統(tǒng)中充分全面地考慮系統(tǒng)可擴展性，使得設計的系統(tǒng)能夠適應不同的網絡環(huán)境，采集到不同類別的數據流量，使得系統(tǒng)的可用性大大增強。2.2 流量采集的體系結構流量采集系統(tǒng)一般分為三個模塊6：監(jiān)聽模塊、讀取模塊、控制模塊。流量監(jiān)聽模塊是流量測量體系的核心部分，它通常是要設置在測量點上根據系統(tǒng)相關配置來記錄網絡上的活動。在數據存儲之前，它可以對監(jiān)聽到的數據進行聚類，變形等進一步處理。監(jiān)聽模塊需要計量流量數據的屬性如字節(jié)數、包數，并且根據其他屬性例如源地址

37、，目的地址確定的計量實體進行分類。計量實體可以是主機、子網，甚至是一組子網，它的粒度由監(jiān)聽模塊的配置決定。流量的數據信息存儲在監(jiān)聽模塊的流量表中，流量表是一個流量數據記錄的數組。讀取模塊可以根據網絡的實際狀況，采取任何合適的方式采集數據，例如可以通過下載整張流量表等。讀取模塊允許讀取流量屬性值的一個子集，而不需要讀出所有的流量數據記錄。讀取模塊可以從多個監(jiān)聽模塊中采集數據，而且這些采集之間不需要同步。讀取模塊將數據傳送給分析模塊。控制模塊負責配置監(jiān)聽模塊和控制讀取模塊的流量采集，包括：(1)流的確定，如哪些流量被記錄，它們如何聚類以及采集哪些數據；(2)監(jiān)聽模塊的控制參數，如流量表的大小(3)

38、抽樣率，通常每個包都被監(jiān)測，但是在一些情況下必須抽樣監(jiān)測。讀取模塊在從每個監(jiān)聽模塊讀取采集數據前，需要確定以下幾點：(1)監(jiān)聽模塊的唯一的ID(2)采集的間隔(3)需要采集哪些流量記錄(4)需要采集流量記錄的屬性值(所有屬性，或者僅僅是一部分)強調一點：一旦流量數據被監(jiān)聽模塊采集后，就可以用于分析模塊。但是，分析模塊的細節(jié)不屬于流量測量體系。2.3 流量采集技術研究傳統(tǒng)的方法是使用SNMP(Simple Network Management Protocol，簡單網絡管理協(xié)議)進行流量采集，從開啟了SNMP服務的網絡設備的流量計數器(traffic counters讀取流量信息。較為普遍的用于

39、入侵檢測和協(xié)議分析的包嗅探法(packet sniffer)也被廣泛使用。而NetFlow技術正迅速發(fā)展起來，NetFlow版本9己經作為IETF的標準之一向外發(fā)布。越來越多的廠商都使自己的設備支持NetFlow。而sFlow技術(RFC3176)是一種”統(tǒng)計采樣技術”，可提供完整的第2層到第7層、全網絡范圍內的流量信息。SNMP為基于TCPIP的網絡環(huán)境提供了一種基本的網絡管理工具。協(xié)議的細節(jié)性描述可見RFC 1157。盡管SNMP被廣泛應用于網絡監(jiān)測，但是他仍舊滯后于快速進化的計算機網絡的發(fā)展速度。2.3.1 基于Sniffer的流量采集在Ntop系統(tǒng)實現(xiàn)的平臺Linux一9.03上，Li

40、bpcap是通過Packet Socket實現(xiàn)的。Packet Socket是被設計為用來在設備驅動層(OSILayer2)即數據鏈路層收發(fā)原始數據包，它能讓用戶在物理層上在用戶空間實現(xiàn)協(xié)議模塊。在Linux內核網絡包處理流程中，Packet Socket的實現(xiàn)是處于網卡驅動程序和TCPIP協(xié)議棧處理代碼之間7。Packet Socket是通過如下的形式調用socket函數來獲得的：Socket(PF PACKET，SOCK RAW，htons(ETH-PALL)第一個參數表示建立的是Packet協(xié)議簇，這個協(xié)議簇使應用程序能夠從網卡接收和通過網卡發(fā)送數據，這樣就繞過了傳統(tǒng)的TC協(xié)議棧的處理。

41、第二個參數指出了選擇的協(xié)議簇中使用的socket的類型。對于Packet協(xié)議簇，有兩種類型可以使用：SOCK DGRAM和SOCK RAW。SOCK DGRAM是將處理鏈路層包頭的任務留給了內核，而SOCK RAW可以讓應用程序直接處理鏈路層包頭。最后一個參數表示接受所有協(xié)議的包。Libpcap的過濾功能是對Packet Socket設置過濾選項來獲得的。Packet Socket的包過濾功能在Linux內核中的實現(xiàn)被稱為LPF(Linux Packct Filter)。它在整個Linux網絡包處理流程中所處的位置如下圖1所示：用戶應用程序TCP/IP作用層Socket 接口IP作用層協(xié)議簇操

42、作網卡驅動LPF圖1 Libpcap 網絡包處理流程可以看到LPF所處的位置是協(xié)議簇處理階段，在這里的原因是希望包過濾能盡可能早進行，因為越早將不需要的包丟棄，無謂的開銷也就越少，系統(tǒng)的整體效率也就越高。為了使過濾的實現(xiàn)盡可能的高效靈活，LPF采用的是BPF過濾模型。2.3.2 基于SNMP的流量采集簡單網絡管理協(xié)議SNMP(Simple Network Management Protoc01)，是由互聯(lián)網工程任務組定義的一套網絡管理協(xié)議，它提供了一種遠程管理所有支持SNMP協(xié)議的網絡設備、監(jiān)視網絡狀態(tài)、從網絡設備中收集網絡管理信息的方法SNMP己成為網絡管理信息交換事實上的工業(yè)標準，幾乎所有

43、廠商的產品都兼容SNMP標準例如HPOpenView，SLJN NetManager，CISCO Works 2000以及IBMNetView等。在管理信息庫方面，現(xiàn)在己經定義了幾種通用的標準管理信息庫，這些數據庫中包括了必須在網絡設備中支持的特殊對象，所以這幾種MIB可以支持SNMP。使用最廣泛、最通用的MIB是MIB-II。雖然通過SNMP協(xié)議從路由器的MIB信息庫中獲取口流量數據技術相當成熟并且易于實現(xiàn)，但它存在以下幾點不足：1)流量數據可靠性差，由于路由器是基于口地址進行流量統(tǒng)計，但主機的IP地址很容易被篡改、盜用，這就使得流量數據的可靠性得不到保證。2)基于SNMP協(xié)議安全性差，使得

44、非法用戶可以得到在網絡中傳遞的網管信息，對網絡設備進行非法操作。3)從路由器采集流量數據，會占用路由器的處理時間，流量數據必須定時采集，否則會造成數據丟失，而頻繁地傳送流量數據又會造成網絡的擁塞。2.3.3基于sflow的流量采集sFlow技術獨特之處在于它能夠在整個網絡中，以連續(xù)實時的方式監(jiān)視每一個端口，但不需要鏡像監(jiān)視端口，對整個網絡性能的影響非常小。sFlow的完整實現(xiàn)一般由兩部分構成：sFlow Agent和sFlow Receiver,sFlow Agent一般嵌入網絡設備數據報文，(交換機或路由器)ASIC芯片中，通過一種采樣機制采集網絡中的經過特定的編碼后發(fā)給sFlow Rece

45、iver；sFlow Receiver收到Agent發(fā)來的數據后，經過處理即可對網絡流量和數據進行分析統(tǒng)計。2.4 幾種流量采集技術的比較Sniffer：嗅探法是一種常用的網絡技術8，通過HCTB或者在交換機的鏡像端口設置數據采集點，來捕獲數據報文的，這種方式采集的信息最全面，可以完全復制網絡中的數據報文。但是Sniffer技術的應用也受到了一定的限制，大多數廠商的設備不支持跨VLAN或者跨模塊鏡像數據，因此可能需要在多個網段安裝裝探針，在部署上比較復雜，大型的網絡VLAN數量很多，一般都不可能實現(xiàn)全部VLAN的監(jiān)控。流量很大的網絡中采用端口鏡像對網絡設備的性能也會造成一定的影響，而且對所有數

46、據報文都進行采集在吞吐量很大的網絡中也是難以實現(xiàn)的。SNMP：是一種主動的采集方式，采集程序需要定時取出路由器內存中的IP Accounting記錄，同時清空相應的內存記錄，才能繼續(xù)采集后續(xù)的數據，這對路由器的性能造成較大的影響，取得的數據只包含口層的數據，沒有MAC地址信息，對于偽造源口地址的蠕蟲病毒無能為力。sFlow：采用采樣的方式，通過設置一定的采樣率，進行數據捕獲，對網絡設備的性能影響很小。sFlow agent一般采集數據報文前128個字節(jié)，通過封裝后發(fā)往sFlow receiver，數據報文中包括了完整的源和目標的MAC地址、IP地址、協(xié)議類型、TCPUDP、端口號、應用層協(xié)議，

47、甚至URL信息。3 基于MRTG的網絡流量監(jiān)測3.1 SNMP簡介3.1.1 SNMP的構造一個網絡管理系統(tǒng)一般要包含以下幾個元素9：若干個(可能很多個)需要被管理的網絡設備節(jié)點，如路由器、服務器等設備，每個節(jié)點上都運行著一個稱為設備代理(agent)的應用進程，其實現(xiàn)對被管理設備的各種被管理對象的信息如流量等的搜集和對這些被管對象的訪問的支持；至少一個管理工作站，該管理站運行著管理平臺應用系統(tǒng)，實現(xiàn)為管理員提供對被管設備的可視化的圖形界面，從而使管理員可以方便的進行管理；一個管理協(xié)議，用來定義設備代理和管理工作站之間管理信息傳送的規(guī)程。其中管理協(xié)議的操作是在管理框架下進行的，管理框架定義了和

48、安全相關的認證,授權,訪問控制和加密策略等各種安全防護框架。SNMP一共發(fā)展有3個主版本，分別為SNMPv1 ，SNMPv2和SNMPv3。其中SNMPv2又分為若干個子版本，其中SNMPv2c應用最為廣泛： SNMPv1: 是第一個正式協(xié)議版本，在RFC1155-RFC1158中定義，該版本采用了基于共同體名的安全機制； SNMPv2c: 這個版本被稱為基于共同體名的SNMPv2，使用基于共同體名的安全機制和SNMPv2p做出的協(xié)議操作方面的擴充，由RFC1901-RFC1906定義； SNMPv3: 該協(xié)議版本采用基于用戶的安全機制，其安全機制是在SNMPv2u和SNMPv2*基礎上進行大

49、量的評議以后進行了更新，并且對協(xié)議機的邏輯功能模塊的進行了劃分而保證了良好的可擴充性，由RFC2271-RFC2275所定義。使用SNMP協(xié)議的網絡管理系統(tǒng)管理結構工作一般包括：管理進程通過定時向各個設備的設備代理進程發(fā)送查詢請求消息(以輪詢方式)，來跟蹤各個設備的狀態(tài)；而當設備出現(xiàn)異常事件如設備冷啟動等時，設備代理進程主動向管理進程發(fā)送陷阱消息，匯報出現(xiàn)的異常事件。這些輪詢消息和陷阱消息的發(fā)送和接受規(guī)程及其格式定義都是由SNMP協(xié)議定義的；而被管理設備將其各種管理對象的信息都存放在一個稱為管理信息庫（Management Information Base）庫結構中。3.1.2 SNMP管理模

50、型概述SNMP管理模型具備典型的客戶服務器9（ClientServer）體系結構，有以下幾部分組成：網絡管理站、被管設備、管理信息庫（MIB）、管理協(xié)議。使用SNMP協(xié)議的網絡管理結構工作10一般包括：管理進程通過定時向各個設備的設備代理進程發(fā)送查詢請求消息（以輪詢方式），來跟蹤各個設備的狀態(tài)；而當設備出現(xiàn)異常事件如設備冷啟動等時，設備代理進程主動向管理進程發(fā)送陷阱消息，匯報出現(xiàn)的異常事件。這些輪詢消息和陷阱消息的發(fā)送和接受規(guī)程及其格式定義都是由SNMP協(xié)議定義的；而被管理設備將其各種管理對象的信息都存放在一個稱為管理信息庫(Management Information Base)庫結構中。其

51、中SNMP協(xié)議是運行在UDP協(xié)議之上，它利用的是UDP協(xié)議的161162端口。其中161端口被設備代理監(jiān)聽，等待接受管理者進程發(fā)送的管理信息查詢請求消息；162端口由管理者進程監(jiān)聽等待設備代理進程發(fā)送的異常事件報告陷阱消息，如Trap，如圖2所示為基于SNMP協(xié)議的流量監(jiān)測系統(tǒng)體系結構關系圖。圖2 流量監(jiān)測系統(tǒng)體系結構3.1.3 SNMP的工作原理SNMP定義了五種Manager與Agent之間的通訊形式。分別為：Get-request、Get-next-request、Set-request、Get-response、Trap。前三項都是屬于Manager向Agent發(fā)出的訊息，后兩項則屬于

52、Agent向Manager發(fā)出的訊息。圖3 SNMP中Manager與Agent的通訊形式每個Agent都是一個執(zhí)行程序，負責將該網絡節(jié)點的設定數據以及運作現(xiàn)狀以數據結構的方式儲存，客戶端程序如何表示需要擷取何種信息，以及服務器如何得知應讀取內存中的那個變量以符合要求？答案是SNMP根據一個稱為“管理信息基礎”（Management Information Base, MIB）的伴隨規(guī)格（companion specification）。當Agent收到網管主機所發(fā)出的SNMP get-request、get-next-request、set-request時，便以相對應的MIB數據透過SNM

53、P get-response方式響應。MIB定義了可以從網絡節(jié)點取得的特定信息，MIB變量。下一節(jié)將描述一部份MIB變數。此外，有一種特殊的SNMP命令，稱為trap，可允許Agent在特殊的情況下（如error, shutdown）主動發(fā)訊息給網管主機。3.1.4 MIB簡介MIB是Management Information Base的縮寫，中文名字叫“管理信息庫”，它是網絡管理數據的標準，在這個標準里規(guī)定了網絡代理設備必須保存的數據項目，數據類型，以及允許在每個數據項目中的操作。通過對這些數據項目的存取訪問，就可以得到該網關的所有統(tǒng)計內容。再通過對多個網關統(tǒng)計內容的綜合分析即可實現(xiàn)基本的

54、網絡管理。管理信息庫MIB指明了網絡元素所維持的變量（即能夠被管理進程查詢和設置的信息）。MIB給出了一個網絡中所有可能的被管理對象的集合的數據結構。SNMP的管理信息庫采用和域名系統(tǒng)DNS相似的樹型結構，它的根在最上面，根沒有名字。對象命名樹的頂級對象有三個，即ISO、ITU-T和這兩個組織的聯(lián)合體。在ISO的下面有4個結點，其中的一個（標號3）是被標識的組織。在其下面有一個美國國防部（Department of Defense）的子樹（標號是6），再下面就是Internet（標號是1）。在只討論Internet中的對象時，可只畫出Internet以下的子樹（圖中帶陰影的虛線方框），并在In

55、ternet結點旁邊標注上1.3.6.1即可。 在Internet結點下面的第二個結點是mgmt（管理），標號是2。再下面是管理信息庫，原先的結點名是mib。1991年定義了新的版本MIB-II，故結點名現(xiàn)改為mib-2，其標識為1.3.6.1.2.1，或Internet(1) .2.1。這種標識為對象標識符。 3.2 MRTG簡介3.2.1 MRTG的工作原理及組成MRTG11（多路由器流量圖示器）是一個基于SNMP協(xié)議的監(jiān)控網絡流量和主機資源的開放源代碼的管理工具。它通過SNMP請求得道被監(jiān)控對象的流量信息，將這些流量信息以PNG格式的圖形表示，并將包含這些圖形的HTML文檔通過Web方式

56、顯示給用戶，非常直觀地顯示流量負載。MRTG是用Perl和C編寫的，可以工作在Unix和Windows NT環(huán)境下。MRTG的Perl腳本用以使用SNMP來讀取路由器的流量信息，性能高的C程序則用來記錄負載數據，創(chuàng)建代表被監(jiān)控網絡連接的圖形，這些圖嵌入在Web頁面中。除了獲得每天的詳細信息之外，MRTG還可以創(chuàng)建前7天、前4個星期甚至前12個月沒網絡流量的直觀表示。MRTG主要由四個模塊組成：基礎模塊：包括定義SMI要求的數據結構，并提供相應的方法通過SNMP操作獲取被管理對象信息的SNMP模塊和MRTG支持模塊。日志文件：MRTG是使用的日志文件已ASCII文本形式來記錄測得的流量數據，日志

57、文件由Rate Up模塊進行更新。日志更新和繪圖工具：在該模塊中，MRTG使用C語言程序來完成日志文件的更新和統(tǒng)計圖形的生成，與原來用Perl實現(xiàn)相比，大大提高了效率。配置和網頁組織工具：MRTG提供了相關的配置文件生成工具cfgmaker和網頁組織工具indexmaker，通過運行cfgmaker，利用SNMP協(xié)議讀取被管設備中的對象信息，自動生成該設備的框架配置文件。Index-maker通過讀取配置文件中的Target描述獲得對象信息，并用這些信息組織成該對象的HTML頁。3.2.2 MRTG的特點MRTG是一個功能強大的基于Perl的圖形化界面的流量統(tǒng)計分析工具，MRTG的特色12包括

58、：（1） 可移植性：目前可以運行在大多數Linux系統(tǒng)Unix系統(tǒng)和Windows NT上；（2） 源碼開放：MRTG用Perl編寫，源代碼完全開放；（3） 高可移植性的SNMP支持：實現(xiàn)了不依賴于操作系統(tǒng)的SNMP模塊支持；（4） 支持SNMPv2：MRTG可以讀取SNMPv2的64位的計數器，大大減少了計數器回轉次數；（5） 常量大小的日志文件：MRTG的日志不會變大，因為這里使用了獨特的數據合并算法；（6） 自動配置功能：MRTG自身有配置工具套件，使得配置過程非常簡單；（7） 性能：時間敏感的部分使用C代碼編寫，因此具有很好的性能；（8） PNG格式圖形：直接產生PNG格式的圖形。3.

59、3 網絡流量監(jiān)測的設計與實現(xiàn)MRTG網絡流量監(jiān)視系統(tǒng)由SNMP協(xié)議、Active Perl、MRTG流量采集和Web服務器四部分構成，由于MRTG系統(tǒng)的運行需要系統(tǒng)組件“管理和監(jiān)視工具”，所以在安裝MRTG系統(tǒng)前，請確認操作系統(tǒng)組件“管理和監(jiān)視工具”已經安裝。3.3.1 MRTG的安裝MRTG是用Perl編寫的，它的運行需要Perl的支持，所以在安裝MRTG之前必須下載安裝Perl語言。在安裝MRTG時，我選擇了MRTG-2.16.3。3.3.2 MRTG的配置MRTG的配置13是實現(xiàn)對網絡流量監(jiān)測的關鍵，而MRTG的配置信息都保存在mrtg.cfg文件中，對MRTG的配置實際上就是生成和配置

60、mrtg.cfg文件。進入CMD環(huán)境，依次執(zhí)行以下命令：cdc:mrtgbinperl cfgmaker global “WorkDir: c:inetpubwwwrootmrtg” ifref=nr ifdesc=nr noreversedns public192.168.1.100mrtg.cfg其中192.168.1.100是所檢測網絡的IP地址；public是SNMP Community串，然后“WorkDir：c:inetpubwwwroot”就是輸出html文件存放的路徑，mrtg.cfg就是為這個配置命名的文件。在生成mrtg.cfg文件后，我們要設置它的監(jiān)控周期，每五分鐘更新一

61、次，執(zhí)行以下命令：echorunasDaemon:yesmrtg.cfgechoInterval:5mrtg.cfg使用indexmaker生成監(jiān)控瀏覽文件，運行：perlindexmakermrtg.cfgc:Inetpubwwwrootindex.htm運行mrtg。perlmrtg-logging=mrtg.logmrtg.cfg運行后，應該會顯示DaemonizingMRTG.DoNotclosethiswindow.OrMRTGwilldie這樣MRTG就開始監(jiān)控流量，可是如果你關閉了這個窗口那么監(jiān)控就就隨之停止。打開index.htm就可以看到網絡流量監(jiān)測圖。3.4 網絡流量監(jiān)測圖

62、的分析通過上面的配置及運行流量采集程序會生成大量的流量圖，并且系統(tǒng)會沒五分鐘更新一次流量信息。3.4.1 日流量監(jiān)測圖圖4 每日圖表圖中綠色表示每秒流入量（單位 Bits），藍色表示每秒流出量（單位 Bits）。如上圖所示，分析一天的流量監(jiān)測圖，可得到如下信息：最大流入值：198.6KB/s(1.6%);最大流出值：21.5KB/s（0.2%）；平均流入量：10.3KB/s(0.1%)；平均流出量：7682.0B/s(0.1%)；目前流入量：3785.0B/s（0.0%）；目前流出量：10.8KB/s(0.1%)。從圖中可以看出，上午十點以后流量開始增加，十一點達到最大，之后開始下降，下午18

63、點以后開始增加，并很快穩(wěn)定，到凌晨2點回落，正好反映了一天的實際上網情況。通過這些分析，具體的網絡流量數據反映了網絡的使用情況，對于網絡管理人員掌握網絡的流量、判斷網絡故障具有一定的意義。3.4.2 周流量監(jiān)測圖圖5 每周圖表圖5是總出口周的流量監(jiān)測圖，可以看到該端口一個星期流量的最大值、最小值、平均值，基本上可以得到該端口正常的流量范圍。3.4.3 月流量監(jiān)測圖圖6 每月圖表3.5 本章小結通過上面的分析，可以從日、周、月的流量圖中，得到網絡流量的一般規(guī)律，這對于網絡管理是十分必要的。管理員可以通過這種PNG格式的流量圖來判斷網絡的運行情況，當流量異常時能及時發(fā)現(xiàn)，并采取相應的措施，避免了由于流量異常而影響到網絡的正常運行。4 基于NTOP的網絡流量監(jiān)測NTOP是一款用C語言編寫的開源應用程序，它是持有GNU的公共許可的免費程序，并且被許多全世界從事網絡監(jiān)測工作的公司和個人