交通大數(shù)據(jù)管理與分析,云計算 數(shù)據(jù)獲取、組織存儲、分析挖掘、可視化,研究背景,2,“十二五”規(guī)劃中明確指出，將大力推進(jìn)交通信息建設(shè)，大力發(fā)展智能交通，提升交通運輸?shù)默F(xiàn)代化水平。 “十二五”期間智能交通投入,研究現(xiàn)狀,3,城市智能交通行業(yè)“十二五”期間預(yù)計增速30%。 東部沿海城市的智能交通系統(tǒng)已經(jīng)初具規(guī)模，智能交通系統(tǒng)逐漸向軟件系統(tǒng)升級和信息服務(wù)方向過渡。 中西部地區(qū)是城市化進(jìn)展最快的地方，催生了大批千萬級整體解決方案的出現(xiàn)。 行業(yè)整體成長期，需求增長明顯。,存在問題,4,數(shù)據(jù)存儲能力；數(shù)據(jù)存儲能力的增長遠(yuǎn)遠(yuǎn)趕不上數(shù)據(jù)的增長，設(shè)計最合理的分層存儲架構(gòu)成為關(guān)鍵 數(shù)據(jù)挖掘能力；算法最優(yōu) 時效性；分析處理的時間越來越長，時效性要求越來越高 信息安全；保密、隱私、安全,構(gòu)建智能交通一站式云平臺,5,智能交通大數(shù)據(jù)云平臺整體構(gòu)架,6,技術(shù)實現(xiàn),7,平臺技術(shù)實現(xiàn)思路是：,大數(shù)據(jù)技術(shù)處理和存儲,云計算技術(shù),數(shù)學(xué)模型多維度分析與挖掘,可視化技術(shù),采用大數(shù)據(jù)技術(shù)處理和存儲交通數(shù)據(jù)，結(jié)合大數(shù)據(jù)與云技術(shù)，利用專家數(shù)學(xué)模型對海量交通數(shù)據(jù)進(jìn)行多維護(hù)的分析和挖掘，并通過云發(fā)布服務(wù)，將分析結(jié)果傳達(dá)至各類終端，提高人們對路橋狀態(tài)、交通情況的感知能力，使交通參與者能快速、全面、準(zhǔn)確的完成交通評估和決策，實現(xiàn)交通智能化管理。,基礎(chǔ)服務(wù)層的技術(shù)實現(xiàn),8,該層采用OpenStack建立云平臺，即把存儲于個人計算機、移動電話和其他設(shè)備上的大量信息和處理器資源集中在一起，協(xié)同合作，整合交通數(shù)據(jù)源。,交通時間信息（事件類型、發(fā)生地點、時間） 基礎(chǔ)設(shè)施運行狀態(tài)（路面性能等） 交通運行狀態(tài)（車流量等） 氣象、環(huán)境信息（溫度、噪聲等） 車輛運行狀態(tài)（位置、速度等） 駕駛員、貨物狀態(tài)（事件類型等）,數(shù)據(jù)分析層的技術(shù)實現(xiàn),9,主要采用大數(shù)據(jù)技術(shù)來存儲、分析和挖掘,數(shù)據(jù)采集/獲取,數(shù)據(jù)存儲與管理,數(shù)據(jù)分析與挖掘,數(shù)據(jù)可視化,數(shù)據(jù)存儲NoSQL(非關(guān)系型數(shù)據(jù)庫),10,高并發(fā)性讀寫 對海量數(shù)據(jù)高效率存儲和訪問 對數(shù)據(jù)庫高可擴張性和高可用性,數(shù)據(jù)存儲-HBase技術(shù),11,采用HBase技術(shù)使交通數(shù)據(jù)可存儲在多個數(shù)據(jù)中心，用戶所見的虛擬的單一數(shù)據(jù)中心，每個數(shù)據(jù)中心互為備份。這樣使得平臺具有對海量交通關(guān)系型數(shù)據(jù)和非關(guān)系型數(shù)據(jù)（如交通視頻、音頻、各類應(yīng)用文檔等）的高吞吐能力，實現(xiàn)數(shù)據(jù)的快速存儲。,數(shù)據(jù)分析與挖掘-Hadoop技術(shù),12,Hadoop是一個分布式系統(tǒng)軟件框架，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，發(fā)布分布式程序，充分利用集群的威力快速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System）,簡稱HDFS。,Hadoop軟件堆棧及其組件,13,數(shù)據(jù)分析-MapReduce,14,MapReduce是Google提出的一個軟件架構(gòu)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。它使程序人員在不了解分布式并行編程的情況下，能將自己的程序運行在分布式系統(tǒng)上。MAP=映射，Reduce=規(guī)約或化簡。,數(shù)據(jù)分析-R語言,15,R是用于統(tǒng)計分析、繪圖的語言和操作環(huán)境。R是屬于GUN系統(tǒng)的一個自由、免費、源代碼開放的軟件，它是一個用于統(tǒng)計計算和統(tǒng)計制圖的優(yōu)秀工具。 R語言擅長在Hadoop分布式文件系統(tǒng)中存儲的非結(jié)構(gòu)化數(shù)據(jù)上的分析。 R現(xiàn)在還可以運行在HBase這種非關(guān)系的數(shù)據(jù)庫以及面向列的分布式數(shù)據(jù)存儲之上。,終端發(fā)布層的技術(shù)實現(xiàn),16,采用云計算服務(wù)將路橋狀態(tài)、交通情況等海量數(shù)據(jù)分析后所得的交通狀態(tài)進(jìn)行多終端、多類型的發(fā)布服務(wù)。支持PC、Pad、智能手機（IOS/Android）等各類終端。,可視化技術(shù),17,SPSS：Statistical Product and Service Solutions“統(tǒng)計產(chǎn)品與服務(wù)解決方案”軟件，為IBM公司推出的一系列用于統(tǒng)計學(xué)分析運算、數(shù)據(jù)挖掘、預(yù)測分析和決策支持任務(wù)的軟件產(chǎn)品及相關(guān)服務(wù)的總稱。 Gephi：Gephi是一款開源免費跨平臺基于JVM的復(fù)雜網(wǎng)絡(luò)分析軟件，可用作：探索性數(shù)據(jù)分析，鏈接分析，社交網(wǎng)絡(luò)分析，生物網(wǎng)絡(luò)分析等，是一款信息數(shù)據(jù)可視化利器。 Matlab: MathWorks公司出品的商業(yè)數(shù)序軟件于算法開發(fā)、數(shù)據(jù)可視化、數(shù)據(jù)分析以及數(shù)值計算的高級技術(shù)計算語言和交互式環(huán)境。,可視化技術(shù)展示,18,參考文獻(xiàn),19,20,