數(shù)據(jù)倉庫,顧安寧,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,1,內(nèi)容,數(shù)據(jù)倉庫一些特點數(shù)據(jù)倉庫的架構OracleRAC架構GreenPlum架構MapReduce的概念架構比較風險評估,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,2,數(shù)據(jù)倉庫的目前的現(xiàn)狀,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,3,軟件架構硬件架構硬軟架構又可以分成封閉式和開放式。封閉式硬件架構代表廠商有teradata，其硬件是專屬的，必須使用特殊的硬件才能運行。開放式硬件架構的代表有oracle，可以運行在各種硬件上，不過開放和封閉之間的界限也逐步的融合。,數(shù)據(jù)倉庫的目前的現(xiàn)狀,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,4,Greenplum在這兩方面取長補短，所提供的該公司的旗艦產(chǎn)品Greenplum數(shù)據(jù)引擎就是特別為支持新型數(shù)據(jù)倉庫和大規(guī)模分析處理而設計開發(fā)的，可以同時支持SQL和MapReduce技術。Greenplum數(shù)據(jù)引擎對有PB量級數(shù)據(jù)的大型公司提供數(shù)據(jù)處理能力?；贕reenplum數(shù)據(jù)引擎的解決方案的核心優(yōu)勢在于可將原來長達數(shù)小時甚至數(shù)天的運算時間縮短為幾分鐘。,數(shù)據(jù)倉庫的軟件架構,數(shù)據(jù)倉庫的軟件架構選擇更加豐富數(shù)據(jù)庫軟件ETL軟件展現(xiàn)軟件數(shù)據(jù)挖掘軟件每一種類型里面都具備非常多的選擇。,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,5,ETL約占整個項目的70%,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,6,ETL，Extraction-Transformation-Loading的縮寫，中文名稱為數(shù)據(jù)抽取、轉換和加載。ETL負責將分布的、異構數(shù)據(jù)源中的數(shù)據(jù)如關系數(shù)據(jù)、平面數(shù)據(jù)文件等抽取到臨時中間層后進行清洗、轉換、集成，最后加載到數(shù)據(jù)倉庫或數(shù)據(jù)集市中，成為聯(lián)機分析處理、數(shù)據(jù)挖掘的基礎。如果說數(shù)據(jù)倉庫的模型設計是一座大廈的設計藍圖，數(shù)據(jù)是磚瓦的話，那么ETL就是建設大廈的過程。在整個項目中最難部分是用戶需求分析和模型設計，而ETL規(guī)則設計和實施則是工作量最大的，約占整個項目的60%80%，,數(shù)據(jù)倉庫的架構設計一些考慮因素,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,7,1.成本。成本永遠是企業(yè)關心的一個核心問題，特別在如今經(jīng)濟寒冬，更是如此。2.效率。能否高效的處理海量的數(shù)據(jù)是一個基礎要素，搞數(shù)據(jù)倉庫的都知道，數(shù)據(jù)量永遠是一個經(jīng)常被拿出來討論的話題。3.線性擴展。能支持線性擴展的系統(tǒng)在計劃支撐多年的系統(tǒng)中特別重要，可以非常方便的做出年度預算。4.協(xié)同工作。解決多人協(xié)同開發(fā)問題。,數(shù)據(jù)倉庫的架構設計一些考慮因素,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,8,5.調度。能否很方便的一目了然的看到整體調度，站在一個非常高的高度來管理各種數(shù)據(jù)流。6.兼容性。能否兼容各種異構數(shù)據(jù)。7.準確的監(jiān)控系統(tǒng)。8.高效的開發(fā)框架。,數(shù)據(jù)倉庫的架構類型,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,9,Oracle數(shù)據(jù)倉庫的架構,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,10,GreenPlum數(shù)據(jù)倉庫的架構,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,11,GreenPlum數(shù)據(jù)倉庫的架構,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,12,MapReduce概念,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,13,MapReduce是一種編程模型(并不是google自己開發(fā)的編程工具)，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（化簡）"，和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下,將自己的程序運行在分布式系統(tǒng)上。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。,MapReduce映射概念,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,14,簡單說來，一個映射函數(shù)就是對一些獨立元素組成的概念上的列表（例如，一個測試成績的列表）的每一個元素進行指定的操作（比如前面的例子里，有人發(fā)現(xiàn)所有學生的成績都被高估了一分，他可以定義一個“減一”的映射函數(shù)，用來修正這個錯誤。）。事實上，每個元素都是被獨立操作的，而原始列表沒有被更改，因為這里創(chuàng)建了一個新的列表來保存新的答案。這就是說，Map操作是可以高度并行的，這對高性能要求的應用以及并行計算領域的需求非常有用。,MapReduce化簡概念,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,15,而化簡操作指的是對一個列表的元素進行適當?shù)暮喜ⅲɡ^續(xù)看前面的例子，如果有人想知道班級的平均分該怎么做？他可以定義一個化簡函數(shù)，通過讓列表中的元素跟自己的相鄰的元素相加的方式把列表減半，如此遞歸運算直到列表只剩下一個元素，然后用這個元素除以人數(shù)，就得到了平均分。）。雖然他不如映射函數(shù)那么并行，但是因為化簡總是有一個簡單的答案，大規(guī)模的運算相對獨立，所以化簡函數(shù)在高度并行環(huán)境下也很有用。,MapReduce的分布和可靠性,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,16,MapReduce通過把對數(shù)據(jù)集的大規(guī)模操作分發(fā)給網(wǎng)絡上的每個節(jié)點實現(xiàn)可靠性；每個節(jié)點會周期性的把完成的工作和狀態(tài)的更新報告回來。如果一個節(jié)點保持沉默超過一個預設的時間間隔，主節(jié)點（類同GoogleFileSystem中的主服務器）記錄下這個節(jié)點狀態(tài)為死亡，并把分配給這個節(jié)點的數(shù)據(jù)發(fā)到別的節(jié)點。每個操作使用命名文件的原子操作以確保不會發(fā)生并行線程間的沖突；當文件被改名的時候，系統(tǒng)可能會把他們復制到任務名以外的另一個名字上去。（避免副作用）。,MapReduce的分布和可靠性,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,17,化簡操作工作方式很類似，但是由于化簡操作在并行能力較差，主節(jié)點會盡量把化簡操作調度在一個節(jié)點上，或者離需要操作的數(shù)據(jù)盡可能近的節(jié)點上了；這個特性可以滿足Google的需求，因為他們有足夠的帶寬，他們的內(nèi)部網(wǎng)絡沒有那么多的機器。,MapReduce的用途,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,18,在Google，MapReduce用在非常廣泛的應用程序中，包括“分布grep，分布排序，web連接圖反轉，每臺機器的詞矢量，web訪問日志分析，反向索引構建，文檔聚類,機器學習，基于統(tǒng)計的機器翻譯.”值得注意的是，MapReduce實現(xiàn)以后，它被用來重新生成Google的整個索引。MapReduce會生成大量的臨時文件，為了提高效率，它利用Google文件系統(tǒng)來管理和訪問這些文件。,數(shù)據(jù)倉庫的架構比較,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,19,硬件物理架構比較,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,20,數(shù)據(jù)倉庫的物理架構，包含硬件物理架構和軟件物理架構。硬件物理架構包含集中式和分布式兩種，在企業(yè)里面都有運用。集中式硬件物理架構偏向于使用非常power的小型機或者大型機，非常高端的海量存儲，管理簡單，在不計投入的情況下性能也能滿足企業(yè)需求。分布式硬件物理架構目前非常流行，特征是采用價格低廉的中低端機器組成計算集群，不同的技術驅動下，在sharednothing的架構下可以采用本機的硬盤，在sharedeverything的架構下偏向使用集中存儲，分布式集群在網(wǎng)絡上的要求比較高，擴展性比較好，配合好的軟件可以達到線性擴展的要求。,軟件物理架構比較,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,21,軟件物理架構主要特征區(qū)別就是行存儲和列存儲。這個也是曾經(jīng)很多廠商津津樂道的地方，根據(jù)需求的不同，2種方式可以靈活采用。大部分DB軟件都是采用行存儲，而列存儲的特征在于高效的單列值壓縮，在選擇列比較少的時候需要io要求很低，速度很快，不過行存儲的DB目前在壓縮效率上也在迅速提升，大部分需求還是選擇行數(shù)據(jù)進行觀察，行存儲也更加便于表的按記錄拆分進行并行化。,OracleRAC和GreenPlum成本比較,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,22,OracleRAC包括軟件成本，維護成本，硬件成本，由于Oracle采用sharedeverything方式，因而除了OracleRAC本身的軟件成本，維護成本外，還有很大一塊存儲成本。而GreenPlum是采用sharednothing方式，可以采用廉價的硬盤存儲方式。軟件成本相對于Oracle來說也便宜很多。因為數(shù)據(jù)倉庫的主要的工作量和維護成本是ETL，而斯凱目前大部分數(shù)據(jù)都放在Oracle數(shù)據(jù)庫中，因而采用OracleRAC方案ETL時間會大大縮小。,OracleRAC和GreenPlum風險評估,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,23,OracleRAC方案是基于成熟的架構，被業(yè)界采用最廣泛的方案，因而風險相對小很多而GreenPlum方案是目前最近的解決方案，國外VideoEgg和Skype等公司采用。09年剛剛進入中國，目前國內(nèi)還沒有公司正式采用，淘寶，阿里巴巴B2B公司在試用。因而遇到的風險相對會大很多,提問與討論,素人考、玄人実行像外行一樣思考，像專家一樣實踐金出武雄,2020/4/27,杭州斯凱網(wǎng)絡科技有限公司,24,