2017/10/26,1,ODS規(guī)范培訓-技術分冊與ODS應用,中國電信股份有限公司廣州研究院廣東省電信有限公司研究院10/26/2017,2017/10/26,2,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,3,系統(tǒng)技術架構(gòu),使用者,其他應用,HTML,Web服務,業(yè)務組件,數(shù)據(jù)訪問,用戶界面,界面組件,ETL/EAI組件,生產(chǎn)系統(tǒng)數(shù)據(jù),界面生成框架,規(guī)則配置,數(shù)據(jù)服務組件,數(shù)據(jù)處理組件,匯總層,匯總數(shù)據(jù)區(qū)域,數(shù)據(jù)整合,數(shù)據(jù)存儲,數(shù)據(jù)共享,數(shù)據(jù)應用,外部訪問,數(shù)據(jù)源,ODS系統(tǒng),REPORT,2017/10/26,4,系統(tǒng)技術特點,批量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存,三范式模型、星型模型、寬表模型并存,細粒度數(shù)據(jù)和匯總數(shù)據(jù)并存,事務型查詢和分析型查詢的并存,數(shù)據(jù)保存周期介于生產(chǎn)系統(tǒng)和EDW之間,ODS系統(tǒng)不同于事務處理為主的生產(chǎn)系統(tǒng)，也不同于統(tǒng)計分析為主的數(shù)據(jù)倉庫系統(tǒng)。系統(tǒng)需要支撐跨域數(shù)據(jù)查詢,數(shù)據(jù)共享等功能，還需要支撐生產(chǎn)系統(tǒng)對一定周期內(nèi)運營數(shù)據(jù)數(shù)據(jù)的統(tǒng)計監(jiān)控等功能,2017/10/26,5,系統(tǒng)總體技術要求,網(wǎng)絡與硬件方面采用安全可靠的高速磁盤陣列設備，支持多機高可用群集系統(tǒng)，磁盤陣列與主機系統(tǒng)采用SAN方式連接；采用高速可靠的網(wǎng)絡設備，提供高速的I/O能力；主機支持多機群集或海量并行處理技術，支持分區(qū)技術；主機采用高可用性(HA)和負載均衡的方式，防止單點故障，提高系統(tǒng)可用性和系統(tǒng)資源的使用率。,軟件方面選擇對OLTP和OLAP應用都具備穩(wěn)定處理性能的數(shù)據(jù)庫引擎；選擇能對數(shù)據(jù)整合過程進行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術；選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具；選擇為業(yè)務處理、技術實現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導航功能的元數(shù)據(jù)管理工具，； 采用能對系統(tǒng)內(nèi)的軟硬件節(jié)點進行監(jiān)控和自動預警的系統(tǒng)監(jiān)控軟件；制定完善的備份與恢復策略，采用成熟的備份軟硬件，提供快速備份與恢復功能；為了滿足數(shù)據(jù)的高速加載，系統(tǒng)需進行相關優(yōu)化操作，優(yōu)化數(shù)據(jù)抽取調(diào)度策略，避免CPU、Memory、IO等資源的爭搶，設計良好的數(shù)據(jù)文件/表空間/數(shù)據(jù)表存儲規(guī)劃，保證數(shù)據(jù)在磁盤的優(yōu)化分布。,2017/10/26,6,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,7,數(shù)據(jù)加載,系統(tǒng)技術要求數(shù)據(jù)整合,數(shù)據(jù)整合技術要求,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,數(shù)據(jù)抽取接口設計應充分考慮ODS系統(tǒng)接口的開放性、可擴展性；接口數(shù)據(jù)傳輸控制策略應可靠且完善；具有可靠的接口數(shù)據(jù)出錯處理機制；支持不同的數(shù)據(jù)源系統(tǒng)平臺。支持對多種不同系統(tǒng)平臺和數(shù)據(jù)類型的源系統(tǒng)數(shù)據(jù)抽取與轉(zhuǎn)換。包括各種關系型、層次型、文件型數(shù)據(jù)庫系統(tǒng)及各種文件格式等源數(shù)據(jù)；數(shù)據(jù)抽取盡量減少對源系統(tǒng)的性能影響；支持多種數(shù)據(jù)裝載方式；數(shù)據(jù)抽取接口應支持實時、準實時數(shù)據(jù)抽取，例如接口表、FTP、中間件、WEB-SERVICE等；ETL工具支持二次開發(fā)，并通過對內(nèi)嵌腳本語言、存儲過程、插件及外部程序來處理復雜的處理，提供調(diào)試、跟蹤功能；ETL過程支持多個數(shù)據(jù)庫連接，數(shù)據(jù)轉(zhuǎn)換與加載處理過程應支持并行處理；對于用戶資料、客戶資料等核心數(shù)據(jù)加載要求逐步實現(xiàn)實時更新，最終目標控制在秒級；對于除了核心數(shù)據(jù)以外的ODS日批量數(shù)據(jù)抽取加載應在3小時內(nèi)完成；對于帳單等月批量數(shù)據(jù)抽取加載應控制在5小時內(nèi)完成；對于加載到系統(tǒng)的日數(shù)據(jù)以及月數(shù)據(jù)要及時整合匯總，應控制在4小時內(nèi)完成；數(shù)據(jù)轉(zhuǎn)換處理過程支持各種字符集的轉(zhuǎn)換。,數(shù)據(jù)整合過程,2017/10/26,8,數(shù)據(jù)加載,系統(tǒng)技術建議數(shù)據(jù)整合,數(shù)據(jù)整合技術建議,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,實時抽取接口建議采用自行開發(fā)的WEB-SERVICE接口或成熟消息中間件產(chǎn)品；批量數(shù)據(jù)抽取建議源系統(tǒng)提供文本格式文件并FTP到ODS；數(shù)據(jù)轉(zhuǎn)換與加載建議采用成熟ETL工具；對數(shù)據(jù)表比較大，建議采用增量數(shù)據(jù)抽取方式，定期進行全量更新，對源系統(tǒng)表沒有增量時間標志的，由源系統(tǒng)方進行必要的改造，增加時間戳等；在數(shù)據(jù)整合過程中先進行單一系統(tǒng)內(nèi)數(shù)據(jù)整合，然后再進行跨系統(tǒng)的數(shù)據(jù)整合；對于小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置數(shù)據(jù)等，可以采用全量抽取方式進行抽??；建議數(shù)據(jù)抽取周期可根據(jù)接口對象不同和實際的數(shù)據(jù)獲取需求不同而采取有針對性的設計；建議批量抽取操作盡可能在相關生產(chǎn)系統(tǒng)空閑的時段執(zhí)行；批量數(shù)據(jù)轉(zhuǎn)換與加載，建議在應用設計時考慮加載轉(zhuǎn)換的并行化，建議采用內(nèi)存處理技術；源生產(chǎn)系統(tǒng)可采用改造業(yè)務邏輯、數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志觸發(fā)等不同的方式來實現(xiàn)實時向ODS系統(tǒng)提供需實時提供的源數(shù)據(jù)。,數(shù)據(jù)整合過程,2017/10/26,9,系統(tǒng)技術要求數(shù)據(jù)存儲,數(shù)據(jù)模型技術要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,對于接口層數(shù)據(jù)模型應貼近源系統(tǒng)數(shù)據(jù)模型；整合數(shù)據(jù)層中的數(shù)據(jù)模型遵循中國電信企業(yè)數(shù)據(jù)模型，作為企業(yè)數(shù)據(jù)標準指導外圍系統(tǒng)逐步統(tǒng)一數(shù)據(jù)模型；ODS各層數(shù)據(jù)模型的設計需要考慮ODS需同時支持OLTP和OLAP類型應用的特點；模型設計需要考慮高速批量加載及高并發(fā)查詢的快速響應；模型能夠支持不同粒度的查詢與報表需求，綜合考慮業(yè)務需要，具備適應性；通過數(shù)據(jù)模型的規(guī)范化設計，減少不必要的數(shù)據(jù)冗余；模型具有良好的擴展能力。,數(shù)據(jù)分層存儲,2017/10/26,10,系統(tǒng)技術要求數(shù)據(jù)存儲（續(xù)）,數(shù)據(jù)存儲技術要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,能夠存儲海量數(shù)據(jù)，滿足TB級以上數(shù)據(jù)存儲要求；應能夠支持實時數(shù)據(jù)快速插入更新，也可以支持批量數(shù)據(jù)快速加載； 應保證物理數(shù)據(jù)存儲的安全性，避免硬件損壞造成數(shù)據(jù)丟失；應支持過期數(shù)據(jù)的清理功能，節(jié)省存儲空間；日增量接口層數(shù)據(jù)保存1天，月增量接口層數(shù)據(jù)保存1個月；整合層三戶數(shù)據(jù)長久保存；詳單數(shù)據(jù)保存13個月；其他整合層數(shù)據(jù)保存13月；匯總層數(shù)據(jù)保存3年；數(shù)據(jù)存儲能夠很好地支持OLTP和OLAP相結(jié)合的混合型數(shù)據(jù)操作；數(shù)據(jù)存儲能夠滿足在大數(shù)據(jù)量、大并發(fā)量下的快速數(shù)據(jù)操作，支持數(shù)據(jù)行級鎖、多CPU并行、多服務器并行；數(shù)據(jù)存儲具備開放性，支持主流的硬件平臺、軟件技術、網(wǎng)絡協(xié)議、開發(fā)技術標準；數(shù)據(jù)存儲具備可管理性，提供管理工具對數(shù)據(jù)操作過程進行監(jiān)控，支持設置相應的閥值告警；數(shù)據(jù)存儲具備數(shù)據(jù)存取的高可用性，避免單點故障，實現(xiàn)實時故障切換；數(shù)據(jù)存儲具備良好的可擴展性，包括數(shù)據(jù)存儲容量、處理性能的擴展，能夠?qū)崿F(xiàn)在線的擴展操作；數(shù)據(jù)存儲具備高安全性，對系統(tǒng)權限、數(shù)據(jù)權限、角色權限有明確的定義和管理，并對數(shù)據(jù)操作提供審計功能。,數(shù)據(jù)分層存儲,接口數(shù)據(jù)層,數(shù)據(jù)分層存儲,2017/10/26,11,系統(tǒng)技術建議數(shù)據(jù)存儲,數(shù)據(jù)模型技術建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,接口數(shù)據(jù)層數(shù)據(jù)模型可以采用平面表，表結(jié)構(gòu)可以根據(jù)需要做無索引、無主鍵、無外鍵設計；整合數(shù)據(jù)層數(shù)據(jù)模型應采用第三范式的模型設計，考慮到ODS的特點和需要，數(shù)據(jù)模型可進行適度地不規(guī)范化處理；匯總數(shù)據(jù)層模型設計可以采用寬表、星型模型，也可以進行適度地不規(guī)范化處理。,數(shù)據(jù)分層存儲,2017/10/26,12,系統(tǒng)技術建議數(shù)據(jù)存儲（續(xù)）,數(shù)據(jù)存儲技術建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,建議采用成熟的企業(yè)級數(shù)據(jù)庫，支持OLTP和OLAP類型數(shù)據(jù)混合型操作，滿足海量數(shù)據(jù)的存儲和大并發(fā)性操作；建議使用成熟的數(shù)據(jù)建模工具，能夠支持主流的數(shù)據(jù)庫；建議數(shù)據(jù)庫采用表分區(qū)技術，提高數(shù)據(jù)的訪問性能和可操作性；建議使用集群技術/并行處理技術，提高數(shù)據(jù)操作的性能、穩(wěn)定性和可擴展性；建議提供數(shù)據(jù)庫的自動診斷和調(diào)優(yōu)功能，提供各種優(yōu)化建議：內(nèi)存參數(shù)、表結(jié)構(gòu)、索引、SQL語句等；建議數(shù)據(jù)庫支持在線備份恢復機制；建議支持災備解決方案，實現(xiàn)同城或異地數(shù)據(jù)保護。,數(shù)據(jù)分層存儲,2017/10/26,13,計算應用,系統(tǒng)技術要求數(shù)據(jù)應用,數(shù)據(jù)應用技術要求,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應用分類,90%查詢應在10秒以內(nèi)返回，99%查詢在30秒以內(nèi)返回。固定報表等前端業(yè)務響應時間要求小于10秒，動態(tài)報表響應時間要求小于30秒；查詢功能和報表工具支持大用戶量的高并發(fā)訪問；應用程序能監(jiān)控查詢的運行進程，并停止長時間未響應的查詢，控制資源使用效率。提供查詢時間預估功能；查詢功能和報表工具提供高效的數(shù)據(jù)緩存機制，對重復操作無需再次直接查詢數(shù)據(jù)庫；應用支持數(shù)據(jù)級安全性，報表工具支持應用級安全性； 報表工具應具有良好的易用性以及快速開發(fā)環(huán)境；報表工具支持各種復雜報表，報表能迅速以所見即所得方式進行顯示；報表工具應提供二次開發(fā)的接口；報表展示界面友好，便于界面集成；其他系統(tǒng)通過界面集成訪問ODS系統(tǒng)時，應保證ODS系統(tǒng)與接入系統(tǒng)的統(tǒng)一認證；報表工具支持報表的定時生成與發(fā)布；計算應用支持圖形化、向?qū)У确绞蕉ㄖ聘鞣N計算規(guī)則；計算應用支持復雜規(guī)則的腳本定義；計算應用提供高效的規(guī)則計算引擎。,2017/10/26,14,計算應用,系統(tǒng)技術建議數(shù)據(jù)應用,數(shù)據(jù)應用技術建議,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應用分類,對查詢SQL進行優(yōu)化，對大數(shù)據(jù)量輸出的查詢進行分頁顯示，減少網(wǎng)絡傳輸，全面提高查詢性能；建議使用連接池、負載均衡、集群等技術提高查詢的并發(fā)性；使用成熟的第三方報表工具；對復雜應用建議利用第三方報表工具的二次開發(fā)接口自行進行開發(fā)；對數(shù)據(jù)量大、規(guī)則復雜的計算應用建議使用自主開發(fā)的程序完成；對業(yè)務邏輯簡單的計算應用建議采用ETL工具完成；對數(shù)據(jù)量小的計算應用建議采用數(shù)據(jù)庫存儲過程等處理方法。,2017/10/26,15,系統(tǒng)技術要求數(shù)據(jù)共享,數(shù)據(jù)共享技術要求,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務,支持數(shù)據(jù)視圖、FTP文件和Web服務等方式對外提供接口服務；支持高并發(fā)性訪問；Web服務響應時間應控制在5秒以內(nèi)；FTP文件單文件不超過2GB，超過2GB時分割成多個文件。,數(shù)據(jù)共享訪問,2017/10/26,16,系統(tǒng)技術建議數(shù)據(jù)共享,數(shù)據(jù)共享技術建議,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務,對共享數(shù)據(jù)的提供時間進行控制并可靈活配置。建議一般在營業(yè)時間只允許實時查詢服務的訪問（特殊情況除外），在非營業(yè)時段進行準實時批量數(shù)據(jù)共享操作。同時在進行ETL操作時也應該避免同時進行準實時批量數(shù)據(jù)共享操作；通過連接池、負載均衡、集群等技術提高訪問的并發(fā)性；對大量并發(fā)的準實時批量數(shù)據(jù)共享操作可以按資源占用和所需時間進行合理調(diào)度。,數(shù)據(jù)共享訪問,2017/10/26,17,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,18,實施原則,ODS系統(tǒng)實施原則,整體規(guī)劃分步實施,統(tǒng)一模型統(tǒng)一接口,保護投資講究實效,穩(wěn)健推進平滑過渡,加強管控有序?qū)嵤?2017/10/26,19,數(shù)據(jù)倉庫,其他系統(tǒng),計費系統(tǒng),實施建議,CRM系統(tǒng),流程和管控,周邊系統(tǒng)改造建議,1、業(yè)務系統(tǒng)增加相關的數(shù)據(jù)質(zhì)量修改流程和環(huán)節(jié) 2、源生產(chǎn)系統(tǒng)增加數(shù)據(jù)質(zhì)量負責等崗位3 、ODS系統(tǒng)的上線后需要增加相關的信息管理、數(shù)據(jù)稽核等崗位,流程和崗位調(diào)整建議,ODS系統(tǒng)承擔著數(shù)據(jù)質(zhì)量管理的重要任務，同時系統(tǒng)和周邊生產(chǎn)系統(tǒng)存在大量的準實時訪問接口，客觀上要求加大IT管控的力度，提高系統(tǒng)建設質(zhì)量，減少系統(tǒng)風險,IT管控支撐建議,1、完善客戶統(tǒng)一視圖信息查詢2、完善客戶銷售服務流程3、移植運營分析報表和批量計算4、接口改造,1、移植運營分析報表和批量計算2、移植清單、帳單對外提供查詢3、接口改造,1、其他系統(tǒng)改由ODS獲取共享信息2、接口改造,1、EDW從ODS抽取整合后數(shù)據(jù)2、EDW把營銷派單和客戶洞察等數(shù)據(jù)發(fā)送給ODS 3、接口改造,2017/10/26,20,實施進度,數(shù)據(jù)整合階段（2007年8月2008年6月）,應用開發(fā)階段（2008年6月2009年12月）,完善提升階段（2009年12月以后不斷完善）,建立初步的ODS體系架構(gòu)，整合BSS域的全部核心數(shù)據(jù)、OSS域中的工單與112故障單及商務領航平臺的訂購相關數(shù)據(jù)；形成客戶統(tǒng)一視圖，解決客戶品牌經(jīng)營亟需的運營需求；建立初步的數(shù)據(jù)共享中心，為對數(shù)據(jù)實時性要求相對不高的系統(tǒng)提供數(shù)據(jù)共享服務；完成部分其它生產(chǎn)系統(tǒng)未實現(xiàn)的批量計算功能；實現(xiàn)初步的數(shù)據(jù)質(zhì)量管理功能，建立起初步的數(shù)據(jù)質(zhì)量管理閉環(huán)流程。,完善ODS體系架構(gòu)；完善業(yè)務運營過程中的統(tǒng)計、監(jiān)控應用；建成企業(yè)級的運營數(shù)據(jù)共享平臺，為BSS、OSS系統(tǒng)提供更全面的數(shù)據(jù)共享；為國家公安與安全機構(gòu)、金融機構(gòu)等外部機構(gòu)提供其所需的中國電信運營數(shù)據(jù)；提供完善的數(shù)據(jù)質(zhì)量管理體系。,擴展ODS體系架構(gòu)，整合BSS市場營銷域等數(shù)據(jù)、OSS的開通和故障數(shù)據(jù)、業(yè)務平臺數(shù)據(jù)；擴展與完善企業(yè)經(jīng)營報表，承接生產(chǎn)系統(tǒng)對外報表提供，實現(xiàn)企業(yè)經(jīng)營關鍵績效指標與經(jīng)營風險的監(jiān)控，滿足管理層至客戶經(jīng)理的及時看數(shù)需求，提升運營支撐能力；為CRM、計費、10000號、網(wǎng)廳、服務開通、業(yè)務平臺、資源管理等系統(tǒng)提供跨域數(shù)據(jù)共享；擴展ODS上的批量計算功能；完善數(shù)據(jù)質(zhì)量管理標準與體系。,2017/10/26,21,實施步驟,2017/10/26,22,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,23,模式一：集團ODS省集中ODS,1、省集中業(yè)務支撐系統(tǒng)建設比較成熟的中小用戶規(guī)模的省 2、CRM、計費等核心系統(tǒng)都已經(jīng)實現(xiàn)省集中部署 3、本地網(wǎng)暫時沒有大量個性化的業(yè)務需求,1、省集中ODS集中存儲全省的運營數(shù)據(jù)2、本地網(wǎng)不設置單獨的運營分析中心3、本地網(wǎng)直接訪問省集中ODS系統(tǒng),數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,CRM,服務開通,集團ODS,本地網(wǎng)層面,省公司層面,集團層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,其他系統(tǒng),其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,數(shù)據(jù)流向,應用訪問,2017/10/26,24,模式二：集團ODS省集中ODS本地運營數(shù)據(jù)中心,1、本模式適用于計費和CRM系統(tǒng)按照省集中模式建設2、本地網(wǎng)個性化業(yè)務查詢和分析需求比較強，對性能要求較高的中等以上規(guī)模省,1、本地運營中心數(shù)據(jù)來源于省集中ODS系統(tǒng)，只是省集中ODS系統(tǒng)在本地網(wǎng)的延伸，本地運營中心本身不承擔業(yè)務流程和協(xié)同應用的功能2、省中心的ODS運營分析數(shù)據(jù)按照定時同步的方式進入本地運營數(shù)據(jù)中心，本地運營中心對數(shù)據(jù)只有只讀權限，可針對這些數(shù)據(jù)開發(fā)個性化的分析和查詢應用3、這種模式能充分發(fā)揮本地網(wǎng)業(yè)務分析人員的主觀能動性，給本地網(wǎng)業(yè)務人員以更方便和靈活的支撐，支持本地網(wǎng)業(yè)務人員更好實現(xiàn)業(yè)務監(jiān)控與精確化營銷 4、隨著本地網(wǎng)個性化業(yè)務需求擴大，當ODS中的運營數(shù)據(jù)的范圍和時間周期無法滿足本地網(wǎng)全部個性化業(yè)務需求時，本地運營數(shù)據(jù)中心同時還可從省集中的EDW獲取ODS無法提供的其他生產(chǎn)數(shù)據(jù)。,數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,CRM,服務開通,集團ODS,本地網(wǎng)層面,省公司層面,集團層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,本地運營數(shù)據(jù)中心,其他系統(tǒng),數(shù)據(jù)流向,應用訪問,推薦,2017/10/26,25,模式演進,前面兩種建設模式中，模式二是推薦的目標部署模式。模式一需要逐步向第二種模式演進，演進說明如下：,2017/10/26,26,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,27,系統(tǒng)物理架構(gòu)示意圖,2017/10/26,28,主機配置的估算方法,ODS數(shù)據(jù)庫服務器性能估算方法 用戶數(shù)據(jù)交易量每日用戶數(shù)據(jù)變動量*高峰時段占比/60分鐘=XX筆/分鐘定單數(shù)據(jù)交易量每日定單數(shù)據(jù)變化量*高峰時段占比/60分鐘=XX筆/分鐘查詢交易量并發(fā)用戶數(shù)量/分鐘=XX筆/分鐘帳單加載量用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量/要求加載完成的時間（分鐘）=XX筆/分鐘，每月一次，可以不做為峰值計算清單加載量每日清單平均數(shù)/要求加載完成的時間（分鐘）=XX筆/分鐘ETL服務器性能估算方法I/O方面：消費清單的數(shù)據(jù)量（G）平均每日CDR總量*0.5K，要求在2小時完成。處理能力方面消費清單抽取轉(zhuǎn)換量=平均每日清單總量/要求處理完成的時間（分鐘）=筆/分鐘,2017/10/26,29,存儲的估算方法,客戶資料數(shù)據(jù)： 三戶資料數(shù)據(jù)總?cè)萘?= 用戶數(shù)*(1+0.7+0.7) * 每條客戶資料的數(shù)據(jù)量 其他數(shù)據(jù) 服務數(shù)據(jù)、定單數(shù)據(jù)等我們按客戶資料數(shù)據(jù)的20冗余計算 對于客戶數(shù)據(jù)及其他類數(shù)據(jù)數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等，系數(shù)為1.2。 考慮報表數(shù)據(jù)20的冗余。 根據(jù)業(yè)務需求，客戶數(shù)據(jù)及其他類數(shù)據(jù)采用RAID 0 +1，硬盤利用率（主要考慮到 磁盤的最佳使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按50%計算?？蛻魯?shù)據(jù)加上其他類數(shù)據(jù)需要的可用磁盤陣列存儲容量= (客戶數(shù)據(jù)容量+其他數(shù)據(jù)容量) * 1.2 * 1.2 *1.2 / 0.5,2017/10/26,30,存儲的估算方法（續(xù)）,清單數(shù)據(jù) CDR總?cè)萘勘Ａ舻脑路?每月CDR總數(shù)*0.5K帳單數(shù)據(jù) 帳單數(shù)據(jù)容量保留的月份*用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量*每條數(shù) 據(jù)的數(shù)據(jù)量（K） 對于帳單清單數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間，系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等，系數(shù)為1.2。 根據(jù)業(yè)務需求，帳單清單數(shù)據(jù)采用RAID 5，硬盤利用率（主要考慮到磁盤的最佳 使用性能、文件系統(tǒng)和一些額外的磁盤開銷），按75%計算。帳單清單需要的可用磁盤陣列存儲容量= （帳單數(shù)據(jù)總?cè)萘?+ CDR總?cè)萘浚?* 1.2 * 1.2 * / 0.75 ODS共需磁盤陣列存儲容量客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的存儲容量帳單清單磁盤存儲容量。,2017/10/26,31,低端配置建議（900萬左右用戶規(guī)模）,2017/10/26,32,中端配置建議（1400萬左右用戶規(guī)模）,2017/10/26,33,高端配置建議（2300萬左右用戶規(guī)模）,2017/10/26,34,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比較 ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,35,第三方工具對比,ETL工具對比報表工具對比 元數(shù)據(jù)管理工具對比,2017/10/26,36,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,37,數(shù)據(jù)共享,查詢,ODS業(yè)務應用藍圖,ODS應用,計算應用,動態(tài)報表,固定報表,數(shù)據(jù)整合階段：,應用開發(fā)階段 ：,完善提升階段 ：,2017/10/26,38,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,39,ODS數(shù)據(jù)共享,數(shù)據(jù)共享說明,數(shù)據(jù)共享業(yè)務功能,ODS提供良種數(shù)據(jù)共享方式：一種是準實時批量數(shù)據(jù)提供；另一種是實時查詢服務。 1、ODS系統(tǒng)可將獲取到的某個單個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準實時地方式批量提供給其它需要此數(shù)據(jù)且對數(shù)據(jù)實時性要求相對不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口，例如ODS可向號碼百事通提供用戶號碼信息等；同時ODS還可將整合好的跨系統(tǒng)數(shù)據(jù)以準實時批量數(shù)據(jù)提供方式提供給外系統(tǒng)，以配合外系統(tǒng)支撐部分客戶銷售服務流程等。 2、ODS系統(tǒng)還可通過實時查詢服務方式將ODS系統(tǒng)內(nèi)整合好的跨系統(tǒng)數(shù)據(jù)向外系統(tǒng)提供，以配合外系統(tǒng)支撐統(tǒng)一客戶視圖查詢等功能 。,統(tǒng)一客戶視圖部分數(shù)據(jù)提供、可選銷售品的過濾數(shù)據(jù)支撐、推薦銷售品數(shù)據(jù)支撐、號百等系統(tǒng)數(shù)據(jù)提供等,2017/10/26,40,應用示例統(tǒng)一客戶視圖數(shù)據(jù)提供,2017/10/26,41,應用示例銷售品推薦的數(shù)據(jù)支撐,2017/10/26,42,應用示例號碼百事通等系統(tǒng)數(shù)據(jù)提供,2017/10/26,43,提綱,ODS規(guī)范技術分冊 系統(tǒng)技術架構(gòu) 系統(tǒng)技術要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標準及產(chǎn)品比ODS應用附件 ODS數(shù)據(jù)共享 ODS應用,2017/10/26,44,ODS應用,ODS應用分類說明,ODS應用業(yè)務功能,1、查詢：ODS實現(xiàn)查詢條件不固定的按需查詢功能。用戶根據(jù)關心的維度查詢ODS中整合好的360度業(yè)務全貌數(shù)據(jù)；2、固定報表 ：固定報表是統(tǒng)計維度和指標固定的分析結(jié)果的展示，對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，把這些報表放在ODS系統(tǒng)實現(xiàn)；3、動態(tài)報表 ：基于ODS整合好的數(shù)據(jù)，利用分析工具按關心的維度和指標對數(shù)據(jù)進行主題性的分析，動態(tài)分析應用中維度和指標不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)任意變換；4、計算應用 ：ODS系統(tǒng)可基于整合好的數(shù)據(jù)按照設定好的業(yè)務規(guī)則進行部分屬性數(shù)據(jù)計算，計算結(jié)果并不在ODS系統(tǒng)中直接更新，而是由ODS返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后再通過數(shù)據(jù)抽取、加載過程進入ODS之后更新。,1、查詢：統(tǒng)一客戶視圖查詢 、客戶帳單查詢等； 2、固定報表：客戶品牌統(tǒng)計、企業(yè)數(shù)據(jù)應用門戶的部分報表、KPI考核固定報表；3、動態(tài)報表：市場計劃統(tǒng)計與監(jiān)督、銷售活動統(tǒng)計、內(nèi)部渠道KPI考核和監(jiān)控、營銷活動監(jiān)控、訂單統(tǒng)計與監(jiān)控、商機統(tǒng)計和監(jiān)控、網(wǎng)上客服行為統(tǒng)計與監(jiān)控、客戶接觸信息統(tǒng)計、跟蹤并統(tǒng)計客戶響應、團隊績效考核和監(jiān)控、客戶QoS/SLA事后統(tǒng)計、客戶服務請求問題處理統(tǒng)計、工單統(tǒng)計與監(jiān)控、增值業(yè)務平臺業(yè)務量統(tǒng)計、合作伙伴考評、10000熱線接入統(tǒng)計、客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務收入、欠費、競爭統(tǒng)計分析；4、計算應用：客戶品牌標簽的標識、客戶等級計算、客戶積分計算、客戶信用度計算、評估客戶忠誠度、確定挽留與贏回目標客戶群、代理商的傭金計算、代理商等級計算。,2017/10/26,45,應用示例客戶積分計算,2017/10/26,46,數(shù)據(jù)質(zhì)量管控流程示例,2017/10/26,47,Q&A,Q&A！,