中國電信ODS規(guī)范培訓(xùn)
《中國電信ODS規(guī)范培訓(xùn)》由會員分享,可在線閱讀,更多相關(guān)《中國電信ODS規(guī)范培訓(xùn)(47頁珍藏版)》請在裝配圖網(wǎng)上搜索。
2017/10/26,1,ODS規(guī)范培訓(xùn) -技術(shù)分冊與ODS應(yīng)用,,中國電信股份有限公司廣州研究院 廣東省電信有限公司研究院 10/26/2017,2017/10/26,2,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,3,系統(tǒng)技術(shù)架構(gòu),,,,,使用者,其他應(yīng)用,HTML,Web服務(wù),業(yè)務(wù)組件,數(shù)據(jù)訪問,用戶界面,界面組件,,,,ETL/EAI 組件,,,生產(chǎn)系統(tǒng) 數(shù)據(jù),,界面 生成 框架,規(guī)則 配置,,,,,,,,數(shù)據(jù) 服務(wù) 組件,,,,數(shù)據(jù) 處理 組件,匯總層,匯總數(shù)據(jù)區(qū)域,,,數(shù)據(jù)整合,數(shù)據(jù)存儲,,,數(shù)據(jù)共享,數(shù)據(jù)應(yīng)用,外部訪問,數(shù)據(jù)源,,,,ODS系統(tǒng),REPORT,,2017/10/26,4,系統(tǒng)技術(shù)特點,,,批量數(shù)據(jù)加載和實時數(shù)據(jù)更新并存,三范式模型、星型模型、寬表模型并存,細(xì)粒度數(shù)據(jù)和匯總數(shù)據(jù)并存,事務(wù)型查詢和分析型查詢的并存,數(shù)據(jù)保存周期介于生產(chǎn)系統(tǒng)和EDW之間,ODS系統(tǒng)不同于事務(wù)處理為主的 生產(chǎn)系統(tǒng),也不同于統(tǒng)計分析 為主的數(shù)據(jù)倉庫系統(tǒng)。系統(tǒng)需 要支撐跨域數(shù)據(jù)查詢,數(shù)據(jù)共享 等功能,還需要支撐生產(chǎn)系統(tǒng) 對一定周期內(nèi)運營數(shù)據(jù)數(shù)據(jù)的 統(tǒng)計監(jiān)控等功能,2017/10/26,5,系統(tǒng)總體技術(shù)要求,網(wǎng)絡(luò)與硬件方面 采用安全可靠的高速磁盤陣列設(shè)備,支持多機高可用群集系統(tǒng),磁盤陣列與主機系統(tǒng)采用SAN方式連接; 采用高速可靠的網(wǎng)絡(luò)設(shè)備,提供高速的I/O能力; 主機支持多機群集或海量并行處理技術(shù),支持分區(qū)技術(shù); 主機采用高可用性(HA)和負(fù)載均衡的方式,防止單點故障,提高系統(tǒng)可用性和系統(tǒng)資源的使用率。,軟件方面 選擇對OLTP和OLAP應(yīng)用都具備穩(wěn)定處理性能的數(shù)據(jù)庫引擎; 選擇能對數(shù)據(jù)整合過程進(jìn)行有效監(jiān)控和管理的數(shù)據(jù)整合工具或技術(shù); 選擇提供各種接入方式的報表查詢和統(tǒng)計分析功能的報表工具; 選擇為業(yè)務(wù)處理、技術(shù)實現(xiàn)等環(huán)節(jié)提供清晰的系統(tǒng)導(dǎo)航功能的元數(shù)據(jù)管理工具,; 采用能對系統(tǒng)內(nèi)的軟硬件節(jié)點進(jìn)行監(jiān)控和自動預(yù)警的系統(tǒng)監(jiān)控軟件; 制定完善的備份與恢復(fù)策略,采用成熟的備份軟硬件,提供快速備份與恢復(fù)功能; 為了滿足數(shù)據(jù)的高速加載,系統(tǒng)需進(jìn)行相關(guān)優(yōu)化操作,優(yōu)化數(shù)據(jù)抽取調(diào)度策略,避免CPU、Memory、IO等資源的爭搶,設(shè)計良好的數(shù)據(jù)文件/表空間/數(shù)據(jù)表存儲規(guī)劃,保證數(shù)據(jù)在磁盤的優(yōu)化分布。,2017/10/26,6,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,7,,數(shù)據(jù)加載,系統(tǒng)技術(shù)要求-數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)要求,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,數(shù)據(jù)抽取接口設(shè)計應(yīng)充分考慮ODS系統(tǒng)接口的開放性、可擴展性; 接口數(shù)據(jù)傳輸控制策略應(yīng)可靠且完善; 具有可靠的接口數(shù)據(jù)出錯處理機制; 支持不同的數(shù)據(jù)源系統(tǒng)平臺。 支持對多種不同系統(tǒng)平臺和數(shù)據(jù)類型的源系統(tǒng)數(shù)據(jù)抽取與轉(zhuǎn)換。包括各種關(guān)系型、層次型、文件型數(shù)據(jù)庫系統(tǒng)及各種文件格式等源數(shù)據(jù); 數(shù)據(jù)抽取盡量減少對源系統(tǒng)的性能影響; 支持多種數(shù)據(jù)裝載方式; 數(shù)據(jù)抽取接口應(yīng)支持實時、準(zhǔn)實時數(shù)據(jù)抽取,例如接口表、FTP、中間件、WEB-SERVICE等; ETL工具支持二次開發(fā),并通過對內(nèi)嵌腳本語言、存儲過程、插件及外部程序來處理復(fù)雜的處理,提供調(diào)試、跟蹤功能; ETL過程支持多個數(shù)據(jù)庫連接,數(shù)據(jù)轉(zhuǎn)換與加載處理過程應(yīng)支持并行處理; 對于用戶資料、客戶資料等核心數(shù)據(jù)加載要求逐步實現(xiàn)實時更新,最終目標(biāo)控制在秒級; 對于除了核心數(shù)據(jù)以外的ODS日批量數(shù)據(jù)抽取加載應(yīng)在3小時內(nèi)完成; 對于帳單等月批量數(shù)據(jù)抽取加載應(yīng)控制在5小時內(nèi)完成; 對于加載到系統(tǒng)的日數(shù)據(jù)以及月數(shù)據(jù)要及時整合匯總,應(yīng)控制在4小時內(nèi)完成; 數(shù)據(jù)轉(zhuǎn)換處理過程支持各種字符集的轉(zhuǎn)換。,數(shù)據(jù)整 合過程,2017/10/26,8,,數(shù)據(jù)加載,系統(tǒng)技術(shù)建議-數(shù)據(jù)整合,數(shù)據(jù)整合技術(shù)建議,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)清洗,數(shù)據(jù)抽取,實時抽取接口建議采用自行開發(fā)的WEB-SERVICE接口或成熟消息中間件產(chǎn)品; 批量數(shù)據(jù)抽取建議源系統(tǒng)提供文本格式文件并FTP到ODS; 數(shù)據(jù)轉(zhuǎn)換與加載建議采用成熟ETL工具; 對數(shù)據(jù)表比較大,建議采用增量數(shù)據(jù)抽取方式,定期進(jìn)行全量更新,對源系統(tǒng)表沒有增量時間標(biāo)志的,由源系統(tǒng)方進(jìn)行必要的改造,增加時間戳等; 在數(shù)據(jù)整合過程中先進(jìn)行單一系統(tǒng)內(nèi)數(shù)據(jù)整合,然后再進(jìn)行跨系統(tǒng)的數(shù)據(jù)整合; 對于小數(shù)據(jù)量的一些管理數(shù)據(jù)、配置數(shù)據(jù)等,可以采用全量抽取方式進(jìn)行抽??; 建議數(shù)據(jù)抽取周期可根據(jù)接口對象不同和實際的數(shù)據(jù)獲取需求不同而采取有針對性的設(shè)計; 建議批量抽取操作盡可能在相關(guān)生產(chǎn)系統(tǒng)空閑的時段執(zhí)行; 批量數(shù)據(jù)轉(zhuǎn)換與加載,建議在應(yīng)用設(shè)計時考慮加載轉(zhuǎn)換的并行化,建議采用內(nèi)存處理技術(shù); 源生產(chǎn)系統(tǒng)可采用改造業(yè)務(wù)邏輯、數(shù)據(jù)庫觸發(fā)器、數(shù)據(jù)庫日志觸發(fā)等不同的方式來實現(xiàn)實時向ODS系統(tǒng)提供需實時提供的源數(shù)據(jù)。,數(shù)據(jù)整 合過程,2017/10/26,9,,系統(tǒng)技術(shù)要求-數(shù)據(jù)存儲,數(shù)據(jù)模型技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,對于接口層數(shù)據(jù)模型應(yīng)貼近源系統(tǒng)數(shù)據(jù)模型; 整合數(shù)據(jù)層中的數(shù)據(jù)模型遵循中國電信企業(yè)數(shù)據(jù)模型,作為企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)指導(dǎo)外圍系統(tǒng)逐步統(tǒng)一數(shù)據(jù)模型; ODS各層數(shù)據(jù)模型的設(shè)計需要考慮ODS需同時支持OLTP和OLAP類型應(yīng)用的特點; 模型設(shè)計需要考慮高速批量加載及高并發(fā)查詢的快速響應(yīng); 模型能夠支持不同粒度的查詢與報表需求,綜合考慮業(yè)務(wù)需要,具備適應(yīng)性; 通過數(shù)據(jù)模型的規(guī)范化設(shè)計,減少不必要的數(shù)據(jù)冗余; 模型具有良好的擴展能力。,數(shù)據(jù)分 層存儲,2017/10/26,10,,系統(tǒng)技術(shù)要求-數(shù)據(jù)存儲(續(xù)),數(shù)據(jù)存儲技術(shù)要求,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,能夠存儲海量數(shù)據(jù),滿足TB級以上數(shù)據(jù)存儲要求; 應(yīng)能夠支持實時數(shù)據(jù)快速插入更新,也可以支持批量數(shù)據(jù)快速加載; 應(yīng)保證物理數(shù)據(jù)存儲的安全性,避免硬件損壞造成數(shù)據(jù)丟失; 應(yīng)支持過期數(shù)據(jù)的清理功能,節(jié)省存儲空間; 日增量接口層數(shù)據(jù)保存1天,月增量接口層數(shù)據(jù)保存1個月; 整合層三戶數(shù)據(jù)長久保存;詳單數(shù)據(jù)保存1-3個月;其他整合層數(shù)據(jù)保存13月; 匯總層數(shù)據(jù)保存3年; 數(shù)據(jù)存儲能夠很好地支持OLTP和OLAP相結(jié)合的混合型數(shù)據(jù)操作; 數(shù)據(jù)存儲能夠滿足在大數(shù)據(jù)量、大并發(fā)量下的快速數(shù)據(jù)操作,支持?jǐn)?shù)據(jù)行級鎖、多CPU并行、多服務(wù)器并行; 數(shù)據(jù)存儲具備開放性,支持主流的硬件平臺、軟件技術(shù)、網(wǎng)絡(luò)協(xié)議、開發(fā)技術(shù)標(biāo)準(zhǔn); 數(shù)據(jù)存儲具備可管理性,提供管理工具對數(shù)據(jù)操作過程進(jìn)行監(jiān)控,支持設(shè)置相應(yīng)的閥值告警; 數(shù)據(jù)存儲具備數(shù)據(jù)存取的高可用性,避免單點故障,實現(xiàn)實時故障切換; 數(shù)據(jù)存儲具備良好的可擴展性,包括數(shù)據(jù)存儲容量、處理性能的擴展,能夠?qū)崿F(xiàn)在線的擴展操作; 數(shù)據(jù)存儲具備高安全性,對系統(tǒng)權(quán)限、數(shù)據(jù)權(quán)限、角色權(quán)限有明確的定義和管理,并對數(shù)據(jù)操作提供審計功能。,數(shù)據(jù)分 層存儲,接口數(shù)據(jù)層,數(shù)據(jù)分 層存儲,2017/10/26,11,,系統(tǒng)技術(shù)建議-數(shù)據(jù)存儲,數(shù)據(jù)模型技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,接口數(shù)據(jù)層數(shù)據(jù)模型可以采用平面表,表結(jié)構(gòu)可以根據(jù)需要做無索引、無主鍵、無外鍵設(shè)計; 整合數(shù)據(jù)層數(shù)據(jù)模型應(yīng)采用第三范式的模型設(shè)計,考慮到ODS的特點和需要,數(shù)據(jù)模型可進(jìn)行適度地不規(guī)范化處理; 匯總數(shù)據(jù)層模型設(shè)計可以采用寬表、星型模型,也可以進(jìn)行適度地不規(guī)范化處理。,數(shù)據(jù)分 層存儲,2017/10/26,12,,系統(tǒng)技術(shù)建議-數(shù)據(jù)存儲(續(xù)),數(shù)據(jù)存儲技術(shù)建議,匯總數(shù)據(jù)層,整合數(shù)據(jù)層,接口數(shù)據(jù)層,建議采用成熟的企業(yè)級數(shù)據(jù)庫,支持OLTP和OLAP類型數(shù)據(jù)混合型操作,滿足海量數(shù)據(jù)的存儲和大并發(fā)性操作; 建議使用成熟的數(shù)據(jù)建模工具,能夠支持主流的數(shù)據(jù)庫; 建議數(shù)據(jù)庫采用表分區(qū)技術(shù),提高數(shù)據(jù)的訪問性能和可操作性; 建議使用集群技術(shù)/并行處理技術(shù),提高數(shù)據(jù)操作的性能、穩(wěn)定性和可擴展性; 建議提供數(shù)據(jù)庫的自動診斷和調(diào)優(yōu)功能,提供各種優(yōu)化建議:內(nèi)存參數(shù)、表結(jié)構(gòu)、索引、SQL語句等; 建議數(shù)據(jù)庫支持在線備份恢復(fù)機制; 建議支持災(zāi)備解決方案,實現(xiàn)同城或異地數(shù)據(jù)保護(hù)。,數(shù)據(jù)分 層存儲,2017/10/26,13,,計算應(yīng)用,系統(tǒng)技術(shù)要求-數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)要求,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng) 用分類,90%查詢應(yīng)在10秒以內(nèi)返回,99%查詢在30秒以內(nèi)返回。固定報表等前端業(yè)務(wù)響應(yīng)時間要求小于10秒,動態(tài)報表響應(yīng)時間要求小于30秒; 查詢功能和報表工具支持大用戶量的高并發(fā)訪問; 應(yīng)用程序能監(jiān)控查詢的運行進(jìn)程,并停止長時間未響應(yīng)的查詢,控制資源使用效率。提供查詢時間預(yù)估功能; 查詢功能和報表工具提供高效的數(shù)據(jù)緩存機制,對重復(fù)操作無需再次直接查詢數(shù)據(jù)庫; 應(yīng)用支持?jǐn)?shù)據(jù)級安全性,報表工具支持應(yīng)用級安全性; 報表工具應(yīng)具有良好的易用性以及快速開發(fā)環(huán)境; 報表工具支持各種復(fù)雜報表,報表能迅速以所見即所得方式進(jìn)行顯示; 報表工具應(yīng)提供二次開發(fā)的接口; 報表展示界面友好,便于界面集成; 其他系統(tǒng)通過界面集成訪問ODS系統(tǒng)時,應(yīng)保證ODS系統(tǒng)與接入系統(tǒng)的統(tǒng)一認(rèn)證; 報表工具支持報表的定時生成與發(fā)布; 計算應(yīng)用支持圖形化、向?qū)У确绞蕉ㄖ聘鞣N計算規(guī)則; 計算應(yīng)用支持復(fù)雜規(guī)則的腳本定義; 計算應(yīng)用提供高效的規(guī)則計算引擎。,2017/10/26,14,,計算應(yīng)用,系統(tǒng)技術(shù)建議-數(shù)據(jù)應(yīng)用,數(shù)據(jù)應(yīng)用技術(shù)建議,動態(tài)報表,固定報表,數(shù)據(jù)查詢,數(shù)據(jù)應(yīng) 用分類,對查詢SQL進(jìn)行優(yōu)化,對大數(shù)據(jù)量輸出的查詢進(jìn)行分頁顯示,減少網(wǎng)絡(luò)傳輸,全面提高查詢性能; 建議使用連接池、負(fù)載均衡、集群等技術(shù)提高查詢的并發(fā)性; 使用成熟的第三方報表工具; 對復(fù)雜應(yīng)用建議利用第三方報表工具的二次開發(fā)接口自行進(jìn)行開發(fā); 對數(shù)據(jù)量大、規(guī)則復(fù)雜的計算應(yīng)用建議使用自主開發(fā)的程序完成; 對業(yè)務(wù)邏輯簡單的計算應(yīng)用建議采用ETL工具完成; 對數(shù)據(jù)量小的計算應(yīng)用建議采用數(shù)據(jù)庫存儲過程等處理方法。,2017/10/26,15,,系統(tǒng)技術(shù)要求-數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)要求,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),支持?jǐn)?shù)據(jù)視圖、FTP文件和Web服務(wù)等方式對外提供接口服務(wù); 支持高并發(fā)性訪問; Web服務(wù)響應(yīng)時間應(yīng)控制在5秒以內(nèi); FTP文件單文件不超過2GB,超過2GB時分割成多個文件。,數(shù)據(jù)共 享訪問,2017/10/26,16,,系統(tǒng)技術(shù)建議-數(shù)據(jù)共享,數(shù)據(jù)共享技術(shù)建議,FTP,數(shù)據(jù)視圖,數(shù)據(jù)服務(wù),對共享數(shù)據(jù)的提供時間進(jìn)行控制并可靈活配置。建議一般在營業(yè)時間只允許實時查詢服務(wù)的訪問(特殊情況除外),在非營業(yè)時段進(jìn)行準(zhǔn)實時批量數(shù)據(jù)共享操作。同時在進(jìn)行ETL操作時也應(yīng)該避免同時進(jìn)行準(zhǔn)實時批量數(shù)據(jù)共享操作; 通過連接池、負(fù)載均衡、集群等技術(shù)提高訪問的并發(fā)性; 對大量并發(fā)的準(zhǔn)實時批量數(shù)據(jù)共享操作可以按資源占用和所需時間進(jìn)行合理調(diào)度。,數(shù)據(jù)共 享訪問,2017/10/26,17,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,18,實施原則,,ODS系統(tǒng)實施原則,整體規(guī)劃 分步實施,統(tǒng)一模型 統(tǒng)一接口,保護(hù)投資 講究實效,穩(wěn)健推進(jìn) 平滑過渡,加強管控 有序?qū)嵤?,,,,,2017/10/26,19,數(shù)據(jù)倉庫,其他系統(tǒng),,計費系統(tǒng),實施建議,CRM系統(tǒng),,流程和管控,周邊系統(tǒng)改造建議,,1、業(yè)務(wù)系統(tǒng)增加相關(guān)的數(shù)據(jù) 質(zhì)量修改流程和環(huán)節(jié) 2、源生產(chǎn)系統(tǒng)增加數(shù)據(jù)質(zhì)量 負(fù)責(zé)等崗位 3 、ODS系統(tǒng)的上線后需要增 加相關(guān)的信息管理、數(shù)據(jù)稽核 等崗位,流程和崗位調(diào)整建議,,ODS系統(tǒng)承擔(dān)著數(shù)據(jù)質(zhì)量管 理的重要任務(wù),同時系統(tǒng)和 周邊生產(chǎn)系統(tǒng)存在大量的準(zhǔn) 實時訪問接口,客觀上要求 加大IT管控的力度,提高系 統(tǒng)建設(shè)質(zhì)量,減少系統(tǒng)風(fēng)險,IT管控支撐建議,1、完善客戶統(tǒng)一視圖信息查詢 2、完善客戶銷售服務(wù)流程 3、移植運營分析報表和批量計算 4、接口改造,,1、移植運營分析報表和批量計算 2、移植清單、帳單對外提供查詢 3、接口改造,,1、其他系統(tǒng)改由ODS獲取共享信息 2、接口改造,,1、EDW從ODS抽取整合后數(shù)據(jù) 2、EDW把營銷派單和客戶洞察等數(shù)據(jù)發(fā)送給ODS 3、接口改造,2017/10/26,20,實施進(jìn)度,,,,,,數(shù)據(jù)整合階段(2007年8月——2008年6月),應(yīng)用開發(fā)階段(2008年6月——2009年12月),完善提升階段(2009年12月以后不斷完善),建立初步的ODS體系架構(gòu),整合BSS域的全部核心數(shù)據(jù)、OSS域中的工單與112故障單及商務(wù)領(lǐng)航平臺的訂購相關(guān)數(shù)據(jù); 形成客戶統(tǒng)一視圖,解決客戶品牌經(jīng)營亟需的運營需求; 建立初步的數(shù)據(jù)共享中心,為對數(shù)據(jù)實時性要求相對不高的系統(tǒng)提供數(shù)據(jù)共享服務(wù); 完成部分其它生產(chǎn)系統(tǒng)未實現(xiàn)的批量計算功能; 實現(xiàn)初步的數(shù)據(jù)質(zhì)量管理功能,建立起初步的數(shù)據(jù)質(zhì)量管理閉環(huán)流程。,完善ODS體系架構(gòu); 完善業(yè)務(wù)運營過程中的統(tǒng)計、監(jiān)控應(yīng)用; 建成企業(yè)級的運營數(shù)據(jù)共享平臺,為BSS、OSS系統(tǒng)提供更全面的數(shù)據(jù)共享;為國家公安與安全機構(gòu)、金融機構(gòu)等外部機構(gòu)提供其所需的中國電信運營數(shù)據(jù); 提供完善的數(shù)據(jù)質(zhì)量管理體系。,擴展ODS體系架構(gòu),整合BSS市場營銷域等數(shù)據(jù)、OSS的開通和故障數(shù)據(jù)、業(yè)務(wù)平臺數(shù)據(jù); 擴展與完善企業(yè)經(jīng)營報表,承接生產(chǎn)系統(tǒng)對外報表提供,實現(xiàn)企業(yè)經(jīng)營關(guān)鍵績效指標(biāo)與經(jīng)營風(fēng)險的監(jiān)控,滿足管理層至客戶經(jīng)理的及時看數(shù)需求,提升運營支撐能力; 為CRM、計費、10000號、網(wǎng)廳、服務(wù)開通、業(yè)務(wù)平臺、資源管理等系統(tǒng)提供跨域數(shù)據(jù)共享; 擴展ODS上的批量計算功能; 完善數(shù)據(jù)質(zhì)量管理標(biāo)準(zhǔn)與體系。,2017/10/26,21,實施步驟,,2017/10/26,22,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,23,,模式一:集團ODS+省集中ODS,1、省集中業(yè)務(wù)支撐系統(tǒng)建設(shè)比較成熟 的中小用戶規(guī)模的省 2、CRM、計費等核心系統(tǒng)都已經(jīng)實現(xiàn) 省集中部署 3、本地網(wǎng)暫時沒有大量個性化的業(yè)務(wù) 需求,1、省集中ODS集中存儲全省的運營數(shù)據(jù) 2、本地網(wǎng)不設(shè)置單獨的運營分析中心 3、本地網(wǎng)直接訪問省集中ODS系統(tǒng),,,數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,,,CRM,服務(wù)開通,集團ODS,本地網(wǎng)層面,省公司層面,集團層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,,,,,其他系統(tǒng),其他系統(tǒng),其他系統(tǒng),終端用戶,終端用戶,終端用戶,,數(shù)據(jù)流向,,應(yīng)用訪問,,,,,,,,,,,,2017/10/26,24,,模式二:集團ODS+省集中ODS+本地運營數(shù)據(jù)中心,1、本模式適用于計費和CRM系統(tǒng)按照 省集中模式建設(shè) 2、本地網(wǎng)個性化業(yè)務(wù)查詢和分析需求比 較強,對性能要求較高的中等以上規(guī)模省,1、本地運營中心數(shù)據(jù)來源于省集中ODS 系統(tǒng),只是省集中ODS系統(tǒng)在本地網(wǎng)的延 伸,本地運營中心本身不承擔(dān)業(yè)務(wù)流程和 協(xié)同應(yīng)用的功能 2、省中心的ODS運營分析數(shù)據(jù)按照定時 同步的方式進(jìn)入本地運營數(shù)據(jù)中心,本地 運營中心對數(shù)據(jù)只有只讀權(quán)限,可針對這 些數(shù)據(jù)開發(fā)個性化的分析和查詢應(yīng)用 3、這種模式能充分發(fā)揮本地網(wǎng)業(yè)務(wù)分析人 員的主觀能動性,給本地網(wǎng)業(yè)務(wù)人員以更 方便和靈活的支撐,支持本地網(wǎng)業(yè)務(wù)人員 更好實現(xiàn)業(yè)務(wù)監(jiān)控與精確化營銷 4、隨著本地網(wǎng)個性化業(yè)務(wù)需求擴大, 當(dāng)ODS中的運營數(shù)據(jù)的范圍和時間周期無法 滿足本地網(wǎng)全部個性化業(yè)務(wù)需求時,本地 運營數(shù)據(jù)中心同時還可從省集中的EDW 獲取ODS無法提供的其他生產(chǎn)數(shù)據(jù)。,,,數(shù)據(jù)倉庫,計費系統(tǒng),省集中ODS,,,CRM,服務(wù)開通,集團ODS,本地網(wǎng)層面,省公司層面,集團層面,10000,計費系統(tǒng),CRM,數(shù)據(jù)倉庫,,,,,其他系統(tǒng),其他系統(tǒng),,終端用戶,終端用戶,終端用戶,本地運營 數(shù)據(jù)中心,其他系統(tǒng),,數(shù)據(jù)流向,,應(yīng)用訪問,,,,,,,,,,,,,,推薦,2017/10/26,25,模式演進(jìn),,,前面兩種建設(shè)模式中,模式二是推薦的目標(biāo)部署模式。模式一需要逐步向第二種模式演進(jìn),演進(jìn)說明如下:,2017/10/26,26,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,27,系統(tǒng)物理架構(gòu)示意圖,2017/10/26,28,主機配置的估算方法,ODS數(shù)據(jù)庫服務(wù)器性能估算方法 用戶數(shù)據(jù)交易量=每日用戶數(shù)據(jù)變動量*高峰時段占比/60分鐘=XX筆/分鐘 定單數(shù)據(jù)交易量=每日定單數(shù)據(jù)變化量*高峰時段占比/60分鐘=XX筆/分鐘 查詢交易量=并發(fā)用戶數(shù)量/分鐘=XX筆/分鐘 帳單加載量=用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量/要求加載完成的時間(分鐘)=XX筆/分鐘,每月一次,可以不做為峰值計算 清單加載量=每日清單平均數(shù)/要求加載完成的時間(分鐘)=XX筆/分鐘 ETL服務(wù)器性能估算方法 I/O方面: 消費清單的數(shù)據(jù)量(G)=平均每日CDR總量*0.5K,要求在2小時完成。 處理能力方面 消費清單抽取轉(zhuǎn)換量=平均每日清單總量/要求處理完成的時間(分鐘) =筆/分鐘,2017/10/26,29,存儲的估算方法,客戶資料數(shù)據(jù): 三戶資料數(shù)據(jù)總?cè)萘?= 用戶數(shù)*(1+0.7+0.7) * 每條客戶資料的數(shù)據(jù)量 其他數(shù)據(jù) 服務(wù)數(shù)據(jù)、定單數(shù)據(jù)等我們按客戶資料數(shù)據(jù)的20%冗余計算 對于客戶數(shù)據(jù)及其他類數(shù)據(jù)數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間,系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等,系數(shù)為1.2。 考慮報表數(shù)據(jù)20%的冗余。 根據(jù)業(yè)務(wù)需求,客戶數(shù)據(jù)及其他類數(shù)據(jù)采用RAID 0 +1,硬盤利用率(主要考慮到 磁盤的最佳使用性能、文件系統(tǒng)和一些額外的磁盤開銷),按50%計算。 客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的可用磁盤陣列存儲容量= (客戶數(shù)據(jù)容量+其他數(shù)據(jù)容量) * 1.2 * 1.2 *1.2 / 0.5,2017/10/26,30,存儲的估算方法(續(xù)),清單數(shù)據(jù) CDR總?cè)萘浚奖A舻脑路?每月CDR總數(shù)*0.5K 帳單數(shù)據(jù) 帳單數(shù)據(jù)容量=保留的月份*用戶數(shù)量*每用戶每月平均產(chǎn)生的帳單數(shù)量*每條數(shù) 據(jù)的數(shù)據(jù)量(K) 對于帳單清單數(shù)據(jù)所需存儲 建立數(shù)據(jù)庫索引需占用空間,系數(shù)為1.2。 建立系統(tǒng)表空間、回滾段表空間、臨時表空間等,系數(shù)為1.2。 根據(jù)業(yè)務(wù)需求,帳單清單數(shù)據(jù)采用RAID 5,硬盤利用率(主要考慮到磁盤的最佳 使用性能、文件系統(tǒng)和一些額外的磁盤開銷),按75%計算。 帳單清單需要的可用磁盤陣列存儲容量= (帳單數(shù)據(jù)總?cè)萘?+ CDR總?cè)萘浚?* 1.2 * 1.2 * / 0.75 ODS共需磁盤陣列存儲容量=客戶數(shù)據(jù)加上其他類數(shù)據(jù)需要的存儲容量+帳單清單磁盤存儲容量。,2017/10/26,31,低端配置建議(900萬左右用戶規(guī)模),2017/10/26,32,中端配置建議(1400萬左右用戶規(guī)模),2017/10/26,33,高端配置建議(2300萬左右用戶規(guī)模),2017/10/26,34,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比較 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,35,第三方工具對比,ETL工具對比 報表工具對比 元數(shù)據(jù)管理工具對比,2017/10/26,36,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,37,,,數(shù)據(jù)共享,,查詢,ODS業(yè)務(wù)應(yīng)用藍(lán)圖,ODS應(yīng)用,,,計算應(yīng)用,,動態(tài)報表,固定報表,數(shù)據(jù)整合階段:,應(yīng)用開發(fā)階段 :,完善提升階段 :,,,,2017/10/26,38,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,39,ODS數(shù)據(jù)共享,,,數(shù)據(jù)共享說明,數(shù)據(jù)共享業(yè)務(wù)功能,,,ODS提供良種數(shù)據(jù)共享方式:一種是準(zhǔn)實時批量數(shù)據(jù)提供;另一種是實時查詢服務(wù)。 1、ODS系統(tǒng)可將獲取到的某個單個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準(zhǔn)實時地方式批量提供給其它需要此數(shù)據(jù)且對數(shù)據(jù) 實時性要求相對不高的生產(chǎn)系統(tǒng),以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口,例如ODS可向號碼百事通提供用戶號碼 信息等;同時ODS還可將整合好的跨系統(tǒng)數(shù)據(jù)以準(zhǔn)實時批量數(shù)據(jù)提供方式提供給外系統(tǒng),以配合外系統(tǒng)支撐 部分客戶銷售服務(wù)流程等。 2、ODS系統(tǒng)還可通過實時查詢服務(wù)方式將ODS系統(tǒng)內(nèi)整合好的跨系統(tǒng)數(shù)據(jù)向外系統(tǒng)提供, 以配合外系統(tǒng)支撐統(tǒng)一客戶視圖查詢等功能 。,統(tǒng)一客戶視圖部分?jǐn)?shù)據(jù)提供、可選銷售品的過濾數(shù)據(jù)支撐、推薦銷售品數(shù)據(jù)支撐、 號百等系統(tǒng)數(shù)據(jù)提供等,2017/10/26,40,應(yīng)用示例統(tǒng)一客戶視圖數(shù)據(jù)提供,2017/10/26,41,應(yīng)用示例銷售品推薦的數(shù)據(jù)支撐,2017/10/26,42,應(yīng)用示例號碼百事通等系統(tǒng)數(shù)據(jù)提供,,2017/10/26,43,提綱,ODS規(guī)范技術(shù)分冊 系統(tǒng)技術(shù)架構(gòu) 系統(tǒng)技術(shù)要求 系統(tǒng)實施 系統(tǒng)部署 硬件評估方法示例 第三方工具評價標(biāo)準(zhǔn)及產(chǎn)品比 ODS應(yīng)用附件 ODS數(shù)據(jù)共享 ODS應(yīng)用,2017/10/26,44,ODS應(yīng)用,,,ODS應(yīng)用分類說明,ODS應(yīng)用業(yè)務(wù)功能,,,1、查詢:ODS實現(xiàn)查詢條件不固定的按需查詢功能。用戶根據(jù)關(guān)心的維度查詢ODS中整合好的360 度業(yè)務(wù)全貌數(shù)據(jù); 2、固定報表 :固定報表是統(tǒng)計維度和指標(biāo)固定的分析結(jié)果的展示,對于實時性要求高的報表采用即時 生成的模式,而對于實時性要求不高的報表,把這些報表放在ODS系統(tǒng)實現(xiàn); 3、動態(tài)報表 :基于ODS整合好的數(shù)據(jù),利用分析工具按關(guān)心的維度和指標(biāo)對數(shù)據(jù)進(jìn)行主題性的分析, 動態(tài)分析應(yīng)用中維度和指標(biāo)不固定,可在數(shù)據(jù)模型支持的范圍內(nèi)任意變換; 4、計算應(yīng)用 :ODS系統(tǒng)可基于整合好的數(shù)據(jù)按照設(shè)定好的業(yè)務(wù)規(guī)則進(jìn)行部分屬性數(shù)據(jù)計算,計算結(jié)果 并不在ODS系統(tǒng)中直接更新,而是由ODS返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng),由屬主生產(chǎn)系統(tǒng)完成該屬 性數(shù)據(jù)的更新后再通過數(shù)據(jù)抽取、加載過程進(jìn)入ODS之后更新。,1、查詢:統(tǒng)一客戶視圖查詢 、客戶帳單查詢等; 2、固定報表:客戶品牌統(tǒng)計、企業(yè)數(shù)據(jù)應(yīng)用門戶的部分報表、KPI考核固定報表; 3、動態(tài)報表:市場計劃統(tǒng)計與監(jiān)督、銷售活動統(tǒng)計、內(nèi)部渠道KPI考核和監(jiān)控、營銷活動監(jiān)控、訂單統(tǒng)計與 監(jiān)控、商機統(tǒng)計和監(jiān)控、網(wǎng)上客服行為統(tǒng)計與監(jiān)控、客戶接觸信息統(tǒng)計、跟蹤并統(tǒng)計客戶響應(yīng)、團隊績效考核 和監(jiān)控、客戶QoS/SLA事后統(tǒng)計、客戶服務(wù)請求問題處理統(tǒng)計、工單統(tǒng)計與監(jiān)控、增值業(yè)務(wù)平臺業(yè)務(wù)量統(tǒng)計、 合作伙伴考評、10000熱線接入統(tǒng)計、客戶用戶數(shù)、產(chǎn)品使用量、業(yè)務(wù)收入、欠費、競爭統(tǒng)計分析; 4、計算應(yīng)用:客戶品牌標(biāo)簽的標(biāo)識、客戶等級計算、客戶積分計算、客戶信用度計算、評估客戶忠誠度、 確定挽留與贏回目標(biāo)客戶群、代理商的傭金計算、代理商等級計算。,2017/10/26,45,應(yīng)用示例客戶積分計算,,,2017/10/26,46,數(shù)據(jù)質(zhì)量管控流程示例,,,,2017/10/26,47,Q&A,Q&A!,- 1.請仔細(xì)閱讀文檔,確保文檔完整性,對于不預(yù)覽、不比對內(nèi)容而直接下載帶來的問題本站不予受理。
- 2.下載的文檔,不會出現(xiàn)我們的網(wǎng)址水印。
- 3、該文檔所得收入(下載+內(nèi)容+預(yù)覽)歸上傳者、原創(chuàng)作者;如果您是本文檔原作者,請點此認(rèn)領(lǐng)!既往收益都?xì)w您。
下載文檔到電腦,查找使用更方便
5 積分
下載 |
- 配套講稿:
如PPT文件的首頁顯示word圖標(biāo),表示該PPT已包含配套word講稿。雙擊word圖標(biāo)可打開word文檔。
- 特殊限制:
部分文檔作品中含有的國旗、國徽等圖片,僅作為作品整體效果示例展示,禁止商用。設(shè)計者僅對作品中獨創(chuàng)性部分享有著作權(quán)。
- 關(guān) 鍵 詞:
- 中國電信 ODS 規(guī)范 培訓(xùn)
鏈接地址:http://www.szxfmmzy.com/p-145000.html