I正本正本財財達(dá)達(dá)證券證券有有限限責(zé)任責(zé)任公公司司數(shù)數(shù)據(jù)據(jù)中心中心項項目目投投標(biāo)標(biāo)文文件件 技術(shù)部分技術(shù)部分 北京先進數(shù)通信息技術(shù)有限公司北京先進數(shù)通信息技術(shù)有限公司 20112011 年年 1010 月月 1818 日日本文件涉及信息為北京先進數(shù)通信息技術(shù)有限公司專有信息，敬請視同機密文件處理。除因需要而得到授權(quán)的財達(dá)證券有限責(zé)任公司及本公司有關(guān)人員外，請勿以任何形式向他人或任何第三方透露。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 II 頁目目 錄錄1總體概述總體概述.101.1項目背景.101.2總體設(shè)計目標(biāo).101.3階段建設(shè)目標(biāo).101.4系統(tǒng)范圍.112整體解決方案整體解決方案.122.1總體原則.122.2總體架構(gòu).132.2.1邏輯架構(gòu).142.2.2物理架構(gòu).142.2.3網(wǎng)絡(luò)架構(gòu).192.2.4標(biāo)準(zhǔn)化中間件.192.2.5調(diào)度監(jiān)控管理.202.3數(shù)據(jù)倉庫建模方案.212.3.1數(shù)據(jù)模型設(shè)計思路和原則.212.3.2證券業(yè)概念模型.222.3.3數(shù)據(jù)倉庫解決方案.242.3.4元數(shù)據(jù)設(shè)計模型.322.3.5數(shù)據(jù)建模工具和方法.352.4數(shù)據(jù)存儲架構(gòu)方案.382.4.1數(shù)據(jù)層次.392.4.2數(shù)據(jù)流轉(zhuǎn)服務(wù).402.4.3存儲管理.412.4.4系統(tǒng)性能設(shè)計.422.5標(biāo)準(zhǔn)化流程、模板.432.5.1ETL流程.432.5.2數(shù)據(jù)質(zhì)量控制流程.48財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 III 頁2.5.3規(guī)范及模板.542.6信息安全解決方案.552.6.1數(shù)據(jù)安全和訪問機制闡述.552.6.2數(shù)據(jù)保護技術(shù).552.6.3數(shù)據(jù)訪問控制.552.6.4數(shù)據(jù)備份和恢復(fù)策略.552.6.5ETL 流程調(diào)度和監(jiān)控.562.6.6數(shù)據(jù)存儲和傳輸?shù)陌踩?563應(yīng)用系統(tǒng)解決方案應(yīng)用系統(tǒng)解決方案.573.1總體結(jié)構(gòu).573.1.1總體結(jié)構(gòu)圖.573.1.2報表實施流程.603.2綜合報表.633.2.1綜合報表分類描述.643.2.2綜合報表功能描述.653.2.3報表服務(wù)平臺.673.2.4報表數(shù)據(jù)模型.673.2.5綜合報表實現(xiàn).683.3領(lǐng)導(dǎo)駕駛艙系統(tǒng).723.3.1功能結(jié)構(gòu)圖.723.3.2數(shù)據(jù)模型.733.3.3系統(tǒng)分析實現(xiàn).753.4分析型客戶關(guān)系系統(tǒng)（ACRM）.803.4.1360度客戶基本信息視圖.803.4.2客戶全方位分析視圖.813.4.3客戶交易渠道分析.863.4.4客戶其他指標(biāo)分析.863.4.5客戶數(shù)量分析.873.4.6新開戶客戶分析.87財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 IV 頁3.4.7客戶持倉分析.873.4.8客戶交易分析.873.4.9客戶交易與持倉分析.873.4.10客戶資金變動分析.883.4.11營銷分析.883.4.12產(chǎn)品綜合管理.883.4.13數(shù)據(jù)模型.893.4.14系統(tǒng)分析實現(xiàn).893.5數(shù)據(jù)接口及數(shù)據(jù)分發(fā)平臺.903.5.1數(shù)據(jù)模型.923.5.2系統(tǒng)分析實現(xiàn).924軟硬件配置清單軟硬件配置清單.944.1選型依據(jù)選型依據(jù).944.1.1ETL選型依據(jù)選型依據(jù).944.1.2BI選型依據(jù)選型依據(jù).954.1.3ODS/EDW選型依據(jù)選型依據(jù).964.1.4數(shù)據(jù)模型選型依據(jù)數(shù)據(jù)模型選型依據(jù).974.1.5硬件系統(tǒng)選型依據(jù)硬件系統(tǒng)選型依據(jù).974.2軟件配置軟件配置.994.3硬件配置硬件配置.1005 5網(wǎng)絡(luò)架構(gòu)方案網(wǎng)絡(luò)架構(gòu)方案.1075.1設(shè)計思想.1075.2網(wǎng)絡(luò)方案設(shè)計.1075.2.1總體描述.1075.2.2核心局域網(wǎng)建設(shè)方案.1085.2.3網(wǎng)絡(luò)配置需求.1085.3網(wǎng)絡(luò)安全.1095.3.1安全風(fēng)險分析.1095.3.2安全建設(shè)目標(biāo).110財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 V 頁5.3.3安全系統(tǒng)設(shè)計原則.1105.3.4網(wǎng)絡(luò)系統(tǒng)安全設(shè)計.1116 6項目實施方案項目實施方案.1156.1總體實施計劃.1156.2人力資源投入計劃.1156.2.1項目組織結(jié)構(gòu)圖.1156.2.2項目組織結(jié)構(gòu)圖說明.1166.2.3項目各方職責(zé).1176.2.4人力資源計劃.1196.3第一期第一階段實施方案.1196.3.1階段性實施目標(biāo).1196.3.2階段性實施策略.1206.3.3階段性實施計劃.1226.3.4項目開發(fā)體制.1236.3.5階段性項目驗收.1246.4第一期第二階段實施方案.1246.4.1階段性實施目標(biāo).1246.4.2階段性實施策略.1256.4.3階段性實施計劃.1286.4.4項目開發(fā)體制.1296.4.5階段性項目驗收.1306.5第一期第三階段實施方案.1306.5.1階段性實施目標(biāo).1306.5.2階段性實施策略.1306.5.3階段性實施計劃.1326.5.4項目開發(fā)體制.1336.5.5階段性項目驗收.1346.6第二期實施方案.1346.6.1階段性實施目標(biāo).134財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 VI 頁6.6.2階段性實施策略.1346.6.3階段性實施計劃.1366.6.4項目開發(fā)體制.1376.6.5階段性項目驗收.1386.7項目質(zhì)量控制.1386.7.1項目管理規(guī)范.1386.7.2項目質(zhì)量保證.1396.7.3配置管理.1396.7.4配置管理活動.1406.8項目風(fēng)險及風(fēng)險控制.1416.8.1風(fēng)險分析.1416.8.2風(fēng)險控制計劃.1426.9項目變更管理計劃.1426.10項目過程的溝通協(xié)調(diào)機制.1426.10.1重大問題的匯報.1436.10.2項目組內(nèi)部的溝通協(xié)調(diào).1436.10.3與其他項目組的溝通協(xié)調(diào).1436.10.4與相關(guān)部門的溝通協(xié)調(diào).1436.11測試實施.1436.11.1測試目標(biāo).1436.11.2測試方法及內(nèi)容.1446.11.3實施規(guī)劃.1446.12項目驗收.1496.12.1開發(fā)文檔文件的驗收.1496.12.2應(yīng)用軟件的驗收.1496.13項目成果移交.1506.13.1應(yīng)用系統(tǒng)源代碼.1506.13.2開發(fā)過程文檔.1506.13.3項目提交件質(zhì)量標(biāo)準(zhǔn).1516.13.4知識轉(zhuǎn)移.153財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 VII 頁6.14實施計劃變更.1546.15項目階段描述.1546.16售后服務(wù).1566.16.1服務(wù)承諾.1576.16.2故障級別的定義.1586.16.3障礙升級定義與標(biāo)準(zhǔn).1586.16.4故障申報及修正流程.1596.16.5閉環(huán)的故障消除保障流程.1596.16.6技術(shù)支持架構(gòu).1606.16.7支持服務(wù)人員.1606.16.8技術(shù)支持服務(wù)內(nèi)容.1616.16.9先進數(shù)通支持服務(wù)流程.1626.16.10石家莊分支機構(gòu).1636.16.11北京技術(shù)服務(wù)中心.1636.16.12系統(tǒng)故障響應(yīng)費用.1637產(chǎn)品白皮書產(chǎn)品白皮書.1647.1INFOSPHERE DATASTAGE產(chǎn)品介紹.1647.1.1產(chǎn)品簡介.1647.1.2特性介紹.1657.2INFOSPHERE CDC 產(chǎn)品介紹.1737.2.1InfoSphere CDC 的技術(shù)特點.1747.2.2InfoSphere CDCapture解決方案的優(yōu)勢.1757.2.3InfoSphere CDC方案的特性.1767.2.4使用 InfoSphere CDC 用戶可以得到的利益.1767.3COGNOS BI 產(chǎn)品介紹.1777.3.1產(chǎn)品架構(gòu).1777.3.2主要模塊.1797.3.3可擴展性.1817.3.4安全性.182財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 VIII 頁7.3.5靈活性.1837.3.6流程.1867.4INFOSPHERE WAREHOUSE產(chǎn)品介紹 .1877.4.1產(chǎn)品架構(gòu).1877.4.2產(chǎn)品功能特性.1877.5MOIA.RSP 產(chǎn)品介紹.1947.5.1MOIA.RSP簡介.1947.5.2MOIA.RSP邏輯架構(gòu).1957.5.3MOIA.RSP主要界面.1957.5.4MOIA.RSP功能.1977.6MOIA.DSP 介紹.1977.6.1內(nèi)容提要.1977.6.2Moia歷史.1987.6.3產(chǎn)品定位.1997.6.4產(chǎn)品結(jié)構(gòu).2007.6.5功能簡介.2007.6.6拓?fù)浣Y(jié)構(gòu).2027.6.7調(diào)度支持.2037.6.8調(diào)度引擎.2057.6.9支持的計算模式.2097.6.10數(shù)據(jù)管理服務(wù).2107.6.11事件服務(wù).2137.6.12高級功能.2137.6.13開發(fā)流程.2147.6.14用戶角色.2147.6.15用戶界面.2157.6.16MOIA用戶.2157.6.17MOIA的價值.2167.6.18應(yīng)用案例.216財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 IX 頁8附件附件.221財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 10 頁1總體概述總體概述1.1 項目背景項目背景財達(dá)證券作為全國性證券公司，擁有大量客戶， 伴隨著證券市場的日益成熟，證券交易活躍，市場競爭加劇，這些都對財達(dá)證券各項業(yè)務(wù)監(jiān)管、風(fēng)險控制、客戶服務(wù)與營銷、業(yè)務(wù)創(chuàng)新等提出了更高的要求。為了更好的滿足公司業(yè)務(wù)、管理對數(shù)據(jù)集中應(yīng)用的要求，財達(dá)證券需要建立統(tǒng)一的企業(yè)級數(shù)據(jù)倉庫平臺，及時有效地獲取各項業(yè)務(wù)系統(tǒng)數(shù)據(jù)，進行數(shù)據(jù)集中管理和統(tǒng)一整合，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，形成準(zhǔn)確、完備的數(shù)據(jù)訪問平臺，為各個業(yè)務(wù)部門數(shù)據(jù)分析、客戶服務(wù)、公司營銷及業(yè)務(wù)監(jiān)管提供基礎(chǔ)支撐。1.2 總體設(shè)計目標(biāo)總體設(shè)計目標(biāo)財達(dá)證券數(shù)據(jù)中心的總體建設(shè)目標(biāo)是建立基礎(chǔ)數(shù)據(jù)模型、ETL 平臺、ETL 管理調(diào)度平臺、數(shù)據(jù)分發(fā)管理平臺、經(jīng)營績效數(shù)據(jù)分析匯總及展現(xiàn)平臺等，形成統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、確保數(shù)據(jù)采集完整、保證 ETL 數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：1、完成數(shù)據(jù)標(biāo)準(zhǔn)化工作，形成公司唯一的、標(biāo)準(zhǔn)化數(shù)據(jù)源，支撐各業(yè)務(wù)管理系統(tǒng)的數(shù)據(jù)訪問。2、完成公司各項業(yè)務(wù)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲、統(tǒng)一訪問管理等功能3、建立集中財達(dá)證券各項業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)平臺，完成財達(dá)證券所要求的數(shù)據(jù)輸入輸出交換實施。4、使用專業(yè)成熟的 ETL 工具，進行不同種類數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等各項部署、實施，并能對啟動條件、依賴關(guān)系、狀態(tài)及錯誤日志統(tǒng)一管理。5、實現(xiàn) ETL 全流程調(diào)度自動化管理，對 ETL 過程進行全面監(jiān)控和管理維護。6、提供標(biāo)準(zhǔn)和靈活的數(shù)據(jù)交換接口，保證現(xiàn)有系統(tǒng)平滑過渡到數(shù)據(jù)中心，支持公司擬建和未來需要建設(shè)的各類系統(tǒng)。7、按需要提供各類數(shù)據(jù)的匯總，滿足數(shù)據(jù)報表和不同主題數(shù)據(jù)集市的需要。8、通過對基礎(chǔ)數(shù)據(jù)模型的分析，支持?jǐn)?shù)據(jù)集市，展現(xiàn)經(jīng)營狀況。9、建立服務(wù)財達(dá)證券實際要求的數(shù)據(jù)中心技術(shù)架構(gòu)。1.3 階段建設(shè)目標(biāo)階段建設(shè)目標(biāo)數(shù)據(jù)中心項目實施涉及系統(tǒng)眾多、實施復(fù)雜度高、周期長的特點。為保障項目順利實施，將周期為 7.5 個月的項目分成 3 個階段進行實施，每個階段具有相應(yīng)的里程碑事件，具體目標(biāo)如下：1、第一階段計劃實施工期 1.5 個月，2010/11/202010/12/31，具體建設(shè)目標(biāo)如下：完成與數(shù)據(jù)中心相關(guān)業(yè)務(wù)系統(tǒng)的調(diào)研。建立數(shù)據(jù)模型。完成數(shù)據(jù)標(biāo)準(zhǔn)化工作，形成數(shù)據(jù)標(biāo)準(zhǔn)化的整體規(guī)范，并經(jīng)財達(dá)證券業(yè)務(wù)部門認(rèn)可。建立符合財達(dá)證券的企業(yè)級數(shù)據(jù)倉庫技術(shù)架構(gòu)。實施 ETL 定時，完成集中交易系統(tǒng)、法人清算系統(tǒng)、融資融券系統(tǒng)、投資管理系統(tǒng)、營銷管理系統(tǒng)、財務(wù)管理系統(tǒng)、客戶服務(wù)綜合平臺的現(xiàn)有數(shù)據(jù)采集、整合、入庫。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 11 頁實現(xiàn)基于數(shù)據(jù)中心的綜合查詢系統(tǒng)。2、第二階段計劃實施工期 2 個月，2011/01/012011/02/28，具體建設(shè)目標(biāo)如下：完善數(shù)據(jù)模型及數(shù)據(jù)倉庫技術(shù)架構(gòu)。完成 ETL 的全部實施，并提供數(shù)據(jù)完整性、正確性以及可用性檢查機制。完成實時增量數(shù)據(jù)采集。完成 ETL 管理調(diào)度平臺建設(shè)。初步實現(xiàn)數(shù)據(jù)分發(fā)管理平臺開發(fā)。3、第三階段計劃實施工期 4 個月，2011/03/012011/06/30，具體建設(shè)目標(biāo)如下：ETL 實施完善，并全部上線。完成數(shù)據(jù)接口及數(shù)據(jù)分發(fā)管理平臺開發(fā)部署及任務(wù)配置，并上線使用。完成領(lǐng)導(dǎo)駕駛艙的系統(tǒng)開發(fā)，并正式部署上線。完成 ACRM 的系統(tǒng)開發(fā)，并正式部署上線。為公司其他在用和在建業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)。1.4 系統(tǒng)范圍系統(tǒng)范圍本次數(shù)據(jù)中心項目實施涉及到的源系統(tǒng)和目標(biāo)系統(tǒng)如下所示：財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 12 頁財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 13 頁2整體解決方案整體解決方案2.1 總體原則總體原則數(shù)據(jù)中心建設(shè)是個系統(tǒng)化工程，為確保系統(tǒng)建設(shè)成功，在系統(tǒng)設(shè)計、技術(shù)實現(xiàn)過程中需要遵循如下一些原則：1、標(biāo)準(zhǔn)化原則標(biāo)準(zhǔn)化原則系統(tǒng)方案的制定需要滿足業(yè)界通用的系統(tǒng)建設(shè)準(zhǔn)則，在系統(tǒng)需求與應(yīng)用的結(jié)合、系統(tǒng)架構(gòu)的確定、系統(tǒng)組件的劃分、系統(tǒng)實施的考慮等方面，可以借鑒同業(yè)的建設(shè)經(jīng)驗，在業(yè)界標(biāo)準(zhǔn)、規(guī)范的系統(tǒng)建設(shè)準(zhǔn)則下，結(jié)合系統(tǒng)建設(shè)要求制定出通用高效的方案。2、可擴充原則可擴充原則系統(tǒng)方案的制定需要結(jié)合信息化建設(shè)的長遠(yuǎn)規(guī)劃，充分考慮業(yè)務(wù)需求與發(fā)展要求，滿足系統(tǒng)容量與系統(tǒng)效率要求，在系統(tǒng)設(shè)計上即能做到適應(yīng)不斷發(fā)展擴大的業(yè)務(wù)需求，又能做到最大限度地保護現(xiàn)有的軟硬件的投入，為聯(lián)機分析應(yīng)用的持續(xù)發(fā)展奠定良好的基礎(chǔ)。3、開放性原則開放性原則系統(tǒng)建設(shè)遵循開發(fā)標(biāo)準(zhǔn)，采用行業(yè)標(biāo)準(zhǔn)技術(shù)，采用可擴展的系統(tǒng)架構(gòu)，開放式語言，保證系統(tǒng)可在異構(gòu)的系統(tǒng)之間方便移植。能夠?qū)崿F(xiàn)與現(xiàn)有相關(guān)系統(tǒng)的完全對接。4、先進性原則先進性原則系統(tǒng)技術(shù)架構(gòu)與技術(shù)實現(xiàn)手段應(yīng)在金融行業(yè)具有一定領(lǐng)先性。5、前瞻性原則前瞻性原則系統(tǒng)在滿足現(xiàn)有業(yè)務(wù)要求的基礎(chǔ)上，必須為未來業(yè)務(wù)發(fā)展變化留有拓展空間，方便對新業(yè)務(wù)的擴展與支持。6、高效性原則高效性原則因為涉及大數(shù)據(jù)量的處理，而且隨著 BI 應(yīng)用對業(yè)務(wù)人員、業(yè)務(wù)主管工作重要性的逐漸提升，目標(biāo)系統(tǒng)對數(shù)據(jù)處理時間的要求會越來越嚴(yán)格，因此，在數(shù)據(jù)中心構(gòu)建上需要確保高效性，在大數(shù)據(jù)量處理及大規(guī)模用戶在線情況下系統(tǒng)仍能高效運行。7、穩(wěn)定性原則穩(wěn)定性原則系統(tǒng)滿足高峰處理的需要，適應(yīng)各種特殊情況給系統(tǒng)帶來的壓力。8、安全性原則安全性原則系統(tǒng)必須建立在成熟穩(wěn)定的硬件環(huán)境和應(yīng)用軟件基礎(chǔ)上，通過完善的備份恢復(fù)策略、安全控制機制、運行管理監(jiān)控和故障處理手段來保障系統(tǒng)的安全、穩(wěn)定。9、可維護性原則可維護性原則系統(tǒng)應(yīng)提供對對運行情況的完善的監(jiān)測與控制功能，方便系統(tǒng)維護，在系統(tǒng)處理異常時能夠根據(jù)日志，方便快捷的定位出錯位置、原因，并可主動告警。10、實用性原則實用性原則財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 14 頁結(jié)合財達(dá)證券各類業(yè)務(wù)系統(tǒng)的需求和發(fā)展現(xiàn)狀提供系統(tǒng)產(chǎn)品平臺，能夠充分滿足系統(tǒng)的業(yè)務(wù)功能需求，并能夠兼顧到未來系統(tǒng)發(fā)展。11、一致性原則一致性原則系統(tǒng)方案的制定需要考慮與現(xiàn)有的信息化建設(shè)發(fā)展規(guī)劃保持一致性。由于現(xiàn)有系統(tǒng)紛繁復(fù)雜，數(shù)據(jù)存在交叉的情況，需要考慮這些系統(tǒng)作為數(shù)據(jù)源進行數(shù)據(jù)整合時，如何保持一致的處理邏輯，并保證在以后基于這些數(shù)據(jù)分析的結(jié)果具有一致性。一致性原則具體體現(xiàn)為：統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一數(shù)據(jù)架構(gòu)、統(tǒng)一應(yīng)用架構(gòu)、統(tǒng)一技術(shù)標(biāo)準(zhǔn)和規(guī)范、統(tǒng)一的開發(fā)工具、統(tǒng)一開發(fā)流程。12、松耦合原則松耦合原則數(shù)據(jù)中心的主要功能定位是數(shù)據(jù)交換和加工、存儲，因此數(shù)據(jù)中心的數(shù)據(jù)是盡量不能和任何應(yīng)用需求產(chǎn)生緊耦合的，應(yīng)確立數(shù)據(jù)中心和應(yīng)用的松耦合原則。也就是說，所有應(yīng)用都應(yīng)該也只能訪問自己的數(shù)據(jù)庫（也稱為數(shù)據(jù)集市） ，而不能用 SQL 等方式直接訪問數(shù)據(jù)中心的數(shù)據(jù)。2.2 總體架構(gòu)總體架構(gòu)在數(shù)據(jù)中心建設(shè)總體原則指導(dǎo)下，結(jié)合財達(dá)證券實際情況，綜合各個方面的因素考慮，系統(tǒng)總體架構(gòu)設(shè)計如下：數(shù)據(jù)中心從總體上包含以下五個主要部分：基礎(chǔ)設(shè)施(物理架構(gòu))對于應(yīng)用數(shù)據(jù)平臺中使用的各種硬件資源的規(guī)劃和部署； 這些硬件資源包括：數(shù)據(jù)庫服務(wù)器、ETL 集群、調(diào)度服務(wù)器、報表集群、文件傳輸集群、共享文件存儲等；軟件和工具財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 15 頁數(shù)據(jù)中心應(yīng)用建設(shè)中的基礎(chǔ)軟件和工具：操作系統(tǒng)、數(shù)據(jù)庫服務(wù)器管理軟件、ETL 工具軟件、報表工具軟件、全局調(diào)度和監(jiān)控軟件等；存儲管理數(shù)據(jù)存儲策略、數(shù)據(jù)備份和恢復(fù)策略、數(shù)據(jù)生命周期管理、報表數(shù)據(jù)的存放和備份清理策略等；數(shù)據(jù)架構(gòu)：數(shù)據(jù)的在數(shù)據(jù)分區(qū)間流轉(zhuǎn)、數(shù)據(jù)的組織(數(shù)據(jù)模型)、數(shù)據(jù)在數(shù)據(jù)流轉(zhuǎn)過程中的屬性(元數(shù)據(jù)管理)；標(biāo)準(zhǔn)、規(guī)范、流程和模板貫穿數(shù)據(jù)中心及 BI 建設(shè)過程和處理流程中的各種規(guī)范性文檔和實施流程。2.2.1 邏輯架構(gòu)邏輯架構(gòu)數(shù)據(jù)中心是企業(yè) IT 環(huán)境中重要的基礎(chǔ)設(shè)施，其核心價值是提升企業(yè)經(jīng)營管理輔助 BI 系統(tǒng)建設(shè)的 ROI。因此其建設(shè)需要站在企業(yè)級的高度進行設(shè)計，整個企業(yè)內(nèi)部構(gòu)建一套標(biāo)準(zhǔn)的、可擴展的、開放的、先進的、高效的、穩(wěn)定的、安全的、可維護的基礎(chǔ)計算環(huán)境。通常企業(yè)信息化過程以應(yīng)用為單位組織軟硬件資源，為保證相關(guān)應(yīng)用的平穩(wěn)運行，需要為其最大化的配置相關(guān)資源，造成大量資源浪費。云計算及虛擬化是未來的企業(yè)級計算的發(fā)展方向，因此有必要將企業(yè)的計算資源統(tǒng)一規(guī)劃、統(tǒng)一使用、統(tǒng)一維護管理，實現(xiàn)企業(yè)級計算資源的共享。2.2.2 物理架構(gòu)物理架構(gòu)數(shù)據(jù)中心按照企業(yè)級共享計算資源池設(shè)計，遵循相關(guān)設(shè)計原則：財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 16 頁標(biāo)準(zhǔn)化原則該架構(gòu)為當(dāng)前業(yè)界主流數(shù)據(jù)整合硬件架構(gòu)，符合行業(yè)標(biāo)準(zhǔn)?？蓴U充原則數(shù)據(jù)獲取、數(shù)據(jù)加工、報表、數(shù)據(jù)庫、數(shù)據(jù)分發(fā)、數(shù)據(jù)存儲、應(yīng)用服務(wù)器、調(diào)度監(jiān)控全部采用集群技術(shù)，Grid Anywhere。完美實現(xiàn)系統(tǒng)的橫向擴展性。開放性原則所有硬件均采用行業(yè)標(biāo)準(zhǔn)硬件，具有標(biāo)準(zhǔn)化的相關(guān)接口，保證系統(tǒng)開。放性。先進性原則此架構(gòu)為當(dāng)前金融行業(yè)數(shù)據(jù)中心建設(shè)領(lǐng)先架構(gòu)，符合云計算與虛擬化的流行技術(shù)方向。前瞻性原則系統(tǒng)高度可擴展，根據(jù)業(yè)務(wù)發(fā)展可以隨需應(yīng)變，滿足未來需要。高效性原則系統(tǒng)采用主流的集群計算架構(gòu)，實踐證明該架構(gòu)可以滿足每天 TB 級數(shù)據(jù)整合架構(gòu)處理。提供最廉價，性價比最優(yōu)的解決方案穩(wěn)定性原則采用成熟的硬件產(chǎn)品及集群計算架構(gòu)，可以保障系統(tǒng)的連續(xù)運行要求。安全性原則系統(tǒng)建立在行業(yè)標(biāo)準(zhǔn)的硬件環(huán)境基礎(chǔ)上，通過 Grid Anywhere 保證系統(tǒng)的運行安全性，在單一節(jié)點故障情況下可以實現(xiàn)自動切換，保證系統(tǒng)的連續(xù)運行。為保障生產(chǎn)網(wǎng)安全運行，禁止管理網(wǎng)段直接訪問生產(chǎn)網(wǎng)，通過防火墻進行隔離，生產(chǎn)網(wǎng)數(shù)據(jù)通過 CDC 推送的方式傳輸?shù)焦芾砭W(wǎng)。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 17 頁可維護性原則通過集中的調(diào)度、監(jiān)控服務(wù)器對數(shù)據(jù)中心的所有任務(wù)進行管理，可以實現(xiàn)高效的系統(tǒng)維護與管理。實用性原則系統(tǒng)硬件根據(jù)現(xiàn)有業(yè)務(wù)需求進行配置，滿足現(xiàn)有需求，并保留未來擴展空間。一致性原則建立企業(yè)級的計算環(huán)境，確保企業(yè)內(nèi)部相關(guān)環(huán)境的一致性。2.2.2.12.2.2.1 ETLETL 服務(wù)集群服務(wù)集群ETL 是 BI 應(yīng)用建設(shè)的基礎(chǔ)，ETL 技術(shù)的出現(xiàn)和發(fā)展在 BI 技術(shù)發(fā)展的過程中具有里程碑式的意義。而以往企業(yè)的 BI 建設(shè)缺乏良好規(guī)劃，每個業(yè)務(wù)部門都在立項建設(shè)自己的 BI 應(yīng)用，因此每個 BI 應(yīng)用都要從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，加工轉(zhuǎn)換之后加載到BI 應(yīng)用的數(shù)據(jù)庫中。這樣每個 BI 應(yīng)用不僅要購置 ETL 工具，ETL 硬件資源，還要開發(fā)大量的 ETL 作業(yè)，這不僅造成了投資的浪費，開發(fā)工作的大量重復(fù)，對數(shù)據(jù)的使用缺乏統(tǒng)一的規(guī)范。而且造成很多 BI 應(yīng)用直接訪問業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫，對業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫的性能、可維護性和安全性都造成了嚴(yán)重影響。如上圖所示，構(gòu)建面向整個企業(yè)級所有 BI 應(yīng)用的 ETL 基礎(chǔ)設(shè)施(基礎(chǔ)組件)，這個 ETL 組件將為企業(yè)中所有的 BI 應(yīng)用提供 ETL 服務(wù)。各 BI 應(yīng)用不再購置自己的 ETL硬件資源和 ETL 產(chǎn)品。這個 ETL 組件由專門的數(shù)據(jù)部門進行統(tǒng)一管理和維護。企業(yè)級的 ETL 組件可以很好地完成企業(yè)的數(shù)據(jù)交換，達(dá)到數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化使用、減少資源投入的目的。建立企業(yè)級的 ETL 基礎(chǔ)設(shè)施，具有下列優(yōu)點：大大減少資源投入，避免重復(fù)投資；減少重復(fù)的開發(fā)工作；有利于數(shù)據(jù)的規(guī)范和標(biāo)準(zhǔn)化使用；使企業(yè)的 BI 應(yīng)用架構(gòu)更加清晰；便于對企業(yè)的數(shù)據(jù)交換情況進行集中管理和監(jiān)控；財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 18 頁在集群模式下，ETL 基礎(chǔ)設(shè)施由一系列的普通 PC Server 構(gòu)成，這些 PC Server由調(diào)度 Server 進行集中管理和調(diào)度。在一個 ETL 集群內(nèi)，還可以劃分成多個處理域(Domain)，也可以只包含一個 Domain。每個處理域由一個或多個 ETL SERVER 和若干個 ETL CLIENT 組成。ETL SERVER 主要負(fù)責(zé) ETL JOB 的具體執(zhí)行計劃制定與分配。ETL CLIENT 主要負(fù)責(zé) ETL SERVER 分配的作業(yè)模塊的具體執(zhí)行，是作業(yè)的具體執(zhí)行者。實現(xiàn)企業(yè)軟硬件資源的共享； 提供最廉價，性價比最優(yōu)的 ETL 解決方案提供了無限的橫向擴展能力，企業(yè)無須再為數(shù)據(jù)規(guī)模的增長而發(fā)愁；大規(guī)模的并行計算能力為海量數(shù)據(jù)的處理提供了強大支持；整個架構(gòu)不需要備份機，保障系統(tǒng)安全運行。集群中任何節(jié)點(調(diào)度Server, ETL server 和 ETL Client)發(fā)生故障時，可以有集群中其它機器快速接管，特別是當(dāng) ETL Client 發(fā)生故障時候，無須人工干預(yù)，接管工作自動執(zhí)行；ETL Server 和調(diào)度 Server 發(fā)生故障時，只需要通過監(jiān)控界面執(zhí)行簡單操作即可。2.2.2.22.2.2.2 報表服務(wù)集群報表服務(wù)集群報表的生成和展現(xiàn)，如同 ETL 一樣，在企業(yè) BI 建設(shè)中是一種最基礎(chǔ)的服務(wù)，因此本著集約的原則，我們將報表服務(wù)器作為集群方式部屬，提供給其中所有需要報表生成和展示的應(yīng)用使用。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 19 頁如上圖形所示，我們將建立報表服務(wù)集群，集群中由一臺報表集成門戶服務(wù)器和多臺報表服務(wù)器組成(邏輯上的)，各應(yīng)用自行開發(fā)報表后將報表生成作業(yè) Package 部署到報表服務(wù)集群中集中運行，當(dāng)各應(yīng)用運行中需要請求報表服務(wù)時，將通過 HTTP 方式向報表集成服務(wù)器發(fā)送報表請求，報表集成服務(wù)器將安裝 ADT MOIA.RSP，它實現(xiàn)報表集成和報表服務(wù)器管理，實現(xiàn)報表任務(wù)的動態(tài)分配和負(fù)載均衡。使用企業(yè)級報表服務(wù)集群的好處是：實現(xiàn)企業(yè)軟硬件資源的共享； 提供最廉價，性價比最優(yōu)的大數(shù)據(jù)量報表解決方案；提供了無限的橫向擴展能力，企業(yè)無須再為數(shù)據(jù)規(guī)模的增長而發(fā)愁；整個架構(gòu)不需要備份機，保障系統(tǒng)安全運行。2.2.2.32.2.2.3 數(shù)據(jù)庫服務(wù)器集群熱備數(shù)據(jù)庫服務(wù)器集群熱備 數(shù)據(jù)采用磁盤陣列存儲， 數(shù)據(jù)庫服務(wù)器共享磁盤陣列，通過數(shù)據(jù)庫的群集功能實現(xiàn)數(shù)據(jù)庫服務(wù)群集。從而達(dá)到故障時生產(chǎn)不受影響。 群集數(shù)據(jù)庫服務(wù)器數(shù)據(jù)庫服務(wù)器磁盤陣列財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 20 頁2.2.3 網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)架構(gòu)在上面的網(wǎng)絡(luò)拓?fù)潢P(guān)系圖中，我們將網(wǎng)絡(luò)劃分為服務(wù)網(wǎng)絡(luò)，數(shù)據(jù)庫網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)。服務(wù)網(wǎng)絡(luò)主要用于系統(tǒng)間調(diào)度服務(wù)器、ETL 集群、報表服務(wù)器集群和數(shù)據(jù)庫服務(wù)器三者之間的信息的交互和共享；存儲網(wǎng)絡(luò)主要用于系統(tǒng)間調(diào)度服務(wù)器、ETL 集群、報表服務(wù)器集群和共享存儲之間的信息交互和共享；數(shù)據(jù)庫網(wǎng)絡(luò)主要用于數(shù)據(jù)庫服務(wù)器和數(shù)據(jù)存儲之間的信息交互和共享；數(shù)據(jù)中心建設(shè)基于系統(tǒng)集群節(jié)點的并行處理，需要大量的信息交互，因此，上述三個網(wǎng)絡(luò)的網(wǎng)絡(luò)帶寬均需要到達(dá)千兆網(wǎng)絡(luò)的標(biāo)準(zhǔn)，以保證 ODS 內(nèi)部的大量信息交互。集群內(nèi)部主要使用的網(wǎng)絡(luò)協(xié)議有：TCP/IP、HTTP、FTP、TELNET、NFS 等。2.2.4 標(biāo)準(zhǔn)化中間件標(biāo)準(zhǔn)化中間件在企業(yè)級計算環(huán)境提供強大的計算能力、擴展能力等特性的同時，需要標(biāo)準(zhǔn)化的中間件部署在企業(yè)級計算環(huán)境中作為計算需求應(yīng)用的基礎(chǔ)服務(wù)。需要的計算服務(wù)為：增量數(shù)據(jù)獲取服務(wù)由 CDC（Change Data Capture）軟件提供基于數(shù)據(jù)庫日志的準(zhǔn)實時的、精確的增量數(shù)據(jù)獲取服務(wù)。在此推薦使用 IBM 公司的InfoSphere CDC 作為 CDC 工具。數(shù)據(jù)加工處理服務(wù)數(shù)據(jù)中心是由大量的 ETL（Extract Transform Load）過程有機結(jié)合構(gòu)成的一個整體，因此 ETL 工具處于數(shù)據(jù)中心建設(shè)中數(shù)據(jù)加工的核心地位，需要一個能夠?qū)崿F(xiàn)并行擴展，適應(yīng)集群架構(gòu)的高效工具。IBM 的 DataStage 是 ETL 領(lǐng)域的領(lǐng)先產(chǎn)品，在國內(nèi)金融行業(yè)具有眾財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 21 頁多成功案例及集群架構(gòu)的最佳實踐經(jīng)驗。數(shù)據(jù)存儲服務(wù)數(shù)據(jù)的流轉(zhuǎn)與保存需要存在在高性能、穩(wěn)定的數(shù)據(jù)庫軟件中，此部分采用 InfoSphere Warehouse 數(shù)據(jù)庫。報表服務(wù)數(shù)據(jù)中心服務(wù)的目標(biāo)除了 CRM 等標(biāo)準(zhǔn)應(yīng)用之外，還需要為業(yè)務(wù)統(tǒng)計分析、查詢等提供數(shù)據(jù)展現(xiàn)服務(wù)，作為企業(yè)級報表平臺的基礎(chǔ)。此部分采用招標(biāo)方選定的 Cognos BI 軟件。2.2.5 調(diào)度監(jiān)控管理調(diào)度監(jiān)控管理企業(yè)級數(shù)據(jù)中心建設(shè)時一個系統(tǒng)工程，復(fù)雜度高、周期長，涉及到的數(shù)據(jù)處理步驟多，需要多種中間件協(xié)同配合來完成系統(tǒng)數(shù)據(jù)的有效流轉(zhuǎn)于加工。如何指揮各個細(xì)分領(lǐng)域優(yōu)秀的軟件有效協(xié)同，提升系統(tǒng)健壯性、保障系統(tǒng)高效性，降低運維難度，成為數(shù)據(jù)中心建設(shè)的重大難點。為了實現(xiàn)上述目標(biāo)，需要一個先進的全局調(diào)度、監(jiān)控管理軟件。先進數(shù)通根據(jù)多年的實踐經(jīng)驗，自主研發(fā)了企業(yè)級信息應(yīng)用管理平臺軟件MOIA。主要功能為：Active Anytime自動剔除失敗節(jié)點并重新運行失敗節(jié)點上已運行任務(wù)自動切換調(diào)度主節(jié)點，保證主節(jié)點永久存活，保障業(yè)務(wù)連續(xù)性多種調(diào)度管理對象DataStage Job各種可在命令行執(zhí)行的程序及 Command各平臺內(nèi)置腳本編制的程序文件存儲過程解釋性語言編制的程序文件如 Perl、SQL 等多種任務(wù)觸發(fā)條件靈活的調(diào)度功能，按照執(zhí)行日歷、執(zhí)行時間窗口、作業(yè)依賴關(guān)系、數(shù)據(jù)依賴關(guān)系等多種條件，組合產(chǎn)生滿足作業(yè)運行的條件。深度集成 CDC、DataStage、CognosAPI 級驅(qū)動任務(wù)運行自動讀取 DataStage Job 開發(fā)、配置信息高效任務(wù)調(diào)度引擎財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 22 頁調(diào)度流程管理；任務(wù)掃描和調(diào)度；可拖拉的圖形化配置、依賴條件管理等；有效的外部集成“事件驅(qū)動”的調(diào)度模式，能將您的應(yīng)用無縫集成到 MOIA 中，實現(xiàn)企業(yè) BI 應(yīng)用的全局調(diào)度；通過事件驅(qū)動實現(xiàn)異常情況下的外部通知。動態(tài)負(fù)載均衡根據(jù)作業(yè)的邏輯復(fù)雜度和硬件資源情況，動態(tài)為 Moia 平臺中作業(yè)做負(fù)載均衡處理；數(shù)據(jù)管理業(yè)務(wù)數(shù)據(jù)管理；數(shù)據(jù)權(quán)限管理；數(shù)據(jù)部署管理；數(shù)據(jù)狀態(tài)管理。資源管理資源采集和監(jiān)控、動態(tài)負(fù)載均衡、動態(tài)并發(fā)控制系統(tǒng)管理提供配置管理、用戶管理、平臺管理、日志管理、手工控制、監(jiān)控服務(wù)等系統(tǒng)級功能2.3 數(shù)據(jù)倉庫建模方案數(shù)據(jù)倉庫建模方案2.3.1 數(shù)據(jù)模型設(shè)計思路和原則數(shù)據(jù)模型設(shè)計思路和原則1、數(shù)據(jù)模型設(shè)計的主要思路數(shù)據(jù)模型設(shè)計的主要思路能夠滿足對證券多種業(yè)務(wù)分散的數(shù)據(jù)源進行有效整合能夠滿足對證券多種業(yè)務(wù)分散的數(shù)據(jù)源進行有效整合 數(shù)據(jù)模型是一套對業(yè)務(wù)架構(gòu)進行高度抽象和全面支持的設(shè)計思想，因此其基礎(chǔ)是對業(yè)務(wù)架構(gòu)的深層次理解；數(shù)據(jù)模型的設(shè)計是一個非常復(fù)雜而艱辛的過程，需要經(jīng)過對目前和將來可預(yù)見的業(yè)務(wù)需求的深入分析，才能建立一個適應(yīng)性強的數(shù)據(jù)模型；便于對證券業(yè)務(wù)數(shù)據(jù)按主題概念進行理解和規(guī)范便于對證券業(yè)務(wù)數(shù)據(jù)按主題概念進行理解和規(guī)范 參考國內(nèi)外專家金融業(yè)建模經(jīng)驗；每個主題下設(shè)計相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成整個企業(yè)統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型；對不同類型的數(shù)據(jù)進行統(tǒng)一組織、管理對不同類型的數(shù)據(jù)進行統(tǒng)一組織、管理數(shù)據(jù)模型的實施需要有數(shù)據(jù)整合的經(jīng)驗積累；定義數(shù)據(jù)元素，把這些元素組織成主題/實體并組織這些主題/實體之間的關(guān)系；2、模型設(shè)計的原則模型設(shè)計的原則統(tǒng)一規(guī)范統(tǒng)一規(guī)范靈活性原則靈活性原則可擴展性原則可擴展性原則 高效性原則高效性原則 財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 23 頁實用性原則實用性原則存儲空間合理性原則存儲空間合理性原則 3、模型設(shè)計的依據(jù)模型設(shè)計的依據(jù)以數(shù)據(jù)源為基礎(chǔ)：以數(shù)據(jù)源為基礎(chǔ)：基于證券現(xiàn)有業(yè)務(wù)發(fā)展情況，在對集中交易系統(tǒng)、清算系統(tǒng)、投資管理系統(tǒng)等系統(tǒng)數(shù)據(jù)源進行詳細(xì)和全面分析的基礎(chǔ)上，結(jié)合未來業(yè)務(wù)發(fā)展的方向，使數(shù)據(jù)模型具有廣泛的涵蓋性、良好的擴展性、優(yōu)越的高效性和實用性；目標(biāo)應(yīng)用驅(qū)動：目標(biāo)應(yīng)用驅(qū)動：針對可預(yù)見的目標(biāo)應(yīng)用對數(shù)據(jù)模型進行的必要調(diào)整，實現(xiàn)多個目標(biāo)應(yīng)用的公共加工匯總要求；統(tǒng)一規(guī)范和管理：統(tǒng)一規(guī)范和管理：對證券業(yè)務(wù)數(shù)據(jù)按主題概念進行理解和規(guī)范，對不同類型的數(shù)據(jù)進行統(tǒng)一管理；4、模型設(shè)計的目標(biāo)模型設(shè)計的目標(biāo)統(tǒng)一數(shù)據(jù)視圖統(tǒng)一數(shù)據(jù)視圖完整的數(shù)據(jù)良好的數(shù)據(jù)組織：合理的主題劃分、明確的實體間關(guān)系等統(tǒng)一的數(shù)據(jù)解釋清晰的數(shù)據(jù)流向高度的數(shù)據(jù)可用性高度的數(shù)據(jù)可用性合理的數(shù)據(jù)冗余合理的存儲分布策略必需的共性加工2.3.2 證券業(yè)概念模型證券業(yè)概念模型1、主題域主題域數(shù)據(jù)倉庫邏輯模型的設(shè)計通常采用自頂而下的方法，首先針對需求涉及范圍內(nèi)的業(yè)務(wù)對象從高度概括的概念層次歸類，即劃分主題域，再針對各個主題設(shè)計實體關(guān)系圖。數(shù)據(jù)中心 LDM 參照了國際先進的 FS-LDM 模型，F(xiàn)S-LDM（金融業(yè)邏輯數(shù)據(jù)模型）是 TD 多年來在全球?qū)嵤┙?230 家金融業(yè)數(shù)據(jù)倉庫項目的經(jīng)驗結(jié)晶 如下圖所示。整個邏輯數(shù)據(jù)模型把復(fù)雜的金融業(yè)務(wù)歸納成團體、產(chǎn)品、賬戶、事件、渠道、組織、地理區(qū)域和行銷活動等八大主題。它蘊含了現(xiàn)代金融的分析決策和客戶關(guān)系管理的各個方面。FS-LDM 模型參照如下：財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 24 頁設(shè)計思路：基于 FS-LDM，根據(jù)所設(shè)定的目標(biāo)和數(shù)據(jù)范圍，確定需要建設(shè)的主題范圍，構(gòu)建 LDM 的原型框架。LDM 原型框架決定數(shù)據(jù)倉庫的數(shù)據(jù)組織原則和基本形式，也決定了數(shù)據(jù)倉庫的應(yīng)用范圍和應(yīng)用模式。 財達(dá)證券的數(shù)據(jù)中心的概念模型設(shè)計將參照參考了 Teradata 在金融領(lǐng)域提出的FS-LDM，對 IBM 的 FMDM 進行補充和完善。2、證券公司信息流分析證券公司信息流分析證券行業(yè)的信息流，可分為以下幾種：（a）客戶信息流（b）交易信息流（c）資金信息流（d）行情信息流（e）基本信息流（f）公告信息流（g）政策信息流（h）自用業(yè)務(wù) （i）投行業(yè)務(wù)（j）CRM 系統(tǒng)（k）營銷系統(tǒng)（l）績效管理 （k）風(fēng)險管理其中，按照其語義系統(tǒng)又可以分成 7 類。前 a-c 以交易主體為核心，可以歸納為交易數(shù)據(jù)集合。 d-g 圍繞交易對象展開，可以歸納為行情數(shù)據(jù)集合。 hI 是圍繞業(yè)務(wù)種類展開，可以歸納為產(chǎn)品信息集合。 J可 是圍繞營銷和客戶關(guān)系展開，歸納為營銷服務(wù)集合。Lm 圍繞人力績效和系統(tǒng)風(fēng)險展開，歸納為內(nèi)控數(shù)據(jù)集合。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 25 頁2.3.3 數(shù)據(jù)倉庫解決方案數(shù)據(jù)倉庫解決方案2.3.3.12.3.3.1以以 TDTD 的的 FS-LFS-LDMDM 模型模型為基礎(chǔ)為基礎(chǔ)參照 TD 的 FS-LDM（金融業(yè)邏輯數(shù)據(jù)模型） ，該模型多年來在全球?qū)嵤┙?230 家金融業(yè)數(shù)據(jù)倉庫項目。把金融系統(tǒng)數(shù)據(jù)按照 組織機構(gòu)、產(chǎn)品、客戶、客戶資產(chǎn)、事件、渠道、財務(wù)、合同、地理區(qū)域和行銷活動（營銷）等 10 個主題進行組織。先進數(shù)通保留了 LDM 中主題類別，對事件中的所定義的客服歸入到營銷主題。把客戶名稱修改為當(dāng)事人。2.3.3.22.3.3.2參照參照 IBMIBM 的的 FSDMFSDM 模型模型FSDM(Financial Services Data Model)是一個企業(yè)級數(shù)據(jù)模型，包括了金融機構(gòu)約 80%的業(yè)務(wù)數(shù)據(jù)。用于把預(yù)定義的業(yè)務(wù)模板連接到核心銀行業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)倉庫中。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 26 頁FSDM 把相關(guān)業(yè)務(wù)數(shù)據(jù)分為 9 大主題，它蘊含了現(xiàn)代金融的分析決策和客戶關(guān)系管理的各個方面。 共包括“相關(guān)當(dāng)事方、協(xié)議、條件、產(chǎn)品、位置、分類、業(yè)務(wù)方針、事件、資源項” 。FSDM 主題關(guān)系圖如下圖所示：FSDM 大約提供了 40 多種業(yè)務(wù)模板，是 IBM 多年與世界各大金融機構(gòu)合作的經(jīng)驗，涵蓋了銀行和證券及保險相關(guān)金融機構(gòu)。業(yè)務(wù)模板包括如下 4 類：關(guān)系市場分析關(guān)系市場分析: 包括：市場策劃分析、客戶貢獻分析、促銷分析、個人客戶歸檔、交叉銷售分析、客戶投資分析、客戶忠誠度分析、客戶行為分析、市場導(dǎo)向分析；利潤分析利潤分析: 包括：客戶終生價值分析、產(chǎn)品利潤、機構(gòu)利潤、客戶利潤、營銷渠道利潤、績效衡量、地區(qū)利潤、客戶行為成本、產(chǎn)品分析。風(fēng)險分析風(fēng)險分析: 包括：不良貸款評估、信用檔案、欠款分析、安全分析、利率敏感分析、關(guān)系人風(fēng)險。資產(chǎn)負(fù)債管理資產(chǎn)負(fù)債管理: 包括：基金成熟度分析、中央銀行報表、收益分析、流動資產(chǎn)分析。先進數(shù)通保留了 LDM 中除去“條件” “業(yè)務(wù)方針”外的主題，對事件中的所定義的客服歸入到營銷主題。按照業(yè)務(wù)模板推導(dǎo)出 16 個數(shù)據(jù)集市。2.3.3.3 數(shù)據(jù)倉庫的本質(zhì)分析數(shù)據(jù)倉庫的本質(zhì)分析數(shù)據(jù)倉庫的最基本職能就是數(shù)據(jù)集成和管理，但最基本職能不代表最簡單，異構(gòu)信息的采集存在諸多難點，如下圖所示：財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 27 頁信息采集的難點針對目前核心交易系統(tǒng)、清算系統(tǒng)、財務(wù)系統(tǒng)、資管系統(tǒng)、三方存管系統(tǒng)、融資融券系統(tǒng)、網(wǎng)上交易系統(tǒng)、風(fēng)險監(jiān)控系統(tǒng)、CRM 系統(tǒng)、短信平臺系統(tǒng)等的現(xiàn)狀，將把上述系統(tǒng)作為數(shù)據(jù)倉庫的關(guān)鍵數(shù)據(jù)源。在建設(shè)初期，我們將把核心交易系統(tǒng)以及相關(guān)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中存放、整合，快速構(gòu)造數(shù)據(jù)平臺，滿足最迫切的業(yè)務(wù)應(yīng)用需求。同時，我們將以核心交易系統(tǒng)為基礎(chǔ)，參考 FMDW 構(gòu)建邏輯數(shù)據(jù)模型，實現(xiàn)企業(yè)數(shù)據(jù)倉庫的平滑過渡。源系統(tǒng)的選擇標(biāo)準(zhǔn)和納入數(shù)據(jù)倉庫的先后順序原則主要是：源業(yè)務(wù)系統(tǒng)選擇標(biāo)準(zhǔn)：1. 按照 IBM 金融行業(yè)數(shù)據(jù)模型 FSDM 的數(shù)據(jù)概念要求梳理數(shù)據(jù)源信息。具體的邏輯數(shù)據(jù)模型組織可以參考 FMDW，進行相應(yīng)的定制。FSDM 與 FMDW 之間的管理如下圖所示：財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 28 頁2. 按照業(yè)務(wù)和應(yīng)用的需求優(yōu)先級3. 系統(tǒng)能夠產(chǎn)生有分析價值的數(shù)據(jù)納入數(shù)據(jù)倉庫的先后順序原則：根據(jù)戰(zhàn)略價值、數(shù)據(jù)充足度和實施難易度、投資回報性來綜合考慮，優(yōu)先實施戰(zhàn)略價值高、數(shù)據(jù)充足、易實施、投資回報高的。優(yōu)先考慮全企業(yè)集中的系統(tǒng)和運行穩(wěn)定的系統(tǒng)。2.3.3.4 主題域的定義主題域的定義1. 按照 FSDM 的要求。FSDM 具有 9 大主題，包括相關(guān)當(dāng)事方、協(xié)議、條件、產(chǎn)品、位置、分類、業(yè)務(wù)方針、事件、資源項，內(nèi)容如下：2. 按照業(yè)務(wù)和應(yīng)用的需求。3. 根據(jù) IBM 與業(yè)務(wù)合作伙伴豐富的實施經(jīng)驗，選取有價值的表和字段。2.3.3.5 數(shù)據(jù)整合數(shù)據(jù)整合在選定數(shù)據(jù)源與數(shù)據(jù)內(nèi)容的基礎(chǔ)上進行的數(shù)據(jù)抽取、加載、轉(zhuǎn)換工作同樣面臨財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 29 頁各種信息整合加工難點，概要總結(jié)如下圖所示：信息整合加工難點分析要保證 ETL 工作的順利實現(xiàn)，靈活高效的專業(yè) ETL 軟件工具不可或缺。一般建議的數(shù)據(jù)倉庫 ETL 任務(wù)安排可以劃分為以下五部分內(nèi)容，如圖所示：數(shù)據(jù)倉庫 ETL 任務(wù)安排示意圖ETL 工作的目標(biāo)包括： 創(chuàng)建可擴展、高效、靈活的系統(tǒng)架構(gòu) 設(shè)計完整的數(shù)據(jù)集成架構(gòu)，提高數(shù)據(jù)質(zhì)量 建立一套能提高開發(fā)效率的 ETL 架構(gòu) 抽取共性的數(shù)據(jù)處理，統(tǒng)一實施，提高整體實施效率，減少重復(fù)實施成本。 具備提供當(dāng)前全量數(shù)據(jù)和存儲短期全量數(shù)據(jù)的能力，并滿足各類數(shù)據(jù)需求。 屏蔽源系統(tǒng)、減少或避免目標(biāo)系統(tǒng)對源系統(tǒng)的干擾。 建立數(shù)據(jù)管理-控制機制。IBM 建議的 ETL 工具主要是 datastage，主要具備以下優(yōu)勢： 圖形化專業(yè)的 ETL 處理平臺 優(yōu)異并行 ETL 處理能力，支持 Cluster 架構(gòu)，使系統(tǒng)具有無限的橫向擴展能力以適應(yīng)數(shù)據(jù)量的快速增長 豐富組件滿足各種類型的業(yè)務(wù)需求，并利用 DataStage 提供的用戶開發(fā)接口，實現(xiàn)更加復(fù)雜的處理邏輯； 利用 DataStage 組件或者作業(yè)的可重用性，大大降低了作業(yè)的數(shù)量和作業(yè)的復(fù)雜程度； 完整的技術(shù)元數(shù)據(jù)管理，開放的 repository。2.3.3.6 數(shù)據(jù)存儲與服務(wù)數(shù)據(jù)存儲與服務(wù)財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 30 頁數(shù)據(jù)存儲與服務(wù)功能是數(shù)據(jù)倉庫的基礎(chǔ)性功能，其數(shù)據(jù)存儲與處理方式與傳統(tǒng)的 OLTP 交易系統(tǒng)或通常意義上的數(shù)據(jù)庫有較大差異。必須充分考慮海量數(shù)據(jù)存儲特點、大量復(fù)雜并行計算要求以及系統(tǒng)線性可擴展能力。IBM 建議的產(chǎn)品主要是基于 MPP 架構(gòu)的 infosphere warehouse，它主要具備以下優(yōu)勢： 基于非共享體系架構(gòu)，優(yōu)異的線型擴展性 支持多臺機器并行計算，高效的性能 基于數(shù)據(jù)倉庫的查詢負(fù)載能力 多種基于查詢分析的優(yōu)化技術(shù) 全面集成的數(shù)據(jù)倉庫解決方案，簡單的開發(fā)，維護和部署 內(nèi)嵌數(shù)據(jù)挖掘，便于構(gòu)建數(shù)據(jù)挖掘應(yīng)用 易管理，易維護，技術(shù)領(lǐng)先。這些技術(shù)優(yōu)勢將有效保障數(shù)據(jù)倉庫系統(tǒng)資源利用率的最大化和管理維護的簡化。2.3.3.7 數(shù)據(jù)訪問數(shù)據(jù)訪問數(shù)據(jù)倉庫豐富的信息內(nèi)容的展現(xiàn)可以按照應(yīng)用需求形勢靈活選擇，例如隨機查詢、定制報表、多維分析、OLAP 操作、關(guān)鍵指標(biāo)匯總、儀表盤展現(xiàn)，以及數(shù)據(jù)倉庫應(yīng)用高級階段的與業(yè)務(wù)系統(tǒng)聯(lián)動的事件觸發(fā)式業(yè)務(wù)流程等等。展現(xiàn)形式如下圖示意：為了滿足各種展現(xiàn)功能的需求，IBM 建議前端展現(xiàn)工具采用金融行業(yè)客戶已經(jīng)大量采用的專業(yè) BI 工具 cognos，基于 SOA 架構(gòu)的多維分析和展現(xiàn)工具Cognos 8 BI具備以下優(yōu)勢： 報表 提供完整范圍報告類型 通過多種類型的報表輸出，交付可靠的信息 可訂制的和對象化的 利用信息技術(shù)，允許透過用戶的協(xié)作，社區(qū)和 IT 提供郵件，門戶，微軟辦公套件，搜索 和移動設(shè)備的訪問財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 31 頁 分析 通過信息的多個維度提供引導(dǎo)探查 簡單快速的執(zhí)行復(fù)雜分析和場景模型 揭示隱含的趨勢，來顯示征兆和原因 毫不費力的從概要等級信息到細(xì)目等級信息的移動 儀表盤提供快速瀏覽，復(fù)雜信息的高效視圖。幫助快速聚焦需要注意和行動的問題。高視覺和直覺效果透過異類的信息源合并信息 計分卡對于目標(biāo)和基準(zhǔn)提供及時的測量。自主并戰(zhàn)略的擺列結(jié)果和策略支持記分卡方法論。確保所有權(quán)和責(zé)任2.3.3.8 ADT 的數(shù)據(jù)的數(shù)據(jù)倉庫倉庫模型模型ADT-FSDM 具有如下特點： 適用證券行業(yè)的 10 大業(yè)務(wù)主題，主題關(guān)系圖如下：典型主題描述如下：客戶主題用于組織和存儲證券業(yè)務(wù)經(jīng)營相關(guān)的所有參與人的信息，包括證券業(yè)務(wù)客戶（機構(gòu)、個人客戶）、證券合作伙伴、證券監(jiān)管機構(gòu)及兄弟同行的基本信息和歷史變化信息。公司主題財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 32 頁用于組織和存儲證券的內(nèi)部組織機構(gòu)的基本信息，包括營業(yè)機構(gòu)和部門信息，便于按機構(gòu)或部門、職員維度進行統(tǒng)計和分析。財務(wù)主題用于組織機構(gòu)和存貯除客戶以外的證券內(nèi)部當(dāng)前會計核算內(nèi)部帳、主帳信息。協(xié)議主題體現(xiàn)證券與客戶、合作伙伴、同業(yè)機構(gòu)之間的業(yè)務(wù)關(guān)系，所有證券與客戶、合作伙伴、同業(yè)機構(gòu)之間發(fā)生的任何業(yè)務(wù)關(guān)系都會有協(xié)議進行體現(xiàn)，在本主題下組織和存貯證券業(yè)務(wù)所有參與者之間在業(yè)務(wù)過程中產(chǎn)生的所有帳戶契約、協(xié)議、合同、有協(xié)議效用的登記簿等相關(guān)內(nèi)容。事件主題體現(xiàn)證券與客戶或合作伙伴之間發(fā)生的所有業(yè)務(wù)明細(xì)事件，也就是通常指的業(yè)務(wù)明細(xì)，按照協(xié)議分類組織存放相關(guān)協(xié)議下的業(yè)務(wù)發(fā)生記錄，登記每筆業(yè)務(wù)發(fā)生的時間、地點、人員及相關(guān)業(yè)務(wù)要素內(nèi)容，便于對業(yè)務(wù)情況進行分析，并為業(yè)務(wù)對帳提供數(shù)據(jù)支持。渠道主題用于組織和存儲證券的渠道基本信息，將證券的渠道進行細(xì)分，并進行編碼，便于按渠道進行業(yè)務(wù)的分析和統(tǒng)計。 適用證券行業(yè)應(yīng)用的 16 個數(shù)據(jù)集市，列表如下：1. 客戶信息數(shù)據(jù)集市；2. 客戶交易數(shù)據(jù)集市；3. 交易產(chǎn)品數(shù)據(jù)集市；4. 財務(wù)數(shù)據(jù)集市；5. 績效數(shù)據(jù)集市；6. 行情數(shù)據(jù)集市；7. 經(jīng)紀(jì)人數(shù)據(jù)集市；8. 清算數(shù)據(jù)集市；9. 咨詢信息數(shù)據(jù)集市；10.人力資源數(shù)據(jù)集市；11.自營業(yè)務(wù)數(shù)據(jù)集市；12.內(nèi)控管理數(shù)據(jù)集市；13.客戶資產(chǎn)數(shù)據(jù)集市；14.理財產(chǎn)品數(shù)據(jù)集市；財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 33 頁15.客戶服務(wù)數(shù)據(jù)集市；16.營銷活動數(shù)據(jù)集市。2.3.3.9 預(yù)置預(yù)置 130 張業(yè)務(wù)報表張業(yè)務(wù)報表預(yù)置報表涵蓋了綜合查詢、ACRM 及 DSS 系統(tǒng)，其中包括如下列表： DSS 約 30 張報表； ACRM 約 30 張報表； 綜合報表約 70 張報表；2.3.3.10內(nèi)置內(nèi)置 485 個個業(yè)務(wù)指標(biāo)業(yè)務(wù)指標(biāo)庫庫共內(nèi)置業(yè)務(wù)指標(biāo) 485 個，其中含 281 個基礎(chǔ)指標(biāo)及 204 個派生指標(biāo)；并規(guī)劃了指標(biāo)維護平臺，以供客戶自行增加指標(biāo)及進行指標(biāo)維護；每個指標(biāo)都標(biāo)記了主題、部門、類別、計算公式、依賴關(guān)系等屬性。2.3.4 元數(shù)據(jù)設(shè)計模型元數(shù)據(jù)設(shè)計模型1、元數(shù)據(jù)概念元數(shù)據(jù)概念按照傳統(tǒng)的定義，元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉庫管理員和數(shù)據(jù)倉庫的開發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉庫內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類：技術(shù)元數(shù)據(jù)（Technical Metadata）和業(yè)務(wù)元數(shù)據(jù)（Business Metadata） 。技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開發(fā)和管理數(shù)據(jù)倉庫使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容；業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式；匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢與報告；由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權(quán)和存取控制） ；業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實際系統(tǒng)之間的語義層，使得不懂計算機技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語所表達(dá)的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報表的信息；具體包括以下信息：企業(yè)概念模型：這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個企業(yè)的業(yè)務(wù)概念和相互關(guān)系。以這個企業(yè)模型為基礎(chǔ)，不懂?dāng)?shù)據(jù)庫技術(shù)和 SQL 語句的業(yè)務(wù)人員對數(shù)據(jù)倉庫中的數(shù)據(jù)也能做到心中有財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 34 頁數(shù)。多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分，它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實表和維表的多維組織形式。業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的依賴：以上提到的業(yè)務(wù)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖，這些業(yè)務(wù)視圖與實際的數(shù)據(jù)倉庫或數(shù)據(jù)庫、多維數(shù)據(jù)庫中的表、字段、維、層次等之間的對應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識庫中有所體現(xiàn)。2、元數(shù)據(jù)作用元數(shù)據(jù)作用在數(shù)據(jù)倉庫系統(tǒng)中，元數(shù)據(jù)機制主要支持以下五類系統(tǒng)管理功能：描述哪些數(shù)據(jù)在數(shù)據(jù)倉庫中；定義要進入數(shù)據(jù)倉庫中的數(shù)據(jù)和從數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)；記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進行的數(shù)據(jù)抽取工作時間安排；記錄并檢測系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況；衡量數(shù)據(jù)質(zhì)量；與其說數(shù)據(jù)倉庫是軟件開發(fā)項目，還不如說是系統(tǒng)集成項目，因為它的主要工作是把所需的數(shù)據(jù)倉庫工具集成在一起，完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，OLAP 分析和數(shù)據(jù)挖掘等。它的典型結(jié)構(gòu)由操作環(huán)境層、數(shù)據(jù)倉庫層和業(yè)務(wù)層等組成。其中，第一層（操作環(huán)境層）是指整個企業(yè)內(nèi)有關(guān)業(yè)務(wù)的 OLTP 系統(tǒng)和一些外部數(shù)據(jù)源；第二層是通過把第一層的相關(guān)數(shù)據(jù)抽取到一個中心區(qū)而組成的數(shù)據(jù)倉庫層；第三層是為了完成對業(yè)務(wù)數(shù)據(jù)的分析而由各種工具組成的業(yè)務(wù)層。其中的元數(shù)據(jù)管理部分起到了承上啟下的作用，具體體現(xiàn)在以下幾個方面：便于集成提高系統(tǒng)的靈活性保證數(shù)據(jù)的質(zhì)量幫助用戶理解數(shù)據(jù)的意義3、元數(shù)據(jù)模型設(shè)計元數(shù)據(jù)模型設(shè)計所有元數(shù)據(jù)按照其予以特征，劃分為 7 個大類，即通用類、元元數(shù)據(jù)類、變量規(guī)范類、標(biāo)準(zhǔn)過程類、數(shù)據(jù)組織類、角色權(quán)利類、 模型擴展類，各類元數(shù)據(jù)相互獨立，具有明確的語義特征，參見下表：元數(shù)據(jù)的語義特征:類別名稱語義特征通用對元數(shù)據(jù)模型進行整體描述,包括各類元數(shù)據(jù)的生存期限進行說明元元數(shù)據(jù)描述有關(guān)元數(shù)據(jù)記錄的自身信息變量規(guī)范對所有可以以標(biāo)準(zhǔn)變量形式進行表示的元數(shù)據(jù)進行描述處理過程對所有與數(shù)據(jù)處理流程算法有關(guān)的元數(shù)據(jù)進行描述數(shù)據(jù)組織對數(shù)據(jù)存儲的邏輯組織方法進行描述角色權(quán)利對使用元數(shù)據(jù)模型的用戶類別與權(quán)力進行描述模型擴展對模型內(nèi)容的擴展方法進行描述元數(shù)據(jù)模型構(gòu)造方法自傷而下、逐步細(xì)化。可以歸納為：模型最基本的構(gòu)造單元為基本數(shù)據(jù)元素， 基本數(shù)據(jù)元素根據(jù)相互間語義的關(guān)聯(lián)，構(gòu)造出類別表(如過程類財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 35 頁別表)，定義表(如變量定義表)和詞匯表等中間部件，逐級綜合，最終構(gòu)成元數(shù)據(jù)模型的整體。 模型對所有中間部件都給出了引用名稱，定義等方面的規(guī)范， 而對基本數(shù)據(jù)元素，又特別給出了數(shù)據(jù)類型和取值范圍的說明。模型總體結(jié)構(gòu)采用樹狀圖形式描述：變量規(guī)范的總體結(jié)構(gòu)：過程類劃分：類別名稱含義實例分析手段特殊處理處理一下過程處理不能處理的特殊情況證券余額沖突處理數(shù)據(jù)采集從數(shù)據(jù)源中采集數(shù)據(jù)當(dāng)日行情數(shù)據(jù)清洗對采集的數(shù)據(jù)進行預(yù)處理去除配號數(shù)據(jù)財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 36 頁數(shù)據(jù)歸檔將預(yù)處理符合要求的數(shù)據(jù)存放到不同的數(shù)據(jù)集市中去個人信息庫初級分析初級分析部分功能（涉及單個數(shù)據(jù)集合的單個類別）客戶年齡分析分類統(tǒng)計 OLAP高級分析高級分析部分功能（涉及某個數(shù)據(jù)集合的多個類別）性別，年齡，委托方式聯(lián)系關(guān)聯(lián)分析，OLAP綜合分析涉及多個數(shù)據(jù)集合，多個信息類別，或來自較低級數(shù)據(jù)的分析結(jié)果盈利客戶操作時點分析數(shù)據(jù)挖掘等分析手段2.3.5 數(shù)據(jù)建模工具和方法數(shù)據(jù)建模工具和方法1、概述概述模型是現(xiàn)實世界中的事物（包括客觀規(guī)律）的一種客觀的抽象表示或模擬。抽象的含義是強調(diào)事物的本質(zhì)特性，揚棄事物的次要因素。因此，模型既反映事物的原型，又不等于該原型，或者說它是原型的一種近似。模型是理解、分析、開發(fā)或改造事物原型的一種常用手段。模型的表現(xiàn)形式可以是數(shù)學(xué)公式、物理裝置、計算機仿真、專用的圖表文字或形式化語言等等。2、數(shù)據(jù)模型數(shù)據(jù)模型數(shù)據(jù)模型是對客觀事物及其聯(lián)系的數(shù)據(jù)描述，包括層次數(shù)據(jù)模型、網(wǎng)絡(luò)數(shù)據(jù)模型、關(guān)系數(shù)據(jù)模型、基于邏輯的數(shù)據(jù)模型、多維數(shù)據(jù)模型等等。數(shù)據(jù)倉庫的數(shù)據(jù)模型主要涉及關(guān)系數(shù)據(jù)模型、多維數(shù)據(jù)模型，分別對應(yīng)關(guān)系數(shù)據(jù)倉庫和多維數(shù)據(jù)倉庫。中國移動經(jīng)營分析系統(tǒng)底層細(xì)節(jié)數(shù)據(jù)的存儲采用關(guān)系數(shù)據(jù)模型，即關(guān)系數(shù)據(jù)庫。除非特別說明，本文所指的數(shù)據(jù)模型將特指關(guān)系數(shù)據(jù)模型，數(shù)據(jù)倉庫將特指經(jīng)營分析系統(tǒng)的底層關(guān)系數(shù)據(jù)庫。財達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項目投標(biāo)書第 37 頁3、第三范式第三范式范式理論是關(guān)系數(shù)據(jù)模型設(shè)計的基礎(chǔ)，關(guān)系數(shù)據(jù)模型可以從第一范式到第五范式進行無損分解，該過程也稱為規(guī)范化(Normalize)。規(guī)范化的基本思想是逐步消除數(shù)據(jù)依賴中不合適的部分，使各關(guān)系模式達(dá)到某種程度的分離，即“一事一地”(One Fact in One Place)的設(shè)計原則，它有非常嚴(yán)格的數(shù)學(xué)定義。規(guī)范化為數(shù)據(jù)庫的設(shè)計和實施、應(yīng)用程序的開發(fā)提供了諸多好處，其主要優(yōu)點體現(xiàn)在：可以得到更全面的數(shù)據(jù)組織減少不必要的數(shù)據(jù)冗余易于維護數(shù)據(jù)的完整性模型設(shè)計更靈活，便于系統(tǒng)今后的擴展數(shù)據(jù)庫設(shè)計一般采用第三范式，從所表達(dá)的含義看，一個符合第三范式的關(guān)系必須滿足以下三個條件：每個屬性的值唯一，不具有多義性；每個非主屬性必須完全依賴于整個主鍵，而非主鍵的一部分；關(guān)系模式中不存在傳遞依賴；考慮到平臺分析系統(tǒng)數(shù)據(jù)倉庫的可擴展能力、投資成本和易于管理等多種因素，系統(tǒng)基本上遵照第三范式進行設(shè)計。4、實體關(guān)系模型實體關(guān)系模型實體-關(guān)系方法是一種具有代表性的語義數(shù)據(jù)建模方法，其圖形化表示稱為實體-關(guān)系圖（簡稱 ER 圖） 。按照實體-關(guān)系方法建立的系統(tǒng)數(shù)據(jù)模型稱為實體-關(guān)系模型（Entity Relationship Model，簡稱 ER 模型） 。ER 模型經(jīng)過多年的發(fā)展完善，逐漸形成了完整、統(tǒng)一的建模標(biāo)準(zhǔn)，同時許多工具軟件支持用 ER 模型完成數(shù)據(jù)庫的概念、邏輯和物理建模過程。IE 和 IDEF1