I正本正本財(cái)財(cái)達(dá)達(dá)證券證券有有限限責(zé)任責(zé)任公公司司數(shù)數(shù)據(jù)據(jù)中心中心項(xiàng)項(xiàng)目目投投標(biāo)標(biāo)文文件件 技術(shù)部分技術(shù)部分 北京先進(jìn)數(shù)通信息技術(shù)有限公司北京先進(jìn)數(shù)通信息技術(shù)有限公司 20112011 年年 1010 月月 1818 日日本文件涉及信息為北京先進(jìn)數(shù)通信息技術(shù)有限公司專(zhuān)有信息，敬請(qǐng)視同機(jī)密文件處理。除因需要而得到授權(quán)的財(cái)達(dá)證券有限責(zé)任公司及本公司有關(guān)人員外，請(qǐng)勿以任何形式向他人或任何第三方透露。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 II 頁(yè)目目 錄錄1總體概述總體概述.101.1項(xiàng)目背景.101.2總體設(shè)計(jì)目標(biāo).101.3階段建設(shè)目標(biāo).101.4系統(tǒng)范圍.112整體解決方案整體解決方案.122.1總體原則.122.2總體架構(gòu).132.2.1邏輯架構(gòu).142.2.2物理架構(gòu).142.2.3網(wǎng)絡(luò)架構(gòu).192.2.4標(biāo)準(zhǔn)化中間件.192.2.5調(diào)度監(jiān)控管理.202.3數(shù)據(jù)倉(cāng)庫(kù)建模方案.212.3.1數(shù)據(jù)模型設(shè)計(jì)思路和原則.212.3.2證券業(yè)概念模型.222.3.3數(shù)據(jù)倉(cāng)庫(kù)解決方案.242.3.4元數(shù)據(jù)設(shè)計(jì)模型.322.3.5數(shù)據(jù)建模工具和方法.352.4數(shù)據(jù)存儲(chǔ)架構(gòu)方案.382.4.1數(shù)據(jù)層次.392.4.2數(shù)據(jù)流轉(zhuǎn)服務(wù).402.4.3存儲(chǔ)管理.412.4.4系統(tǒng)性能設(shè)計(jì).422.5標(biāo)準(zhǔn)化流程、模板.432.5.1ETL流程.432.5.2數(shù)據(jù)質(zhì)量控制流程.48財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 III 頁(yè)2.5.3規(guī)范及模板.542.6信息安全解決方案.552.6.1數(shù)據(jù)安全和訪問(wèn)機(jī)制闡述.552.6.2數(shù)據(jù)保護(hù)技術(shù).552.6.3數(shù)據(jù)訪問(wèn)控制.552.6.4數(shù)據(jù)備份和恢復(fù)策略.552.6.5ETL 流程調(diào)度和監(jiān)控.562.6.6數(shù)據(jù)存儲(chǔ)和傳輸?shù)陌踩?563應(yīng)用系統(tǒng)解決方案應(yīng)用系統(tǒng)解決方案.573.1總體結(jié)構(gòu).573.1.1總體結(jié)構(gòu)圖.573.1.2報(bào)表實(shí)施流程.603.2綜合報(bào)表.633.2.1綜合報(bào)表分類(lèi)描述.643.2.2綜合報(bào)表功能描述.653.2.3報(bào)表服務(wù)平臺(tái).673.2.4報(bào)表數(shù)據(jù)模型.673.2.5綜合報(bào)表實(shí)現(xiàn).683.3領(lǐng)導(dǎo)駕駛艙系統(tǒng).723.3.1功能結(jié)構(gòu)圖.723.3.2數(shù)據(jù)模型.733.3.3系統(tǒng)分析實(shí)現(xiàn).753.4分析型客戶關(guān)系系統(tǒng)（ACRM）.803.4.1360度客戶基本信息視圖.803.4.2客戶全方位分析視圖.813.4.3客戶交易渠道分析.863.4.4客戶其他指標(biāo)分析.863.4.5客戶數(shù)量分析.873.4.6新開(kāi)戶客戶分析.87財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 IV 頁(yè)3.4.7客戶持倉(cāng)分析.873.4.8客戶交易分析.873.4.9客戶交易與持倉(cāng)分析.873.4.10客戶資金變動(dòng)分析.883.4.11營(yíng)銷(xiāo)分析.883.4.12產(chǎn)品綜合管理.883.4.13數(shù)據(jù)模型.893.4.14系統(tǒng)分析實(shí)現(xiàn).893.5數(shù)據(jù)接口及數(shù)據(jù)分發(fā)平臺(tái).903.5.1數(shù)據(jù)模型.923.5.2系統(tǒng)分析實(shí)現(xiàn).924軟硬件配置清單軟硬件配置清單.944.1選型依據(jù)選型依據(jù).944.1.1ETL選型依據(jù)選型依據(jù).944.1.2BI選型依據(jù)選型依據(jù).954.1.3ODS/EDW選型依據(jù)選型依據(jù).964.1.4數(shù)據(jù)模型選型依據(jù)數(shù)據(jù)模型選型依據(jù).974.1.5硬件系統(tǒng)選型依據(jù)硬件系統(tǒng)選型依據(jù).974.2軟件配置軟件配置.994.3硬件配置硬件配置.1005 5網(wǎng)絡(luò)架構(gòu)方案網(wǎng)絡(luò)架構(gòu)方案.1075.1設(shè)計(jì)思想.1075.2網(wǎng)絡(luò)方案設(shè)計(jì).1075.2.1總體描述.1075.2.2核心局域網(wǎng)建設(shè)方案.1085.2.3網(wǎng)絡(luò)配置需求.1085.3網(wǎng)絡(luò)安全.1095.3.1安全風(fēng)險(xiǎn)分析.1095.3.2安全建設(shè)目標(biāo).110財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 V 頁(yè)5.3.3安全系統(tǒng)設(shè)計(jì)原則.1105.3.4網(wǎng)絡(luò)系統(tǒng)安全設(shè)計(jì).1116 6項(xiàng)目實(shí)施方案項(xiàng)目實(shí)施方案.1156.1總體實(shí)施計(jì)劃.1156.2人力資源投入計(jì)劃.1156.2.1項(xiàng)目組織結(jié)構(gòu)圖.1156.2.2項(xiàng)目組織結(jié)構(gòu)圖說(shuō)明.1166.2.3項(xiàng)目各方職責(zé).1176.2.4人力資源計(jì)劃.1196.3第一期第一階段實(shí)施方案.1196.3.1階段性實(shí)施目標(biāo).1196.3.2階段性實(shí)施策略.1206.3.3階段性實(shí)施計(jì)劃.1226.3.4項(xiàng)目開(kāi)發(fā)體制.1236.3.5階段性項(xiàng)目驗(yàn)收.1246.4第一期第二階段實(shí)施方案.1246.4.1階段性實(shí)施目標(biāo).1246.4.2階段性實(shí)施策略.1256.4.3階段性實(shí)施計(jì)劃.1286.4.4項(xiàng)目開(kāi)發(fā)體制.1296.4.5階段性項(xiàng)目驗(yàn)收.1306.5第一期第三階段實(shí)施方案.1306.5.1階段性實(shí)施目標(biāo).1306.5.2階段性實(shí)施策略.1306.5.3階段性實(shí)施計(jì)劃.1326.5.4項(xiàng)目開(kāi)發(fā)體制.1336.5.5階段性項(xiàng)目驗(yàn)收.1346.6第二期實(shí)施方案.1346.6.1階段性實(shí)施目標(biāo).134財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 VI 頁(yè)6.6.2階段性實(shí)施策略.1346.6.3階段性實(shí)施計(jì)劃.1366.6.4項(xiàng)目開(kāi)發(fā)體制.1376.6.5階段性項(xiàng)目驗(yàn)收.1386.7項(xiàng)目質(zhì)量控制.1386.7.1項(xiàng)目管理規(guī)范.1386.7.2項(xiàng)目質(zhì)量保證.1396.7.3配置管理.1396.7.4配置管理活動(dòng).1406.8項(xiàng)目風(fēng)險(xiǎn)及風(fēng)險(xiǎn)控制.1416.8.1風(fēng)險(xiǎn)分析.1416.8.2風(fēng)險(xiǎn)控制計(jì)劃.1426.9項(xiàng)目變更管理計(jì)劃.1426.10項(xiàng)目過(guò)程的溝通協(xié)調(diào)機(jī)制.1426.10.1重大問(wèn)題的匯報(bào).1436.10.2項(xiàng)目組內(nèi)部的溝通協(xié)調(diào).1436.10.3與其他項(xiàng)目組的溝通協(xié)調(diào).1436.10.4與相關(guān)部門(mén)的溝通協(xié)調(diào).1436.11測(cè)試實(shí)施.1436.11.1測(cè)試目標(biāo).1436.11.2測(cè)試方法及內(nèi)容.1446.11.3實(shí)施規(guī)劃.1446.12項(xiàng)目驗(yàn)收.1496.12.1開(kāi)發(fā)文檔文件的驗(yàn)收.1496.12.2應(yīng)用軟件的驗(yàn)收.1496.13項(xiàng)目成果移交.1506.13.1應(yīng)用系統(tǒng)源代碼.1506.13.2開(kāi)發(fā)過(guò)程文檔.1506.13.3項(xiàng)目提交件質(zhì)量標(biāo)準(zhǔn).1516.13.4知識(shí)轉(zhuǎn)移.153財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 VII 頁(yè)6.14實(shí)施計(jì)劃變更.1546.15項(xiàng)目階段描述.1546.16售后服務(wù).1566.16.1服務(wù)承諾.1576.16.2故障級(jí)別的定義.1586.16.3障礙升級(jí)定義與標(biāo)準(zhǔn).1586.16.4故障申報(bào)及修正流程.1596.16.5閉環(huán)的故障消除保障流程.1596.16.6技術(shù)支持架構(gòu).1606.16.7支持服務(wù)人員.1606.16.8技術(shù)支持服務(wù)內(nèi)容.1616.16.9先進(jìn)數(shù)通支持服務(wù)流程.1626.16.10石家莊分支機(jī)構(gòu).1636.16.11北京技術(shù)服務(wù)中心.1636.16.12系統(tǒng)故障響應(yīng)費(fèi)用.1637產(chǎn)品白皮書(shū)產(chǎn)品白皮書(shū).1647.1INFOSPHERE DATASTAGE產(chǎn)品介紹.1647.1.1產(chǎn)品簡(jiǎn)介.1647.1.2特性介紹.1657.2INFOSPHERE CDC 產(chǎn)品介紹.1737.2.1InfoSphere CDC 的技術(shù)特點(diǎn).1747.2.2InfoSphere CDCapture解決方案的優(yōu)勢(shì).1757.2.3InfoSphere CDC方案的特性.1767.2.4使用 InfoSphere CDC 用戶可以得到的利益.1767.3COGNOS BI 產(chǎn)品介紹.1777.3.1產(chǎn)品架構(gòu).1777.3.2主要模塊.1797.3.3可擴(kuò)展性.1817.3.4安全性.182財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 VIII 頁(yè)7.3.5靈活性.1837.3.6流程.1867.4INFOSPHERE WAREHOUSE產(chǎn)品介紹 .1877.4.1產(chǎn)品架構(gòu).1877.4.2產(chǎn)品功能特性.1877.5MOIA.RSP 產(chǎn)品介紹.1947.5.1MOIA.RSP簡(jiǎn)介.1947.5.2MOIA.RSP邏輯架構(gòu).1957.5.3MOIA.RSP主要界面.1957.5.4MOIA.RSP功能.1977.6MOIA.DSP 介紹.1977.6.1內(nèi)容提要.1977.6.2Moia歷史.1987.6.3產(chǎn)品定位.1997.6.4產(chǎn)品結(jié)構(gòu).2007.6.5功能簡(jiǎn)介.2007.6.6拓?fù)浣Y(jié)構(gòu).2027.6.7調(diào)度支持.2037.6.8調(diào)度引擎.2057.6.9支持的計(jì)算模式.2097.6.10數(shù)據(jù)管理服務(wù).2107.6.11事件服務(wù).2137.6.12高級(jí)功能.2137.6.13開(kāi)發(fā)流程.2147.6.14用戶角色.2147.6.15用戶界面.2157.6.16MOIA用戶.2157.6.17MOIA的價(jià)值.2167.6.18應(yīng)用案例.216財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 IX 頁(yè)8附件附件.221財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 10 頁(yè)1總體概述總體概述1.1 項(xiàng)目背景項(xiàng)目背景財(cái)達(dá)證券作為全國(guó)性證券公司，擁有大量客戶， 伴隨著證券市場(chǎng)的日益成熟，證券交易活躍，市場(chǎng)競(jìng)爭(zhēng)加劇，這些都對(duì)財(cái)達(dá)證券各項(xiàng)業(yè)務(wù)監(jiān)管、風(fēng)險(xiǎn)控制、客戶服務(wù)與營(yíng)銷(xiāo)、業(yè)務(wù)創(chuàng)新等提出了更高的要求。為了更好的滿足公司業(yè)務(wù)、管理對(duì)數(shù)據(jù)集中應(yīng)用的要求，財(cái)達(dá)證券需要建立統(tǒng)一的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，及時(shí)有效地獲取各項(xiàng)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，進(jìn)行數(shù)據(jù)集中管理和統(tǒng)一整合，建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)，形成準(zhǔn)確、完備的數(shù)據(jù)訪問(wèn)平臺(tái)，為各個(gè)業(yè)務(wù)部門(mén)數(shù)據(jù)分析、客戶服務(wù)、公司營(yíng)銷(xiāo)及業(yè)務(wù)監(jiān)管提供基礎(chǔ)支撐。1.2 總體設(shè)計(jì)目標(biāo)總體設(shè)計(jì)目標(biāo)財(cái)達(dá)證券數(shù)據(jù)中心的總體建設(shè)目標(biāo)是建立基礎(chǔ)數(shù)據(jù)模型、ETL 平臺(tái)、ETL 管理調(diào)度平臺(tái)、數(shù)據(jù)分發(fā)管理平臺(tái)、經(jīng)營(yíng)績(jī)效數(shù)據(jù)分析匯總及展現(xiàn)平臺(tái)等，形成統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)、確保數(shù)據(jù)采集完整、保證 ETL 數(shù)據(jù)質(zhì)量、形成統(tǒng)一的數(shù)據(jù)展現(xiàn)。具體目標(biāo)為：1、完成數(shù)據(jù)標(biāo)準(zhǔn)化工作，形成公司唯一的、標(biāo)準(zhǔn)化數(shù)據(jù)源，支撐各業(yè)務(wù)管理系統(tǒng)的數(shù)據(jù)訪問(wèn)。2、完成公司各項(xiàng)業(yè)務(wù)數(shù)據(jù)的統(tǒng)一采集、統(tǒng)一存儲(chǔ)、統(tǒng)一訪問(wèn)管理等功能3、建立集中財(cái)達(dá)證券各項(xiàng)業(yè)務(wù)數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)平臺(tái)，完成財(cái)達(dá)證券所要求的數(shù)據(jù)輸入輸出交換實(shí)施。4、使用專(zhuān)業(yè)成熟的 ETL 工具，進(jìn)行不同種類(lèi)數(shù)據(jù)的抽取、轉(zhuǎn)換、加載等各項(xiàng)部署、實(shí)施，并能對(duì)啟動(dòng)條件、依賴(lài)關(guān)系、狀態(tài)及錯(cuò)誤日志統(tǒng)一管理。5、實(shí)現(xiàn) ETL 全流程調(diào)度自動(dòng)化管理，對(duì) ETL 過(guò)程進(jìn)行全面監(jiān)控和管理維護(hù)。6、提供標(biāo)準(zhǔn)和靈活的數(shù)據(jù)交換接口，保證現(xiàn)有系統(tǒng)平滑過(guò)渡到數(shù)據(jù)中心，支持公司擬建和未來(lái)需要建設(shè)的各類(lèi)系統(tǒng)。7、按需要提供各類(lèi)數(shù)據(jù)的匯總，滿足數(shù)據(jù)報(bào)表和不同主題數(shù)據(jù)集市的需要。8、通過(guò)對(duì)基礎(chǔ)數(shù)據(jù)模型的分析，支持?jǐn)?shù)據(jù)集市，展現(xiàn)經(jīng)營(yíng)狀況。9、建立服務(wù)財(cái)達(dá)證券實(shí)際要求的數(shù)據(jù)中心技術(shù)架構(gòu)。1.3 階段建設(shè)目標(biāo)階段建設(shè)目標(biāo)數(shù)據(jù)中心項(xiàng)目實(shí)施涉及系統(tǒng)眾多、實(shí)施復(fù)雜度高、周期長(zhǎng)的特點(diǎn)。為保障項(xiàng)目順利實(shí)施，將周期為 7.5 個(gè)月的項(xiàng)目分成 3 個(gè)階段進(jìn)行實(shí)施，每個(gè)階段具有相應(yīng)的里程碑事件，具體目標(biāo)如下：1、第一階段計(jì)劃實(shí)施工期 1.5 個(gè)月，2010/11/202010/12/31，具體建設(shè)目標(biāo)如下：完成與數(shù)據(jù)中心相關(guān)業(yè)務(wù)系統(tǒng)的調(diào)研。建立數(shù)據(jù)模型。完成數(shù)據(jù)標(biāo)準(zhǔn)化工作，形成數(shù)據(jù)標(biāo)準(zhǔn)化的整體規(guī)范，并經(jīng)財(cái)達(dá)證券業(yè)務(wù)部門(mén)認(rèn)可。建立符合財(cái)達(dá)證券的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)技術(shù)架構(gòu)。實(shí)施 ETL 定時(shí)，完成集中交易系統(tǒng)、法人清算系統(tǒng)、融資融券系統(tǒng)、投資管理系統(tǒng)、營(yíng)銷(xiāo)管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、客戶服務(wù)綜合平臺(tái)的現(xiàn)有數(shù)據(jù)采集、整合、入庫(kù)。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 11 頁(yè)實(shí)現(xiàn)基于數(shù)據(jù)中心的綜合查詢系統(tǒng)。2、第二階段計(jì)劃實(shí)施工期 2 個(gè)月，2011/01/012011/02/28，具體建設(shè)目標(biāo)如下：完善數(shù)據(jù)模型及數(shù)據(jù)倉(cāng)庫(kù)技術(shù)架構(gòu)。完成 ETL 的全部實(shí)施，并提供數(shù)據(jù)完整性、正確性以及可用性檢查機(jī)制。完成實(shí)時(shí)增量數(shù)據(jù)采集。完成 ETL 管理調(diào)度平臺(tái)建設(shè)。初步實(shí)現(xiàn)數(shù)據(jù)分發(fā)管理平臺(tái)開(kāi)發(fā)。3、第三階段計(jì)劃實(shí)施工期 4 個(gè)月，2011/03/012011/06/30，具體建設(shè)目標(biāo)如下：ETL 實(shí)施完善，并全部上線。完成數(shù)據(jù)接口及數(shù)據(jù)分發(fā)管理平臺(tái)開(kāi)發(fā)部署及任務(wù)配置，并上線使用。完成領(lǐng)導(dǎo)駕駛艙的系統(tǒng)開(kāi)發(fā)，并正式部署上線。完成 ACRM 的系統(tǒng)開(kāi)發(fā)，并正式部署上線。為公司其他在用和在建業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)。1.4 系統(tǒng)范圍系統(tǒng)范圍本次數(shù)據(jù)中心項(xiàng)目實(shí)施涉及到的源系統(tǒng)和目標(biāo)系統(tǒng)如下所示：財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 12 頁(yè)財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 13 頁(yè)2整體解決方案整體解決方案2.1 總體原則總體原則數(shù)據(jù)中心建設(shè)是個(gè)系統(tǒng)化工程，為確保系統(tǒng)建設(shè)成功，在系統(tǒng)設(shè)計(jì)、技術(shù)實(shí)現(xiàn)過(guò)程中需要遵循如下一些原則：1、標(biāo)準(zhǔn)化原則標(biāo)準(zhǔn)化原則系統(tǒng)方案的制定需要滿足業(yè)界通用的系統(tǒng)建設(shè)準(zhǔn)則，在系統(tǒng)需求與應(yīng)用的結(jié)合、系統(tǒng)架構(gòu)的確定、系統(tǒng)組件的劃分、系統(tǒng)實(shí)施的考慮等方面，可以借鑒同業(yè)的建設(shè)經(jīng)驗(yàn)，在業(yè)界標(biāo)準(zhǔn)、規(guī)范的系統(tǒng)建設(shè)準(zhǔn)則下，結(jié)合系統(tǒng)建設(shè)要求制定出通用高效的方案。2、可擴(kuò)充原則可擴(kuò)充原則系統(tǒng)方案的制定需要結(jié)合信息化建設(shè)的長(zhǎng)遠(yuǎn)規(guī)劃，充分考慮業(yè)務(wù)需求與發(fā)展要求，滿足系統(tǒng)容量與系統(tǒng)效率要求，在系統(tǒng)設(shè)計(jì)上即能做到適應(yīng)不斷發(fā)展擴(kuò)大的業(yè)務(wù)需求，又能做到最大限度地保護(hù)現(xiàn)有的軟硬件的投入，為聯(lián)機(jī)分析應(yīng)用的持續(xù)發(fā)展奠定良好的基礎(chǔ)。3、開(kāi)放性原則開(kāi)放性原則系統(tǒng)建設(shè)遵循開(kāi)發(fā)標(biāo)準(zhǔn)，采用行業(yè)標(biāo)準(zhǔn)技術(shù)，采用可擴(kuò)展的系統(tǒng)架構(gòu)，開(kāi)放式語(yǔ)言，保證系統(tǒng)可在異構(gòu)的系統(tǒng)之間方便移植。能夠?qū)崿F(xiàn)與現(xiàn)有相關(guān)系統(tǒng)的完全對(duì)接。4、先進(jìn)性原則先進(jìn)性原則系統(tǒng)技術(shù)架構(gòu)與技術(shù)實(shí)現(xiàn)手段應(yīng)在金融行業(yè)具有一定領(lǐng)先性。5、前瞻性原則前瞻性原則系統(tǒng)在滿足現(xiàn)有業(yè)務(wù)要求的基礎(chǔ)上，必須為未來(lái)業(yè)務(wù)發(fā)展變化留有拓展空間，方便對(duì)新業(yè)務(wù)的擴(kuò)展與支持。6、高效性原則高效性原則因?yàn)樯婕按髷?shù)據(jù)量的處理，而且隨著 BI 應(yīng)用對(duì)業(yè)務(wù)人員、業(yè)務(wù)主管工作重要性的逐漸提升，目標(biāo)系統(tǒng)對(duì)數(shù)據(jù)處理時(shí)間的要求會(huì)越來(lái)越嚴(yán)格，因此，在數(shù)據(jù)中心構(gòu)建上需要確保高效性，在大數(shù)據(jù)量處理及大規(guī)模用戶在線情況下系統(tǒng)仍能高效運(yùn)行。7、穩(wěn)定性原則穩(wěn)定性原則系統(tǒng)滿足高峰處理的需要，適應(yīng)各種特殊情況給系統(tǒng)帶來(lái)的壓力。8、安全性原則安全性原則系統(tǒng)必須建立在成熟穩(wěn)定的硬件環(huán)境和應(yīng)用軟件基礎(chǔ)上，通過(guò)完善的備份恢復(fù)策略、安全控制機(jī)制、運(yùn)行管理監(jiān)控和故障處理手段來(lái)保障系統(tǒng)的安全、穩(wěn)定。9、可維護(hù)性原則可維護(hù)性原則系統(tǒng)應(yīng)提供對(duì)對(duì)運(yùn)行情況的完善的監(jiān)測(cè)與控制功能，方便系統(tǒng)維護(hù)，在系統(tǒng)處理異常時(shí)能夠根據(jù)日志，方便快捷的定位出錯(cuò)位置、原因，并可主動(dòng)告警。10、實(shí)用性原則實(shí)用性原則財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 14 頁(yè)結(jié)合財(cái)達(dá)證券各類(lèi)業(yè)務(wù)系統(tǒng)的需求和發(fā)展現(xiàn)狀提供系統(tǒng)產(chǎn)品平臺(tái)，能夠充分滿足系統(tǒng)的業(yè)務(wù)功能需求，并能夠兼顧到未來(lái)系統(tǒng)發(fā)展。11、一致性原則一致性原則系統(tǒng)方案的制定需要考慮與現(xiàn)有的信息化建設(shè)發(fā)展規(guī)劃保持一致性。由于現(xiàn)有系統(tǒng)紛繁復(fù)雜，數(shù)據(jù)存在交叉的情況，需要考慮這些系統(tǒng)作為數(shù)據(jù)源進(jìn)行數(shù)據(jù)整合時(shí)，如何保持一致的處理邏輯，并保證在以后基于這些數(shù)據(jù)分析的結(jié)果具有一致性。一致性原則具體體現(xiàn)為：統(tǒng)一技術(shù)架構(gòu)、統(tǒng)一數(shù)據(jù)架構(gòu)、統(tǒng)一應(yīng)用架構(gòu)、統(tǒng)一技術(shù)標(biāo)準(zhǔn)和規(guī)范、統(tǒng)一的開(kāi)發(fā)工具、統(tǒng)一開(kāi)發(fā)流程。12、松耦合原則松耦合原則數(shù)據(jù)中心的主要功能定位是數(shù)據(jù)交換和加工、存儲(chǔ)，因此數(shù)據(jù)中心的數(shù)據(jù)是盡量不能和任何應(yīng)用需求產(chǎn)生緊耦合的，應(yīng)確立數(shù)據(jù)中心和應(yīng)用的松耦合原則。也就是說(shuō)，所有應(yīng)用都應(yīng)該也只能訪問(wèn)自己的數(shù)據(jù)庫(kù)（也稱(chēng)為數(shù)據(jù)集市） ，而不能用 SQL 等方式直接訪問(wèn)數(shù)據(jù)中心的數(shù)據(jù)。2.2 總體架構(gòu)總體架構(gòu)在數(shù)據(jù)中心建設(shè)總體原則指導(dǎo)下，結(jié)合財(cái)達(dá)證券實(shí)際情況，綜合各個(gè)方面的因素考慮，系統(tǒng)總體架構(gòu)設(shè)計(jì)如下：數(shù)據(jù)中心從總體上包含以下五個(gè)主要部分：基礎(chǔ)設(shè)施(物理架構(gòu))對(duì)于應(yīng)用數(shù)據(jù)平臺(tái)中使用的各種硬件資源的規(guī)劃和部署； 這些硬件資源包括：數(shù)據(jù)庫(kù)服務(wù)器、ETL 集群、調(diào)度服務(wù)器、報(bào)表集群、文件傳輸集群、共享文件存儲(chǔ)等；軟件和工具財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 15 頁(yè)數(shù)據(jù)中心應(yīng)用建設(shè)中的基礎(chǔ)軟件和工具：操作系統(tǒng)、數(shù)據(jù)庫(kù)服務(wù)器管理軟件、ETL 工具軟件、報(bào)表工具軟件、全局調(diào)度和監(jiān)控軟件等；存儲(chǔ)管理數(shù)據(jù)存儲(chǔ)策略、數(shù)據(jù)備份和恢復(fù)策略、數(shù)據(jù)生命周期管理、報(bào)表數(shù)據(jù)的存放和備份清理策略等；數(shù)據(jù)架構(gòu)：數(shù)據(jù)的在數(shù)據(jù)分區(qū)間流轉(zhuǎn)、數(shù)據(jù)的組織(數(shù)據(jù)模型)、數(shù)據(jù)在數(shù)據(jù)流轉(zhuǎn)過(guò)程中的屬性(元數(shù)據(jù)管理)；標(biāo)準(zhǔn)、規(guī)范、流程和模板貫穿數(shù)據(jù)中心及 BI 建設(shè)過(guò)程和處理流程中的各種規(guī)范性文檔和實(shí)施流程。2.2.1 邏輯架構(gòu)邏輯架構(gòu)數(shù)據(jù)中心是企業(yè) IT 環(huán)境中重要的基礎(chǔ)設(shè)施，其核心價(jià)值是提升企業(yè)經(jīng)營(yíng)管理輔助 BI 系統(tǒng)建設(shè)的 ROI。因此其建設(shè)需要站在企業(yè)級(jí)的高度進(jìn)行設(shè)計(jì)，整個(gè)企業(yè)內(nèi)部構(gòu)建一套標(biāo)準(zhǔn)的、可擴(kuò)展的、開(kāi)放的、先進(jìn)的、高效的、穩(wěn)定的、安全的、可維護(hù)的基礎(chǔ)計(jì)算環(huán)境。通常企業(yè)信息化過(guò)程以應(yīng)用為單位組織軟硬件資源，為保證相關(guān)應(yīng)用的平穩(wěn)運(yùn)行，需要為其最大化的配置相關(guān)資源，造成大量資源浪費(fèi)。云計(jì)算及虛擬化是未來(lái)的企業(yè)級(jí)計(jì)算的發(fā)展方向，因此有必要將企業(yè)的計(jì)算資源統(tǒng)一規(guī)劃、統(tǒng)一使用、統(tǒng)一維護(hù)管理，實(shí)現(xiàn)企業(yè)級(jí)計(jì)算資源的共享。2.2.2 物理架構(gòu)物理架構(gòu)數(shù)據(jù)中心按照企業(yè)級(jí)共享計(jì)算資源池設(shè)計(jì)，遵循相關(guān)設(shè)計(jì)原則：財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 16 頁(yè)標(biāo)準(zhǔn)化原則該架構(gòu)為當(dāng)前業(yè)界主流數(shù)據(jù)整合硬件架構(gòu)，符合行業(yè)標(biāo)準(zhǔn)?？蓴U(kuò)充原則數(shù)據(jù)獲取、數(shù)據(jù)加工、報(bào)表、數(shù)據(jù)庫(kù)、數(shù)據(jù)分發(fā)、數(shù)據(jù)存儲(chǔ)、應(yīng)用服務(wù)器、調(diào)度監(jiān)控全部采用集群技術(shù)，Grid Anywhere。完美實(shí)現(xiàn)系統(tǒng)的橫向擴(kuò)展性。開(kāi)放性原則所有硬件均采用行業(yè)標(biāo)準(zhǔn)硬件，具有標(biāo)準(zhǔn)化的相關(guān)接口，保證系統(tǒng)開(kāi)。放性。先進(jìn)性原則此架構(gòu)為當(dāng)前金融行業(yè)數(shù)據(jù)中心建設(shè)領(lǐng)先架構(gòu)，符合云計(jì)算與虛擬化的流行技術(shù)方向。前瞻性原則系統(tǒng)高度可擴(kuò)展，根據(jù)業(yè)務(wù)發(fā)展可以隨需應(yīng)變，滿足未來(lái)需要。高效性原則系統(tǒng)采用主流的集群計(jì)算架構(gòu)，實(shí)踐證明該架構(gòu)可以滿足每天 TB 級(jí)數(shù)據(jù)整合架構(gòu)處理。提供最廉價(jià)，性價(jià)比最優(yōu)的解決方案穩(wěn)定性原則采用成熟的硬件產(chǎn)品及集群計(jì)算架構(gòu)，可以保障系統(tǒng)的連續(xù)運(yùn)行要求。安全性原則系統(tǒng)建立在行業(yè)標(biāo)準(zhǔn)的硬件環(huán)境基礎(chǔ)上，通過(guò) Grid Anywhere 保證系統(tǒng)的運(yùn)行安全性，在單一節(jié)點(diǎn)故障情況下可以實(shí)現(xiàn)自動(dòng)切換，保證系統(tǒng)的連續(xù)運(yùn)行。為保障生產(chǎn)網(wǎng)安全運(yùn)行，禁止管理網(wǎng)段直接訪問(wèn)生產(chǎn)網(wǎng)，通過(guò)防火墻進(jìn)行隔離，生產(chǎn)網(wǎng)數(shù)據(jù)通過(guò) CDC 推送的方式傳輸?shù)焦芾砭W(wǎng)。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 17 頁(yè)可維護(hù)性原則通過(guò)集中的調(diào)度、監(jiān)控服務(wù)器對(duì)數(shù)據(jù)中心的所有任務(wù)進(jìn)行管理，可以實(shí)現(xiàn)高效的系統(tǒng)維護(hù)與管理。實(shí)用性原則系統(tǒng)硬件根據(jù)現(xiàn)有業(yè)務(wù)需求進(jìn)行配置，滿足現(xiàn)有需求，并保留未來(lái)擴(kuò)展空間。一致性原則建立企業(yè)級(jí)的計(jì)算環(huán)境，確保企業(yè)內(nèi)部相關(guān)環(huán)境的一致性。2.2.2.12.2.2.1 ETLETL 服務(wù)集群服務(wù)集群ETL 是 BI 應(yīng)用建設(shè)的基礎(chǔ)，ETL 技術(shù)的出現(xiàn)和發(fā)展在 BI 技術(shù)發(fā)展的過(guò)程中具有里程碑式的意義。而以往企業(yè)的 BI 建設(shè)缺乏良好規(guī)劃，每個(gè)業(yè)務(wù)部門(mén)都在立項(xiàng)建設(shè)自己的 BI 應(yīng)用，因此每個(gè) BI 應(yīng)用都要從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，加工轉(zhuǎn)換之后加載到BI 應(yīng)用的數(shù)據(jù)庫(kù)中。這樣每個(gè) BI 應(yīng)用不僅要購(gòu)置 ETL 工具，ETL 硬件資源，還要開(kāi)發(fā)大量的 ETL 作業(yè)，這不僅造成了投資的浪費(fèi)，開(kāi)發(fā)工作的大量重復(fù)，對(duì)數(shù)據(jù)的使用缺乏統(tǒng)一的規(guī)范。而且造成很多 BI 應(yīng)用直接訪問(wèn)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)庫(kù)，對(duì)業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)的性能、可維護(hù)性和安全性都造成了嚴(yán)重影響。如上圖所示，構(gòu)建面向整個(gè)企業(yè)級(jí)所有 BI 應(yīng)用的 ETL 基礎(chǔ)設(shè)施(基礎(chǔ)組件)，這個(gè) ETL 組件將為企業(yè)中所有的 BI 應(yīng)用提供 ETL 服務(wù)。各 BI 應(yīng)用不再購(gòu)置自己的 ETL硬件資源和 ETL 產(chǎn)品。這個(gè) ETL 組件由專(zhuān)門(mén)的數(shù)據(jù)部門(mén)進(jìn)行統(tǒng)一管理和維護(hù)。企業(yè)級(jí)的 ETL 組件可以很好地完成企業(yè)的數(shù)據(jù)交換，達(dá)到數(shù)據(jù)標(biāo)準(zhǔn)化、規(guī)范化使用、減少資源投入的目的。建立企業(yè)級(jí)的 ETL 基礎(chǔ)設(shè)施，具有下列優(yōu)點(diǎn)：大大減少資源投入，避免重復(fù)投資；減少重復(fù)的開(kāi)發(fā)工作；有利于數(shù)據(jù)的規(guī)范和標(biāo)準(zhǔn)化使用；使企業(yè)的 BI 應(yīng)用架構(gòu)更加清晰；便于對(duì)企業(yè)的數(shù)據(jù)交換情況進(jìn)行集中管理和監(jiān)控；財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 18 頁(yè)在集群模式下，ETL 基礎(chǔ)設(shè)施由一系列的普通 PC Server 構(gòu)成，這些 PC Server由調(diào)度 Server 進(jìn)行集中管理和調(diào)度。在一個(gè) ETL 集群內(nèi)，還可以劃分成多個(gè)處理域(Domain)，也可以只包含一個(gè) Domain。每個(gè)處理域由一個(gè)或多個(gè) ETL SERVER 和若干個(gè) ETL CLIENT 組成。ETL SERVER 主要負(fù)責(zé) ETL JOB 的具體執(zhí)行計(jì)劃制定與分配。ETL CLIENT 主要負(fù)責(zé) ETL SERVER 分配的作業(yè)模塊的具體執(zhí)行，是作業(yè)的具體執(zhí)行者。實(shí)現(xiàn)企業(yè)軟硬件資源的共享； 提供最廉價(jià)，性價(jià)比最優(yōu)的 ETL 解決方案提供了無(wú)限的橫向擴(kuò)展能力，企業(yè)無(wú)須再為數(shù)據(jù)規(guī)模的增長(zhǎng)而發(fā)愁；大規(guī)模的并行計(jì)算能力為海量數(shù)據(jù)的處理提供了強(qiáng)大支持；整個(gè)架構(gòu)不需要備份機(jī)，保障系統(tǒng)安全運(yùn)行。集群中任何節(jié)點(diǎn)(調(diào)度Server, ETL server 和 ETL Client)發(fā)生故障時(shí)，可以有集群中其它機(jī)器快速接管，特別是當(dāng) ETL Client 發(fā)生故障時(shí)候，無(wú)須人工干預(yù)，接管工作自動(dòng)執(zhí)行；ETL Server 和調(diào)度 Server 發(fā)生故障時(shí)，只需要通過(guò)監(jiān)控界面執(zhí)行簡(jiǎn)單操作即可。2.2.2.22.2.2.2 報(bào)表服務(wù)集群報(bào)表服務(wù)集群報(bào)表的生成和展現(xiàn)，如同 ETL 一樣，在企業(yè) BI 建設(shè)中是一種最基礎(chǔ)的服務(wù)，因此本著集約的原則，我們將報(bào)表服務(wù)器作為集群方式部屬，提供給其中所有需要報(bào)表生成和展示的應(yīng)用使用。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 19 頁(yè)如上圖形所示，我們將建立報(bào)表服務(wù)集群，集群中由一臺(tái)報(bào)表集成門(mén)戶服務(wù)器和多臺(tái)報(bào)表服務(wù)器組成(邏輯上的)，各應(yīng)用自行開(kāi)發(fā)報(bào)表后將報(bào)表生成作業(yè) Package 部署到報(bào)表服務(wù)集群中集中運(yùn)行，當(dāng)各應(yīng)用運(yùn)行中需要請(qǐng)求報(bào)表服務(wù)時(shí)，將通過(guò) HTTP 方式向報(bào)表集成服務(wù)器發(fā)送報(bào)表請(qǐng)求，報(bào)表集成服務(wù)器將安裝 ADT MOIA.RSP，它實(shí)現(xiàn)報(bào)表集成和報(bào)表服務(wù)器管理，實(shí)現(xiàn)報(bào)表任務(wù)的動(dòng)態(tài)分配和負(fù)載均衡。使用企業(yè)級(jí)報(bào)表服務(wù)集群的好處是：實(shí)現(xiàn)企業(yè)軟硬件資源的共享； 提供最廉價(jià)，性價(jià)比最優(yōu)的大數(shù)據(jù)量報(bào)表解決方案；提供了無(wú)限的橫向擴(kuò)展能力，企業(yè)無(wú)須再為數(shù)據(jù)規(guī)模的增長(zhǎng)而發(fā)愁；整個(gè)架構(gòu)不需要備份機(jī)，保障系統(tǒng)安全運(yùn)行。2.2.2.32.2.2.3 數(shù)據(jù)庫(kù)服務(wù)器集群熱備數(shù)據(jù)庫(kù)服務(wù)器集群熱備 數(shù)據(jù)采用磁盤(pán)陣列存儲(chǔ)， 數(shù)據(jù)庫(kù)服務(wù)器共享磁盤(pán)陣列，通過(guò)數(shù)據(jù)庫(kù)的群集功能實(shí)現(xiàn)數(shù)據(jù)庫(kù)服務(wù)群集。從而達(dá)到故障時(shí)生產(chǎn)不受影響。 群集數(shù)據(jù)庫(kù)服務(wù)器數(shù)據(jù)庫(kù)服務(wù)器磁盤(pán)陣列財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 20 頁(yè)2.2.3 網(wǎng)絡(luò)架構(gòu)網(wǎng)絡(luò)架構(gòu)在上面的網(wǎng)絡(luò)拓?fù)潢P(guān)系圖中，我們將網(wǎng)絡(luò)劃分為服務(wù)網(wǎng)絡(luò)，數(shù)據(jù)庫(kù)網(wǎng)絡(luò)和存儲(chǔ)網(wǎng)絡(luò)。服務(wù)網(wǎng)絡(luò)主要用于系統(tǒng)間調(diào)度服務(wù)器、ETL 集群、報(bào)表服務(wù)器集群和數(shù)據(jù)庫(kù)服務(wù)器三者之間的信息的交互和共享；存儲(chǔ)網(wǎng)絡(luò)主要用于系統(tǒng)間調(diào)度服務(wù)器、ETL 集群、報(bào)表服務(wù)器集群和共享存儲(chǔ)之間的信息交互和共享；數(shù)據(jù)庫(kù)網(wǎng)絡(luò)主要用于數(shù)據(jù)庫(kù)服務(wù)器和數(shù)據(jù)存儲(chǔ)之間的信息交互和共享；數(shù)據(jù)中心建設(shè)基于系統(tǒng)集群節(jié)點(diǎn)的并行處理，需要大量的信息交互，因此，上述三個(gè)網(wǎng)絡(luò)的網(wǎng)絡(luò)帶寬均需要到達(dá)千兆網(wǎng)絡(luò)的標(biāo)準(zhǔn)，以保證 ODS 內(nèi)部的大量信息交互。集群內(nèi)部主要使用的網(wǎng)絡(luò)協(xié)議有：TCP/IP、HTTP、FTP、TELNET、NFS 等。2.2.4 標(biāo)準(zhǔn)化中間件標(biāo)準(zhǔn)化中間件在企業(yè)級(jí)計(jì)算環(huán)境提供強(qiáng)大的計(jì)算能力、擴(kuò)展能力等特性的同時(shí)，需要標(biāo)準(zhǔn)化的中間件部署在企業(yè)級(jí)計(jì)算環(huán)境中作為計(jì)算需求應(yīng)用的基礎(chǔ)服務(wù)。需要的計(jì)算服務(wù)為：增量數(shù)據(jù)獲取服務(wù)由 CDC（Change Data Capture）軟件提供基于數(shù)據(jù)庫(kù)日志的準(zhǔn)實(shí)時(shí)的、精確的增量數(shù)據(jù)獲取服務(wù)。在此推薦使用 IBM 公司的InfoSphere CDC 作為 CDC 工具。數(shù)據(jù)加工處理服務(wù)數(shù)據(jù)中心是由大量的 ETL（Extract Transform Load）過(guò)程有機(jī)結(jié)合構(gòu)成的一個(gè)整體，因此 ETL 工具處于數(shù)據(jù)中心建設(shè)中數(shù)據(jù)加工的核心地位，需要一個(gè)能夠?qū)崿F(xiàn)并行擴(kuò)展，適應(yīng)集群架構(gòu)的高效工具。IBM 的 DataStage 是 ETL 領(lǐng)域的領(lǐng)先產(chǎn)品，在國(guó)內(nèi)金融行業(yè)具有眾財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 21 頁(yè)多成功案例及集群架構(gòu)的最佳實(shí)踐經(jīng)驗(yàn)。數(shù)據(jù)存儲(chǔ)服務(wù)數(shù)據(jù)的流轉(zhuǎn)與保存需要存在在高性能、穩(wěn)定的數(shù)據(jù)庫(kù)軟件中，此部分采用 InfoSphere Warehouse 數(shù)據(jù)庫(kù)。報(bào)表服務(wù)數(shù)據(jù)中心服務(wù)的目標(biāo)除了 CRM 等標(biāo)準(zhǔn)應(yīng)用之外，還需要為業(yè)務(wù)統(tǒng)計(jì)分析、查詢等提供數(shù)據(jù)展現(xiàn)服務(wù)，作為企業(yè)級(jí)報(bào)表平臺(tái)的基礎(chǔ)。此部分采用招標(biāo)方選定的 Cognos BI 軟件。2.2.5 調(diào)度監(jiān)控管理調(diào)度監(jiān)控管理企業(yè)級(jí)數(shù)據(jù)中心建設(shè)時(shí)一個(gè)系統(tǒng)工程，復(fù)雜度高、周期長(zhǎng)，涉及到的數(shù)據(jù)處理步驟多，需要多種中間件協(xié)同配合來(lái)完成系統(tǒng)數(shù)據(jù)的有效流轉(zhuǎn)于加工。如何指揮各個(gè)細(xì)分領(lǐng)域優(yōu)秀的軟件有效協(xié)同，提升系統(tǒng)健壯性、保障系統(tǒng)高效性，降低運(yùn)維難度，成為數(shù)據(jù)中心建設(shè)的重大難點(diǎn)。為了實(shí)現(xiàn)上述目標(biāo)，需要一個(gè)先進(jìn)的全局調(diào)度、監(jiān)控管理軟件。先進(jìn)數(shù)通根據(jù)多年的實(shí)踐經(jīng)驗(yàn)，自主研發(fā)了企業(yè)級(jí)信息應(yīng)用管理平臺(tái)軟件MOIA。主要功能為：Active Anytime自動(dòng)剔除失敗節(jié)點(diǎn)并重新運(yùn)行失敗節(jié)點(diǎn)上已運(yùn)行任務(wù)自動(dòng)切換調(diào)度主節(jié)點(diǎn)，保證主節(jié)點(diǎn)永久存活，保障業(yè)務(wù)連續(xù)性多種調(diào)度管理對(duì)象DataStage Job各種可在命令行執(zhí)行的程序及 Command各平臺(tái)內(nèi)置腳本編制的程序文件存儲(chǔ)過(guò)程解釋性語(yǔ)言編制的程序文件如 Perl、SQL 等多種任務(wù)觸發(fā)條件靈活的調(diào)度功能，按照?qǐng)?zhí)行日歷、執(zhí)行時(shí)間窗口、作業(yè)依賴(lài)關(guān)系、數(shù)據(jù)依賴(lài)關(guān)系等多種條件，組合產(chǎn)生滿足作業(yè)運(yùn)行的條件。深度集成 CDC、DataStage、CognosAPI 級(jí)驅(qū)動(dòng)任務(wù)運(yùn)行自動(dòng)讀取 DataStage Job 開(kāi)發(fā)、配置信息高效任務(wù)調(diào)度引擎財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 22 頁(yè)調(diào)度流程管理；任務(wù)掃描和調(diào)度；可拖拉的圖形化配置、依賴(lài)條件管理等；有效的外部集成“事件驅(qū)動(dòng)”的調(diào)度模式，能將您的應(yīng)用無(wú)縫集成到 MOIA 中，實(shí)現(xiàn)企業(yè) BI 應(yīng)用的全局調(diào)度；通過(guò)事件驅(qū)動(dòng)實(shí)現(xiàn)異常情況下的外部通知。動(dòng)態(tài)負(fù)載均衡根據(jù)作業(yè)的邏輯復(fù)雜度和硬件資源情況，動(dòng)態(tài)為 Moia 平臺(tái)中作業(yè)做負(fù)載均衡處理；數(shù)據(jù)管理業(yè)務(wù)數(shù)據(jù)管理；數(shù)據(jù)權(quán)限管理；數(shù)據(jù)部署管理；數(shù)據(jù)狀態(tài)管理。資源管理資源采集和監(jiān)控、動(dòng)態(tài)負(fù)載均衡、動(dòng)態(tài)并發(fā)控制系統(tǒng)管理提供配置管理、用戶管理、平臺(tái)管理、日志管理、手工控制、監(jiān)控服務(wù)等系統(tǒng)級(jí)功能2.3 數(shù)據(jù)倉(cāng)庫(kù)建模方案數(shù)據(jù)倉(cāng)庫(kù)建模方案2.3.1 數(shù)據(jù)模型設(shè)計(jì)思路和原則數(shù)據(jù)模型設(shè)計(jì)思路和原則1、數(shù)據(jù)模型設(shè)計(jì)的主要思路數(shù)據(jù)模型設(shè)計(jì)的主要思路能夠滿足對(duì)證券多種業(yè)務(wù)分散的數(shù)據(jù)源進(jìn)行有效整合能夠滿足對(duì)證券多種業(yè)務(wù)分散的數(shù)據(jù)源進(jìn)行有效整合 數(shù)據(jù)模型是一套對(duì)業(yè)務(wù)架構(gòu)進(jìn)行高度抽象和全面支持的設(shè)計(jì)思想，因此其基礎(chǔ)是對(duì)業(yè)務(wù)架構(gòu)的深層次理解；數(shù)據(jù)模型的設(shè)計(jì)是一個(gè)非常復(fù)雜而艱辛的過(guò)程，需要經(jīng)過(guò)對(duì)目前和將來(lái)可預(yù)見(jiàn)的業(yè)務(wù)需求的深入分析，才能建立一個(gè)適應(yīng)性強(qiáng)的數(shù)據(jù)模型；便于對(duì)證券業(yè)務(wù)數(shù)據(jù)按主題概念進(jìn)行理解和規(guī)范便于對(duì)證券業(yè)務(wù)數(shù)據(jù)按主題概念進(jìn)行理解和規(guī)范 參考國(guó)內(nèi)外專(zhuān)家金融業(yè)建模經(jīng)驗(yàn)；每個(gè)主題下設(shè)計(jì)相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成整個(gè)企業(yè)統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型；對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一組織、管理對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一組織、管理數(shù)據(jù)模型的實(shí)施需要有數(shù)據(jù)整合的經(jīng)驗(yàn)積累；定義數(shù)據(jù)元素，把這些元素組織成主題/實(shí)體并組織這些主題/實(shí)體之間的關(guān)系；2、模型設(shè)計(jì)的原則模型設(shè)計(jì)的原則統(tǒng)一規(guī)范統(tǒng)一規(guī)范靈活性原則靈活性原則可擴(kuò)展性原則可擴(kuò)展性原則 高效性原則高效性原則 財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 23 頁(yè)實(shí)用性原則實(shí)用性原則存儲(chǔ)空間合理性原則存儲(chǔ)空間合理性原則 3、模型設(shè)計(jì)的依據(jù)模型設(shè)計(jì)的依據(jù)以數(shù)據(jù)源為基礎(chǔ)：以數(shù)據(jù)源為基礎(chǔ)：基于證券現(xiàn)有業(yè)務(wù)發(fā)展情況，在對(duì)集中交易系統(tǒng)、清算系統(tǒng)、投資管理系統(tǒng)等系統(tǒng)數(shù)據(jù)源進(jìn)行詳細(xì)和全面分析的基礎(chǔ)上，結(jié)合未來(lái)業(yè)務(wù)發(fā)展的方向，使數(shù)據(jù)模型具有廣泛的涵蓋性、良好的擴(kuò)展性、優(yōu)越的高效性和實(shí)用性；目標(biāo)應(yīng)用驅(qū)動(dòng)：目標(biāo)應(yīng)用驅(qū)動(dòng)：針對(duì)可預(yù)見(jiàn)的目標(biāo)應(yīng)用對(duì)數(shù)據(jù)模型進(jìn)行的必要調(diào)整，實(shí)現(xiàn)多個(gè)目標(biāo)應(yīng)用的公共加工匯總要求；統(tǒng)一規(guī)范和管理：統(tǒng)一規(guī)范和管理：對(duì)證券業(yè)務(wù)數(shù)據(jù)按主題概念進(jìn)行理解和規(guī)范，對(duì)不同類(lèi)型的數(shù)據(jù)進(jìn)行統(tǒng)一管理；4、模型設(shè)計(jì)的目標(biāo)模型設(shè)計(jì)的目標(biāo)統(tǒng)一數(shù)據(jù)視圖統(tǒng)一數(shù)據(jù)視圖完整的數(shù)據(jù)良好的數(shù)據(jù)組織：合理的主題劃分、明確的實(shí)體間關(guān)系等統(tǒng)一的數(shù)據(jù)解釋清晰的數(shù)據(jù)流向高度的數(shù)據(jù)可用性高度的數(shù)據(jù)可用性合理的數(shù)據(jù)冗余合理的存儲(chǔ)分布策略必需的共性加工2.3.2 證券業(yè)概念模型證券業(yè)概念模型1、主題域主題域數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的設(shè)計(jì)通常采用自頂而下的方法，首先針對(duì)需求涉及范圍內(nèi)的業(yè)務(wù)對(duì)象從高度概括的概念層次歸類(lèi)，即劃分主題域，再針對(duì)各個(gè)主題設(shè)計(jì)實(shí)體關(guān)系圖。數(shù)據(jù)中心 LDM 參照了國(guó)際先進(jìn)的 FS-LDM 模型，F(xiàn)S-LDM（金融業(yè)邏輯數(shù)據(jù)模型）是 TD 多年來(lái)在全球?qū)嵤┙?230 家金融業(yè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目的經(jīng)驗(yàn)結(jié)晶 如下圖所示。整個(gè)邏輯數(shù)據(jù)模型把復(fù)雜的金融業(yè)務(wù)歸納成團(tuán)體、產(chǎn)品、賬戶、事件、渠道、組織、地理區(qū)域和行銷(xiāo)活動(dòng)等八大主題。它蘊(yùn)含了現(xiàn)代金融的分析決策和客戶關(guān)系管理的各個(gè)方面。FS-LDM 模型參照如下：財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 24 頁(yè)設(shè)計(jì)思路：基于 FS-LDM，根據(jù)所設(shè)定的目標(biāo)和數(shù)據(jù)范圍，確定需要建設(shè)的主題范圍，構(gòu)建 LDM 的原型框架。LDM 原型框架決定數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織原則和基本形式，也決定了數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用范圍和應(yīng)用模式。 財(cái)達(dá)證券的數(shù)據(jù)中心的概念模型設(shè)計(jì)將參照參考了 Teradata 在金融領(lǐng)域提出的FS-LDM，對(duì) IBM 的 FMDM 進(jìn)行補(bǔ)充和完善。2、證券公司信息流分析證券公司信息流分析證券行業(yè)的信息流，可分為以下幾種：（a）客戶信息流（b）交易信息流（c）資金信息流（d）行情信息流（e）基本信息流（f）公告信息流（g）政策信息流（h）自用業(yè)務(wù) （i）投行業(yè)務(wù)（j）CRM 系統(tǒng)（k）營(yíng)銷(xiāo)系統(tǒng)（l）績(jī)效管理 （k）風(fēng)險(xiǎn)管理其中，按照其語(yǔ)義系統(tǒng)又可以分成 7 類(lèi)。前 a-c 以交易主體為核心，可以歸納為交易數(shù)據(jù)集合。 d-g 圍繞交易對(duì)象展開(kāi)，可以歸納為行情數(shù)據(jù)集合。 hI 是圍繞業(yè)務(wù)種類(lèi)展開(kāi)，可以歸納為產(chǎn)品信息集合。 J可 是圍繞營(yíng)銷(xiāo)和客戶關(guān)系展開(kāi)，歸納為營(yíng)銷(xiāo)服務(wù)集合。Lm 圍繞人力績(jī)效和系統(tǒng)風(fēng)險(xiǎn)展開(kāi)，歸納為內(nèi)控?cái)?shù)據(jù)集合。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 25 頁(yè)2.3.3 數(shù)據(jù)倉(cāng)庫(kù)解決方案數(shù)據(jù)倉(cāng)庫(kù)解決方案2.3.3.12.3.3.1以以 TDTD 的的 FS-LFS-LDMDM 模型模型為基礎(chǔ)為基礎(chǔ)參照 TD 的 FS-LDM（金融業(yè)邏輯數(shù)據(jù)模型） ，該模型多年來(lái)在全球?qū)嵤┙?230 家金融業(yè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目。把金融系統(tǒng)數(shù)據(jù)按照 組織機(jī)構(gòu)、產(chǎn)品、客戶、客戶資產(chǎn)、事件、渠道、財(cái)務(wù)、合同、地理區(qū)域和行銷(xiāo)活動(dòng)（營(yíng)銷(xiāo)）等 10 個(gè)主題進(jìn)行組織。先進(jìn)數(shù)通保留了 LDM 中主題類(lèi)別，對(duì)事件中的所定義的客服歸入到營(yíng)銷(xiāo)主題。把客戶名稱(chēng)修改為當(dāng)事人。2.3.3.22.3.3.2參照參照 IBMIBM 的的 FSDMFSDM 模型模型FSDM(Financial Services Data Model)是一個(gè)企業(yè)級(jí)數(shù)據(jù)模型，包括了金融機(jī)構(gòu)約 80%的業(yè)務(wù)數(shù)據(jù)。用于把預(yù)定義的業(yè)務(wù)模板連接到核心銀行業(yè)務(wù)數(shù)據(jù)和數(shù)據(jù)倉(cāng)庫(kù)中。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 26 頁(yè)FSDM 把相關(guān)業(yè)務(wù)數(shù)據(jù)分為 9 大主題，它蘊(yùn)含了現(xiàn)代金融的分析決策和客戶關(guān)系管理的各個(gè)方面。 共包括“相關(guān)當(dāng)事方、協(xié)議、條件、產(chǎn)品、位置、分類(lèi)、業(yè)務(wù)方針、事件、資源項(xiàng)” 。FSDM 主題關(guān)系圖如下圖所示：FSDM 大約提供了 40 多種業(yè)務(wù)模板，是 IBM 多年與世界各大金融機(jī)構(gòu)合作的經(jīng)驗(yàn)，涵蓋了銀行和證券及保險(xiǎn)相關(guān)金融機(jī)構(gòu)。業(yè)務(wù)模板包括如下 4 類(lèi)：關(guān)系市場(chǎng)分析關(guān)系市場(chǎng)分析: 包括：市場(chǎng)策劃分析、客戶貢獻(xiàn)分析、促銷(xiāo)分析、個(gè)人客戶歸檔、交叉銷(xiāo)售分析、客戶投資分析、客戶忠誠(chéng)度分析、客戶行為分析、市場(chǎng)導(dǎo)向分析；利潤(rùn)分析利潤(rùn)分析: 包括：客戶終生價(jià)值分析、產(chǎn)品利潤(rùn)、機(jī)構(gòu)利潤(rùn)、客戶利潤(rùn)、營(yíng)銷(xiāo)渠道利潤(rùn)、績(jī)效衡量、地區(qū)利潤(rùn)、客戶行為成本、產(chǎn)品分析。風(fēng)險(xiǎn)分析風(fēng)險(xiǎn)分析: 包括：不良貸款評(píng)估、信用檔案、欠款分析、安全分析、利率敏感分析、關(guān)系人風(fēng)險(xiǎn)。資產(chǎn)負(fù)債管理資產(chǎn)負(fù)債管理: 包括：基金成熟度分析、中央銀行報(bào)表、收益分析、流動(dòng)資產(chǎn)分析。先進(jìn)數(shù)通保留了 LDM 中除去“條件” “業(yè)務(wù)方針”外的主題，對(duì)事件中的所定義的客服歸入到營(yíng)銷(xiāo)主題。按照業(yè)務(wù)模板推導(dǎo)出 16 個(gè)數(shù)據(jù)集市。2.3.3.3 數(shù)據(jù)倉(cāng)庫(kù)的本質(zhì)分析數(shù)據(jù)倉(cāng)庫(kù)的本質(zhì)分析數(shù)據(jù)倉(cāng)庫(kù)的最基本職能就是數(shù)據(jù)集成和管理，但最基本職能不代表最簡(jiǎn)單，異構(gòu)信息的采集存在諸多難點(diǎn)，如下圖所示：財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 27 頁(yè)信息采集的難點(diǎn)針對(duì)目前核心交易系統(tǒng)、清算系統(tǒng)、財(cái)務(wù)系統(tǒng)、資管系統(tǒng)、三方存管系統(tǒng)、融資融券系統(tǒng)、網(wǎng)上交易系統(tǒng)、風(fēng)險(xiǎn)監(jiān)控系統(tǒng)、CRM 系統(tǒng)、短信平臺(tái)系統(tǒng)等的現(xiàn)狀，將把上述系統(tǒng)作為數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵數(shù)據(jù)源。在建設(shè)初期，我們將把核心交易系統(tǒng)以及相關(guān)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)集中存放、整合，快速構(gòu)造數(shù)據(jù)平臺(tái)，滿足最迫切的業(yè)務(wù)應(yīng)用需求。同時(shí)，我們將以核心交易系統(tǒng)為基礎(chǔ)，參考 FMDW 構(gòu)建邏輯數(shù)據(jù)模型，實(shí)現(xiàn)企業(yè)數(shù)據(jù)倉(cāng)庫(kù)的平滑過(guò)渡。源系統(tǒng)的選擇標(biāo)準(zhǔn)和納入數(shù)據(jù)倉(cāng)庫(kù)的先后順序原則主要是：源業(yè)務(wù)系統(tǒng)選擇標(biāo)準(zhǔn)：1. 按照 IBM 金融行業(yè)數(shù)據(jù)模型 FSDM 的數(shù)據(jù)概念要求梳理數(shù)據(jù)源信息。具體的邏輯數(shù)據(jù)模型組織可以參考 FMDW，進(jìn)行相應(yīng)的定制。FSDM 與 FMDW 之間的管理如下圖所示：財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 28 頁(yè)2. 按照業(yè)務(wù)和應(yīng)用的需求優(yōu)先級(jí)3. 系統(tǒng)能夠產(chǎn)生有分析價(jià)值的數(shù)據(jù)納入數(shù)據(jù)倉(cāng)庫(kù)的先后順序原則：根據(jù)戰(zhàn)略價(jià)值、數(shù)據(jù)充足度和實(shí)施難易度、投資回報(bào)性來(lái)綜合考慮，優(yōu)先實(shí)施戰(zhàn)略價(jià)值高、數(shù)據(jù)充足、易實(shí)施、投資回報(bào)高的。優(yōu)先考慮全企業(yè)集中的系統(tǒng)和運(yùn)行穩(wěn)定的系統(tǒng)。2.3.3.4 主題域的定義主題域的定義1. 按照 FSDM 的要求。FSDM 具有 9 大主題，包括相關(guān)當(dāng)事方、協(xié)議、條件、產(chǎn)品、位置、分類(lèi)、業(yè)務(wù)方針、事件、資源項(xiàng)，內(nèi)容如下：2. 按照業(yè)務(wù)和應(yīng)用的需求。3. 根據(jù) IBM 與業(yè)務(wù)合作伙伴豐富的實(shí)施經(jīng)驗(yàn)，選取有價(jià)值的表和字段。2.3.3.5 數(shù)據(jù)整合數(shù)據(jù)整合在選定數(shù)據(jù)源與數(shù)據(jù)內(nèi)容的基礎(chǔ)上進(jìn)行的數(shù)據(jù)抽取、加載、轉(zhuǎn)換工作同樣面臨財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 29 頁(yè)各種信息整合加工難點(diǎn)，概要總結(jié)如下圖所示：信息整合加工難點(diǎn)分析要保證 ETL 工作的順利實(shí)現(xiàn)，靈活高效的專(zhuān)業(yè) ETL 軟件工具不可或缺。一般建議的數(shù)據(jù)倉(cāng)庫(kù) ETL 任務(wù)安排可以劃分為以下五部分內(nèi)容，如圖所示：數(shù)據(jù)倉(cāng)庫(kù) ETL 任務(wù)安排示意圖ETL 工作的目標(biāo)包括： 創(chuàng)建可擴(kuò)展、高效、靈活的系統(tǒng)架構(gòu) 設(shè)計(jì)完整的數(shù)據(jù)集成架構(gòu)，提高數(shù)據(jù)質(zhì)量 建立一套能提高開(kāi)發(fā)效率的 ETL 架構(gòu) 抽取共性的數(shù)據(jù)處理，統(tǒng)一實(shí)施，提高整體實(shí)施效率，減少重復(fù)實(shí)施成本。 具備提供當(dāng)前全量數(shù)據(jù)和存儲(chǔ)短期全量數(shù)據(jù)的能力，并滿足各類(lèi)數(shù)據(jù)需求。 屏蔽源系統(tǒng)、減少或避免目標(biāo)系統(tǒng)對(duì)源系統(tǒng)的干擾。 建立數(shù)據(jù)管理-控制機(jī)制。IBM 建議的 ETL 工具主要是 datastage，主要具備以下優(yōu)勢(shì)： 圖形化專(zhuān)業(yè)的 ETL 處理平臺(tái) 優(yōu)異并行 ETL 處理能力，支持 Cluster 架構(gòu)，使系統(tǒng)具有無(wú)限的橫向擴(kuò)展能力以適應(yīng)數(shù)據(jù)量的快速增長(zhǎng) 豐富組件滿足各種類(lèi)型的業(yè)務(wù)需求，并利用 DataStage 提供的用戶開(kāi)發(fā)接口，實(shí)現(xiàn)更加復(fù)雜的處理邏輯； 利用 DataStage 組件或者作業(yè)的可重用性，大大降低了作業(yè)的數(shù)量和作業(yè)的復(fù)雜程度； 完整的技術(shù)元數(shù)據(jù)管理，開(kāi)放的 repository。2.3.3.6 數(shù)據(jù)存儲(chǔ)與服務(wù)數(shù)據(jù)存儲(chǔ)與服務(wù)財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 30 頁(yè)數(shù)據(jù)存儲(chǔ)與服務(wù)功能是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)性功能，其數(shù)據(jù)存儲(chǔ)與處理方式與傳統(tǒng)的 OLTP 交易系統(tǒng)或通常意義上的數(shù)據(jù)庫(kù)有較大差異。必須充分考慮海量數(shù)據(jù)存儲(chǔ)特點(diǎn)、大量復(fù)雜并行計(jì)算要求以及系統(tǒng)線性可擴(kuò)展能力。IBM 建議的產(chǎn)品主要是基于 MPP 架構(gòu)的 infosphere warehouse，它主要具備以下優(yōu)勢(shì)： 基于非共享體系架構(gòu)，優(yōu)異的線型擴(kuò)展性 支持多臺(tái)機(jī)器并行計(jì)算，高效的性能 基于數(shù)據(jù)倉(cāng)庫(kù)的查詢負(fù)載能力 多種基于查詢分析的優(yōu)化技術(shù) 全面集成的數(shù)據(jù)倉(cāng)庫(kù)解決方案，簡(jiǎn)單的開(kāi)發(fā)，維護(hù)和部署 內(nèi)嵌數(shù)據(jù)挖掘，便于構(gòu)建數(shù)據(jù)挖掘應(yīng)用 易管理，易維護(hù)，技術(shù)領(lǐng)先。這些技術(shù)優(yōu)勢(shì)將有效保障數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)資源利用率的最大化和管理維護(hù)的簡(jiǎn)化。2.3.3.7 數(shù)據(jù)訪問(wèn)數(shù)據(jù)訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)豐富的信息內(nèi)容的展現(xiàn)可以按照應(yīng)用需求形勢(shì)靈活選擇，例如隨機(jī)查詢、定制報(bào)表、多維分析、OLAP 操作、關(guān)鍵指標(biāo)匯總、儀表盤(pán)展現(xiàn)，以及數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用高級(jí)階段的與業(yè)務(wù)系統(tǒng)聯(lián)動(dòng)的事件觸發(fā)式業(yè)務(wù)流程等等。展現(xiàn)形式如下圖示意：為了滿足各種展現(xiàn)功能的需求，IBM 建議前端展現(xiàn)工具采用金融行業(yè)客戶已經(jīng)大量采用的專(zhuān)業(yè) BI 工具 cognos，基于 SOA 架構(gòu)的多維分析和展現(xiàn)工具Cognos 8 BI具備以下優(yōu)勢(shì)： 報(bào)表 提供完整范圍報(bào)告類(lèi)型 通過(guò)多種類(lèi)型的報(bào)表輸出，交付可靠的信息 可訂制的和對(duì)象化的 利用信息技術(shù)，允許透過(guò)用戶的協(xié)作，社區(qū)和 IT 提供郵件，門(mén)戶，微軟辦公套件，搜索 和移動(dòng)設(shè)備的訪問(wèn)財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 31 頁(yè) 分析 通過(guò)信息的多個(gè)維度提供引導(dǎo)探查 簡(jiǎn)單快速的執(zhí)行復(fù)雜分析和場(chǎng)景模型 揭示隱含的趨勢(shì)，來(lái)顯示征兆和原因 毫不費(fèi)力的從概要等級(jí)信息到細(xì)目等級(jí)信息的移動(dòng) 儀表盤(pán)提供快速瀏覽，復(fù)雜信息的高效視圖。幫助快速聚焦需要注意和行動(dòng)的問(wèn)題。高視覺(jué)和直覺(jué)效果透過(guò)異類(lèi)的信息源合并信息 計(jì)分卡對(duì)于目標(biāo)和基準(zhǔn)提供及時(shí)的測(cè)量。自主并戰(zhàn)略的擺列結(jié)果和策略支持記分卡方法論。確保所有權(quán)和責(zé)任2.3.3.8 ADT 的數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)倉(cāng)庫(kù)模型模型ADT-FSDM 具有如下特點(diǎn)： 適用證券行業(yè)的 10 大業(yè)務(wù)主題，主題關(guān)系圖如下：典型主題描述如下：客戶主題用于組織和存儲(chǔ)證券業(yè)務(wù)經(jīng)營(yíng)相關(guān)的所有參與人的信息，包括證券業(yè)務(wù)客戶（機(jī)構(gòu)、個(gè)人客戶）、證券合作伙伴、證券監(jiān)管機(jī)構(gòu)及兄弟同行的基本信息和歷史變化信息。公司主題財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 32 頁(yè)用于組織和存儲(chǔ)證券的內(nèi)部組織機(jī)構(gòu)的基本信息，包括營(yíng)業(yè)機(jī)構(gòu)和部門(mén)信息，便于按機(jī)構(gòu)或部門(mén)、職員維度進(jìn)行統(tǒng)計(jì)和分析。財(cái)務(wù)主題用于組織機(jī)構(gòu)和存貯除客戶以外的證券內(nèi)部當(dāng)前會(huì)計(jì)核算內(nèi)部帳、主帳信息。協(xié)議主題體現(xiàn)證券與客戶、合作伙伴、同業(yè)機(jī)構(gòu)之間的業(yè)務(wù)關(guān)系，所有證券與客戶、合作伙伴、同業(yè)機(jī)構(gòu)之間發(fā)生的任何業(yè)務(wù)關(guān)系都會(huì)有協(xié)議進(jìn)行體現(xiàn)，在本主題下組織和存貯證券業(yè)務(wù)所有參與者之間在業(yè)務(wù)過(guò)程中產(chǎn)生的所有帳戶契約、協(xié)議、合同、有協(xié)議效用的登記簿等相關(guān)內(nèi)容。事件主題體現(xiàn)證券與客戶或合作伙伴之間發(fā)生的所有業(yè)務(wù)明細(xì)事件，也就是通常指的業(yè)務(wù)明細(xì)，按照協(xié)議分類(lèi)組織存放相關(guān)協(xié)議下的業(yè)務(wù)發(fā)生記錄，登記每筆業(yè)務(wù)發(fā)生的時(shí)間、地點(diǎn)、人員及相關(guān)業(yè)務(wù)要素內(nèi)容，便于對(duì)業(yè)務(wù)情況進(jìn)行分析，并為業(yè)務(wù)對(duì)帳提供數(shù)據(jù)支持。渠道主題用于組織和存儲(chǔ)證券的渠道基本信息，將證券的渠道進(jìn)行細(xì)分，并進(jìn)行編碼，便于按渠道進(jìn)行業(yè)務(wù)的分析和統(tǒng)計(jì)。 適用證券行業(yè)應(yīng)用的 16 個(gè)數(shù)據(jù)集市，列表如下：1. 客戶信息數(shù)據(jù)集市；2. 客戶交易數(shù)據(jù)集市；3. 交易產(chǎn)品數(shù)據(jù)集市；4. 財(cái)務(wù)數(shù)據(jù)集市；5. 績(jī)效數(shù)據(jù)集市；6. 行情數(shù)據(jù)集市；7. 經(jīng)紀(jì)人數(shù)據(jù)集市；8. 清算數(shù)據(jù)集市；9. 咨詢信息數(shù)據(jù)集市；10.人力資源數(shù)據(jù)集市；11.自營(yíng)業(yè)務(wù)數(shù)據(jù)集市；12.內(nèi)控管理數(shù)據(jù)集市；13.客戶資產(chǎn)數(shù)據(jù)集市；14.理財(cái)產(chǎn)品數(shù)據(jù)集市；財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 33 頁(yè)15.客戶服務(wù)數(shù)據(jù)集市；16.營(yíng)銷(xiāo)活動(dòng)數(shù)據(jù)集市。2.3.3.9 預(yù)置預(yù)置 130 張業(yè)務(wù)報(bào)表張業(yè)務(wù)報(bào)表預(yù)置報(bào)表涵蓋了綜合查詢、ACRM 及 DSS 系統(tǒng)，其中包括如下列表： DSS 約 30 張報(bào)表； ACRM 約 30 張報(bào)表； 綜合報(bào)表約 70 張報(bào)表；2.3.3.10內(nèi)置內(nèi)置 485 個(gè)個(gè)業(yè)務(wù)指標(biāo)業(yè)務(wù)指標(biāo)庫(kù)庫(kù)共內(nèi)置業(yè)務(wù)指標(biāo) 485 個(gè)，其中含 281 個(gè)基礎(chǔ)指標(biāo)及 204 個(gè)派生指標(biāo)；并規(guī)劃了指標(biāo)維護(hù)平臺(tái)，以供客戶自行增加指標(biāo)及進(jìn)行指標(biāo)維護(hù)；每個(gè)指標(biāo)都標(biāo)記了主題、部門(mén)、類(lèi)別、計(jì)算公式、依賴(lài)關(guān)系等屬性。2.3.4 元數(shù)據(jù)設(shè)計(jì)模型元數(shù)據(jù)設(shè)計(jì)模型1、元數(shù)據(jù)概念元數(shù)據(jù)概念按照傳統(tǒng)的定義，元數(shù)據(jù)（Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)人員非常方便地找到他們所關(guān)心的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)內(nèi)數(shù)據(jù)的結(jié)構(gòu)和建立方法的數(shù)據(jù)，可將其按用途的不同分為兩類(lèi)：技術(shù)元數(shù)據(jù)（Technical Metadata）和業(yè)務(wù)元數(shù)據(jù)（Business Metadata） 。技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開(kāi)發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)使用的數(shù)據(jù)，它主要包括以下信息：數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)的描述，包括倉(cāng)庫(kù)模式、視圖、維、層次結(jié)構(gòu)和導(dǎo)出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位置和內(nèi)容；業(yè)務(wù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式；匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng)域、聚集、匯總、預(yù)定義的查詢與報(bào)告；由操作環(huán)境到數(shù)據(jù)倉(cāng)庫(kù)環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi)容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全（用戶授權(quán)和存取控制） ；業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務(wù)術(shù)語(yǔ)所表達(dá)的數(shù)據(jù)模型、對(duì)象名和屬性名；訪問(wèn)數(shù)據(jù)的原則和數(shù)據(jù)的來(lái)源；系統(tǒng)所提供的分析方法以及公式和報(bào)表的信息；具體包括以下信息：企業(yè)概念模型：這是業(yè)務(wù)元數(shù)據(jù)所應(yīng)提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個(gè)企業(yè)的業(yè)務(wù)概念和相互關(guān)系。以這個(gè)企業(yè)模型為基礎(chǔ)，不懂?dāng)?shù)據(jù)庫(kù)技術(shù)和 SQL 語(yǔ)句的業(yè)務(wù)人員對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)也能做到心中有財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 34 頁(yè)數(shù)。多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分，它告訴業(yè)務(wù)分析人員在數(shù)據(jù)集市當(dāng)中有哪些維、維的類(lèi)別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務(wù)事實(shí)表和維表的多維組織形式。業(yè)務(wù)概念模型和物理數(shù)據(jù)之間的依賴(lài)：以上提到的業(yè)務(wù)元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務(wù)視圖，這些業(yè)務(wù)視圖與實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)庫(kù)、多維數(shù)據(jù)庫(kù)中的表、字段、維、層次等之間的對(duì)應(yīng)關(guān)系也應(yīng)該在元數(shù)據(jù)知識(shí)庫(kù)中有所體現(xiàn)。2、元數(shù)據(jù)作用元數(shù)據(jù)作用在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)機(jī)制主要支持以下五類(lèi)系統(tǒng)管理功能：描述哪些數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中；定義要進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)和從數(shù)據(jù)倉(cāng)庫(kù)中產(chǎn)生的數(shù)據(jù)；記錄根據(jù)業(yè)務(wù)事件發(fā)生而隨之進(jìn)行的數(shù)據(jù)抽取工作時(shí)間安排；記錄并檢測(cè)系統(tǒng)數(shù)據(jù)一致性的要求和執(zhí)行情況；衡量數(shù)據(jù)質(zhì)量；與其說(shuō)數(shù)據(jù)倉(cāng)庫(kù)是軟件開(kāi)發(fā)項(xiàng)目，還不如說(shuō)是系統(tǒng)集成項(xiàng)目，因?yàn)樗闹饕ぷ魇前阉璧臄?shù)據(jù)倉(cāng)庫(kù)工具集成在一起，完成數(shù)據(jù)的抽取、轉(zhuǎn)換和加載，OLAP 分析和數(shù)據(jù)挖掘等。它的典型結(jié)構(gòu)由操作環(huán)境層、數(shù)據(jù)倉(cāng)庫(kù)層和業(yè)務(wù)層等組成。其中，第一層（操作環(huán)境層）是指整個(gè)企業(yè)內(nèi)有關(guān)業(yè)務(wù)的 OLTP 系統(tǒng)和一些外部數(shù)據(jù)源；第二層是通過(guò)把第一層的相關(guān)數(shù)據(jù)抽取到一個(gè)中心區(qū)而組成的數(shù)據(jù)倉(cāng)庫(kù)層；第三層是為了完成對(duì)業(yè)務(wù)數(shù)據(jù)的分析而由各種工具組成的業(yè)務(wù)層。其中的元數(shù)據(jù)管理部分起到了承上啟下的作用，具體體現(xiàn)在以下幾個(gè)方面：便于集成提高系統(tǒng)的靈活性保證數(shù)據(jù)的質(zhì)量幫助用戶理解數(shù)據(jù)的意義3、元數(shù)據(jù)模型設(shè)計(jì)元數(shù)據(jù)模型設(shè)計(jì)所有元數(shù)據(jù)按照其予以特征，劃分為 7 個(gè)大類(lèi)，即通用類(lèi)、元元數(shù)據(jù)類(lèi)、變量規(guī)范類(lèi)、標(biāo)準(zhǔn)過(guò)程類(lèi)、數(shù)據(jù)組織類(lèi)、角色權(quán)利類(lèi)、 模型擴(kuò)展類(lèi)，各類(lèi)元數(shù)據(jù)相互獨(dú)立，具有明確的語(yǔ)義特征，參見(jiàn)下表：元數(shù)據(jù)的語(yǔ)義特征:類(lèi)別名稱(chēng)語(yǔ)義特征通用對(duì)元數(shù)據(jù)模型進(jìn)行整體描述,包括各類(lèi)元數(shù)據(jù)的生存期限進(jìn)行說(shuō)明元元數(shù)據(jù)描述有關(guān)元數(shù)據(jù)記錄的自身信息變量規(guī)范對(duì)所有可以以標(biāo)準(zhǔn)變量形式進(jìn)行表示的元數(shù)據(jù)進(jìn)行描述處理過(guò)程對(duì)所有與數(shù)據(jù)處理流程算法有關(guān)的元數(shù)據(jù)進(jìn)行描述數(shù)據(jù)組織對(duì)數(shù)據(jù)存儲(chǔ)的邏輯組織方法進(jìn)行描述角色權(quán)利對(duì)使用元數(shù)據(jù)模型的用戶類(lèi)別與權(quán)力進(jìn)行描述模型擴(kuò)展對(duì)模型內(nèi)容的擴(kuò)展方法進(jìn)行描述元數(shù)據(jù)模型構(gòu)造方法自傷而下、逐步細(xì)化。可以歸納為：模型最基本的構(gòu)造單元為基本數(shù)據(jù)元素， 基本數(shù)據(jù)元素根據(jù)相互間語(yǔ)義的關(guān)聯(lián)，構(gòu)造出類(lèi)別表(如過(guò)程類(lèi)財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 35 頁(yè)別表)，定義表(如變量定義表)和詞匯表等中間部件，逐級(jí)綜合，最終構(gòu)成元數(shù)據(jù)模型的整體。 模型對(duì)所有中間部件都給出了引用名稱(chēng)，定義等方面的規(guī)范， 而對(duì)基本數(shù)據(jù)元素，又特別給出了數(shù)據(jù)類(lèi)型和取值范圍的說(shuō)明。模型總體結(jié)構(gòu)采用樹(shù)狀圖形式描述：變量規(guī)范的總體結(jié)構(gòu)：過(guò)程類(lèi)劃分：類(lèi)別名稱(chēng)含義實(shí)例分析手段特殊處理處理一下過(guò)程處理不能處理的特殊情況證券余額沖突處理數(shù)據(jù)采集從數(shù)據(jù)源中采集數(shù)據(jù)當(dāng)日行情數(shù)據(jù)清洗對(duì)采集的數(shù)據(jù)進(jìn)行預(yù)處理去除配號(hào)數(shù)據(jù)財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 36 頁(yè)數(shù)據(jù)歸檔將預(yù)處理符合要求的數(shù)據(jù)存放到不同的數(shù)據(jù)集市中去個(gè)人信息庫(kù)初級(jí)分析初級(jí)分析部分功能（涉及單個(gè)數(shù)據(jù)集合的單個(gè)類(lèi)別）客戶年齡分析分類(lèi)統(tǒng)計(jì) OLAP高級(jí)分析高級(jí)分析部分功能（涉及某個(gè)數(shù)據(jù)集合的多個(gè)類(lèi)別）性別，年齡，委托方式聯(lián)系關(guān)聯(lián)分析，OLAP綜合分析涉及多個(gè)數(shù)據(jù)集合，多個(gè)信息類(lèi)別，或來(lái)自較低級(jí)數(shù)據(jù)的分析結(jié)果盈利客戶操作時(shí)點(diǎn)分析數(shù)據(jù)挖掘等分析手段2.3.5 數(shù)據(jù)建模工具和方法數(shù)據(jù)建模工具和方法1、概述概述模型是現(xiàn)實(shí)世界中的事物（包括客觀規(guī)律）的一種客觀的抽象表示或模擬。抽象的含義是強(qiáng)調(diào)事物的本質(zhì)特性，揚(yáng)棄事物的次要因素。因此，模型既反映事物的原型，又不等于該原型，或者說(shuō)它是原型的一種近似。模型是理解、分析、開(kāi)發(fā)或改造事物原型的一種常用手段。模型的表現(xiàn)形式可以是數(shù)學(xué)公式、物理裝置、計(jì)算機(jī)仿真、專(zhuān)用的圖表文字或形式化語(yǔ)言等等。2、數(shù)據(jù)模型數(shù)據(jù)模型數(shù)據(jù)模型是對(duì)客觀事物及其聯(lián)系的數(shù)據(jù)描述，包括層次數(shù)據(jù)模型、網(wǎng)絡(luò)數(shù)據(jù)模型、關(guān)系數(shù)據(jù)模型、基于邏輯的數(shù)據(jù)模型、多維數(shù)據(jù)模型等等。數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型主要涉及關(guān)系數(shù)據(jù)模型、多維數(shù)據(jù)模型，分別對(duì)應(yīng)關(guān)系數(shù)據(jù)倉(cāng)庫(kù)和多維數(shù)據(jù)倉(cāng)庫(kù)。中國(guó)移動(dòng)經(jīng)營(yíng)分析系統(tǒng)底層細(xì)節(jié)數(shù)據(jù)的存儲(chǔ)采用關(guān)系數(shù)據(jù)模型，即關(guān)系數(shù)據(jù)庫(kù)。除非特別說(shuō)明，本文所指的數(shù)據(jù)模型將特指關(guān)系數(shù)據(jù)模型，數(shù)據(jù)倉(cāng)庫(kù)將特指經(jīng)營(yíng)分析系統(tǒng)的底層關(guān)系數(shù)據(jù)庫(kù)。財(cái)達(dá)證券有限責(zé)任公司數(shù)據(jù)中心建設(shè)項(xiàng)目投標(biāo)書(shū)第 37 頁(yè)3、第三范式第三范式范式理論是關(guān)系數(shù)據(jù)模型設(shè)計(jì)的基礎(chǔ)，關(guān)系數(shù)據(jù)模型可以從第一范式到第五范式進(jìn)行無(wú)損分解，該過(guò)程也稱(chēng)為規(guī)范化(Normalize)。規(guī)范化的基本思想是逐步消除數(shù)據(jù)依賴(lài)中不合適的部分，使各關(guān)系模式達(dá)到某種程度的分離，即“一事一地”(One Fact in One Place)的設(shè)計(jì)原則，它有非常嚴(yán)格的數(shù)學(xué)定義。規(guī)范化為數(shù)據(jù)庫(kù)的設(shè)計(jì)和實(shí)施、應(yīng)用程序的開(kāi)發(fā)提供了諸多好處，其主要優(yōu)點(diǎn)體現(xiàn)在：可以得到更全面的數(shù)據(jù)組織減少不必要的數(shù)據(jù)冗余易于維護(hù)數(shù)據(jù)的完整性模型設(shè)計(jì)更靈活，便于系統(tǒng)今后的擴(kuò)展數(shù)據(jù)庫(kù)設(shè)計(jì)一般采用第三范式，從所表達(dá)的含義看，一個(gè)符合第三范式的關(guān)系必須滿足以下三個(gè)條件：每個(gè)屬性的值唯一，不具有多義性；每個(gè)非主屬性必須完全依賴(lài)于整個(gè)主鍵，而非主鍵的一部分；關(guān)系模式中不存在傳遞依賴(lài)；考慮到平臺(tái)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的可擴(kuò)展能力、投資成本和易于管理等多種因素，系統(tǒng)基本上遵照第三范式進(jìn)行設(shè)計(jì)。4、實(shí)體關(guān)系模型實(shí)體關(guān)系模型實(shí)體-關(guān)系方法是一種具有代表性的語(yǔ)義數(shù)據(jù)建模方法，其圖形化表示稱(chēng)為實(shí)體-關(guān)系圖（簡(jiǎn)稱(chēng) ER 圖） 。按照實(shí)體-關(guān)系方法建立的系統(tǒng)數(shù)據(jù)模型稱(chēng)為實(shí)體-關(guān)系模型（Entity Relationship Model，簡(jiǎn)稱(chēng) ER 模型） 。ER 模型經(jīng)過(guò)多年的發(fā)展完善，逐漸形成了完整、統(tǒng)一的建模標(biāo)準(zhǔn)，同時(shí)許多工具軟件支持用 ER 模型完成數(shù)據(jù)庫(kù)的概念、邏輯和物理建模過(guò)程。IE 和 IDEF1