戴艷 建基于云平臺(tái)的 下一代數(shù)據(jù)中心 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計(jì)算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場(chǎng)景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 傳統(tǒng)的數(shù)據(jù)中心 煙囪式架構(gòu) 異構(gòu)的技術(shù) 多種操作系統(tǒng)平臺(tái) 支撐高峰時(shí)的容量 被動(dòng)的響應(yīng)式管理 龐大的應(yīng)用體系 靜態(tài)地部署 多種軟件組合 點(diǎn)對(duì)點(diǎn)集成 獨(dú)立的應(yīng)用數(shù)據(jù) ig 據(jù)中心的利用率和效率不高 很少的一部分客戶開始監(jiān)控?cái)?shù)據(jù)中心服務(wù)器的利用率，然而，非常少的客戶會(huì)注意數(shù)據(jù)中心的效率 . . 0 10 20 30 40 50 60 70 80 90 100 0 10 20 30 40 50 90 100 Up 0% 45 下一代云數(shù)據(jù)中心概念的提出 整合的 敏捷的 高性能 高可用性 整合架構(gòu) 煙囪式架構(gòu) 整合的要求 提升服務(wù)器的利用水平 5% - 10% (60% - 70% ( 敏捷的要求 敏捷地適應(yīng)應(yīng)用變化情況 根據(jù)負(fù)載隨需擴(kuò)展 高彈性，動(dòng)態(tài)伸縮， 置更多的實(shí)例 在初始投資成本和獲得良好的效率之間作出平衡（減少 實(shí)時(shí)地獲取業(yè)務(wù)變化，并以此作出響應(yīng) , B, C, D, E f 邦式云數(shù)據(jù)中心 據(jù)應(yīng)用要求進(jìn)行資源分配 性能的要求 全球最大數(shù)據(jù)倉庫容量其大小每?jī)赡暝鲩L(zhǎng)三倍 1998 1 2001 10 2003 30 2005 100 2007 3002009 900 2011 B 高性能的要求 分布式處理能力 集中處理層 問題：昨天的客戶發(fā)展量如何？ 分布式處理層 匯總、合并結(jié)果 24 多個(gè)服務(wù)器并行處理查詢請(qǐng)求 構(gòu)建并發(fā)各服務(wù)器返回結(jié)果 據(jù)復(fù)制 完全激活 故障切換到備點(diǎn) 數(shù)據(jù)的備份和恢復(fù) 低成本高性能 數(shù)據(jù)保護(hù) & 歸檔 集群技術(shù)保證容錯(cuò)和 服務(wù)器水平擴(kuò)展 可用性的要求 自動(dòng)存儲(chǔ)管理保證容錯(cuò)和 存儲(chǔ)水平擴(kuò)展 保證業(yè)務(wù)不被中斷 - 每個(gè)都是可以水平擴(kuò)展的 , 完全激活的 , 以數(shù)據(jù)為中心的 要求達(dá)到最高可用性和最低的成本 在線升級(jí) 硬件和軟件 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計(jì)算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場(chǎng)景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 云計(jì)算模式能 以按需方式 ， 通過網(wǎng)絡(luò) ， 方便的訪問 云系統(tǒng)的 可配置計(jì)算資源共享池 (比如：網(wǎng)絡(luò)，服務(wù)器，存儲(chǔ)，應(yīng)用程序和服務(wù) ) 。同時(shí)它以 最少的管理開銷 及 最少的與供應(yīng)商的交互 ，迅速配置提供或釋放資源 。 * 計(jì)算 云計(jì)算 基本特征 普遍網(wǎng) 絡(luò)訪問 共享的 資源池 多 速彈 性能力 可度量 的服務(wù) 按需的 自服務(wù) 云計(jì)算的 5個(gè)基本特征 為什么采用“云” 煙囪式的系統(tǒng)建設(shè)， 件 /能耗 /管理） 按峰值規(guī)模建設(shè)，資源平均利用率低 缺乏彈性的系統(tǒng)設(shè)計(jì)，應(yīng)對(duì)業(yè)務(wù)突發(fā)情況差 建設(shè)周期漫長(zhǎng)，無法快速提供與部署 業(yè)務(wù)需求的快速增長(zhǎng)，設(shè)備更替快，不利投資保護(hù) 集中資源池的共享 虛擬化、分時(shí) /區(qū)共享 動(dòng)態(tài)調(diào)配、彈性伸縮 自動(dòng)化、自服務(wù) 低成本、標(biāo)準(zhǔn)化硬件 云計(jì)算 云數(shù)據(jù)中心 技術(shù)標(biāo)準(zhǔn)化 能力服務(wù)化 提供快速化 資源彈性化 管理自動(dòng)化 管控集中化 傳統(tǒng)模式 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計(jì)算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場(chǎng)景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 眾多分散的小數(shù)據(jù)庫需要整合，尤其是 散的數(shù)據(jù)庫帶來很多問題： 分散的管理與運(yùn)維 數(shù)據(jù)分散帶來的數(shù)據(jù)一致性問題 系統(tǒng)擴(kuò)展能力的限制，即，缺乏彈性能力（突發(fā)性業(yè)務(wù)需求的支撐能力難以滿足） 數(shù)據(jù)安全問題，無統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)質(zhì)量問題，無統(tǒng)一標(biāo)準(zhǔn)和流程 數(shù)據(jù)全生命周期管理缺失 維護(hù)人員分散利用率不高的問題 分散數(shù)據(jù)庫帶來的 中的數(shù)據(jù)庫基于共享可以帶來 分散帶來的數(shù)據(jù)分析與數(shù)據(jù)挖掘的困難 11 低信息密度的現(xiàn)狀導(dǎo)致的存儲(chǔ)空間的浪費(fèi)問題（缺乏高性能壓縮能力） 整合符合綠色計(jì)算的發(fā)展趨勢(shì) 通過標(biāo)準(zhǔn)化及自動(dòng)化管理的采用有效降低運(yùn)維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 滿足全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 整合與共享可以帶來數(shù)據(jù)服務(wù)能力的持續(xù)可用 集中化、標(biāo)準(zhǔn)化是 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求 分散數(shù)據(jù)庫的整合 狀及需求 1 目前的災(zāi)備中心多為基于現(xiàn)有應(yīng)用進(jìn)行一對(duì)一的匹配建設(shè)（ 硬件投資巨大 目前的災(zāi)備中心多為冷備中心（ 日常災(zāi)備中心的資源只能空閑無法利用，資源的有效利用率很低 需要建設(shè)雙活的災(zāi)備中心（ 有效提升資源利用率 需要基于資源共享（ 動(dòng)態(tài)調(diào)整能力，有效節(jié)約硬件投資 異構(gòu)數(shù)據(jù)管理變?yōu)榻y(tǒng)一的同構(gòu)數(shù)據(jù)管理，提升可管理性 通過集中化的災(zāi)備中心建設(shè)，促進(jìn) 術(shù)標(biāo)準(zhǔn)化的演進(jìn) 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求 集中化的災(zāi)備中心 狀及需求 3 伴隨電信市場(chǎng)競(jìng)爭(zhēng)的加劇，電信企業(yè)的產(chǎn)品的同質(zhì)化及全網(wǎng)一體化趨勢(shì)越發(fā)明顯，這使得電信企業(yè)的業(yè)務(wù)標(biāo)準(zhǔn)化程度越來越高；這些趨勢(shì)直接導(dǎo)致了全網(wǎng)大集中的 據(jù)模型、客戶體驗(yàn)等為全網(wǎng)的所有使用者提供 來更高要求的數(shù)據(jù)庫服務(wù)提供能力需求： 滿足大集中的高性能需求（數(shù)億用戶的 滿足大集中帶來的 滿足大集中帶來的高可用性要求 滿足數(shù)據(jù)的生命周期管理能力 滿足業(yè)務(wù)增長(zhǎng)帶來的動(dòng)態(tài)擴(kuò)展性需求 滿足 滿足 全國(guó)大集中的 可用性、數(shù)據(jù)嚴(yán)格一致性等方面的數(shù)據(jù)庫需求，在 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求 大集中 狀及需求 3 適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能 海量數(shù)據(jù)的可管理性 數(shù)據(jù)生命周期管理 擴(kuò)展性 服務(wù)使用的度量 數(shù)據(jù)安全 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 計(jì)算能力及存儲(chǔ)容量的彈性能力 自動(dòng)化管理能力 服務(wù)使用的度量 數(shù)據(jù)安全 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)采用云數(shù)據(jù)中心的潛在現(xiàn)實(shí)需求 新一代 狀及需求 4 眾多分散的小數(shù)據(jù)庫的整合，尤其是 基于整合平臺(tái)提升數(shù)據(jù)生命周期管理能力及數(shù)據(jù)質(zhì)量 通過標(biāo)準(zhǔn)化及自動(dòng)化管理的采用有效降低運(yùn)維成本 有效提升數(shù)據(jù)安全并降低數(shù)據(jù)分發(fā)的難度 全企業(yè)內(nèi)集中的、標(biāo)準(zhǔn)化的數(shù)據(jù)管理要求 建設(shè)雙活的災(zāi)備中心，有效提升資源利用率 基于資源共享及動(dòng)態(tài)調(diào)整能力，有效節(jié)約硬件投資 通過集中化的災(zāi)備中心建設(shè)，促進(jìn) 術(shù)標(biāo)準(zhǔn)化的演進(jìn) 全國(guó)大集中的 其是 海量數(shù)據(jù)管理能力及動(dòng)態(tài)擴(kuò)展能力 適合大型企業(yè)的大型關(guān)系型數(shù)據(jù)庫的提供或托管 高性能、海量數(shù)據(jù)管理、擴(kuò)展性 適合中小企業(yè)的小型關(guān)系型數(shù)據(jù)庫的提供或托管 性能力、自動(dòng)化 分散數(shù)據(jù)庫的整合 集中化的災(zāi)備中心 大集中 新一代 電信企業(yè)在云化架構(gòu)的數(shù)據(jù)庫平臺(tái)層的潛在現(xiàn)實(shí)需求 云數(shù)據(jù)中心的需求總結(jié) 業(yè)務(wù)目標(biāo)： 降低成本、提高效率、改善服務(wù)、拓展業(yè)務(wù)！ 提綱 1、 云數(shù)據(jù)中心 概念的提出 2、云計(jì)算與 數(shù)據(jù)中心 的關(guān)系 3、 云數(shù)據(jù)中心 的應(yīng)用場(chǎng)景 4、 云數(shù)據(jù)中心 的數(shù)據(jù)管理 云數(shù)據(jù)中心的技術(shù)要求 24 計(jì)算資源、存儲(chǔ) 數(shù)據(jù) 應(yīng)用 /服務(wù) 云接入 數(shù)據(jù)仍然是云中心最重要的信息資產(chǎn)！ 海量分布式存儲(chǔ)和處理 高并發(fā)讀寫 高性能獲取 負(fù)載均衡 資源共享 在線擴(kuò)展遷移 足夠的安全 簡(jiǎn)單的管理 標(biāo)準(zhǔn)的訪問接口 如何實(shí)現(xiàn)云數(shù)據(jù)中心 兩種云中的分布式數(shù)據(jù)庫 25 集 群 調(diào) 度分 布 式 文 件 系 統(tǒng)G F 式 鎖 服 務(wù)主 服 務(wù) 器客 戶 端支 撐 層B i g t a b l 端（ l i b r a r y ）服 務(wù) 層用 戶 層元 數(shù)據(jù) 表子 表 服 務(wù) 器子表子表子表子 表 服 務(wù) 器子表子表子 表 服 務(wù) 器子表子表子表存 儲(chǔ) 存 儲(chǔ) 存 儲(chǔ)存 儲(chǔ)高 速 網(wǎng) 絡(luò) 互 聯(lián)N + 1 集 群存 儲(chǔ) 層管 理 控 制 層存 儲(chǔ)S A 云服務(wù)提供商： S 開源 /獨(dú)立： 系型數(shù)據(jù)庫 /數(shù)據(jù)倉庫分布式解決方案 W:QL 開源： 種云中的分布式數(shù)據(jù)庫 26 非關(guān)系型分布式數(shù)據(jù)庫 針對(duì)某類特定需求而設(shè)計(jì) 具有 很強(qiáng)的彈性和擴(kuò)展能力 規(guī)?；峁?較強(qiáng)的分布式處理能力 數(shù)據(jù)弱一致性設(shè)計(jì) 較弱的結(jié)構(gòu)化查詢統(tǒng)計(jì)能力，一般存在較多限制 非標(biāo)準(zhǔn) /部分標(biāo)準(zhǔn)的訪問接口 關(guān)系型分布式數(shù)據(jù)庫 通用性設(shè)計(jì) ，但也帶來了 性能的限制 通過集群提供較強(qiáng)的橫向擴(kuò)展能力 較強(qiáng)的分布式能力 數(shù)據(jù)強(qiáng)一致性保障 很強(qiáng)的結(jié)構(gòu)化查詢與復(fù)雜分析能力 標(biāo)準(zhǔn)的數(shù)據(jù)訪問接口 很小的應(yīng)用領(lǐng)域，缺乏成熟的商業(yè)產(chǎn)品。 產(chǎn)品成熟，但要在性能和伸縮性上進(jìn)一步增強(qiáng) 數(shù)據(jù)中心可能的問題 可用性 大規(guī)模集群環(huán)境下，單個(gè) /部分節(jié)點(diǎn)的 故障容錯(cuò) 性能瓶頸 隨著集群規(guī)模的擴(kuò)大，單節(jié)點(diǎn)環(huán)境下的 性能瓶頸可能會(huì)被放大，如 節(jié)點(diǎn)交互 、 展性 隨著數(shù)據(jù)量和負(fù)載的增大，如何保證可 擴(kuò)展性 以滿足業(yè)務(wù)處理和分析對(duì)性能的要求 數(shù)據(jù)存儲(chǔ) 海量數(shù)據(jù)的在 分布式環(huán)境 下的存儲(chǔ)和高效訪問，空間的需求和壓縮等 27 云環(huán)境下需要一個(gè)更加強(qiáng)大的分布式數(shù)據(jù)庫解決方案！ 美解決 超大型分布式數(shù)據(jù)庫 /數(shù)據(jù)倉庫 面臨的挑戰(zhàn)！ 28 數(shù)據(jù)倉庫應(yīng)用帶來 100倍的性能提升； 應(yīng)海量數(shù)據(jù)迅速增長(zhǎng)的線性性能擴(kuò)展，消除瓶頸 配置的軟硬件提供企業(yè)級(jí)的支撐能力，最大可用性、安全性、容災(zāi)等 。 于網(wǎng)格的智能分布式存儲(chǔ)，解決海量數(shù)據(jù)的存儲(chǔ)和處理，保證強(qiáng)大的 I/ 資源的分割與整合 可以防止運(yùn)行在一個(gè)例程中的失控進(jìn)程影響到運(yùn)行在服務(wù)器上的其它例程 當(dāng)數(shù)據(jù)庫運(yùn)行時(shí)可以動(dòng)態(tài)調(diào)整 . 參數(shù) 支持分割方式和過度配置 與 分布式智能處理 分布式處理，解決計(jì)算能力問題 ：每個(gè)服務(wù)器包括存儲(chǔ)、 處理 壓縮，恒定的計(jì)算能力與存儲(chǔ)的比值。 橫向并發(fā)計(jì)算，解決帶寬和可靠性問題 ：分布式處理單元橫向部署， 理能力與數(shù)據(jù)量同比擴(kuò)展。 廉價(jià)標(biāo)準(zhǔn)化，解決價(jià)格及更新問題 ：完全標(biāo)準(zhǔn)的 能存儲(chǔ)單元數(shù)量不受限，極大降低成本，并隨著 群數(shù)據(jù)庫或單實(shí)例數(shù)據(jù)庫 布式處理層 集中處理層 超高速、并發(fā)網(wǎng)絡(luò)層 中存儲(chǔ) 的 高可用性 通過自動(dòng)存儲(chǔ)技術(shù) (免磁盤或存儲(chǔ)節(jié)點(diǎn)的單點(diǎn)故障 自動(dòng)存儲(chǔ)管理保證數(shù)據(jù)的冗余和條帶化 保證數(shù)據(jù)的分布是均勻的 保證存儲(chǔ)的動(dòng)態(tài)添加和刪除 保證熱點(diǎn)數(shù)據(jù)獲得更好的性能 案例介紹 奧斯丁數(shù)據(jù)中心 : 超過 20,000 服務(wù)器 全世界最大的 據(jù)中心 每星期增加 100服務(wù)器 超過 5,000 據(jù) 全世界最大的 據(jù)中心 每月增加 60據(jù) 支持超過 400 其他客戶的關(guān)鍵應(yīng)用 為超過 65000甲骨文員工服務(wù) 超過 7000平方米 1998 52 1 40 3 果 : 持續(xù)發(fā)展和收益增長(zhǎng) on a to in on at $T T 998 %) $%) 1999 2000 2001 2002 2003 2004 2005 2006 2007 $