《面向云計算數據中心的綠色軟件挑戰(zhàn)》由會員分享，可在線閱讀，更多相關《面向云計算數據中心的綠色軟件挑戰(zhàn)（30頁珍藏版）》請在裝配圖網上搜索。

1、面向云計算數據中心的綠色軟件挑戰(zhàn),孫毓忠 中國科學院計算機系統結構重點實驗室 Email: Tel:010-6260 0640 Website：, then Click “OS group”,內容綱要,綠色軟件是綠色數據中心的關鍵 數據中心與HPC計算的統一 黑色軟件的根源 軟件綠色之路,國家戰(zhàn)略需求:基于數據中心的云計算,面向數據中心的超級計算模式,基礎架構基于Internet的大規(guī)模高效能、可信的數據、計算超級環(huán)境,Internet,圍繞重大需求的活動,超級計算模式的挑戰(zhàn)： 計算系統日益膨脹導致的高能耗； 軟件系統日益復雜導致的高阻尼性； 處理器多核化呼吁軟件的高擴展性。,挑戰(zhàn)1、超級計算

2、環(huán)境能耗的嚴迫性,李國杰院士，“改變信息科學技術的重點研究方向”， 2008年人民大會堂諾貝爾獎報告,挑戰(zhàn)2、軟件對硬件能力的阻尼性,軟件疊架高耗,應用層的Read在Linux內核中的單向20次以上的調用,系統軟件阻尼效應的宏觀實例：中間件阻尼開銷,數據庫讀寫與文件系統讀寫比較 平臺 CentOS5.1 對比對象 MySQL數據庫中的操作：mysqldump --quick 采用SQL級別的備份機制，將數據表導成create table/insert等SQL語句 文件系統中對應的操作：cp 簡單的文件復制，不考慮數據表的結構 數據表大小 約700M 實驗設計 每組實驗進行兩次，第二次備份的數據

3、被cache住 結論：功能增加以功耗和延遲為代價,Dtable=Bigtable+file system+database, “Modular data storage with Anvil”, Mike Mammarella, Shant Hovsepian, Eddie Kohler ,ACM SOSP09,,系統軟件阻尼效應的宏觀實例：數據庫讀寫與文件系統讀寫比較(續(xù)),比較結果（cp比mysqldump）： Latency縮短4倍左右 動態(tài)能耗（負載對應的能耗）降低4倍左右,挑戰(zhàn)3、處理器多核化與軟件 擴展性的矛盾,綠色軟件:綠色數據中心的關鍵,處理器多核化降低了超級計算環(huán)境的效能：

4、Gelsingers Law：2x 晶體管數目 = 1.4x性能; 解決能耗問題高效能的系統軟件： 原則：超級計算環(huán)境高“效”解決其高能耗； 方法：提高超級計算環(huán)境的有效計算比例； 手段：芯片及系統級體系結構、 系統軟件、應用。 系統軟件的疊架高耗導致CPU指令流中有 效計算小于6%（ William J. Dally ELM）。,,,大膽推理,曙光5000A： 230T/180.6T 700KW： 節(jié)能94%？,超級計算模式下的綠色軟件挑戰(zhàn)： 降低數據中心能耗100倍!,內容綱要,綠色軟件是綠色數據中心的關鍵 數據中心與HPC計算的統一 黑色軟件的根源 軟件綠色之路,計算機體系結構的再

5、認識,學科方向計算機體系結構 計算機系統（system，從硬件的角度，如計算所的HPP體系結構）； 系統軟件（system software，從軟件的角度，如運行于HPP之上的操作系統、文件系統、運行環(huán)境）； 計算理論（computing paradigm and model，從理論的角度，如LogP和BSP）。,SEECI:數據/計算中心的融合,形成圍繞計算機體系結構的研究體系 計算機系統： Google-like和HPC融合通用可重構計算體系結構SEECI，同時開發(fā)應用并發(fā)性與并行性: Interconnection network：RCR、 GBlockShiftN 、 BSWRN（TP

6、DS，第一著者）； Generalized Cluster== Processors + mem bandwidth + disk bandwidth via CPU + GPGPU, in Xpflops HPC and Google servers== Unlimited virtual Von Newman machine; Multi/many-core CPU + GPGPU==XPU with FPGA reconfigurable functionality at arbitrary scale； Social Energy-Efficient Computing Infrast

7、ructure == Green Reconfigurable networked sys software + Reconfigurable architecture with reconfigurable processors;,內容綱要,綠色軟件是綠色數據中心的關鍵 數據中心與HPC計算的統一 黑色軟件的根源 軟件綠色之路,認識高效能挑戰(zhàn)的多維性,從部件與系統的角度： 以多核為代表的部件能耗挑戰(zhàn)； 以多核為基本部件的超級計算平臺能耗挑戰(zhàn)； 從莫爾定律的角度： 多核芯片莫爾定律利用的效能性； 基于多核部件的超級計算平臺莫爾定律的效能性； 從應用效能的角度： 軟件對系統硬件莫爾定律的阻尼性執(zhí)

8、行效能墻； 多核超級計算平臺系統軟件的可靠性與可信性。,觀點：效能的重大挑戰(zhàn)在軟件Wirths law,Software is getting slower more rapidly than hardware becomes faster。 In his 1995 paper “A Plea for Lean Software ”he attributes it to Martin Reiser.,Book“ Algorithms + Data Structures = Programs ”,系統軟件“執(zhí)行效能墻”,系統軟件低效能執(zhí)行效能墻,,,內存墻,I/O墻（磁盤墻）,計算墻,編程墻,復

9、雜性墻,可靠性墻,多個應用程序的并發(fā)操作,內容綱要,綠色軟件是綠色數據中心的關鍵 數據中心與HPC計算的統一 黑色軟件的根源 軟件綠色之路,綠色軟件的科學問題,科學問題固化軟件與應用算法和硬件多樣性的失配導致軟件對硬件Moore定律產生日益強大的阻尼效益，產生新的軟件挑戰(zhàn)-軟件的執(zhí)行效能墻，阻礙了能量在應用算法、軟件與硬件間的高效流動，導致每瓦有效操作的低下。因此，必須考慮重新思考軟件設計方法學和軟件本身的機構、機制，即需要綠色軟件。,綠色軟件的4大挑戰(zhàn),1、編程墻問題的挑戰(zhàn)：程序=算法+數據結構，這里異構的算法和數據結構的設計必須考慮其下的計算平臺和環(huán)境的異構、并發(fā)、擴展性、可用性、可移植性

10、等特征，從而導致軟件生產的高效性與分布式計算環(huán)境的異構與并發(fā)性間的矛盾，研究目標：在千百萬并行計算單元上處理千百萬級并發(fā)操作，研究內容： a)算法的并發(fā)性/異構性與執(zhí)行的并發(fā)性/異構性相融合的編程語言； b)異構算法的并發(fā)性與并行性的機制與原理； c)異構并發(fā)算法的并行執(zhí)行的機制與原理。,綠色軟件的4大挑戰(zhàn)（續(xù)）,2、無限擴展性的挑戰(zhàn)：算法在設計的時候必須考慮其要求解問題的規(guī)模，必須考慮求解問題的計算規(guī)模和復雜度，必須考慮計算對應的數據空間的無限性，從而導致軟件自身在可信性、可靠性、擴展性、動態(tài)性、演化性、分布性、并發(fā)性、并行性等方面的矛盾，研究目標：無限可擴展軟件的復雜度下降1個數量級，內容

11、： a)可無限擴展軟件的體系結構、運行機制、原理與設計方法學； b)無限數據空間與無限計算空間在多尺度下交互的機制、原理與方法； c)多特征（如可信性、可靠性、擴展性、動態(tài)性、演化性、分布性、并發(fā)性、并行性）軟件的運行機制、原理與設計方法學。,綠色軟件的4大挑戰(zhàn)（續(xù)）,3、能量有效性的挑戰(zhàn)：物質資源、能量資源、信息資源之間具有很強的互相影響力。其中的許多影響需要深入研究。IT的能耗在全球能耗中的比例正在持續(xù)上升。從能耗角度研究IT技術是一個十分重要的、全球化的技術、經濟、政治問題。軟件將在其中扮演十分重要的角色。從能量轉換計算的內涵看： 能量的轉化循環(huán)模型：風能、水能、太陽能等轉換為電能，電能

12、驅動芯片轉換為熱能，加劇地球的溫室效應，形成能量的循環(huán)； 硬件（處理器、硬盤、網卡等）是能量的直接而被動的使用者，硬件僅提供了能量消耗的理論最小下界，遵循硬件摩爾定律推動下的發(fā)展； 軟件（操作系統、中間件、應用等）是硬件行為的規(guī)范與指導者，是能量的真正消費者，軟件決定了能量消耗的最大上界。目前而言，阻礙了硬件摩爾定律效能的發(fā)揮，研究目標：圍繞軟件能夠降低數據中心能耗100倍嗎？,綠色軟件的4大挑戰(zhàn)（續(xù)）,研究內容： a）復雜計算問題的高效計算模型、算法設計與編程方法； b)綠色計算模型。計算系統異構化、顆粒化、松散化背景下，探討社會化綠色計算的有效模式，例如云計算模式、P2P模式等在其中可能的

13、角色；信息化自身的綠色問題；能耗復雜度模型和度量；能量在計算中的消耗與轉換的模式與途徑等； c)綠色計算基礎軟件架構。網絡化綠色系統軟件的編程模型、開放與自演化模型、可信模型、計算模型；新型的軟件設計理論與方法；海量資源的高效復用和海量計算/操作的高效并發(fā)的深層次矛盾等；軟件能耗效率度量；綠色計算軟件的設計方法學和理論。,綠色軟件的4大挑戰(zhàn)（續(xù)）,4、軟體系結構的挑戰(zhàn)：軟體系結構（如當前的云計算）具有無限的可擴展性、無限的靈活性、任意的可重構性、無限的計算能力、無限的可達性、無限的抽象性（如不同層次的編程與計算模型、語言等）等，所以，未來的計算機體系結構將呈現出“軟體系結構”的特征，這一點在p

14、2p計算中有很好的表現：任何人可自由構建有任意拓撲結構的虛網絡計算環(huán)境。軟件的形態(tài)、體系結構、功能、性能、設計方法等都將發(fā)生重大的歷史變化，研究目標是構建全球化軟計算能力中心，研究內容： a)軟體系結構（如云計算）的計算模式、動力學方程、計算模型； b)軟體系結構的形態(tài)、運行機制、原理與設計方法學； c)軟體系結構與無限可擴展并行的異構計算能力的并發(fā)性交互行為的機制與規(guī)律。,已有的工作進展,系統軟件：基于虛擬化技術的綠色系統軟件 軟件對硬件Moore定律的阻尼效應、軟件執(zhí)行效能墻、綠色系統軟件架構 （IEEE Cluster、ccGrid、HPDC、IPDPS、ICPP、HiPC等發(fā)表23篇論

15、文）； 計算理論： 能力服務計算解決資源綠色高效流動與系統能量高效使用（起源李國杰院士“能力服務器”，成熟）； LogPCM模型抽象Google-like計算數據中心系統（對應MPP的LogP模型，在寫論文）； Event-flowing 計算模型（啟發(fā)于data flowing model、高光榮、Douglas C. Burger、IEEE Cluster09，） ；,已有的工作進展（續(xù)）,原創(chuàng)技術10項： 可信多維空間流式模型、應用能力需求模型、資源整合效用分析模型、層次化能力調度模型和策略、網絡化可信系統軟件架構、DVMM、服務化IO模型與架構、綠色軟件能效度量與監(jiān)測、基于VM和Pip

16、eline的新型Web服務器、LogPCM； 申請了6項專利，其它專利準備中，部分: 張躍東、楊毅、孫毓忠，“基于網格計算機體系的計算機外設部件連接系統及方法”，申請?zhí)?00510126493.4。 李忠、孫毓忠，“一種遠程桌面系統中的窗口緩存方法”，申請?zhí)?00810116325.0。 王若倪、李亞瓊、張玉放、孫毓忠，“基于分布式虛擬機管理器的分布式cache系統及其工作方法”，申請?zhí)?00910080186.5。 張玉放、王若倪、孫毓忠，“一種流水線Web服務器的系統及其工作方法”，申請?zhí)?00810247388.X。 楊亞軍、熊星、孫毓忠，“一種在虛擬化環(huán)境中I/O設備重構的方法及系統”，申請?zhí)?00810239739.2。,,能力服務計算的關鍵技術,能力服務 流動機制,資源虛擬化及其供給機制,應用的能力（CPU、內存等）需求模型,層次化能力流動模型和流動策略,能力流動與應用能力需求的實時匹配模型和技術,虛擬化數據中心服務與資源整合的效用分析模型,,,分布式虛擬機機制（IO、網絡、內存）,新型高效能網絡化系統軟件架構,網絡化的可信系統軟件架構,,,,,,,,系統原型：學術發(fā)展源頭與歸宿,綠色無限操作系統項目Rainbow,歡迎批評與指正！,