《阿里數(shù)據(jù)庫架構變遷與展望》由會員分享,可在線閱讀,更多相關《阿里數(shù)據(jù)庫架構變遷與展望(38頁珍藏版)》請在裝配圖網(wǎng)上搜索。
1、阿里數(shù)據(jù)庫架構變遷與展望2015中國數(shù)據(jù)庫技術大會DATABASE TECHNOLOGY CONFERENCE CHINA 201 5大數(shù)據(jù)技術探索和價值發(fā)現(xiàn) ChinaUmxSTUBS!阿里數(shù)據(jù)庫體系的四個時代用ys 房應M 機個機4n- 4H-異地雙活 單元化 AliSQL異地多活云化自研 OceanBase同城多機房 垂直拆分 商業(yè)IOE無冕之王新機遇新挑戰(zhàn)輝煌麗弋曲JO3 - 2 必 淘寶初創(chuàng)淘寶初創(chuàng)U JLEfl - H 堡古島-ML - SfcNAAuctionMemberSearch復制ApacheMoMod_php4PMySQL SlaveMySQL SlaveMySQLMas
2、ter復制問題:單機MySQL數(shù)據(jù)庫迅速達到瓶頸解法: MySQL遷移到Oracle ,并逐步升級硬件,到小型機, 高端存儲,最終形成IOE架構效果:支撐了淘寶2004到2009發(fā)展高峰輝煌時代TO EOf:療矯 UMtSEMirx/iirx*7問題:擴展性、可用性垂直擴展走到了極限集中式,穩(wěn)定性的挑戰(zhàn)掌控力閉源的Oracle封閉的小機/存儲回首往事-從10E架構走向AliSQL分布式架構第一次推動中國數(shù)據(jù)庫產(chǎn)業(yè)變革獲得無限掌控力 數(shù)據(jù)庫限流-第一次自己的命運自己掌握 熱點更新優(yōu)化-定制優(yōu)化熱點商品減庫存業(yè)務場景 線程池特性優(yōu)化-定制優(yōu)化高連接數(shù)并發(fā)場景 專場7數(shù)據(jù)庫調優(yōu),阿里巴巴章穎強無限可
3、能,盡在掌握無冕之王一AliSQL12年歷程回顧淘寶網(wǎng)創(chuàng)建1應用Java化改造垂直拆分完成支付寶完成去IE硬件不斷升級A去IOE啟動200320042005200620072008200920102011201220132014商品庫完成IOE_引入小型機 引入Oracle一水平拆分完成開始嘗試MySQL淘寶全網(wǎng)完成去IOE支付寶交易完成OB改造新挑戰(zhàn)新機遇全網(wǎng)架構資源限制,一個城市已經(jīng)不能滿足需求單元化容災,單地域機房風險AliSQL分表數(shù)量龐大 OceanBase集群拆分接近極限A業(yè)務開發(fā)復雜度路由,關聯(lián),聚合,訂正新挑戰(zhàn)新機遇-單元化cdnN按用戶分流單元1單元2單元N中心-接入層I同步
4、調用中心服務層I異步消息接入層接入層接入層服務層服務層服務層單元化新挑戰(zhàn)新機遇-單元化 對應用挑戰(zhàn)的及解法單元內封閉A延遲同步調用的影響 ,同一機房0.2 ms 同一城市l(wèi)5ms 跨城市5ms 100 ms 幾百次調用吞吐量下降 數(shù)據(jù)復制延遲問題新挑戰(zhàn)新機遇-單元化對數(shù)據(jù)庫的挑戰(zhàn)及解法中心及各個單元間數(shù)據(jù)拆分原則數(shù)據(jù)買家維度拆分數(shù)據(jù)質量保障_ 數(shù)據(jù)多點寫入風險 單元間D RC數(shù)據(jù)復制 數(shù)據(jù)復制一致性,正確性保障 專場13阿里巴巴錢在晨單元化效益穩(wěn)定性變更范圍故障恢復時間伸縮能力擺脫機房限制 伸縮規(guī)模再次增強新挑戰(zhàn)新機遇橫跨三年的項目探索項目啟動II2013-08 I2013-05同城兩單元-單
5、元化攻堅收尾多地域,更遠距離異地雙活雙11洗禮新挑戰(zhàn)新機遇全網(wǎng)架構資源限制,一個城市已經(jīng)不能滿足需求單元化容災,單地域機房風險AliSQL分表數(shù)量龐大 OceanBase集群拆分接近極限A業(yè)務開發(fā)復雜度路由,關聯(lián),聚合,訂正新挑戰(zhàn)新機遇OceanBaseData(固態(tài)盤)數(shù)據(jù)存儲:多機磁盤修改增量:單機內存增刪改Query修改增量 (內存)=基線數(shù)據(jù)中SQL IJ SQL | SQL SQL SQL SQL SQL SQLaorgerv、r Qr kServeMergeServerChunkserverRootServerUpdateServerMergeServerChunkserver修改
6、增量基線數(shù)據(jù)MergeServerChunkserverIV erjc!?erverChunkJerver應用接口MergeServerChunkserver基于Paxos的高可用方案以不可靠部件提供可靠服小于半數(shù)的分區(qū)容忍性 較高的可用性(最大35s不可用) 強一致性RootServer宕機/程序異常退出35S/不可用UpdateServer宕機/程序異常退出25s左右/不nJ用MergeServer宕機/程序異常退出1分鐘/少量讀超時ChunkServer宕機/程序異常退出1分鐘/少量讀超時主集群不可用如出現(xiàn)機房斷網(wǎng)情況35s/不nJ用角色異常描述時間/影響OceanBase wrf riSpat r0 20142(v0.5)201020112012 s I01320140152016017Vl.x全面覆蓋