Sina JPool微博平臺(tái)自動(dòng)化運(yùn)維實(shí)踐目錄 CONTENT12431.微博平臺(tái)業(yè)務(wù)背景百T+萬億+600億+53%5min15次/w3000+200+50+99.99%150ms2/季 8億8千萬1.75億2.縱觀自動(dòng)化運(yùn)維發(fā)展概況自動(dòng)化運(yùn)維發(fā)展概況階段1階段2階段3階段4原始階段 工具系統(tǒng)綜合運(yùn)維平臺(tái)云計(jì)算&智能運(yùn)維變更腳本化運(yùn)維標(biāo)準(zhǔn)化工具Web化運(yùn)維精細(xì)化工具平臺(tái)化數(shù)據(jù)API化運(yùn)維服務(wù)化智能化運(yùn)維DevOPS*aaS目錄 CONTENT124311.Sina Dispatch介紹l什么是Sina Dispatch?u 通用化的Shell調(diào)度與任務(wù)調(diào)度u 2012年新浪內(nèi)部自研u 基于C+及Cwinux通信架構(gòu)庫開發(fā)u 主要組件：dispatch，agent，MySQLu 消息協(xié)議：PB(ProtoBuf)lDispatch主要特性u(píng) 豐富的API：控制操作接口化u 高可用：Master-Slave部署方式u 高性能：支持萬臺(tái)服務(wù)器的并發(fā)調(diào)度u 安全性強(qiáng)：MD5值校驗(yàn)，特殊字符過濾2.Dispatch 調(diào)度設(shè)計(jì)lShell調(diào)度u 變量：內(nèi)置Shell變量 + 自定義變量u 安全：MD5值簽名，密碼保護(hù)u 策略：可設(shè)置超時(shí)時(shí)間u 其他：同時(shí)并發(fā)執(zhí)行，輸出實(shí)時(shí)回顯l任務(wù)調(diào)度u 變量：內(nèi)置任務(wù)變量 + 自定義變量u 安全：MD5值簽名，簽名錯(cuò)誤拒絕執(zhí)行u 策略：并發(fā)數(shù)控制，最大比例控制，超時(shí)控制u 輸出：stdout , stderr實(shí)時(shí)回顯u 腳本：支持Shell，Python，PHP等腳本語言u(píng) 狀態(tài)：執(zhí)行中，超時(shí)，失敗，完成u 操作：啟動(dòng)，暫停，取消，重做，完成，回滾3.Dispatch 架構(gòu)dispatch主線程admin線程任務(wù)處理線程agent服務(wù)器集群與agent連接的通信協(xié)議層及通信線程agentagent主動(dòng)連接主動(dòng)連接通知master變化檢測(cè)誰是masterShell消息通知獲取shell指令定義獲取新任務(wù)更新任務(wù)執(zhí)行態(tài)發(fā)送任務(wù)接收消息 接收消息 發(fā)送shell 指令 配置數(shù)據(jù)庫主線程指令流：agent上報(bào)Shell調(diào)度任務(wù)調(diào)度4.Agent 架構(gòu)masterdispatch通信層主動(dòng)連接主動(dòng)連接指令流：agent上報(bào)Shell調(diào)度任務(wù)調(diào)度slaveslaveagentShell處理操作隊(duì)列Vfork 執(zhí)行shellapp pool1 Task隊(duì)列Vfork執(zhí)行任務(wù)Vfork任務(wù)處理app pool2 Task隊(duì)列執(zhí)行任務(wù)輪詢結(jié)果push任務(wù)push任務(wù)輪詢結(jié)果接收任務(wù)結(jié)果結(jié)果shell任務(wù)接收shell輪詢結(jié)果pushshellExecshellExec任務(wù)Exec任務(wù)主動(dòng)連接任務(wù)調(diào)度Shell調(diào)度Shell調(diào)度Shell調(diào)度目錄 CONTENT1243311.One host的生命周期Text in hereText in hereStep1 機(jī)器初始化 - 設(shè)備錄入資源池（資源管理） - 一鍵初始化（配置管理）Step2 服務(wù)部署 - 環(huán)境部署 - 監(jiān)控部署 - 服務(wù)部署（代碼 & confs）Step3 運(yùn)維變更 - 系統(tǒng)變更，代碼發(fā)布 - 服務(wù)遷移（動(dòng)態(tài)擴(kuò)容）Step4 自動(dòng)報(bào)修&下架 - 服務(wù)自動(dòng)上下線 - 機(jī)器置換或下架業(yè)務(wù)業(yè)務(wù)運(yùn)維可控運(yùn)維可控上架裝機(jī)Title in here服務(wù)部署新機(jī)器初始化Title in here分配給業(yè)務(wù)改管理員CMDBTitle in here運(yùn)維變更Title in here自動(dòng)報(bào)修Title in here過期下架2.1 Sina JPool簡介DispatchPuppet Masteragent服務(wù)器集群puppetagent puppetWebAPPCLIAPIl什么是Sina Jpool?u 通用化集群管控平臺(tái)u 核心模塊用戶&權(quán)限資源管理設(shè)備管理APP管理配置管理部署管理任務(wù)管理Nginx變更管理降級(jí)/封殺管理日志查詢平臺(tái)公司級(jí)CMDB配置數(shù)據(jù)庫資源管理關(guān)聯(lián)系統(tǒng)API設(shè)備管理APP集群管理配置管理服務(wù)部署任務(wù)管理Shell管理Nginx管理降級(jí)封殺監(jiān)控管理dispatchpuppet master 用戶&權(quán)限&審計(jì)流程&灰度發(fā)布工單管理問題管理運(yùn)維變更窗口2.2 JPool技術(shù)框架l平臺(tái)核心需求：DB化u 設(shè)備信息-唯一性配置管理系統(tǒng)監(jiān)控。u 應(yīng)用信息-多對(duì)多應(yīng)用&發(fā)布部署降級(jí)&封殺Nginx變更。u 關(guān)聯(lián)關(guān)系3.1 JPool-資源管理設(shè)備池設(shè)備列表1：n應(yīng)用應(yīng)用池1：n設(shè)備應(yīng)用設(shè)備1：n應(yīng)用1：n 設(shè)計(jì)復(fù)雜，實(shí)現(xiàn)簡單，可用性強(qiáng) 案例：Sina Jpool，BaiDu Noah基于嚴(yán)謹(jǐn)?shù)膸蛹?jí)的關(guān)聯(lián)關(guān)系 設(shè)計(jì)簡單，實(shí)現(xiàn)復(fù)雜，靈活多變，可擴(kuò)展性強(qiáng) 案例：小米，Jpool2基于tag形式的關(guān)系 復(fù)雜的關(guān)聯(lián)結(jié)構(gòu)模型 案例：Amazon混合型業(yè)界實(shí)踐3.2 JPool-資源管理關(guān)系圖應(yīng)用管理設(shè)備管理產(chǎn)品APPAPPAPPAPP_PoolAPP_PoolAPP_PoolN 個(gè)設(shè)備設(shè)備池子NodeNodeNode導(dǎo)入基于網(wǎng)絡(luò)拓?fù)?，設(shè)備類型JPool應(yīng)用服務(wù)拓?fù)浠A(chǔ)配置拓?fù)渑渲霉芾鞱odeNodeNodeNodeShell操作操作腳本文件任務(wù)（子任務(wù)）任務(wù)模板任務(wù)歷史任務(wù)并發(fā)&回顯比例并行執(zhí)行狀態(tài)任務(wù)操作實(shí)時(shí)回顯任務(wù)腳本4.1 Jpool-配置管理需求l hostnamel hostsl sudol repol scriptsl sysctll nrpel sys_initl all agent 基礎(chǔ)配置l routel resolverl dnsmasq機(jī)房相關(guān)l crontabl rsyncl scribel service_confsl name_pooll logtailer業(yè)務(wù)相關(guān)4.2 基于Puppet的實(shí)踐-install |-puppet.conf： 配置文件 |-fileserver.conf： file server的配置文件 |-auth.conf： 權(quán)限的配置文件 |-files： puppet的文件目錄 | |-module1 | | |-池子1 | | | |-各個(gè)資源文件的各個(gè)版本 | | |-池子2 | |-module2 |-manifests： 節(jié)點(diǎn)定義目錄 | |-variable 池子的變量目錄 | | |-池子1n | | | |-pool_env 池子參數(shù)目錄 | | | |-池子的參數(shù)文件，存在多個(gè)版本。 | | | |-pool_module_env | | | |-池子加載的各個(gè)modlue的參數(shù)文件，存在多個(gè)版本。 | |-nodes 節(jié)點(diǎn)目錄 | | |-池子1n | | | |-池子下的服務(wù)器 |-modules： 模塊定義目錄 | |-module的參數(shù)化class，一個(gè)module存在多個(gè)版本的文件 |-test： 測(cè)試目錄l 源碼目錄規(guī)劃：線上實(shí)踐4.3 Puppet DB化可視化操作界面l配置修改范圍u 變量 公共變量 module變量 池子變量u moduleu 節(jié)點(diǎn)與池l版本化管理u 版本 變量 moduleu 快照：池4.4 Puppet配置DB化架構(gòu)Puppet 模塊UIJPool配置管理庫1.Puppet配置修改2.配置入庫3.應(yīng)用配置SVN服務(wù)器Puppet Master1NginxPuppet clientPuppet clientPuppet clientPuppet Master24.提交SVN5.修改狀態(tài)7.配置同步7.配置同步7.配置同步6.定時(shí)拉取Backup(配置同步)8.轉(zhuǎn)發(fā)請(qǐng)求5.1 JPool-任務(wù)管理l任務(wù)設(shè)計(jì)u 通用的腳本自動(dòng)執(zhí)行平臺(tái)u 安全，可靠，可視u 任務(wù)變量：內(nèi)置變量 + 自定義變量任務(wù)腳本變量 = app變量+ app_pool變量+ 任務(wù)變量+u 任務(wù)類型&任務(wù)模板l線上某服務(wù)代碼發(fā)布Java服務(wù)代碼發(fā)布Tag輸入任務(wù)創(chuàng)建變量Init判斷應(yīng)用server判斷Tag類型增量下載Tag切走流量 停服務(wù)拷貝代碼切回流量代碼上線邏輯處理輸出日志檢測(cè)服務(wù)檢測(cè)啟動(dòng)服務(wù)實(shí)時(shí)任務(wù)狀態(tài)完成5.2 Jpool-任務(wù)狀態(tài)監(jiān)控tag部署路徑任務(wù)狀態(tài)超時(shí)時(shí)間步長&比例APP_Pool列表狀態(tài)分布任務(wù)實(shí)時(shí)回顯6.1 Jpool-Nginx變更管理l 變更需求u 參數(shù)調(diào)整u member修改u 規(guī)則修改l 配置拆分 : includeNginx.confupstreampool1pool2vhostserver1server2Nginx變更窗口示例6.2 Nginx變更流程N(yùn)ginx 模塊UI本地文件配置管理庫1.Nginx修改2.拉取池信息SVN服務(wù)器dispatchNginx5.任務(wù)下發(fā)5.任務(wù)下發(fā)5.任務(wù)下發(fā)NginxNginx3.提交4.創(chuàng)建下發(fā)任務(wù)Nginx配置變更l 主要特性u(píng) 配置文件diffu 下發(fā)版本校驗(yàn)u 審批工作流u 記錄查詢u API化l 下發(fā)控制u 一鍵發(fā)布u 灰度發(fā)布配置修改應(yīng)用變更7. Jpool-降級(jí)封殺管理l 降級(jí)封殺：5000+開關(guān)u原則：覆蓋全，開關(guān)避免手輸u方案：業(yè)務(wù)代碼框架層實(shí)現(xiàn)動(dòng)態(tài)修改運(yùn)行時(shí)變量值前端監(jiān)聽端口，支持check/on/off集成JPool降級(jí)封殺窗口8. 自動(dòng)化變更服務(wù)降級(jí)/封禁流量切換 JPool限流Docker機(jī)動(dòng)池?cái)?shù)據(jù)修復(fù)日常其他變更策略變更手段擴(kuò)容/縮容依賴系統(tǒng)依賴系統(tǒng)分工&職責(zé)&流程工單系統(tǒng)&量化KPIchecklist & Double check區(qū)分四種環(huán)境灰度發(fā)布代碼部署Puppet/Nginx變更目錄 CONTENT1213141. 雙實(shí)例Cgroup隔離方案lCgroup優(yōu)化u硬件配置 2CPU-12核 Mem:12Gu隔離方案 CPU分組 內(nèi)存分組 lUMA vs NUMA2.Docker單機(jī)部署方案statsdLogs1Nginx打鏡像scribecadvisorELK日志中心HOST(10.75.0.2)Jenkins8080APP18081APP2Logs2流量調(diào)度容器監(jiān)控行為日志業(yè)務(wù)日志-v-v-link-link-host-host容器存儲(chǔ)卷系統(tǒng)工具3.Docker集群部署l部署原則u 發(fā)布代碼一樣發(fā)布鏡像u 部署時(shí)間成本：分鐘級(jí)u 快速流量轉(zhuǎn)移l部署明細(xì)：5分鐘u 設(shè)備錄入及遷移u 前端鏡像發(fā)布u Nginx變更新設(shè)備遷移設(shè)備CM系統(tǒng)Jpool資源池簡易服務(wù)發(fā)現(xiàn)upstream生成&提交dispatch新擴(kuò)容快速擴(kuò)容服務(wù)同步ip:portAPIAPINginx變更鏡像發(fā)布4.JPool2-Paas平臺(tái)快速擴(kuò)容Networking toolsRPCAPPNginxMqProcessMCRedisMySQLService(ip:port)RPCNginxWserfConsulDispatchJPool Graphite & ELKCadvisor&Logstash監(jiān)控編排負(fù)載調(diào)度服務(wù)發(fā)現(xiàn)JPool2JenkinsCICD Gitlab Registry HubDEVTEST基礎(chǔ)設(shè)施5.平臺(tái)Docker化進(jìn)展l部署進(jìn)度u 前端Docker化比率：53%u 實(shí)例數(shù)：1000+l春晚大考u 10次動(dòng)態(tài)擴(kuò)容u 節(jié)點(diǎn)遷移數(shù)：200+u 單次操作時(shí)間：5分鐘業(yè)務(wù)部署范圍InfoQinfoqchina