云操作系統(tǒng)設(shè)計(jì)漫談

面對(duì)當(dāng)前急速膨脹的數(shù)據(jù)存儲(chǔ)和處理需求，即便再強(qiáng)的單機(jī)(如小型機(jī))也無法滿足，所以我們不得不借助于規(guī)�；募合到y(tǒng)來處理。而如何將集群機(jī)器的計(jì)算資源和存儲(chǔ)資源進(jìn)行合理組織、運(yùn)用和調(diào)度，則是目前大中型數(shù)據(jù)中心首要面對(duì)的問題，如果解決不好不但會(huì)造成資源浪費(fèi)嚴(yán)重，還會(huì)造成管理成本居高不下，尾大不掉。

本文將以我個(gè)人經(jīng)驗(yàn)談一談面向大型數(shù)據(jù)中心資源管理問題——我們知道單機(jī)上的硬件資源(處理器、硬盤、內(nèi)存、外設(shè)等)的管理和任務(wù)調(diào)度由操作系統(tǒng)全面負(fù)責(zé)，那么我們放大資源管理和任務(wù)調(diào)度的范疇，從單機(jī)域擴(kuò)展到整個(gè)數(shù)據(jù)中心范疇考慮，則應(yīng)該存在一種能夠全局把握和管理數(shù)集群資源(與單機(jī)相比，還包括機(jī)柜、網(wǎng)絡(luò)設(shè)備等資源)，并能負(fù)責(zé)集群范圍內(nèi)任務(wù)調(diào)度的智能系統(tǒng)，我們不妨稱其為云操作系統(tǒng)——本文將重點(diǎn)討論云操作系統(tǒng)的實(shí)際目標(biāo)、理念，以及可能的實(shí)現(xiàn)。

一、建設(shè)目標(biāo)

云操作系統(tǒng)所要實(shí)現(xiàn)的目標(biāo)主要有三個(gè)：一是整合資源。即整合IDC內(nèi)的所有服務(wù)器資源，包括CPU、內(nèi)存、磁盤等，以對(duì)外提供服務(wù)。對(duì)于大型IDC而言(服務(wù)器規(guī)模超過5000臺(tái)以上)，其資源總和相當(dāng)可觀，再加上資源復(fù)用運(yùn)用，幾乎視為資源無限;二是資源位置透明。即所有資源位置對(duì)應(yīng)用透明，應(yīng)用不再關(guān)心資源位置;三是實(shí)現(xiàn)絕對(duì)的高可用性，永不宕機(jī)，最大程度保證數(shù)據(jù)和服務(wù)的安全性。

同時(shí)，我們?cè)谠O(shè)計(jì)和實(shí)施云操作系統(tǒng)時(shí)，必須考慮以下理念和實(shí)際運(yùn)行場景。

機(jī)器廉價(jià)化。我們?cè)撇僮飨到y(tǒng)的實(shí)施前提是大規(guī)模、低成本。因此不使用專用服務(wù)器和專用存儲(chǔ)，而使用廉價(jià)PC服務(wù)器(所有的存儲(chǔ)資源將借助于機(jī)器自帶的SATA盤或者SSD盤)。設(shè)計(jì)和實(shí)施規(guī)模在上千臺(tái)到1萬臺(tái)服務(wù)器。

故障常態(tài)化。大規(guī)模地使用廉價(jià)機(jī)器(包括廉價(jià)網(wǎng)絡(luò)設(shè)備)無疑代表著故障頻發(fā)，對(duì)于這種系統(tǒng)故障常態(tài)化場景，云操作必須做到透明failover(失效轉(zhuǎn)移)，才能做到高可用性。

資源池化。這點(diǎn)是云操作系統(tǒng)中最重要的理念之一，所有資源要盡量池化才能做到資源利用和復(fù)用最大化。目前看來，磁盤存儲(chǔ)資源可以做到完全池化——因?yàn)榍д拙W(wǎng)絡(luò)帶寬和磁盤帶寬近似，所以可將所有磁盤資源完全池化，從而每個(gè)單機(jī)上的任務(wù)可采用拉模式(pull模式)訪問集群中被池化的磁盤資源;而計(jì)算資源(CPU和內(nèi)存我們都?xì)w為計(jì)算資源)只能做到半池化——還是因?yàn)榍д拙W(wǎng)絡(luò)帶寬比內(nèi)存或CPU帶寬相差多個(gè)數(shù)量級(jí)，所以無法將內(nèi)存和CPU資源徹底池化。計(jì)算資源只能使用推模式(push模式)方式訪問，也就是下發(fā)任務(wù)到計(jì)算資源所在機(jī)器運(yùn)行。如果是單機(jī)資源不足運(yùn)行任務(wù)，則需要將大任務(wù)拆分為單機(jī)資源能滿足供給的子任務(wù)，化整為零式分布執(zhí)行。

接管所有資源。理想情況下，云操作系統(tǒng)應(yīng)盡力接管所有的資源分配和使用,包括內(nèi)存、計(jì)算、I/O等。盡量避免任務(wù)直接訪問資源(如禁止執(zhí)行malloc,write\read Connect等系統(tǒng)函數(shù)，只能使用受限的指定接口訪問資源)

應(yīng)用混合部署。各種不同應(yīng)用應(yīng)該混合部署，機(jī)器不再被應(yīng)用獨(dú)占。

應(yīng)用資源訪問受限。應(yīng)用訪問資源必須受限，從而避免混合部署的資源爭用，因此所有應(yīng)用實(shí)例都要受節(jié)制，都需要在受限“沙箱”(“沙箱”僅僅是個(gè)邏輯概念，有很多種實(shí)現(xiàn)方式，例如cgroup，虛擬機(jī)等)——中運(yùn)行。

應(yīng)用服務(wù)上下文非本地持續(xù)化。只有保證服務(wù)上下文非本地存儲(chǔ)(share nothing)，才能保證任務(wù)的遷移、擴(kuò)展和與運(yùn)行位置無關(guān)。

應(yīng)用(任務(wù))資源描述、提交、執(zhí)行標(biāo)準(zhǔn)化。應(yīng)用按任務(wù)方式提交給云操作系統(tǒng)，提交時(shí)需要描述任務(wù)中的各角色，以及各角色實(shí)例的資源配額。例如，一個(gè)key value服務(wù)角色有master role和slave role兩種，同時(shí)指明master單一實(shí)例的資源配額，slave多實(shí)例的資源賠額和實(shí)例數(shù)量。云操作系的任務(wù)調(diào)度部分，將按應(yīng)用的資源描述，選擇資源配額充足的物理機(jī)啟動(dòng)“沙箱”運(yùn)行實(shí)例(配額限制內(nèi)運(yùn)行應(yīng)用實(shí)例)。另外，云操作系統(tǒng)任務(wù)調(diào)度部分，也要支持runtime式的按需分配新的運(yùn)行容器，供需要的新實(shí)例運(yùn)行。例如key value的master發(fā)現(xiàn)slave實(shí)例數(shù)目不足時(shí)，可要求分配給其新的容器運(yùn)行新slave實(shí)例子(也就是擴(kuò)容)。

應(yīng)用故障恢復(fù)盡量標(biāo)準(zhǔn)化，但要有所為有所不為。對(duì)于多數(shù)應(yīng)用的故障恢復(fù)應(yīng)實(shí)現(xiàn)統(tǒng)一化：當(dāng)發(fā)現(xiàn)應(yīng)用實(shí)例故障后，云操作系統(tǒng)再從資源池中分配一個(gè)運(yùn)行環(huán)境加載應(yīng)用實(shí)例。但允許應(yīng)用自己管理failover過程。尤其對(duì)于基礎(chǔ)性應(yīng)用，其可用性要求高，很可能需要自己采用主從熱備方式、多點(diǎn)提交方式或者其它“奇技淫巧“滿足可用性需求，因此對(duì)于這種智能要求高的應(yīng)用，應(yīng)該允許其自己接管故障恢復(fù)等行為。所以云操作系統(tǒng)要張弛有度，不能太集權(quán)化。

傻瓜型運(yùn)維。運(yùn)維人員只需要負(fù)責(zé)故障機(jī)器下架和標(biāo)準(zhǔn)機(jī)器上架。上架后保證機(jī)器自動(dòng)自我配置，且在無需干預(yù)情況下自動(dòng)加入集群。簡單的說，不需要IT人員駐留機(jī)房現(xiàn)場運(yùn)維。

二、設(shè)計(jì)思路

要設(shè)計(jì)一個(gè)面向大中型數(shù)據(jù)中心的云操作系統(tǒng)，主要考慮以下九大功能模塊：

數(shù)據(jù)總線。數(shù)據(jù)總線是集群操作系統(tǒng)的基石，負(fù)責(zé)數(shù)據(jù)中心內(nèi)的機(jī)器間的消息通訊。數(shù)據(jù)總線建立在TCP/UDP協(xié)議之上，實(shí)現(xiàn)點(diǎn)播、組播等功能。且滿足異步、同步消息推送、訂閱等功能。

分布式存儲(chǔ)系統(tǒng)。磁盤存儲(chǔ)資源池化，離不開一個(gè)分布存儲(chǔ)系統(tǒng)。該系統(tǒng)應(yīng)該實(shí)現(xiàn)高可用性、高數(shù)據(jù)安全性、高吞吐和低延遲。

運(yùn)行容器。負(fù)責(zé)任務(wù)運(yùn)行的資源隔離服務(wù)，接管一切資源申請(qǐng)，避免不同任務(wù)之間的資源爭用。

駐機(jī)精靈。負(fù)責(zé)任務(wù)運(yùn)行全生命周期管理，而且還要負(fù)責(zé)機(jī)器健康監(jiān)測和程序下載等任務(wù)。

資源分配中心。資源分配中心管理集群中所有機(jī)器的資源信息和位置信息，并且還負(fù)責(zé)根據(jù)應(yīng)用的資源請(qǐng)求，為其分配可用的物理機(jī)，在其上啟動(dòng)運(yùn)行容器，運(yùn)行給定實(shí)例(也可理解為資源調(diào)度中心)。

全局命名中心。服務(wù)實(shí)例都配以全局邏輯名，各實(shí)例之間尋址都使用邏輯名。這些邏輯名和具體的物理IP和端口的映射關(guān)系管理由全局命名中心負(fù)責(zé)。

配置管理中心。配置中心為各應(yīng)用實(shí)例提供了一個(gè)配置信息的集中存儲(chǔ)地，各應(yīng)用實(shí)例不再本地存儲(chǔ)各自配置，而是集中存放。

分布式鎖。分布應(yīng)用中難免有需要串行化完成的動(dòng)作——任務(wù)需要有序執(zhí)行，或者有需要保護(hù)的臨界資源——一個(gè)時(shí)刻只能一個(gè)實(shí)例訪問，這無疑需要分布式鎖支持。

故障監(jiān)控服務(wù)。應(yīng)用實(shí)例是否正常運(yùn)行，異常情況如何發(fā)現(xiàn)，這些都是分布系統(tǒng)通用性要求，因此故障監(jiān)控服務(wù)不能缺少。

云操作系統(tǒng)的核心部分應(yīng)該就是筆者所描述的這些了。不過若要滿足前文中提到的應(yīng)用服務(wù)上下文非本地存儲(chǔ)，那么可能還要提供一些上下文存儲(chǔ)需要用到的存儲(chǔ)服務(wù)，例如key value服務(wù)、No Sql服務(wù)、數(shù)據(jù)庫服務(wù)、graph DB等在線數(shù)據(jù)服務(wù)等，這些都應(yīng)該屬于云操作系統(tǒng)范疇。

補(bǔ)充說明一下，本文中云操作并非OpenStack以及類似的私有云概念,當(dāng)前的私有云概念主要面向虛擬機(jī)管理領(lǐng)域，而云操作系統(tǒng)面向的是管理IDC所有資源(池化資源、調(diào)度資源、恢復(fù)資源等)。但這并非說虛擬機(jī)和云操作系統(tǒng)對(duì)立，因?yàn)樵谖覀�(gè)人看來無論機(jī)器虛擬機(jī)(machine virtual machine,例如Xen,KVM)或者是系統(tǒng)虛擬機(jī)(system virtual machine,如Zone，vps)都可以是云操作系統(tǒng)中一種資源容器(沙盒)，只不過這種容器相對(duì)而言很重，我們實(shí)踐中更希望借助于更輕的方式做資源容器(例如cgroup等)。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]