企業(yè)私有云計算平臺軟件系統(tǒng)管理


時間:2013-09-25





  隨著企業(yè)IT系統(tǒng)的日益龐大和復(fù)雜化,服務(wù)器硬件資源的浪費顯得越來越嚴重。企業(yè)通過建設(shè)私有云計算平臺,可以根據(jù)各種業(yè)務(wù)應(yīng)用系統(tǒng)的特性來綜合調(diào)整資源的分配。本文將就這種技術(shù)所使用的軟件系統(tǒng)如何有效管理各種組件進行研究。

  1、云計算問題的提出

  云計算是繼上世紀80年代大型計算機到客戶端——服務(wù)器的大轉(zhuǎn)變之后的又一種巨變。用戶不再需要了解“云”中基礎(chǔ)設(shè)施的細節(jié),不必具有相應(yīng)的專業(yè)知識,也無需直接進行控制。云計算描述了一種基于互聯(lián)網(wǎng)的新的IT服務(wù)增加、使用和交付模式,通常涉及通過互聯(lián)網(wǎng)來提供動態(tài)易擴展、虛擬化的資源。

  隨著企業(yè)規(guī)模的不斷擴大,企業(yè)中IT系統(tǒng)變得越來越復(fù)雜和龐大,各大企業(yè)都開始面臨一個實際問題:服務(wù)器數(shù)量的快速增長,導(dǎo)致機房資源(包括電源、機架、網(wǎng)絡(luò)接人端口以及機房空間等)迅速被消耗。而通過進一步的性能分析發(fā)現(xiàn),絕大多數(shù)服務(wù)器硬件的資源利用率都非常低。如為了某一個新的應(yīng)用軟件或應(yīng)用系統(tǒng)而采購新的服務(wù)器,便造成了更多的硬件資源浪費。

  如何通過各類軟件系統(tǒng)來管理和控制虛擬化環(huán)境,從而有效地利用這些資源,已經(jīng)成為業(yè)界重點探討的問題。在這樣的現(xiàn)實背景下,虛擬化技術(shù)開始被各個企業(yè)廣泛應(yīng)用,他們希望藉此整合服務(wù)器硬件資源,減少資源浪費。但是硬件虛擬化技術(shù)的應(yīng)用,同時帶來了另一個問題:各種不同的應(yīng)用軟件系統(tǒng)對資源的消耗各不相同,有的軟件系統(tǒng)由于其自身特性,對資源的消耗并不均衡。通過什么手段既能整合硬件服務(wù)器,又能保證被整合的各個軟件系統(tǒng)都有充足的資源運行,成為一個關(guān)鍵性的問題。

  2、私有云計算平臺建設(shè)的關(guān)鍵

  “私有云”這個概念通常意味著:

?。?)組織可使用的一系列專用的計算資源(不與其他組織共享);

  (2)資源可能位于內(nèi)部,或由外部的第三方服務(wù)提供商托管。如果專用資源是被托管的,這種特殊的私有云類型也稱作是“托管私有云”。僅僅通過虛擬化技術(shù)本身是無法完成“私有云計算平臺”的目標。因為虛擬化技術(shù)僅僅提供了將多個操作系統(tǒng)分離,使其在不同的內(nèi)存空間中運行的方式,而并不能很好地在這些操作系統(tǒng)之間根據(jù)硬件資源需求的變化而靈活地為它們調(diào)整資源的占用。

  因此,私有云計算平臺建設(shè)的重點包括:(1)目前多種私有云計算平臺的實現(xiàn)和對比;(2)多種虛擬化平臺資源管理的優(yōu)勢結(jié)合;(3)研究找出不同應(yīng)用系統(tǒng)資源調(diào)配基準;(4)實現(xiàn)自動化的動態(tài)資源調(diào)整。

  私有云計算平臺建設(shè)的難點包括:(1)多平臺技術(shù)的組合使用;(2)典型應(yīng)用系統(tǒng)的資源調(diào)配基準的測試和確定;(3)開發(fā)與應(yīng)用系統(tǒng)相關(guān)的動態(tài)資源分配程序。

  3、企業(yè)私有云計算平臺的實現(xiàn)

  3.1 主要應(yīng)用場景

  私有云的服務(wù)對象很明確,他們往往包含兩個應(yīng)用對象:IT管理者和業(yè)務(wù)部門使用者。企業(yè)私有云計算平臺主要有如下四種應(yīng)用場景(本文中討論的內(nèi)容適用于各個場景,但主要對動態(tài)數(shù)據(jù)中心場景相關(guān)的資源需求計算和動態(tài)監(jiān)控調(diào)整有較完整的闡述)。

 ?。?)應(yīng)用于開發(fā)測試,加強其敏捷性,縮短發(fā)布周期。對于擁有開發(fā)團隊的企業(yè)而言,建設(shè)企業(yè)私有云,可以為開發(fā)者提供即時的按需分配的硬件資源,使得開發(fā)者可以迅速地根據(jù)研發(fā)、測試和壓力模擬等需要來申請計算資源,而且通過克隆和快照功能實現(xiàn)錯誤的快速重現(xiàn)和排查,讓開發(fā)者能夠獲取和保存更多性能以及有質(zhì)量保證的測試結(jié)果。

 ?。?)應(yīng)用于企業(yè)應(yīng)用程序的遷徙升級。通過網(wǎng)頁在數(shù)分鐘內(nèi)就可以組建虛擬的數(shù)據(jù)中心,模擬搭建服務(wù)器集群和災(zāi)備配置,以便讓程序遷徙的測試、集成和驗證可以更早地開始。而且項目將不再依賴于硬件采購周期。此場景適用于將傳統(tǒng)的服務(wù)器群組組成的企業(yè)應(yīng)用程序環(huán)境遷移到云平臺。

  (3)應(yīng)用于IT程序孵化器和沙箱。以往大部分IT應(yīng)用程序往往涉及到很多硬件和系統(tǒng)操作,搭建或者拆除他們往往需要消耗不少的人力和物力,而且耗時,特別是在模型沙箱階段,不可預(yù)測的需求改變往往導(dǎo)致頻繁的搭建和拆卸。通過構(gòu)建一些“模板”可實現(xiàn)某些企業(yè)級應(yīng)用的快速部署。

 ?。?)應(yīng)用于動態(tài)數(shù)據(jù)中心。讓傳統(tǒng)數(shù)據(jù)中心中的硬件資源在某些時候閑置、某些時候又不足的問題得到很好的緩解,通過資源池的有效監(jiān)控和管理來進行動態(tài)分配。

  3.2 建設(shè)私有云計算平臺的硬件需求

  建設(shè)企業(yè)私用云平臺,必須根據(jù)業(yè)務(wù)需求考慮云環(huán)境的硬件配置。首先從概念來講,私有云是松散的IT堆棧依靠各種虛擬化和管理技術(shù)落地,并通過管理模塊為企業(yè)靈活快速交付存儲、服務(wù)器、桌面或者應(yīng)用。因此,考慮硬件配置的時候需要從三個維度出發(fā)。

  (1)基本技術(shù)支持。一是服務(wù)器CPU是否支持虛擬化。因為虛擬化是云計算實施的必要條件,目前對于企業(yè)而言,Intel和AMD兩家廠商的CPU均支持虛擬化,而且從使用效果對比上并沒有實質(zhì)性能和功能上的差異。二是存儲系統(tǒng)是否支持共享存儲,是否支持多節(jié)點的群集系統(tǒng)。因為云平臺的一大特征就是最終用戶無需考慮服務(wù)的實現(xiàn),因此業(yè)務(wù)部門會將可用性的要求直接交給IT部門,而保障高可用性的一個最重要的架構(gòu)就是群集系統(tǒng)。由多臺服務(wù)器硬件組成的服務(wù)器群組共同工作,在其中某個或某些節(jié)點出現(xiàn)故障時,整體功能不受影響,性能影響在可接受范圍內(nèi),而且可以通過快速加入新的節(jié)點以恢復(fù)到最佳的計算能力。

 ?。?)整體性能。如服務(wù)器虛擬化需要一定規(guī)格CPU、內(nèi)存、硬盤的服務(wù)器,I/O操作要求高的數(shù)據(jù)就需要高性能I/O存儲設(shè)備,應(yīng)用的統(tǒng)一交付也需要網(wǎng)絡(luò)設(shè)備具有一定的吞吐能力。通常需要根據(jù)應(yīng)用系統(tǒng)的特性來規(guī)劃其在云平臺上的放置和資源分配。根據(jù)所有應(yīng)用系統(tǒng)的最高硬件需求綜合考慮整體云平臺的硬件配置。

  (3)容量要求。如將虛擬服務(wù)器或者桌面的虛擬硬盤文件統(tǒng)一存儲,那么對存儲的容量也是有要求的。云平臺通常采用兩種方式存儲數(shù)據(jù),對于需要高可用性的系統(tǒng),將其操作系統(tǒng)和應(yīng)用系統(tǒng)數(shù)據(jù)存儲在共享存儲空間中。共享存儲空間單位價格較昂貴,但吞吐性能更強,并能夠提供更高的可用級別;對于海量數(shù)據(jù)和可用性要求較低的數(shù)據(jù),通常存儲在直連存儲或網(wǎng)絡(luò)存儲設(shè)備上,并通過磁帶設(shè)備進行定期的備份。這些設(shè)備單位價格相對較低,但可用級別也較低,并需要一定的故障恢復(fù)時間。

  一個企業(yè)的數(shù)據(jù)中心包括了非常復(fù)雜的子系統(tǒng)和輔助設(shè)備,基于以上三個維度的要求,私有云計算平臺涉及的硬件部分應(yīng)當(dāng)包括如下內(nèi)容:一是虛擬化物理機資源池,以提供CPU和內(nèi)存的計算能力;二是存儲資源池,以提供存儲能力;三是網(wǎng)絡(luò)交換機和網(wǎng)絡(luò)分層,以提供網(wǎng)絡(luò)傳輸能力和網(wǎng)絡(luò)流量隔離(網(wǎng)絡(luò)分層的主要目標是隔離服務(wù)網(wǎng)絡(luò)、備份網(wǎng)絡(luò)和管理網(wǎng)絡(luò)的流量,避免互相占用帶寬和數(shù)據(jù)沖突。通常,會產(chǎn)生對X64虛擬化物理機資源池的網(wǎng)絡(luò)連接適配器的資源要求,為了使各個應(yīng)用系統(tǒng)所處的虛擬機能夠聯(lián)通多個網(wǎng)絡(luò),需要為它們分配多個網(wǎng)絡(luò)適配器,這就要求物理服務(wù)器本身具備多個網(wǎng)絡(luò)適配器。由于每個網(wǎng)絡(luò)適配器將被虛擬為一個交換機,因此相當(dāng)于多臺物理主機之間通過多個交換機互聯(lián));四是管理服務(wù)器池,以提供流程管理、監(jiān)控管理、配置管理和備份恢復(fù)管理等方面的能力。其中,CPU、內(nèi)存、存儲和網(wǎng)絡(luò)帶寬的需求可以根據(jù)業(yè)務(wù)系統(tǒng)的要求計算得知。管理服務(wù)器通常只需要固定的物理服務(wù)器資源即可,甚至很多場景下也可以將它們放入單獨的虛擬化平臺運行。

  3.3 私有云計算平臺管理軟件的主要模塊

  通過上述分析我們可以發(fā)現(xiàn):為了讓私有云計算平臺整體運轉(zhuǎn)良好,需要如下管理軟件模塊:

 ?。?)虛擬化平臺管理模塊。此模塊的主要用途是對虛擬化平臺的各項基本功能進行管理,包括:虛擬機的建立、修改和刪除;虛擬機在宿主機上存放的方式(放置在共享存儲上作為高可用性系統(tǒng),或者放在本地磁盤上);虛擬機使用者(如應(yīng)用系統(tǒng)管理員)的操作接口(如web控制臺)。此模塊最佳實現(xiàn)與底層虛擬化平臺的實現(xiàn)產(chǎn)品無關(guān),如:同時支持微軟的Hyper-V,VMware和Xen Server等多個平臺,這樣的話,就可以同時利用多平臺的優(yōu)勢,并隱藏多平臺操作的復(fù)雜性,讓管理者和使用者都能高效地使用這個模塊。

  (2)宿主機和虛擬機硬件子系統(tǒng)監(jiān)控模塊。由于宿主機的性能和可用性直接影響到在宿主機上運行的多個虛擬機的健康狀況,所以對宿主機的各個硬件子系統(tǒng)監(jiān)控是必不可少的模塊。它主要完成如下功能:對CPU子系統(tǒng)的利用率進行實時監(jiān)控,約每15秒~1分鐘取一次性能數(shù)據(jù);對內(nèi)存子系統(tǒng)的利用率進行實時監(jiān)控,約每1~2分鐘取一次性能數(shù)據(jù);對磁盤子系統(tǒng)的吞吐量和延遲進行實時監(jiān)控,約每1-2分鐘取一次性能數(shù)據(jù);對網(wǎng)絡(luò)子系統(tǒng)的吞吐量和延遲進行實時監(jiān)控,約每1~2分鐘取一次性能數(shù)據(jù)。

  除了獲取數(shù)據(jù),此模塊還需要接受管理員設(shè)定的性能基線指標值,然后通過對比性能基線和實際性能數(shù)據(jù),來判定當(dāng)前宿主機的硬件子系統(tǒng)是否處于健康狀態(tài)。這些對比的方式可以非常靈活,根據(jù)實際情況,可以通過1次對比(如CPU達到100%)、多次對比(如內(nèi)存連續(xù)3次采樣均超過80%利用率)、平均值對比(如網(wǎng)絡(luò)吞吐量連續(xù)10次采樣平均值達到500MBps)等多種計算方式來判定。判定問題之后,此模塊還需要發(fā)送相應(yīng)的警告信息給自動化控制模塊或管理人員,由人工或者計算機程序來完成剩余的調(diào)整工作。

 ?。?)自動化(或半自動化)控制模塊。自動化(或半自動化)控制模塊主要用于根據(jù)監(jiān)控模塊給出的警告信息來觸發(fā)各種處理事件,從而消除故障或調(diào)整參數(shù)到健康的狀態(tài)。許多重復(fù)性的勞動或成熟的指標調(diào)整方法都可以交由預(yù)編寫好的計算機程序去完成,也就是自動化工作;但是,仍然有一些復(fù)雜的情況需要由人工干預(yù)完成。

  比較典型的實例是:當(dāng)私有云計算平臺中運行的某個業(yè)務(wù)系統(tǒng)報告其計算資源不足,比如此系統(tǒng)當(dāng)前共有3臺虛擬機資源,但是每臺CPU利用率都達到了90%以上,那么在這種情況下,可能需要通過增加額外的虛擬機來分擔(dān)業(yè)務(wù)系統(tǒng)的壓力,從而將整體CPU利用率降低到合理水平。因此,我們可以通過監(jiān)控模塊發(fā)起警告,通知自動化模塊建立新的虛擬機并將其加入到業(yè)務(wù)系統(tǒng)的服務(wù)器群組中,當(dāng)自動化工作完成之后,CPU利用率降低,則監(jiān)控系統(tǒng)會發(fā)現(xiàn)實際性能數(shù)據(jù)已經(jīng)在性能基線以內(nèi),警告就會消除。通過以上多個模塊之間的配合和分工,可以實現(xiàn)對私有云計算平臺整體的管理,并保障其穩(wěn)定健康運行。

  4、總結(jié)與展望

  從企業(yè)信息化發(fā)展的歷程可以發(fā)現(xiàn),由企業(yè)內(nèi)部建設(shè)和運維其業(yè)務(wù)系統(tǒng),不僅對企業(yè)的人力和財力是一項挑戰(zhàn),而且人員水平差異更容易造成各企業(yè)IT系統(tǒng)參差不齊,從而阻礙了業(yè)務(wù)的發(fā)展。相信在下一個20年,必將是云計算平臺逐步成為主流的年代,各大廠商目前已經(jīng)提供了公有云的服務(wù),但從安全性、可靠性和成熟度等方面考慮,企業(yè)目前無法將所有的業(yè)務(wù)系統(tǒng)順利或放心地遷移到公有云平臺上。因此,我們有理由認為,私有云計算平臺將成為企業(yè)在未來5~10年內(nèi)重點發(fā)展的一個方向,從資源節(jié)約、標準化、擴展性和易管理性等方面,私有云計算平臺都將為企業(yè)增強競爭力提供有力的支持。


來源:CIO時代網(wǎng)



  版權(quán)及免責(zé)聲明:凡本網(wǎng)所屬版權(quán)作品,轉(zhuǎn)載時須獲得授權(quán)并注明來源“中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)”,違者本網(wǎng)將保留追究其相關(guān)法律責(zé)任的權(quán)力。凡轉(zhuǎn)載文章,不代表本網(wǎng)觀點和立場。版權(quán)事宜請聯(lián)系:010-65363056。

延伸閱讀

熱點視頻

第六屆中國報業(yè)黨建工作座談會(1) 第六屆中國報業(yè)黨建工作座談會(1)

熱點新聞

熱點輿情

特色小鎮(zhèn)

版權(quán)所有:中國產(chǎn)業(yè)經(jīng)濟信息網(wǎng)京ICP備11041399號-2京公網(wǎng)安備11010502003583