高性能計算需要特殊的備份方法 |
發(fā)布時間: 2012/8/15 17:34:47 |
根據(jù)分析公司IDC的報告,高性能計算服務(wù)器(HPC)的銷售額將在2012年達到156億美元。但是對于存儲管理員而言,HPC服務(wù)器市場不斷擴大,也就意味著備份難度增加,這是因為HPC對備份有特殊的要求。 在備份和災(zāi)難恢復(fù)領(lǐng)域,HPC引起了兩大問題:大量數(shù)據(jù)、大量文件。 HPC應(yīng)用程序在處理包含地震信息或基因信息的文件時,會產(chǎn)生大量的工作負荷或數(shù)據(jù)。Gartner的咨詢師David Russell說:“這些文件大得令人難以置信,傳統(tǒng)的備份方法并不適用,或者需要花費大量時間。”例如,他指出一些HPC文件可能具有幾千兆的字節(jié)。 一些HPC程序還會產(chǎn)生極為大量的文件。Russell指出:“可能有上百萬的文件,如何解釋這些文件,如何通過操作系統(tǒng)和文件系統(tǒng)查看文件的變化,都是非常艱難的問題。”將數(shù)據(jù)存在磁盤中,或者讓數(shù)據(jù)通過服務(wù)器和交換機,都需要很長時間。他說,簡而言之,直接利用傳統(tǒng)的備份工具備份HPC很容易引發(fā)災(zāi)難。 Russell指出,HPC管理員既要使用基于陣列的快照和遠程復(fù)制等技術(shù),又要使用重復(fù)數(shù)據(jù)刪除等數(shù)據(jù)精簡方法,才能替換傳統(tǒng)的備份工具。但是,Russell也指出,重復(fù)數(shù)據(jù)刪除技術(shù)并不能精簡所有的工作負荷。例如,當圖像已經(jīng)處于壓縮狀態(tài)時,就無法進一步精簡了。 Ocarina Networks等供應(yīng)商仍提供壓縮技術(shù),Russell說:“這些技術(shù)能逆向還原大量文件,查找冗余。”有多種方法可以改善這個過程。 對備份管理員而言,HPC中大量的文件仍是一項最大的挑戰(zhàn)。“如果你擁有大量文件,文件又有大量I/O周期,那么詢問所有的文件,即使是在晚上進行也需要花費大量的時間。”Russell說:“我聽說一些HPC程序需要花費30個小時完成一次完全備份,而其中28個小時只是在掃描并查看哪些文件發(fā)生了變化。” Russell指出,如果資源不受限制,那么存儲管理員就能擁有必需的磁盤、電力、物理空間,從而處理所有的備份任務(wù)。但是,HPC環(huán)境經(jīng)常向外擴充,許多服務(wù)器需要分布式計算數(shù)據(jù),這樣備份工作就更加復(fù)雜了。這就意味著備份工作需要彼此協(xié)調(diào),因為正如Russell所說:“你總不希望25臺服務(wù)器具有完全不同的時間點。”他指出,備份必須協(xié)調(diào),可以通過“強迫法”清除緩沖,設(shè)置檢查點,從而實現(xiàn)協(xié)調(diào)。 HPC能容忍短暫的停機時間 存儲分析公司The Mesabi Group的存儲分析師David Hill指出,對許多HPC程序而言,用戶并不在意短暫的停機時間,因為許多計算密集型的工作實際上是批量完成的。也就是說,用戶在工作完成之前無法看到結(jié)果。“如果完成工作需要1個多小時,那么中間少了5分鐘,你能感覺得到嗎?”Hill說:“答案是否定的。” Hill認為:“這類工作真正需要的是檢查點/重啟性能,計算環(huán)境中存儲器的狀態(tài)會定期寫入磁盤,因此可以重新啟動。” Hill認為,實施HPC的公司愿意針對遠程災(zāi)難恢復(fù)站點,采用雙主動式(active-active)故障轉(zhuǎn)移策略,既對本地問題進行操作性恢復(fù),又對遠程站點實施災(zāi)難恢復(fù);不過,這項工作需根據(jù)時間價值和數(shù)據(jù)價值而定。Hill指出,還可以在本地實施CDP,同時使用VTL和標準的備份恢復(fù)軟件包。 本文出自:億恩科技【1tcdy.com】 服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |