“大數(shù)據(jù)”的價(jià)值——以Hadoop為核心

面對海量的業(yè)務(wù)數(shù)據(jù)，Hadoop和其他工具正在視圖揭示深?yuàn)W的企業(yè)與外部數(shù)據(jù)的關(guān)鍵內(nèi)幕。

在追求競爭優(yōu)勢的無止境征程中，企業(yè)開始求助于企業(yè)與外部數(shù)據(jù)的大型信息庫來發(fā)現(xiàn)趨勢、統(tǒng)計(jì)數(shù)據(jù)以及其他幫助決定下一步行動(dòng)的全面、精確的信息。這些數(shù)據(jù)以及相關(guān)工具、平臺和分析技術(shù)常常被稱之為“大數(shù)據(jù)”（Big Data）。如今，“大數(shù)據(jù)”這一術(shù)語在技術(shù)人員和IT經(jīng)理等群體中變得越來越流行。

雖然決策者意識到“大數(shù)據(jù)”中存在的價(jià)值，但對大多數(shù)企業(yè)而已，這一直是一種難以得到的價(jià)值。但這正是 IT部門可以發(fā)揮作用的地方。IT部門可以開發(fā)讓研究人員能夠深入大型數(shù)據(jù)中進(jìn)行分析，并發(fā)現(xiàn)重要趨勢的服務(wù)。換句話說，IT將證明自己是使“大數(shù)據(jù)”的承諾變?yōu)楝F(xiàn)實(shí)的催化劑。

“大數(shù)據(jù)”已經(jīng)在多個(gè)領(lǐng)域證明了它的重要性和價(jià)值。像美國國家海洋與大氣管理局（NOAA）、美國國家航空航天局（NASA）這樣的研究機(jī)構(gòu)、多家醫(yī)藥公司和多家能源公司都積累了大量的數(shù)據(jù)，現(xiàn)在每天都在利用“大數(shù)據(jù)”技術(shù)從這些數(shù)據(jù)中獲取價(jià)值。

NOAA利用“海量數(shù)據(jù)”進(jìn)行氣象、生態(tài)系統(tǒng)、天氣和商務(wù)研究。NASA則將“大數(shù)據(jù)”用于航空和其他領(lǐng)域。醫(yī)藥公司和能源公司利用“大數(shù)據(jù)”獲得更真實(shí)的結(jié)果，例如藥品測試和地球物理分析�！都~約時(shí)報(bào)》使用“大數(shù)據(jù)”工具進(jìn)行文本分析和Web信息挖掘。迪斯尼則利用它們關(guān)聯(lián)和了解跨不同商店、主題公園和Web資產(chǎn)的客戶行為。

“大數(shù)據(jù)”對今天企業(yè)的價(jià)值還體現(xiàn)在另外一方面。大型機(jī)構(gòu)面臨著維護(hù)海量結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)（從數(shù)據(jù)倉庫中的交易數(shù)據(jù)，到雇員的微博，從供應(yīng)商記錄到管理文件）的需要，以遵從政府的法規(guī)。最近的幾場官司更是對這種需求起到了推波助瀾的作用，它們促使企業(yè)保留大量的文檔、電子郵件和其他在打官司時(shí)實(shí)施電子發(fā)現(xiàn)（e-Discovery）可能需要的電子通信記錄（例如即時(shí)消息和IP電話）。

也許，那些追逐“大數(shù)據(jù)”的機(jī)構(gòu)面臨的最大挑戰(zhàn)是獲得一種平臺，這種平臺可以保存與訪問所有當(dāng)前與未來的信息，并高性價(jià)比地在線提交信息供分析之用。這意味著一種高可伸縮的平臺。這類平臺由存儲技術(shù)、查詢語言、分析工具、內(nèi)容分析工具以及傳輸基礎(chǔ)設(shè)施（其中有很多需要由IT部門部署和維護(hù)運(yùn)營的設(shè)備）構(gòu)成。

目前有許多獲得這些工具的專有與開源資源。這些工具常常來自新興廠商，但也有像亞馬遜和谷歌這樣的知名云技術(shù)公司。事實(shí)上，云的使用解決了在數(shù)據(jù)存儲和計(jì)算能力方面“大數(shù)據(jù)”的可伸縮性問題。但是，“大數(shù)據(jù)”不一定采用“自助式”的部署。IBM和EMC等大廠商同樣提供用于“大數(shù)據(jù)”項(xiàng)目的工具，這些工具的費(fèi)用會很高，企業(yè)需要付出更多的部署成本。

以Hadoop為核心

在開源領(lǐng)域中，Hadoop可算是大名鼎鼎。Hadoop是由Apache軟件基金會管理的一個(gè)項(xiàng)目，包含由谷歌驅(qū)動(dòng)的、用于構(gòu)建整合、組合和了解數(shù)據(jù)的平臺的技術(shù)。

從技術(shù)上看，Hadoop由兩項(xiàng)關(guān)鍵服務(wù)構(gòu)成：采用Hadoop分布式文件系統(tǒng)（HDFS）的可靠數(shù)據(jù)存儲服務(wù)，以及利用一種叫做MapReduce技術(shù)的高性能并行數(shù)據(jù)處理服務(wù)。這兩項(xiàng)服務(wù)的共同目標(biāo)是，提供一個(gè)使對結(jié)構(gòu)化和復(fù)雜數(shù)據(jù)的快速、可靠分析變?yōu)楝F(xiàn)實(shí)的基礎(chǔ)。在許多案例中，企業(yè)將Hadoop與老的IT系統(tǒng)部署在一起，從而能夠以有力的新方式組合新舊數(shù)據(jù)集合。Hadoop讓企業(yè)可以根據(jù)自有信息和問題定制，更容易地分析和研究復(fù)雜數(shù)據(jù)。

Hadoop運(yùn)行在商用獨(dú)立的服務(wù)群集上。你可以隨時(shí)添加或刪除Hadoop群集中的服務(wù)器。Hadoop系統(tǒng)會檢測和補(bǔ)償任何服務(wù)器上出現(xiàn)的硬件或系統(tǒng)問題。換句話說，Hadoop是自愈系統(tǒng)。在出現(xiàn)系統(tǒng)變化或故障時(shí)，它仍可以運(yùn)行大規(guī)模的高性能處理任務(wù)，并提供數(shù)據(jù)。

雖然Hadoop提供了數(shù)據(jù)存儲和并行處理平臺，但其真正的價(jià)值來自于這項(xiàng)技術(shù)的添加件、交叉集成和定制實(shí)現(xiàn)。為此，Hadoop還提供向這一平臺增加功能性和新能力的子項(xiàng)目，具體如下：

■Hadoop Common：支持其他Hadoop子項(xiàng)目的通用工具。

■Chukwa：管理大型分布式系統(tǒng)的數(shù)據(jù)采集系統(tǒng)。

■HBase：支持大型表格結(jié)構(gòu)化數(shù)據(jù)存儲的可伸縮、分布式數(shù)據(jù)庫。

■HDFS：向應(yīng)用數(shù)據(jù)提供高吞吐量訪問的分布式文件系統(tǒng)。

■Hive：提供數(shù)據(jù)匯總和隨機(jī)查詢的數(shù)據(jù)倉庫基礎(chǔ)設(shè)施。

■MapReduce：用于對計(jì)算群集上的大型數(shù)據(jù)集合進(jìn)行分布式處理的軟件框架。

■Pig：用于并行計(jì)算的高級數(shù)據(jù)流語言和執(zhí)行框架。

■ZooKeeper：用于分布式應(yīng)用的高性能協(xié)調(diào)服務(wù)。

Hadoop平臺的多數(shù)實(shí)現(xiàn)至少包括其中的一些子項(xiàng)目，因?yàn)檫@些子項(xiàng)目常常是利用“大數(shù)據(jù)”所不可或缺的。例如，大多數(shù)機(jī)構(gòu)會選擇使用HDFS作為主分布式文件系統(tǒng)，選擇可以保存幾十億行數(shù)據(jù)的HBase作為數(shù)據(jù)庫。而使用MapReduce則幾乎是肯定的事情，因?yàn)槠湟尜x予了Hadoop平臺速度和靈活性。

利用MapReduce，開發(fā)人員可以開發(fā)跨處理器分布式群集或獨(dú)立計(jì)算機(jī)的、并行處理海量非結(jié)構(gòu)化數(shù)據(jù)的程序。MapReduce框架可以劃分為兩個(gè)功能區(qū)：其中Map具備將工作分配給分布式群集中不同節(jié)點(diǎn)的功能；Reduce則負(fù)責(zé)核對工作，將工作結(jié)果轉(zhuǎn)化為單一值。

MapReduce的主要優(yōu)勢之一是容錯(cuò)性。MapReduce是通過監(jiān)測群集中的每個(gè)節(jié)點(diǎn)來實(shí)現(xiàn)容錯(cuò)性的。每個(gè)節(jié)點(diǎn)定期向MapReduce報(bào)告和返回完成的工作與狀態(tài)更新。如果某個(gè)節(jié)點(diǎn)的靜默時(shí)間長度超出了預(yù)期值，主節(jié)點(diǎn)就會發(fā)出通知，并把工作重新分配給其他節(jié)點(diǎn)。

擴(kuò)展Hadoop

除了許多開源支持工具外（例如Clojure和Thrift），市場上還有幾十種商用選擇，雖然許多工具是利用Hadoop為基礎(chǔ)構(gòu)建的。PricewaterhouseCoopers技術(shù)與創(chuàng)新中心近日發(fā)表了“大數(shù)據(jù)”模塊化構(gòu)建及其與IT部署和業(yè)務(wù)使用關(guān)系的深度指南。

Datameer是其中的一個(gè)例子。Datameer提供一種平臺，用于采集與讀取不同類型的大型數(shù)據(jù)庫，將它們植入到Hadoop框架中，然后提供分析這些數(shù)據(jù)的工具。Datameer實(shí)際上是尋求將Hadoop的復(fù)雜性隱藏起來，并提供運(yùn)行在 Hadoop之上的分析工具。Datameer的誘人之處是超過10TB的數(shù)據(jù)源，Datameer認(rèn)為在這種數(shù)據(jù)規(guī)模水平上，企業(yè)在使用傳統(tǒng)技術(shù)進(jìn)行分析時(shí)開始遇到困難。

另一些提供類似的“大數(shù)據(jù)”分析技術(shù)的商業(yè)廠商包括Appistry、Cloudera,、Drawn to Scale HQ、Goto Metrics、Karmasphere和Talend。3家主要數(shù)據(jù)庫廠商，IBM、微軟和甲骨文都支持與Hadoop的互動(dòng)，盡管以不同的方式實(shí)現(xiàn)。開源BI廠商Pentaho也支持Hadoop。

適合各種規(guī)模的企業(yè)

“大數(shù)據(jù)”的優(yōu)勢并不只是規(guī)模，還在于性能，無論數(shù)據(jù)集合的維數(shù)有多少。這對于直接分析非常重要，例如評估某位客戶在網(wǎng)站上的行為來更好地了解他們需要什么支持或?qū)ふ沂裁串a(chǎn)品，或者搞清當(dāng)前天氣和其他條件對于送貨路線和時(shí)間安排的影響。

這正是服務(wù)器集群、高性能文件系統(tǒng)和并行處理的用武之地。過去，這些技術(shù)過于昂貴，只能為大企業(yè)所采用。今天，虛擬化和商用硬件大大降低了使用這些技術(shù)的成本，從而使“大數(shù)據(jù)”可為中小企業(yè)所用。

那些較小的企業(yè)還有另一條利用“大數(shù)據(jù)”分析的途徑——云。“大數(shù)據(jù)”云服務(wù)開始出現(xiàn)，提供迅速、高效執(zhí)行分析的平臺和工具。

但是，較小的企業(yè)真的需要利用“大數(shù)據(jù)”嗎？答案是，需要。所有的公司都有“大數(shù)據(jù)”，不管它們是否意識到它的存在。例如，大多數(shù)在線企業(yè)都從它們的日志文件和點(diǎn)擊流數(shù)據(jù)中采集大量的數(shù)據(jù)。對于沒有這類數(shù)據(jù)流、保存兆千字節(jié)而非兆兆字節(jié)的公司而言，“大數(shù)據(jù)”使它們可以利用巨大的、公開的數(shù)據(jù)源寶藏。

世界銀行在線發(fā)布了其有關(guān)整個(gè)世界的統(tǒng)計(jì)數(shù)據(jù)，美國國會圖書館存檔了自2006年3月起的所有 Twitter數(shù)據(jù)。此外，還有很多有關(guān)提供對它們的信息低成本訪問的新聞，以及針對數(shù)據(jù)服務(wù)的投資。除了你自己的數(shù)據(jù)外，“大數(shù)據(jù)”技術(shù)可以用于分析這些數(shù)據(jù)源，或者同時(shí)對兩者進(jìn)行分析。

以FlightCaster為例。這是一家提供更高精度航班延誤預(yù)測服務(wù)的公司，在預(yù)測過程中其準(zhǔn)確度超過了主要航空公司的估計(jì)。FlightCaster挖掘了大量有關(guān)國內(nèi)航班的海量歷史數(shù)據(jù)和實(shí)時(shí)條件下的各種因素，以及其他利用大量同樣可供航空公司使用的公開數(shù)據(jù)所得到的其他專有元素。

FlightCaster的秘密在于，其對“大數(shù)據(jù)”分析技術(shù)實(shí)際的了解和應(yīng)用正確的工具實(shí)時(shí)計(jì)算結(jié)果。

隨著費(fèi)用的降低和企業(yè)考慮關(guān)聯(lián)數(shù)據(jù)的新途徑，“大數(shù)據(jù)”分析技術(shù)將變得更加普及，這也許為小公司提供一種變成大公司的成長機(jī)制。谷歌、雅虎和 Facebook曾經(jīng)都是小公司，它們因利用自己的數(shù)據(jù)和了解這些數(shù)據(jù)中的關(guān)系而迅速成長。“大數(shù)據(jù)”的許多基礎(chǔ)來自于這些企業(yè)所開發(fā)的技術(shù)并非偶然的。今天，這些方法通過Hadoop和其他工具廣泛地提供給像您的公司這樣的企業(yè)。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]