大數(shù)據(jù)時代來臨 如何挖掘數(shù)據(jù)中的寶藏 |
發(fā)布時間: 2012/9/5 18:06:55 |
大數(shù)據(jù)時代悄然來臨
不是我不明白,這世界變化快12000年還是一張軟盤打天下的時代,短短十多年光景,硬盤的存儲容量已從4GB、16GB、32GB迅速攀升到1TB。原來僅有1.44MB的軟盤在當時感覺存儲容量還是蠻大的,到現(xiàn)在硬盤容量躥升至1TB了,反而感覺存儲空間捉襟見肘,到底是哪里出現(xiàn)了問題? 大數(shù)據(jù)!一語驚醒夢中人,大數(shù)據(jù)時代已經悄然來臨。隨著社交網絡的逐漸成熟,移動帶寬迅速提升,云計算、物聯(lián)網應用更加豐富。更多的傳感設備、移動終端接入到網絡,由此產生的數(shù)據(jù)及增長速度迅速攀升。 一項由UnisohereResearch對531名獨立Oracle用戶進行的調查發(fā)現(xiàn),90%的企業(yè)的數(shù)據(jù)量在迅速上漲,其中16%的企業(yè)的數(shù)據(jù)量每年增長率達到50%或更高。不少企業(yè)已經感受到失控的數(shù)據(jù)增長對績效造成的沖擊,其中87%的受訪者將企業(yè)的應用程序性能下降歸咎于不斷增長的數(shù)據(jù)量。調研機構IDC在2011年6月的報告則顯示,全球數(shù)據(jù)量在2011年已達到1.8ZB,在過去5年里增加了5倍。 1.8ZB是什么樣的概念呢?首先從二進制上解讀一下,從我們最熟悉的GB開始,1TB(TrillionByte)=1024GB;1PB(PetaByte)=1024TB;1EB(ExaByte)=1024PB;1ZB(ZettaByte)=1024 EB;1YB(YottaByte)=1024 ZB;1BB(BrontoByte)=1024YB。 再來直接形象地形容一下1.8ZB的數(shù)據(jù)量,如果把所有這些數(shù)據(jù)都刻錄存入普通DVD光盤里,光盤的高度將等同于從地球到月球的一個半來回也就是大約720000英里。相當于每位美國人每分鐘寫3條Twitter微博,而且還要不停地寫2.6976萬年,是不是很恐怖?這還不是最恐怖的,IDC還預測全球數(shù)據(jù)量大約每兩年翻一番,2015年全球數(shù)據(jù)量將達到近8ZB,到2020年,全球將達到35ZB。 所謂的大數(shù)據(jù)最直白的理解是海量數(shù)據(jù),通常用來形容一個公司創(chuàng)造的大量非結構化和半結構化數(shù)據(jù),這些數(shù)據(jù)在下載到關系型數(shù)據(jù)庫用于分析時會花費很多時間和金錢。調研機構IDC認為,某項技術要想成為大數(shù)據(jù)技術,必須滿足IBM所描述的三個“V”條件,即多樣性(Variety)、大容量(Volume)和時效性高(Velocity)。多樣性是指數(shù)據(jù)應包含結構化的和非結構化的數(shù)據(jù);大容量是指聚合在一起供分析的數(shù)據(jù)量必須是非常龐大的;時效性高則是指數(shù)據(jù)處理的速度必須很快。 大數(shù)據(jù)中的大價值 現(xiàn)在有很多通過大數(shù)據(jù)分析受益的經典案例。在科研民生領域,美國的海嘯預警系統(tǒng)一直為人們津津樂道,去年3月11日日本大地震發(fā)生后僅9分鐘,美國國家海洋和大氣管理局(NOAA)就發(fā)布了詳細的海嘯預警。隨即,NOAA通過對海洋傳感器獲得的實時數(shù)據(jù)進行計算機模擬,制作的海嘯影響模型便出現(xiàn)在YouTube等網站。大數(shù)據(jù)分析在指導人們有效規(guī)避自然災害面前發(fā)揮了很大的作用。 而在商業(yè)領域,eBay則很好地起到了示范作用。eBay定義了超過500種類型的數(shù)據(jù),對顧客的行為進行跟蹤分析,每天處理的數(shù)據(jù)量高達100PB,通過準確分析用戶的購物行為,達到了減少廣告投入、穩(wěn)定高端賣家、實現(xiàn)持續(xù)增長的目的。 通過上述兩個案例不難看到,大數(shù)據(jù)分析的價值是非常大的。伴隨著傳統(tǒng)的商業(yè)智能系統(tǒng)向縱深應用的拓展,企業(yè)也逐漸步入到大數(shù)據(jù)時代。傳統(tǒng)的標準化、結構化的數(shù)據(jù)只占到15%左右,85%的數(shù)據(jù)來源于廣泛存在于社交網絡、物聯(lián)網、電子商務等中的非結構化數(shù)據(jù)。這些非結構化數(shù)據(jù)的產生往往伴隨著社交網絡、移動計算和傳感器等新的渠道和技術的不斷涌現(xiàn)和應用。 企業(yè)用來分析的數(shù)據(jù)越全面,分析的結果就越接近于真實,因此,大數(shù)據(jù)具有很大的商業(yè)價值。大數(shù)據(jù)分析是企業(yè)在未來發(fā)展過程中必須面對的,大數(shù)據(jù)分析意味著企業(yè)能夠從這些新的數(shù)據(jù)中獲取新的洞察力,并將它與已知業(yè)務的各個細節(jié)相融合。只有那些能夠運用這些新數(shù)據(jù)形態(tài)的企業(yè),方能打造可持續(xù)發(fā)展的競爭優(yōu)勢。 淘金大數(shù)據(jù)時代 云計算和大數(shù)據(jù)是2012年IT業(yè)界密切關注,且又最為火熱的兩大關鍵詞,對于嗅覺相當靈敏的IT業(yè)界,很多企業(yè)早已嗅出了商機。以投資Facebook而聞名的風投公司AccelPartners認為:大數(shù)據(jù)是信息技術未來發(fā)展的戰(zhàn)略走向,將催生下一代價值數(shù)萬億美元的軟件企業(yè)。 大數(shù)據(jù)跟普通數(shù)據(jù)一樣,從產生到處理,再到價值提取,再到最后被消費掉,都有一個過程,每個步驟中都存在著不同的商業(yè)需求,目前已經有企業(yè)開始深耕細作或正在跑馬圈地。 本文出自:億恩科技【1tcdy.com】 |