批處理所帶來的挑戰(zhàn)

批量處理的挑戰(zhàn)在于，數(shù)據(jù)必須要間斷性地進(jìn)入才能保證流程正常運作，而如果數(shù)據(jù)源連續(xù)地輸入，就會造成系統(tǒng)崩潰。

如果我們增加批處理窗口的話，結(jié)果就會增加數(shù)據(jù)處理過程的時間，使得相關(guān)的數(shù)據(jù)分析報告也要推遲落入我們的手中。在許多系統(tǒng)里，他們會選擇在非高峰時間進(jìn)行數(shù)據(jù)批處理，而這個時間是非常有限的。隨著數(shù)據(jù)的體積不斷脹大，處理數(shù)據(jù)的時間就不斷增加，這樣發(fā)展下去的話，需要被處理的數(shù)據(jù)就會不斷積壓。這最終的結(jié)果有可能一天都處理不完數(shù)據(jù)。

通過流處理來提升速度

流處理的概念是非常簡單的。我們并不需要等到所有數(shù)據(jù)記錄完后才進(jìn)行處理，我們可以邊記錄邊處理。

服務(wù)器租用/服務(wù)器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]