離散流：易於故障流的流計算計算

抽象的

許多“大數據”應用程序必須實時對數據作用。在越來越多的尺度上運行這些應用程序需要自動處理故障和散亂者的並行平台。Beplay体育安卓版本不幸的是，當前的分布式流處理模型以昂貴的方式提供故障恢複，需要熱複製或較長的恢複時間，並且不處理散股。我們提出了一個新的處理模型，即離散的流（D-Streams），以克服這些挑戰。D-Streams實現了一種平行的恢複機製，該機製可以提高傳統複製和備份方案的效率，並耐受散亂的效率。我們表明，他們支持一組豐富的操作員，同時獲得類似於單節點係統的高節點吞吐量，線性縮放到100個節點，次秒延遲和下秒故障恢複。最後，D-Streams可以輕鬆地與MapReduce（例如MapReduce）這樣的批處理和交互式查詢模型組成，從而啟用了將這些模式結合在一起的豐富應用程序。我們在稱為Spark流的係統中實現D-Streams。