細雨:快速和可適應的大規模流處理

摘要

大規模流媒體係統的目標是提供高吞吐量和低延遲。它們通常用於運行任務關鍵型應用程序，並且必須24×7可用。因此，這樣的係統需要適應工作負載的故障和固有變化，對延遲和吞吐量的影響最小。不幸的是，現有的解決方案要求運營商在正常操作期間實現低延遲和在適應過程中產生最小影響之間做出選擇。連續操作員流係統，如Naiad和Flink，在正常執行期間提供低延遲，但在適應(例如恢複)期間產生高開銷，而微批處理係統，如Spark streaming和FlumeJava，在正常操作期間以高延遲為代價快速適應。我們的主要觀察結果是，雖然流工作負載需要毫秒級的處理，但工作負載和集群屬性的變化不那麼頻繁。在此基礎上，我們開發了Drizzle係統，該係統將處理間隔與用於容錯和適應性的協調間隔解耦。我們在128節點EC2集群上的實驗表明，在Yahoo Streaming Benchmark上，Drizzle可以實現不到100ms的端到端記錄處理延遲，並且可以比Spark低2 - 3倍的延遲。Drizzle也表現出更好的適應性，從故障中恢複的速度比Flink快4倍，同時在恢複過程中具有高達13倍的低延遲。