spark計數器 - 原理

  spark計數器原理是分發task，申請資源等功能外，更重要的一個功能是將RDD拆分成task，即繪製DAG圖。

   Spark的三大核心數據結構：RDD、累加器（只寫不讀）、廣播變量（只讀不寫）

    在spark應用程序中，我們經常會有這樣的需求，如異常監控，調試，記錄符合某特性的數據的數目，這種需求都需要用到計數器，如果一個變量不被聲明為一個累加器，那麼它將在被改變時不會再driver端進行全局彙總，即在分佈式運行時每個task運行的只是原始變量的一個副本，並不能改變原始變量的值，但是當這個變量被聲明為累加器後，該變量就會有分佈式計數的功能。