mapreduce計算模型適用於什麼任務

來源:魅力女性吧 7.03K
mapreduce計算模型適用於什麼任務

MapReduce的思想核心是“分而治之”,適用於大量複雜的任務處理場景(大規模數據處理場景)。即使是發佈過論文實現分佈式計算的谷歌也只是實現了這種思想,而不是自己原創。

Map負責“分”,即把複雜的任務分解為若干個“簡單的任務”來並行處理。

可以進行拆分的前提是這些小任務可以並行計算,彼此間幾乎沒有依賴關係。

Reduce負責“合”,即對map階段的結果進行全局彙總

熱門標籤