1. MapReduce是Hadoop的一個(gè)核心技術(shù)、是一個(gè)基于分布式的對大數(shù)據(jù)集進(jìn)行并行處理的一個(gè)計(jì)算框架。
2. 核心思想是移動計(jì)算而非數(shù)據(jù)。
3. 整個(gè)計(jì)算流程分為兩個(gè)階段，一個(gè)是map階段，一個(gè)是reduce階段
- map階段 一個(gè)mapreduce作業(yè)在map階段會先對數(shù)據(jù)進(jìn)行邏輯分片處理，一個(gè)邏輯分片對應(yīng)一個(gè)MapTask。
每一個(gè)MapTask在處理數(shù)據(jù)的時(shí)候，都會將每一行數(shù)據(jù)解析成鍵值對的形式，作為輸入。
輸入給map函數(shù)。map函數(shù)處理后，也會以鍵值對的形式作為輸出。
之后會對數(shù)據(jù)進(jìn)行分區(qū)，排序等處理
- reduce階段 在進(jìn)入reduce階段之前。
reduceTask會將自己要處理的分區(qū)數(shù)據(jù)fetch到reduceTask所在的機(jī)器節(jié)點(diǎn)上,然后以鍵值對
京公網(wǎng)安備 11010802030320號