MapReduce优化方法

1、数据输入

1.合并文件

2.采用combineTextInputFormat

2、Map阶段

1.减少溢出

2.减少合并次数

3、Reduce阶段

1.合理设置map和reduce数

2.设置map和reduce共存

3.规避使用reduce

4.合理设置reduce端的buffer

4、 I/O传输

5、数据倾斜问题

1.数据倾斜现象

2.减少数据倾斜方法

6、常用的调优参数

1．资源相关参数