博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReducer Reducer Class
阅读量:4300 次
发布时间:2019-05-27

本文共 521 字,大约阅读时间需要 1 分钟。

Reducer可以用作Combiner的情况:

满足 a.b=b.a或者a.(b.c)=(a.b).c

 

Combiner能用就用,不一定是用Reducer来替代。

设置Reducer为Combiner类的方法:

job.setCombinerClass(WCReducer.class);

 

Partitioner Class:决定把k-v数据块发给哪个Reducer

 

Reducer Class:和mapper里面的方法几乎一模一样,工作流程不再赘述。

1. setup方法 框架只调用一次

2、reduce方法 

reduce(KEY key, Iterable<VALUE> values,Context context)

这个key呢,他可能来自不同的Mapper,他是一个集合。

就是简单一个对value求和

 

3.cleanup方法

4.run方法

 

Reducer处理完之后key-value发给 output format,

它也有2个方法

第一个是写记录,把Reducer拿过来的Key-Value 记录按自己的读取方式写到目标文件上。

第二个方法是我check一下,目标目录如果存在了,我不会覆盖原来的文件。(具体的还不是很清楚)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载地址:http://gwvws.baihongyu.com/

你可能感兴趣的文章
log日志记录是什么
查看>>
<rich:modelPanel>标签的使用
查看>>
<h:commandLink>和<h:inputLink>的区别
查看>>
<a4j:keeyAlive>的英文介绍
查看>>
关于list对象的转化问题
查看>>
VOPO对象介绍
查看>>
suse创建的虚拟机,修改ip地址
查看>>
linux的挂载的问题,重启后就挂载就没有了
查看>>
docker原始镜像启动容器并创建Apache服务器实现反向代理
查看>>
docker容器秒死的解决办法
查看>>
管理网&业务网的一些笔记
查看>>
openstack报错解决一
查看>>
openstack报错解决二
查看>>
linux source命令
查看>>
openstack报错解决三
查看>>
乙未年年终总结
查看>>
子网掩码
查看>>
第一天上班没精神
查看>>
启动eclipse报错:Failed to load the JNI shared library
查看>>
eclipse安装插件的两种方式在线和离线
查看>>