您好,欢迎来到微智科技网。
搜索
您的当前位置:首页hadoop MR的过程

hadoop MR的过程

来源:微智科技网

map阶段

1.由InputSplitFormat对输入数据进行逻辑分片(FileInputFormat.class中的getSplits()方法),默认的分片大小是不大于blocksize的大小,不小于配置文件中mapred.min.split.size中定义的大小,每一个分片分配一个map任务。数据按行被解析成key/value键值对,key为每行首字母在文件中的偏移量

3.map输出到磁盘的文件会不断增多,当达到一定数量的时候触发文件合并,这个时候用户如果启用了combiner函数,则会调用combiner函数,作用是进行本地reduce,减少后续reduce接收过多不必要的数据,减少网络传输。当map任务结束,每个map对应一个已经预分区且排序好的合并后的大文件。

reduce阶段:

1.根据用户定义的reduce数量,随机在container中启动相应数量的reduce。

2.通过http方式从远程节点复制map端产生的文件(不是复制整个文件,而是复制对应区间的数据)。

3.map端的数据复制完毕后进行merge操作。

4.进行用户定义的reduce操作,输出至hdfs。


因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- 7swz.com 版权所有 赣ICP备2024042798号-8

违法及侵权请联系:TEL:199 18 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务