中国大学MOOC: 所谓 过程,是指对Map输出结果进行分区、排序、合并等处理,并交给Reduce的过程。
shuffle
举一反三
- 所谓 过程,是指对Map输出结果进行分区、排序、合并等处理,并交给Reduce的过程。
- Shuffle过程是指对Map输出结果进行分区、排序、合并等处理并交给Reduce的过程。( )
- Map端的shuffle过程,一定会进行分区、排序和合并操作。
- MapReduce框架中,在Map和Reduce之间的combiner的作用是() A: 对Map的输出结果排序 B: 对中间过程的输出进行本地的聚集 C: 对中间结果进行混洗 D: 对中间格式进行压缩
- 在一个MapReduce应用程序中,map函数的输出由MapReduce框架处理后,发送到reduce函数。这个处理过程是基于键值对进行排序和分组。()
内容
- 0
Mapreduce将计算过程分为两个阶段,Map阶段并行处理输入数据,Reduce阶段对Map结果进行汇总。
- 1
MapReduce 对 map()函数的返回值处理后才传给 reduce()函数,其中涉及的操作有( )。 A: 合并 B: 排序 C: 分区 D: 抽样
- 2
MapReduce框架中,在Map和Reduce之间的combiner的作用是( ) A: 对中间格式进行压缩 B: 对中间结果进行混洗 C: 对Map的输出结果排序 D: 将中间结果中同一个key的数据合并
- 3
Reduce端的Shuffle过程包括() A: “领取”数据 B: 溢写(分区、排序和合并) C: 把数据输入给Reduce任务 D: 归并数据
- 4
Reduce阶段就是对多个map任务的输出进行(____)。 A: 规约 B: 排序 C: 存储 D: 筛选