Unable to initialize MapOutputCollector org.apache.hadoop.mapred.MapTask$MapOutputBuffer java.lang.C

–>

我是对map的输出key类型仅仅实现了Writable，而没有实现comparable
由上图可知，会进行shuffle阶段对key进行分类，相同的key，会把value收集在一起，就是reduce 的Iterable value
解决办法 需要map阶段输出的key类型实现 compareTo
如果只进行序列化是可以仅仅实现Writable接口 write（），readFile的
map到reduce时存在shuffle,若作为key，则需要实现WritableComparable

本文来源 互联网收集，文章内容系作者个人观点，不代表 本站 对观点赞同或支持。如需转载，请注明文章来源,如您发现有涉嫌抄袭侵权的内容，请联系本站核实处理。