hadoopMR任务报错：org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

–>

yarn的运行报错：初始化运行报错

介绍：我的一个MR任务，运行失败，查看运行日志，错误如下：
mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with exitCode: -1000
不是太懂，在网上查了好多，说是需要配置输入、输出文件输入限制和配置读入的数据块大小，等相关配置
公司的集群，已经运行很长时间了，先关配置都是固定好的。这个任务也是运行好长时间突然出问题。
所以我就去下载了这个任务的yarn 运行日志，里面一个很明显的错误：
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

说是yarn运行，初始化容器失败
当我仔细往上翻后发现一个WARN:
org.apache.hadoop.ipc.Client: Exception encountered while connecting to the server : java.net.SocketTimeoutException: 60000 millis timeout while waiting

说的是我们的client连接server时，发生超时异常，导致任务的初始化失败！从而直接导致任务MR任务运行FAILED

总结：（对于MR的一些运行FAILED任务）
1，查看web界面，发现任务运行失败FAILED
2，首先查看任务的运行日志，（无明显的显示错误）
3，查看任务在yarn上的日志。
4，再处理相关的错误

本文来源 互联网收集，文章内容系作者个人观点，不代表 本站 对观点赞同或支持。如需转载，请注明文章来源,如您发现有涉嫌抄袭侵权的内容，请联系本站核实处理。