LOADING

hadoopMR任务报错:org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

–>

yarn的运行报错:初始化运行报错

介绍:我的一个MR任务,运行失败,查看运行日志,错误如下:
mapreduce.Job: Job job_1591237623212_1255 failed with state FAILED due to: Application application_1591237623212_1255 failed 2 times due to AM Container for appattempt_1591237623212_1255_000002 exited with exitCode: -1000
不是太懂,在网上查了好多,说是需要配置输入、输出文件输入限制和配置读入的数据块大小,等相关配置
公司的集群,已经运行很长时间了,先关配置都是固定好的。这个任务也是运行好长时间突然出问题。
所以我就去下载了这个任务的yarn 运行日志,里面一个很明显的错误:
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: Error while initializing

说是yarn运行,初始化容器失败
当我仔细往上翻后发现一个WARN:
org.apache.hadoop.ipc.Client: Exception encountered while connecting to the server : java.net.SocketTimeoutException: 60000 millis timeout while waiting

说的是我们的client连接server时,发生超时异常,导致任务的初始化失败!从而直接导致任务MR任务运行FAILED

总结:(对于MR的一些运行FAILED任务)
1,查看web界面,发现任务运行失败FAILED
2,首先查看任务的运行日志,(无明显的显示错误)
3,查看任务在yarn上的日志。
4,再处理相关的错误

本文来源 互联网收集,文章内容系作者个人观点,不代表 本站 对观点赞同或支持。如需转载,请注明文章来源,如您发现有涉嫌抄袭侵权的内容,请联系本站核实处理。

© 版权声明

相关文章