【解决】org.apache.hadoop.yarn.exceptions.YarnRuntimeException:创建完成目录时出错
–>
场景还原:
HDFS目录出现错误,导致yarn无法启动,报错如下:
`org.apache.hadoop.yarn.exceptions.YarnRuntimeException:创建完成目录时出错:[hdfs://hadoop102.domain:8020 / user / >history / done]
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.tryCreatingHistoryDirs(HistoryFileManager.java:696)
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.createHistoryDirs(HistoryFileManager.java:630)
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.serviceInit(HistoryFileManager.java:591)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.mapreduce.v2.hs.JobHistory.serviceInit(JobHistory.java:97)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:108)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceInit(JobHistoryServer.java:150)
在org.apache.hadoop.service.AbstractService.init(AbstractService.java:164)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.launchJobHistoryServer(JobHistoryServer.java:226)
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.main(JobHistoryServer.java:236)原因:org.apache.hadoop.security.AccessControlException:权限被拒绝。user = mapred不是inode = / user / history / done的所有者
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkOwner(FSPermissionChecker.java:303)
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:270)
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:194)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1855)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1839)
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner(FSDirectory.java:1784)
在org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setPermission(FSDirAttrOp.java:64)
在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission(FSNamesystem.java:1861)
在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission(NameNodeRpcServer.java:856)
在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission(ClientNamenodeProtocolServerSideTranslatorPB.java:509)
在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:523)
在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:991)
在org.apache.hadoop.ipc.Server $ RpcCall.run(Server.java:869)
在org.apache.hadoop.ipc.Server $ RpcCall.run(Server.java:815)
在java.security.AccessController.doPrivileged(本机方法)
在javax.security.auth.Subject.doAs(Subject.java:422)
在org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875)
在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2675)`
原因分析及解决办法
这个问题出现的原因就是我用root的用户对mapred用户的文件夹进行访问,结果权限不够。
解决办法
将权限修改一下就可以了,如上图所示:
sudo -u mapred hadoop fs -chmod -R 777 /user/history/done/2020
权限可以使用后,将done文件夹删除,重启yarn即可,CDH环境下
本文来源 互联网收集,文章内容系作者个人观点,不代表 本站 对观点赞同或支持。如需转载,请注明文章来源,如您发现有涉嫌抄袭侵权的内容,请联系本站核实处理。