【解决】org.apache.hadoop.yarn.exceptions.YarnRuntimeException：创建完成目录时出错

–>

场景还原：

HDFS目录出现错误，导致yarn无法启动，报错如下：

`org.apache.hadoop.yarn.exceptions.YarnRuntimeException：创建完成目录时出错：[hdfs：//hadoop102.domain：8020 / user / >history / done]
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.tryCreatingHistoryDirs（HistoryFileManager.java:696）
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.createHistoryDirs（HistoryFileManager.java:630）
在org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager.serviceInit（HistoryFileManager.java:591）
在org.apache.hadoop.service.AbstractService.init（AbstractService.java:164）
在org.apache.hadoop.mapreduce.v2.hs.JobHistory.serviceInit（JobHistory.java:97）
在org.apache.hadoop.service.AbstractService.init（AbstractService.java:164）
在org.apache.hadoop.service.CompositeService.serviceInit（CompositeService.java:108）
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.serviceInit（JobHistoryServer.java:150）
在org.apache.hadoop.service.AbstractService.init（AbstractService.java:164）
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.launchJobHistoryServer（JobHistoryServer.java:226）
在org.apache.hadoop.mapreduce.v2.hs.JobHistoryServer.main（JobHistoryServer.java:236）

原因：org.apache.hadoop.security.AccessControlException：权限被拒绝。user = mapred不是inode = / user / history / done的所有者

在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkOwner（FSPermissionChecker.java:303）
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission（FSPermissionChecker.java:270）
在org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission（FSPermissionChecker.java:194）
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission（FSDirectory.java:1855）
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission（FSDirectory.java:1839）
在org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkOwner（FSDirectory.java:1784）
在org.apache.hadoop.hdfs.server.namenode.FSDirAttrOp.setPermission（FSDirAttrOp.java:64）
在org.apache.hadoop.hdfs.server.namenode.FSNamesystem.setPermission（FSNamesystem.java:1861）
在org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.setPermission（NameNodeRpcServer.java:856）
在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.setPermission（ClientNamenodeProtocolServerSideTranslatorPB.java:509）
在org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod（ClientNamenodeProtocolProtos.java）
在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call（ProtobufRpcEngine.java:523）
在org.apache.hadoop.ipc.RPC $ Server.call（RPC.java:991）
在org.apache.hadoop.ipc.Server $ RpcCall.run（Server.java:869）
在org.apache.hadoop.ipc.Server $ RpcCall.run（Server.java:815）
在java.security.AccessController.doPrivileged（本机方法）
在javax.security.auth.Subject.doAs（Subject.java:422）
在org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1875）
在org.apache.hadoop.ipc.Server $ Handler.run（Server.java:2675）`

原因分析及解决办法

这个问题出现的原因就是我用root的用户对mapred用户的文件夹进行访问，结果权限不够。

解决办法

将权限修改一下就可以了，如上图所示：

sudo -u mapred hadoop fs -chmod -R 777 /user/history/done/2020

权限可以使用后，将done文件夹删除，重启yarn即可，CDH环境下

本文来源 互联网收集，文章内容系作者个人观点，不代表 本站 对观点赞同或支持。如需转载，请注明文章来源,如您发现有涉嫌抄袭侵权的内容，请联系本站核实处理。