命令手册 · 大数据组件
Hadoop|HDFS 与 YARN 运维
HDFS 文件查询、容量检查、NameNode 与 YARN 应用状态定位。
本页包含可复制的命令。执行前请检查实例、namespace、读写副作用及是否会访问真实业务数据。建议先在测试环境验证。
本页目录 · 6 节
Hadoop 的 HDFS、YARN 与 MapReduce 是不同组件;命令适用性受发行版、Kerberos、HA 和集群权限影响。
HDFS 文件与目录
hdfs dfs -ls /
hdfs dfs -ls /user/demo/
hdfs dfs -du -h /user/demo/
hdfs dfs -count /user/demo/
ls、du 与 count 分别用于目录查看、路径占用估计和文件/目录计数。
文件预览与本地下载
hdfs dfs -cat /user/demo/sample.txt | head -n 20
hdfs dfs -get /user/demo/sample.txt ./sample.txt
风险: 示例路径可能存放真实数据。下载到本地会创建额外数据副本,不要上传公开 GitHub 仓库。
HDFS 容量与健康
hdfs dfsadmin -report
hdfs getconf -namenodes
hdfs getconf -confKey fs.defaultFS
dfsadmin 通常需要管理权限;别将单个 DataNode 的数据占用直接当成全局逻辑数据量。
YARN 应用
yarn application -list
yarn application -list -appStates RUNNING
定位某个应用前先确定实际 Application ID、Queue 和用户,再到 ResourceManager UI 或聚合日志核对失败原因。
不推荐盲目操作
hdfs dfs -rm -r、hdfs balancer、yarn application -kill 以及权限更改都可能影响集群服务;先确认授权、HA 状态、目标路径和业务影响。
官方参考
命令需根据实际系统版本、授权和部署方式确认。