HDFS数据不平均处理

# 当前现状

# 执行命令

hdfs balancer -threshold 5

说明

 hdfs balancer
          [-threshold <threshold>]
          [-policy <policy>]
          [-exclude [-f <hosts-file> | <comma-separated list of hosts>]]
          [-include [-f <hosts-file> | <comma-separated list of hosts>]]
          [-idleiterations <idleiterations>]

1
2
3
4
5
6

参数说明：

参数	说明
-threshold	某datanode的使用率和整个集群使用率的百分比差值阈值，达到这个阈值就启动hdfs balancer，取值从1到100，不宜太小，因为在平衡过程中也有数据写入，太小无法达到平衡
-policy	分为blockpool和datanode，前者是block pool级别的平衡后者是datanode级别的平衡
-exclude	不为空，则不在这些机器上进行平衡
-include	不为空，则仅在这些机器上进行平衡
-idleiterations	最大迭代次数

或者

./start-balancer.sh -threshold 5\
-Ddfs.datanode.balance.max.concurrent.moves=20 \
-Ddfs.datanode.balance.bandwidthPerSec=150000000 \
-Ddfs.balancer.moverThreads=500 \
-Ddfs.balancer.dispatcherThreads=100

1
2
3
4
5

上次更新: 2023/03/10, 20:58:04

← HDFS常用命令汇总 HDFS JMX监控→