admin 管理员组文章数量: 1087139
2024年6月12日发(作者：throwable类有两个直接子类)
尚硅谷大数据技术之Hadoop（生产调优手册）
———————————————————————————————————————
尚硅谷大数据技术之Hadoop（生产调优手
册）
（作者：尚硅谷大数据研发部）
版本：V3.3
第1章 HDFS—核心参数
1.1 NameNode内存生产配置
1）NameNode内存计算
每个文件块大概占用150byte，一台服务器128G内存为例，能存储多少文件块呢？
128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1亿
G MB KB Byte
2）Hadoop2.x系列，配置NameNode内存
NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g。在
文件中配置如下。
HADOOP_NAMENODE_OPTS=-Xmx3072m
3）Hadoop3.x系列，配置NameNode内存
（1）中描述Hadoop的内存是动态分配的
# The maximum amount of heap to use (Java -Xmx). If no unit
# is provided, it will be converted to MB. Daemons will
# prefer any Xmx setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MAX=
# The minimum amount of heap to use (Java -Xms). If no unit
# is provided, it will be converted to MB. Daemons will
# prefer any Xms setting in their respective _OPT variable.
# There is no default; the JVM will autoscale based upon machine
# memory size.
# export HADOOP_HEAPSIZE_MIN=
HADOOP_NAMENODE_OPTS=-Xmx102400m
（2）查看NameNode占用内存
[atguigu@hadoop102 ~]$ jps
3088 NodeManager
2611 NameNode
3271 JobHistoryServer
2744 DataNode
尚硅谷大数据技术之Hadoop（生产调优手册）
———————————————————————————————————————
3579 Jps
[atguigu@hadoop102 ~]$ jmap -heap 2611
Heap Configuration:
MaxHeapSize = 1031798784 (984.0MB)
（3）查看DataNode占用内存
[atguigu@hadoop102 ~]$ jmap -heap 2744
Heap Configuration:
MaxHeapSize = 1031798784 (984.0MB)
查看发现hadoop102上的NameNode和DataNode占用内存都是自动分配的，且相等。
不是很合理。
经验参考：
/documentation/enterprise/6/release-
notes/topics/rg_hardware_#concept_fzz_dq4_gbb
具体修改：
export HDFS_NAMENODE_OPTS="-=INFO,RFAS -
Xmx1024m"
export HDFS_DATANODE_OPTS="-=ERROR,RFAS
-Xmx1024m"
版权声明：本文标题：尚硅谷大数据技术之 Hadoop(生产调优手册)说明书 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://roclinux.cn/p/1718178027a717928.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论