HDP内存配置设置方法

可以使用两种方法来确定YARN和MapReduce内存配置设置：

  1.手动计算YARN和MapReduce内存配置设置.

  2.使用HDP Utility脚本计算内存配置设置.

HDP实用程序脚本是计算HDP内存配置设置的推荐方法，但也提供了有关手动计算YARN和MapReduce内存配置设置的信息以供参考。

1.1手动计算YARN和MapReduce内存配置设置

**本节介绍如何根据节点硬件规范手动配置YARN和MapReduce内存分配设置。

YARN会思考群聚焦每台计算机上的所有可用计算资源。根据可用资源，YARN协商来自群聚焦运行的应用程序（例如MapReduce）的资源请求。然后，YARN通过分配容器为每个应用程序提供处理能力。Container是YARN中处理能力的基本单位，是资源元素（内存，cpu等）的封装。

在Hadoop集群中，平衡内存（RAM），处理器（CPU内核）和磁盘的使用至关重大，这样处理不受这些集群资源中的任何一个的限制。作为一般提议，允许每个磁盘和每个核心使用两个Container，从而为群集利用率提供最佳平衡。**

在为群集节点确定适当的YARN和MapReduce内存配置时，请从可用的硬件资源开始。具体来说，请注意每个节点上的以下值：

• RAM（内存量）

• CORES（CPU内核数）

• 磁盘（磁盘数）

YARN和MapReduce的总可用RAM应思考保留内存。Reserved Memory是系统进程和其他Hadoop进程（例如HBase）所需的RAM。

注：保留内存=为堆栈内存保留+为HBase内存保留（如果HBase在同一节点上）使用下表确定每个节点的预留内存。

内存分配提议

每个节点的总内存	推荐的预留系统内存	推荐的预留Hbase内存
4GB	1 GB	1 GB
8 GB	2 GB	1 GB
16 GB	2 GB	2 GB
24 GB	4 GB	4 GB
48 GB	6 GB	8 GB
64 GB	8 GB	8 GB
72 GB	8 GB	8 GB
96 GB	12 GB	16 GB
128 GB	24 GB	24 GB
256 GB	32 GB	32 GB
512 GB	64 GB	64 GB

确定每个节点允许的最大容器数。可以使用以下公式：

containers= min（2 * CORES，1.8 * DISKS，（总可用RAM）/ MIN_CONTAINER_SIZE）

其中MIN_CONTAINER_SIZE是最小容器大小（在RAM中）。此值取决于可用的RAM量 -在较小的内存节点中，最小容器大小也应该更小。下表概述了提议值：

每个节点的总RAM	提议的最小容器尺寸
小于4 GB	256 MB
介于4 GB和8 GB之间	512 MB
介于8 GB和24 GB之间	1024 MB
超过24 GB	2048 MB

最终的计算是确定每个容器的RAM量：

RAM-per-container = max（MIN_CONTAINER_SIZE，（总可用RAM）/容器））

通过这些计算，可以设置YARN和MapReduce配置：

配置文件	配置设置	价值计算
yarn-site.xml	yarn.nodemanager.resource.memory-mb	=containers * RAM-per-container
yarn-site.xml	yarn.scheduler.minimum-allocation-mb	=RAM-per-container
yarn-site.xml	yarn.scheduler.maximum-allocation-mb	=containers * RAM-per-container
mapred-site.xml	mapreduce.map.memory.mb	=RAM-per-container
mapred-site.xml	mapreduce.reduce.memory.mb	= 2 * RAM-per-container
mapred-site.xml	mapreduce.map.java.opts	= 0.8 *RAM-per-container
mapred-site.xml	mapreduce.reduce.java.opts	= 0.8 * 2 *RAM-per-container
yarn-site.xml (check)	yarn.app.mapreduce.am.resource.mb	= 2 * RAM-per-container
yarn-site.xml (check)	yarn.app.mapreduce.am.command-opts	= 0.8 * 2 *RAM-per-container

注意：安装后，其中 yarn-site.xml和mapred-site.xml位于在/etc/hadoop/conf文件夹中。

1.1.1 配置案例

群集节点具有12个CPU核心，48 GB RAM和12个磁盘。

保留内存= 6 GB保留用于系统内存+（如果是HBase）8 GB用于HBase

最小容器大小= 2 GB

如果没有HBase：

containers= min（2 * 12,1.8 * 12，（48-6）/ 2）= min（24,21.6,21）= 21

RAM-per-container = max（2，（48-6）/ 21）= max（2,2）= 2

Configuration	Value Calculation
yarn.nodemanager.resource.memory-mb	= 21 * 2 = 42*1024 MB
yarn.scheduler.minimum-allocation-mb	= 2*1024 MB
yarn.scheduler.maximum-allocation-mb	= 21 * 2 = 42*1024 MB
mapreduce.map.memory.mb	= 2*1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4*1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6*1024 MB
mapreduce.reduce.java.opts	= 0.8 * 2 * 2 = 3.2*1024 MB
yarn.app.mapreduce.am.resource.mb	= 2 * 2 = 4*1024 MB
yarn.app.mapreduce.am.command-opts	= 0.8 * 2 * 2 = 3.2*1024 MB

如果包含HBase：

容器数量= min（2 * 12,1.8 * 12，（48-6-8）/ 2）= min（24,21.6,17）= 17

RAM-per-container = max（2，（48-6-8）/ 17）= max（2,2）= 2

Configuration	Value Calculation
yarn.nodemanager.resource.memory-mb	= 17 * 2 = 34*1024 MB
yarn.scheduler.minimum-allocation-mb	= 2*1024 MB
yarn.scheduler.maximum-allocation-mb	= 17 * 2 = 34*1024 MB
mapreduce.map.memory.mb	= 2*1024 MB
mapreduce.reduce.memory.mb	= 2 * 2 = 4*1024 MB
mapreduce.map.java.opts	= 0.8 * 2 = 1.6*1024 MB
mapreduce.reduce.java.opts	= 0.8 * 2 * 2 = 3.2*1024 MB
yarn.app.mapreduce.am.resource.mb	= 2 * 2 = 4*1024 MB
yarn.app.mapreduce.am.command-opts	= 0.8 * 2 * 2 = 3.2*1024 MB

1.1.2 笔记

在yarn.scheduler.minimum-allocation-mb不改变的情况下进行更改yarn.nodemanager.resource.memory-mb，或者在yarn.nodemanager.resource.memory-mb不改变的 情况下进行更改 yarn.scheduler.minimum-allocation-mb也会更改每个节

如果您的安装具有高RAM但没有多少磁盘/核心，则可以通过降低yarn.scheduler.minimum-allocation-mb和 来释放RAM以执行其他任务yarn.nodemanager.resource.memory-mb。

1.1.3 在YARN上配置MapReduce内存设置

MapReduce在YARN之上运行，并利用YARN Containers来安排和执行Map and Reduce任务。在YARN上配置MapReduce资源利用率时，需要思考三个方面：

1、 每个Map和Reduce任务的物理RAM限制。

2、 每个任务的JVM堆大小限制。

3、 每个任务将接收的虚拟内存量。

您可以为每个Map和Reduce任务定义最大内存量。由于每个Map和Reduce任务都将在一个单独的Container中运行，因此这些最大内存设置应等于或大于YARN最小Container分配。

对于上一节中使用的示例群集（48 GB RAM，12个磁盘和12个核心），Container的最小RAM（yarn.scheduler.minimum-allocation-mb）= 2 GB。因此，我们将为Map任务容器分配4 GB，为Reduce任务容器分配8 GB。

在 mapred-site.xml：

<name>mapreduce.map.memory.mb</name>
<value>4096</value>
<name>mapreduce.reduce.memory.mb</name>
<value>8192</value>

每个Container都将运行JVM以执行Map和Reduce任务。JVM堆大小应设置为低于Map和Reduce Containers的值，以便它们在YARN分配的Container内存的范围内。

在 mapred-site.xml：

<name>mapreduce.map.java.opts</name>
<value>-Xmx3072m</value>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx6144m</value>

上述设置配置Map和Reduce任务将使用的物理RAM的上限。每个Map和Reduce任务的虚拟内存（物理+分页内存）上限由允许每个YARN Container的虚拟内存比确定。此比率使用以下配置属性设置，默认值为2.1：

在 yarn-site.xml：

<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>

通过我们示例集群上的上述设置，每个Map任务将接收以下内存分配：

分配的物理RAM总量= 4 GB

Map任务Container中的JVM堆空间上限= 3 GB

虚拟内存上限= 4 * 2.1 = 8.2 GB

使用YARN上的MapReduce，不再为Map和Reduce任务预先配置静态插槽。整个群集可用于根据每个作业的需要动态分配Map和Reduce任务。在我们的示例集群中，通过上述配置，YARN将能够在每个节点上分配多达10个Mappers（40/4）或5个Reducers（40/8）（或者每个节点上的Mapper和Reducers的一些其他组合）节点限制）。

1.2 使用HDP Utility脚本计算内存配置设置

 本节介绍如何使用hdp-configuration-utils.py的Python脚本根据节点硬件规范计算YARN，MapReduce，Hive和Tez内存分配设置。该 hdp-configuration-utils.py脚本包含在HDP 配套文件中。

 运行脚本

 要运行该hdp-configuration-utils.py脚本，请从包含该脚本的文件夹中执行以下命令：

python hdp-configuration-utils.py  <options>

使用以下选项：

选项	描述
-c CORES	每台主机上的核心数。
-m MEMORY	每个主机上的内存量，以GB为单位。
-d DISKS	每台主机上的磁盘数。
-k HBASE	如果安装了HBase，则为“True”，否则为“False”。

注意： 您还可以使用-h或–help选项显示描述选项的“协助”消息。

例

运行以下命令：

python hdp-configuration-utils.py -c 16 -m 64 -d 4 -k True

返回信息如下

 Using cores=16 memory=64GB disks=4 hbase=True
 Profile: cores=16 memory=49152MB reserved=16GB usableMem=48GB disks=4
 Num Container=8
 Container Ram=6144MB
 Used Ram=48GB
 Unused Ram=16GB
 yarn.scheduler.minimum-allocation-mb=6144
 yarn.scheduler.maximum-allocation-mb=49152
 yarn.nodemanager.resource.memory-mb=49152
 mapreduce.map.memory.mb=6144
 mapreduce.map.java.opts=-Xmx4096m
 mapreduce.reduce.memory.mb=6144
 mapreduce.reduce.java.opts=-Xmx4096m
 yarn.app.mapreduce.am.resource.mb=6144
 yarn.app.mapreduce.am.command-opts=-Xmx4096m
 mapreduce.task.io.sort.mb=1792
 tez.am.resource.memory.mb=6144
 tez.am.java.opts=-Xmx4096m
 hive.tez.container.size=6144
 hive.tez.java.opts=-Xmx4096m
 hive.auto.convert.join.noconditionaltask.size=1342177000