hadoop组成模块之Yarn-HA高可用

2022-01-14

字数统计: 616字 | 阅读时长≈ 3分

“一起看日落的人比日落更浪漫。” –来自网易有音乐《你站在日落的海平面》

前言

和HDFS-HA一样.此处简单了解

YARN-HA配置

YARN-HA工作机制

官方文档

https://hadoop.apache.org/docs/r3.1.3/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html

YARN-HA工作机制

如图所示:

配置YARN-HA集群

环境准备
（1）修改IP
（2）修改主机名及主机名和IP地址的映射
（3）关闭防火墙
（4）ssh免密登录
（5）安装JDK，配置环境变量等
（6）配置Zookeeper集群
集群规划

| hadoop102       | hadoop103       | hadoop104   |
| --------------- | --------------- | ----------- |
| JournalNode     | JournalNode     | JournalNode |
| NameNode        | NameNode        |             |
| DataNode        | DataNode        | DataNode    |
| ZK              | ZK              | ZK          |
| ResourceManager | ResourceManager |             |
| NodeManager     | NodeManager     | NodeManager |

具体配置

（1）yarn-site.xml

  <configuration>
       <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

        <!--启用resourcemanager ha-->
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>

        <!--声明两台resourcemanager的地址-->
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>cluster-yarn1</value>
        </property>

        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>

        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>hadoop102</value>
        </property>

        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>hadoop103</value>
        </property>

        <!--指定zookeeper集群的地址--> 
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
        </property>

        <!--启用自动恢复--> 
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>

        <!--指定resourcemanager的状态信息存储在zookeeper集群--> 
        <property>
             <name>yarn.resourcemanager.store.class</name>
             <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
        </property>
</configuration>

(2) 同步更新其他节点的配置信息

启动hdfs[第一次启动]
（1）在各个JournalNode节点上，输入以下命令启动journalnode服务
1
sbin/hadoop-daemon.sh start journalnode
（2）在[nn1]上，对其进行格式化，并启动
1
2
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
（3）在[nn2]上，同步nn1的元数据信息
1
bin/hdfs namenode -bootstrapStandby
（4）启动[nn2]
1
sbin/hadoop-daemon.sh start namenode
（5）启动所有DataNode
1
sbin/hadoop-daemons.sh start datanode
（6）将[nn1]切换为Active
1
bin/hdfs haadmin -transitionToActive nn1
启动YARN
（1）在hadoop102中执行：
1
sbin/start-yarn.sh
（2）在hadoop103中执行：
1
sbin/yarn-daemon.sh start resourcemanager
（3）查看服务状态，如图所示
1
bin/yarn rmadmin -getServiceState rm1

查看所有进程:

xubatian的博客

本文作者： xubatian
本文链接： http://xubatian.cn/hadoop组成模块之Yarn-HA高可用/
版权声明： 本博客所有文章除特别声明外均为原创，采用 CC BY 4.0 CN协议许可协议。转载请注明出处:https://www.xubatian.cn/