如何配置集群文件

 时间:2026-02-16 07:01:55

1、核心配置文件core-site.xml,该配置文件属于Hadoop的全局配置文件,我们主要进行配置分布式文件系统的入口地址NameNode的地址和分布式文件系统中数据落地到服务器本地磁盘位置的配置,如下:

如何配置集群文件

2、Hadoop环境配置文件hadoop-env.sh,在这个配置文件中我们主要需要制定jdk的路径JAVA_HOME,避免程序运行中出现JAVA_HOME找不到的异常。

如何配置集群文件

3、HDFS配置文件hdfs-site.xml,在这个配置文件中主要进行配置HDFS文件系统属性配置。

如何配置集群文件

4、YARN的环境配置文件yarn-env.sh,同样将JAVA_HOME路径配置指明。

如何配置集群文件

5、关于YARN的配置文件yarn-site.xml,其中配置YARN的相关参数,主要配置一下两个参数。

如何配置集群文件

6、mapreduce的环境配置文件mapred-env.sh,同样将JAVA_HOME路径配置指明。

如何配置集群文件

7、关于MapReduce的配置文件mapred-site.xml,主要配置一个参数,指明MapReduce的运行框架为YARN.

如何配置集群文件

8、主节点NameNode和ResourceManager的角色在配置文件中已经做了配置,从节点的角色还需指定,配置文件slaves就是用来配置Hadoop集群中各个从节点角色的。如下,对slaves文件进行修改,即将3台节点全部指定为从节点,可以启动DataNode和NodeManager进程。

如何配置集群文件

9、在集群上分发配置好的Hadoop配置文件,这样3台节点即享有相同的Hadoop的配置,可准备通过不同的进程启动命令进行启动了。

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-2.7.2/

10、查看文件分发情况

[atguigu@hadoop103 hadoop]$ cat /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml

  • 苏维智搜软件操作说明
  • 象棋叠罗汉怎么玩
  • 手机游戏抓娃娃机怎么玩
  • 管理分享—如何以帮人的方式求人。
  • 社区组织生活会谈心谈话怎么进行
  • 热门搜索
    大同旅游攻略自助游 南宁周边旅游景点大全 凤凰旅游住宿 安徽宏村旅游攻略 枫泾古镇旅游攻略 防城港旅游景点大全 山西平遥古城旅游攻略 陪旅游 蚂蜂窝旅游网官网 深圳市旅游景点