19、Hadoop 配置

本文详细解析Hadoop的两种配置文件类型(*-default.xml与*-site.xml),介绍core-site.xml、hdfs-site.xml、yarn-site.xml和mapred-site.xml的核心作用,并说明配置文件的加载顺序与防止覆盖的final属性设置方法。

Hadoop配置

有两种配置文件:

一种是*_*_-default.xml(只读,默认的配置)

一种是#x662F;__-site.xml(替换default中的配置)

  • core-site.xml 配置公共属性
  • hdfs-site.xml 配置HDFS
  • yarn-site.xml 配置YARN
  • mapred-site.xml 配置MapReduce

配置文件应用的顺序:

1、 在JobConf中指定的;
2、 客户端机器上的*__-site.xml配置;
3、 slave节点上的
_*_-site.xml配置;
4、 __-default.xml中的配置;

如果某个属性不想被覆盖,可以将其设置成final

    <property>
        <name>{PROPERTY_NAME}</name>
        <value>{PROPERTY_VALUE}</value>
        <final>true</final>
    </property>