大数据集群安装02之Hadoop配置

Hadoop配置必看配置千万条，网络第一条。
配置不规范，bug改到吐。
内外ip要分清，本机配置内ip，连接请用外ip
1.下载上传插件rz 【安装命令】：
yum install -y lrzsz 2.上传hadoop压缩包【上传命令】：
## 上传压缩包rz## 压缩tar -zxvf [包名] 3.配置hadoop (1)编辑.bashrc文件
在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加)
# jdkexport JAVA_HOME=/root/jdk1.8.0_241export PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar# hadoopexport HADOOP_HOME=/root/hadoop-2.7.1export PATH=$PATH:$HADOOP_HOME/binexport PATH=$PATH:$HADOOP_HOME/sbinexport HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATHexport HADOOP_HOME_WARN_SUPPRESS=1# sparkexport SPARK_HOME=/root/sparkexport PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 其中JAVA_HOME和HADOOP_HOME需要换成你自己的安装路径。
执行：source .bashrc使编辑的内容生效。
4.编辑/etc/hosts文件 Ip地址主机名NamenodeSecondary namenodeDatanodeResourceManagerNodeManager116.85.43.227hadoop-01YYNYN106.12.48.46hadoop-02NNYNY47.95.0.108hadoop-03NNYNY编辑所有节点的/etc/hosts文件，
116.85.43.227hadoop-03106.12.48.46hadoop-0247.95.0.108(本机在这里要填内网ip)hadoop-01 保存退出。
查看下/etc/hostname中的值是否和你的主机名一致，若不一致，则改成你的主机名，否则就不需要改。
5.配置hadoop conf 1.编辑hadoop-env.sh,yarn-env.sh文件
编辑所有节点的hadoop-env.sh文件(位于hadoop/conf/下)
先取消export JAVA_HOME的注释，然后修改后面的路径为你自己的安装路径
export JAVA_HOME=/root/jdk1.8.0_241 2.编辑core-site.xml文件
编辑所有节点的core-site.xml文件，添加如下内容：
fs.default.namehdfs://hadoop-01:9000hadoop.tmp.dir/root/hadoop-2.7.1/tmp hadoop-01是我的namenode节点的主机名，你可以替换成你的namenode节点的主机名。
3.编辑hdfs-site.xml,yarn-site.xml文件
编辑所有节点的hdfs-site.xml文件，添加如下内容：
dfs.namenode.name.dirfile:/root/hadoop-2.7.1/hadoop_data/hdfs/namenodedfs.datanode.data.dirfile:/root/hadoop-2.7.1/hadoop_data/hdfs/datanodedfs.replication1dfs.namenode.datanode.registration.ip-hostname-checkfalsedfs.nameserviceshadoop-cluster1dfs.namenode.secondary.http-addresshadoop-01:50090dfs.webhdfs.enabledtrue dfs.namenode.name.dir是namenode节点存放目录，dfs.datanode.data.dir是datanode节点的存放目录，均可以替换成你自己想要存放的路径。
编辑所有节点的yarn-site.xml文件，添加如下内容：
yarn.resourcemanager.hostnamehadoop-01yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.resourcemanager.addresshadoop-01:8032yarn.resourcemanager.scheduler.addresshadoop-01:8030yarn.resourcemanager.resource-tracker.addresshadoop-01:8031yarn.resourcemanager.admin.addresshadoop-01:8033yarn.resourcemanager.webapp.addresshadoop-01:8088 4…编辑mapred-site.xml文件
编辑所有节点的mapred-site.xml文件，添加如下内容：
mapreduce.framework.nameyarnmapreduce.jobtracker.http.addresshadoop-01:50030mapred.job.trackerhttp://hadoop-01:9001mapreduce.jobhistory.addresshadoop-01:10020mapreduce.jobhistory.webapp.addresshadoop-01:19888 hadoop-01是我的jobtracker节点的主机名，你可以替换成你自己的jobtracker节点所在的主机名。
5.编辑slaves文件
打开slaves，将localhost替换成
hadoop-02
hadoop-03
保存退出
6.将配置好的hadoop文件复制到其他节点上
scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-02:/root/hadoop-2.7.1/etc/scp -r /root/hadoop-2.7.1/etc/hadoop root@hadoop-03:/root/hadoop-2.7.1/etc/ 6.运行hadoop 【大数据集群安装02之Hadoop配置】./bin/hdfs namenode -formatsource /etc/profile./start-dfs.sh