泽云 Acronis 安克诺斯 浪潮服务器商城 腾保数据

Linux下Hadoop2.6.0集群环境的搭建

中国存储网 2016-09-13 13:34  我要投稿
导读:本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。

本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。

基础环境

JDK的安装与配置

现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8。找了半天才找到JDK下载列表页的地址(http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html)。因为选择Linux操作系统作为部署环境,所以选择64位的版本。我选择的是jdk-7u79-linux-x64.gz。

使用以下命令将jdk-7u79-linux-x64.gz下载到Linux下的/home/jiaan.gja/software目录

  1. wget http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz  

然后使用以下命令将jdk-7u79-linux-x64.gz解压缩到/home/jiaan.gja/install目录

  1. tar zxvf jdk-7u79-linux-x64.gz -C ../install  

回到/home/jiaan.gja目录,配置java环境变量,命令如下:

  1. cd ~  
  2. vim .bash_profile  

在.bash_profile中加入以下内容:

Linux下Hadoop2.6.0集群环境的搭建

立刻让java环境变量生效,执行如下命令:

  1. source .bash_profile  

最后验证java是否安装配置正确:

Linux下Hadoop2.6.0集群环境的搭建
 

Host

由于我搭建Hadoop集群包含三台机器,所以需要修改调整各台机器的hosts文件配置,命令如下:

  1. vi /etc/hosts  

如果没有足够的权限,可以切换用户为root。

如果禁止使用root权限,则可以使用以下命令修改:

  1. sudo vi /etc/hosts  

三台机器的内容统一增加以下host配置:


Linux下Hadoop2.6.0集群环境的搭建

SSH

由于NameNode与DataNode之间通信,使用了SSH,所以需要配置免登录。

首先登录Master机器,生成SSH的公钥,命令如下:

  1. ssh-keygen -t rsa  

执行命令后会在当前用户目录下生成.ssh目录,然后进入此目录将id_rsa.pub追加到authorized_keys文件中,命令如下:

  1. cd .ssh  
  2. cat id_rsa.pub >> authorized_keys  

最后将authorized_keys文件复制到其它机器节点,命令如下:

  1. scp authorized_keys jiaan.gja@Slave1:/home/jiaan.gja/.ssh  
  2. scp authorized_keys jiaan.gja@Slave2:/home/jiaan.gja/.ssh  

文件目录

为了便于管理,给Master的hdfs的NameNode、DataNode及临时文件,在用户目录下创建目录:

/home/jiaan.gja/hdfs/name

/home/jiaan.gja/hdfs/data

/home/jiaan.gja/hdfs/tmp

然后将这些目录通过scp命令拷贝到Slave1和Slave2的相同目录下。

Hadoop的安装与配置

下载

首先到Apache官网(http://www.apache.org/dyn/closer.cgi/hadoop/common/)下载Hadoop,从中选择推荐的下载镜像(http://mirrors.hust.edu.cn/apache/hadoop/common/),我选择hadoop-2.6.0的版本,并使用以下命令下载到Master机器的

/home/jiaan.gja/software目录:

  1. cd ~/software/  
  2. wget http://apache.fayea.com/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz  

然后使用以下命令将hadoop-2.6.0.tar.gz解压缩到/home/jiaan.gja/install目录

  1. tar zxvf hadoop-2.6.0.tar.gz -C ../install/  

环境变量

回到/home/jiaan.gja目录,配置hadoop环境变量,命令如下:

  1. cd ~  
  2. vim .bash_profile  

在.bash_profile中加入以下内容:

Linux下Hadoop2.6.0集群环境的搭建

立刻让hadoop环境变量生效,执行如下命令:

  1. source .bash_profile  

Hadoop的配置

进入hadoop-2.6.0的配置目录:

  1. cd ~/install/hadoop-2.6.0/etc/hadoop/  

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml及yarn-site.xml文件。

core-site.xml

  1. <configuration>  
  2. <property>  
  3.   <name>hadoop.tmp.dir</name>  
  4.   <value>file:/home/jiaan.gja/hdfs/tmp</value>  
  5.   <description>A base for other temporary directories.</description>  
  6. </property>  
  7. <property>  
  8.   <name>io.file.buffer.size</name>  
  9.   <value>131072</value>  
  10. </property>  
  11. <property>  
  12.   <name>fs.default.name</name>  
  13.   <value>hdfs://Master:9000</value>  
  14. </property>  
  15. <property>  
  16. <name>hadoop.proxyuser.root.hosts</name>  
  17. <value>*</value>  
  18. </property>  
  19. <property>  
  20. <name>hadoop.proxyuser.root.groups</name>  
  21. <value>*</value>  
  22. </property>  
  23. </configuration>  

hdfs-site.xml

  1. <configuration>  
  2. <property>  
  3.   <name>dfs.replication</name>  
  4.   <value>2</value>  
  5. </property>  
  6. <property>  
  7.   <name>dfs.namenode.name.dir</name>  
  8.   <value>file:/home/jiaan.gja/hdfs/name</value>  
  9.   <final>true</final>  
  10. </property>  
  11. <property>  
  12.   <name>dfs.datanode.data.dir</name>  
  13.   <value>file:/home/jiaan.gja/hdfs/data</value>  
  14.   <final>true</final>  
  15. </property>  
  16. <property>  
  17.   <name>dfs.namenode.secondary.http-address</name>  
  18.   <value>Master:9001</value>  
  19. </property>  
  20. <property>  
  21.   <name>dfs.webhdfs.enabled</name>  
  22.   <value>true</value>  
  23. </property>  
  24. <property>  
  25.   <name>dfs.permissions</name>  
  26.   <value>false</value>  
  27. </property>  
  28. </configuration>  

mapred-site.xml

  1. <configuration>  
  2. <property>  
  3.   <name>mapreduce.framework.name</name>  
  4.   <value>yarn</value>  
  5. </property>  
  6. </configuration>  

yarn-site.xml

<configuration>  

  1.   
  2. <!-- Site specific YARN configuration properties -->  
  3. <property>  
  4.   <name>yarn.resourcemanager.address</name>  
  5.   <value>Master:18040</value>  
  6. </property>  
  7. <property>  
  8.   <name>yarn.resourcemanager.scheduler.address</name>  
  9.   <value>Master:18030</value>  
  10. </property>  
  11. <property>  
  12.   <name>yarn.resourcemanager.webapp.address</name>  
  13.   <value>Master:18088</value>  
  14. </property>  
  15. <property>  
  16.   <name>yarn.resourcemanager.resource-tracker.address</name>  
  17.   <value>Master:18025</value>  
  18. </property>  
  19. <property>  
  20.   <name>yarn.resourcemanager.admin.address</name>  
  21.   <value>Master:18141</value>  
  22. </property>  
  23. <property>  
  24.   <name>yarn.nodemanager.aux-services</name>  
  25.   <value>mapreduce.shuffle</value>  
  26. </property>  
  27. <property>  
  28.   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
  29.   <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  30. </property>  
  31. </configuration>  

由于我们已经配置了JAVA_HOME的环境变量,所以hadoop-env.sh与yarn-env.sh这两个文件不用修改,因为里面的配置是:

  1. export JAVA_HOME=${JAVA_HOME}  

最后,将整个hadoop-2.6.0文件夹及其子文件夹使用scp复制到两台Slave的相同目录中:

  1. scp -r hadoop-2.6.0 jiaan.gja@Slave1:/home/jiaan.gja/install/  
  1. scp -r hadoop-2.6.0 jiaan.gja@Slave2:/home/jiaan.gja/install/  
 

运行Hadoop

运行HDFS

格式化NameNode

执行命令:

  1. hadoop namenode -format  

执行过程如下图:

Linux下Hadoop2.6.0集群环境的搭建

最后的执行结果如下图:

Linux下Hadoop2.6.0集群环境的搭建

启动NameNode

执行命令如下:

  1. hadoop-daemon.sh start namenode  

执行结果如下图:

Linux下Hadoop2.6.0集群环境的搭建

最后在Master上执行ps -ef | grep hadoop,得到如下结果:

Linux下Hadoop2.6.0集群环境的搭建

在Master上执行jps命令,得到如下结果:

Linux下Hadoop2.6.0集群环境的搭建

说明NameNode启动成功。

启动DataNode

执行命令如下:

  1. hadoop-daemons.sh start datanode  

执行结果如下:

Linux下Hadoop2.6.0集群环境的搭建

在Slave1上执行命令,如下图:

Linux下Hadoop2.6.0集群环境的搭建

在Slave2上执行命令,如下图:

Linux下Hadoop2.6.0集群环境的搭建

说明Slave1和Slave2上的DataNode运行正常。

以上启动NameNode和DataNode的方式,可以用start-dfs.sh脚本替代:

Linux下Hadoop2.6.0集群环境的搭建

运行YARN

运行Yarn也有与运行HDFS类似的方式。启动ResourceManager使用以下命令:

  1. yarn-daemon.sh start resourcemanager  

批量启动多个NodeManager使用以下命令:

  1. yarn-daemons.sh start nodemanager  

以上方式我们就不赘述了,来看看使用start-yarn.sh的简洁的启动方式:

Linux下Hadoop2.6.0集群环境的搭建

在Master上执行jps:

Linux下Hadoop2.6.0集群环境的搭建

说明ResourceManager运行正常。

在两台Slave上执行jps,也会看到NodeManager运行正常,如下图:

Linux下Hadoop2.6.0集群环境的搭建

测试Hadoop

测试HDFS

最后测试下亲手搭建的Hadoop集群是否执行正常,测试的命令如下图所示:

Linux下Hadoop2.6.0集群环境的搭建

测试YARN

可以访问YARN的管理界面,验证YARN,如下图所示:

Linux下Hadoop2.6.0集群环境的搭建

测试mapreduce

本人比较懒,不想编写mapreduce代码。幸好Hadoop安装包里提供了现成的例子,在Hadoop的share/hadoop/mapreduce目录下。运行例子:

Linux下Hadoop2.6.0集群环境的搭建

Linux下Hadoop2.6.0集群环境的搭建

配置运行Hadoop中遇见的问题

JAVA_HOME未设置?

我在启动Hadoop时发现Slave2机器一直启动不了,然后登录Slave2,在~/install/hadoop-2.6.0/logs目录下查看日志,发现了以下错误:

  1. Error: JAVA_HOME is not set and could not be found.  

如果我执行echo $JAVA_HOME或者查看.bash_profile文件,都证明正确配置了JAVA_HOME的环境变量。无奈之下,只能将Slave2机器的hadoop-env.sh硬编码为如下的配置:

  1. # The java implementation to use.  
  2. export JAVA_HOME=/home/jiaan.gja/install/jdk1.7.0_79  

然后问题就解决了。虽然解决了,但是目前不知道所以然,有好心的同仁,告诉我下。。。

Incompatible clusterIDs

由于配置Hadoop集群不是一蹴而就的,所以往往伴随着配置——>运行——>。。。——>配置——>运行的过程,所以DataNode启动不了时,往往会在查看日志后,发现以下问题:

Linux下Hadoop2.6.0集群环境的搭建

此问题是由于每次启动Hadoop集群时,会有不同的集群ID,所以需要清理启动失败节点上data目录(比如我创建的/home/jiaan.gja/hdfs/data)中的数据。

NativeCodeLoader的警告

在测试Hadoop时,细心的人可能看到截图中的警告信息:

Linux下Hadoop2.6.0集群环境的搭建

我也是查阅网络资料,得知以下解决办法:

1、下载hadoop-native-64-2.6.0.tar:
在网站http://dl.bintray.com/sequenceiq/sequenceiq-bin/可以找到下载的相应版本,由于我是2.6.0的Hadoop,所以选择下载

2、停止Hadoop,执行命令如下:

Linux下Hadoop2.6.0集群环境的搭建
下载完以后,解压到hadoop的native目录下,覆盖原有文件即可。操作如下:

  1. tar xvf hadoop-native-64-2.6.0.tar -C /home/jiaan.gja/install/hadoop-2.6.0/lib/native/  

令人失望的是,这种方式并不好使,看到最后的解决方案是需要下载Hadoop源码,重新编译,但这种方式有些重,我不打算尝试了。有没有简便的解决方案,还希望知道的同学告诉一下。

yarn.nodemanager.aux-services错误

在执行start-yarn.sh脚本启动YARN时,在Slave1和Slave2机器上执行jps命令未发现NodeManager进程,于是登录Slave机器查看日志,发现以下错误信息:

Linux下Hadoop2.6.0集群环境的搭建

参考网上的解决方式,是因为yarn.nodemanager.aux-services对应的值mapreduce.shuffle已经被替换为mapreduce_shuffle。有些参考用书上也错误的写为另一个值mapreduce-shuffle。

关键词

Hadoop集群