华为全闪存阵列 IBM云计算 Acronis 安克诺斯 安腾普 腾保数据
首页 > 大数据 > 正文

Hadoop部署在RedHat Linux 5上常见错误及解决方案

2013-10-17 00:00来源:中国存储网
导读:遇到的问题:1、在hadoop conf下执行命令: hadoop-daemon.sh start datanode,无法启动hadoop datanode:[hadoop@master conf]$ hadoop-daemon.sh start da
遇到的问题:
  1、在hadoop conf下执行命令: hadoop-daemon.sh start datanode,无法启动hadoop datanode:
  [hadoop@master conf]$ hadoop-daemon.sh start datanode
  Warning: $HADOOP_HOME is deprecated.
  starting datanode, logging to /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.out
  [hadoop@master conf]$ jps
  4662 NameNode
  4819 Jps
  [hadoop@master conf]$ tail -300f /opt/modules/hadoop/hadoop-1.1.2/libexec/../logs/hadoop-hadoop-datanode-master.log
  报错:
  Incompatible namespaceIDs in /data/hadoop/hdfs/data: namenode namespaceID = 573007068; datanode namespaceID = 1802250800
  解决方法:用网上介绍的第一种:删除data目录(即是在hdfs-site.xml文件中配置的dfs.data.dir目录)然后重启datanode。
  [hadoop@master conf]$ rm -rf /data/hadoop/hdfs/data
  [hadoop@master conf]$ ll /data/hadoop/hdfs/
  total 8
  drwxrwxr-x 5 hadoop hadoop 4096 Jul 6 08:17 name
  drwxrwxr-x 2 hadoop hadoop 4096 Jul 2 06:59 namesecondary
  [hadoop@master conf]$ hadoop-daemon.sh start datanode
  2、启动Jobtracker时报错:
  2013-07-06 10:03:09,584 INFO org.apache.hadoop.mapred.JobTracker: problem cleaning system directory: hdfs://master:9000/data/hadoop/mapred/mrsystem
  org.apache.hadoop.ipc.RemoteException: java.io.FileNotFoundException: Parent path is not a directory: /data
  原因是:有个/data文件(注意不是文件夹,跟参数刚好不相匹配),也可以通过网页中看:
  NameNode 'master:9000'
  Started: Sat Jul 06 09:54:05 PDT 2013
  Version: 1.1.2, r1440782
  Compiled: Thu Jan 31 02:03:24 UTC 2013 by hortonfo
  Upgrades: There are no upgrades in progress.
  Browse the filesystem
  Namenode Logs
  解决方法:删除掉改文件:hadoop fs -rmr /data 即ok
  3、在hadoop中编译eclipse导出的jar包时报错:
  [hadoop@master hadoop-1.1.2]$ hadoop jar hdfs1.jar com.hadoop.hdfs.HDFSMkdir
  Warning: $HADOOP_HOME is deprecated.
  Exception in thread "main" java.lang.UnsupportedClassVersionError: com/hadoop/hdfs/HDFSMkdir : Unsupported major.minor version 51.0
  原因:eclipse中所用java版本与hadoop所用java版本不一致。
  解决方法:更改eclipse中的java版本重新导出jar包。
继续阅读
关键词 :
Hadoop教程
相关阅读
  • 深入Nutch index源代码解析(一)

    Nutch集成slor的索引方法介绍? ?* 建立索引? ?* @param solrUrl solr的web地址? ?* @param crawlDb 爬取DB的存放路径:\crawl\crawldb

  • Pivotal和EMC谈下一代数据湖技术:Tachyon + Spark将极为重要

    《数据湖(Data Lake)的未来架构:基于Tachyon和Apache Spark的In-memory数据交换平台》的文章,表达Pivotal与EMC对下一代数据湖技术的展望。

  • TPC大数据基准测试终于面世

    TPC是一家非营利机构,建立初衷是为了定义事务处理与数据库基准测试方案,同时为整个行业提供可供核查的客观TPC性能数据。目前该机构拥有22家成员*。这套基准测试方案由各

  • 腾讯TDW项目:开源的分布式数据仓库

    本期,我们采访的是腾讯TDW开源项目负责人、腾讯高级工程师赵伟。赵伟,腾讯数据平台部高级工程师,腾讯大数据平台分布式数据仓库(TDW)的技术负责人,开源软件爱好者,是

产品推荐
头条阅读
栏目热点

Copyright @ 2006-2018 ChinaStor.COM 版权所有 京ICP备14047533号

中国存储网

存储第一站,存储门户,存储在线交流平台