Hadoop NameNode 在内存中保存所有文件的“元信息”数据。据统计，每一个文件需要消耗 NameNode600 字节内存。如果需要保存大量的小文件会对NameNode 造成极大的压力。
hive 是Hadoop中最常用的工具，可以说是必装工具，按apache官方文档，推荐使用svn下载后编译，推荐使用tar.gz包，直接安装，很简单搞定hadoop hive的安装。
想知道Hadoop在Aix下的安装是否会有什么不同，于是心血来潮的安装了一遍，过程记录如下：1.在Aix上安装解压缩软件，安装Java等，这里就不说了。2.下载Hadoop0.21.0版本，并解压至特定目录下，这里解压到 /home/cqq/hadoop-0.21.0。
Hypertable on HDFS(hadoop) 安装,安装指南过程4.2.Hypertable on HDFS创建工作目录$ hadoop fs -mkdir /hypertable$ hadoop fs -chmod 777 。
hadoop集群规划1.1 共有A、B、C 三台机器;1.2 A 作为master,B作为slave1,C作为slave2;1.3 IP A :192.168.1.103;B:192.168.1.104;C:192.168.1.101;1.创建 hadoop用户，并使该用户拥有root权限（在master机器上进行）
codec其实就是coder和decoder两个单词的词头组成的缩略词。使用CompressionCodes解压缩 CompressionCodec有两个方法可以方便的压缩和解压。 压缩：通过createOutputStream(OutputStream out)方法获得CompressionOutputStream对象
Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力（Gartner）。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Microsoft、Intel、Teradata、Cisco都明显增加了Hadoop方面的投入。
大约十年前，业界开始采用 Reed Solomon code对数据分发两份或三份，替代传统的RAID5或RAID6。由于采用了廉价的磁盘替代昂贵的存储阵列，所以这种方法非常经济。Reed Solomon code和XOR都是Erasure Code的分支。其中，XOR只允许丢失一块数据，而Reed Solomon code可以容
解决方法could only be replicated to 0 nodes, instead of 1，1、停止hadoop脚本：bin/stop-all.sh(在进行2、3步前，注意数据的备份)2、删除主节点和从节点上的hadoop根目录下的临时文件夹，比如$HADOOP_HOME/hadooptmp。
HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，坦白说HDFS是一个不错的分布式文件系统，它有很多的优点，但也存在有一些缺点，包括：不适合低延迟数据访问、无法高效海量存储等。
我们想了个办法：把海量数据分成小块，让一台机器处理一小块数据，所有的机器同时工作。最后把结 果汇总起来。这就是“并行计算”。hadoop中的MapReduce就是专门用来做分布式计算的并行处理框架。hadoop就是用来解决大数据的存储和计算的。
hadoop 在win系统中的eclipse开发测试问题及解决汇集，分享 hadoop 在win系统中的eclipse开发中遇到的各种错误代码及相关解决方法和命令行。
首先来看Hadoop集群中的主节点。因为主节点需要更高的可靠性，一般会配置上vSphere的高可用性（High Availability）和容错（Fault Tolerance）特性，所以共享存储是必须的。下面是json格式的配置文件的片段，显示如何指定主节点组的存储。
在Pivotal HD Enterprise中，Pivotal GemFire XD内存数据服务与Pivotal HAWQ搜索引擎整合，为Hadoop增加了SQL表达能力，利用Hadoop作为公共存储基础，为建立整合OLTP和OLAP的闭环分析解决方案提供了业界首款生产质量的平台。
新的Hadoop不仅能够进一步刺激为Hadoop编写应用程序，同时也将在Hadoop内创造全新的数据处理方法，这在此前的架构限制下是根本不可能实现的。总之，这是好东西。Cloudera和Hortonworks都是Hadoop 2的坚实支持者，他们并没有转向其他技术或者坚持上一代技术，从这一点来
有越来越多的人和商业实体已经决定尝试一下，对存储在Hadoop中的数据实现低延迟、ad-hoc SQL访问。无论怎样，从长远来看由于重叠的用例和环境喜好的不同有适合多种SQL in Hadoop解决方案生存的空间。
Revolution Analytics希望将R加入到Hadoop和Teradata数据库可以拓宽该语言的使用范围。该公司还设计了一个新的工作流程界面，其中不需要知道如何部署特定的R算法。这缓解了使用Java或者其他语言编程R的麻烦，让其在Hadoop平台运行。
1)下载Eclipsehttp://www.eclipse.org/downloads/Eclipse Standard 4.3.2 64位2) 下载hadoop版本对应的eclipse插件我的hadoop是1.0.4，因此下载hadoop-e
