熟悉Jobtracker的都知道，在进行Job初始化时EagerTaskInitializationListener会锁住 JobInProgress然后进行InitTask,细节请各位查看代码，这里有一步就是需要向hdfs写入初始数据并flush，而 Fairscheduler的Update Thread在更新资源池的资源时是在持有JobTracker和Fairscheduler的独占锁然后再去计算每个资源池的资源情况，而计算 running_map/running_reduce的时候要去获取相应的JobInProgress锁，各位读者可能不明白，我为啥要讲这块呢，问题就出现在这里.
Hive在处理动态分区的时候，主要经历这么几个步骤tablescan->filesink->movetask
在进行filesink的时候是根据记录来处理的，会起N(part)个record writer然后开始处理动态分区字段，即这里的dt，如果dt是连续的那么打开一个block开始写，否则关闭当前block，打开新dir的 block继续写，这里如果dt是不连续的出现并且记录数量巨大的情况下会产生大量的文件，导致hdfs的负载标高，和当时的hdfs的监控是匹配的：
当时的集群负载：
当时产生的文件数：
进而导致JobInProgress被锁住，从而JobTracker被锁住，导致JobTracker Hang住了!
那怎么解决呢?利用distributeby dt把相同的dt排列到一起再进行filesink就不会造成大量的小文件产生了。
Ubuntu 12.04单机版环境中搭建hadoop详细教程，在Ubuntu下创建hadoop用户组和用，创建hadoop用户。
近期学习HIVE，通过动手操作，收获不小，现将遇到的6个问题及解决方法分享给大家，希望对大家学习HIVE有帮助。
Hive是基于Hadoop的一个数据仓库工具，本质是将SQL转换为MapReduce程序，操作接口采用类SQL语法，提供快速开发的能力，Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。
在mac os上安装hadoop的文章不多，本文安装环境的操作系统是 MAC OS X 10.7 Lion，共分7步，注意第三个配置在OS X上最好进行配置，否则会报错“Unable to load realm info from SCDynamicStore”。
Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，Apache HBase是运行于HDFS顶层的NoSQL(=Not Only SQL，泛指非关系型的数据库)数据库系统。区别于Hive，HBase具备随即读写功能，是一种面向列的数据库。
【聚焦搜索，数智采购】2021第一届百度爱采购数智大会即将于5月28日在上海盛大开启！
本次大会上，紫晶存储董事、总经理钟国裕作为公司代表，与中国—东盟信息港签署合作协议
XEUS统一存储已成功承载宣武医院PACS系统近5年的历史数据迁移，为支持各业务科室蓬勃扩张的数据增量和访问、调用乃至分析需求奠定了坚实基础。
大兆科技全方面展示大兆科技在医疗信息化建设中数据存储系统方面取得的成就。
双方相信，通过本次合作，能够使双方进一步提升技术实力、提升产品品质及服务质量，为客户创造更大价值。
