Hortonworks发布了下一代Apache Hadoop的预览发布版

Hortonworks日前发布了下一代Apache Hadoop的预览发布版。Apache Hadoop承诺会扩大能够在数据处理平台上实施分析的种类范围。

新的Apache YARN调度程序通过提供一个更通用的资源管理框架取代了MapReduce

Hortonworks创始人、开发Hadoop的核心工程师之一Arun Murthy称：“Hadoop 2.0是一个基本的架构改变，使Hadoop的重要性超过了仅仅作为一个批处理平台。这个更新的软件将推动全新的一轮技术创新。

Hortonworks Data Platform 2.0 Community Preview(社区预览版)包含许多用于Hadoop环境的新组件，最主要的是YARN(Yet Another Resource Negotiator,另一种资源协调者)。这是Hadoop的MapReduce工作调度程序的后续产品。

Murthy称，Hadoop开始是作为一个“单个应用平台”制作的，主要是根据提取和索引网站内容制作的。机构现在正寻求把它用于其它工作，如互动查询和实时传输数据的分析。

YARN通过扩大能够在Hadoop平台上做的工作种类改进了MapReduce。MapReduce只能管理批量处理工作，在任何数量节点上执行数据分析，并且当完成之后返回结果。

相比之下，YARN是一种通用的资源管理框架。YARN提供一种运行非批处理工作的基础，如无限期地运行实时数据流以及包含互动查询的工作。用户可以在互动查询中在移动中查询数据。Murthy表示，用户现在可以批量处理MapReduce的工作和在执行TARN工作时进行互动的SQL查询。

Hortonworks负责公司战略的副总裁Shaun Connolly称，使用YARN，你有一个熟悉所有不同类型的工作量和工作需求的集群。因此，它们可以共存。你不要让一个工作占支配地位或者接管这个集群的所有资源。以前，机构必须运行不同的集群以执行不同风格的任务。

HDP 2.0还包括许多新组件，包括一个加快大型和互动工作的YARN插件Apache Tez和提供在一个Hadoop库中运行SQL查询能力的技术集。

HDP 2.0的这个预览版是一个完整的Hadoop发布版，可以在甲骨文VirtualBox或者VMware虚拟环境中运行。

Hortonworks本星期在加州圣何塞举行的2013年Hadoop峰会上发布了HDP 2.0。Rackspace在这个会议上宣布它将提供Hadoop服务，其分析工具由Pentaho提供。Splunk发布一个名为Hunk工具，可查询Hadoop库。数据仓库系统提供商Teradata发布了新的Hadoo应用。VMware升级了vSphere虚拟化管理软件以支持hadoop集群。