大数据

更快、更强——解析Hadoop新一代MapReduce框架Yarn

更快、更强——解析Hadoop新一代MapReduce框架Yarn

对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,随着需求的发展,Yarn 框架浮出水面, @依然光荣复兴的 博客给我们做了很详细的介绍,读者通过本文中新旧 Had...

Hadoop教程 MapReduce
Hadoop虽然强大 但并不是万能的

Hadoop虽然强大 但并不是万能的

随着 Hadoop 应用的不断拓展,使很多人陷入了对它的盲目崇拜中,认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架,但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop:1、低延迟的数据访问Hadoop并不...

Hadoop部署
Hortonworks将Hadoop 2.0带到Windows

Hortonworks将Hadoop 2.0带到Windows

“这是第一次基于YARN架构可以运行在Windows环境,”Hortonworks公司产品营销主管Jim Walker表示,“在Windows运行Hadoop对于所有客户都很重要。”Apache Hadoop...

Hadoop实战
ParallelX助力在GPU上运行Hadoop任务

ParallelX助力在GPU上运行Hadoop任务

在面对大规模计算密集型算法时,MapReduce范式的表现并不总是很理想。为了解决其瓶颈,一支小型创业团队构建了名为ParallelX的产品——它将通过利用GPU的运算能力,为Hadoop任务带来显着的提升。ParallelX的联合...

Hadoop实战
Hadoop是数据仓库的终结者吗?

Hadoop是数据仓库的终结者吗?

在过去三年,Hadoop生态系统已经大范围扩展,很多主要IT供应商都推出了Hadoop连接器,以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长,以及其生态系统不断地深入而广泛地发展,我们很想知道Hado...

Hadoop教程
Apace Twill:Hadoop俱乐部最新成员

Apace Twill:Hadoop俱乐部最新成员

Twill,原名为Weave,现在已经成为Apache Incubator项目的新成员之一,其设计目的在于简化应用程序在YARN/Hadoop中的运行。Hadoop如今已经成为一项引人注目的技术方案,这一点几乎已经没有疑问。该项目的成功随着其2.0版本的发...

Hadoop
洞悉大数据:Hadoop和云分析七大误解

洞悉大数据:Hadoop和云分析七大误解

七大误解:大数据与hadoop对于Hadoop技术而言,可以说是开源领域的传奇,然而如今业界还伴随着一些流言,这些流言可能会导致IT高管们带着“有色”的观点去制定策略。从IDC分析师报告中2013年数据存储上的增长速度将达到53...

Hadoop部署
盘点Hadoop生态圈:13个让大象飞起来的开源工具

盘点Hadoop生态圈:13个让大象飞起来的开源工具

Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构,最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下,轻松地在Hadoop上开发和运行处理海量数据的应用...

Hadoop实战
英特尔已为Hadoop开启CPU加密机制

英特尔已为Hadoop开启CPU加密机制

芯片巨头英特尔正在加倍努力以扞卫其宝贵的数据中心领地——具体方式为开发其自有技术以推动数据管理与分析技术——例如Hadoop——的实现。为了确保至强芯片能够在数据中心管理员们的考量之下...

Hadoop实战
Facebook数据专家:处理大数据,仅有Hadoop不够

Facebook数据专家:处理大数据,仅有Hadoop不够

有很多很普及的大数据的观念需要被质疑,首先一点就是人们普遍认为你可以简单地利用Hadoop,并且Hadoop易于使用。问题是,Hadoop是一项技术,而大数据和技术无关。大数据是和业务需求有关的。事实上,大数据应该包括Hadoop和关系型数据库以及任何其它适合...

Hadoop部署
使用Hadoop-RDMA加速大数据处理

使用Hadoop-RDMA加速大数据处理

中国最具影响、规模最大的大数据领域盛会—— 2013中国大数据技术大会(Big Data Technology Conference,BDTC)于2013年12月5-6日在北京举行。数十家领军企业,近七十场主题演讲,不仅覆盖Hadoop...

Hadoop部署
经验之谈之Hadoop的优势及应用

经验之谈之Hadoop的优势及应用

在当今的技术领域,大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度,Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop特别适合大数据处理任务,并且它可以利用其分布式的文件系统,可靠并且低成本的...

Hadoop
京东Hadoop NameNode Cluster方案

京东Hadoop NameNode Cluster方案

2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构...

Hadoop实战
Hadoop在电信大数据业务系统中的应用

Hadoop在电信大数据业务系统中的应用

2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构...

Hadoop序列化与Writable接口(二)

Hadoop序列化与Writable接口(二)

上一篇文章Hadoop序列化与Writable接口(一)介绍了Hadoop序列化,Hadoop Writable接口以及如何定制自己的Writable类,在本文中我们继续Hadoop Writable类的介绍,这一次我们关注的是Writable实例序列化之后占...

Hadoop实战