企业空间 采购商城 存储论坛
首页 > 大数据 > 正文

Hadoop选择:可供参考的几大因素

2014-03-18 00:00:00来源:中存储
导读: 《企业网D1Net》3月18日讯Apache Hadoop的发展已经经历了很长一段时间,也经历也一段从初生到成熟之旅,在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处

Hadoop

《企业网D1Net》3月18日讯

Apache Hadoop的发展已经经历了很长一段时间,也经历也一段从初生到成熟之旅,在Apache Hadoop的起步阶段,主要支持类似搜索引擎的功能。如今,Hadoop已经被数十个行业采用,它们依靠大数据计算来提升业务处理性能。政府、制造业、医疗保健、零售业和其他部门越来越多的从经济发展和Hadoop计算能力中受益,然而受到传统企业解决方案限制的公司将会发现竞争变得越来越残酷。

选择一个合适的Hadoop发行版和在业务中应用Hadoop一样有必要。最终,你会发现选择哪种Hadoop发行版取决于主机的规格,尽管性能和扩展性才是你应该仔细检查的两个主要特性。让我们了解一下一些具体的Hadoop性能和扩展性要求,以及对几个关键架构的要求。

性能

企业需要摆脱传统的数据库解决方案来管理数据,主要原因是为了增加原始性能并获得可扩展性。这可能会让你感到惊讶,因为并不是所有创建出的Hadoop分布系统都一样。

在我的另一篇文章中曾讲到,增加250毫秒的延迟可能会毁掉整个线上销售的旺季,我们可以了解一下为什么性能的低下(高延迟)会让人难以忍受。网站性能的迟缓会使线上的销售转化率下降7%,这对于流量很大的线上零售商来说意味着数百万美元的损失。

正如你在下图看到的那样,将MapR M7版本与另一个Hadoop发行版对比,在延迟上的差别意味着性能的不同,而不同发行版之间性能差距也是惊人的。

当你考虑Hadoop的实时应用时,比如金融安全系统的实时应用,那样对高性能增加的要求甚至更高。

要特别感谢像Hadoop这样的技术,它使金融罪犯窃取数字资产变得越来越难,金融服务公司比如Zions银行现在已经能够在银行客户感觉到任何实质性影响之前阻止财务欺诈。对于分析和实时数据响应来说,高性能和可靠性很有必要,这可以阻止破坏性欺诈活动。

扩展性

Hadoop的另一个主要优点是可扩展性。不用通过单一的企业服务器限制数据吞吐量,Hadoop可以跨计算机集群完成对大型数据集的分布式处理,从而在商品化硬件多个部分之间采用逐个击破的办法消除数据上限。

这种体系结构只是数据可扩展性提升的起点,还远没有结束。关于可扩展性,Hadoop平台内还有三个方面需要进一步考虑:

文件瓶颈

Hadoop默认的体系结构利用单一NameNode作为剩余数据节点的主节点。因为单个NameNode,所有数据被迫进入到一个瓶颈期,这就将Hadoop集群限制在只能有5000万到2亿个文件。

单个NameNode的执行情况也需要使用商业级NAS,而不是预算友好型的商品化硬件。

对于单一NameNode体系结构有一种更好的选择——使用分布式元数据结构。下面提供两种体系结构的可视化比较:

正如你所看到的那样,分布式元数据架构使用的完全是商品化硬件,不仅节省了成本,它还使性能提升了10-20倍,摆脱了文件瓶颈,使文件数上限达到了10亿,比单个NameNode的体系结构在容量上提升了5000倍,这确实是很大的成功。

节点扩展

Hadoop的一些较小用户对数据存储和处理并没有太高要求,因此能够在更少的节点上运行,而有些Hadoop实现则可以达到了数千节点的规模。

这也是Hadoop可扩展性非常出色的地方。从一个入门级大数据实现扩展到具有数千个节点的集群很容易,按照需求增加商品化硬件可以使成本最小化,这涉及到数据处理成本以及需求增加所需投入的成本。

节点容量

除了节点的数量,考虑到物理存储限制,Hadoop用户还应该检查每个处理和存储容量。你可以使用具有更高磁盘密度的节点减少总体节点数量,同时还能保证数据存储的要求。

 架构基础

Hadoop的性能和可扩展性可以被进一步提升,前提是你要有多架构基础分布式系统的思想。

 减少软件层

软件层太多,会导致导航成本的增加,使Hadoop系统的性能很难得到提升。

 使所有应用程序在同一个平台上运行

一些Hadoop发行版可能会要求你创建多个实例,一个优化执行将使同一个环境中所有的工作负载被同时处理,这就减少了重复数据的产生,因此提高了可扩展性和性能。

 利用公共云平台获取更好的弹性和可扩展性

一个好的发行版使你可以在自己的防火墙内灵活地使用Hadoop以及可靠的云环境,比如亚马逊网络服务和谷歌计算引擎。

最后,选择正确的Hadoop发行版应符合业务需求,不仅仅考虑当前的需求还应考虑未来的需求。分析每个发行版的性能和可扩展性,同时考虑架构基础,这也是在组织内成功实施和评估Hadoop的基础。

D1Net评论:

 选择正确的Hadoop应结合自身实际,参考以上几种因素,进行客观分析,做出慎重选择,对于用户而言,选择合适的Hadoop是非常关键的,如果在选择环节出现问题,那么在应用过程中就出现很多隐患。

继续阅读
关键词 :
Hadoop教程
中存储网声明:此文观点不代表本站立场,如有版权疑问请联系我们。

这篇文章对您有帮助吗?

已有 人觉得有帮助

相关阅读
  • 更快、更强——解析Hadoop新一代MapReduce框架Yarn

    对于业界的大数据存储及分布式处理系统来说,Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架,对于 Hadoop 框架的介绍在此不再累述,随着需求的发展,Yarn 框架浮出水面, @依然光荣复兴的 博客给我们做了很详细的介绍,读者通过本文中新旧 Had

  • 15核芯片+数据平台,Intel软硬兼备的Hadoop战略

    近日,新型Xeon处理器的推出又一次引起了大家对英特尔的关注。英特尔进军大数据市场已不是新闻,去年英特尔就已经着手改进软硬件,满足“大数据”处理的需求,近期英特尔又在中国市场注入大笔资金,还构建了瞄准通信、金融、物联网等众多行业的数据

  • 大数据时代如何保证hadoop安全

    据统计,未来几年,智慧城市、智能交通、智慧医疗 以及物联网所产生的数据也会铺天盖地而来。这么多的数据中蕴含着非常多的有价值信息,但是我们如何将这些信息提取出来呢?现在通常的方法是利用Hadoop来做,但是,Hadoop其实也不是那么安全。在昨天趋势科技召

  • Hadoop连载系列之六:数据收集分析系统Chukwa

    系列几篇文章中介绍了分布式存储和计算系统Hadoop以及Hadoop集群的搭建、Zookeeper集群搭建、HBase分布式部署等。当Hadoop集群的数量达到1000+时,集群自身的信息将会大量增加。Apache开发出一个开源的数据收集和分析系统&mdash

  • 必读!大数据:Hadoop,业务分析及更多(2)

    大数据处理和分析的新方法存在多种方法处理和分析大数据,但多数都有一些共同的特点。即他们利用硬件的优势,使用扩展的、并行的处理技术,采用非关系型数据存储处理非结构化和半结构化数据,并对大数据运用高级分析和数据可视化技术,向终端用户传达见解。Wi

  • Hadoop是数据仓库的终结者吗?

    在过去三年,Hadoop生态系统已经大范围扩展,很多主要IT供应商都推出了Hadoop连接器,以增强Hadoop的顶层架构或是供应商自己使用的Hadoop发行版。鉴于Hadoop的部署率呈指数级的增长,以及其生态系统不断地深入而广泛地发展,我们很想知道Hado

  • 大数据处理的开发经验

    大数据已经不是什么新话题了,在实际的开发和架构过程中,如何为大数据处理做优化和调整,是一个重要的话题,最近,咨询师Fabiane Nardon和Fernando Babadopulos在“Java Magzine”电子期刊中发文分享了自

  • 第七届中国大数据技术大会将于12月在北京召开

    从科学研究到技术分析再到产业变革,一个大规模生产、采集、存储、计算、分析,并提供新商业价值的大数据时代已然开启!由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的国内最具影响、规模最大的大数据领域盛会—&

  • 大数据“流言”:解析Hadoop和大数据的七误解

    对于Hadoop技术而言,可以说是开源领域的传奇,然而如今业界还伴随着一些流言,这些流言可能会导致IT高管们带着“有色”的观点去制定策略。如今,数据量在以惊人的速度增长,从IDC分析师报告中2013年数据存储上的增长速度将达到53.

  • 大数据处理工具Hadoop是否有些名不副实?

    近来多次和百度、阿里、腾讯、中移动数据中心的架构师进行交流,同时也在网上的论坛/社区主导大数据分析范例的一些讨论,与互联网/云开发人员进行沟通。由此,我愉快地发现,大数据分析在中国非常普遍:不光是星巴克、纸牌屋等美国文化元素在中国广受追捧;Had

  • 世界备份日,紫晶存储为数据备份赋能

    紫晶存储创新的灾备数据中心商业模式,以企业为主体进行数据中心建设,并围绕数据中心构建信息产业园区。

  • 第三代半导体材料迎来发展好契机,国产半导体崛起机会

    在经历了第一第二代半导体材料的更迭之后,迎来了第三代半导体材料(以GaN、SiC为代表)的发展契机。

  • 内存厂芝奇推出焰光戟DDR4-3600 CL16 256GB(32GBx8)高速大容量套装

    2月10日,世界知名超频内存及高端电竞外围领导品牌,芝奇国际为新一代AMD TRX40高端平台及3990X CPU推出由单支32GB模组所组成的焰光戟高速大容量套装,重装规格高达DDR4-3600 CL16-20-20 256GB (32G...

产品推荐
头条阅读
栏目热点

Copyright @ 2006-2021 ChinaStor.COM 版权所有 京ICP备14047533号

中存储网

存储第一站,存储门户,存储在线交流平台