03月17日 北京消息:IDC近期发布的《中国Hadoop MapReduce生态系统分析》报告指出,在中国,Hadoop 应用正在从互联网企业,逐渐拓展到电信,金融,政府,医疗这些传统行业。虽然目前Hadoop应用场景还是以日志存储、查询和非结构化数据处理为主,但是Hadoop技术的不断成熟以及生态系统相关产品的完善,包括Hadoop对SQL不断加强的支持,以及主流商业软件厂商对Hadoop支持的不断增强,会带动Hadoop 渗透到越来越多的应用场景中。
2013年是中国大数据的应用落地年,越来越多的行业用户开始重视并启动大数据相关的项目。而在大数据领域的众多技术中,最受关注的是衍生于开源平台的Hadoop/Mapreduce生态系统。Hadoop 从2006 年诞生至今已经超过7 年时间。2013 年,整个生态系统变得比以往更加丰富,无论是在开源领域,商业软件厂商或是硬件厂商,都开始推出基于Hadoop 的相关产品。Hadoop之所以受到如此的关注,主要原因在于它支持用户在低价的通用硬件平台上实现对大数据集的处理和分析,在某种程度上替代了传统数据处理所需的昂贵的硬件设备和商业软件。
IDC中国负责大数据及商业智能软件市场研究的高级研究经理潘永花说:“总体来看,中国行业用户对大数据及Hadoop 的应用依然处在初级阶段,Hadoop 技术相关专业人员比较匮乏,Hadoop生态系统还亟待完善,这些都影响了该市场的发展。Hadoop/MapReduce 生态系统的基础是开源软件,目前Hadoop 发行版依然是最稳定的主流商业模式,但现在很多软硬件厂商也在通过往自己的产品中加入Hadoop 元素或者通过Hadoop一体机实现Hadoop商业化过程,提升Hadoop相关产品的易用性。我们建议用户需要依靠目前拥有的Hadoop相关人才以及总体IT战略来决定选择开源还是商业化产品。”
“需要强调的是,目前有不少人认为Hadoop是大数据的代名词,但是我们提示用户不要认为大数据就是Hadoop,用户要慎重选择Hadoop/MapReduce 生态系统相关产品,目前它所适用的应用场景非常有限。Hadoop/MapReduce 生态系统中各个层面的产品功能、易用性和完整性仍有待提升,应用解决方案以及相关业务和工具软件仍然有比较大的发展空间。以关系型数据库为基础的列存储,内存计算等技术的发展也在增强关系数据库的处理能力,且依然会在大数据市场上扮演重要角色。未来的大数据世界将会是多种技术和平台共存的世界,并没有哪一种技术能够完全解决大数据面临的所有问题,”潘永花补充道。
数据不仅代表着生产力,还将成为重要的资产,或许在将来,我们留给下一代的资产,不是银行里有多少存款,而是信息资产;也许10年、15年之后,会有国家的数据银行,相对今天的财富资产,里面保存的是我们的信息资产。
虽然Hadoop是眼下热闹非凡的大数据领域最热话题,但它肯定不是可以解决数据中心和数据管理方面所有难题的灵丹妙药。考虑到这一点,我们暂且不想猜测这个平台未来会如何,也不想猜测各种数据密集型解决方案的开源技术未来会如何,而是关注让Hadoop越来越火的实
Hadoop发展历程是怎样的呢?Hadoop原本来自于谷歌一款名为MapReduce的编程模型包。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨大量的计算节点运行非常巨大的数据集。使用该框架的一个典型例子就是在网络数据上运行的搜索
Hadoop太复杂了,国内基本上没有什么人可以搞定。作为一种开源平台,获取Hadoop很容易,但驾驭Hadoop就比较难了,特别对于传统行业/企业而言。
开源Apache Hadoop项目一直是个热门,这对于具备Hadoop及相关技能的IT求职者来说是个好消息。Matt Andrieux是旧金山Riviera Partners公司技术招聘部门负责人,他告诉我们对Hadoop及相关技能的需求在过去几年中呈直线
Google Compute Engine 的虚拟机提供了一种快速、可靠的方式来运行 Apache Hadoop。如今,Google 正在努力通过Google Cloud Storage Hadoop预览版更简单的在 Google Cloud Platform
大数据已经不是什么新话题了,在实际的开发和架构过程中,如何为大数据处理做优化和调整,是一个重要的话题,最近,咨询师Fabiane Nardon和Fernando Babadopulos在“Java Magzine”电子期刊中发文分享了自
生活中,可能所有人都间接用过他的作品,他是Lucene、Nutch 、Hadoop等项目的发起人。是他,把高深莫测的搜索技术形成产品,贡献给普罗大众;还是他,打造了目前在云计算和大数据领域里如日中天的Hadoop。他是某种意义上的盗火者,他就是Doug Cut
在2014年4月7日,Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0,这个版本有了一定的改进,突出的变化可以总结为下列几点(官方文档说明):1 支持HDFS访问控制列表(ACL,Access Control Lists)这
当今时代,数据不再昂贵,但从海量数据中获取价值变得昂贵,而要及时获取价值则更加昂贵,这正是大数据实时计算越来越流行的原因。以百分点公司为例,在高峰期每秒钟会有近万HTTP请求发送到百分点服务器上,这些请求包含了用户行为和个性化推荐请求。如何从这
中科驭数本轮融资将主要用于第二代DPU芯片K2的流片以及后续的研发迭代。
希捷开源对象存储软件、基于开源软件的参考架构以及相应的开发者社区,旨在应对非结构化企业级数据的激增。
存储器控制芯片设计大厂群联14日宣布,将出售与美商金士顿科技公司合资的金士顿电子公司(KSI)股份予金士顿。此交易将使金士顿成为KSI的主要股东,群联获得处分金额约新台币17.82亿元,处分收益约新台币9.5亿元,并将于第3季入帐。未来,群...