数据安全提高 英特尔深耕Hadoop
据了解，英特尔正在继续为Hadoop开源软件大数据处理框架构建其软件工具组合，重点是大企业需要的安全和可靠性功能。英特尔的数据平台工具套件将在下个季度提供，包括免费的自助支持的企业版以及订阅收费的版本。收费版提供主动安全补丁、定期增强和实时技术支...
Hadoop实战
提高企业数据安全 英特尔继续耕作Hadoop
据了解，英特尔正在继续为Hadoop开源软件大数据处理框架构建其软件工具组合，重点是大企业需要的安全和可靠性功能。英特尔的数据平台工具套件将在下个季度提供，包括免费的自助支持的企业版以及订阅收费的版本。收费版提供主动安全补丁、定期增强和实时技术支...
为Hadoop存储层增加对OpenStack Swift的支持
在 Hadoop 中有一个抽象文件系统的概念，它有多个不同的子类实现，由 DistributedFileSystem 类代表的 HDFS 便是其中之一。在 Hadoop 的 1.x 版本中，HDFS 存在 NameNode 单点故障，并且它是为大文件的流式数据...
大数据热门职业薪酬榜 Hadoop人才居首
随着越来越多企业开始投身于大数据技术的革新洪流，对于IT专业人士的市场需求也水涨船高。时至今日，具备收集、整理、分析以及构建不同来源数据技能的人才正迎来自己职业生涯的上升期。在当下的数字化时代，数据量的丰富程度远远超过历史上的任何时期，很多时...
Hortonworks将Hadoop 2.0带到Windows
“这是第一次基于YARN架构可以运行在Windows环境，”Hortonworks公司产品营销主管Jim Walker表示，“在Windows运行Hadoop对于所有客户都很重要。”Apache Hadoop...
ParallelX助力在GPU上运行Hadoop任务
在面对大规模计算密集型算法时，MapReduce范式的表现并不总是很理想。为了解决其瓶颈，一支小型创业团队构建了名为ParallelX的产品——它将通过利用GPU的运算能力，为Hadoop任务带来显着的提升。ParallelX的联合...
盘点Hadoop生态圈：13个让大象飞起来的开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo! Doug Cutting根据Google发布的学术论文研究而来。用户可以在不了解分布式底层细节的情况下，轻松地在Hadoop上开发和运行处理海量数据的应用...
2014的12个大数据趋势：Hadoop继续升温，R将进入主流
当下，“大数据”已成为2013年最火的技术词汇之一；而在过去一年，这个市场的增速和改变也不可谓不大。同时，我们还看到了Hadoop及其生态系统的使用门槛从顶尖技术人才到数据科学家的改变。越来越多的企业拥抱大数据技术，并将其运用到生产环境...
英特尔已为Hadoop开启CPU加密机制
芯片巨头英特尔正在加倍努力以扞卫其宝贵的数据中心领地——具体方式为开发其自有技术以推动数据管理与分析技术——例如Hadoop——的实现。为了确保至强芯片能够在数据中心管理员们的考量之下...
十八款Hadoop工具帮你驯服大数据
Hadoop已经通过自身的蓬勃发展证明，它不仅仅是一套用于将工作内容传播到计算机群组当中的小型堆栈--不，这与它的潜能相比简直微不足道。这套核心的价值已经被广泛证实，目前大量项目如雨后春笋般围绕它建立起来。有些项目负责数据管理、有些负责流程监控、还...
关于Hadoop你需要知道的几件事情
在当今的技术领域，大数据是个热门的IT流行词语。为了减轻处理大量数据时的复杂度，Apache开发了Hadoop——一个可靠的、可扩展的分布式计算框架。Hadoop特别适合大数据处理任务，并且它可以利用其分布式的文件系统，可靠并且低成本的...
YARN动摇了MapReduce对Hadoop的掌控
Hadoop被认为是运行在HDFS（分布式文件系统）上的MapReduce。通过YARN，Hadoop 2.0扩大了潜在应用的数量。Hadoop一直是各种或多或少整合了统一大数据架构的开源创新的统称。部分人认为，Hadoop的核心是一个分布式文件系统（HD...
京东Hadoop NameNode Cluster方案
2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构...
Hadoop在电信大数据业务系统中的应用
2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构...
Hadoop序列化与Writable接口(二)
上一篇文章Hadoop序列化与Writable接口（一）介绍了Hadoop序列化，Hadoop Writable接口以及如何定制自己的Writable类，在本文中我们继续Hadoop Writable类的介绍，这一次我们关注的是Writable实例序列化之后占...
Hadoop虚拟化的性能对比
Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率;灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建、扩展自己的Hadoop集群，也可以缩小当前集群、释放资源支持其他应用如果需要;通过与虚拟化架构提供的HA、FT集...
数据仓库之门向Hadoop开启
在大数据时代，Hadoop分布式处理架构为IT、数据管理以及数据分析团队带来了新生机的同时，也带来了新的挑战。随着Hadoop生态系统的不断发展壮大，企业需要对快速更新换代的技术做好充足的准备。上周，Apache软件基金会刚刚宣布了Hadoop 2.0的正...
Facebook谈大数据：光有Hadoop还不够
Facebook分析主管Ken Rudin表示，Hadoop编程框架可能是“大数据”运动的代名词，但对于公司从大规模存储的非结构化信息中得到商业洞见的需求，Hadoop不是唯一的工具。“有很多普遍的大数据信念需要被质疑，...
跨机房的hadoop集群
这是来自于阿里技术嘉年华的一个分享，因为在百度也考虑过类似的事情，所以听得比较有感悟，这里把相关内容整理一下。首先尊重版权，还是把原链接和作者贴上：http://adc.alibabatech.org/carnival/history/schedule...
Hadoop Ubuntu下的安装
这个是在自己笔记本上的实验版本，在不熟悉的情况还是先考虑在自己的电脑上安装一个试验版本，然后再考虑安装部署生产环境中的机器。首先自己的电脑上需要安装一个虚拟机VMWare WorkStation, 安装好了之后，再在此虚拟机上安装Ubutun操作系统,我这里装...
Hadoop 2终问世：大数据向前迈出一大步
Apache软件基金会终于推出了最新的Hadoop 2数据分析平台。Hadoop 2通过支持YARN数据处理和服务引擎，增强了它的计算引擎，同时为Hadoop File System (HDFS)添加高可用特性。尽管一些Hadoop发行版中已经对HDFS进...
API优先架构或者胖瘦服务器之争
自2007年Apple发布了iPhone，网络应用及网站在小屏幕上的呈现机会显著的增高，从而各大网站及机构不得不对其应用进行适当的改变。然而考虑到数据体积、应用程序扩展性、新特性的发布及维护等问题，应用程序的架构也不得不按需进行改变，比如Twitter的面向服...
利用hadoop mapreduce 做数据排序
我们的需求是想统计一个文件中用IK分词后每个词出现的次数，然后按照出现的次数降序排列。也就是高频词统计。由于hadoop在reduce之后就不能对结果做什么了，所以只能分为两个job完成，第一个job统计次数，第二个job对第一个job的结果排序。 第一个...
Hadoop和Web 2.0可能让磁带“东山再起”
在电子计算机出现的时候，磁带就出现了，现在，磁带仍然用于很多类型的长期存储中，但它在基于web的应用中并没有发挥太多作用。当消费者到社交网站查看旧照片时，这些照片很有可能存储在低成本的磁盘上，不过，Facebook现在正在试图将这种类型的数据进行闪存...
Hadoop mr数据流
/*符注:()内为数据;[]内为处理;{}内为框架模块;()数据若无说明则为在内存;->本机数据流;=>网络数据流;~>分布式-本地读写数据流;/**/为标注;*/(分布式源文件)~>{JobTracker分配到各TaskTracker本机上}=>------...