大数据
算法为王：且看Mac Mini如何超越1636节点的Hadoop
小小的Mac Mini计算性能可以超过由1636个节点组成的Hadoop集群，即使是在某些用例下听起来也更像天方夜谭，然而近日GraphChi却声称做到了这一点。长话短说，在看这个壮举之前，我们有必要先了解一下GraphLab的GraphChi。Graph...
Hadoop虚拟化的调优经验
Hadoop虚拟化的调优经验(1)计划初始规模：集群表现于跟数据中心基础设施和配置密切相关，建议用户在一开始对环境表现难以预测的时候，先建立小规模集群，比如5台或者6台服务器，部署Hadoop，然后运行标准Hadoop基准了解自己数据中心的特点。然后根据需...
Hadoop虚拟化的性能对比
Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率;灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建、扩展自己的Hadoop集群，也可以缩小当前集群、释放资源支持其他应用如果需要;通过与虚拟化架构提供的HA、FT集...
Facebook谈大数据：光有Hadoop还不够
Facebook分析主管Ken Rudin表示，Hadoop编程框架可能是“大数据”运动的代名词，但对于公司从大规模存储的非结构化信息中得到商业洞见的需求，Hadoop不是唯一的工具。“有很多普遍的大数据信念需要被质疑，...
Hadoop 从小象到巨人的崛起
随着互联网、移动互联网、物联网、云计算的快速发展，各行各业爆炸性增长的海量数据将再一次颠覆云时代，信息量暴增的大数据时代吹响了号角。用户如何从这庞大的数据库中提取对自己有用的信息呢?这就需要大数据分析技术和工具，而传统的商业智能(BI)工具已经...
从源代码编译Hadoop
步骤其实很简单，但是文档并不是很详细，导致整个过程不断摸索，整理一下分享给大家。1、下载网址：http://git.apache.org/2、必要软件Maven这个需要注意，不要下载最新3.1.1，而是下载3.0.5，因为3.1.1存在一个bu...
Hadoop Ubuntu下的安装
这个是在自己笔记本上的实验版本，在不熟悉的情况还是先考虑在自己的电脑上安装一个试验版本，然后再考虑安装部署生产环境中的机器。首先自己的电脑上需要安装一个虚拟机VMWare WorkStation, 安装好了之后，再在此虚拟机上安装Ubutun操作系统,我这里装...
SQL on Hadoop的最新进展及7项相关技术分享
大数据最大的魅力在于通过技术分析和挖掘带来新的商业价值。SQL on Hadoop是非常关键的一个方向。CSDN云计算特别邀请梁堰波撰写这篇文章，对7种最新技术做深度阐述。文章较长，但相信一定有收获。2013年12月5日-6日，以“应用驱动的架构与...
Hadoop部署在RedHat Linux 5上常见错误及解决方案
遇到的问题：1、在hadoop conf下执行命令： hadoop-daemon.sh start datanode，无法启动hadoop datanode：[hadoop@master conf]$ hadoop-daemon.sh start da...
API优先架构或者胖瘦服务器之争
自2007年Apple发布了iPhone，网络应用及网站在小屏幕上的呈现机会显著的增高，从而各大网站及机构不得不对其应用进行适当的改变。然而考虑到数据体积、应用程序扩展性、新特性的发布及维护等问题，应用程序的架构也不得不按需进行改变，比如Twitter的面向服...
历届中国大数据技术大会PPT精粹下载
Hadoop起源于2002年的Apache Nutch项目，是Apache Lucene的子项目之一。2004年，Google在OSDI上公开发表了题为《MapReduce: Simplified Data Processing on Large Cluste...
第七届中国大数据技术大会将于12月在北京召开
从科学研究到技术分析再到产业变革，一个大规模生产、采集、存储、计算、分析，并提供新商业价值的大数据时代已然开启！由中国计算机协会（CCF）主办，CCF大数据专家委员会协办，中科院计算所与CSDN共同承办的国内最具影响、规模最大的大数据领域盛会—&...
童小军：Hadoop原理、适用场景及核心思想
童小军，EasyHadop 社区创始人、原暴风影音平台研发经理；国内首位获得美国Cloudera公司Apache Hadoop开发工程师（CCDH）认证考试）；中科院、工信部外聘Hadoop专家讲师；RedHadoop 红象云腾 创始人&首席架构师；多次在中国...
部署Hadoop需谨慎考虑
近些年，Hadoop和“走向大数据分析引擎”一样，受到颇多赞誉。对很多人来说，Hadoop就意味着大数据技术。但其实开源的分布式处理框架未必能解决所有的大数据问题。这就要求想要部署Hadoop的公司慎重考虑——什...
大数据时代如何保证hadoop安全
据统计，未来几年，智慧城市、智能交通、智慧医疗 以及物联网所产生的数据也会铺天盖地而来。这么多的数据中蕴含着非常多的有价值信息，但是我们如何将这些信息提取出来呢?现在通常的方法是利用Hadoop来做，但是，Hadoop其实也不是那么安全。在昨天趋势科技召...
Hadoop2.0为Hadoop演绎完美起点
在很多人的印象中，Hadoop似乎就是大数据的代名词。随着大家深入了解大数据和Hadoop，对其也有了一个更深层次的了解，逐渐认识到Hadoop只是大数据的一个存储工具。 不过这并不一定就是坏事。把Hadoop当作廉价有效的存储正好是Hadoop下一阶...
微软即将开源REEF大数据框架
微软开发出一套名为REEF（即可保留评估执行框架的简称）的大数据框架，并有意在一个月之内将其推向开源。REEF在设计上以下一代Hadoop资源管理器YARN为运行基础，尤其适合完成机器学习类任务。微软公司技术研究员兼信息服务部门CTO Raghu Rama...
Hadoop DataNode不能正常工作的原因
在把Hadoop环境搭建成功，并且也Hadoop的各个组件都正常工作。在重启过几次Hadoop后发现DataNode不能正常工作，打开Hadoop 的后台http://localhost:50030和http://localhost:50070发现Lives...
