泽云 Acronis 安克诺斯 浪潮服务器商城 腾保数据
  • 大数据处理——Hadoop解析(二):MapReduce

    Hadoop 2015-07-17

    大数据处理模型MapReduce(接《大数据处理——Hadoop解析(一)》)大数据时代生产的数据最终是需要进行计算的,存储的目的也就是为了做大数据分析。通过计算、分析、挖掘数据背后的东西,才是大数据的意义所在。Hadoop不仅...

    【全文】

  • 大数据、大数据处理模型及MapReduce

    Hadoop 2015-07-17

    MapReduce在实现大数据处理上有着多个基础理论思想的支撑,虽然这些基础理论甚至实现方法都未必是MapReduce所创,但它们却由MapReduce采用独特的方式加以利用而重新大放光彩。MapReduce在大数据问题的处理上采用了与传统数据处理方式架构上几乎完全不同的解决方案....

    【全文】

  • Hadoop分布式系统的版本和生态圈以及MapReduce模型

    Hadoop 2014-09-24

    Cloudera Hadoop对应Apache Hadoop版本。(1) Apache Hadoop版本介绍Apache的开源项目开发流程 :-- 主干分支 : 新功能都是在 主干分支(trunk)上开发;-- 特性独有分支 : 很多新特性稳定性很差, 或者不完善, 在这些分支的独有特定很完善之后。...

    【全文】

  • 六点解读Hadoop版本、生态圈及MapReduce模型

    Hadoop 2014-09-24

    HDFS Federation:NameNode制约HDFS扩展,该功能让多个NameNode分管不同目录,实现访问隔离和横向扩展。。Hadoop版本和生态圈1. Hadoop版本(1) Apache Hadoop版本介绍Apache的开源项目开发流程:主干分支:新功能都是在主干分支(trunk)上开发。...

    【全文】

  • Hadoop MapReduce两种常见的容错场景分析

    Hadoop 2014-05-13

    本文将分析Hadoop MapReduce(包括MRv1和MRv2)的两种常见的容错场景,第一种是,作业的某个任务阻塞了,长时间占用资源不释放,如何处理?另外一种是,作 业的Map Task全部运行完成后,在Reduce Task运行过程中,某个Map Tas...

    【全文】

  • Hadoop YARN配置参数剖析(3)—MapReduce相关参数

    Hadoop 2014-04-15

    MapReduce相关配置参数分为两部分,分别是JobHistory Server和应用程序参数,Job History可运行在一个独立节点上,而应用程序参数则可存放在mapred-site.xml中作为默认参数,也可以在提交应用程序时单独指定,注 意,如果用...

    【全文】

  • MapReduce实现推荐系统

    Hadoop 2014-04-15

    1.开发环境:Windows 2008 64bitJava 1.6.0_30MyEclipse 6.5环境部署见:http://www.linuxidc.com/Linux/2014-02/96528.htm2.Hadoop集群环境:O...

    【全文】

  • Hadoop 使用 MapReduce 排序 思路

    Hadoop 2014-04-04

    本文主要讲对key的排序,主要利用Hadoop的机制进行排序。1、Partitionpartition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。2、思路由于每个partition内部是有序的,所以只...

    【全文】

  • Hadoop MapReduce最常见的两种容错场景分析

    Hadoop 2014-03-31

    本文将分析Hadoop MapReduce(包括MRv1和MRv2)的两种常见的容错场景,第一种是,作业的某个任务阻塞了,长时间占用资源不释放,如何处理?另外一种是,作 业的Map Task全部运行完成后,在Reduce Task运行过程中,某个Map Tas...

    【全文】

  • MapReduce连接:重分区连接

    Hadoop 2014-03-18

    MapReduce的连接操作可以用于以下场景:用户的人口统计信息的聚合操作(例如:青少年和中年人的习惯差异)。当用户超过一定时间没有使用网站后,发邮件提醒他们。(这个一定时间的阈值是用户自己预定义的)分析用户的浏览习惯。让系统可以基于这个分析提示用...

    【全文】