2015-09-15 19:01:00
来 源
中存储网
Spark
大数据实战与技术专题,摘录了电商、游戏、移动等领域的大数据应用,覆盖当下热门的大数据开源技术实践与技术细节,如Hadoop、Spark、Docker等,带大家一览这些精彩实践赖以成型的根本——繁华的开源大数据生态圈。

封面报道:大数据核心技术与实践 

随着互联网和移动互联网的发展,海量的数据在人类每天生活中产生,各个机构纷纷开始探索从数据中提取洞见并指导实践的可能。在这个需求的刺激下,过去数年,大数据开源生态圈得到了长足的发展——在数据的整个生命周期中,从收集到处理,再到数据可视化和储存,各种开源技术框架林立。

而以这些开源技术为基石,业内涌现出一系列令人敬佩的大数据架构实践,因此《程序员电子刊9月B:大数据实战与技术摘录了电商、移动、游戏等行业的大数据应用,并覆盖了当下热门的大数据开源技术实践与技术细节,如Hadoop、Spark、Docker等,为你揭开大数据在各行各业的第一手实践,以及大数据生态圈相关开源技术调优。

(1)开源大数据开源生态概览

大数据开源生态繁花似锦,本文从资源调度与管理、分布式文件系统、分布式计算类别、图处理和机器学习领域,方方面面盘点当今技术热点。

(2)eBay的Connected Commerce大数据平台实践

eBay分析平台基础架构部产品负责人韩卿,揭开eBay最近几年在大数据平台方面的发展和主要实践,现在并逐渐构建起基于Hadoop及企业级数据仓库的大数据生态。

(3)优酷土豆大数据平台服务及应用监控设计与实践分享:Hold住你的平台

医生看到一位气色不好的人,知道他可能是病人,但是要确诊是什么病还需要进一步给病人把脉。那么,平台把脉又该如何进行?

大数据平台服务及应用级别监控神器—天机镜,设计初衷就是为了解决这部分需求的一个服务,一个应用监控平台。天机镜现在负责支撑集团上百个大数据应用场景,同时还提供了分钟级指标监控服务,每天收集5亿条指标数据,支持用户对监控数据多维度的交互式查询,同天数据查询毫秒级响应,跨天查询秒级别响应。

(4)微店的大数据平台建设实践与探讨

微店是全球领先的移动电商网络,创造了一个便利的手机购物环境,目前有超过3000万的店主使用微店销售商品。微店大数据架构师王锋,将重点描述大数据处理平台中数据采集、传输、存储、分析过程中的公共基础技术部分。

(5)逆水行舟,看前行中的Spark

七牛云存储技术总监陈超揭露Spark内幕,给大家分享Spark最近几个极其重要的改进。

(6)SparkR:数据科学家的新利器

R是数据科学家中最流行的编程语言和环境之一,在Spark中加入对R的支持,是社区中较受关注的话题。本文邀请英特尔大数据团队工程师孙锐,身为SparkR主力贡献者之一,他带我们回顾SparkR项目的背景,对其当前的特性进行总体的概览,阐述其架构和若干技术关键点,最后进行展望和总结。

(7)基于Mesos的Spark集群搭建实践

为了方便用户在云上运行Spark,数人科技创始人王璞摸索出三需求:首先,要可以自动化部署Spark集群,同时实现Spark计算节点的动态伸缩;其次,要让用户方便地使用Spark集群,让开发者像开发单机程序一样使用Spark集群进行开发调试;最后,要支持多租户,提高资源利用率,让来自不同用户的Spark任务同时在云上运行,并保证不同Spark任务之间不能干扰。为了满足上述三点,王璞分享他们搭建了一套基于Spark、HDFS、Hue、Zeppelin、Mesos、Marathon、Docker等开源项目的多租户、高可用的Spark集群。

资讯

(1)外刊速递:IEEE SPECTRUM

(2)21世纪十起恶名昭彰的网络攻击事件

(3)DevOps的本质

(4)业界声音

(5)大数据与个人权益

技术

(1)开源应用之策——借船出海还是造船出海

开源框架是当前的一个热门话题。国内对开源的认识,也在由拿来免费用的初级理解向更高级别的层次发展。在面对优秀或不优秀的框架时,我们自然会慎重考虑一个话题:借船出海还是造船出海?本文由Tiny开源框架创始人罗果为您精采道来。

(2)HTML5游戏框架大军中的一乘轻骑Phaser

HTML5游戏以其“低门槛、低成本、简单有趣、易于分享”的特点受到了广大玩家和业界人士的关注。本文将介绍HTML5游戏框架大军中的一乘轻骑——Phaser。虽然它们算不上大作,但的确非常快速和具有挑战性,Phaser对于快速开发和原型制作简直完美。

百味

(1)项目进度估算难题  

通常领导给我们描述一个东西,然后就会问:“做这样一个软件要多长时间?”希望我们像士兵用“是”或“不是”回答长官提问一样,立马用洪亮的声音喊出“3天”或“20天”这样的答案。我们有时已习惯这种现实,不能立刻给出估算自己都会着急。资深程序员安晓辉以黑色幽默,分享自己项目管理的切身经验。

(2)解密“攻城狮使用手册”

1号店高级技术总监黄哲铿分享自己的管理秘诀,除了“事少,钱多,离家近”,对于技术人员来说,了解一些作为脑力劳动者特有的需求,有助于技术管理者更好地管理技术人员。

程序员2015年电子版订阅火热进行中,包含:iPad版、Android版、PDF版

订阅咨询:

  • 在线咨询(QQ):2251809102
  • 电话咨询:010-64351436
  • 邮箱咨询:reader@csdn.net
  • 更多消息,欢迎加入程序员编辑部微博

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。