Spark实践

快刀初试:SparkGraphX在淘宝的实践

由于SparkGraphX性能良好,又有丰富的功能和运算符,能在海量数据上自如运行复杂的图算法,淘宝尝试将它作为分布式图计算平台,进行各种算法尝试和生产应用。这篇文章结合GraphX的原理和特点,分享其在淘宝的应用实践。...

Spark实践 Spark

许鹏:以Spark为例浅谈源码跟读实践

本次不谈Spark中什么复杂的技术实现,只稍为聊聊如何进行代码跟读。众所周知,Spark使用Scala进行开发,由于Scala有众多的语法糖,很多时候代码跟着跟着就觉着线索跟丢掉了,另外Spark基于Akka来进行消息交互,那如何知道谁是接收方呢?...

Spark实践 Spark