华为全闪存阵列 IBM云计算 Acronis 安克诺斯 安腾普 腾保数据
首页 > Hadoop > 正文

Voldemort — 分布式 key-value 存储系统构建经验

2014-12-08 22:45来源:中国存储网
导读:以 Hadoop 作为后端的计算集群,计算得出来的数据如果要反向推到前面去,用什么方式存储更为恰当? 再放到 DB 里面的话,构建索引是麻烦事。

 LinkedIn 几位工程师写的构建 TB 级的 key-value 系统的经验:Building a terabyte-scale data cycle at LinkedIn with Hadoop and Project Voldemort。具体实现过程有大致的描述,就不鹦鹉学舌了。

其实现在很多公司可能都面临着这个抽象架构图中的类似问题。以 Hadoop 作为后端的计算集群,计算得出来的数据如果要反向推到前面去,用什么方式存储更为恰当? 再放到 DB 里面的话,构建索引是麻烦事;放到 Memcached 之类的 Key-Value 分布式系统中,毕竟只是在内存里,数据又容易丢。Voldemort 算是一个不错的改良方案。

值得借鉴的几点:

键(Key)结构的设计,有点技巧;
架构师熟知硬件结构是有用的。越大的系统越是如此。
用好并行。Amdahl 定律以后出现的场合会更多。
关于 key-value 应用的解决方案又多了一种。LinkedIn 对此应用案例也还在发展中。如果业务类型类似,不妨关注一下。

继续阅读
相关阅读
  • Pivotal为Hadoop提供内存数据处理能力

    在Pivotal HD Enterprise中,Pivotal GemFire XD内存数据服务与Pivotal HAWQ搜索引擎整合,为Hadoop增加了SQL表达能力,利用Hadoop作为公共存储基础,为建立整合OLTP和OLAP

  • Hadoop作业的生命周期

    下面的图就是一个Hadoop作业运行的生命周期,在接下来的文章中,会详细分析每一个步骤的设计思路和源代码的详解,这张图真正的吃透了,Hadoop也就学会了。

  • 详细的实验:配置Hadoop单机模式并运行Wordcount

    操作Hadoop的第一步就是要准备连接工具SSH,完成后启动验证它。在前面我们安装Java的时候把Java安装在了“/usr/lib/java/jdk1.7.0_60”,此时我们在hadoop-env.sh配置文件

产品推荐
头条阅读
栏目热点

Copyright @ 2006-2018 ChinaStor.COM 版权所有 京ICP备14047533号

中国存储网

存储第一站,存储门户,存储在线交流平台