Hadoop成为打开大数据之门金钥匙

2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。

Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。以下为京东技术副总裁兼首席科学家何刚先生的演讲实录。

                           　▲京东技术副总裁兼首席科学家 何刚

2010年以来，随着网络社交的成熟，移动互联网的飞速发展，网络购物的强势增长，以及云计算、物联网的广泛应用，产生了更多更复杂的应用，也使更多的移动设备和智能终端接入到网络，个人家庭和企业基本实现了24小时在线状态，由此产生的数据及增长速度比历史上时期都要快。信息量每年以59%的速度在增长，IDC的研究全球数据量大约每两年翻一番，预计2020年世界上存储总量达到35个GB.

用户的文档、网络内容、社交媒体等，数据种类的格式也日渐丰富，半结构化和非结构化的数据也是几何级数的增长，数据的采集和处理也必须是实时迅速的，总之海量多样和实时是大数据的显着特征。

中国作为世界大国之一，作为全球为数不多的快速发展经济体，国内网民规模、移动用户规模、智能终端用户规模和增速在全世界都是首屈一指。企业和政府的信息化有巨大的挖掘的广度和深度，意味着中国的数据市场是全球含金量最大的大数据金矿。也许2012年大数据高富帅的时髦词汇，2013年屌丝和土豪也可以跟你聊聊什么是大数据。2013年是全民大数据时代已经上升为国民战略，奥巴马将大数据战略上升为国家意志，这是未来的“新石油”,将成为综合国力的重要的组成部分。

未来对数据的占有和控制甚至将成为路权、海权、空权之外的另一种国家资产，随着数据的爆炸，数据的采集、挖掘、分享等任务将是牵一发动全身的挑战，人类可以发现新的知识和价值，带来大科技、大知识、大发展。

今年大数据也走进了中国政府的视野，广州和重庆发布了政府大数据计划，十三届三中全会多出提及统计、税收、房地产等关键领域的统一数据平台，大数据是推动政府转型的重要的礼器。大数据也将成为中国的国家战略。

我们面前是一个体量非常大的数据集，采集、存储、计算是以往无法完成的，2006年Hadoop诞生，随着越来越多的用户的加入，不断的使用贡献和完善，形成了强大的生态企业，从09年开始随着云计算和大数据飞速发展，Hadoop作为海量数据分析的最佳解决方案，开始受到IT厂商和互联网企业的关注，出现了很多Hadoop的商业版和支持Hadoop的产品，例如雅虎使用四千个节点的机群运行，包括存储日志和数据，Hadoop技术凭借可以关联结构化和非结构化数据的能力，扩展的成本低廉，高可靠、高性能等优势正在对全球大数据产业发挥着重要的技术工具作用。

国内基于Hadoop的应用也已经落地开花，尤其是互联网领域，熟练掌握了并在广告搜索等领域广泛的Hadoop技术，京东商城Hadoop商城也是应用仓储配送等数据，中国的高校和科研院所基于Hadoop包括系统优化和安全性上做了研究，多以开源的形式回馈给Hadoop社区。新的业务模式会不断的涌现，Hadoop也在向电信、电子商务、生物制药等领域拓展，相信中国这片大数据沃土让，依靠所有同行的创造性工作，Hadoop技术将会不断完善，Hadoop的商业项目会遍地开花，为中国大数据产业发展提供更多的推动力。

各位，大数据浪潮已经不可逆转，以Hadoop为代表的技术成为了推动历史的车轮，让我们共同来完成我们的历史使命吧，我的演讲到此结束，并预祝大会顺利召开，谢谢大家！