2015-05-20 12:16:00
来 源
比特网
能源行业
EMC Isilon工程师带着8个3TB的Isilon 3000节点到西北分院做现场测试。这个8节点一到,西北分院就用正在进行的计算作业对它们加以测试。测试结果让西北分院的专家们颇为惊喜,计算作业的速度整整提高了两倍以上。

数据应该说是能源行业的“眼睛”,无论上游的勘探、开采和地震数据的采集,还是下游的数据管理和传输,都会产生巨大的数据集。通过对数据的分析处理,能源企业能够很好地管理和进行相应工作。

国内数据缺失企业良莠共存

这几年,,能源行业在经历了数据缺乏粗放式的扩张后,正在进入数据为王的精细发展时代。几乎所有的能源企业都希望通过简单直观地识别信息,对数据进行精细化、深加工更会产生巨大价值。

大数据的价值日益凸显,能源行业已经积累了大量数据资源。把这些行业数据进行收集、整理,不仅能对整个行业的健康有序和标准制定产生重要的参考价值,也能深度挖掘出大数据的“跨界”价值。

中国石油勘探开发研究院西北分院(简称“西北分院”)就是在这一背景下,爆发出了强烈的需求。

西北分院是中国西部油气勘探开发技术研究的重要基地。从事地质、物探研究工作,需要进行海量的计算和数据处理,西北分院配备有来自Sun(Oracle)、SGI、ORIGIN、IBM等公司的10多套大中型计算机系统。在3D 和4D 地震影像技术广泛运用于钻井作业之后,无论上游的勘探、开采和地震数据的采集,还是下游的数据管理和传输,都会产生巨大的数据集。研究院从野外采集回来的数据往往一次就高达几十TB,这些数据导入后需要经过大量的后期计算和分析,所以,西北分院对数据存取速度的要求非常高。虽然使用了并行文件系统,但是用户还是感觉存储的带宽无法满足要求。

找寻数据存储新方案

某一天,应西北分院的邀请,EMC Isilon工程师带着8个3TB的Isilon 3000节点到西北分院做现场测试。这个8节点一到,西北分院就用正在进行的计算作业对它们加以测试。测试结果让西北分院的专家们颇为惊喜,计算作业的速度整整提高了两倍以上。

接下来的事情顺理成章。西北分院的专家们跟Isilon工程师进一步探讨解决方案。Isilon的解决方案被称为横向扩展NAS(网络附加存储),它采用分布式并行计算的方式,能够横向扩展,当容量需求增加、加入更多节点时,存取速度能够线性增加。而不像传统的NAS存储,只能纵向扩展,增加节点能够成倍地提高容量,但是I/O宽带不能同步提高。与此同时,Isilon支持PB级的大文件系统,所有存储空间在一个大的资源池里,系统自动按需分配,管理维护非常简单。

sy2

西北分院当时正在做玉门油田某区块的勘探工作,时间紧、任务重。Isilon的表现如此出色,西北分院决定马上采用Isilon解决方案,测试样机上了线就没有撤下来。签合同、下订单,首期采购了100TB的Isilon设备。随着数据量的增长,西北分院陆续采购了更多Isilon设备。到目前为止,总计部署容量达到800TB。

玩转大数据

西北分院成功应用Isilon之后,能源勘探行业的同行纷纷来向西北分院取经。在行业内的交流中,西北分院也毫无保留地向同行分享经验。现在,Isilon已经在冀东油田、华北油田、西南油田、大庆油田、吉林油田、胜利油田等等单位发挥作用,帮助这些机构挖掘大数据价值,简化大数据管理,加快油气勘探的速度。

sy3

对于石油勘探用户的海量数据处理来说,EMC Isilon有两大独到之处:一是大容量、高性能。二是管理方便,配置灵活。

传统的纵向扩展NAS,文件系统支持的最大容量都是有上限的。像西北分院这样很容易就超过这个上限时,就需要分为多个文件系统来管理,这无疑增加了管理的复杂性。Isilon单一文件系统能够支持15PB容量,管理如此巨大的文件系统,其存取速度却能够达到纵向扩展NAS的两倍以上。这样,西北分院就能够将所有关键应用整合到单一的文件系统和管理点。

采用Isilon,西北分院也能够让科学家即时、高度并发地访问地震数据和应用,提高协作和运营效率。根据应用的需求,西北分院能够随时调整客户端可访问存储节点的数量。例如在网段一中,作业分为两组(paradigm group1和paradigm group2),其中如组1要求完成的时间更紧张些,能够实时调整配置,把尽量多的存储节点优先让给组1的作业使用;对于时间要求不太紧的组2作业,能够只允许访问三个节点,而其它全部节点的处理能力都给组1使用。如果在使用过程中,有更多网段的客户端需要访问集群存储的节点,能够实时按照要求更改存储节点的网段配置,以满足不同数据访问的需求,从而能够游刃有余地应对西北分院的存储需求。

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。