近日,全球权威AI基准评测MLPerf公布最新榜单Inference(推理)V1.1,NVIDIA在使用x86及Arm CPU进行AI推理时取得了最佳成绩。这是NVIDIA连续第三次在MLCommons推理测试中创造性能和能效纪录。
MLPerf是影响力最广的国际AI性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立。
2020年,非盈利性机器学习开放组织MLCommons基于MLPerf基准测试成立,其成员包括谷歌、Facebook、英伟达、英特尔、浪潮、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家全球AI领军企业及顶尖学术机构,致力于推进机器学习和人工智能标准及衡量指标。
目前,MLCommons每年组织2次MLPerf AI训练性能测试和2次MLPerf AI推理性能测试,为用户衡量设备性能提供权威有效的数据指导。
值得一提的是,本次测试是第一次在Arm系统上进行数据中心类别的测试,这使用户在部署AI这一目前最具变革性的技术时有了更多的选择。
软硬件协同实现最强性能
推理(Inference)指计算机通过运行AI软件来识别对象或进行预测。在这个过程中,计算机使用深度学习模型来过滤数据,进而发现人类所无法捕捉的结果。
MLPerf推理基准测试基于当今最常用的AI工作负载和场景,涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。
MLPerf测试结果能够帮助用户更好地进行采购决策,NVIDIA是唯一一家在本轮和迄今为止每一轮测试中取得所有MLPerf测试结果的公司。
随着AI用例从数据中心扩展到边缘和其他领域,AI模型和数据集将不断增加。就是为什么用户需要既可靠又能灵活部署的性能。
除了最新的A100硬件加持,NVIDIA能够在所有AI用例中取得成功的一个关键因素是其完整的软件栈。
在推理方面,这包括针对各种用例的预训练AI模型。NVIDIA TAO Toolkit运用迁移学习为特定应用定制这些模型。
NVIDIA TensorRT软件对AI模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。NVIDIA经常使用该软件进行MLPerf测试,该软件可用于X86和Arm的系统。
在这些基准测试中,NVIDIA还采用了NVIDIA Triton推理服务器软件和多实例GPU(MIG)功能。它们为所有开发者提供了通常需要专家级程序员才能实现的性能。
随着该软件栈的不断改进,与四个月前的MLPerf推理基准测试相比,NVIDIA提升了高达20%的性能和15%的能效。
构建强大AI生态系统
NVIDIA AI技术得到了广大和日益扩展的生态系统的支持。
来自NVIDIA及其生态系统合作伙伴,包括阿里巴巴、戴尔科技、富士通、技嘉、慧与、浪潮、联想、宁畅和超微参与了最新的基本测试。
其中七家OEM厂商共提交了22个GPU加速的平台。这些服务器中的大多数型号都是NVIDIA认证系统,经验证可以运行多种加速工作负载,而且其中很多型号都支持上个月正式发布的NVIDIA AI Enterprise软件。
同时,Arm架构正在向全球各地的数据中心进军,而且Arm CPU和NVIDIA GPU驱动的Arm系统已能够应对数据中心中的各种AI工作负载。
最新基准测试表明,作为GPU加速的平台,在AI推理工作中,使用Ampere Altra CPU的Arm服务器与具有类似配置的X86服务器提供的性能几乎相同。事实上,在其中的一项测试中,Arm服务器的性能甚至超过了类似配置的x86系统。
据悉,NVIDIA在最新测试中所使用的所有软件都可以从MLPerf资源库中获得,因此任何人都可以重现NVIDIA的基准测试结果。NVIDIA会陆续将这些代码添加到NVIDIA的深度学习框架和容器中,用户可在NVIDIA的GPU应用软件中心NGC上获得这些框架和容器。
结语
依托强悍的GPU硬件产品,加上丰富的软件产品加持,NVIDIA在AI推理方面如虎添翼。同时,依靠强大的生态系统,NVIDIA正在将自己的AI优势不断延展,为人工智能产业输送源源不断的动力。
我们只有完全掌握数据的备份和恢复,做到对症下药,才能有效保护重要数据的完整真实。Acronis True Image产品可以完美应对上述风险。
潮数科技实现江苏无锡华润上华数据库审计,本项目实施后完美地解决了华润上华针对核心数据库的安全监控需要。
谷歌周三称,不打算建造一个全国性的宽带网络,公司目标只是想以"竞争性的价格"为5-50万人开发一种试验性的服务。
群晖推出的备份一体机提供企业高性价比,且综合性的数据存储和备份方案。
暑假即将结束,孩子们马上就要重新回到校园开始新学期的学习。为了守护孩子的安全,让父母放心,酷达通讯推出全新升级的儿童智能手表--CDS酷达Q2,作为一款能打电话的定位手表,CDS酷达Q2一上市就深受家长和孩子喜欢。
据国外媒体报道,最近对240位信息IT和安全专业人员进行的调查发现,许多机构计划把数据中心应用迁移到云服务中,尽管在这个过程中经常出现应用连接中断问题。下面是机构在把数据中心应用迁移到云服务之前应考虑的五件事。
项目名称:北京市昌平实验中学3D打印创新实验室建设,采购人:北京市昌平实验中学
大概在2013年,OKR传入中国,开始主要是一些有硅谷背景的初创企业在推行,现在OKR逐步受到IT、互联网、高科技企业以及大型组织创新业务的追捧,开始变得流行起来,国内知名的互联网公司今日头条、知乎都成功的在企业内部实施了OKR。 专伟绩腾CEO及首席顾问陈
只需要通过单一合同和已知的性能指标来定义工作负载。这被称做“一体型数据中心”,这些系统已经开发了相当长的时间,并达到了一个理想的远程计算环境。
根据全球权威IT科技研究和咨询公司Gartner高德纳公布的最新全球服务器市场调查报告显示,2016年前三季度浪潮出货量同比增长28%,为全球最高,份额位居全球第五。在中国市场,浪潮以18.2%的销售额占比位居第一,在过去的9个季度中,浪潮有6个季度位居中国第一
三星SDI的堆叠电池技术,是将电池生产中所需的原材料,分层堆叠在多层中,他们目前生产的第5代电动汽车电池,就采用了这一技术。
《全球模块化数据中心市场报告》:华为智能微模块解决方案市场份额从2017年的12.7%上升至2020年的20.5%,持续保持全球第一的领先地位。
2020年中国物联网支出已达到1,633.5亿美元规模,物联网连接量已经达到45亿。
除了常规思维外,专家们还列出了IT创新面临的以下七个障碍以及如何克服这些障碍的建议。
Qumulo连续三年在Gartner分布式文件系统和对象存储魔力象限中位于领导者地位。
《金融科技(FinTech)发展规划(2019-2021年)》指出,金融科技是技术驱动的金融创新。