NVIDIA连续第三次在MLCommons推理测试中创造性能和能效纪录

近日，全球权威AI基准评测MLPerf公布最新榜单Inference（推理）V1.1，NVIDIA在使用x86及Arm CPU进行AI推理时取得了最佳成绩。这是NVIDIA连续第三次在MLCommons推理测试中创造性能和能效纪录。

MLPerf是影响力最广的国际AI性能基准评测，由图灵奖得主大卫•帕特森（David Patterson）联合顶尖学术机构发起成立。

2020年，非盈利性机器学习开放组织MLCommons基于MLPerf基准测试成立，其成员包括谷歌、Facebook、英伟达、英特尔、浪潮、哈佛大学、斯坦福大学、加州大学伯克利分校等50余家全球AI领军企业及顶尖学术机构，致力于推进机器学习和人工智能标准及衡量指标。

目前，MLCommons每年组织2次MLPerf AI训练性能测试和2次MLPerf AI推理性能测试，为用户衡量设备性能提供权威有效的数据指导。

值得一提的是，本次测试是第一次在Arm系统上进行数据中心类别的测试，这使用户在部署AI这一目前最具变革性的技术时有了更多的选择。

软硬件协同实现最强性能

推理（Inference）指计算机通过运行AI软件来识别对象或进行预测。在这个过程中，计算机使用深度学习模型来过滤数据，进而发现人类所无法捕捉的结果。

MLPerf推理基准测试基于当今最常用的AI工作负载和场景，涵盖计算机视觉、医学影像、自然语言处理、推荐系统、强化学习等。

MLPerf测试结果能够帮助用户更好地进行采购决策，NVIDIA是唯一一家在本轮和迄今为止每一轮测试中取得所有MLPerf测试结果的公司。

随着AI用例从数据中心扩展到边缘和其他领域，AI模型和数据集将不断增加。就是为什么用户需要既可靠又能灵活部署的性能。

除了最新的A100硬件加持，NVIDIA能够在所有AI用例中取得成功的一个关键因素是其完整的软件栈。

在推理方面，这包括针对各种用例的预训练AI模型。NVIDIA TAO Toolkit运用迁移学习为特定应用定制这些模型。

NVIDIA TensorRT软件对AI模型进行了优化，使其能够最有效地运用内存并且实现更快的运行速度。NVIDIA经常使用该软件进行MLPerf测试，该软件可用于X86和Arm的系统。

在这些基准测试中，NVIDIA还采用了NVIDIA Triton推理服务器软件和多实例GPU（MIG）功能。它们为所有开发者提供了通常需要专家级程序员才能实现的性能。

随着该软件栈的不断改进，与四个月前的MLPerf推理基准测试相比，NVIDIA提升了高达20%的性能和15%的能效。

构建强大AI生态系统

NVIDIA AI技术得到了广大和日益扩展的生态系统的支持。

来自NVIDIA及其生态系统合作伙伴，包括阿里巴巴、戴尔科技、富士通、技嘉、慧与、浪潮、联想、宁畅和超微参与了最新的基本测试。

其中七家OEM厂商共提交了22个GPU加速的平台。这些服务器中的大多数型号都是NVIDIA认证系统，经验证可以运行多种加速工作负载，而且其中很多型号都支持上个月正式发布的NVIDIA AI Enterprise软件。

同时，Arm架构正在向全球各地的数据中心进军，而且Arm CPU和NVIDIA GPU驱动的Arm系统已能够应对数据中心中的各种AI工作负载。

最新基准测试表明，作为GPU加速的平台，在AI推理工作中，使用Ampere Altra CPU的Arm服务器与具有类似配置的X86服务器提供的性能几乎相同。事实上，在其中的一项测试中，Arm服务器的性能甚至超过了类似配置的x86系统。

据悉，NVIDIA在最新测试中所使用的所有软件都可以从MLPerf资源库中获得，因此任何人都可以重现NVIDIA的基准测试结果。NVIDIA会陆续将这些代码添加到NVIDIA的深度学习框架和容器中，用户可在NVIDIA的GPU应用软件中心NGC上获得这些框架和容器。

结语

依托强悍的GPU硬件产品，加上丰富的软件产品加持，NVIDIA在AI推理方面如虎添翼。同时，依靠强大的生态系统，NVIDIA正在将自己的AI优势不断延展，为人工智能产业输送源源不断的动力。