2022-01-27 10:53:42
来 源
科技号
超算行业
这套名为AI Research SuperCluster(RSC)的超级计算机虽然尚未完成,但已经启动并运行,用于训练具有数十亿参数的大型AI模型。

Meta 的 AI 超级计算机——迄今为止最大的 NVIDIA DGX A100 客户系统——将为 Meta AI 研究人员提供 5 exaflops 的 AI 性能,并配备尖端的 NVIDIA 系统、InfiniBand 结构和软件,可在数千个 GPU 上进行优化。 

Meta欲打造全球最快的、专注于AI人工智能的超级计算机

图片来源:Nvidia官网

元宇宙平台Meta Platforms正在构建所谓全球最快的、专注于人工智能的超级计算机,以处理涉及自然语言处理和计算机视觉的新型高级工作负载。

今天该公司透露,这套名为AI Research SuperCluster(RSC)的超级计算机虽然尚未完成,但已经启动并运行,用于训练具有数十亿参数的大型AI模型。

Meta长期以来一直是人工智能研究领域一个雄心勃勃的参与者,其原因也随着这套最新的超级计算机问世而变得越来越明显。Meta认为,人工智能在所谓元宇宙的发展中,将发挥着重要作用。元宇宙是一种虚拟世界,Meta认为人们将越来越多地聚集在Meta进行社交、工作和娱乐。

Meta AI研究人员Kevin Lee和Shubho Sengupta在一篇博文中这样写道:“我们希望RSC能够帮助我们构建全新的AI系统,例如,可以为那些说不同语言的人们提供实时语音翻译,这样让他们可以在研究项目上无缝地展开协作,或者一起玩AR游戏。最终,RSC相关的工作成果将为下一代主流计算平台——元宇宙——的技术铺平道路,在元宇宙中,AI应用和产品将发挥重要作用。”

Meta欲打造全球最快的、专注于AI人工智能的超级计算机

Meta 的 AI Research SuperCluster 具有数百个 NVIDIA DGX 系统,这些系统连接在 NVIDIA Quantum InfiniBand 网络上,以加速其 AI 研究团队的工作。

Meta研究人员解释说,最近Meta在“自我监督学习”领域取得了长足的进步,这项技术是指算法可通过大量未标记的示例中进行学习,此外,Meta还让AI可通过专注于某些特定领域的输入来实现更高效的推理。

Meta总结说,为了让自我监督式学习和基于转换器的模型发挥全部优点,就需要训练越来越复杂的、适应性更强的AI模型,而这就意味着要处理更多的数据。例如,要开发更先进的计算机视觉模型,需要以更高的数据采样率处理更大更长的视频。

同时,语音识别也需要面对有大量背景噪音、最具挑战性的场景,自然语言处理必须理解不同的语言、口音和方言,因此Meta需要一台比目前现有计算机更强大的超级计算机。

RSC的功能非常强大,在760个Nvidia DGX A100系统中配置了6080个Nvidia最新型A100 GPU,而且这些GPU组合成了DGX节点,节点采用Nvidia高性能Quantum 200 Gb/s InfiniBand实现网络互连。RSC还采用了Pure Storage FlashArrays提供的175 PB存储,以及来自Penguin Computing Altus系统的46 PB缓存存储。

“与Meta传统生产型和研究型基础设施相比,RSC的早期基准测试表明,它运行计算机视觉工作流程的速度提高了20倍,运行Nvidia NCCL的速度提高9倍多,训练大规模NLP的模型快了3倍,这意味训练一个有数百亿参数的模型只需要3周时间,而之前需要9周,”Meta AI研究人员这样表示。

Meta欲打造全球最快的、专注于AI人工智能的超级计算机

然而,Meta的目标是让RSC变得越来越强大,计划今年年中将实现连接16000个GPU。

除了专注于速度和功率之外,RSC还考虑到了安全性。Meta在人工智能领域的雄心壮志,需要能够使用来自自身生产系统的大量真实数据,所以需要非常小心谨慎地保护这些数据信息。

“RSC的设计从一开始就考虑到了隐私和安全性,因此Meta的研究人员可以使用经过加密的用户数据安全地训练模型,而且这些数据在训练完成之前都一直是加密的,”Lee和Sengupta这样写道。

这些保护措施包括确保RSC与公共互联网隔离,没有直接的入站或出站连接。同时,从Meta的存储系统到GPU的整个路径都是加密的,只有在数据被真正使用之前,才会被解密,不管是在GPU端点,还是内存中。

Constellation Research分析师Holger Mueller表示,主宰虚拟世界的竞赛正如火如荼地展开,AI将成为其中至关重要的一部分。

“毫无疑问,Meta作为对元宇宙抱有远大抱负的主要参与者之一,正在建造他们第一台用于研究目的的AI超级计算机。元宇宙仍处于起步阶段,需要进行大量研究才能真正起飞,因此Meta正在朝着实现这一目标迈出关键的第一步。”

Meta解释说,RSC现在已经启动并运行,很快就会变得越来越强大。今年Meta计划把RSC的GPU数量从6080个增加到16000个,整体AI训练性能提高到当前水平的2.5倍多。

Meta解释说:“我们预计,要让计算能力实现这种阶跃函数式的变化,不仅使我们能够为现有服务打造更准确的AI模型,而且还可以实现全新的用户体验,尤其是在元宇宙中。我们在自我监督式学习和使用RSC构建下一代AI基础设施方面的长期投资,将帮助我们打造基础技术为元界提供动力,并在更广泛的层面上推动AI社区的发展。”

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。