2024-03-09 00:05:25
来 源
半导体世界
人工智能
虽然 AMD 没有像 Nvidia 那样拥有自己的 AI 聊天机器人应用程序,但在功能方面它似乎比英特尔走得更远,因为至少有 ROCm GPU 硬件支持。

半导体世界消息,随着英伟达(Nvidia)和英特尔(Intel)最近公布了他们本地运行的AI聊天机器人,AMD似乎不想被排除在外,并且还为Ryzen和Radeon处理器的所有者发布了自己的解决方案。只需五到六个步骤,用户就可以开始与在本地硬件上运行的 AI 聊天机器人进行交互,而不是在云端运行——无需编码经验。

AMD 回击 Nvidia 并详细介绍了如何在 Radeon 和 Ryzen 上运行本地 AI 聊天机器人

AMD 的指南要求用户拥有 Ryzen AI PC 芯片或 RX 7000 系列 GPU。如今,Ryzen AI 仅适用于基于 Phoenix 和 Hawk Point 的高端 Ryzen APU,配备 Radeon 780M 或 760M 集成显卡。这表明,虽然支持Ryzen 5 8600G,但Ryzen 5 8500G可能无法正常工作......除了应用程序本身仅将“支持 AVX2 的 CPU”列为要求,这意味着它应该在各种处理器上工作(可能非常慢)。

用户需要下载并安装 LM Studio,它为 RX 7000 系列用户提供了 ROCm 版本——再次请注意,标准软件包也适用于 Intel CPU 和 Nvidia GPU。安装并启动 LM Studio 后,只需搜索所需的 LLM,例如聊天优化的 Llama 2 7B。 AMD 建议使用带有“Q4 K M”标签的型号,该标签指的是特定的量化级别(4 位)和其他特性。虽然 Ryzen CPU 用户此时可以自由地与机器人聊天——目前尚不清楚 NPU 是否被使用,但我们猜测它没有——RX 7000 系列 GPU 用户将需要打开右侧面板并手动启用 GPU 卸载并将卸载滑块完全拖动到“最大”。

AMD 的教程意味着至少有一种易于使用的官方方法可以在 AMD、Intel 和 Nvidia 的所有消费类硬件上运行 AI 聊天机器人。不出所料,Nvidia 率先推出了 Chat with RTX 应用程序,该应用程序自然只能在 Nvidia GPU 上运行。与 RTX 聊天可以说是最充实的解决方案,因为它可以分析文档、视频和其他文件。此外,对这个 Nvidia 聊天机器人的支持可以追溯到 30 系列,而 20 系列的支持可能摆在桌面上。

与此同时,英特尔的 AI CPU/NPU 和 GPU 解决方案更是各种各样。英特尔没有使用应用程序来展示本地 AI 聊天机器人,而是演示了如何使用 Python 编写代码。虽然用户必须编写的代码并不长,但涉及任何编码对于许多潜在用户来说都是一个障碍。此外,聊天响应显示在命令行中,这并不完全是“尖端 AI”。您可以尝试 LM Studio,尽管它似乎还没有 Intel GPU 或 NPU 支持,因此它只会使用您的 CPU。

虽然 AMD 没有像 Nvidia 那样拥有自己的 AI 聊天机器人应用程序,但在功能方面它似乎比英特尔走得更远,因为至少有 ROCm GPU 硬件支持。AMD的下一步可能是使用RTX制作自己的Chat版本,或者至少与LM Studio的开发人员合作,为AMD硬件启用更多功能。也许我们甚至会看到 AI 功能集成到 Radeon Adrenalin 驱动程序套件中——AMD 确实会进行驱动程序级 AI 优化,并且驱动程序套件经常会获得流体运动框架等新功能.

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。