2023-07-09 21:44:35
来 源
中存储
人工智能
正在组建一个由顶级机器学习研究人员和工程师组成的团队,致力于解决超级智能对齐问题。

OpenAI启动旨在缓解“超级智能”AI的对齐计划

(thinkhubstudio/Shutterstock)

如果人工智能有一天超越人类的智力会怎样?这种“超级智能”是OpenAI所期待的——可能是在这十年内——该公司已经组建了一个新团队,专注于使其与人类的最佳利益保持一致。

“我们如何确保人工智能系统比人类更聪明地遵循人类的意图?”OpenAI博客文章宣布了一个名为Superalignment的新团队,该团队将由该帖子的作者Ilya Sutskever和Jan Leike共同领导。

该公司表示,它正专注于缓解超级智能人工智能系统,而不是通用人工智能(AGI),以“强调更高的能力水平”。Sutskever和Leike表示,目前没有控制超级智能人工智能的方法,现有的对齐策略,如从人类反馈中进行强化学习,将不适用于超越我们自身能力的系统。

该公司表示,它正在组建一个由顶级机器学习研究人员和工程师组成的团队,致力于解决超级智能对齐问题:“我们的主要基础研究赌注是我们新的超级对齐团队,但做到这一点对于实现我们的使命至关重要,我们希望许多团队做出贡献,从开发新方法到扩展它们再到部署。“作者写道。

OpenAI启动旨在缓解“超级智能”AI的对齐计划

(来源:OpenAI)

Sutskever是OpenAI的联合创始人兼首席科学家。Leike领导OpenAI的对齐团队,其对齐研究方法侧重于三大支柱:使用人类反馈训练AI系统,培训AI系统以协助人类评估,以及培训AI系统进行对齐研究。Leike在一条推文中表示,以前的对准团队大部分都加入了新的超级对准团队。

OpenAI还将在未来四年内将其迄今为止获得的计算的20%用于这一追求。在另一条推文中,Leike表示“20%的计算不是一个小数目”,他“对OpenAI愿意以这种规模分配资源印象深刻”。

“这是有史以来最大的对齐投资,可能比人类迄今为止在对齐研究上花费的总金额还要多,”Leike写道。

超级对齐团队的任务是在四年内解决超级智能对齐的核心技术挑战。这篇博文概述了该团队的工作将如何围绕提高ChatGPT等当前模型的安全性,理解和减轻人工智能风险,如滥用,经济破坏,虚假信息,偏见和歧视,以及成瘾和过度依赖。

作者还表示,社会技术问题 - 或与人类和机器一起工作有关的问题 - 也将是一个关注领域。OpenAI表示,它正在积极与跨学科专家合作,以“确保我们的技术解决方案考虑到更广泛的人类和社会问题”。

OpenAI启动旨在缓解“超级智能”AI的对齐计划

该团队概述了其第一个目标:建立一个大致人类水平的自动化对齐研究人员。“然后,我们可以使用大量的计算来扩展我们的工作,并迭代地调整超级智能。

该团队写道,为此,研究人员需要开发一种可扩展的训练方法,验证生成的模型,并对整个对齐管道进行压力测试。压力测试将涉及为人类难以评估的任务提供训练信号,以便人工智能系统可用于评估其他人工智能系统。它还涉及自动搜索和解释有问题的行为。

“最后,我们可以通过故意训练错位模型来测试我们的整个管道,并确认我们的技术检测到最糟糕的错位(对抗性测试),”作者写道。

“你怎么知道你是失败了,还是进步不够快?”Eliezer Yudkowsky问Leike回应这个消息。Yudkowsky是一位有争议的AI研究人员,他的观点是AI对齐问题无法解决。

“我们会盯着经验数据,因为它进来了,”Leike回答道。“我们可以在研究路线图的各个部分(例如可扩展的监督)上在本地衡量进展,我们可以看到 GPT-5 的对齐情况如何。我们将密切关注技术的发展速度。

声明: 此文观点不代表本站立场;转载须要保留原文链接;版权疑问请联系我们。