三位图灵奖得主 Hinton、Bengio、姚期智，联名发文《在快速发展的时代管理 AI 风险》。
还有 UC 伯克利宋晓东、Pieter Abbeel，清华张亚勤等更多知名学者合著。
这是一篇共识论文（consensus paper），除 AI 研究者外，还有公共治理方面的学者，如清华大学人工智能国际治理研究院薛澜，以及诺贝尔经济学奖得主丹尼尔卡尼曼等。
Hinton 认为，公司们正计划在 18 个月内把 AI 模型计算规模扩大 100 倍，没人知道这些模型会有多强大，也没有关于他们如何使用这些模型的规定。（18 个月 100 倍的计划来自 InflectionAI）
目前论文公布在独立域名站点 managing-ai-risks.com，arXiv 版本将在稍后上传。
正文翻译
回顾 2019 年，GPT-2 还不能完美地数数。
而在短短四年之内，深度学习技术已可助力开发软件、创造逼真的虚拟环境、提供专业的建议，并且让机器人具备了语言理解能力。
这些系统的进步不断超越预期，令人瞠目结舌。
而接下来的进展或许会更为惊人。
尽管现有的深度学习系统尚有不少局限，但各大公司已在争相研发能与人类智慧抗衡的通用 AI。他们投入的资源越来越多，创新的技术日新月异，且 AI 的自我进化能力加速了这一趋势。
没有迹象显示 AI 的进步会在达到人类智慧的水平后停滞。
事实上，在某些特定领域，AI 已经超越了人类。它们可以更快地学习、处理更多的信息，且在大规模计算中表现出色，而且可以轻松复制。
技术的飞速进展令人震撼。一些科技巨头有能力将其 AI 训练规模在短时间内增加数倍。考虑到 AI 研发的持续投入和自我进化的趋势，通用 AI 在未来十到二十年内超越人类的可能性不容忽视。
若被正确和公正地应用，先进的 AI 可以为人类解决长久以来的问题，如疾病、贫困和环境问题。但与此同时，强大的 AI 也带来了巨大的风险，这些风险我们还远未准备好应对。我们需要平衡 AI 的能力与安全性。
遗憾的是，我们在调整策略方面已经稍显落后。我们需要提前预见并应对风险，不能等到问题真正出现时再行动。环境问题就是一个例证，但 AI 发展的速度意味着我们没有太多时间可等。
AI 的高速进步对社会带来了巨大的挑战。若不加以管理，它们可能加剧社会不平等、威胁社会稳定并削弱我们对真实世界的认知。它们甚至可能被用作犯罪工具，或者加剧全球的不平等和冲突。
更令人担忧的是，自主 AI 的发展可能会放大这些风险。当前的 AI 虽然尚不完全自主，但这一状态正在发生改变。例如，GPT-4 尽管强大，但如果控制了具有自主目标追求的机器人或程序，其行为可能变得难以预测，且我们可能难以干预。
为此，我们呼吁全球共同努力，通过技术、政策和法律手段来规范自主 AI 的发展和应用。否则，我们可能会面临一个被 AI 主宰和误用的未来。
这只是开始。我们急切需要更多的研究和讨论来解决这些问题，并希望得到社区的支持和协助，以确保 AI 为人类带来真正的好处，而非威胁。
参考链接：
[1] managing-ai-risks.com
[2] https://twitter.com/geoffreyhinton/status/1717967329202491707
本文来自微信公众号：量子位 （ID：QbitAI），作者：梦晨
广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，小猪号所有文章均包含本声明。
