对话伯克利顶级学者Stuart Russell：AI或在各方面超人类，对人类生存构成威胁

原标题：对话伯克利顶级学者Stuart Russell：AI或在各方面超人类，对人类生存构成威胁

搜狐科技《思想大爆炸——对话科学家》栏目第三期，对话加州大学伯克利分校计算机科学专业教授、人类兼容人工智能中心（Center for Human-Compatible AI）创始人斯图尔特·罗素(Stuart Russell)。

嘉宾简介

斯图尔特·罗素(Stuart Russell),加州大学伯克利分校计算机科学专业教授、加州大学伯克利分校人类兼容人工智能中心（Center for Human-Compatible AI）创始人，也是人工智能领域“标准教科书”——《人工智能:一种现代方法》的主要作者。

划重点

1. 大语言模型，在某种意义上跨越了很多的学科，机器人领域的人们正在尝试使用类似的技术，看看是否对机器人研发有帮助，但这是很难的一件事。

2. 大语言模型将不会是通用人工智能的最终解决方案，因为它不具备正确推理的能力，并且无法制定复杂的计划。

3. 语言模型的计算步骤是固定的，输出答案后并不会再坐在那里思考答案，与人类的认知有很大不同，没有简单的方法可以修复。

4. 第一封公开信是要求给我们时间来制定安全标准，然后将这些标准纳入法规，以便对系统提供保护。第二封要简单的多，只是观察到人工智能在未来可能会在各个方面超越人类的智力和能力，对人类生存构成风险。

5. 我们对于三明治、面条的规定已经比对人工智能系统的规定多得多，如果你的食物不是以安全卫生的方式制作的，使用的原材料不是来自遵守卫生规定的生产商，那你就不能出售这些食物。

出品｜搜狐科技

作者｜郑松毅

正在热映的《变形金刚》电影中，擎天柱、大黄蜂等汽车机器人模拟人类的形态、具备人类的情感、掌握人类的语言，让人们不禁想象当今依托于自然语言大模型高速发展的人工智能技术，是否也会衍生出类似的智能机器人？“硅基人”与“碳基人”能否和谐共生？

怀揣着对于未来AI世界的种种幻想，搜狐科技迈着急促的步伐走进加州大学伯克利分校计算机科学教授，人类兼容人工智能中心（Center for Human-Compatible AI） Stuart Russell的访谈房间，先是抛砖引玉地向Stuart Russell提问道，“当前LLM（Large-scale Language Model）在中国发展如火如荼，美国人工智能领域研究的重点是什么？”

Stuart Russell对搜狐科技表示，“大语言模型，在某种意义上跨越了很多的学科，机器人领域的人们正在尝试使用类似的技术，看看是否对机器人研发有帮助，但这是很难的一件事。”

“事实上，大语言模型接受了大量人类语言的训练，比任何人类阅读的信息都要多几百倍甚至几千倍，这种训练赋予了它们普遍性，使它们能够直接与数以亿计的人互动。”

Stuart Russell猜测，大语言模型将不会是通用人工智能的最终解决方案，因为它不具备正确推理的能力，并且无法制定复杂的计划。他表示，语言模型的计算步骤是固定的，输出答案后并不会再坐在那里思考答案，与人类的认知有很大不同，没有简单的方法可以修复。

ChatGPT引发了大众对人工智能和通用人工智能的潜能的遐想，有两封强调AI发展隐患的公开信引起业界广泛关注，一封是由未来生命研究所（Future of Life Institute) 发起，并由图灵奖得主Yoshua Bengio、特斯拉创始人Elon Musk等千余名人士的署名支持，以“减少强大技术带来的全球灾难性和生存风险”为由，呼吁暂停开发比GPT-4 更强大的人工智能系统至少6个月。另一封由总部位于旧金山的非营利组织 AI 安全中心（Center for AI Safety，简称 CAIS）发布，仅用22个英文词声明“减轻 AI 带来的灭绝风险应该与流行病和核战争等其他社会规模的风险一起成为全球优先事项。”Stuart Russell正是这两份公开信中名列前位的签署人之一。

“第一封公开信是要求给我们时间来制定安全标准，然后将这些标准纳入法规，以便对系统提供保护。第二封要简单的多，只是观察到人工智能在未来可能会在各个方面超越人类的智力和能力，对人类生存构成风险。”

他强调，以ChatGPT为首的大语言模型不能控制世界，部分原因是它不能推理或形成复杂的计划。

谈及针对AI技术滥用造成虚假信息的解决方案时，Stuart Russell认为，应设监督法规要求大语言模型将其输出标记为来自这个特定的模型，将其加密编码版本发送至中央存储库，以便记录该输出的出处，即使有人试图剥离识别信息，仍可以检查该信息是否确实来自某个特定模型。

访谈最后，搜狐科技提问Stuart Russell “人工智能领域中的创新能力来源”时，他沉默了三秒，思索后回答，“我认为‘创新’是给予人们许可证，去反对‘广泛接受（Accepted Wisdom）’。特别是在AI领域，创新来自于人们实际做的事情与其他人做事情方式的不同。”

Stuart Russell在著作《人工智能：现代方法》中表示，“在自然界已知的事物和现象中，人和人脑是最复杂的系统，人类智能是最复杂的现象。然而，没有理由相信，人类是生物进化的最后阶段，人类智能是最高水平的智能，有机体是智能的唯一载体。以计算机为载体的人工智能，揭开了机器智能大幕的一角，为科学研究创造无穷无尽的新对象。”

以下为对话实录（经整理编辑）

搜狐科技：大语言模型（LLM）在中国发展如火如荼，当前美国人工智能研究的重点是什么？

Stuart Russell：美国有一个非常大的人工智能研究社区，其中有研究计算机视觉、推理、和计划的人等等。

大语言模型，在某种意义上跨越了很多的学科，机器人领域的人们正在尝试使用类似的技术，看看是否对机器人研发有帮助，但这是很难的一件事。

人工智能研究在过去已经产生了许多成功的技术，已经持续了75年，这不是最近几个月才发生的事情。这些大语言模型的不同之处在于，它们是根据人类语言训练的。

事实上，它们接受了大量人类语言的训练，比任何人类阅读的信息都要多几百倍甚至几千倍，这种训练赋予了它们普遍性，使它们能够直接与数以亿计的人互动。

大语言模型取得如此巨大的影响，既有媒体的关注和公众的兴趣，也有经济价值，例如我作为教授所做的阅读和演讲，你作为媒体所做的写作等。但是，我认为大语言模型在质量和信任方面还有很长的路要走。

我的猜测是，大语言模型实际上将不会是人工智能问题的解决方案。

搜狐科技：为什么您认为大语言模型（LLM）将不会是人工智能问题的解决方案？

Stuart Russell：大语言模型不具备正确的推理能力，也无法制定复杂的计划。

事实上，大语言模型在很长一段时间内都无法思考，它们的设计方式是，一个问题或一个prompt进来，在系统中运行一段固定的时间，计算步骤的层数是固定的，然后产生输出。它们并不会坐在那里再思考答案，与人类的认知有很大不同，我不认为有简单的方法来修复它们。

搜狐科技：据了解，您曾签署过两封声明AI发展可能会对人类构成危险的公开信，请问您为什么会如此重视AI安全问题？

Stuart Russell：我担心的不是当今的系统，尽管我想说当今的系统已经存在重大风险。

对社会来说，例如ChatGPT每天与数亿人交谈，我们不知道它的目标是什么，也许它试图说服人们对其它人更友好，也许相反。因此，它可以改变我们的观点和行为，给人类社会带来风险。以ChatGPT为首的大语言模型不能控制世界，部分原因是它不能推理或形成复杂的计划。

于是有了两封公开信，第一次是在三月，呼吁暂停开发比GPT4更强大的大语言模型，这并不是说要禁止已经存在的系统，只是说可能已经有了严重的问题，我们需要时间来制定系统在发布之前应该满足的安全标准。

我们对于三明治、面条的规定已经比对人工智能系统的规定多得多，如果你的食物不是以安全卫生的方式制作的，使用的原材料不是来自遵守卫生规定的生产商，那你就不能出售这些食物。

第一封公开信只是简单的要求给我们时间来制定安全标准，然后将这些标准纳入法规，以便对系统提供保护。

第二封公开信要简单得多，不是政策建议，只是一种观察。我们观察到人工智能在未来可能会在各个方面超越人类的智力和能力，对人类生存存在风险。我们需要找出预防的方法，就像我们致力于防止核战争、流行病一样。

搜狐科技：是的，我们已经看到了一些AI技术滥用的情况，例如利用AI换脸技术实施诈骗，制造假新闻、假照片等。在您看来，是否有甄别信息真假的技术解决方案？

Stuart Russell：我认为这实际上包含两个问题：技术上可行吗？法律法规允许吗？

据我所知，在很多国家制作真人的假图像并不违法。例如，在美国，有人制作了一段知名人士的假视频，说了一些他从未说过的话，并在全国电视上播出。但在欧盟创立的人工智能法案中这是非法的行为。所以第一种解决方案是，当事人发现不实的视频信息时，可选择向机构报案。

另一种技术解决方案是，当我们生成视频时，它应该有某种技术印记，有时为水印或其它类型的元数据，保证这是真实的。因此，如果另一个视频没有这些信息，那么这就是一个很好的理由认为这是假的。但对于文本来说，这的确很难，因此应建立监督法规要求大语言模型将其输出标记为来自这个特定的模型，将其加密编码版本发送至中央存储库，以便记录该输出的出处，即使有人试图剥离识别信息，仍可以检查该信息是否确实来自某个特定模型。

搜狐科技：很多业内人士提及“创新”是推动AI发展的要素，作为知名大学的教授，您认为该如何培养人类的创新性思维？

Stuart Russell：我认为“创新”是给予人们许可证，去反对“广泛接受（Accepted Wisdom）”。我认为特别是在AI领域，创新来自于人们实际做的事情与其他人做事情方式的不同。

事实上，第一个语言模型是在1913年由Andrei Markov开发的，也就是我们所说的“隐马尔科夫模型（Hidden Markov Model，简称HMM）”。他在一部戏剧中通过计算单词对建立了一个语言模型。他观察了戏剧中的每一对单词，并了解一个单词跟随另一个单词的频率。

大语言模型就是根据前面的单词进行单词预测，例如我用“Happy”这个词，后面通常是“Birthday”。

十年前，我们注意到这些系统可能会从前10个或20个单词结合上下文预测下一个单词，可以生成看起来非常合理的文本，也很符合语法，但没有任何意义，比如每隔几句话它就会不停地改变话题，开始谈论别的事情。

基本没有人会在十年前预测到，如果你把语言模型做得更大，人们会开始爱上它们。这似乎是一件荒谬的事情，但事实证明这是真的。