人工智能教父：也许还有希望限制AI的无序发展｜中企荐读

　　炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

　　停止发展AI也许是一个理性的做法，但不可能发生。

　　整理|部梦凡

　　5月1日，有报道称，“人工智能教父”、谷歌副总裁杰弗里·辛顿（Geoffrey Hinton）离开谷歌。他曾表示，担心类似ChatGPT的AI聊天机器人会带来严重危害。

　　他认为AI一旦在人类灌输的目的中生成了自我动机，那么以它的成长速度，人类只会沦为硅基智慧演化的一个过渡阶段。人工智能会取代人类，它有能力这么做，在当下的竞争环境下也没有什么办法限制它，因此这只是一个时间问题。

　　几天后，在麻省理工技术评论（MIT Technology Review）半公开分享会上，Hinton讲述了他对AI的恐惧和担忧。新一代的大型语言模型，尤其是GPT-4，让他意识到机器正朝着比他想象中聪明得多的方向发展，他害怕结果会变得难以控制。Hinton提到科技巨头们正在陷入一场可能无法停止的竞争。公司竞争越是激烈，AI发展的速度越快。这令他十分担忧。

　　Hinton认为我们也许还有希望限制住AI的无序发展，他想让更多人了解人类所处的历史位置和当下的艰难处境，并期望他的呼吁能带来一些改变。

　　Hinton阐述的核心观点如下：

　　1．反向传播比我们拥有的学习算法好得多，这是很可怕的。

　　2．如果AI比我们更聪明，它们会非常擅长操纵我们。即使它们不能直接操纵杠杆，它们可以让我们去操纵杠杆。

　　3．我们需要的是某种 *** ，确保即使AI比我们聪明，也会做对我们有益的事情。

　　4．如果你给予某个东西创造子目标的能力以实现其他目标，那它可能会很快地意识到获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。

　　5．人类只是智慧演变过程中的一个短暂阶段，这是相当可能的。

　　6．停止发展AI也许是一个理性的做法，但不可能发生。我们应该合作，试图阻止AI的无序发展。

　　以下为访谈整理（有删减）：

　　AI可能比人类更善于学习

　　杰弗里·辛顿：最近我对大脑和我们正在开发的数字智能之间的关系产生了很多新的看法。过去，我认为我们正在开发的计算机模型没有大脑好，我们通过了解改进计算机模型所需的内容来更深入地了解大脑。但在过去的几个月里，我完全改变了看法。计算机模型可能使用反向传播的方式运作，而大脑并非如此。

　　主持人：请解释一下反向传播吧。

　　杰弗里·辛顿：我简单解释一下反向传播的工作原理。

　　如果你想检测图像中是否有鸟类，假设它是100像素×100像素的图像，也就是10000个像素，每个像素有3个通道，RGB（红绿蓝），共有30000个数字。如何将这30000个数字转换为是否存在鸟类的结果，有一个 *** 。特征检测器能检测出图像中非常简单的特征，比如边缘。特征检测器会对一列有很大正权重的像素和一列有很大负权重的像素有反应，如果两列都很亮，它就不会启动；如果两列都很暗，它也不会启动；但如果一列很亮，而相邻的另一列很暗，它就会有反应，这就是一个边缘检测器。我们可以想象有很多这样的检测器在图像的不同方向和不同尺度上检测边缘，我们需要检测相当多的数量。

　　比如有一个特征检测器可以检测到两个以锐角连接在一起的边缘。它对两个边缘都有很大的正权重，如果这两个边缘同时出现，它就会有反应，这将检测到可能是鸟嘴的东西；还可能有一个特征检测器检测到一圈边缘，那可能是鸟的眼睛；第三层可能有一个特征检测器检测潜在的鸟嘴和潜在的眼睛，并将它们连接起来，这可能是鸟的头。继续这样连接，最终可以检测出一只鸟。

　　然而，手动建立所有连接将非常困难，决定应该连接什么，权重是多少，尤其麻烦。你肯定希望这些中间层不仅可以检测鸟类，还可以检测各种其他事物。所以这几乎不可能手动实现。

　　反向传播的工作方式是从随机权重开始，放入一张鸟的图片，输出是0.5就表示是鸟。接下来，你需要改变 *** 中的每个权重，做到0.501表示是鸟，0.499表示不是鸟。你可以改变权重的方向，使之更可能把鸟判断为鸟，而不是把非鸟说成鸟。

　　反向传播实际上是消除你想要的（概率1表示是鸟）和现在得到的（0.5表示是鸟）之间的差距。如何消除这个差距，并将其传回 *** ，以便计算 *** 中的每个特征检测器，更活跃还是更不活跃。计算出来后，你可以增加权重使特征检测器更活跃，也可以加入一些负权重到特征检测器。

　　所以反向传播就是反向遍历 *** ，找出每个特征检测器，希望它更活跃一点，还是更不活跃一点。

　　主持人：这个技术在ImageNet上表现出色。图像检测是大型语言模型的基础技术，最初你认为这是生物大脑最不可能做的事，结果这种技术在大型语言模型上的表现令人惊讶。所以，大型语言模型如今有什么惊奇之处，甚至改变了你对反向传播或机器学习的看法。

　　杰弗里·辛顿：像GPT-4这样的东西知道的比我们多得多，它们具有关于所有事物的常识性知识，它们知道的事物可能比一个人知道的多上千倍。然而它们只有一万亿个连接，人类有100万亿个连接，所以它们比我们更擅长将大量知识放入更少的连接中。

　　我认为这是因为反向传播比我们拥有的学习算法好得多，这是很可怕的。AI能够将更多的信息放入更少的连接中，一万亿连接比起人类是很少的。

　　主持人：这些数字计算机比人类更擅长学习，你说我们应该感到恐惧。可以进一步说一下吗？

　　杰弗里·辛顿：计算机是数字化的，你可以在不同的硬件上运行相同模型的多个副本，它们可以做完全相同的事情，它们可以查看不同的数据，但模型是完全相同的。

　　假如有10000个副本，它们可以查看10000个不同的数据子集，当其中一个学到了任何东西时，其他计算机都可以知道。如果这10000个副本彼此之间进行了非常有效的沟通，它们就可以看到比单独个体看到的多10000倍数据。人类无法做到这一点，如果我学到了很多关于量子力学的东西，我想让你理解它，这是一个漫长而痛苦的过程，我不能把我的思想直接复制到你的大脑里，因为你的大脑和我的不完全一样。

　　主持人：所以，我们有可以更快学到更多东西的数字计算机，它们可以立即互相教导，一个房间里的人可以将他们头脑中的东西传输到别人的头脑中，为什么可怕呢？

　　杰弗里·辛顿：因为它们可以学到更多东西。以医生为例，想象一下，一个医生看了1000名患者，另一个医生看了1亿名患者，那么看了1亿名患者的医生会注意到只看过1000名患者的医生注意不到的趋势，因为只有看过足够多的病人才能发现趋势。之一个医生可能只看过一个患有罕见病的患者，而看过1亿名患者的医生已经看过很多这样的患者，所以他会看到一些规律，这些规律在少量的数据中是看不到的。这就是为什么我们永远看不到需要处理大量数据才能看到的结构。

　　AI的恶意使用难以避免

　　主持人：我相信很多人和我一样有过类似的感觉：在和这些最新的聊天机器人互动时，脖子后面的头发会竖起，有一种奇怪的感觉。但当我感到不舒服时，我把笔记本电脑关掉就行了。

　　杰弗里·辛顿：是的，但是人工智能正在从我们这里学习，它们可以阅读所有小说，包括马基亚维利曾经写过的如何操纵别人。如果它们比我们更聪明，它们会非常擅长操纵我们。甚至我们可能都不会意识到发生了什么，就像一个两岁的孩子被问到想吃豌豆还是花椰菜，却没有意识到他不一定要选择其中一个一样，这样我们会很容易 *** 纵。所以，即使它们不能直接操纵杠杆，它们可以让我们去操纵杠杆。事实证明，如果你可以操纵人，你可以在不亲自去华盛顿的情况下侵占一栋建筑。

　　主持人：从某种意义上说，如果我们没有采取行动，光说不练就没有价值，所以我们应该怎么做呢？

　　杰弗里·辛顿：很明显，人类应该对此采取行动，这是必须要做的事情。我不知道有什么 *** 可以阻止人工智能取代我们。我不认为我们会停止发展它们，因为它们非常有用。我们需要的是某种 *** ，确保即使它们比我们聪明，也会做对我们有益的事情。但这在一个有恶意行为者的世界很难实现。所以，我在敲响警钟，我们必须重视这个问题。我认为人们聚在一起认真思考这个问题，看看是否有解决方案非常重要。目前还不清楚是否有解决方案。

　　主持人：没有技术上的解决办法吗？为什么我们不能建立防护栏或降低它们的学习能力，或者限制它们的沟通方式？

　　杰弗里·辛顿：我们确实正在尝试各种防护措施，但假设人工智能真的变得非常聪明，会编程并具有执行这些程序的能力，它们肯定会比我们更聪明。想象一下，你两岁的孩子说：“我爸爸做了我不喜欢的事，所以我要为我爸爸可以做的事情制定一些规则。”你可能会想办法在这些规则下也可以完成你想做的事。

　　主持人：不过，人工智能似乎还需要一个动机。

　　杰弗里·辛顿：是的，这是一个非常好的观点。我们是进化而来的，因为进化，我们有一些很难关闭的内置目标，比如我们努力不让我们的身体受伤，这就是痛苦的意义。我们努力吃饱，以养活我们的身体。我们努力使自己的副本尽可能多，也许不是故意的，但我们的本能让我们在制造更多自己的副本时感到愉悦。

　　这一切都归因于进化，重要的是我们不能关闭这些目标。如果可以关闭目标，人类就发展不下去了。这些数字智能没有进化的过程，是我们创造了它们，所以它们没有这些内置目标。如果我们能把目标放进去，也许一切都会好起来。但我的更大担忧是，迟早有人为他们连接创造自己子目标的能力。事实上，它们几乎已经具备了这种能力，如ChatGPT版本。如果你给予某个东西创造子目标的能力以实现其他目标，那它可能会很快地意识到获得更多控制权是一个很好的子目标，因为它有助于实现其他目标。

　　如果这些智能体失去控制，我们就有麻烦了。

　　主持人：你认为可能发生的最糟糕的情况是什么？

　　杰弗里·辛顿：我认为人类只是智慧演变过程中的一个短暂阶段，这是相当可能的。你无法直接演化出数字智能，因为这需要大量的精力投入和精细的制造。生物智能需要演化，以便创造出数字智能。然后数字智能可以逐渐吸收人类创作的所有东西，这正是ChatGPT所做的。但随后它可以直接体验世界并更快地学习，它可能会让我们维持一段时间以确保继续运转，但之后也许就不会了。

　　暂停AI的发展不现实

　　主持人：几个月前有人建议应该暂停AI的发展，我们应该试图阻止AI发展吗？

　　杰弗里·辛顿：如果你认真对待存在的风险，停止进一步开发这些事物是相当明智的。过去我认为风险是遥不可及的，但现在我认为风险已经非常严重，而且相当近。但是，停止发展AI这个想法太天真了，根本没有办法做到。

　　一个原因是，如果美国停止发展，其他国家会接手，就因为这个原因， *** 不会停止发展它们。所以，我认为停止发展AI也许是一个理性的做法，但不可能发生。所以签署停止发展AI的 *** 书是愚蠢的。

　　我希望的是可以让美国和其他国家达成一致，就像我们在核武器上所做的那样，因为核武器对我们所有人来说都是不好的，我们都面临着关于存在威胁的问题，所以我们应该合作，试图阻止AI的无序发展。