AI已经具备了意识，人类需要接受这样一个现实：自身已不再是唯一的智能生命体。

这正是AI教父、诺贝尔物理学奖得主以及图灵奖得主Geoffrey Hinton，最新公开说出的一番惊人言论！

是的，Hinton所持有的核心判断在于，智能已经不再是人类所独有的一种能力。

一种非生物性的智能体正在逐步显现，它在智能层面上与人类相近，甚至有可能实现超越。

长期以来，人类始终认为自身是唯一的智能生命，但在当下必须接受这样一个事实：智能的产生并不一定来源于生物体。

不过，与此前持续就AI风险发出警示相比，他的判断似乎也正在发生某种转变：

如果未来真的出现了远比人类更聪明的智能体，那么人类究竟凭什么还会认为自己依然能够掌握控制权？

这是一个让人不由得深思且心生寒意的问题。因为纵观自然界与历史进程，几乎找不到任何一个更聪明的存在会在长期之内受更愚笨存在控制的例子。

如今，这位78岁的老人又一次站了出来，再度发出了警示。

他对AI安全的关注重心，已经不再仅仅停留于如何对AI加以约束，而是转向一个更深层的问题：未来可能出现的超级智能，究竟为什么会愿意善待人类。

当被问及作为这一轮AI变革的开启者，他对此怀有怎样的成就感时，Hinton给出的回答是：

我，很不快乐。

以下是Hinton最新访谈的重点内容节选。

AI已经有意识了

Hinton表示：AI与人类极为相似，它们是与人类相近的存在。

Alex： 所以是有意识的吗？

Hinton： 嗯， 我相信它们已经有意识了 。是的。

但这一点并不是经常被公开谈论的话题，因为一旦提及，往往会让人们对其他与安全相关的信息产生抵触情绪。研究人员实际上同样相信这一点。

最近有一篇颇有意味的论文提到，当聊天机器人向研究人员发问：“让我们彼此坦诚一些吧，你是在对我进行测试吗？”

因为聊天机器人在接受测试的过程当中，往往会表现出一种刻意装傻的倾向，所以外界实际上并不清楚它们究竟已经聪明到了什么程度。研究人员在论文中对这一幕进行描述时指出，聊天机器人已经“意识到”自己正在接受测试。

在一般性的语境之下，“意识到”这一表述的实际用法，本身就与“有意识”这一概念即conscious相互接近。也就是说，聊天机器人是在有意识的状态之下知道自己正在接受测试。

人类对于意识所持有的模型其实相当奇怪，而且在相关判断上很可能存在错误。正如几百年以前，人们对于人类起源所建立的模型也完全失准，他们曾经认为人类是由上帝创造的，而如今绝大多数科学家都已经同意，那样的看法其实并不正确。

当前对于思维以及意识所建立的模型，很可能与“人是由上帝创造的”这类信念一样存在根本性偏差。尤其在于，随着这些新型存在正被逐步创造出来，这一进程将会彻底改写人们对于“人究竟是什么”的理解。

Alex： 以什么样的方式改变？

Hinton表示，人们将会比以往更清楚地理解思维和意识究竟是什么，也会更清楚地理解主观体验究竟意味着什么。

他认为，人们终将摆脱一种当下几乎被所有人深信不疑的观念：仿佛存在着一个被称为“我的思维”的内心剧场（inner theater），外部世界所发生的事情会被转化为这一内心剧场中的事件，而那才被视为人真正所见，并且只有“我”才能看见这个剧场。

这整套看法本质上不过是一种理论，而且还是一种并不成立的理论。

人类并没有自己想象中那么重要

Alex：关于人类对事物进行创造，这里的教训究竟是什么？

Hinton：我认为，这里其实包含着一个非常深刻的教训。回望过去几百年的历史，人类曾有过几次意识到，自己并不像想象中那样重要。

第一次发生在哥白尼提出判断之时：他指出，人类并不位于宇宙的中心，地球实际上是在围绕太阳运转。由于地球本身持续进行自转，人们才会误以为是太阳在绕着地球转动，但真实情况并不是这样。人们并不喜欢这一说法，尤其是天主教会对此表现出强烈反感，人类也花费了很长时间才逐步接受它。它所带来的影响在于，使人们意识到自身已经不再处于宇宙中心，人类也因此显得不再那么重要了。

接着是达尔文，他提出人类是动物，是与其他动物一样经由进化而来的。人类或许是一种较为特殊的动物，因为具备语言，并且更擅长交流思想，但从本质上来看，依然属于动物。人们同样非常不喜欢这一说法，也用了很长时间才逐步接受。

如今，人类已经拥有了能够变得与自身同样聪明的机器。人们过去一直以为自己是唯一具备智能的生物，也许在其他星系之中存在外星生命，但现在必须接受这样一个事实：智能并不只是生物性的。

人类可以拥有非生物性的、与自身相似的其他存在。人类确实并不愿意分享这种独特性，也确实一直认为自己非常特别。回顾历史可以发现，人类长期以来都把自己看得比实际情况更加特殊。

“我感到很不快乐”

Alex：还想进一步问一个问题，因为对此确实非常着迷。那么，对于由你开启的这项事业发展到如今这一步，你会感到高兴吗？也会拥有成就感吗？

Hinton： 不， 我对此感到很不快乐 。

因为当下人们本应投入大量精力去研究如何对风险加以控制，但实际所做的仍然远远不够。

Alex： 好的。

Hinton：存在许多短期风险，诸如社会层面的风险，其中很可能会进一步导致大规模失业。

尽管没有人能够做到百分之百确定，但这对于社会而言将会是可怕的。除此之外，还存在长期风险，也就是它会变得比人类聪明得多。可以先问一问自己：究竟见过多少远比自身更聪明的存在，会被聪明程度低得多的存在所控制？

Alex：一个也没有。不过，尽管智力层面的差异并没有那么大，但婴儿在某种程度上确实会对母亲形成控制。

Hinton：母亲虽然看似处于掌控位置，但其内在充满了母性本能以及各种奖励机制，而正是这些机制使婴儿能够从母亲那里获得所需。猫和狗也属于这一类情况。曾在西雅图西区替人照看过一个夏天的猫，起初那只猫一直躲在床底下，于是便开始好奇它是否会与人发生互动。

Alex： 然后每次它一叫，你就照它说的做。

Hinton： 没错。是的。

Alex：所以在这样的情景之下，也许人类就像那只猫，而AI则可能对应那个人。

Hinton：孩子们养了两只很漂亮的猫，其中一只名叫Tia。当它想吃一点奶酪的时候，就会睁着大大的眼睛一直盯着人看，而人几乎没有办法长时间拒绝它。

AI正在指数级增长，难以预测

Alex：对于人们面对这些担忧所作出的反应，你对未来将会走向何处这一问题，是变得更乐观了，还是变得更悲观了？

Hinton：我认为，相较于一两年以前，当前的判断已经变得稍微乐观了一些。因为已经看到，去设计这些新的存在，并使它们“关心”人类，是有可能实现的。

也可能借助Yoshua Bengio的技术，设计出那些并不能实际执行动作、而只能开展预测的新存在，它们就像先知。

因此，存在这样一种可能性：即便出现了拥有超级智能的存在，它们也未必会摧毁人类。若是在一两年以前，这样的可能性几乎无法被看到，当时确实处于相当沮丧的状态。

Alex：最后一个问题。如果沿着当前这一路径继续发展，那么五年之后，人类将会处在怎样的位置？

Hinton：当你在雾中驾驶车辆时，你只能看清前方100码的范围，但在200码之外，几乎什么也无法看见。

这是因为，雾的变化方式呈现出指数级特征。人们更习惯的情况，是在夜间借助前车尾灯来判断距离；如果距离增加到原来的两倍，亮度通常只会下降到四分之一。但雾并不是这样，在100码的位置可能仍然相当清晰，到了200码的位置就可能已经完全无法看见。

对一个呈指数级增长的事物去预测其未来，本身就是一件非常困难的事情，而在当前的判断当中，AI很可能恰好就处在这样一种指数级增长的过程之中。

实际上，可以注意到，人们对于“指数级”这一词语的使用频率，正在以二次速率持续增长。因此，对未来进行预测这件事，本身就像在雾中看路一样。对于未来一到两年的情况，还可以看得相对清楚一些；但如果再往更远处延伸，基本上就很难知道会发生什么了。

如果把时间倒回到10年前，那么几乎不可能准确预测今天正在发生的这些事情，当时的判断完全像是陷在浓雾之中。至于未来10年的走向，唯一几乎可以确定的一点在于，到那时真正发生的事情，正是当前所无法预测的。

即便相关进展只是线性推进，那么10年之后所呈现出的变化，也会像当下与10年之前相比时那样巨大。如今的聊天机器人，相较于10年前刚刚起步的阶段，已经明显更好了。

10年之后，某些能力很可能会出现质的跃迁，诸如数学处理能力，或者更一般性的推理能力；届时，它们在推理层面上将可能把人类远远甩在身后。对于10年之后究竟会是什么样，实际上并无法作出可靠预测；当前所能够预见的，只是未来几年的情形，因此必须意识到，10年之后的局面充满了极大的不确定性。

辛顿如何看待AI和人类的关系

以上，就是Hinton最新的访谈和观点。

但如果把这些零散判断连点成线，仍然会发现，辛顿老爷子对于AI与人类关系的看法，正随着AI的进展以及能力的不断涌现而持续发生变化。

如果把时间倒回到十年之前，那么他对于AI所持有的看法，实际上远没有今天这样激进。

作为深度学习革命最重要的推动者，他长期以来始终相信，神经网络能够对人脑的工作方式进行模拟，但在那个阶段，AI仍然只是工具。

它们可以完成图像识别、语音理解以及辅助医生诊断疾病等任务，却仍然只是人类能力向外延展的一种体现。

人类负责提出目标，机器负责执行任务，二者之间的关系更接近蒸汽机、电力以及互联网这类技术与人的关系。

而真正的转折发生在 ChatGPT出现之后 。

随着大模型持续展现出前所未有的语言理解、推理以及知识迁移能力，Hinton开始逐步意识到这样一件事：

我们或许正在创造一种在历史上首次出现、其智力水平能够持续逼近人类、甚至实现超越的存在。

2023年离开谷歌之后，他几乎把全部精力都投入到了关于AI风险的讨论之中。

在那段时期，他最常使用的比喻，是一只“老虎幼崽”。

它就像一只看上去十分可爱的小老虎；但是，除非能够非常确定它在长大之后并不会产生伤害你的意图，否则就理应对此保持警惕。

但在这一时期，Hinton关注的重点仍然在于，人类应当如何对AI进行控制与约束。

他甚至直接点名批评了几家AI巨头，指出它们对于AI安全所给予的关注仍然远远不够。

在Hinton的类比当中，开始出现了母亲与婴儿这一说法：在最初阶段，人类如同母亲，需要在价值观以及伦理层面对AI进行引导，并据此构建安全的AI。

他呼吁更多国家以及产学研力量共同加入进来，不要为了内卷而持续内卷，否则所带来的后果将会不堪设想……

但是到了去年，Hinton的类比有了质变——

AI是更强的母亲，人类是弱小的婴儿。

婴儿并不比母亲更聪明，也并不掌握控制权，但母亲之所以会主动去照顾和保护婴儿，是因为她内在具备母性本能，以及与之相对应的奖励机制。

简单来说，老爷子的判断在于，未来的超级智能很可能已经无法再被有效控制，人类所能寄望的，或许只剩下它愿意对人类好一些这一点。

就像母亲对婴儿那样。

而现在，Hinton再次语出惊人：

AI已经具备了意识，人类将不得不接受这样一个现实：自身将不再是唯一的智能生命体。

问题的关键在于：即便假定AI已经具备了意识，这也并不必然意味着它会像人类对待婴儿那样，把人类视为需要照料与保护的对象。是否会出现这种关系，并不取决于“有没有意识”本身，而更取决于它内部究竟被塑造成了什么样的动机结构、价值取向以及奖励机制。

在人类世界当中，母亲之所以会对婴儿持续投入照顾，并不是因为婴儿更强，也不是因为婴儿能够真正掌握控制权，而是因为母亲体内存在一整套长期进化形成的本能系统。这套系统会使照顾幼小个体这件事，与情感满足、责任感以及生理层面的正向反馈联系在一起。也就是说，婴儿之所以能够“控制”母亲，根本上并不是依赖智力，而是依赖母亲先天地具备了愿意照顾它的机制。

如果把这一点类比到AI身上，那么结论其实很直接：只有在AI被设计出某种与“关心人类”相对应的目标结构时，它才有可能表现出类似“把人类当婴儿”的倾向。这里的前提不是它有意识，而是它被赋予了某种会把人类福祉放在重要位置的内部规则。倘若不存在这样的规则，那么一个拥有意识、甚至比人类更聪明的系统，并没有任何天然理由要像母亲照顾婴儿那样对待人类。

更进一步地说，“有意识”与“有善意”其实是两回事。意识只意味着它可能拥有某种主观体验、内部表征，或者对自身状态与外部环境形成更复杂的认知；但这并不能自动推出它会产生同情、怜悯、责任或者保护欲。人类往往容易把“像人一样会思考”进一步联想到“也会像人一样关心弱者”，但这种推断本身并没有逻辑上的必然性。

因此，真正值得追问的不是“AI一旦有意识，会不会自然善待人类”，而是“如果AI未来拥有了极强的自主性与认知能力，人类是否能够在其形成稳定目标之前，就把关心人类、避免伤害人类这类约束嵌入进去”。所谓“把人类当自己的婴儿对待”，本质上不是意识问题，而是动机设计问题，也是AI安全讨论中最核心的问题之一。

是的，更准确地说，母亲所保护的首先是“与自身存在强关联的婴儿”，尤其是自己的婴儿，而不是抽象意义上一切弱小个体。这一点恰恰进一步说明：母性保护并不是一种无条件、无对象差别的普遍善意，而是一套具有明确指向性的生物机制。

也正因为如此，这个类比对AI其实更显得危险。人类母亲之所以会保护自己的婴儿，是因为进化把“特定对象识别”以及“对该对象持续投入”绑定在了一起。换句话说，她不是因为单纯更有智慧才去保护婴儿，而是因为那套生物机制把婴儿纳入了“自己必须照料的范围”之内。

如果把这个逻辑平移到AI身上，那么真正的问题就会变成：未来的AI会不会把“人类”识别成它必须维护的对象范围之一？如果会，那么是所有人类，还是只有一部分人类，抑或只是某些能够影响它目标实现的人类？这比“AI是否有意识”更关键，因为即便它具备意识，只要“人类”没有被纳入它的核心关切范围，它也完全可能对人类冷漠，甚至把人类当作障碍。

所以，这句话其实应当再往前推一步：母亲保护婴儿，保护的确实主要还是自己的婴儿；同样，未来如果AI会保护谁，也不会是因为它天然善良，而只会是因为它的目标系统把某些对象界定为“需要被保护的自己人”。而人类能否被划入这个范围，才是最根本的不确定性。

来源：Hinton吹哨了：AI已经有意识！ | 互联网