人类的未来需要和人工智能合并，否则机器将接管一切，它们会决定如何处理我们！

我提倡将AI“装进盒子里”，简单地说，就是把它关进监狱，放在一个可控的环境里，比如当你研究一种电脑病毒时，可以把它放在孤立的系统中，这个系统无法接入互联网，所以你可以在安全的环境中了解它的行为。

亚姆博尔斯基是美国路易斯威尔大学工程学院计算机工程和计算机科学系的教授，也是网络安全实验室（Cyber Security Lab）的创始人兼现任主管，同时也是多部著作的作者，其中包括《人工超级智能：一种未来方法》（Artificial Superintelligence: A Futuristic Approach）。亚姆博尔斯基最感兴趣的领域是AI安全和网络安全，他是100多部著作的作者，研究已被全球数以千计的科学家引用。

一、我们必须对AI保持谨慎 它可能会伤害我们

【问】：你所在的阵营认为，我们必须对AI保持谨慎，因为它可能会对我们的生存构成威胁。你是怎么想的？你如何看待这个世界？

亚姆博尔斯基：AI和其他任何技术都没有太大不同，任何先进的技术都可以用于善良或邪恶的目的，AI的主要区别在于，它不仅仅是一个工具，它实际上是个独立的代理，可以做出自己的决定，所以，如果你看看其他独立代理的安全状况，比如动物，我们不太擅长确保比特犬不会发生意外。

但我们有些方法可以做到这一点，我们可以把它们拴起来，把它们关进笼子里，但是如果动物最终决定发起攻击，它依然会决定攻击，这种情况与先进的AI非常相似，我们努力让它变得安全、有益，但由于我们无法控制决策的各个方面，它可能会以多种方式伤害我们。

【问】：你描述它的方式，你的语言暗示了AI有意志，你是在暗示这种智力是有意识和自我意识的吗？

亚姆博尔斯基：意识和自我意识在科学中是毫无意义的概念，这是我们无法发现或衡量的，我们不要谈论那些事情。我要说的是，具体的威胁将来自以下几个方面：一是设计上的错误，就像任何软件一样，你会遇到电脑错误，你的价值观与人类价值观不一致，二是有目的的设计带有恶意的AI，有些人想要伤害别人，比如黑客、末日邪教意思疯狂的人，他们会故意设计出一套智能系统来执行摧毁和杀戮任务，军队就是个很好的例子，他们资助了很多研发杀手机器人的研究，这就是他们所做的，以上只是一些简单的例子，AI会为了作恶而决定做些邪恶的事情吗？不，它会决定故意做些伤害人类的事情吗？很有可能。

【问】：如你所知，我们建立AI的初衷有很大不同，你为什么你会如此认为？

亚姆博尔斯基：预测未来是出了名的困难。我不认为自己在这个领域有优势，所以我尊重别人的意见。像雷伊·库兹韦尔（Ray Kurzweil）这样的人，他们一生都在构建这些预测曲线，指数曲线。由于他是谷歌的工程总监，我认为他对这项技术有很深的了解，如果他说2045年是“奇点”诞生的时刻，我可能也会相信。人们有不同的理由做出预测，这与我们在股市、赌马场或其他任何东西上有不同赌博模式的原因差不多。不同的专家给不同的变量赋予不同的权重。

【问】：你提倡将AI“装进盒子里”这是什么意思，你会怎么做？

 

亚姆博尔斯基：简单地说，就是把它关进监狱，放在一个可控的环境里。我们已经在对电脑病毒实行类似的做法，当你研究一种电脑病毒时，可以把它放在孤立的系统中，这个系统无法接入互联网，所以你可以在安全的环境中了解它的行为。你控制环境，控制输入和输出，你就能知道它是如何工作的，它做了什么，有多危险。

这同样适用于情报软件。你不想仅仅通过在互联网上发布它来运行测试，看看会发生什么。你想要控制培训数据的输入，这是非常重要的。我们看到过许多非常糟糕的系统，比如最近微软的聊天软件Chat在没有任何控制的情况下发布出来，而用户为它提供了非常糟糕的数据。因此，出于这个原因，我提倡使用协议，以便AI研究人员可以在安全的环境中测试他们的软件。这是很有意义的。

【问】：当你想到智慧涵盖的巨大范围时，从最简单的生物到我们人类，是否可以用个恰当的类比来描述超级智能的智能化程度？比如，当我的猫把一只老鼠放在后廊上时，猫所知道的一切都在表明：我喜欢那只死老鼠，对吧？它的全部世界观就是“我想要它”。它根本就不具备理解“我为什么不要”的能力。你认为，AI会变得足够先进，以至于我们甚至不能用同样的语言进行交流吗，只是因为它是完全不同的东西？

亚姆博尔斯基：最终可能会这样。当然，一开始我们会从低于人类的AI起步，慢慢地它的智能会达到人类的水平，很快它就会以指数级的速度增长，直到它变成超级智能。就像你说的那样，我们可能无法理解它在做什么以及为何去做，甚至无法与它进行有意义的交流。

二、“智力学”、“AI完整性理论”、“机器伦理”

【问】：你们已经启动了一个新的研究领域，叫做知识分子学（Intellectology）。你能谈谈那是什么，你为什么要那样做吗？为什么你认为科学中有缺失的部分？

亚姆博尔斯基：当然可以。似乎有很多不同的科学子领域，它们都在研究智力的不同方面：我们如何衡量智力、构建智力、人类智力与非人类智能、动物、外星人以及不同物种之间的交流等。法医学告诉我们，我们可以观察一个人工制品，并试图推断出它背后的工程技术。制造这种古物所需的最低智力是多少？

把所有这些不同的领域整合起来，建立统一一的术语和工具，这样它们就可以被重新利用，并对每个领域都带来好处，这似乎是有意义的。例如，我非常关注AI技术发展。研究这种类型的智力和研究人类的智力是不同的，这就是很多错误的来源，假设人类的驱动力、渴望以及需求将被转移。

这一观点认为，宇宙中存在着各种不同的思想，这是这个领域的一部分。我们需要明白，就像我们的星球不是宇宙的中心一样，我们的智慧也不是宇宙中可能存在的思想的中心。我们只是一个可能的数据点，将其推广到人类价值观之外是很重要的。

【问】：所以它被称为“智力学”。对于什么是智力，我们并没有一致的定义。你是从哪里开始研究的，也是从“何为智力”吗？如果是的话，到底什么是智力？

亚姆博尔斯基：的确如此，DeepMind的一位联合创始人曾发表过一篇非常好的论文，该论文对100种不同的智力定义进行了调查，并试图将它们结合起来。这一组合听起来后就像是：智能是在多种环境中为实现你的目标而进行优化的能力。你可以说这种能力在任何情况下都能获胜，这是相当普遍的。

如果你是个大学生，想要获得一个好成绩，这种能力可以帮你。如果你是另一个星球上试图生存下来的外星人，它也能帮助你。关键是，如果我对这种情况进行思考，最终这种能力会让我在所有领域中学会做得更好。

例如，我们看到了AI能够学习多个视频游戏，并且表现非常出色。所以，这是一般智力的开始，至少在人工系统中是这样。它们显然还没有达到人类的水平，但它们已经开始变得足够普遍，我们可以在所有这些情况下迅速学会如何应对它们。我认为，这是对智力的一个非常有用的定义，一个我们可以理解并应用的定义。

【问】：在你的书《人工超级智能》中，你曾提到的一件事是，让机器人相信人类是神。你会怎么做，为什么会这样？这个想法是从哪里来的？

亚姆博尔斯基：我对人们提出的建议进行了调查，这是其中的一个建议。我认为它来自于神学领域，我认为它毫无用处，但我提到它是为了列出人们提出的所有观点。我和同事们曾发起“关于处理超级智能系统可能解决方案”的调查，我们查阅了大约三百篇论文。我认为这是其中之一。

【问】：什么是AI完整性理论（AI Completeness Theory）？

亚姆博尔斯基：我们认为有些问题属于根本问题。如果你能解决其中一个问题，你可以解决任何问题。研究这些问题对于了解AI进展以及我们是否达到了这样的水平是很有用的。因此，在我的一篇文章中，我将图灵测试看作是一个基本的AI完整性问题。如果你能通过图灵测试，你就会像人类一样聪明。

不受限制的测试，显然不是5分钟的测试，或者今天做的任何事情。如果这是可能的，那么你可以解决所有其他的问题。你可以帮助改进计算机视觉、翻译甚至是电脑编程。

【问】：你也写关于机器伦理和机器人权利的文章。你能简要解释下吗？

亚姆博尔斯基：关于机器伦理，基本上每个人都试图提出一个特定的道德理论，并认为其是正确的，我们应该实施它，而不去考虑它如何影响每个不同意这个理论的人。几千年来，哲学家们一直试图提出一个共同的伦理框架。当然，我们不会在未来几年取得成功。

所以，我的论点是，我们甚至不应该尝试去选择一个正确的伦理理论。这不是一个能让我们所有人都快乐的解决方案。每种道德理论都存在这样或那样的问题，众所周知的问题，如果有这样的权力体系要实施道德框架，那将会造成很多问题，造成很多伤害。

关于机器人的权利，我反对给予它们平等的权利、人权和投票权。理由很简单。这并不是因为我讨厌机器人，而是因为它们几乎可以无限“繁殖”。你可以拥有一万亿份任何软件的拷贝，几乎即时就可以获得，如果每个软件都有投票权，那基本上就意味着人类没有任何权利。意味着我们自己放弃了人权。因此，任何提议赋予机器人这种公民权利的人，本质上都是反对人权的。

三、AI会有知觉么？会感觉到疼痛么？

【问】：“红点测试”（或称镜子测试）可以在动物睡着的时候，在它们的额头上放一个点，如果它站起来，在镜子里看到它，并试图擦去它，意味着它知道镜子里的那个东西是它自己，它有自我的概念。这是个很难通过的测试，但这是一项科学测试。所以，自我意识是一个科学的想法，AI会有这样的想法吗？

亚姆博尔斯基：我们曾发表过相关论文，尽管仍在接受审查的过程，它对所有已知的意识测试进行了调查，我想应该包括自我意识。所有的人都在测量不同的意识关联。在你举的例子，的确，动物们可以认出是镜子里的它们，所以我们认为这也意味着它们和我们有相似的意识。

但对于机器人来说却不是这样。我可以给一个机器人编程，让它识别一个红点，然后在5分钟内假设它在自己的额头上。无论如何，这并不能保证它拥有任何意识或自我意识的属性。这基本上证明了我们可以探测到红点。

【问】：但你所要说的是，我们需要对AI的自我意识进行不同的测试，而你最初说AI的自我意识是个荒谬的问题。

亚姆博尔斯基：我不知道自我意识的定义是什么。如果你说的是一些非物质的、精神上的自我意识的东西，我不确定它是做什么的，或者为什么它对我们来说是有用的。

【问】：那我再问一个不同的问题吧。感觉是一个经常被误用的词。它通常被用来代表智慧，但它的意思是“能够感知某些东西”，通常是疼痛。所以，“有知觉的东西”这个问题真的很重要。感觉的概念，我们把它放在权利的旁边，因为我们说：“如果什么东西能感觉到疼痛，它就有权利不被折磨。”这难道不等同于AI吗？我们不应该问：“它能感觉到疼痛吗？”如果可以的话，你不能说：“哦，是的，它应该能够投票选出领导人。”但你不能折磨它。那将是一件合情合理的事，一件符合道德规范的事情，一件合乎道德的事情。

亚姆博尔斯基：我很赞同这个观点。我们不应该折磨任何人，包括任何强化学习者，或者类似的东西。据我所知，有两篇关于电脑疼痛主题的论文，它们都认为AI现在不具备知觉能力。

【问】：疼痛是不容易测量的，或者电脑现在不可能感觉到疼痛？

亚姆博尔斯基：对我们来说，用电脑来感知疼痛是不可能的。没有人知道如何去做，如何开始。这和我们说的模式识别不同，我们知道如何开始，并且得出些结果，准确率在10%左右，所以我们努力达到15%、40%甚至是90%。至于人工感知疼痛，没有人知道如何开始。你要为此写的第一行代码是什么？没有任何线索。

对于人类来说，我们假设其他人感到疼痛是因为我们能感到疼痛，我们也有类似的硬件。但是，你无法通过一个测试来衡量一个人的痛苦程度。这就是为什么我们给病人看十张不同的尖叫脸的照片，然后问他们：“嗯，你离这种程度的痛苦有多远，或者那个？”这完全是一种非科学的测量方法。

对人类来说，很明显我们知道疼痛，因为我们能够感受到，所以类似的设计也必须经历这些。对于机器，我们无法知道它们的感受。据我所知，没有人能够说：“好吧，我给机器编程了，所以它能感觉到疼痛，因为这就是我们使用的设计。”对于如何实现这样的东西，目前还没有任何想法。

 

【问】：让我们假设这是真的，并会持续很长时间。从某种意义上说，如果你获得了人权，意味着人类是有自我意识的，然后，你就会变得睿智，这就是智慧。所以，我们有一个自我，那个自我能被感觉到。有一种观点认为，即使是为了获得智慧，为了获得超级智能，也没有办法将其他所有的东西都砍掉，而只去获取智慧。有些人说你不能那样做，因为所有其他的东西都是智力的组成部分。但听起来你可能不同意这一点。如果是这样，为什么会如此呢？

亚姆博尔斯基：我不同意这种看法，因为我们有很多人都不是典型的神经细胞。例如，没有经历任何痛苦的人。他们是人，他们很聪明，他们当然有完整的权利，但他们从不感到痛苦。所以这个例子显然不是真的，为了达到人类的智力水平，你必须能感受到痛苦。人类有很多不同的变体，例如，没有视觉思维模式。他们用语言思考，而不是像我们大多数人那样。所以，即使这样也会消失。

我们似乎没有一套有本质的属性，那就是人类必须被认为是人类。有些人的智力很低，可能有严重的智力缺陷。但他们仍然是人。所以，有非常不同的标准，a）获得人权，b）拥有所有这些特性。

【问】：你主张把AI关进“监狱”。这种“我们需要把它锁起来，在我们还没来得及做之前”的观点，在你看来，实现它的最好方法是什么？

亚姆博尔斯基：如果我认为没有必要，我就不会这么做了。我们确实需要适当的安全机制。我们有一些好的想法，比如如何让这些系统更安全，但所有这些都需要进行测试。软件需要测试。在你运行它之前，在你发布它之前，你需要一个测试环境。这是毫无争议的。

【问】：你如何看待OpenAI计划，即我们在构建这个项目时，我们应该分享并将其开源，这样就能保持完全透明，而坏的参与者就不会得到通用人工智能（AGI）？你对此有何看法？

亚姆博尔斯基：这有助于在人与人之间传播力量，所以没有一个人能获得所有的权力，而是很多人都能获得权力。但与此同时，它也增加了危险，因为所有的疯子，所有的精神病患者，现在都能接触到尖端的AI技术，他们可以用它来做任何他们想要做的事情。所以，我们还不清楚它到底是有益还是有害。人们对OpenAI的看法分歧很大。

【问】：你不看好人类在这个星球上继续占主导地位的前景吗？我记得伊隆·马斯克（Elon Musk）曾说过这样的话：“我们之所以身在高层，唯一的原因是我们是最聪明的，如果我们不再是最聪明的人，我们就无法占据这样的地位。”听起来你好像也有类似的想法。

亚姆博尔斯基：当然，是的。套用比尔·乔伊（Bill Joy）的话说：未来也许不需要我们。

【问】：你会怎么做？

亚姆博尔斯基：这几乎涉及到我所有的研究。我想弄清楚的是，AI控制问题，控制智能代理问题是否是可以解决的。很多人都在研究这个问题，但我们从未真正确定它是可行的。我对自己的理论和其他学科的研究结果都有一定的局限性。看起来，智力和可控性是负相关的。一个系统越智能，我们对它的控制就越少。

婴儿的智商很低，我们几乎可以完全控制他们。但随着他们长大，当他们变成青少年时，他们变得更聪明，但我们失去了越来越多的控制权。而超级智能系统几乎是我们无法控制的。

四、AI的现状以及对未来的影响

【问】：现在，让我们回过头来，看看AI的当前现状以及它的影响。关于AI有很多争论，更不用说被称为“AGI”的东西，关于自动化，它将取代人类，并将会催生一个无法就业的群体以及引起社会动荡。你对此有何看法？你对人类的近期前景有什么看法？

亚姆博尔斯基：的确会出现这些现象。我们肯定会有很多人失去工作。我正准备为会计师会议做演讲，我有个坏消息要告诉他们，大概94%的会计师会在未来20年失去他们的工作。这就是现实。幸运的是，聪明的人会找到更好的工作和其他工作。但对很多人来说，他们没有受过教育，或者没有认知能力，他们在这种经济中不再具有竞争力，我们将会看到无条件的基本收入，无条件的基本资产等新机制来阻止革命爆发。

【问】：AI的发展速度要比机器人快得多，因为机器人具有所有这些物理上的限制，而且在18个月的时间里，它的性能无法翻倍。作为一个整体，你认为脑力工作会比体力工作更危险吗？

亚姆博尔斯基：最重要的是，你的工作有多少重复性。如果你做的事情总是重复性的，不管是身体上的还是精神上的，被自动化取代将不可避免。如果你总是在做一些比较新奇的事情，那么现在这就接近了AI的完整性。尽管事情并非完全如此发展，但在这个方向上，取得进展要困难得多。

【问】：在过去250年时间里，我们经历了技术革命，可以说，它可以和AI革命相提并论。我们拥有机械化，用工业电气化，蒸汽的普及，所有这些似乎都是非常具有颠覆性的技术。所以，关于这一点的理论是，当我们开发一种新工具的时候，人们就会采用它，并用它来提高自己的生产率，这就是为什么你的失业率永远不会超过4%到9%的原因。在你看来，这种逻辑有什么问题？

亚姆博尔斯基：你将工具和代理搞混了。AI不是一种工具，而是一种独立的媒介，它可以将人类作为工具，而不是反过来。所以，举例来说，我们有以前的奇点，不管是文化的还是工业的，它们都是错的。你在将苹果和土豆进行对比。显然，它们没有什么共同之处。

【问】：电话总机接线员，或者是旅游代理商，或者是股票经纪人，或者打字机维修工。这些都是被科技取代的工作，不管你在技术上说了什么，都不会改变这个简单的事实。科技出现了，它颠覆了就业世界的规律，然而，失业率永远不会上升。请帮助我理解为什么AI会再次变得不同。

亚姆博尔斯基：当然可以。假设你有一份工作，需要将屋顶固定在房子上，或者类似的东西。所以，我们给你一个新工具，现在你可以有一把射钉枪了。有了这个工具，你的效率提高了十倍，所以你的9个朋友失去了工作。你在使用工具。“射钉枪”永远不会决定成立一家建筑公司，并自己创业然后炒了你。

我们正在开发的技术从根本上是不同的。它是一种代理。它有能力自我提升，我指的是未来的AI，而不是今天AI。它能跨领域学习。它和人类一样聪明。所以，它有能力取代你。你会成为这个混合系统的瓶颈。你不再拿射钉枪了。你对这个系统没有任何贡献。

因此，我们很容易看到所有的工作都将完全自动化。通常的逻辑是，被自动化取代的工作已就会消失，但是现在我们有了这个新工作，我们不知道如何对其实行自动化，所以你可以得到一份新工作，也许更好的工作，对这种先进的技术进行控制。但如果每项工作都是自动化的，根据定义，你有100%的失业率。但事实并非如此，你仍然有工作可做，甚至非常体面的工作，因为人类想要的是人类制造的艺术品，或者是手工制品，昂贵的奢侈品，但它们只是市场的一小部分。

如果AI在任何领域都比人类做得更好，人类就没有竞争力，所以我们所有人都将失去工作。有些人会更早失去工作，如果AI有人类水平的智慧，没有任何不能被自动化取代的工作。

【问】：所以，你的论点是，将来AI的能力超过我们时，即使是相对较小的幅度，每一项新工作，它们都会比我们更快地学习，因此，就好像你永远找不到用武之地那样。对系统来说，你总是多余的。

亚姆博尔斯基：没错。而且，新的工作岗位最初不会是为人类操作员设计的。首先，它们会为机器而简化，这样我们就不会有任何竞争优势了。例如，现在我们的汽车是为人类设计的。如果你想在车上加入自动驾驶功能，它必须要与车轮和刹车踏板等部件兼容，让它实现转换。

然而，如果从一开始，你就设计它与机器一起工作。你建造智能道路、智能标志，人类在任何时候都将不具有竞争力。从来没有一个入口点能让一个人有更好的答案。

【问】：似乎你有一个核心的假设，那就是最终人类的大脑将成为机器，我们可以复制这台机器，它将完成人类机器所能做到的一切，甚至更好。有人可能会说，这是一种非科学的飞跃。你用我们不理解的东西举例，它有我们不理解的紧急属性，有我们不明白的意识，你会说：“哦，是的，100%肯定我们能超越自己的智慧。”凯文·凯利（Kevin Kelly）称这种现象为“货物崇拜”。就像这个想法：哦，好吧，如果我们只是做些类似的东西，它会比我们更聪明。它带有一些完全不科学的味道。你会怎么说？

亚姆博尔斯基：首先，机器在几乎所有领域都比我们更聪明。无论你在谈论什么，玩游戏，投资股票市场……以及当前我们知道自己在做什么的任何领域，似乎机器都已经处于人类的水平，或者很快就会超越我们，因此，认为这种趋势将会持续下去并不显得疯狂。这种情况已经持续了很多年。

我不需要完全理解这个系统要比那个系统做得更好。我不知道鸟类是如何诞生的。我不知道鸟类体内的细胞是如何工作的。这似乎很复杂。但是，我乘飞机去欧洲，而不是鸟。

我们不知道孩子们是如何学习的，两岁的孩子如何能成为完整的AGI。所以，在我们知道自己在做什么的领域里，比如在比赛（国际象棋）中击败人类方面，许多公司花费了数百万美元资金，还有无数人为之努力奋斗。然后你终于能得到一台比人类更擅长下国际象棋的电脑了，而这只是一个小游戏。

 

在遥远的未来，为什么这不可能是真的，没有理由怀疑。但就像我说的，我不会对这个日期做出预测。我要指出的是，如果你能选择人类活动的某个特定领域，你就可以解释他们在这一领域所做的事情，这不是什么随机的迷幻效果，而是“这就是他们在做的事情”，然后你必须解释为什么计算机永远无法做到这一点。

五、为了不被AI淘汰 我们的孩子应该学些什么

【问】：假设所有这一切都将发生，以循序渐进的方式进行，电脑会超越我们，淘汰我们，我知道你没有预测日期，但我们可以将事情发展的顺序粗略地进行排列。我从人们那里得到的最常见的问题是：“我应该学什么技能？”我的孩子们应该学习什么，为了有意义，还是将来能找到工作？

亚姆博尔斯基：这直接涉及到我关于AI完整性的论文。基本上，被自动化取代的工作是什么？是做AI研究的人，正在推动机器学习进步的人。当机器可以自动完成这些任务时，也就无需人类承担其他工作了。但这可能是人类最后从事的工作。

所以，一定要学习计算机科学，学习机器学习，学习AI。任何能在这些领域帮助你的东西（数学、物理），都会对你有好处。不要选择这样的专业：在你毕业的时候，我们发现这类工作已经被自动化所取代。

【问】：这很有趣，投资大亨马克·库班（Mark Cuban）曾说，他并不一定进入这个领域，但他对这个领域有很多有趣的想法。他说，如果他能重新选择，他会去学习哲学，而不是从事技术工作，因为技术工作实际上可能是机器最容易取代的事情。这是它们“自己的后院”。但是，从某种意义上说，越抽象的工作，计算机就需要越长的时间才能完成它。你如何看？

亚姆博尔斯基：我同意这种说法。这是一份很棒的工作，如果你能在世界上的数百份工作中找到这样的一份工作，那就说去做吧。但市场规模很小，竞争激烈，而机器学习的市场却呈指数级增长。它的薪酬很高，你可以加入进来。

【问】：给我们介绍下你正在做的其他事情，或者你即将发表的一些激动人心的东西。

亚姆博尔斯基：就像我说的，我正关注我们在AI安全领域所能做的事情的局限性。我正在研究的一个问题是可验证性。在数学证明和计算机软件中，什么是可以被科学验证的？尝试编非常好的软件，没有漏洞，这是计算机科学、计算机安全、网络安全的“圣杯”。这方面有很多很好的工作，但似乎我们能得到的好处有限。我们可以移除大部分的错误，但通常无法修复所有漏洞。

如果你有一个系统，每秒钟可做十亿个决定，而有十亿分之一的几率会出错，那么这些错误就会迅速累积。此外，几乎没有关于如何在新领域中对AI软件和系统学习能力进行验证的成功工作。我们所知道的所有验证工作都是针对某种确定性软件和特定领域的。

我们可以开发飞机自动驾驶软件之类的东西，并能很好地验证它，但它并不是具有学习和自我提升能力的东西。这是一个非常难以开放的研究领域。

【问】：你曾提到第一个AGI是无价的，对吧？它的价值高达数万亿美元。

亚姆博尔斯基：没错。它基本上可以提供各种各样的免费劳动服务，无论是身体上的还是认知上的，它可以带来巨大的经济利益，但如果在创造这种福利的过程中，它会摧毁人性，我不确定在那种情况下，金钱对你是否是有价值的。

【问】：你曾有过很多假设。你的工作似乎是要弄清楚，我们如何在不让自己崩溃的情况下进入这个未来？你能给我一个乐观的前景预测吗，我们能通过它来解决这个问题吗？你觉得那是什么样子？如果可以的话，让我们以乐观的态度结束这次对话。

亚姆博尔斯基：我不确定自己有什么好消息与大家分享。看起来似乎是长期的，对我们来说，一切看起来都很黯淡。要么我们将与机器合并，最终成为一个将被移除的瓶颈；要么机器将接管一切，我们将变得非常依赖于它们，它们来决定如何处理我们。

这可能是一种合理的存在，机器对我们有利，也可能更糟。但是，除了外部的灾难性变化阻止了这项技术的发展，我没有看到一个很好的前景，比如我们负责操控那些类似上帝的机器，并开始在天堂生活。这似乎不太可能。

【问】：所以，当你听说太阳耀斑爆发却没有影响到地球的时候，你坐在那里会想：“啊！我真希望它击中了我们，把这些东西都炸了。它会给人类争取40年的时间来恢复。”你可以按下一个按钮，发出巨大的电磁脉冲，然后摧毁所有的电子设备，这是最好的假设吗？你会按下按钮吗？

亚姆博尔斯基：我不主张施行任何恐怖主义行为，无论是自然还是人为的，但如果人们足够聪明地开发出这种技术，他们也应该能够理解可能带来的后果，并采取相应的行动，这似乎是个好主意。