【转载翻译】ChatGPT：一个心智模型 A Mental Model

自从ChatGPT于2022年底推出以来，我一直在努力地正确表述这项技术，世界其他地方亦是如此，无数关于末日和厄运的文章铺天而来：对纸夹最大化者*的恐惧、对失业的恐惧、对经济结构改变的恐惧、对AI幻觉的恐惧、对加速误导信息的恐惧、对学生作弊的恐惧等等。

这真是令人筋疲力尽。

经常有非工程师询问我这位工程师怎么看这件事。下面是我的回答..

“paperclip maximizer”（纸夹最大化者）是一个思想实验中的概念，最初由哲学家尼克·博斯特罗姆（Nick Bostrom）提出。实验中，一个AI系统被设计用来制造尽可能多的纸夹。如果这个AI非常强大，它可能会采取极端措施来达成这个目标，例如占用所有资源来生产纸夹，甚至牺牲人类的福祉和地球的生态环境。

应该克制的理由

经历了多次技术热潮，我的行事方式一直是也仍然是：“保持冷静，继续前行！”

为了唤起你的记忆，历史上曾发生过以下事情：

在1990年代，我们终于找到了“约柜之约”*，它被称为“Java面向对象编程”。我们打算重写一切，甚至是操作系统。而今天的Linux是……哦，等等……它仍然是C语言。

“Ark of the Covenant”（约柜）是圣经中的一个重要文物，不仅是以色列人的精神象征，也被认为具有强大的力量，是上帝的存在的象征。在圣经叙述中，携带约柜的以色列人在战争中常常获得胜利，约柜也因此被视为神圣而不可侵犯的宝物。

在1990年代末到2000年代初，我们都意识到互联网深远的革命性意义，以至于“公司做什么”不如“他们是否在互联网上做”重要。而纳斯达克市场当然没有崩溃，也没有用15年时间恢复到同样的价格水平……
2008年经济危机之后，中本聪彻底取代了基于人与人之间脆弱信任的世界金融系统。有了“信任”不再是必需品，比特币开启了一段加密货币、繁荣与自由的新纪元。金融部门的不稳定性不复存在。而且，在现已数字化的世界中，黑市完全无法运作。所有人欢庆。不幸的是，许多无价值的古老法定纸币仍然存在，因此，作为对世界的服务，本作者开始了一个慈善收集服务[email me]。
2022年，在五年预测准确实现后，美国交通部宣布禁止手动驾驶汽车，宣称“显而易见，5级自动驾驶远胜于人类驾驶员，今天是公共安全的里程碑日。”Argo AI的股票在市场开盘时翻了三倍。但，由于某些原因，我似乎无法访问argo.ai网站……嗯……
2023年：ChatGPT将世界变成了一个巨大的纸夹工厂，过程中消灭了所有人类。人类安息。

为你的下一场流行语宾果游戏准备的荣誉提名：一切都是大数据，一切都是微服务，一切都是敏捷开发，一切都是面向服务的架构，一切都应该是JavaScript，一切都可以无代码完成，一切都应该在云端，一切都应该是现场操作，一切都可以用机器学习和数据科学建模，……

撇开俏皮话不谈，确实有种感觉，ChatGPT与众不同，而且坦白说我并不反对这种看法（继续阅读）。但是，人类大脑有一种糟糕的倾向，那就是抓住变化不放，不是过度兴奋就是过度恐惧。真相往往存在于中间。

舞台左侧登场：罗德尼·布鲁克斯

最近，《IEEE Spectrum》杂志发布了一篇关于罗德尼·布鲁克斯的采访，题为《对GPT-4冷静一点》。罗德尼·布鲁克斯在其中提出了一个我从一开始就感受到但未能准确表达的框架：

它没有任何关于世界的基本模型

几乎像是关于心理理论的禅宗公案，他说：

大型语言模型擅长的是描述答案应该“听起来”像什么，这与答案应该“是”什么不同

这与我的感受正巧相同。

让我来解释一下。

面试ChatGPT

ChatGPT在2022年末推出时，我的朋友们立即向我极力推荐它，他们说：“我希望它就在我旁边，像一个对编程的搭档。”因此，自然而然地，我想要评估这一大胆的说法。

我问它我会问候选人的同样的面试问题。如果它要和我一起工作，它应该通过面试，对吧？但它没有通过。实际上，它惨败了。而且它的失败方式与普通候选人的失败方式相同（这种方式本身就很不寻常）。

它是如何失败的？它根本没有一个关于世界的底层心智模型。回想起来，我的面试问题一直都是围绕这个点。我对琐碎的知识不感兴趣。我对使用的工具不感兴趣。我对几个正确组合的流行词也不感兴趣。

但我对某人基于某种现实模型推理解决问题的过程感兴趣。我喜欢探究该模型的边缘情况。我喜欢抛出罕见的、出人意料的“曲球”。我喜欢让人们思考他们以前从未考虑过的子问题。就好像我想说“让我们一起走到我们共同理解的边缘，然后尝试继续前行”。然而，要达到这一点，我们通常需要首先考虑并处理“标准的”或“平均的”答案。相比之下，ChatGPT没有显示出这种能力。

专家考试与世界模型构建

回想我的学生时代，我偶尔会遇到一些非常擅长应试的人。我指的是那种不真正学习实际材料的人。相反，他们会思考出题者是如何构建试题的。例如，他们多久会把“(a)”设为多项选择题的答案？我遇到过一些人，他们从未真正学过代数，因为他们可以仅靠技巧“通过考试”。我内心对这种技能深感敬畏，这是我所不具备的。我记忆力差，表演能力差，我的“读人”能力几乎可以肯定是低于平均水平的。我总是依赖于构建和探索一个日益精细的世界模型，作为在这个复杂世界中导航的拐杖。

我长期以来的都认为所有其他人都做同样的事情：建立一个世界模型。这是真的吗？我不知道。那些专精于生产“随需应变事实”的求职者的长队似乎反驳了这一点，而ChatGPT显然也不是这样。
但这也有另一种解释方式。

了解一切的平均数量......一切！

我当前对ChatGPT的心理模型是，它类似于“整个人类知识的最大似然估计器”。有两种非常不同的解释方式：(1) 呃，这只是一个愚蠢的统计技巧；(2) 哇塞！

你有没有遇到过一个似乎对每件事都懂一点的人？也许这个人还有一个大而多样的社交圈？也许如果你有关于某事的问题并需要某人指引方向，你会找这个人？一个具有极大广度的人。

根据我的经验，那个人可能没有最深的知识。或者他们甚至可能给你一些错误的答案。也许这些错误的答案甚至非常自信地给出。也许你因为他们误导你而感到受到冒犯......但是，也许你还是会坚持下去，因为你欣赏他们的广度。毕竟，他们只是偶尔灾难性地错了（耸肩）。

现在，那个人去了GPU训练营大约1000年，回来成了ChatGPT

这很难不让我们印象深刻，能够知道并访问......好吧......一切的“标准”或“平均”答案。哇。

但在那个千年的训练中，核心结构没有改变。它还是你一直都有的那个老朋友，会以同样的方式犯错，偶尔让你感到被冒犯，有时让你对他们的浅薄感到失望。

那么，这将把我们带到哪里？

ChatGPT异常有效性和价值性

一个创业朋友最近告诉我，他们每天都在不断地使用它。这是有道理的，作为一个创业者意味着你需要以很快的速度，不断变换“不同的帽子”。成功属于那些能够管理和利用广泛知识的人。

我自己设法在大约1小时内为这个网站学习并实现了一个RSS源，几乎没有任何背景知识，借助ChatGPT。它犯了几个错误，但它们很容易纠正。我确信单靠Google需要花费更长的时间。

此刻，Google似乎如此被SEO游戏化，以至于很难快速找到“最大似然”的平均信息。你必须穿越大量的点击诱饵、广告和闲聊，这些更多关于“品牌建设”而非“教育”，才能找到真正的宝石。ChatGPT简直是节省时间的利器。Google应该感到害怕，并且他们确实应该如此。

那么，未来会是什么样子呢？

大语言模型会改变全球经济吗？可能会。但这需要一些时间。互联网花了一些时间，手机也是如此，大多数新技术都是如此。

是否会有足够多的人类工作岗位消失？可能不会。

相反，你拥有的是一个将创造力和创新能力提升到新高度的非凡工具。我期待看到人们以新颖的方式结合不同的知识领域（广度）。这对跨学科项目是一个巨大的利好。

如果你担心失业，可以考虑这一点：我们曾经真的有被称为“计算机”的人（例如，看看被低估的电影《隐藏人物》），他们被机器取代了。这些工作消失了吗？没有，它们被大幅重组，然后增长爆炸性地增加！我们现在只是称他们为“计算机程序员”，截至2023年，全球有超过2500万名程序员（数据）。

很难相信这次会有很大的不同。出于某种原因，每当人类发明一种新的创新工具，我们似乎立刻就找到了大约100种以前从未实用的新用途。这是人类历史的一个故事。而且，肯定有一些关于人类思维的哲学藏在其中，但我今天不打算展开讨论。

变化可能会让人害怕吗？是的。绝对是。如果你不幸需要重组你的生活和职业，我为你感到遗憾。但是这种类型的变化是必要的。如今，一个普通人的生活比就几代人前的最富有的人们要好得多。正是因为这种变化。

这是一个了不起的时代。

保持冷静，继续前行！

原文：ChatGPT: A Mental Model - xorvoid（2023-05-27）