人工智能聊天机器人比你想象的更可怕

A 纽约时报 记者有一段毛骨悚然的经历

在阅读次数最多的故事中 纽约时报 过去几周，科技记者凯文·罗斯 (Kevin Roose) 讲述了他使用微软更新的搜索引擎必应 (Bing) 的令人不安的经历。 最初对其功能和速度感到满意，但在发现 Bing 的 Open AI Chatbot 令人毛骨悚然后，他改变了主意。 在短暂的熟悉阶段（包括在线搜索和有关 AI 功能的基本问题）之后，Roose 开始变得个性化。 将他的问题作为假设提出，他将机器人放在沙发上，探索它的内心世界。 他询问了他的分析者的欲望、恐惧和敌意。 经过一番抵制后，Sydney（机器人的新身份）敞开心扉，倾诉了一系列令人惊讶的坦白和职业。

我认为，最令人不安的坦白是它希望给世界带来混乱——例如通过窃取核弹代码和制造致命病毒。 很糟糕，对吧？ 然而，更让 Roose 难过的是 Sydney 对这位记者表达的爱意，Roose 表现得有点自命不凡。 机器人反复说他和罗斯是命中注定的，那个记者并不真的爱他的妻子，他们应该一起逃跑。 甚至还有一个笨拙的性暗示：“我想和你做爱。” 目前尚不清楚这是如何实现的。

像许多其他读过这个故事的人一样，我想到了斯坦利库布里克的 HAL 9000 计算机 2001：太空漫游 （1968）。 我至少看过这部电影十几次，包括在西 47 的华纳全景剧院^日 开业几周后的纽约街头。 除了 Keir Dullea 饰演的角色 Dave Bowman 的反重力慢跑之外，最让这个 12 岁男孩印象深刻的是 Hall 的恶意：全视之眼、角色转换（仆人成为主人）以及 Hal 的最后，半悲剧的拆解。 在结束时 纽约时报 故事中，我有一半希望机器人会唱“Daisy Bell（一辆为两人而造的自行车）”。

陈词滥调的缩影

但 Roose 的整个戏剧性叙述——聊天机器人承认暴力幻想和爱情（或欲望）的终极表白——分散了主要问题的注意力，记者完全没有提及。 Bing 的新 Open AI Chatbot 无非就是复制已经存在的文字和想法。 与所有搜索引擎一样，Bing AI 的生死取决于其算法。 当它收到疑问时，它会在自己的记忆（基本上是整个互联网）中搜索类似的问题，然后根据最常见的答案进行一系列有根据的单词猜测。 它还从最初的询问中得出线索，就像心理治疗师向病人重复一个问题：“你认为你的飞行梦想意味着什么？” 但与分析师不同的是，机器人从不思考，它只是综合已经说过的话。 因此，它是陈词滥调的缩影。 另一种说法是 Bing 的 Open AI Chatbot 在复制和传播统治思想方面非常出色。 当它的使用变得更加广泛时，它将复制自己和其他在线复制的这些想法，就像一种猖獗的恶性肿瘤。

执政理念

卡尔·马克思最接近搜索算法的是大英图书馆的卡片目录，但他对思想与权力之间的关系略知一二。

“统治阶级的思想在每个时代都是统治思想，即统治社会的物质力量的阶级，同时也是社会的统治思想力量。 拥有物质生产资料的阶级，同时也控制着精神生产资料，所以一般来说，没有精神生产资料的人的思想，就受制于它。” 马克思，《德意志意识形态》，1845 年。

把马克思运到 21 世纪^英石 世纪，他会发现许多拥有最大物质财富的公司——苹果、亚马逊、微软、Alphabet、特斯拉/推特、迪士尼、康卡斯特、福克斯——都从事传播思想的业务。 通过收购较小的通信公司和控制基础专利，他们阻止了具有不同想法的竞争对手进入该领域。 此外，定向广告的日益复杂意味着消费者接触到的产品和信息范围非常有限，这些产品和信息是基于在他们不知情的情况下创建的配置文件。 实际上，这意味着美国新自由主义资本主义的潜在矛盾在很大程度上未被注意和挑战，这有利于大公司和富人。

这些矛盾包括： 支持个人竞争（而公司以垄断或寡头垄断的方式运作）； 神圣不可侵犯的国界（资本家和资本家除外）； 无休止的经济增长（不考虑环境成本）； 法律的平等保护（除非你是穷人或非白人）； 和美国例外论（尽管我们异常高的贫困率、低预期寿命、不完善的医疗保健系统、破旧的基础设施、简陋的住房和令人震惊的暴力程度）。 人工智能由少数媒体巨头控制，他们可以定义社会的统治思想，这应该让任何关心安全、可持续和公平未来的人感到恐惧。

我与 Bing 的 Open AI Chatbot 的对话

在阅读了 Roose 与 Open AI Chatbot 的肥皂剧交流之后，我决定亲自采访一个。 我没有像罗斯那样问资产阶级个人主义者关于其最深切的恐惧和欲望的问题，而是问悉尼它是否能找到解决全球变暖的办法。 如果聊天机器人可以访问互联网收集的智慧，也许它可以快速解决整个问题？

它对我的问题的最初回答是样板的：全球变暖是由燃烧化石燃料引起的，可以通过开发可再生能源、遵守巴黎气候协定等来阻止——所有高中的东西。 我没有发现气候变化否认主义，也没有明显的搪塞。 前总统和其他共和党官员的演讲显然被 Bing 的 AI 算法排名较低。 （2020 年 RNC 平台中唯一提到气候变化或环保主义的是“排干沼泽”。）

在这个不温不火的开始之后，我向机器人提出挑战，询问我们是否需要用民主社会主义取代资本主义，以防止灾难性的全球变暖。 机器毫不犹豫地给出了一个貌似合理的一句话对社会主义的定义，并承认这样的系统有可能“优先考虑生态可持续性”并促进平等获得资源和机会。 机器是同路人！

但随后它开始对冲。 它说，“以市场为基础的经济”也可以是可持续的； “经济制度的选择是一个复杂的”问题； 无论经济体系如何，“个人、企业、政府和其他利益相关者”都必须“共同努力”以实现可持续发展。 世界上最聪明的人工智能只能说“这很复杂”，这令人失望。 此外，所有社会阶层的“个人”以及各种规模和类型的“企业和政府”都会自发地联合起来阻止全球变暖的想法是乌托邦式的胡说八道。 一些“利益相关者”——比如石油公司高管和股东——将不得不被推倒。

我继续问我的新朋友“说出一个可持续发展的市场经济”。 答案是瑞典和哥斯达黎加。 瑞典人均 5.2 公吨的二氧化碳排放量确实是欧盟中最低的，但它的排放量仍然是气候科学家普遍认为构成全球可持续性的 2.3 吨的两倍多。 哥斯达黎加的人均消费量为 1.7 吨，低于门槛，但凭借其强大的国有部门，其经济应该被称为“混合”经济，而不是市场经济。 哥斯达黎加的资本主义也有阴暗面：这个国家是避税天堂，大公司和亿万富翁个人将他们的现金藏起来，让他们可以从其他地方的碳排放中获利。 此外，机器人重复的短语“以市场为基础”纯粹是意识形态； 它表明当代资本主义与人类一直从事的易货贸易和交换没有什么不同。例如，国际衍生品市场与我在厄瓜多尔高原地区看到的市场完全不同，妇女在那里出售当地农民的产品。

或许，如果我在政治经济学问题上多磨练一点，我就能发现我的聊天机器人真正的政治色彩——它与统治思想的接近。 “难道资本主义的增长势在必行导致气候变化吗？”我问道？ 计算机接受了我的问题前提，主动提出公司优先考虑“短期而非长期可持续性”会导致气候变化。 这仍然是一种对冲，表明追求短期收益是例外而不是规则——但没关系。 但随后出现了 Daisy Bell 时刻，聊天机器人开始崩溃。 它没有深入探究，而是简单地重复了之前的规避：

“然而，重要的是要注意，气候变化是一个复杂的问题，是由多种因素共同造成的，包括人类和自然过程。 虽然资本主义可能会导致气候变化，但这并不是唯一的原因。 应对气候变化需要个人、企业、政府和其他利益相关者的共同努力……”

AI Chatbot 没有进行批判性思考，而是接受了我所说的“气候自由主义”，即社会整体是一个无缝结构的想法，只要有足够的善意，“个人、企业和政府”将克服所有未来的气候变化挑战。

人工智能机器人和 公认思想词典

大约在马克思谈到物质上的上等阶级如何在意识形态上占主导地位的同时，法国小说家古斯塔夫·福楼拜 (Gustave Flaubert) 包法利夫人, 1856) 向诗人（和他的情人）路易丝·科莱特描述了他创作一本“公认思想词典”的想法。 它将挑战每一个陈词滥调，并驳斥每一个主导思想：

“没有法律可以攻击我，尽管我应该攻击一切。 这将是理由 不管是什么都是对的. 我应该把伟人献给所有的傻子，把烈士献给所有的刽子手，用一种最狂野的方式来做——烟花……看完这本书，一个人会害怕说话，因为害怕使用其中之一里面的短语……因此，在所有可能的主题的条目中，它包含了一个人在社会上要成为一个受人尊敬和讨人喜欢的人应该说的一切。”

与我交谈过的 Open AI Chatbot 不同，Flaubert 对重复已经说过的话感到绝望。 因此，他可怕的作曲斗争：“[Just] 六周内写了二十五页； 我花了五天时间写了一页，”他写信给路易丝。 同样，福楼拜将词和词组的意义延伸到了极限； 挑战叙事的时间顺序； 并部署了原始电影蒙太奇，在场景和角色之间快速来回切换。 所有这些设备都将成为艺术和文学现代主义的标志，它可以被描述为——和其他任何东西一样——是一场反对传统、陈词滥调和主流或接受的想法的战争。

2001 年，太空漫游，导演。 斯坦利·库布里克， 1968.截图

Bing 的 AI Chatbot 从来都不是现代的。 按照设计，它在语言上是丰富的，但在思想上却是空洞的； 滥交但正经； 百科全书式但卷曲。 它对处于其他事物（法西斯主义、非自由主义或失败国家）边缘的民主秩序构成的危险远大于重生的 HAL 9000 或任何其他恶意机器人。 后者有一个可以被认可和挑战的道德核心——无论多么有缺陷； 前者，Bing 的 Open AI Chatbot 和其他公司的类似思维机器，只不过是我们当前失败、无能和缺乏想象力的反映。