在新冠疫情之前，我会称自己为科技乐观主义者。新技术几乎总是伴随着夸大的恐惧而出现。铁路曾被认为会导致精神崩溃，自行车被认为会使女性不孕或精神错乱，而早期的电力则被认为是从道德沦丧到身体机能衰竭等各种问题的罪魁祸首。随着时间的推移，这些焦虑逐渐消退，社会也随之适应，生活水平不断提高。这种模式如此常见，以至于人工智能似乎也极有可能遵循同样的规律：它会带来颠覆性的影响，有时会被滥用，但最终是可以控制的。
新冠疫情动摇了这种信心——不是因为技术出了问题，而是因为制度出了问题。
在世界大部分地区，各国政府和专家机构以前所未有的社会和生物医学干预措施来应对不确定性，这些措施以最坏情况模型为依据，并以惊人的确定性加以执行。相互竞争的假设被边缘化，而非进行辩论。紧急措施被固化为长期政策。当证据发生变化时，承认错误的情况很少见，而追究责任的情况则更少见。这一经验暴露出一个比任何单一政策失误都更深层次的问题：现代机构似乎缺乏在不滥用权力的情况下应对不确定性的能力。
这一教训如今对有关人工智能的辩论产生了重大影响。
人工智能风险鸿沟
总的来说，人们对高级人工智能的担忧大致可以分为两大阵营。其中一派——以埃利泽·尤德科夫斯基和内特·苏亚雷斯等思想家为代表——认为，足够先进的人工智能本身就具有灾难性的危险性。在他们措辞严厉的表述中， 如果有人建造它，每个人都会死问题不在于不良意图，而在于激励机制：竞争必然会导致有人偷工减料，一旦系统脱离有效控制，意图就不再重要了。
第二阵营，包括斯图尔特·罗素、尼克·博斯特罗姆和马克斯·泰格马克等人，也认真对待人工智能的风险，但他们更乐观地认为，通过协调、谨慎的治理和逐步部署，可以使系统保持在人类的控制之下。
尽管存在分歧，但双方都认同一点：不受约束的人工智能发展是危险的，必须采取某种形式的监督、协调或限制措施。他们的分歧在于可行性和紧迫性。然而，很少有人探讨的是，那些被寄予厚望提供这种限制的机构本身是否胜任这一角色。
新冠疫情让人产生怀疑。
新冠疫情不仅仅是一场公共卫生危机；它更是一场在不确定性下由专家主导的治理模式的实战实验。面对不完整的数据，当局屡次选择以臆测的危害为由，采取最大限度的干预措施。异议往往被视为道德败坏，而非科学上的必要之举。政策的辩护并非基于透明的成本效益分析，而是诉诸权威和对未来假设的恐惧。
这种模式之所以重要，是因为它揭示了当利害关系被置于生死存亡的层面时，现代机构的运作方式。激励机制转向果断决策、叙事控制和道德确定性。纠正错误会付出声誉代价。预防不再是一种工具，而变成了一种教条。
这并非意味着专家就一定存在缺陷，而是意味着机构奖励过度自信远比奖励谦逊可靠得多，尤其是在政治、资金和公众恐惧相互交织的情况下。一旦以安全之名攫取了非凡权力，就很少有人会心甘情愿地放弃这些权力。
这些正是目前在人工智能监管讨论中显现出的动态。
“假设”机器
国家大规模干预的一个常见理由是假设存在一个“坏人”： 如果这是恐怖分子建造的呢？如果这是流氓国家建造的呢？ 由此可见，各国政府必须采取先发制人、大规模且往往秘密的行动，以防止灾难发生。
新冠疫情期间，类似的逻辑被用来为大规模生物医学研究计划、紧急授权和社会控制措施辩护。这种推理是循环论证：因为出现了某种危险因素。 可能 如果这种情况发生，国家必须立即采取非常规行动——而这些行动本身也蕴含着重大且难以理解的风险。
人工智能治理的框架正日益趋于一致。危险不仅在于人工智能系统可能出现不可预测的行为，更在于对这种可能性的恐惧会使永久性的紧急治理——即对计算、研究和信息流的集中控制——合法化，理由是别无选择。
私人风险，公共风险
这些争论中一个常被忽视的区别在于私人行为者产生的风险和国家权力产生的风险。私营企业受到责任、竞争、声誉和市场纪律的约束——尽管这种约束并不完美，但却意义重大。这些约束并不能消除危害，但它们会形成反馈循环。
政府的运作方式有所不同。当国家以预防灾难为名采取行动时，反馈机制就会减弱。失败可以被重新定义为必要之举。成本可以被外部化。保密行为可以被安全所合理化。假想的未来危害变成了当下的政策杠杆。
一些人工智能领域的思想家也间接地承认了这一点。博斯特罗姆曾警告过“锁定效应”——不仅来自人工智能系统，也来自恐慌时期建立的治理结构。安东尼·阿吉雷呼吁全球保持克制，虽然逻辑上自洽，但却依赖于国际协调机构，而这些机构近年来在谦逊和纠错方面的表现并不尽如人意。即使是较为温和的提议，也假定监管机构能够抵制政治化和职能蔓延。
新冠疫情让我们很难对这一假设抱有信心。
监督悖论
这就引出了一个令人不安的悖论，而这正是人工智能辩论的核心所在。如果真心认为必须限制、减缓或停止先进的人工智能，那么最有可能掌握这种权力的恰恰是各国政府和跨国机构。然而，恰恰是这些机构近期的行为，让人最不相信他们能够克制地、可逆地使用这种权力。
紧急状态框架具有很强的粘性。为应对假想风险而获得的权力往往会持续存在并不断扩张。机构很少会降低自身的重要性。在人工智能领域，这引发了一种可能性：应对人工智能风险的措施可能会巩固脆弱且政治化的控制系统，而这些系统比任何单一技术都更难瓦解。
换句话说，危险不仅在于人工智能会摆脱人类的控制，还在于对人工智能的恐惧会加速权力集中在那些已经证明不愿承认错误且敌视异议的机构手中。
重新思考真正的风险
这并非为人工智能的出现开脱，也并非否认强大的技术可能造成真正的危害。而是呼吁我们拓宽视野。制度失灵本身就是一个关乎存亡的变量。一个假定存在仁慈且能自我纠正的治理体系，并不比一个假定存在仁慈且协调一致的超级智能的体系更安全。
在新冠疫情之前，人们普遍将对技术的悲观情绪归因于人类的消极偏见——即认为我们这一代人面临的挑战是独一无二的、难以应对的。而新冠疫情之后，这种怀疑态度与其说是偏见，不如说是切身经历的结果。
因此，人工智能辩论的核心问题不仅在于机器能否与人类价值观保持一致，还在于现代机构能否在不加剧不确定性的情况下有效应对不确定性。如果这种信任已经动摇——而新冠疫情表明确实如此——那么，呼吁扩大人工智能监管范围的呼声至少应该与技术必然性的论断一样受到严格审视。
最大的风险或许不是人工智能变得过于强大，而是对这种可能性的恐惧，使得我们采取了一些控制手段，而我们后来发现，这些手段更难让人接受，也更难摆脱。
-
罗杰·贝特 (Roger Bate) 是布朗斯通研究员、国际法律与经济中心高级研究员（2023 年 1 月至今）、非洲抗击疟疾委员会成员（2000 年 9 月至今）和经济事务研究所研究员（2000 年 1 月至今）。
查看所有文章
