当全世界争论机器是否能感受时,我们正悄然失去人类判断力 compound 的能力
神经科学家 Anil Seth 在他获得 Berggruen 奖的 essay《The Mythology of Conscious AI》中论证了一个令人安心的结论:AI 不会有意识。大脑不是肉做的图灵机,模拟不等于实例化,电磁场、自维持的组织、对抗熵增的生物活动——这些都无法在硅基中复现。
读者读完如释重负:人类仍在顶端,机器只是工具,意识安全地封存在生物膜内。
但这告诉我们周一早上该做什么了吗?
被忽视的真正问题
Seth 的文章没有告诉我们:
- 人机协作配置(arrangement)产生了什么
- 这种配置价值几何
- 搞砸时会失去什么
- 以及最关键的一点:我们是否在争论机器能否感受的同时,正在摧毁人类智能 compound 的条件本身
Seth 区分了智能(doing)与意识(being)——这是一个常被忽略的区别。将两者捆绑——认为足够聪明的东西必然也有感知——正是产生"有感知聊天机器人"幻想和"机器人受苦"焦虑的概念错误。
但 Seth 在消解一个二元对立的同时,又建立了另一个。他的文章运行在"属性要么属于生物有机体,要么属于计算系统"的框架内。意识是生物的,计算是算法的。问题是前者能否产生后者。Seth 的答案是:很可能不能。
50 年前就看到的真相
有三篇发表于 50 多年前的文献早已看穿了这个二元对立:
- Douglas Engelbart《Augmenting Human Intellect》(增强人类智能)
- J.C.R. Licklider《Man-Computer Symbiosis》(人机共生)
- Ted Nelson《Computer Lib/Dream Machines》
每一篇都设想了旨在深化而非绕过人类思维的计算结构,并提出了 Seth 框架无法触及的问题:当人类能力与计算能力被安排为相互 compound 而非相互替代时,会产生什么?
讽刺的是,声称要"增强人类能力"的领域,似乎根本没读过定义"增强"意味着什么的工作。
被激活的智能(Enacted Intelligence)
当放射科医生用诊断工具读片、当分析师与计算伙伴构建金融模型、当建筑师用生成系统测试结构变体时——某种既不存在于人类也不存在于机器中的东西出现了。
它不是意识,机器没有感受。但它也不是单纯的计算。它是被激活的智能:情境化的、分布式的、有方向性的、不可还原为任何一方的。
当代认知科学的主流——4E 认知(具身、嵌入、 enacted、延展)——直接指向这个领域:
- 认知分布在人、工具和环境之间
- 智能行动不是执行预设计划,而是对展开情境的持续回应
- 心智延伸到它所耦合的工具和技术之外
Seth 用这些文献论证意识不能独立于基质——身体重要,不能将心智从产生它的生命系统中抽象出来。这个结论是对的。但他没有走过这扇门。
如果认知是分布的、enacted 的、延展的,那么分析的单位就不是单个大脑(生物的或人工的),而是智能运作其中的配置。
问题不是机器是否有意识,而是这种配置产生了什么——以及我们是否正在保护或破坏它产生良好结果的条件。
结构性的认知劳动
如果 AI 没有意识——如果它没有内在意义、没有自主导向、没有独立理解——那么每一次人机协作都对人类参与者提出了特定要求:
人类必须持续地在协作场域中投射、测试和稳定意义。
语境漂移,连贯性扁平化,看似与人类意图对齐的输出悄然偏离。人类必须察觉、重新锚定、重新定向。
这不是当前 AI 系统的 bug,更好的工程也无法解决。这是与没有理解能力的实体合作的永久性结构特征。
任何认真与 AI 系统工作的人都知道这一点。这种体验在认知上是 demanding 的,需要持续注意、解释判断,以及一种特殊的在场——在不为你的互动中保持意义的意愿。
这就是工作:在无法保证连贯性的场域中维持连贯性的持续认知劳动。
被掩盖的经济价值
这就是意识争论所掩盖的:这种工作具有经济价值。
医学诊断的教训
斯坦福大学、Beth Israel Deaconess 医学中心和弗吉尼亚大学的随机临床试验:
- 使用 GPT-4 的医生与不用 AI 的医生诊断准确率没有显著差异
- 但 GPT-4 单独比两组都高出 15% 以上
同样的 AI,同样的临床任务,没有可测量的收益——因为配置是幼稚的:技术被 bolt 到现有工作流,没有设计的互动,没有结构化对话,没有保护医生的独立推理。
当协作被重新设计——要求医生和 AI 生成独立评估,然后结构化对话以暴露分歧并将医生的推理保留在循环中——诊断准确率从不用 AI 的 75% 上升到 82-85%。
差异不在数据,在人机协作配置的质量。
医药销售的教训
斯德哥尔摩经济学院和日内瓦大学的研究者将同一 AI 系统部署给医药销售专业人员:
- 当系统为专家认知风格定制——结构化权威、工作流和激励以保护专家判断——客户会议增加 40% 以上,销售额增长 16%
- 当同一系统被强加而不考虑人类如何思考——销售额比不用 AI 的基线低 20%
比没有 AI 还糟。
战略咨询的教训
哈佛、MIT、沃顿和华威的研究者研究了 758 名 BCG 顾问:
- 在 AI 能处理好的任务上,使用 AI 的顾问完成率高 12%,速度快 25%,质量高 40%
- 但在需要 AI 无法拥有的人类判断的任务上,AI 辅助的顾问表现显著差于独自工作的顾问
技术没有失败,配置失败了。当人类在需要人类判断的任务上服从计算流畅性时,协作变成了负债。
半人马 vs 半人牛
军事战略家区分两种系统:
- 半人马(Centaur):人类指挥,机器执行
- 半人牛(Minotaur):AI 指挥,人类执行其建议
BCG 研究的作者 Ethan Mollick 观察到:半人马在 AI 辅助工作上表现良好;在 AI 能力边缘的任务上,“赛博格”(与 AI 深度融合到人机贡献边界溶解的人)也表现良好。
最糟的结果来自那些"在方向盘上睡着"的人——在需要判断时恰恰将判断让渡给系统的人。
人机交互研究者 Lucy Suchman 认为:自主性不是人类或机器的属性,而是它们运作其中的配置属性。
半人马-半人牛的二元对立在你认真对待这一点时立即崩溃。问题不是谁在控制,而是配置是否保护人类判断保持活跃、有方向性、并在系统漂移时能够干预的条件。
两种神话
Seth 命名了一种神话:对机器意识的过度归因。但还有第二种同样危险、在 AI 部署决策房间中更普遍的神话:自动化的神话——相信将人类从循环中移除总是效率收益。
这种神话不自称神话。它穿着 ROI 计算、裁员目标、生产力仪表板的体面外衣。它越来越多地以"增强"本身的名义到来。
所有主要 AI 公司现在都用"增强"描述其 LLM 服务,同时建设朝相反方向移动的基础设施。过去两年的每次重大平台发布——agent 框架、编码 agent、计算机使用、研究 agent——都遵循同样轨迹:让 AI 做更多,让人类做更少。
它们没有测量人机协作配置。它们没有测量人类能力是增长还是萎缩。
“增强"的词汇已被捕获,它所命名的实践却没有。
Anthropic 经济指数的启示
2025 年 2 月,Anthropic 经济指数分析了超过 100 万次人与 Claude 的对话,发现 57% 的时间人们是在与 AI 一起思考,而非委托给它。
即使平台推出越来越自主的工具,这个比例从未决定性移向自动化。
经济学家 Carl Benedikt Frey 在《The Technology Trap》中的历史分析揭示了一个反复出现的模式:
- 第一次工业革命:产生"恩格斯停顿”——工人产出增长 46%,工资仅增长 12%
- 第二次工业革命(赋能技术):产生广泛共享的繁荣
- 第三次工业革命(替代技术):伴随停滞的工资和上升的不平等
模式不是技术的,而是制度的:当社会建设增强框架时,财富分配;当它们默认自动化时,财富集中。
Seth 的文章通过只关注 AI 缺乏什么,无意中强化了第二种神话。它告诉我们机器没有感受,却没有告诉我们人类在场是价值被创造的地方。
两种神话——过度归因机器意识、低估协作场域中人类在场的价值——服务于同一利益:让注意力固定在 AI 是什么,而非它保护和 compound 人类能力的条件上。
真正重要的问题
对象导向的问题——AI 是什么——是舒适的、可控制的、哲学上有回报的。
关系性的问题——人机配置产生什么,在什么条件下产生良好结果——是不舒适的、不可控的,并要求我们重新组织我们的指标、制度和价值观念本身。
真正的问题不是 AI 是否有意识。真正的问题是:我们是否会学会看见、测量和保护人类能力 compound 的条件。
不是 AI 是什么。是它使什么成为可能。以及当我们在争论错误的问题时,我们不可恢复地、不可见地失去了什么。
结语
欧盟 AI 法案第 14 条要求高风险 AI 系统被设计为"能被自然人有效监督"。这是一个立足点。
但"以人为中心的 AI"作为口号出现在整个欧洲政策中,仿佛命名愿望等同于建设它。
更紧迫的神话不是有感知机器的幻想。它是安静、普遍、经济上毁灭性的假设:循环中的人类在场是成本而非 compound 价值的来源。
这种神话不需要 Berggruen 奖就能危险。它每周一早上在每个组织中运作——自动化本应增强的东西,测量它消除的而非它赋能的,将效率误认为智能,将没有摩擦混淆为有思想。
意识问题正在解决。真正的问题——AI 会成为制度智能的引擎还是制度衰败的加速器——取决于我们是否能学会看见、测量和保护人类能力 compound 的条件。
本文基于 Barton Friedland 发表于 Noema Magazine 的文章《What The AI Consciousness Question Conceals》编译整理