导语

大语言模型正在进入社会科学研究现场。它们不再只是辅助写作、检索文献或生成问卷，而是被研究者直接放入心理学与管理学实验中，扮演 " 硅基被试 "，回答原本由人类参与者完成的情境材料。这项发表于《Nature Computational Science》的研究系统复现了 156 项心理学与管理学情境实验，比较 GPT-4、Claude 3.5 Sonnet 与 DeepSeek V3 能否重现人类实验结果。发现大语言模型常能把握效应方向，却倾向于给出更强、更显著、更干净的结果。在种族、性别、伦理等社会敏感议题上，复制能力明显受限。这项研究给出了一个清晰判断，大语言模型可以用于预实验、假设筛查和方法学三角验证，但不能替代真实人类被试。

关键词：大语言模型（large language models, LLMs）、硅基复制（silicon replication）、心理学实验、情境实验、效应量、社会敏感议题

王璇丨作者

赵思怡丨审校

论文题目：A large-scale replication of scenario-based experiments in psychology and management using large language models

论文链接：https://doi.org/10.1038/s43588-025-00840-7

发表时间：2025 年 7 月 9 日

论文来源：Nature Computational Science

当 AI 成为实验参与者

社会科学实验长期依赖人类被试。研究者设计情境、操纵变量、收集回答，再用统计方法判断某种心理机制或管理行为是否存在。但传统实验成本高、周期长，样本招募也受平台、地区和人群结构限制。大语言模型（large language models, LLMs）的出现提供了另一种可能：它们能够阅读实验材料、理解角色设定，并生成结构化回答，因此开始被用于模拟人类判断、决策和态度反应。

真正的问题是，模型回答能否代表人类回答。既有研究给出的判断并不一致：一些结果显示，LLMs 在心理量表、经济决策和社会判断中与人类高度接近；另一些研究则指出，模型难以模拟个体差异、社会人口结构和复杂文化语境。由于过去研究大多基于少量实验，仍无法回答一个更系统的问题：如果把大量真实发表的心理学与管理学实验交给模型，它们究竟能复制到什么程度？

这篇研究正是围绕这一问题展开。研究团队没有让模型概括论文，也没有让模型预测实验结论，而是把原始实验情境重新交给模型，让它像人类被试一样逐条作答，再将模型结果与原始人类实验结果进行比较。这就是" 硅基复制 "（silicon replication）的核心思路：不是把 AI 当作读论文的工具，而是把它放进实验流程本身，检验社会科学效应能否在人工智能系统中被重新观察到。

图 1. 研究流程图。从论文筛选、提示词设计、模型回答到统计比较的完整流程。

AI 能抓住趋势，却会放大信号

研究结果显示，LLMs 确实具备一定复制能力。对于许多主效应，模型能够重现人类实验中的方向关系，也就是说，它通常知道某种情境操纵会让评价升高还是降低。这说明模型并非随机作答，而是能够从语言材料中提取社会规范、因果暗示和心理线索。因此，在预实验阶段，模型可以帮助研究者判断实验材料是否清楚、操纵是否容易被识别、变量关系是否具有初步合理性。

但问题也正在这里出现。模型越是擅长捕捉情境中的线索，就越可能把这些线索转化为过强的统计效应。论文发现，LLMs 生成的结果往往比人类实验更显著、效应量更大、组内差异更小。换言之，模型给出的不是充满噪声和个体差异的人类反应，而是一种更整齐、更一致、更符合情境暗示的回答。它能够捕捉应该往哪个方向变，却容易高估现实中到底变得有多强。

图 2. 模型复制率和不同研究特征下的表现。直观展示 GPT-4、Claude 和 DeepSeek 在主效应复制率、期刊类型、情境类型以及社会敏感议题上的差异。

这种偏差决定了 LLMs 不能被简单当作人类被试的替代品。真实人类参与者会受到注意力、情绪、经验、身份、文化背景和社会处境影响，这些因素构成了社会科学研究中不可忽略的个体差异。LLMs 的变异则主要来自训练语料、生成机制和参数随机性。二者都能产生回答，但回答背后的生成机制并不相同。因此，模型与人类结果方向一致，并不意味着模型真正复制了人类心理机制。

图 3. GPT-4 与人类研究的主效应效应量比较，AI 结果更显著、更强、更整齐。

这一点在社会敏感议题上尤其关键。种族、性别、伦理等问题并不是普通的文本理解任务。人类在这些议题上的判断会受到真实社会身份、价值冲突和文化环境影响，而 LLMs 则受到训练数据、安全对齐和回答规范共同约束。论文显示，不同模型在这些议题上的复制表现明显不同，这意味着模型输出不应被直接解释为人类平均意见，更不能替代真实样本中的社会心理反应。

AI 可以进入实验室，但不能坐上主位

这篇研究给社会科学中的 LLMs 应用划出了一条清晰边界。大模型能够复制相当比例的主效应，常常把握人类研究中的方向关系，并能帮助研究者快速筛查实验设计。然而，它们也会系统性地产生更大的效应量、更高的显著性和更窄的置信区间。在社会敏感议题上，复制能力明显依赖模型类型和对齐方式。在部分情形中，模型甚至无法生成有效的人类式变异。LLMs 最合适的位置不是替代被试，而是研究前置工具。它们可以帮助研究者节省预实验成本，识别低质量材料，探索更大的设计空间，并为理论稳健性提供补充证据。但真正涉及效应强度、社会差异和心理机制的结论，仍必须回到人类样本中检验。当 AI 被放进心理学实验室，它确实能回答问题，但它回答的并不总是人类会如何反应，而是语言模型认为一个理想化、规范化、低噪声的 " 人 " 应该如何反应。理解这一区别，才是 LLMs 进入社会科学研究的前提。

推荐阅读

1.  Google DeepMind：为何 AI 只能模拟意识，而无法具现意识

2.  大语言模型的涌现｜集智百科

3.  打开 AI 黑箱：如何用归因图绘制大语言模型的脑回路？

4.  AI 也会 " 自我反思 "？Claude 模型现内省迹象，大语言模型认知新突破

5.  9900 分可兑换 " 涌现 " 文化衫，报名任意读书会送 299 积分！

6.  集智学园精品课程免费开放，解锁系统科学与 AI 新世界

7.  高考分数只是张入场券，你的科研冒险在这里启航！

8.  加入集智字幕组：成为复杂科学知识社区的 " 织网人 "

点击 " 阅读原文 "，报名读书会