计算机科学 > 人工智能
[提交于 2025年9月30日
]
标题: 评估大型语言模型在社会科学研究中作为合成社会代理人的使用
标题: Evaluating the Use of Large Language Models as Synthetic Social Agents in Social Science Research
摘要: 大型语言模型(LLMs)在社会科学中被越来越多地用作合成代理,应用范围从增强调查回答到推动多代理模拟。 由于强大的预测加上条件提示、标记对数概率和重复抽样可以模仿贝叶斯工作流程,它们的输出可能被误认为是来自一致模型的后验类似证据。 然而,预测并不等同于概率主义,准确的点并不意味着校准的不确定性。 本文概述了在解释LLM输出时应采取的注意事项,并提出了一个实用的重新框架,用于社会科学中LLM的使用,即在明确的范围条件下将LLM作为高容量模式匹配器进行准预测性插值,而不是作为概率推理的替代品。 引入了实际的保障措施,如独立抽样、预先注册的人类基线、依赖可靠性的验证和子组校准,以便研究人员可以在避免类别错误的同时进行有用的原型设计和预测。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.