计算机科学 > 计算机与社会
[提交于 2025年8月2日
]
标题: 识别、预测和缓解大语言模型对在线行为研究的污染
标题: Recognising, Anticipating, and Mitigating LLM Pollution of Online Behavioural Research
摘要: 在线行为研究面临一种新兴威胁,因为参与者越来越多地转向大型语言模型(LLMs)寻求建议、翻译或任务委托:即LLM污染。 我们识别出三种相互作用的变体,这些变体威胁着在线行为研究的有效性和完整性。 首先,部分LLM中介是指参与者有选择性地使用LLM来完成任务的某些方面,例如翻译或措辞支持,这导致研究人员(错误地)将LLM生成的输出视为人类的输出。 其次,完全LLM委托是指具有自主性的LLM在几乎没有人类监督的情况下完成研究,从更基础的层面削弱了以人类被试为中心的研究核心前提。 第三,LLM溢出效应指的是人类参与者开始预期在线研究中存在LLM的存在,从而改变自己的行为,即使实际上并未涉及LLM。 虽然部分中介和完全委托构成了自动化程度不断上升的连续体,但LLM溢出效应反映了二阶反应效应。 这三种变体相互作用,并产生级联的扭曲,损害样本的真实性,引入难以在事后检测的偏差,并最终削弱基于人类认知和行为的在线研究的认识论基础。 至关重要的是,LLM污染的威胁已经随着生成式AI的进步而共同进化,形成了不断升级的方法论军备竞赛。 为应对这一问题,我们提出了一种多层应对措施,涵盖研究者实践、平台责任和社区努力。 随着挑战的演变,协调适应将是确保方法论完整性和保护在线行为研究有效性的关键。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.