计算机科学 > 人工智能
[提交于 2025年10月20日
]
标题: MIRAGE:具有网络基础推理的多模态虚假信息检测代理框架
标题: MIRAGE: Agentic Framework for Multimodal Misinformation Detection with Web-Grounded Reasoning
摘要: 错误信息通过每天数十亿条结合文本和图像的多模态帖子在网络平台上传播,超出了人工事实核查的能力。 监督检测模型需要特定领域的训练数据,并且无法在各种篡改策略中进行泛化。 我们提出了MIRAGE,这是一个推理时、可插拔模型的代理框架,将多模态验证分解为四个顺序模块:视觉真实性评估检测AI生成的图像,跨模态一致性分析识别上下文不当的重新使用,检索增强的事实检查通过迭代问题生成将声明与网络证据联系起来,以及一个校准的判断模块整合所有信号。 MIRAGE将视觉-语言模型推理与有针对性的网络检索相结合,输出结构化且带有引用链接的推理过程。 在MMFakeBench验证集(1000个样本)上, 使用GPT-4o-mini的MIRAGE实现了81.65%的F1值和75.1%的准确率,比最强的零样本基线(GPT-4V与MMD-Agent在74.0% F1值)高出7.65点,同时保持34.3%的误报率,而仅依靠判断者的基线则为97.3%。 测试集结果(5000个样本)确认了泛化能力,达到81.44%的F1值和75.08%的准确率。 消融研究显示,视觉验证贡献了5.18的F1值,检索增强的推理贡献了2.97的F1值。 我们的结果表明,通过网络检索的分解代理推理可以达到监督检测器的性能,而无需特定领域的训练,从而在标记数据仍然稀缺的多模态中实现错误信息检测。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.