计算机科学 > 计算机视觉与模式识别
[提交于 2025年9月15日
]
标题: FineQuest:通过思维代理推理的自适应知识辅助体育视频理解
标题: FineQuest: Adaptive Knowledge-Assisted Sports Video Understanding via Agent-of-Thoughts Reasoning
摘要: 基于大型语言模型(LLMs)的视频问答(VideoQA)在一般的视频理解方面显示出潜力,但在应用于体育视频这一本质上复杂的领域时面临重大挑战。 在本工作中,我们提出了FineQuest,第一个无需训练的框架,该框架借鉴认知科学中的双模式推理:i)反应性推理用于直接的体育查询,ii)反思性推理用于更复杂的查询。 为了弥合通用模型与特定领域体育理解之间的知识差距,FineQuest结合了SSGraph,这是一个跨九种体育项目的多模态体育知识场景图,它编码了视觉实例和领域特定术语以提高推理准确性。 此外,我们引入了两个新的体育VideoQA基准测试,Gym-QA和Diving-QA,它们来源于FineGym和FineDiving数据集,使得评估更加多样和全面。 FineQuest在这些基准测试以及现有的SPORTU数据集上取得了最先进的性能,同时保持了强大的通用VideoQA能力。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.