计算机科学 > 计算机视觉与模式识别
[提交于 2025年8月4日
]
标题: MonoDream:全景梦境的单目视觉语言导航
标题: MonoDream: Monocular Vision-Language Navigation with Panoramic Dreaming
摘要: 视觉-语言导航(VLN)任务通常利用全景RGB和深度输入来提供丰富的空间线索以进行动作规划,但这些传感器在现实世界的部署中可能成本较高或难以获取。 基于视觉-语言动作(VLA)模型的最新方法使用单目输入取得了良好的结果,但它们仍然落后于使用全景RGB-D信息的方法。 我们提出了MonoDream,一个轻量级的VLA框架,使单目代理能够学习统一导航表示(UNR)。 这种共享特征表示联合对齐与导航相关的视觉语义(例如,全局布局、深度和未来线索)和语言引导的动作意图,从而实现更可靠的动作预测。 MonoDream进一步引入了潜在全景梦境(LPD)任务来监督UNR,这训练模型仅基于单目输入就预测当前和未来步骤的全景RGB和深度观测的潜在特征。 在多个VLN基准上的实验表明,MonoDream始终提升了单目导航性能,并显著缩小了与基于全景的代理之间的差距。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.