计算机科学 > 计算机视觉与模式识别
[提交于 2026年1月7日
]
标题: EASLT:情绪感知的手语翻译
标题: EASLT: Emotion-Aware Sign Language Translation
摘要: 手语翻译(SLT)是一项复杂的跨模态任务,需要整合手动信号(MS)和非手动信号(NMS)。 虽然最近的无词典SLT方法在翻译手动手势方面取得了进展,但它们经常忽视面部表情的语义重要性,导致当不同概念具有相同的手动表达时出现歧义。 为了解决这个问题,我们提出了**EASLT**(**E**motion-**A**ware **S**ign **L**anguage **T**ranslation),一种将面部情感视为稳健语义锚点而非辅助信息的框架。 与将面部表情置于次要角色的方法不同,EASLT引入了一个专门的情感编码器来捕捉连续的情感动态。 这些表示通过一种新颖的*情感感知融合*(EAF)模块进行集成,该模块根据情感上下文自适应地重新校准时空手语特征,以解决语义歧义。 在PHOENIX14T和CSL-Daily基准上的广泛评估表明,EASLT在无词典方法中表现出色,分别获得了26.15和22.80的BLEU-4分数,以及61.0和57.8的BLEURT分数。 消融研究证实,显式建模情感有效地将情感语义与手动动态解耦,显著提高了翻译保真度。 代码可在https://github.com/TuGuobin/EASLT获取。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.