计算机科学 > 计算与语言
[提交于 2023年9月15日
(v1)
,最后修订 2023年12月27日 (此版本, v2)]
标题: 用于在线语音识别的结构化状态空间序列模型增强的构象器
标题: Augmenting conformers with structured state-space sequence models for online speech recognition
摘要: 在线语音识别,其中模型仅访问左侧的上下文,是ASR系统的重要且具有挑战性的用例。 在本工作中,我们通过结合结构化状态空间序列模型(S4),研究了增强神经编码器用于在线ASR的方法,这是一类提供参数高效方式以访问任意长左侧上下文的模型。 我们进行了系统的消融研究,以比较S4模型的不同变体,并提出了两种将它们与卷积结合的新方法。 我们发现,最有效的设计是堆叠一个使用实数值递归权重的小型S4与局部卷积,使它们能够互补工作。 我们的最佳模型在Librispeech测试集上的词错误率(WER)达到了4.01%/8.53%,超过了经过广泛调优的Conformer模型。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.