电气工程与系统科学 > 音频与语音处理
[提交于 2025年9月18日
]
标题: BabyHuBERT:多语言自监督学习用于以儿童为中心的长格式录音中的说话人分割
标题: BabyHuBERT: Multilingual Self-Supervised Learning for Segmenting Speakers in Child-Centered Long-Form Recordings
摘要: 以儿童为中心的长时录音对于研究早期语言发展至关重要,但现有的在干净的成人数据上训练的语音模型由于声学和语言差异表现不佳。 我们引入了BabyHuBERT,这是第一个在跨越40种语言的13000小时多语言以儿童为中心的长时录音上训练的自监督语音表示模型。 我们在说话人分割任务上评估了BabyHuBERT,识别目标儿童说话的时间与女性成人、男性成人或其他儿童的区别——这是分析自然语言体验的基本预处理步骤。 BabyHuBERT在六个不同的数据集上取得了52.1%到74.4%的F1分数,始终优于W2V2-LL4300(在英语长时录音上训练)和标准HuBERT(在干净的成人语音上训练)。 显著的改进包括在瓦努阿图和所罗门群岛语料库上比HuBERT分别高出13.2和15.9的绝对F1分数,这表明在未充分代表的语言中也有效。 通过分享代码和模型,BabyHuBERT为儿童语音研究提供了一个基础模型,使得在各种下游任务上进行微调成为可能。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.