Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > eess > arXiv:2509.15001

帮助 | 高级搜索

电气工程与系统科学 > 音频与语音处理

arXiv:2509.15001 (eess)
[提交于 2025年9月18日 ]

标题: BabyHuBERT:多语言自监督学习用于以儿童为中心的长格式录音中的说话人分割

标题: BabyHuBERT: Multilingual Self-Supervised Learning for Segmenting Speakers in Child-Centered Long-Form Recordings

Authors:Théo Charlot, Tarek Kunze, Maxime Poli, Alejandrina Cristia, Emmanuel Dupoux, Marvin Lavechin
摘要: 以儿童为中心的长时录音对于研究早期语言发展至关重要,但现有的在干净的成人数据上训练的语音模型由于声学和语言差异表现不佳。 我们引入了BabyHuBERT,这是第一个在跨越40种语言的13000小时多语言以儿童为中心的长时录音上训练的自监督语音表示模型。 我们在说话人分割任务上评估了BabyHuBERT,识别目标儿童说话的时间与女性成人、男性成人或其他儿童的区别——这是分析自然语言体验的基本预处理步骤。 BabyHuBERT在六个不同的数据集上取得了52.1%到74.4%的F1分数,始终优于W2V2-LL4300(在英语长时录音上训练)和标准HuBERT(在干净的成人语音上训练)。 显著的改进包括在瓦努阿图和所罗门群岛语料库上比HuBERT分别高出13.2和15.9的绝对F1分数,这表明在未充分代表的语言中也有效。 通过分享代码和模型,BabyHuBERT为儿童语音研究提供了一个基础模型,使得在各种下游任务上进行微调成为可能。
摘要: Child-centered long-form recordings are essential for studying early language development, but existing speech models trained on clean adult data perform poorly due to acoustic and linguistic differences. We introduce BabyHuBERT, the first self-supervised speech representation model trained on 13,000 hours of multilingual child-centered long-form recordings spanning over 40 languages. We evaluate BabyHuBERT on speaker segmentation, identifying when target children speak versus female adults, male adults, or other children -- a fundamental preprocessing step for analyzing naturalistic language experiences. BabyHuBERT achieves F1-scores from 52.1% to 74.4% across six diverse datasets, consistently outperforming W2V2-LL4300 (trained on English long-forms) and standard HuBERT (trained on clean adult speech). Notable improvements include 13.2 absolute F1 points over HuBERT on Vanuatu and 15.9 points on Solomon Islands corpora, demonstrating effectiveness on underrepresented languages. By sharing code and models, BabyHuBERT serves as a foundation model for child speech research, enabling fine-tuning on diverse downstream tasks.
评论: 5页,1图
主题: 音频与语音处理 (eess.AS) ; 机器学习 (cs.LG); 声音 (cs.SD)
引用方式: arXiv:2509.15001 [eess.AS]
  (或者 arXiv:2509.15001v1 [eess.AS] 对于此版本)
  https://doi.org/10.48550/arXiv.2509.15001
通过 DataCite 发表的 arXiv DOI(待注册)

提交历史

来自: Tarek Kunze [查看电子邮件]
[v1] 星期四, 2025 年 9 月 18 日 14:34:17 UTC (57 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
  • 其他格式
许可图标 查看许可
当前浏览上下文:
eess.AS
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-09
切换浏览方式为:
cs
cs.LG
cs.SD
eess

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号