标题： 基于基础模型和最优传输的语音翻译：UPC在IWSLT23中的表现 显示英文标题

标题： Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23

摘要： 本文描述了UPC机器翻译组对IWSLT 2023离线语音翻译任务的提交情况。 我们的语音翻译系统利用语音（wav2vec 2.0）和文本（mBART50）的基础模型。 我们采用语音和文本编码器的孪生预训练步骤，结合CTC和最优传输，以将语音表示适应到文本模型的空间，从而最大化从MT的迁移学习。 在此预训练之后，我们在ST上对系统进行端到端微调，使用交叉熵和知识蒸馏。 除了可用的ST语料库外，我们还使用SegAugment创建合成数据，以更好地适应IWSLT测试集的自定义分段。 我们最好的单一模型在MuST-C tst-COMMON上获得31.2 BLEU分数，在IWLST.tst2020上获得29.8分，在新发布的IWSLT.ACLdev2023上获得33.4分。 显示英文摘要

摘要： This paper describes the submission of the UPC Machine Translation group to the IWSLT 2023 Offline Speech Translation task. Our Speech Translation systems utilize foundation models for speech (wav2vec 2.0) and text (mBART50). We incorporate a Siamese pretraining step of the speech and text encoders with CTC and Optimal Transport, to adapt the speech representations to the space of the text model, thus maximizing transfer learning from MT. After this pretraining, we fine-tune our system end-to-end on ST, with Cross Entropy and Knowledge Distillation. Apart from the available ST corpora, we create synthetic data with SegAugment to better adapt our models to the custom segmentations of the IWSLT test sets. Our best single model obtains 31.2 BLEU points on MuST-C tst-COMMON, 29.8 points on IWLST.tst2020 and 33.4 points on the newly released IWSLT.ACLdev2023.