标题： 眼见为信：用于表达性语音生成的情感感知音视频语言建模 显示英文标题

标题： Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation

摘要： 我们提出了一种视听语言模型（AVLM），通过将全脸视觉线索整合到预训练的富有表现力的语音模型中，以实现富有表现力的语音生成。 我们在预训练过程中探索了多种视觉编码器和多模态融合策略，以确定最有效的整合方法。 在情感识别和富有表现力的对话任务上的后续微调，在语音-only基线上取得了显著提升（例如，情感识别中的F1值提高了+5）。 AVLM突显了富有表现力的视觉信息在指导语音生成中的价值，并为端到端的多模态对话系统提供了基础。 显示英文摘要

摘要： We present an Audio-Visual Language Model (AVLM) for expressive speech generation by integrating full-face visual cues into a pre-trained expressive speech model. We explore multiple visual encoders and multimodal fusion strategies during pre-training to identify the most effective integration approach. Subsequent fine-tuning on emotion recognition and expressive dialogue tasks yields substantial gains over speech-only baselines (e.g., +5 F1 in emotion recognition). AVLM highlights the value of expressive visual information in guiding speech generation and offers a foundation for end-to-end multimodal conversational systems.