电气工程与系统科学 > 音频与语音处理
[提交于 2025年9月30日
]
标题: 音频扩散变换器的训练后量化
标题: Post-Training Quantization for Audio Diffusion Transformers
摘要: 扩散变换器(DiTs)能够实现高质量的音频合成,但通常计算量大且需要大量存储,这限制了它们的实际部署。 在本文中,我们对音频DiTs的训练后量化(PTQ)技术进行了全面评估,分析了静态和动态量化方案之间的权衡。 我们探索了两个实用的扩展:(1)一种去噪时间步 aware 的平滑方法,该方法根据每个输入通道和时间步调整量化尺度以减轻激活异常值,以及(2)一种基于奇异值分解(SVD)的轻量级低秩适配器(LoRA)分支,用于补偿残差权重误差。 使用Stable Audio Open我们对W8A8和W4A8配置进行了基准测试,涵盖了客观指标和人类感知评分。 我们的结果表明,动态量化即使在较低精度下也能保持保真度,而静态方法在较低延迟下仍具有竞争力。 总体而言,我们的研究结果表明,低精度DiTs可以在减少内存使用高达79%的同时保留高保真生成。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.