计算机科学 > 计算机视觉与模式识别
[提交于 2025年10月2日
]
标题: 最优控制邂逅流匹配:多被试保真度的合理路径
标题: Optimal Control Meets Flow Matching: A Principled Route to Multi-Subject Fidelity
摘要: 文本到图像(T2I)模型在单实体提示上表现优异,但在多主体描述上存在困难,常常出现属性泄露、身份纠缠和主体遗漏。我们引入了第一个理论框架,具有可优化的目标,用于引导采样动态以实现多主体保真度。通过随机最优控制(SOC)来看待流匹配(FM),我们将主体解缠作为对训练好的FM采样器的控制。这产生了两个与架构无关的算法:(i) 一种无需训练的测试时控制器,通过一次传递更新扰动基础速度,以及 (ii) 伴随匹配,一种轻量级微调规则,在保持基础模型能力的同时回归控制网络到反向伴随信号。相同的公式统一了先前的注意力启发式方法,通过流-扩散对应关系扩展到扩散模型,并提供了第一条明确设计用于多主体保真度的微调路径。实证研究表明,在Stable Diffusion 3.5、FLUX和Stable Diffusion XL上,两种算法都能持续提升多主体对齐度,同时保持基础模型风格。测试时控制在商品GPU上运行效率高,有限提示上训练的微调控制器能推广到未见过的提示。我们进一步突出了FOCUS(Flow Optimal Control for Unentangled Subjects),它在各种模型中实现了最先进的多主体保真度。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.