Skip to main content
CenXiv.org
此网站处于试运行阶段,支持我们!
我们衷心感谢所有贡献者的支持。
贡献
赞助
cenxiv logo > cs > arXiv:2510.02315

帮助 | 高级搜索

计算机科学 > 计算机视觉与模式识别

arXiv:2510.02315 (cs)
[提交于 2025年10月2日 ]

标题: 最优控制邂逅流匹配:多被试保真度的合理路径

标题: Optimal Control Meets Flow Matching: A Principled Route to Multi-Subject Fidelity

Authors:Eric Tillmann Bill, Enis Simsar, Thomas Hofmann
摘要: 文本到图像(T2I)模型在单实体提示上表现优异,但在多主体描述上存在困难,常常出现属性泄露、身份纠缠和主体遗漏。我们引入了第一个理论框架,具有可优化的目标,用于引导采样动态以实现多主体保真度。通过随机最优控制(SOC)来看待流匹配(FM),我们将主体解缠作为对训练好的FM采样器的控制。这产生了两个与架构无关的算法:(i) 一种无需训练的测试时控制器,通过一次传递更新扰动基础速度,以及 (ii) 伴随匹配,一种轻量级微调规则,在保持基础模型能力的同时回归控制网络到反向伴随信号。相同的公式统一了先前的注意力启发式方法,通过流-扩散对应关系扩展到扩散模型,并提供了第一条明确设计用于多主体保真度的微调路径。实证研究表明,在Stable Diffusion 3.5、FLUX和Stable Diffusion XL上,两种算法都能持续提升多主体对齐度,同时保持基础模型风格。测试时控制在商品GPU上运行效率高,有限提示上训练的微调控制器能推广到未见过的提示。我们进一步突出了FOCUS(Flow Optimal Control for Unentangled Subjects),它在各种模型中实现了最先进的多主体保真度。
摘要: Text-to-image (T2I) models excel on single-entity prompts but struggle with multi-subject descriptions, often showing attribute leakage, identity entanglement, and subject omissions. We introduce the first theoretical framework with a principled, optimizable objective for steering sampling dynamics toward multi-subject fidelity. Viewing flow matching (FM) through stochastic optimal control (SOC), we formulate subject disentanglement as control over a trained FM sampler. This yields two architecture-agnostic algorithms: (i) a training-free test-time controller that perturbs the base velocity with a single-pass update, and (ii) Adjoint Matching, a lightweight fine-tuning rule that regresses a control network to a backward adjoint signal while preserving base-model capabilities. The same formulation unifies prior attention heuristics, extends to diffusion models via a flow-diffusion correspondence, and provides the first fine-tuning route explicitly designed for multi-subject fidelity. Empirically, on Stable Diffusion 3.5, FLUX, and Stable Diffusion XL, both algorithms consistently improve multi-subject alignment while maintaining base-model style. Test-time control runs efficiently on commodity GPUs, and fine-tuned controllers trained on limited prompts generalize to unseen ones. We further highlight FOCUS (Flow Optimal Control for Unentangled Subjects), which achieves state-of-the-art multi-subject fidelity across models.
评论: 代码:https://github.com/ericbill21/FOCUS/
主题: 计算机视觉与模式识别 (cs.CV)
引用方式: arXiv:2510.02315 [cs.CV]
  (或者 arXiv:2510.02315v1 [cs.CV] 对于此版本)
  https://doi.org/10.48550/arXiv.2510.02315
通过 DataCite 发表的 arXiv DOI(待注册)

提交历史

来自: Enis Simsar [查看电子邮件]
[v1] 星期四, 2025 年 10 月 2 日 17:59:58 UTC (10,606 KB)
全文链接:

获取论文:

    查看标题为《》的 PDF
  • 查看中文 PDF
  • 查看 PDF
  • HTML(实验性)
  • TeX 源代码
许可图标 查看许可
当前浏览上下文:
cs.CV
< 上一篇   |   下一篇 >
新的 | 最近的 | 2025-10
切换浏览方式为:
cs

参考文献与引用

  • NASA ADS
  • 谷歌学术搜索
  • 语义学者
a 导出 BibTeX 引用 加载中...

BibTeX 格式的引用

×
数据由提供:

收藏

BibSonomy logo Reddit logo

文献和引用工具

文献资源探索 (什么是资源探索?)
连接的论文 (什么是连接的论文?)
Litmaps (什么是 Litmaps?)
scite 智能引用 (什么是智能引用?)

与本文相关的代码,数据和媒体

alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)

演示

复制 (什么是复制?)
Hugging Face Spaces (什么是 Spaces?)
TXYZ.AI (什么是 TXYZ.AI?)

推荐器和搜索工具

影响之花 (什么是影响之花?)
核心推荐器 (什么是核心?)
IArxiv 推荐器 (什么是 IArxiv?)
  • 作者
  • 地点
  • 机构
  • 主题

arXivLabs:与社区合作伙伴的实验项目

arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。

与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。

有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.

这篇论文的哪些作者是支持者? | 禁用 MathJax (什么是 MathJax?)
  • 关于
  • 帮助
  • contact arXivClick here to contact arXiv 联系
  • 订阅 arXiv 邮件列表点击这里订阅 订阅
  • 版权
  • 隐私政策
  • 网络无障碍帮助
  • arXiv 运营状态
    通过...获取状态通知 email 或者 slack

京ICP备2025123034号