计算机科学 > 机器学习
[提交于 2025年7月31日
]
标题: 结构化变换用于稳定和可解释的神经计算
标题: Structured Transformations for Stable and Interpretable Neural Computation
摘要: 尽管表现令人印象深刻,当代神经网络通常缺乏促进稳定学习和可解释行为的结构保障。 在本工作中,我们引入了一种层级变换的重新表述,该表述偏离了标准的无约束仿射范式。 每个变换被分解为一个结构化线性算子和一个残差校正分量,从而实现了更受控的信号传播和改进的训练动态。 我们的公式鼓励内部一致性,并支持深度方向上的稳定信息流,同时与标准学习目标和反向传播完全兼容。 通过一系列合成和现实世界的实验,我们证明了使用这些结构化变换构建的模型表现出改进的梯度条件、对扰动的降低敏感性以及逐层鲁棒性。 我们进一步表明,这些优势在不同架构规模和训练制度中依然存在。 本研究为一种更系统的神经架构类别奠定了基础,这类架构优先考虑稳定性和透明度,提供了新的工具来推理学习行为,而不会牺牲表达能力。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.