计算机科学 > 计算机视觉与模式识别
[提交于 2025年8月3日
(v1)
,最后修订 2025年8月6日 (此版本, v2)]
标题: 通过细粒度补丁-文本对齐增强零样本脑肿瘤亚型分类
标题: Enhancing Zero-Shot Brain Tumor Subtype Classification via Fine-Grained Patch-Text Alignment
摘要: 从组织病理学全切片图像中进行脑肿瘤亚型的细粒度分类由于细微的形态变化和标注数据的稀缺性而极具挑战性。 尽管视觉-语言模型已实现了有前景的零样本分类,但它们在捕捉细粒度病理特征方面的能力仍然有限,导致亚型区分效果不佳。 为了解决这些挑战,我们提出了细粒度补丁对齐网络(FG-PAN),这是一种专为数字病理学设计的新颖零样本框架。 FG-PAN包含两个关键模块: (1) 一个局部特征精炼模块,通过建模代表性补丁之间的空间关系来增强补丁级视觉特征,以及 (2) 一个细粒度文本描述生成模块,利用大语言模型生成病理感知的、类别特定的语义原型。 通过将精炼后的视觉特征与LLM生成的细粒度描述对齐,FG-PAN在视觉和语义空间中有效提高了类别可分性。 在包括EBRAINS和TCGA在内的多个公开病理数据集上的大量实验表明,FG-PAN在零样本脑肿瘤亚型分类中达到了最先进的性能和强大的泛化能力。
文献和引用工具
与本文相关的代码,数据和媒体
alphaXiv (什么是 alphaXiv?)
CatalyzeX 代码查找器 (什么是 CatalyzeX?)
DagsHub (什么是 DagsHub?)
Gotit.pub (什么是 GotitPub?)
Hugging Face (什么是 Huggingface?)
带有代码的论文 (什么是带有代码的论文?)
ScienceCast (什么是 ScienceCast?)
演示
推荐器和搜索工具
arXivLabs:与社区合作伙伴的实验项目
arXivLabs 是一个框架,允许合作伙伴直接在我们的网站上开发和分享新的 arXiv 特性。
与 arXivLabs 合作的个人和组织都接受了我们的价值观,即开放、社区、卓越和用户数据隐私。arXiv 承诺这些价值观,并且只与遵守这些价值观的合作伙伴合作。
有一个为 arXiv 社区增加价值的项目想法吗? 了解更多关于 arXivLabs 的信息.