基于注意力机制的无监督域自适应问题研究论文笔记
引言
选题背景与意义
高质量的标注数据不足 → 迁移学习
迁移学习的主要目标是利用在源任务中获取的知识和经验,以提升在关联的目标任务上的性能。
域自适应问题(Domain Adaption,DA)是迁移学 习中一个被广泛关注的子领域。
如果目标域具有标签,那么微调预训练模型是一种可行的解决方法;本文专注于解决目标域没有标签的情况,这被称为无监督领域自适应 (Unsupervised Domain Adaption,UDA) 问题。目标是通 过具有丰富标签的源域数据和无标签的目标域数据来提升模型在目标域上的性能。
本文以图像分类问题为例,基于经典的对抗学习方法 DANN, 探究 Transformer 模型中的注意力机制在无监督领域自适应问题上的应用。
文献综述
无监督域自适应
注意力机制
文章结构
背景知识
迁移学习
领域自适应和域转移
特征对齐
对抗训练和 DANN 模型
图像分类模型
本章总结
基于注意力图对齐的无监督领域自适应方法
问题描述
注意力图与动机
注意力图
动机
模型结构
特征提取器和分类器
域鉴别器和注意力图鉴别器
损失函数
实验
数据集
评价指标与实验细节
实验结果
本章小结
基于注意力再作用的图像增强方法
问题描述和动机
问题描述
动机
算法实现
模型方法流程
损失函数
实验
实验细节
实验结果
本章小结
总结与展望
本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来自 Peanut🥜!
评论