Domain Adaptation是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对source domain训练的目标函数,就可以迁移到...
这幅图是域适应非常有名的一篇论文中的插图,被很多文章转载。
什么是领域自适应?
Domain Adaptation是迁移学习中很重要的一部分内容,目的是把分布不同的源域和目标域的数据,映射到一个特征空间中,使其在该空间中的距离尽可能近。于是在特征空间中对source domain训练的目标函数,就可以迁移到target domain上,提高target domain上的准确率。
上面的图主要的思想来源于GAN,上图由三部分组成:特征映射网络
标签分类网络
和和域判别网络
其中,source domain的数据是有标签的,target domain的数据是无标签的。
将source和target domain的数据都映射到一个特征空间 Z
上,
预测标签y, 预测数据来自于target还是source domain。所以流入
的是带标签的source数据,流入
的是不带标签的source和target的数据。
:将数据映射到feature space,使
能分辨出source domain数据的label,
分辨不出数据来自source domain还是target domain。
[公式] :对feature space的source domain数据进行分类,尽可能分出正确的label。
[公式]:对feature space的数据进行领域分类,尽量分辨出数据来自于哪一个domain。
最终,希望
与
博弈的结果是source和target domain的数据在feature space上分布已经很一致,
无法区分。于是,可以愉快的用
来分类target domain的数据啦。
理论分析
首先Domain Adaptation基本思想是既然源域和目标域数据分布不一样,那么就把数据都映射到一个特征空间中,在特征空间中找一个度量准则,使得源域和目标域数据的特征分布尽量接近,于是基于源域数据特征训