域适应其中一个思想方法是,在一个联合子空间上把源域和目标域的差距Gap减小。这样在源域上训练出的分类器也能很好地迁移到目标域。这篇文章提供了严密的框架来解释为什么可以在联合公共空间缩小源域和目标域的差距。更确切地,研究迁移过程中产生的损失,提供了理论来解释和概括现有主要凭经验的深度域适应工作。能够让我们解释,为什么缩小源域和目标域的差距能直接最小化迁移学习的损失loss。
五 方法概览
5.1 概率分布适配法
边缘分布适配迁移成分分析Transfer Component Analysis优化目标:
$\begin{array}{cl}{\min _{\varphi}} & {\operatorname{Dist}\left(\varphi\left(\mathbf{X}_{S}\right), \varphi\left(\mathbf{X}_{T}\right)\right)+\lambda \Omega(\varphi)} \\ {\text { s.t. }} & {\text { constraints on } \varphi\left(\mathbf{X}_{S}\right) \text { and } \varphi\left(\mathbf{X}_{T}\right)}\end{array}$最大均值差异(Maximum Mean Discrepancy, MMD)
$\operatorname{Dist}\left(P\left(X_{S}\right), P\left(X_{T}\right)\right)=\left|\frac{1}{n_{S}} \sum_{i=1}^{n_{S}} \Phi\left(x_{S_{i}}\right)-\frac{1}{n_{T}} \sum_{j=1}^{n_{T}} \Phi\left(x_{T_{j}}\right)\right|_{\mathcal{H}}$迁移成分分析的扩展
条件分布适配
Domain Adaptation of Conditional Probability Models via Feature Subsetting
条件随机场+分布适配优化目标:
$
\begin{array}{c}{\operatorname{arg