system: [SYSTEM]

user: 2. 基于Universum数据的多视角学习算法 2.1. 目标函数 假设给定相同数据的两个视角，一个视角可以通过相应的内核函数 k A 的特征投影 ϕ A 表示，另一个通过具有相应的内核函数 k B 的特征投影 ϕ B 表示。对于分类任务，每个数据项还应该包含标签 [ 6 ]。然后，通过一组给定的配对数据集： S = { ( ϕ A ( x 1 ) ， ϕ B ( x 1 ) ) ， ⋯ ， ( ϕ A ( x l ) ， ϕ B ( x l ) ) } (1) 通过引入Universum数据，我们将多视角学习和Universum数据相结合。假设除了多视角训练数据外，我们还获得了另一组数据，称为Universum数据，该数据是一组不属于任何感兴趣类别的未标记样本，被用作输入信息，一个Universum数据可以表示为 { ϕ ( x μ 1 ) ， ϕ ( x μ 2 ) ， ⋯ ， ϕ ( x μ μ ) ， ϕ ( x μ μ + 1 ) ， ⋯ ， ϕ ( x μ 2 μ ) } ， x μ m ( m = 1 ， 2 ， ⋯ ， 2 μ ) ，每一个多视角数据都包含一个Universum数据。所以训练数据可以被表示为： T = { ( ϕ A ( x 1 ) ， ϕ B ( x 1 ) ) ， ⋯ ， ( ϕ A ( x l ) ， ϕ B ( x l ) ) } ∪ { ϕ ( x μ 1 ) ， ϕ ( x μ 2 ) ， ⋯ ， ϕ ( x μ μ ) ， ϕ ( x μ μ + 1 ) ， ⋯ ， ϕ ( x μ 2 μ ) } (2) 对于使用Universum数据进行多视角学习的问题，我们首次提出了以下学习模型。我们将有标签的多视角数据与另一组没有标签的Universum样本结合起来，该算法模型可以表示为： min w ， b ， ξ i ， ψ m                   1 2 ( ‖ w A ‖ 2 + ‖ w B ‖ 2 ) + C A ∑ i = 1 l ξ i A + C B ∑ i = 1 l ξ i B + C ∑ i = 1 l η i + D ∑ m ( ψ m + ψ m * ) (3) 约束条件： | ( w A ⋅ ϕ A ( x i ) + b A ) − ( w B ⋅ ϕ B ( x i ) + b B ) | ≤ ε + η i y i ( w A ⋅ ϕ A ( x i ) + b A ) ≥ 1 − ξ i A y i ( w B ⋅ ϕ B ( x i ) + b B ) ≥ 1 − ξ i B − δ − ψ m * ≤ ( w A x μ m + b A ) ≤ δ + ψ m − δ − ψ m * ≤ ( w B x μ m + b B ) ≤ δ + ψ m ξ i A ≥ 0 ， ξ i B ≥ 0 ， η i ≥ 0 ，       i = 1 ， ⋯ ， l ψ m ， ψ m * ≥ 0 ，       m = 1 ， 2 ， ⋯ ， μ ， μ + 1 ， ⋯ ， 2 μ 对于上述提出的算法，我们给出如下详细解释。 ‖ w A ‖ 和 ‖ w B ‖ 分别是视角A和视角B的正则化项，用于防治过拟合。参数 C A ， C B ， C ， D 是惩罚参数。参数 η i 是非负松弛变量，用于控制两个分类器之间的间隙，希望两个视角的预测相似。 ξ i A 和 ξ i B 是视角A和视角B的非负松弛变量。 ψ m 和 ψ m * 是Universum样本的非负松弛变量。参数 δ 是用户定义的参数，代表Universum样本的不敏感损失。约束 − δ − ψ m * ≤ ( w A x μ m + b A ) ≤ δ + ψ m 和 − δ − ψ m * ≤ ( w B x μ m + b B ) ≤ δ + ψ m 表示的是Universum数据定义了不敏感损耗区域，Universum数据位于支持超平面之间的不敏感区域。 2.2. 对偶问题 为了解决公式(3)的优化问题，首先构造拉格朗日函数，对于公式(3)中的每个不等式约束，通过引入拉格朗日乘子 α i A ， α i B ， μ i A ， μ i B ， β i A ， β i B ， β m ( ∗ ) ， γ m ( ∗ ) ， k m ( ∗ ) ， λ 。拉格朗日函数被定义为： L ( Θ ) = 1 2 ( ‖ w A ‖ 2 + ‖ w B ‖ 2 ) + C A ∑ i = 1 l ξ i A + C B ∑ i = 1 l ξ i B + C ∑ i = 1 l η i + D ∑ m ( ψ m + ψ m * )   − ∑ i α i A ( y i ( w A ⋅ ϕ A ( x i ) + b A ) − 1 + ξ i A )   − ∑ i α i B ( y i ( w B ⋅ ϕ B ( x i ) + b B ) − 1 + ξ i B )   + ∑ i β i A ( ( w A ⋅ ϕ A ( x i ) + b A ) − ( w B ⋅ ϕ B ( x i ) + b B ) − ε − η i )   + ∑ i β i B ( ( w A ⋅ ϕ A ( x i ) + b A ) − ( w B ⋅ ϕ B ( x i ) + b B ) + ε + η i ) + ∑ m β m ( w A x μ m + b A − δ − ψ m ) − ∑ m β m * ( w A x μ m + b A + δ + ψ m * ) + ∑ m γ m ( w B x μ m + b B − δ − ψ m ) − ∑ m γ m * ( w B x μ m + b B + δ + ψ m * ) − ∑ i μ i A ξ i A − ∑ i μ i B ξ i B − ∑ m k m ψ m − ∑ m k m * ψ m * − ∑ i λ η i (4) 根据朗格朗日的对偶性，原始问题的对偶性是极大极小问题，因此，为了解决对偶问题，我们首先对拉格朗日函数 L ( Θ ) 对 w ， b ， ξ i ， ψ m ， η i 进行求偏导并设置等式为0，拉格朗日函数的微分如下： w A = ∑ i α i A y i ϕ A ( x i ) − ∑ i β i A ϕ A ( x i ) + ∑ i β i B ϕ A ( x i ) − ∑ m β m x μ m + ∑ m β m * x μ m ， w B = ∑ i α i B y i ϕ B ( x i ) − ∑ i β i A ϕ B ( x i ) + ∑ i β i B ϕ B ( x i ) − ∑ m γ m x μ m + ∑ m γ m * x μ m ， C A = α i A + μ i A ，       C B = α i B + μ i B ， D = β m + γ m + k m ，       D = β m * + γ m * + k m * ，     C = β i A + β i B + λ (5) 将公式(5)代入公式(4)中，得到对偶问题： max W = − 1 2 ∑ i ∑ j ( g i A g j A ( ϕ A ( x i ) ϕ A ( x j ) ) ) − 1 2 ∑ i ∑ j ( g i B g j B ( ϕ B ( x i ) ϕ B ( x j ) ) )   + 1 2 ∑ m ∑ n ( β m β n + γ m γ n ) x μ m x μ n + 3 2 ∑ m ∑ n ( β m * β n * + γ m * γ n * ) x μ m x μ n   + ∑ i ∑ j ( α i A β j A − α i A β j B ) y i y j ϕ A ( x i ) ϕ A ( x j ) − ∑ i ∑ j ( α i B β j A − α i B β j B ) y i y j ϕ B ( x i ) ϕ B ( x j )   − 2 ∑ m ∑ n ( β m β n * + γ m γ n * ) x μ m x μ n + ∑ i ( α i A + α i B ) − δ ∑ m ( β m + γ m ) − δ ∑ m ( β m * + γ m * ) (6) 约束条件： g i A = α i A y i − β i A + β i B ，       g i B = α i B y i + β i A − β i B ，     ∑ i g i A = ∑ i g i B = 0 ， 0 ≤ α i A / B ≤ C A / B ，     0 ≤ β m + γ m ≤ D ，       0 ≤ β m * + γ m * ≤ D i = 1 ， ⋯ ， l ，       m = 1 ， 2 ， ⋯ ， μ ， μ + 1 ， ⋯ ， 2 μ 基于上述具有Universum数据的多视角学习模型，我们提出了该算法的完整过程，具体的算法实现步骤如表1所示。 Table 1 Algorithm implementation step 输入：带有标签的训练集和Universum样本 输出： w A ， w B ， b A ， b B 1：通过相应的核函数得到训练集的特征投影； 2：融合多视角数据与Universum数据； 3：初始化 ξ i A ， ξ i B ， C ， C A ， C B ， D ； 4：构造并求解凸二次规划问题(6)； 5：通过求解Quadratic programming问题得到解 α A ， β B ， β m ， β m * ， γ m ， γ m * ； 6：通过公式(5)计算 w A ， w B ， b A ， b B ； 7：返回结果 w A ， w B ， b A ， b B ； 表1. 算法实现步骤 2.3. 时间复杂度分析 我们将讨论该算法的时间复杂度并给出一个估计。该算法可以归结为凸二次规划问题(Convex quadratic programming problem)，所以该算法的时间复杂度为 O ( ( l + m ) 3 ) (l为训练样本个数，m为Universum样本个数)。