system: [SYSTEM]

user: 3. 具有特权信息的SVM模型 3.1. 基于特权信息的监督学习 通常来说，可以将监督学习描述为：给定一个概率分布 P ( x ， y ) 未知的训练集 ( x 1 ， y 1 ) ， ⋯ ， ( x l ， y l ) 。对这个训练集进行学习，在给定的一系列函数 f ( x ， a ) ， a ∈ Λ 中寻找一个函数 y = f ( x ， α ∗ ) 使得待分类的测试样本点被错误分类的概率达到最小。 在数据挖掘过程中，基于特权信息的学习方法除了需要处理标准的训练数据集 ( x ， y ) ∈ X × { ± 1 } 以外，还需要处理一些特权信息 x ∗ ∈ X ∗ 。这些特权信息能应用到训练样本中，却不能应用于测试样本。所以该方法要求：给定一个训练集 { ( x i ， x i ∗ ， y i ) } i = 1 l ，寻找一个函数 f : X → { − 1 ， 1 } ，使得对待分类的测试样本点有较小的误差率。此外，基于特权信息的学习方法，在一定程度上能够对SVM模型起到补充作用。基于特权信息的模型和一般的SVM模型的不同之处就在于，在训练阶段，给出的是带有特权信息的样本集 ( x ， x ∗ ， y ) 而不是 ( x ， y ) 。这些特权信息 x ∗ ∈ X ∗ 是属于一个不同于 X 空间的 X ∗ 空间。 在现实生活中，特权信息是普遍存在的。而对于几乎所有的机器学习问题，都会存在着一些可应用的不同种类的特权信息。基于特权信息的学习方法的主要目标是通过使用特权信息来增加算法的收敛速度 [ 7 ] [ 8 ] 。同时，这些特权信息都或多或少的与预测的结果相关联，所以在机器学习中加入这样的特权信息，有望使得数据的类型得到丰富，预测的结果得到进一步的精准。但是，值得注意的是，这些特权信息在训练集上是可提供的，但是对于测试集来说就难以提供了。 3.2. 具有特权信息的SVM模型及其特例 3.2.1. 具有特权信息的SVM模型 给定 l ( l ∈ N + ) 个样本，假设： (1) 其中 n ( n ∈ N + ) 个样本无特权信息，其余 ( l − n ) 个样本具有特权信息； (2) 具有特权信息的 ( l − n ) 个样本来自于 t ( t ∈ N + ) 个不同的特权空间。 即样本集合可表示为： ( x 1 ， y 1 ) ， ⋯ ， ( x n ， y n ) ， ( x n + 1 ， x n + 1 1 ， y n + 1 ) ， ⋯ ， ( x m ， x m 1 ， y m ) ， ⋯ ， ( x A ， x A j ， y A ) ， ⋯ ， ( x B ， x B j ， y B ) ， ⋯ ， ( x d ， x d t ， y d ) ， ⋯ ， ( x l ， x l t ， y l ) ， 0 ≤ n ≤ m ≤ A ≤ B ≤ d ≤ l ， n ∈ N + ， m ∈ N + ， A ∈ N + ， B ∈ N + ， d ∈ N + 。 对训练集 ( x ， y ) 与 ( x ， x j ， y ) ，我们将向量 x ∈ X 映射到空间 Z ，向量 x j ∈ X j 映射到空间 Z j 。第 j ( j = 1 ， 2 ， ⋅ ⋅ ⋅ ， t ) 个特权空间中的松弛变量 ξ j 可用校正函数 φ ( i j ) = ( w ⋅ z i j ) + b j 与变量 ξ i j 混合模拟，即 ξ j = ( w j ⋅ z i j ) + b j + ξ i j ， ( w j ⋅ z i j ) + b j ≥ 0 ， ξ i j ≥ 0 ， 1 ≤ i ≤ l 。求解如下线性规划问题： min w ， w 1 ， ⋯ ， w t ， b ， b 1 ， ⋯ ， b t ， ξ ， ξ 1 ， ⋯ ， ξ t               1 2 [ ( w ⋅ w ) + γ ( ( w 1 ⋅ w 1 ) + ⋅ ⋅ ⋅ + ( w j ⋅ w j ) + ⋅ ⋅ ⋅ + ( w t ⋅ w t ) ) ] + C ∑ i = 1 n ξ i                                                                                                                                                                                 + C 1 ∑ n + 1 m [ ( w 1 ⋅ z i 1 ) + b 1 ] + θ 1 C 1 ∑ i = n + 1 m ξ i 1 + ⋅ ⋅ ⋅ + C j ∑ A B [ ( w j ⋅ z i j ) + b j ]                                                                                                                                                                                 + θ j C j ∑ i = A B ξ i j + ⋅ ⋅ ⋅ + C k ∑ d l [ ( w t ⋅ z i t ) + b t ] + θ k C k ∑ i = d l ξ i t s .t .                                                                         y i [ ( w ⋅ z i ) + b ] ≥ 1 − ξ i ， i = 1 ， ⋅ ⋅ ⋅ ， n                                                                                                 y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w j ⋅ z i j ) + b j + ξ i j ] ， j = 1 ， 2 ， ⋅ ⋅ ⋅ ， t                                                                                           ξ i ≥ 0 ， i = 1 ， ⋅ ⋅ ⋅ ， n                                                                                             ξ i 1 ， ξ i 2 ， ⋅ ⋅ ⋅ ， ξ i t ≥ 0                                                                                             ( w j ⋅ z i j ) + b j ≥ 0 ， j = 1 ， 2 ， ⋅ ⋅ ⋅ ， t 其中 i 为对应特权空间的样本序号， γ ， C ， C j 为惩罚参数，参数 θ j 的作用是调节线性函数 φ ( i j ) = ( w j ⋅ z i j ) + b j 与变量 ξ i j 两者之间的惩罚程度。 求解此二次优化问题的标准方法是构造拉格朗日函数，引入拉格朗日乘子 α i 与 β i ， α i ≥ 0 ， β i ≥ 0 ， 0 ≤ i ≤ l 。首先极小化 w ， w 1 ， ⋅ ⋅ ⋅ ， w t ， b ， b 1 ， ⋅ ⋅ ⋅ ， b t ， ξ ， ξ 1 ， ⋅ ⋅ ⋅ ， ξ t ，然后极大化拉格朗日乘子 α 与 β ，可得到原始模型的对偶问题为： max α ， β                                   ∑ i = 1 l α i − 1 2 ∑ i ， k = 1 l α i α k y i y k K ( x i ， x k )                                                                             − 1 2 γ ∑ i ， k = n + 1 m ( α i + β i − C 1 ) ( α k + β k − C 1 ) K 1 ( x i 1 ， x k 1 )                                                                               − ⋅ ⋅ ⋅ − 1 2 γ ∑ i ， k = A B ( α i + β i − C j ) ( α k + β k − C j ) K j ( x i j ， x k j )                                                                             ⋅ − ⋅ ⋅ − 1 2 γ ∑ i ， k = d l ( α i + β i − C t ) ( α k + β k − C t ) K t ( x k t ， x k t ) s .t .                                     ∑ i = 1 l α i y i = 0                                                         ∑ i = 1 n ( α i + β i − C ) = 0                                                       ∑ i = n + 1 l ( α j + β j − C j ) = 0 ， j = 1 ， ⋅ ⋅ ⋅ ， t ;                                                         0 ≤ α i ≤ θ j C j ， i = 1 ， ⋅ ⋅ ⋅ ， l ; j = 1 ， ⋅ ⋅ ⋅ ， t                                                         α i ≥ 0 ， β i ≥ 0 其中 A ， B 分别为相应特权空间的起始样本与终止样本序号。 在这种情况下，对偶空间解决方案定义了决策函数 y = sgn [ f ( x ) ] ，其中 f ( x ) = ( w ⋅ z ) + b = ∑ i = 1 l α i y i K ( x i ， x ) 。 3.2.2. 具有特权信息的SVM模型特例 1) 全部样本存在特权信息的SVM模型 给定的训练集 ( x ， x ∗ ， y ) 包括了来自空间 X 的向量 x 和来自空间 X ∗ 的向量 x ∗ ，我们做映射 x → z ∈ Z ， x ∗ → z ∗ ∈ Z ∗ 。由此，我们分别定义线性的决策函数和校正函数为 ( w ⋅ z ) + b 和 ( w ∗ ⋅ z ∗ ) + b ∗ 。求解如下的最优化问题： min ω ， ω ∗ ， b ， b ∗                       1 2 [ ( w ⋅ w ) + γ ( w ∗ ⋅ w ∗ ) ] + C ∑ i = 1 l [ ( w ∗ ⋅ z i ∗ ) + b ∗ ]                   s .t .                                     y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] ， i = 1 ， ⋯ ， l                                                                                     ( w ∗ ⋅ z i ∗ ) + b ∗ ≥ 0 ， i = 1 ， ⋯ ， l 其中， γ 与 C 为惩罚系数。 2) 全部样本存在特权信息且松弛变量改动的SVM模型 我们通过线性函数 ϕ ( x i ) = ( w ∗ ⋅ z i ∗ ) + b ∗ 和变量 ξ i ∗ 混合的函数来定义松弛变量 ξ i ，由此得出： ξ i = [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] + ξ i ∗ ， i = 1 ， ⋯ ， l ( w ∗ ⋅ z i ∗ ) + b ∗ ≥ 0 ， ξ i ∗ ≥ 0 ， i = 1 ， ⋯ ， l 求解如下的最优化问题： min ω ， ω ∗ ， b ， b ∗ ， ξ ∗                       1 2 [ ( w ⋅ w ) + γ ( w ∗ ⋅ w ∗ ) ] + C ∑ i = 1 l [ ( w ∗ ⋅ z ∗ ) + b ∗ ] + θ C ∑ i = 1 l ξ i ∗                   s .t .                                                       y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] − ξ i ∗                                                                                                 ( w ∗ ⋅ z i ∗ ) + b ∗ ≥ 0                                                                                                   ξ i ∗ ≥ 0 其中， γ 与 C 为惩罚系数，参数 θ 的作用是用来调节线性函数和变量 ϕ ( x i ) = ( w ∗ ⋅ z i ∗ ) + b ∗ 和变量 ξ i ∗ 两者之间的惩罚程度。 3) 只有部分训练样本存在特权信息的SVM模型 当样本中只有一部分存在可提供的特权信息，而有 n 个样本是没有特权信息时，样本集合表示为： ( x 1 ， y 1 ) ， ⋯ ， ( x n ， y n ) ， ( x n + 1 ， x n + 1 ∗ ， y n + 1 ) ， ⋯ ， ( x l ， x l ∗ ， y l ) 。在这种情况下，只需要对有特权信息的样本做些处理，这种情况的最优化模型为： min ω ， ω ∗ ， b ， b ∗                       1 2 [ ( w ⋅ w ) + γ ( w ∗ ⋅ w ∗ ) ] + C ∑ i = 1 n ξ i + C ∗ ∑ i = n + 1 l [ ( w ∗ ⋅ z i ∗ ) + b ∗ ]           s .t .                                             y i [ ( w ⋅ z i ) + b ] ≥ 1 − ξ i ， i = 1 ， ⋯ ， n                                                                             y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] ， i = n + 1 ， ⋯ ， l                                                                               ξ i ≥ 0 ， i = 1 ， ⋯ ， n                                                                                 ( w ∗ ⋅ z i ∗ ) + b ∗ ≥ 0 ， i = n + 1 ， ⋯ ， l 其中， γ ， C 与 C ∗ 为惩罚系数。 4) 来自多空间特权信息的SVM模型 假设所给的特权信息来自于不同的空间，不失一般性，我们可以考虑两个校正空间： X ∗ 和 X ∗ ∗ 空间。令所给的样本集中部分样本点的形式为： ( x i ， x i ∗ ， y i ) ， i = 1 ， ⋯ ， n ，剩下部分样本点的形式为： ( x i ， x i ∗ ∗ ， y i ) ， i = n + 1 ， ⋯ ， l 。 为了让样本集线性可分，我们把向量 x ∈ X 映射到空间 Z ，向量 x ∗ ∈ X ∗ 映射到空间 Z ∗ ，向量 x ∗ ∗ ∈ X ∗ ∗ 映射到空间 Z ∗ ∗ ，由此组成三个线性函数 ( w ⋅ z ) + b ， ( w ∗ ⋅ z ∗ ) + b ∗ ， ( w ∗ ∗ ⋅ z ∗ ∗ ) + b ∗ ∗ 。由此我们可以得到来自多空间的特权信息学习模型的最优化问题为： min ω ， ω ∗ ， ω ∗ ∗ ， b ， b ∗ ， b ∗ ∗                       1 2 [ ( w ⋅ w ) + γ ( ( w ∗ ⋅ w ∗ ) + ( w ∗ ∗ ⋅ w ∗ ∗ ) ) ]                                                                                                                             + C ∑ i = 1 n [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] + C ∗ ∑ i = n + 1 l [ ( w ∗ ∗ ⋅ z i ∗ ∗ ) + b ∗ ∗ ] s .t .                                                                           y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w ∗ ⋅ z i ∗ ) + b ∗ ] ， i = 1 ， ⋯ ， n                                                                                                 y i [ ( w ⋅ z i ) + b ] ≥ 1 − [ ( w ∗ ∗ ⋅ z i ∗ ∗ ) + b ∗ ∗ ] ， i = n + 1 ， ⋯ ， l                                                                                               ( w ∗ ⋅ z i ∗ ) + b ∗ ≥ 0 ， i = 1 ， ⋯ ， n                                                                                                 ( w ∗ ∗ ⋅ z i ∗ ∗ ) + b ∗ ∗ ≥ 0 ， i = n + 1 ， ⋯ ， l 其中， γ ， C 与 C ∗ 为惩罚系数。