system: [SYSTEM]

user: 3. 基于多视图双支持向量机的半监督学习方法 针对分类问题，本文提出了基于多视图双支持向量机的半监督学习方法，此方法将双支持向量机应用到多视图半监督学习中。给定训练集 T = { ( x 1 ， y 1 ) ， ⋯ ， ( x l ， y l ) } ∪ { x l + 1 ， ⋯ ， x l + u } ，其中 x i ∈ R n ， i = 1 ， ⋯ ， l ， l + 1 ， l + u ， y i ∈ Y = { − 1 ， 1 } ，需要找到与 { x i } i = l + 1 l + u 对应的输出值 y u = ( y l + 1 ， ⋯ ， y l + u ) T 和在多视图双支持向量机中的决策函数： f ( x ) = min { f 1 ( x ) ， f 2 ( x ) }       = min { min | w ( 1 i ) T x + b ( 1 i ) | ， min | w ( 2 i ) T x + b ( 2 i ) | } ， i = 1 ， 2 ， 本文提出的多视图双支持向量机半监督学习方法是将(2.2)节中的矩阵 A ， B 分别从两个视图进行描述，得到线性可分的多视图双支持向量机的半监督学习(MV-TWSVM)的优化模型为： MV-TWSVM 1 : min   1 2 ( ‖ A 1 w ( 11 ) + e 1 b ( 11 ) ‖ 2 + ‖ A 2 w ( 12 ) + e 1 b ( 12 ) ‖ 2 ) + c 11 e 2 T ξ ( 11 ) + c 12 e 2 T ξ ( 12 )                     + 1 2 γ 1 c 1 ‖ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ‖ 2 ，                 s .t .   − ( B 1 w ( 11 ) + e 2 b ( 11 ) ) ≥ e 2 − ξ ( 11 ) ，                     − ( B 2 w ( 12 ) + e 2 b ( 12 ) ) ≥ e 2 − ξ ( 12 ) ，                     ξ ( 11 ) ≥ 0 ， ξ ( 12 ) ≥ 0 ， (13) 和 MV-TWSVM2 : min   1 2 ( ‖ B 1 w ( 21 ) + e 2 b ( 21 ) ‖ 2 + ‖ B 2 w ( 22 ) + e 2 b ( 22 ) ‖ 2 ) + c 21 e 1 T ξ ( 21 ) + c 22 e 2 T ξ ( 22 )                     + 1 2 γ 2 c 2 ‖ ( U 1 w ( 21 ) + e 3 b ( 21 ) ) − ( U 2 w ( 22 ) + e 3 b ( 22 ) ) ‖ 2 ，                 s .t .   ( A 1 w ( 21 ) + e 1 b ( 21 ) ) ≥ e 1 − ξ ( 21 ) ，                     ( A 2 w ( 22 ) + e 1 b ( 22 ) ) ≥ e 1 − ξ ( 22 ) ，                     ξ ( 21 ) ≥ 0， ξ ( 22 ) ≥ 0 ， (14) 其中， A v ∈ ( m 1 × n ) 和 B v ∈ ( m 2 × n ) ， m 1 和 m 2 表示数据点的数量，v表示视图的个数， γ 1 ， γ 2 ， c 1 ， c 2 是参数， e 1 ， e 2 ， e 3 表示相应维数的单位向量 ξ ( 1 v ) ， ξ ( 2 v ) 是损失项。 对(3.2)式引入拉格朗日乘子并构造拉格朗日函数为： L ( w ( 11 ) ， w ( 12 ) ， b ( 11 ) ， b ( 12 ) ， α 11 ， α 12 ， β 11 ， β 12 ) = 1 2 ( A 1 w ( 11 ) + e 1 b ( 11 ) ) T ( A 1 w ( 11 ) + e 1 b ( 11 ) ) + 1 2 ( A 2 w ( 12 ) + e 1 b ( 12 ) ) T ( A 2 w ( 12 ) + e 1 b ( 12 ) ) + 1 2 [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] T [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] + α 11 T [ B 1 w ( 11 ) + e 2 b ( 11 ) + e 2 − ξ ( 11 ) ] + α 12 T [ B 2 w ( 12 ) + e 2 b ( 12 ) + e 2 − ξ ( 12 ) ] + c 11 e 2 T ξ ( 11 ) + c 12 e 2 T ξ ( 12 ) − β 11 T ξ ( 11 ) − β 12 T ξ ( 12 ) ， (15) 对 L 的分量求导并令其为0得： ∇ w ( 11 ) L :   A 1 T ( A 1 w ( 11 ) + e 1 b ( 11 ) ) + γ 1 c 1 U 1 T [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] + B 1 T α 11 = 0 ， (16) ∇ w ( 12 ) L :   A 2 T ( A 2 w ( 12 ) + e 1 b ( 11 ) ) + γ 1 c 1 U 2 T [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] + B 2 T α 12 = 0， (17) ∇ b ( 11 ) L   :   e 1 T ( A 1 w ( 11 ) + e 1 b ( 11 ) ) + γ 1 c 1 e 3 T [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] + e 2 T α 11 = 0 ， (18) ∇ b ( 12 ) L :   e 1 T ( A 2 w ( 12 ) + e 1 b ( 12 ) ) − γ 1 c 1 e 3 T [ ( U 1 w ( 11 ) + e 3 b ( 11 ) ) − ( U 2 w ( 12 ) + e 3 b ( 12 ) ) ] + e 2 T α 12 = 0 ， (19) ∇ ξ ( 11 ) L : c 11 e 2 T − α 11 T − β 11 = 0 ， (20) ∇ ξ ( 12 ) L : c 12 e 2 T − α 12 T − β 12 = 0 ， (21) ∇ α 11 L :   α 11 T ( B 1 w ( 11 ) + e 2 b ( 11 ) − ξ ( 11 ) ) = 0 ， (22) ∇ α 12 L :   α 12 T ( B 2 w ( 12 ) + e 2 b ( 12 ) − ξ ( 12 ) ) = 0 ， (23) ∇ β 11 L : β 11 T ξ ( 11 ) = 0 ， (24) ∇ β 12 L : β 12 T ξ ( 12 ) = 0 ， (25) − ( B 1 w ( 11 ) + e 2 b ( 11 ) ) + ξ ( 11 ) ≥ e 2 ， (26) − ( B 2 w ( 11 ) + e 2 b ( 12 ) ) + ξ ( 12 ) ≥ e 2 ， (27) 由(16)和(18)得： ( [ A 1 T e 1 T ] [ A 1 e 1 ] + c 1 γ 1 [ u 1 T e 3 T ] [ u 1 e 3 ] ) [ w ( 11 ) b ( 11 ) ] − c 1 γ 1 [ u 1 T e 3 T ] [ u 2 e 3 ] [ w ( 12 ) b ( 12 ) ] + α 11 [ B 1 T e 2 T ] α 12 = 0 ， (28) 由(17)和(19)得： − c 1 γ 1 [ U 2 T e 3 T ] [ U 1 e 3 ] [ w ( 11 ) b ( 11 ) ] + ( [ A 2 T e 1 T ] [ A 2 e 1 ] + c 1 γ 1 [ U 2 T e 3 T ] [ U 2 e 3 ] ) [ w ( 12 ) b ( 12 ) ] + [ B 2 T e 2 T ] α 12 = 0 ， (29) 定义 H 1 = [ A 1   e 1 ] ， H 2 = [ A 2   e 1 ] ， P 1 = [ U 1   e 3 ] ， P 2 = [ U 2   e 3 ] ， G 1 = [ B 1   e 2 ] T ， G 2 = [ B 2   e 2 ] T ， 令 H = H 1 T H 1 + c 1 γ 1 P 1 T P 1 ， F = − c 1 γ 1 P 1 T P 2 ， P = H 2 T H 2 + c 1 γ 1 P 2 T P 2 ， Q = F − 1 H − P − 1 F T ， u 1 = [ w ( 11 )   b ( 11 ) ] T ， u 2 = [ w ( 12 )   b ( 12 ) ] T ， (30) 由(28)和(29)可到： H u 1 + F u 2 = − G 1 α 11 ， (31) F T u 1 + P u 2 = − G 2 α 12 ， (32) 由(31)和(32)可解得： u 1 = − Q − 1 F − 1 G 1 α 11 + Q − 1 P − 1 G 2 α 12 ， (33) u 2 = − Q H − 1 G 1 α 11 + Q ( F T ) − 1 G 2 α 12 ， (34) 由(33)式(34)式及KKT条件可以得到MV-TWSVM1的对偶问题(DMV-TWSVM1) max 1 2 α 1 T M α 1 + e 2 T α 1 ， s .t . 0 ≤ α 1 ≤ c 1 ， (35) 其中 M = ( M 1 M 2 M 3 M 4 ) ， α 1 = ( α 11 α 12 ) ， c 1 = ( c 11 c 12 ) ， M 1 = M 11 T H M 11 + M 13 T P M 13 − M 11 T F M 13 − M 13 T F T M 11 − 2 G 1 T M 11 ， M 2 = M 12 T H M 12 + M 14 T P M 14 − M 12 T F M 14 − M 14 T F T M 12 − 2 G 2 T M 12 ， M 3 = − M 11 T H M 12 − M 13 T P M 14 + M 11 T F M 14 + M 13 T F T M 12 − 2 G 1 T M 12 ， M 4 = − M 12 T H M 11 − M 14 T P M 13 + M 12 T F M 13 + M 14 T F T M 11 − 2 G 2 T M 13 ， M 11 = Q − 1 F − 1 G 1 ， M 12 = Q − 1 F − 1 G 2 ， M 13 = Q H − 1 G 1 ， M 14 = Q ( F T ) − 1 G 2 ， 同理，对MV-TWSVM2引入拉格朗日乘子并构建拉格朗日函数： ( [ B 1 T e 2 T ] [ B 1 e 2 ] + c 2 γ 2 [ U 1 T e 3 T ] [ U 1 e 3 ] ) [ w ( 21 ) b ( 21 ) ] − c 2 γ 2 [ U 1 T e 3 T ] [ U 2 e 3 ] [ w ( 22 ) b ( 22 ) ] + α 21 [ A 1 T e 1 T ] = 0 ， (36) − c 2 γ 2 [ U 2 T e 3 T ] [ U 1 e 3 ] [ w ( 21 ) b ( 21 ) ] + ( [ B 2 T e 2 T ] [ B 2 e 2 ] + c 2 γ 2 [ U 2 T e 3 T ] [ U 2 e 3 ] ) [ w ( 22 ) b ( 22 ) ] + [ A 2 T e 1 T ] α 22 = 0 (37) 定义 X = G 1 T G 1 + c 2 γ 2 P 1 T P 1 ， Y = − c 2 γ 2 P 1 T P 2 ， R = G 2 T G 2 + c 2 γ 2 P 2 T P 2 ， S = Y − 1 X − R − 1 Y T ， v 1 = [ w ( 21 )   b ( 21 ) ] T ， v 2 = [ w ( 22 )   b ( 22 ) ] T ， (38) 由(36) (37)和(38)可解得： v 1 = S − 1 Y − 1 H 1 α 21 + S − 1 R − 1 H 2 α 22 ， (39) v 2 = S X − 1 H 1 α 21 + S ( Y T ) − 1 H 2 α 22 ，   (40) 由(39)式(40)式及KKT条件可以得到MV-TWSVM2的对偶问题(DMV-TWSVM2)： max 1 2 α 2 T N α 2 + e 1 T α 2 ， s .t . 0 ≤ α 2 ≤ c 2 ， (41) 其中 N = ( N 1 N 2 N 3 N 4 ) ， α 2 = ( α 21 α 22 ) ， c 2 = ( c 21 c 22 ) ， N 1 = M 21 T X M 21 + M 23 T R M 23 − M 21 T Y M 23 − M 23 T Y T M 21 − 2 G 1 T M 21 ， N 2 = M 22 T X M 22 + M 24 T R M 24 − M 22 T Y M 24 − M 24 T Y T M 22 − 2 G 2 T M 22 ， N 3 = − M 21 T X M 22 − M 23 T R M 24 + M 21 T Y M 24 + M 23 T Y T M 22 − 2 G 1 T M 22 ， N 4 = − M 22 T X M 21 − M 24 T R M 23 + M 22 T Y M 23 + M 24 T Y T M 21 − 2 G 2 T M 23 ， M 21 = S − 1 Y − 1 G 1 ， M 22 = S − 1 Y − 1 G 2 ， M 23 = S X − 1 G 1 ， M 24 = S ( Y T ) − 1 G 2 ， 由上述过程可导出如下算法： 算法3.1：多视图双支持向量机半监督学习方法： 输入：训练集 T ； 输出：决策函数 f ； 1) 输入训练集 T ， γ 1 ， γ 2 > 0 ，选择参数 c 11 ， c 12 ， c 21 ， c 22 > 0 ； 2) 计算(35)，(41)得到 α 1 和 α 2 ； 3) 计算(33)，(34)，(39)，(40)得到 u 1 ， u 2 ， v 1 ， v 2 ； 4) 由(30)，(38)得到 ( w ( 11 ) ， b ( 11 ) ) ， ( w ( 12 ) ， b ( 12 ) ) ， ( w ( 21 ) ， b ( 21 ) ) ， ( w ( 22 ) ， b ( 22 ) ) ； 5) 得到决策函数。 f ( x ) = min { min | w ( 1 i ) T x + b ( 1 i ) | ， min | w ( 2 i ) T x + b ( 2 i ) | } ， i = 1 ， 2.