system: [SYSTEM]

user: 3. 迭代支持向量机(Iε-SVM) ε-SVM采用ε不敏感函数，夹在曲线 f ( x ) = ∑ i = 1 l ( α i ∗ − α i ) k ( x i ， x ) + b + ε 和 f ( x ) = ∑ i = 1 l ( α i ∗ − α i ) k ( x i ， x ) + b − ε 中间的区域被称为ε-带，当样本点位于ε-带中时则认为模型在该点没有损失，只有当样本点位于ε-带之外时，才有损失出现。针对样本点 ( x i ， y i ) 和ε-带之间的位置关系，我们有下面的定理。 定理1 [ 2 ] ：设 α ( * ) = ( α 1 ， α 1 * ， ⋅ ⋅ ⋅ ， α l ， α l * ) T 是最优化问题(2)的解，则 i) 若 α i = α i * = 0 ，则相应的样本点 ( x i ， y i ) 一定在ε-带的内部或边界上。 ii) 若 α i ∈ ( 0 ， C ) ， α i * = 0 或 α i = 0 ， α i * ∈ ( 0 ， C ) ，则相应的样本点 ( x i ， y i ) 一定在ε-带的边界上。 iii) 若 α i = C ， α i * = 0 或 α i = 0 ， α i * = C ，则相应的样本点 ( x i ， y i ) 一定在ε-带的外部或边界上。 证明：若 α ( * ) = ( α 1 ， α 1 * ， ⋅ ⋅ ⋅ ， α l ， α l * ) 是最优化问题(2)的解。则KKT互补条件为： α i ( ε + ξ i − y i + w ⋅ x i + b ) = 0 (4) α i * ( ε + ξ i + y i − w ⋅ x i − b ) = 0 (5) ( C − α i ) ξ i = 0 (6) ( C − α i * ) ξ i * = 0 (7) 以下分别证明结论i)~iii)： i) 由式(6)和(7)可以看出 ξ = ξ i * = 0 。 ii) 由式(6)和(7)可以看出 ξ = ξ i * = 0 ，同时结合式(4)和(5)可断定，当 α i ≠ 0 时， ε + ξ i − y i + w ⋅ x i + b = 0 ；当 α i * ≠ 0 时， ε + ξ i + y i − w ⋅ x i − b = 0 。 iii) 由式(4)~(7)可以看出。 定理1得证。 由定理1可知，若样本点 ( x i ， y i ) 在ε-带外部，则 α i = C ， α i * = 0 或 α i = 0 ， α i * = C 。 从定理1可以看出，离最终拟合曲线距离越远的样本点 ( x i ， y i ) 对应着更大的 α i 或 α i * 。ε-SVM具有很强的建模能力，但在实际问题当中，样本点数据 ( x i ， y i ) 通常还包含了未知的噪声信息，ε-SVM的建模机理使得最终生成的模型更依赖于那些可能受噪声影响较大的样本点。为避免这一点，我们提出了迭代的ε-SVM(Iε-SVM)。Iε-SVM采用迭代的方式，通过一步步修正那些可能受噪声影响较大的样本点信息来使得Iε-SVM获得更好的泛化性能。 图1. Iε-SVM流程图 Iε-SVM的运行机制如图1所示，我们首先确定模型参数C及可能存在的核函数参数，为ε选取一个较大的初始值，训练ε-SVM，更新落入ε-带外部的样本点 ( x i ， y i ) 的值， λ 是个预先给定的比例系数，每次按比例 λ 缩小ε； ς 是一个预先给定的阀值，如果 ε < ς 则终止算法，否则更新ε的值，并在更新后的样本集上训练ε-SVM。 更新样本集信息 当选定一个ε，并训练好ε-SVM，更新此时落入ε-带外部的样本点 ( x i ， y i ) 的值，让它们向对应的ε-带边界靠近。根据定理1，有三种可能的情况。 1) 若 α i ≠ C 且 α i * ≠ C ，此时样本点 ( x i ， y i ) ε-带的内部或边界上，则令 y ˜ i = y i 。 2) 若 α i = C ， α i * = 0 ，此时 y i ≥ w ⋅ x i + b + ε ，我们令 y ˜ i = w ⋅ x i + b + ε 。 3) 若 α i = 0 ， α i * = C ，此时 y i ≤ w ⋅ x i + b − ε ，我们令 y ˜ i = w ⋅ x i + b − ε 。 按上面方法对每个样本点进行更新，获得更新后的样本集 T ˜ = { ( x 1 ， y ˜ 1 ) ， ⋯ ， ( x l ， y ˜ l ) } ，下面定理说明了当ε-SVM作用于样本集 T ˜ 时可以获得比作用于原样本集T时更小的 ‖ w ‖ 2 。 定理2：对于给定的ε-SVM参数 ε ， C ， T = { ( x 1 ， y 1 ) ， ⋯ ， ( x i ， y i ) ， ⋯ ， ( x l ， y l ) } 为原样本集， T ˜ = { ( x 1 ， y ˜ 1 ) ， ⋯ ， ( x i ， y ˜ i ) ， ⋯ ， ( x l ， y ˜ l ) } ，为更新样本点信息后获得的样本集，将ε-SVM分别作用于样本集T和 T ˜ 上获得最优解 ( w ¯ ， b ¯ ， ξ ¯ ( ∗ ) ) 和 ( w ˜ ， b ˜ ， ξ ˜ ( ∗ ) ) ，则 ‖ w ˜ ‖ 2 ≤ ‖ w ¯ ‖ 2 。 证明：将ε-SVM作用于样本集 T ˜ ，获得如下的最优化问题： m i n w ， b ， ξ ( ∗ )   τ ( w ， b ， ξ ( ∗ ) ) = 1 2 ‖ w ‖ 2 + C ∑ i = 1 l ( ξ i + ξ i ∗ ) s .t . { y ˜ i − ( w ⋅ x i + b ) ≤ ε + ξ i ( w ⋅ x i + b ) − y ˜ i ≤ ε + ξ i * ξ ( ∗ ) ≥ 0 (8) 样本集 T ˜ 是由样本集T更新后获得，根据更新规则， y ˜ i 只有三种可能取值。 i) y ˜ i = y i ，此时 ( x i ， y i ) 落入曲线 y = w ¯ ⋅ x + b ¯ 的ε-带内部或边界上，有： y ˜ i − ( w ¯ ⋅ x i + b ¯ ) ≤ ε ， ( w ¯ ⋅ x i + b ¯ ) − y ˜ i ≤ ε . ii) y ˜ i = w ¯ ⋅ x i + b ¯ + ε ，此时 ( x i ， y i ) 落入曲线 y = w ¯ ⋅ x + b ¯ 的ε-带外部或边界上，有： y ˜ i − ( w ¯ ⋅ x i + b ¯ ) ≤ ε ， ( w ¯ ⋅ x i + b ¯ ) − y ˜ i ≤ ε . iii) y ˜ i = w ¯ ⋅ x i + b ¯ − ε ，此时 ( x i ， y i ) 同样落入曲线 y = w ¯ ⋅ x + b ¯ 的ε-带外部或边界上，有： y ˜ i − ( w ¯ ⋅ x i + b ¯ ) ≤ ε ， ( w ¯ ⋅ x i + b ¯ ) − y ˜ i ≤ ε . 由(i)~(iii)可知 ( w ¯ ， b ¯ ， 0 ) 是最优化问题(8)的可行解，所以有： τ ( w ¯ ， b ¯ ， 0 ) ≥ τ ( w ˜ ， b ˜ ， ξ ˜ ( ∗ ) ) ， 即 1 2 ‖ w ˜ ‖ 2 + C ∑ i = 1 l ( ξ ˜ i + ξ ˜ i ∗ ) ≤ 1 2 ‖ w ¯ ‖ 2 ，而 ξ ˜ ( ∗ ) ≥ 0 ，所以有： ‖ w ˜ ‖ 2 ≤ ‖ w ¯ ‖ 2 .