system: [SYSTEM]

user: 4. 误差分析 为了分析算法误差，像文献 [ 2 ] 中一样，这里需要引进一个正则化函数 f μ ， λ ： f μ ， λ = L K ˜ ， μ 2 ( λ I + L K ˜ ， μ 2 ) − 1 f ρ ，   0 < λ < 1 (4.1) 所以我们可以把误差 f Z ， λ − f ρ 分解成两部分： f Z ， λ − f ρ = { f Z ， λ − f μ ， λ } + { f μ ， λ − f ρ } (4.2) 这里右边第一部分叫做样本误差，第二部分叫做正则误差。 4.1. 正则误差分析 在这一小分节中，我们分析正则化误差 ‖ f μ ， λ − f ρ ‖ L μ 2 的界。 命题4.1在假设1 (Non-iid Sampling Condition) (2.2)和假设2 (Approximation Condition) (2.3)成立的条件下，当 0 < λ ≤ 1 时，下列正则化误差的界成立： ‖ f μ ， λ − f ρ ‖ L μ 2 ≤ 2 a 0 λ β / 4 (4.3) 证：由引理3.2，引理3.3和下列积分算子不等式 ‖ ( λ + L K ˜ ， μ 2 ) − 1 4 ( λ + L K ˜ ， μ ) 1 2 ‖ ≤ 2 则有 ‖ f μ ， λ − f ρ ‖ L μ 2 = ‖ λ ( λ I + L K ˜ ， μ 2 ) − 1 ( λ + L K ˜ ， μ ) 1 2 ( λ + L K ˜ ， μ ) − 1 2 f ρ ‖ L μ 2 ≤ 2 a 0 λ β / 4 相似地，有 ‖ f μ ， λ ‖ K ˜ = ‖ L K ˜ ， μ 3 2 ( λ I + L K ˜ ， μ 2 ) − 1 ( λ + L K ˜ ， μ ) 1 2 ( λ + L K ˜ ， μ ) − 1 2 f ρ ‖ L μ 2 ≤ 2 a 0 λ ( β − 1 ) / 4 (4.4) 4.2. 样本误差分析 在这一个小分节中，我们分析样本误差 ‖ f Z ， λ − f μ ， λ ‖ L μ 2 的界。 与文献 [ 10 ] 同样的方法，记 λ f μ ， λ = L K ˜ ， μ 2 ( f ρ − f μ ， λ ) ，有 f Z ， λ − f μ ， λ = [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 { ( 1 m S x ∗ S x ) 1 m S x ∗ y − [ ( 1 m S x ∗ S x ) 2 + λ I ] f μ ， λ } = [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 { ( 1 m S x ∗ S x ) 1 m ∑ i = 1 m ( y i − f μ ， λ ( x i ) ) K ˜ x i − L K ˜ ， μ 2 ( f ρ − f μ ， λ ) } = [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 ( 1 m S x ∗ S x ) U + [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 V W (4.5) 其中 U = 1 m ∑ i = 1 m ( y i − f μ ， λ ( x i ) ) K ˜ x i − L K ˜ ， μ ( f ρ − f μ ， λ ) V = 1 m S x ∗ S x − L K ˜ ， μ W = L K ˜ ， μ ( f ρ − f μ ， λ ) (4.6) 记 f Z ， λ 和 f μ ， λ 都在 H K ˜ 中。由引理3.2，有 ‖ f Z ， λ − f μ ， λ ‖ L μ 2 = ‖ L K ˜ ， μ 1 2 ( f Z ， λ − f μ ， λ ) ‖ K ˜ ≤ ‖ L K ˜ ， μ 1 2 [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 ( 1 m S x ∗ S x ) U ‖ K ˜ + ‖ L K ˜ ， μ 1 2 [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 V W ‖ K ˜ = I 1 + I 2 (4.7) 接下来分别分析 I 1 和 I 2 。 由算子单调不等式( [ 17 ] ，定理2.1)，有 ‖ L K ˜ ， μ 1 2 − ( 1 m S x ∗ S x ) 1 2 ‖ ≤ ‖ L K ˜ ， μ − ( 1 m S x ∗ S x ) ‖ 1 2 (4.8) 于是，可以得到 I 1 ≤ ‖ L K ˜ ， μ − ( 1 m S x ∗ S x ) ‖ 1 2 ‖ [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 ( 1 m S x ∗ S x ) ‖ ‖ U ‖ K ˜ + ‖ [ λ I + ( 1 m S X ∗ S X ) 2 ] − 1 ‖ ‖ U ‖ K ˜ ≤ ( λ − 1 2 ‖ V ‖ 1 2 + λ − 1 4 ) ‖ U ‖ K ˜ (4.9) 类似地得到 I 2 的界 I 2 ≤ ‖ L K ˜ ， μ − ( 1 m S x ∗ S x ) ‖ 1 2 ‖ [ λ I + ( 1 m S x ∗ S x ) 2 ] − 1 ‖ ‖ V ‖ ‖ W ‖ K ˜ + ‖ [ λ I + ( 1 m S X ∗ S X ) 2 ] − 1 ( 1 m S X ∗ S X ) 1 2 ‖ ‖ V ‖ ‖ W ‖ K ˜ ≤ ( λ − 1 ‖ V ‖ 1 2 + λ − 3 4 ) ‖ V ‖ ‖ W ‖ K ˜ (4.10) 下面我们会依次给出 ‖ V ‖ ， ‖ W ‖ K ˜ ， ‖ U ‖ K ˜ 的估计。引理3.4已经给出了 ‖ V ‖ 的估计。接下来考虑 ‖ W ‖ K ˜ 类似命题4.1，得到以下引理： 引理4.1在假设1 (Non-iid Sampling Condition)和假设2 (Approximation Condition)成立的条件下，当 0 < λ ≤ 1 时，有以下不等式成立 ‖ W ‖ K ˜ ≤ 2 a 0 λ ( β + 1 ) / 4 (4.11) 最后分析 ‖ U ‖ K ，需要有下列引理： 引理4.2在假设1 (Non-iid Sampling Condition) (2.2)和假设2 (Approximation Condition) (2.3)成立的条件下，有 ( E ‖ U ‖ K ˜ 2 ) 1 2 ≤ ( C 3 m ) 1 2 { 1 + λ ( β − 1 ) ( p − 1 ) / 4 p ( ∑ i = 1 m − 1 α l ( p − 2 ) / p ) 1 2 } (4.12) 证：定义在 H K ˜ 上的向量值随机变量 ξ ( z ) = ( y − f μ ， λ ( x ) ) K ˜ ( ⋅ ， x ) 。因此， U = 1 m ∑ i = 1 m ξ ( z i ) − L K ˜ ， μ ( f ρ − f μ ， λ ) ，   E 1 m ∑ i = 1 m ξ ( z i ) = L K ˜ ， μ ( f ρ − f μ ， λ ) 所以， E ‖ U ‖ K ˜ 2 = E ‖ 1 m ∑ i = 1 m ξ ( z i ) − E 1 m ∑ i = 1 m ξ ( z i ) ‖ K ˜ 2 = E ‖ 1 m ∑ i = 1 m ξ ( z i ) ‖ K ˜ 2 − ‖ L K ， μ ( f ρ − f μ ， λ ) ‖ K ˜ 2 (4.13) 由引理3.1，当 p > 2 时，令 u = v = p ， t = p p − 2 ，当 j < i ，有 E 〈 ξ ( z i ) ， ξ ( z j ) 〉 K ˜ ≤ 〈 E ξ ( z i ) ， E ξ ( z j ) 〉 K ˜ + 15 α ( P − 2 ) / P ( M 1 j ， M i ∞ ) ‖ ξ ( z i ) ‖ p = ‖ L K ˜ ， μ ( f ρ − f μ ， λ ) ‖ K ˜ 2 + 15 ( α i − j ) ( p − 2 ) / p ‖ ξ ‖ p 2 (4.14) 所以有 E ‖ 1 m ∑ i = 1 m ξ ( z i ) ‖ K ˜ 2 = 1 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 K ˜ ( x i ， x i ) + 1 m 2 ∑ i ≠ j E 〈 ξ ( z i ) ， ξ ( z j ) 〉 K ˜ ≤ k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 + m 2 − m m 2 ‖ L K ˜ ， μ ( f ρ − f μ ， λ ) ‖ K ˜ 2 + 30 m ∑ l = 1 m − 1 α l ( p − 2 ) / p ‖ ξ ‖ p 2 (4.15) 故有 E ‖ 1 m ∑ i = 1 m ξ ( z i ) − E ξ ‖ K ˜ 2 ≤ k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 + 30 m ∑ l = 1 m − 1 α l ( p − 2 ) / p ‖ ξ ‖ p 2 (4.16) 接下来分别估计 k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 和 ‖ ξ ‖ p 。对于 k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 ，有 k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 ≤ k 2 m 2 ∑ i = 1 m E ( y i − f ρ ) 2 + k 2 m 2 ∑ i = 1 m E ( f ρ − f μ ， λ ( x i ) ) 2 = k 2 m ( E | y 2 − E | f ρ | 2 ) + k 2 m ‖ f ρ − f μ ， λ ‖ L μ 2 2 (4.17) 由Hölder不等式，得到 ∫ Z y 2 d ρ ≤ ( ∫ Z | y | p d ρ ) 2 / p ≤ M 2 / p (4.18) 则 ‖ f ρ ‖ ρ X ≤ ∫ X ( ∫ Y y d ( y / x ) ) 2 d ρ X ≤ ∫ Z y 2 d ρ ≤ M 2 / p (4.19) 因此 E y 2 − ‖ f ρ ‖ ρ X 2 < M 2 / p (4.20) 将(4.3)和(4.20)代入(4.17)，得到 k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 ≤ k 2 m ( M 2 / p + 4 a 0 2 λ β / 2 ) (4.21) 接下来评估 ‖ ξ ‖ p 2 ， ‖ ξ ‖ p 2 = [ E ( ( y − f μ ， λ ) 2 K ˜ ( x ， x ) ) p / 2 ] 2 / p ≤ k 2 ( E | y − f μ ， λ ( x ) | p ) 2 / p ≤ k 2 [ ( E | y | p ) 1 / p + ( E | f μ ， λ ( x ) | p ) 1 / p ] 2 ≤ 2 k 2 [ ( E | y | p ) 2 / p + ( E | f μ ， λ | p ) 2 / p ] (4.22) 现在，我们需要给出 ( E | f μ ， λ ( x ) | p ) 2 / p 的上界。 由(4.4)，有 | f μ ， λ ( x ) | ≤ k ‖ f μ ， λ ‖ K ˜ ≤ 2 k a 0 λ ( β − 1 ) / 4 (4.23) 由 f μ ， λ 的定义，有 ‖ f μ ， λ ‖ ρ X 2 ≤ ‖ f ρ ‖ ρ X 2 ≤ E y 2 ≤ M 2 / p (4.24) 所以 ( E | f μ ， λ ( x ) | p ) 2 / p = E ( | f μ ， λ ( x ) | 2 | f μ ， λ | p − 2 ) 2 / p ≤ ( ‖ f μ ， λ ‖ ρ X 2 ) 2 / p ( | f μ ， λ ( x ) | p − 2 ) 2 / p ≤ ( M 2 / p ) 2 / p ( ( 2 k a 0 λ ( β − 1 ) / 4 ) p − 2 ) 2 / p = 4 ( p − 2 ) / p M 4 / p 2 k 2 ( p − 2 ) / p a 0 2 ( p − 2 ) / p λ ( β − 1 ) ( p − 2 ) / 2 p (4.25) 将(4.18)和(4.25)代入(4.22)，有 ‖ ξ ‖ p 2 ≤ 2 k 2 ( M 2 / p + 4 ( p − 2 ) / p M 4 / p 2 k 2 ( p − 2 ) / p a 0 2 ( p − 2 ) / p λ ( β − 1 ) ( p − 2 ) / 2 p ) (4.26) 将 k 2 m 2 ∑ i = 1 m E ( y i − f μ ， λ ( x i ) ) 2 和 ‖ ξ ‖ p 2 的上界与(4.16)联系，有 ( E ‖ U ‖ K ˜ 2 ) ≤ k 2 m ( M 2 / p + 4 a 0 λ β / 2 ) + 30 C 1 m ∑ l = 1 m − 1 α l ( p − 2 ) / p × λ ( β − 1 ) ( p − 2 ) / 2 p (4.27) 故有 ( E ‖ U ‖ K ˜ 2 ) 1 2 ≤ ( C 2 m ) 1 2 { 1 + λ ( β − 1 ) ( p − 2 ) / 4 p ( ∑ l = 1 m − 1 α l ( p − 2 ) / p ) 1 2 } (4.28) 其中 C 1 ， C 2 是与 k ， M ， p ， a 0 相关的常数。随即我们可以有以下命题： 命题4.2在假设1 (Non-iid Sampling Condition) (2.2)和假设2 (Approximation Condition) (2.3)成立的条件下，当 0 < λ ≤ 1 时，有以下不等式成立： ‖ f Z ， λ − f μ ， λ ‖ L μ 2 ≤ C m − 1 / 2 λ − 1 / 4 [ 1 + m − 1 / 4 λ − 1 / 4 ( 1 + ∑ l = 1 m α l ) 1 / 4 ]     × [ 1 + λ ( β − 1 ) ( p − 2 ) / 4 p ( ∑ l = 1 m α l ( p − 2 ) / p ) 1 / 2 + λ ( β − 1 ) / 4 ( 1 + ∑ l = 1 m α l ) 1 / 2 ] 其中 C 是与 k ， M ， p ， a 0 相关的常数。 证： ‖ f Z ， λ − f μ ， λ ‖ L μ 2 ≤ [ λ − 1 / 4 ‖ U ‖ K ˜ + 2 a 0 k 2 λ ( β − 2 ) / 4 m − 1 / 2 ( 1 + ∑ l = 1 m − 1 α l ) 1 / 2 ]     × [ k λ − 1 / 4 m − 1 / 4 ( 1 + ∑ l = 1 m − 1 α l ) 1 / 4 + 1 ] = C 3 m − 1 / 2 λ − 1 / 4 [ 1 + m − 1 / 4 λ − 1 / 4 ( 1 + ∑ l = 1 m − 1 α l ) 1 / 4 ]     × [ 1 + λ ( β − 1 ) ( p − 2 ) / 4 p × ( ∑ l = 1 m − 1 α l ( p − 2 ) / p ) 1 / 2 + 2 a 0 λ ( β − 1 ) / 4 ( 1 + ∑ l = 1 m − 1 α l ) 1 / 2 ] = C m − 1 / 2 λ − 1 / 4 [ 1 + m − 1 / 4 λ − 1 / 4 ( 1 + ∑ l = 1 m α l ) 1 / 4 ]     × [ 1 + λ ( β − 1 ) ( p − 2 ) / 4 p ( ∑ l = 1 m α l ( p − 2 ) / 2 ) 1 / 2 + λ ( β − 1 ) / 4 ( 1 + ∑ l = 1 m α l ) 1 / 2 ] (4.29) 由马尔科夫不等式和三角不等式，有 P { ‖ f Z ， λ − f ρ ‖ > η } ≤ 1 η { E ‖ f Z ， λ − f μ ， λ ‖ L μ 2 + E ‖ f μ ， λ − f ρ ‖ L μ 2 } (4.30) 将(4.3)和(4.29)代入(4.30)中，可以得到想要的界，即完成定理2.1的证明。 最后证明定理2.2。为了得到学习率，这里需要对的 α i → 0 收敛速度做一些规定。 定义4.1随机样本序列 z i = ( x i ， y i ) ，满 i ≥ 1 足多项式强混合条件，如果对一 a > 0 ， t > 0 。a-混合系数 α i 满足， α i ≤ a l − t ， l ≥ 1 (4.31) 通过以下式子可以很容易地得到学习率 ∑ l = 1 m − 1 l − t = { o ( m 1 − t ) ，           t < 1 o ( log m ) ，     t = 1 o ( 1 ) ，                   t > 1 定理2.2的证明。当 0 < t < 1 ，由(4.31)，有 1 + ∑ l = 1 m − 1 α l ≤ 1 + a ∑ l = 1 m − 1 l − t ≤ ( 1 + a ) m 1 − t ∑ l = 1 m − 1 α l ( p − 2 ) / p ≤ a ( p − 2 ) / p m 1 − ( p − 2 ) t / p 当 0 < β < 1 ，由定理2.1，有 ‖ f Z ， λ − f ρ ‖ L μ 2 ≤ C { λ β / 4 + m − 1 / 2 λ − 1 / 4 ( 1 + m − 1 / 4 λ − 1 / 4 m ( 1 − t ) / 4 )     × ( 1 + λ ( β − 1 ) ( p − 2 ) / 4 p m 1 / 2 − ( p − 2 ) t / 2 p + λ ( β − 1 ) / 4 m ( 1 − t ) / 2 ) } 为了平衡正则误差和样本误差，选取 λ = m − ( p − 2 ) t p + β − 1 。然后有 ‖ f Z ， λ − f ρ ‖ L μ 2 ≤ C ( m − ( p − 2 ) β t 4 ( p + β − 1 ) ) 类似地，当 β = 1 时，取 λ = m − 3 p t − 4 t 3 p 。另一种情况也可用相同的方法考虑。