system: [SYSTEM]

user: 4. Noncommutative Bernstein不等式的次指数版本 首先给出证明时所需引理来辅助证明，如下： 引理4.1：设 Y ∈ ℂ d × d 是一个自伴随机矩阵。那么，对于 t ∈ ℝ ， P ( λ max ( Y ) ≥ t ) ≤ inf θ > 0 exp { e − θ t E t r exp ( θ Y ) } . (11) 引理4.2：设 X 1 ， ⋯ ， X M ∈ ℂ d × d 是独立自伴随机矩阵。那么，对于 θ ∈ ℝ ， E t r exp ( θ ∑ l = 1 M X l ) ≤ t r exp ( ∑ l = 1 M ln E exp ( θ X l ) ) . (12) 引理4.3：设 X 1 ， ⋯ ， X M ∈ ℂ d × d 是独立自伴随机矩阵。假设它们存在函数 g : ( 0 ， ∞ ) → [ 0 ， ∞ ) 以及固定的自伴矩阵 A 1 ， ⋯ ， A M 使得 E [ exp ( θ X l ) ] ≺ = exp ( g ( θ ) A k ) ， 对 于 ∀ θ > 0 以 及 ∀ k ∈ [ M ] . (13) 那么， ρ : = λ max ( ∑ l = 1 M A l ) 。概率满足以下不等式 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ d inf θ > 0 e − θ t + g ( θ ) ρ ， t ∈ ℝ . 以上三个引理均摘自文献 [ 11 ]。接下来开始证明Noncommutative Bernstein不等式的次指数版本，其中Noncommutative Bernstein不等式在文献 [ 5 ] 中已经给出。 定理4.1 (Noncommutative Bernstein不等式的次指数版本)：设 X 1 ， ⋯ ， X M ∈ ℂ d × d 是独立零均值自伴随机矩阵。假设 E [ X l n ] ≺ = n ! R n − 2 σ l 2 B l 2 / 2 ， l ∈ [ M ] ， (14) 对于某些自伴矩阵 B l ，设 σ 2 : = ‖ ∑ l = 1 M B l 2 ‖ 2 → 2 . 则满足以下概率不等式 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ d exp ( − t 2 / 2 σ 2 + R t ) . (15) 其中 t > 0 。 证明：通过克拉默定理的启示，我们估计 X l 的矩生成函数。将指数函数展开为泰勒级数，利用Fubini定理交换期望和求和得到 E [ exp ( θ X l ) ] = 1 + θ E [ X l ] + ∑ n = 2 ∞ θ n E [ X l n ] n ! = 1 + θ 2 σ l 2 B l 2 2 ∑ n = 2 ∞ θ n − 2 E [ X l n ] n ! σ l 2 B l 2 / 2 ， 由于 E [ X l ] = 0 。定义 F l ( θ ) = ∑ n = 2 ∞ θ n − 2 E [ X l n ] n ! σ l 2 B l 2 / 2 ，我们可得 E [ exp ( θ X l ) ] = 1 + θ 2 σ l 2 B l 2 F l ( θ ) / 2 ≤ exp ( θ 2 σ l 2 B l 2 F l ( θ ) / 2 ) . 引入 F ( θ ) = max l ∈ [ M ] F l ( θ ) 并且应用 σ 2 : = ‖ ∑ l = 1 M B l 2 ‖ 2 → 2 ，我们从克拉默定理中(文献 [ 3 ] 中定理7.18)中可得 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ inf θ > 0 { exp ( − θ t ) t r exp ( ∑ l = 1 M ln E exp ( θ X l ) ) } ≤ inf θ > 0 { exp ( − θ t ) t r exp ( ∑ l = 1 M ln exp ( θ 2 σ l 2 B l 2 F l ( θ ) / 2 ) ) } ≤ exp ( − θ t ) t r exp ( ∑ l = 1 M ( θ 2 σ l 2 B l 2 F l ( θ ) / 2 ) ) 由于 E [ X l n ] ≤ E [ | X l | n ] ，假设文献 [ 3 ] 中(7.38)成立便推导出 F l ( θ ) ≤ ∑ n = 2 ∞ θ n − 2 E [ | X l | n ] n ! σ l 2 B l 2 / 2 ≤ ∑ n = 2 ∞ θ n − 2 n ! R n − 2 σ l 2 B l 2 / 2 n ! σ l 2 B l 2 / 2 = ∑ n = 2 ∞ ( θ R ) n − 2 = 1 1 − R θ 这里 R θ < 1 。所以 F ( θ ) ≤ ( 1 − R θ ) − 1 代入到以上概率不等式可得 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ exp ( − θ t ) t r exp ( ∑ l = 1 M ( θ 2 σ l 2 B l 2 F l ( θ ) / 2 ) ) ≤ exp ( − θ t ) t r exp ( ∑ l = 1 M ( θ 2 σ l 2 B l 2 2 ( 1 − R θ ) ) ) = exp ( − θ t ) ∑ i = 1 d λ i ( exp ( ∑ l = 1 M ( θ 2 σ l 2 B l 2 2 ( 1 − R θ ) ) ) ) ≤ d exp ( − θ t ) λ max ( exp ( ∑ l = 1 M ( θ 2 σ l 2 B l 2 2 ( 1 − R θ ) ) ) ) ≤ d exp ( − θ t ) exp ( θ 2 2 ( 1 − R θ ) λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) ≤ d exp ( − θ t + θ 2 2 ( 1 − R θ ) λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) 现在我们选择 θ = t / ( R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) ，很明显满足 R θ < 1 。这便推导出 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ d exp ( − θ t + θ 2 2 ( 1 − R θ ) λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) ≤ d exp ( − t 2 R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) + t 2 ( R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) 2 2 ( 1 − R t R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) = d exp ( − t 2 / 2 R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) = d exp ( − t 2 / 2 R t + ‖ ∑ l = 1 M σ l 2 B l 2 ‖ 2 → 2 ) ≤ d exp ( − t 2 / 2 R t + ‖ ∑ l = 1 M B l 2 ‖ 2 → 2 ) = d exp ( − t 2 / 2 R t + λ max ( ∑ l = 1 M ( σ l 2 B l 2 ) ) ) = d exp ( − t 2 / 2 R t + ‖ ∑ l = 1 M σ l 2 B l 2 ‖ 2 → 2 ) ≤ d exp ( − t 2 / 2 R t + ‖ ∑ l = 1 M B l 2 ‖ 2 → 2 ) = d exp ( − t 2 / 2 R t + σ 2 ) 其中 σ l 2 ∈ ( 0 ， 1 ] ，这时满足不等式 P ( λ max ( ∑ l = 1 M X l ) ≥ t ) ≤ d exp ( − t 2 / 2 R t + σ 2 ) . 结论得证。特别的，当随机变量是标量时的Bernstein不等式如下： 定理4.2：设 X 1 ， ⋯ ， X M 是独立零均值随机变量，对于任意的整数 n ≥ 2 ，满足以下不等式 E | X l | n ≤ n ! R n − 2 σ l 2 / 2 ， ∀ l ∈ [ M ] ， (16) 对于某些常数 R > 0 以及 σ l > 0 ， l ∈ [ M ] 。那么，对于 ∀ t > 0 ，满足概率不等式 P ( | ∑ l = 1 M X l | ≥ t ) ≤ 2 exp ( − t 2 / 2 σ 2 + R t ) . (17) 其中 σ 2 : = ∑ l = 1 M σ l 2 。 以上内容摘自文献 [ 3 ]。