system: [SYSTEM]

user: 2. 经典情形 首先回顾一些概念。设 p X 为有限维随机变量X的概率分布 p X = { p X ( i ) : i = 1 ， 2 ， ⋯ ， m } 则经典 ( r ， s ) 熵 [ 5 ] 为 H r s ( p X ) = 1 ( 1 − r ) s ( ( ∑ i = 1 m p X r ( i ) ) s − 1 ) (1) 其中r是可以取任意值的，取 r = 1 时可取 r → 1 ，但是为了避免其他难题，我们只考虑具有特殊物理意义的 r > 1 ， s ≥ 0 的情况。当 s → 0 ， r → 1 时 H r s ( p X ) 是由常数因子 log e 2 决定的Shannon熵； H ( p X ) = − ∑ i p X ( i ) log p X (i) 对数为以2为底。 很容易看出，m固定时，当且仅当对任意的i， p X ( i ) = 1 m 时， H r s ( p X ) 取最大值，最大值为 H r ， m s = m ( 1 − r ) s − 1 ( 1 − r ) s (2) 对于一对可能相关的随机变量 ( X ， Y ) ，联合概率分布为 p X Y ，联合 ( r ， s ) 熵为： H r s ( p X Y ) = 1 ( 1 − r ) s ( ( ∑ i ， j = 1 m p X Y r ( i ， j ) ) s − 1 ) 因为 r > 1 ，则有： p X r ( i ) = ( ∑ j p X Y ( i ， j ) ) r ≥ ∑ j p X Y r ( i ， j ) 则 ( ∑ i = 1 m p X r ( i ) ) s ≥ ( ∑ i ， j m p X Y r ( i ， j ) ) s (3) 且 1 − r < 0 ，则 H r s ( p X ) ≤ H r s ( p X Y ) 。 对于两个随机变量X和Y在相同范围内概率分布分别为 p X 和 p Y ，它们的迹距离定义为： ‖ p X − p Y ‖ K = 1 2 ∑ i = 1 m | p X ( i ) − p Y ( i ) | (4) 因子 1 2 可保证迹距离的范围在0到1之间且将简化以后的公式。这个距离在描述概率分布的可分辨 性方面起着重要的作用 [ 6 ]，也叫作Kolmogorov距离，因为 ‖ p X − p Y ‖ K = sup A | ∑ i ∈ A p X ( i ) − ∑ i ∈ A p Y ( i ) | 是被Kolmogorov提出的 [ 7 ]。 有了以上的准备，我们可以给出以下第一个主要的结论： 定理1. 设 是由等式(4)定义的迹距离，且 H r ， m − 1 s = ( m − 1 ) ( 1 − r ) s − 1 ( 1 − r ) s ，则对于 r > 1 ，有 | H r s ( p X ) − H r s ( p Y ) | ≤ H r s ( ε ) + ε r s H r ， m − 1 s (5) 成立。其中 H r s ( ε ) = 1 ( 1 − r ) s ( ε r + ( 1 − ε ) r − 1 ) 为二元 ( r ， s ) 熵。 注1 不等式(5)可以取等号，例如当 p X ( 1 ) = 1 − ε ， p X ( 2 ) = p X ( 3 ) = ⋯ = p X ( m ) = ε m − 1 和 p Y ( 1 ) = 1 ， p Y ( 2 ) = p Y ( 3 ) = ⋯ = p Y ( m ) = 0 时取等号。 注2注意不等式(5)的左边与 p X 或 p Y 中的元素的顺序无关，但是迹距离 ε = ‖ p X − p Y ‖ k 与元素的顺序有关。因此不等式(5)可以进一步加强： | H r s ( p X ) − H r s ( p Y ) | ≤ H r s ( ε τ ) + ε τ r s H r ， m − 1 s (6) 其中 ε τ = 1 2 ∑ i = 1 m | p X ( τ ( i ) ) − p Y ( i ) | ， τ 是集合 { 1 ， 2 ， ⋯ ， m } 的任意排列。 定理1的证明：我们分两步进行。若 p X = p Y ，结果显然成立，因此证明中我们都假设 p X ≠ p Y 。 I = { i : p X ( i ) ≤ p Y ( i ) } 和 I c = { i : p X ( i ) > p Y ( i ) } 是非空的。 1) 首先，对于任意两个概率分布p X 和p Y ，存在一个二元概率分布p XY 使得 p X Y ( i ， i ) = min { p x ( i ) ， p Y ( i ) } ， i = 1 ， 2 ， ⋯ ， m 令 ε = p ( X ≠ Y ) ，则 P { X ≠ Y } = 1 − P ( X = Y ) = 1 − ∑ i = 1 m min { p x ( i ) ， p Y ( i ) } = 1 2 ∑ i = 1 m ( p x ( i ) + p Y ( i ) − 2 min { p x ( i ) ， p Y ( i ) } ) = 1 2 ∑ i = 1 m | p x ( i ) − p Y ( i ) | = ε 若令 q j = ∑ i : i ≠ j p X Y ( i ， j ) ，则 ∑ j q j = ∑ i ≠ j p X Y ( i ， j ) = p ( X ≠ Y ) = ε (7) 2) 不失一般性，我们假设 H r s ( p X ) ≥ H r s ( p Y ) ，则根据不等式(3)有 | H r s ( p X ) − H r s ( p Y ) | = H r s ( p X ) − H r s ( p Y ) ≤ H r s ( p X Y ) − H r s ( p Y ) (8) 令 Θ = { 0 ， X = Y 1 ， X ≠ Y ，则明显有 P ( Θ ) = P ( X ≠ Y ) = ε ，而 H r s ( p X Y ) − H r s ( p Y ) = ( H r s ( p X Y ) − H r s ( p Θ Y ) ) + ( H r s ( p Θ Y ) − H r s ( p Y ) ) 因为 H r s ( p Θ Y ) = 1 ( 1 − r ) s [ ( ∑ θ ， j p Θ Y r ( θ ， j ) ) s − 1 ] p Θ Y r ( 0 ， j ) = P ( Θ = 0 ， Y = j ) = P ( X = Y ， Y = j ) = P X Y ( j ， j ) p Θ Y r ( 1 ， j ) = P ( Θ = 1 ， Y = j ) = P ( X ≠ Y ， Y = j ) = ∑ i : i ≠ j p X Y ( i ， j ) 则 H r s ( p X Y ) − H r s ( p Θ Y ) = 1 ( 1 − r ) s [ ( ∑ i ， j p X Y r ( i ， j ) ) s − 1 ] − 1 ( 1 − r ) s [ ( ∑ j p X Y r ( j ， j ) ) s + ∑ j ( ∑ i : i ≠ j p X Y r ( i ， j ) ) s − 1 ] = 1 ( 1 − r ) s [ ( ∑ i ， j p X Y r ( i ， j ) ) s − ∑ j ( ∑ i : i ≠ j p X Y r ( i ， j ) ) s ] = 1 ( 1 − r ) s ( ∑ j q j r ) s [ ( ∑ i : i ≠ j p X Y r ( i ， j ) q j r ) s − 1 ] 这里 q j = ∑ i : i ≠ j p X Y ( i ， j ) ，因为 1 ( 1 − r ) s [ ( ∑ i : i ≠ j p X Y r ( i ， j ) q j r ) s − 1 ] 是概率分布 { p X Y ( i ， j ) q j ， i − 1 ， 2 ， ⋯ ， m ， i ≠ j } 的 熵，对于 m − 1 维成立，以 H r ， m − 1 s 为上界。因此，结合等式(9)，对于 r > 1 ， s ≥ 0 有 H r s ( p X Y ) − H r s ( p Θ Y ) ≤ ( ∑ j q j r ) s H r ， m − 1 s ≤ ( ∑ j q j ) r s H r ， m − 1 s = ε r H r ， m − 1 s (9) 根据 r > 1 ，有： ∑ j ( q j ∑ k q k ) r ≤ ∑ j q j ∑ k q k = 1 根据指数函数 y = a x 的单调性可知，当 0 < a < 1 ， x ≥ 0 时， y ≤ 1 ，则 ( ∑ j q j r ) s ( ∑ j q j ) r s ≤ 1 则第二个不等式成立。 注意到 H r s ( p Θ ) = H r s ( ε ， 1 − ε ) ，则我们只需证 H r s ( p Θ Y ) − H r s ( p Y ) ≤ H r s ( p Θ ) (10) 而 p Θ Y ( θ ， j ) = P ( Θ = θ ， Y = j ) ， p Θ | Y ( θ | j ) = P ( Θ = θ | Y = j ) = p Θ Y ( θ ， j ) p Y ( j ) ，则 H r s ( p Θ Y ) − H r s ( p Y ) ≤ 1 ( 1 − r ) s [ ( ∑ θ ， j p Θ Y r ( θ ， j ) ) s − ( ∑ j p Y r ) s ] = 1 ( 1 − r ) s ( ∑ j p Y r ) s [ ( ∑ θ ， j p Θ Y r ( θ ， j ) ) s ( ∑ j p Y r ) s − 1 ] = 1 ( 1 − r ) s ( ∑ j p Y r ) s [ ( ∑ θ p Θ Y r ( θ ， j ) p Y r ) s − 1 ] = 1 ( 1 − r ) s ( ∑ j p Y r ) s [ ( ∑ θ p Θ | Y r ( θ | j ) ) s − 1 ] 根据函数 f ( t ) = t r ( r > 1 )的凸性和单调性知 ( ∑ j p Y ( j ) p Θ | Y ( θ | j ) ) r ≤ ∑ j p Y ( j ) p Θ | Y r ( θ | j ) ( ∑ j p Y ( j ) p Θ | Y ( θ | j ) ) r s ≤ ( ∑ j p Y ( j ) p Θ | Y r ( θ | j ) ) s 因此，根据 1 − r < 0 ，有 H r s ( p Θ ) = 1 ( 1 − r ) s [ ( ∑ θ p Θ r ( θ ) ) s − 1 ] = 1 ( 1 − r ) s { [ ∑ θ ( ∑ j p Y ( j ) p Θ | Y ( θ | j ) ) r ] s − 1 } ≥ 1 ( 1 − r ) s [ ( ∑ θ ∑ j p Y ( j ) p Θ | Y r ( θ | j ) ) s − 1 ] = 1 ( 1 − r ) s ( ∑ j p Y ( j ) ) s [ ( ∑ θ p Θ | Y r ( θ | j ) ) s − 1 ] ≥ 1 ( 1 − r ) s ( ∑ j p Y r ( j ) ) s [ ( ∑ θ p Θ | Y r ( θ | j ) ) s − 1 ] = H r s ( p Θ Y ) − H r s (pY) 由式可得到定理1成立。