微分熵

微分熵是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 令 X {\displaystyle X} 為一連續型隨機變數，其機率密度函數為 f X ( x ) {\displaystyle f_{X}(x)} ，其中 X {\displaystyle X} 的支撐集為 S = { x ∈ X | f X ( x ) > 0 } {\displaystyle S=\{x\in X|f_{X}(x)>0}\} 。微分熵 h X ( x ) {\displaystyle h_{X}(x)} : h X ( x ) = − ∫ S f X ( x ) l o g ( f X ( x ) ) d x {\displaystyle h_{X}(x)=-\int _{S}f_{X}(x)log(f_{X}(x))dx} 。 與夏農熵為類比，計算夏農熵之算式中的 log {\displaystyle \log } 通常以2為底，而微分熵為計算方便，常以 l n {\displaystyle ln} 計算後再轉換為 l o g 2 {\displaystyle log_{2}} 的結果。微分熵與夏農熵最大的不同點在於 f X ( x ) {\displaystyle f_{X}(x)} 可為大於1的數值，此時可能會造成 h X ( x ) {\displaystyle h_{X}(x)} 為負值，而夏農熵 H X ( x ) {\displaystyle H_{X}(x)} 恆不為負。 例如， X {\displaystyle X} 為均勻分布 U ( 0 , a ) , a < 1 {\displaystyle U(0,a),a<1} ： f X ( x ) = {\displaystyle f_{X}(x)=} 1 a {\displaystyle 1 \over a} ; h X ( x ) = − ∫ 0 a {\displaystyle ;h_{X}(x)=-\int \limits _{0}^{a}} 1 a {\displaystyle 1 \over a} l n {\displaystyle ln} 1 a {\displaystyle 1 \over a} d x {\displaystyle dx} h X ( x ) = l n ( a ) {\displaystyle h_{X}(x)=ln(a)} < 0 {\displaystyle <0} f ( x , y ) {\displaystyle f(x,y)} 為 X , Y {\displaystyle X,Y} 之聯合機率密度函數，其條件熵為: h ( X | Y ) = − ∫ f ( x , y ) l o g f ( x | y ) d x d y {\displaystyle h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy} 。 又稱KL散度（Kullback–Leibler divergence)，兩機率密度函數f、g的相對熵定義為: D ( f | | g ) = ∫ f l o g f g {\displaystyle D(f||g)=\int flog{f \over g}} 。 兩連續型隨機變數的聯合機率密度函數為 f ( x , y ) {\displaystyle f(x,y)} ，其互信息: I ( X ; Y ) = D ( f ( x , y ) | | f ( x ) f ( y ) ) {\displaystyle I(X;Y)=D(f(x,y)||f(x)f(y))} 廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。 可參考連續互信息的量化。 與夏農相對熵性質相同，恆正。 − D ( f | | g ) = ∫ f l o g g f {\displaystyle -{\displaystyle D(f||g)=\int flog{g \over f}}} ≤ l o g ∫ f g f {\displaystyle \leq log\int f{g \over f}} (延森不等式) ≤ 0 {\displaystyle \leq 0} 。 一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。 h ( X 1 , X 2 , . . . , X n ) = ∑ k = 1 n h ( X i | X 1 , X 2 , . . . , X i − 1 ) {\displaystyle h(X_{1},X_{2},...,X_{n})=\sum _{k=1}^{n}h(X_{i}|X_{1},X_{2},...,X_{i-1})} 。 隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。 h ( X + c ) = h ( X ) {\displaystyle h(X+c)=h(X)} 將隨機變數縮放會增加其方差，微分熵亦會隨之增加。 h ( A X ) = h ( X ) + l o g | d e t ( A ) | {\displaystyle h(AX)=h(X)+log|det(A)|} 期望值為0，方差為 σ 2 {\displaystyle \sigma ^{2}} 且值域為 R {\displaystyle R} 之隨機變數 X {\displaystyle X} 的微分熵，其上界為常態分佈 N ( 0 , σ 2 ) {\displaystyle N(0,\sigma ^{2})} 的微分熵。 h ( X ) ≤ 1 2 l o g ( 2 π e σ 2 ) {\displaystyle h(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})} 隨機變數 X {\displaystyle X} 與其估計子 X ^ {\displaystyle {\widehat {X}}} 之均方誤差存在下界，當 X {\displaystyle X} 為常態分佈且 X ^ {\displaystyle {\widehat {X}}} 為無偏估計子時，等號成立。 E [ ( X − X ^ ) 2 ] ≥ 1 2 π e e 2 h ( X ) {\displaystyle E[(X-{\widehat {X}})^{2}]\geq {1 \over {2\pi e}}e^{2h(X)}} 離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數 p ( X 1 , X 2 , . . . , X n ) {\displaystyle p(X_{1},X_{2},...,X_{n})} 趨近於 2 − n H ( X ) {\displaystyle 2^{-nH(X)}} 。 連續型隨機變數之漸進等分性： − 1 n l o g ( f ( X 1 , X 2 , . . . , X n ) ) → h ( X ) {\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)} 典型集(Typical set)定義如下 A ϵ ( n ) = { ( x 1 , x 2 , . . . , x n ) ∈ S n : | − 1 n l o g f ( x 1 , x 2 , . . . , x n ) − h ( X ) | ≤ ϵ } {\displaystyle A_{\epsilon }^{(n)}=\{(x_{1},x_{2},...,x_{n})\in S^{n}:|-{1 \over n}logf(x_{1},x_{2},...,x_{n})-h(X)|\leq \epsilon }\} , ϵ > 0 {\displaystyle \epsilon >0} 集合包含於 R n {\displaystyle R^{n}} , A ⊂ R n {\displaystyle A\subset R^{n}} ，其體積(Volume) V o l ( A ) {\displaystyle Vol(A)} 定義如下: V o l ( A ) = ∫ A d x 1 d x 2 . . . d x n {\displaystyle Vol(A)=\int \limits _{A}dx_{1}dx_{2}...dx_{n}} 。 典型集 A ϵ ( n ) {\displaystyle A_{\epsilon }^{(n)}} 的體積有以下性質: 1. V o l ( A ϵ ( n ) ) ≤ 2 n ( h ( X ) + ϵ ) {\displaystyle Vol(A_{\epsilon }^{(n)})\leq 2^{n(h(X)+\epsilon )}} 2. V o l ( A ϵ ( n ) ) ≥ ( 1 − ϵ ) 2 n ( h ( X ) − ϵ ) {\displaystyle Vol(A_{\epsilon }^{(n)})\geq (1-\epsilon )2^{n(h(X)-\epsilon )}} 證明 1. 由 − 1 n l o g ( f ( X 1 , X 2 , . . . , X n ) ) → h ( X ) {\displaystyle -{1 \over n}log(f(X_{1},X_{2},...,X_{n}))\rightarrow h(X)} ， 可得： 1 = ∫ S n f ( x 1 , x 2 , . . . , x n ) d x 1 d x 2 . . . d x n {\displaystyle 1=\int _{S^{n}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}} ≥ ∫ A ϵ ( n ) f ( x 1 , x 2 , . . . , x n ) d x 1 d x 2 . . . d x n {\displaystyle \geq \int _{A_{\epsilon }^{(n)}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}} ≥ ∫ A ϵ ( n ) 2 − n ( h ( X ) + ϵ ) d x 1 d x 2 . . . d x n {\displaystyle \geq \int _{A_{\epsilon }^{(n)}}2^{-n(h(X)+\epsilon )}dx_{1}dx_{2}...dx_{n}} = 2 − n ( h ( X ) + ϵ ) ∫ A ϵ ( n ) d x 1 d x 2 . . . d x n {\displaystyle =2^{-n(h(X)+\epsilon )}\int _{A_{\epsilon }^{(n)}}dx_{1}dx_{2}...dx_{n}} = 2 − n ( h ( X ) + ϵ ) V o l ( A ϵ ( n ) ) {\displaystyle =2^{-n(h(X)+\epsilon )}Vol(A_{\epsilon }^{(n)})} 2. 當n足夠大時， P r ( A ϵ ( n ) ) > 1 − ϵ {\displaystyle Pr(A_{\epsilon }^{(n)})>1-\epsilon } ， 因此： 1 − ϵ ≤ ∫ A ϵ ( n ) f ( x 1 , x 2 , . . . , x n ) d x 1 d x 2 . . . d x n {\displaystyle 1-\epsilon \leq \int _{A_{\epsilon }^{(n)}}f(x_{1},x_{2},...,x_{n})dx_{1}dx_{2}...dx_{n}} ≤ ∫ A ϵ ( n ) 2 − n ( h ( X ) − ϵ ) d x 1 d x 2 . . . d x n {\displaystyle \leq \int _{A_{\epsilon }^{(n)}}2^{-n(h(X)-\epsilon )}dx_{1}dx_{2}...dx_{n}} = 2 − n ( h ( X ) − ϵ ) ∫ A ϵ ( n ) d x 1 d x 2 . . . d x n {\displaystyle =2^{-n(h(X)-\epsilon )}\int _{A_{\epsilon }^{(n)}}dx_{1}dx_{2}...dx_{n}} = 2 − n ( h ( X ) − ϵ ) V o l ( A ϵ ( n ) ) {\displaystyle =2^{-n(h(X)-\epsilon )}Vol(A_{\epsilon }^{(n)})} 我們可以將機率密度函數量化後，以夏農熵來計算微分熵。首先將連續隨機變數X以 Δ {\displaystyle \Delta } 分為數個區間，根據均值定理， x i {\displaystyle x_{i}} 滿足： f ( x i ) Δ = ∫ i Δ ( i + 1 ) Δ f ( x ) d x = p i {\displaystyle f(x_{i})\Delta =\int _{i\Delta }^{(i+1)\Delta }f(x)dx=p_{i}} 量化後的隨機變數 X Δ {\displaystyle X^{\Delta }} : X Δ = x i , i Δ ≤ X < ( i + 1 ) Δ {\displaystyle X^{\Delta }=x_{i},i\Delta \leq X<(i+1)\Delta } 夏農熵為: H ( X Δ ) = − ∑ − ∞ ∞ f ( x i ) Δ l o g ( f ( x i ) ) − l o g Δ {\displaystyle H(X^{\Delta })=-\sum _{-\infty }^{\infty }f(x_{i})\Delta log(f(x_{i}))-log\Delta } 意即，當 Δ → 0 {\displaystyle \Delta \rightarrow 0} ， h ( f ) = h ( X ) {\displaystyle h(f)=h(X)} 。 1. 對X做n位元量化 X ∼ U ( 0 , 1 8 ) {\displaystyle X\sim U(0,{1 \over 8})} 。 H ( X Δ ) = − 3 + n {\displaystyle H(X^{\Delta })=-3+n} 上式表示，若我們想得到n位元精確度，則需要n-3個位元來表示。 2. 對X做n位元量化 X ∼ N ( 0 , σ 2 ) {\displaystyle X\sim N(0,{\sigma }^{2})} 。 H ( X Δ ) = 1 2 l o g ( 2 π e σ 2 ) + n {\displaystyle H(X^{\Delta })={1 \over 2}log(2\pi e\sigma ^{2})+n} 上式表示，若我們想得到n位元精確度，需要 1 2 l o g ( 2 π e σ 2 ) + n {\displaystyle {1 \over 2}log(2\pi e\sigma ^{2})+n} 個位元來表示。 隨機變數 X {\displaystyle X} ， X N {\displaystyle X_{N}} 值域為 ( − ∞ , ∞ ) {\displaystyle (-\infty ,\infty )} ，方差為 σ 2 {\displaystyle \sigma ^{2}} ， X {\displaystyle X} 為任意分佈， X N {\displaystyle X_{N}} 為常態分佈，機率密度函數分別為 f ( x ) , g ( x ) {\displaystyle f(x),g(x)} 。 則 h X ( X ) ≤ 1 2 l o g ( 2 π e σ 2 ) {\displaystyle h_{X}(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})} 證明: 0 ≤ D ( f | | g ) = ∫ f ( x ) l o g ( f ( x ) g ( x ) ) d x = − h ( X ) − ∫ f ( x ) l o g ( g ( x ) ) d x = − h ( X ) + h ( x ) {\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(x)\end{aligned}}} 其中， − ∫ − ∞ ∞ f ( x ) l o g ( g ( x ) ) d x = ∫ − ∞ ∞ f ( x ) ( 1 2 l o g ( 2 π σ 2 ) + 1 2 ( x − μ σ ) 2 ) d x = 1 2 l o g ( 2 π e σ 2 ) {\displaystyle {\begin{aligned}-\int _{-\infty }^{\infty }f(x)log(g(x))dx&=\int _{-\infty }^{\infty }f(x)({1 \over 2}log(2\pi \sigma ^{2})+{1 \over 2}({{x-\mu } \over \sigma })^{2})dx\\&={1 \over 2}log(2\pi e\sigma ^{2})\end{aligned}}} 隨機變數 X {\displaystyle X} ， Y {\displaystyle Y} 值域為 ( 0 , ∞ ) {\displaystyle (0,\infty )} ，期望值為 λ {\displaystyle \lambda } ， X {\displaystyle X} 為任意分佈， Y {\displaystyle Y} 為指數分佈，機率密度函數分別為 f ( x ) , g ( x ) {\displaystyle f(x),g(x)} 。 則 h X ( X ) ≤ 1 + l o g λ {\displaystyle h_{X}(X)\leq 1+log\lambda } 。 證明: 0 ≤ D ( f | | g ) = ∫ f ( x ) l o g ( f ( x ) g ( x ) ) d x = − h ( X ) − ∫ f ( x ) l o g ( g ( x ) ) d x = − h ( X ) + h ( Y ) {\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(Y)\end{aligned}}} 其中， − ∫ 0 ∞ f ( x ) l o g ( g ( x ) ) d y = − ∫ 0 ∞ f ( x ) ( l o g λ + x λ ) d x = 1 + l o g λ {\displaystyle {\begin{aligned}-\int \limits _{0}^{\infty }f(x)log(g(x))dy&=-\int \limits _{0}^{\infty }f(x)(log\lambda +{x \over \lambda })dx\\&=1+log\lambda \end{aligned}}} Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1