微分熵是訊息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一資訊所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。 定義 令 X 為一連續型隨機變數，其機率密度函式為 f_X x，其中 X 的支撐集為 Sxin Xf_X x0。微分熵 h_X x h_X xint_S f_X x log f_X x dx。 與夏農熵為類比，計算夏農熵之算式中的 log 通常以 2 為底，而微分熵為計算方便，常以 ln 計算後再轉換為 log_2 的結果。微分熵與夏農熵最大的不同點在於 f_X x 可為大於 1 的數值，此時可能會造成 h_X x 為負值，而夏農熵 H_X x 恆不為負。 例如，X 為均勻分佈 U 0aa1： f_X x1over a h_X xintlimits_0a 1over aln1over adx h_X xln a0 相關計算 條件熵 f xy 為 XY 之聯合機率密度函式，其條件熵為 h XYint f xy log f xy dxdy。 相對熵 又稱 KL 散度（KullbackLeibler divergence，兩機率密度函式 f、g 的相對熵定義為 D fgint flog fover g。 互資訊 兩連續型隨機變數的聯合機率密度函式為 f xy，其互資訊 I XYD f xyf x f y 廣義而言，我們可以將互資訊定義在有限多個連續隨機變數值域的劃分。 可參考連續互資訊的量化。 性質 相對熵恆正 與夏農相對熵性質相同，恆正。 displaystyle D fgint flog g over f leq logint f g over f 延森不等式 leq 0 。 鏈式法則 一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。 h X_1X_2X_nsum_k1nh X_iX_1X_2X_i1 。 平移 隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。 h Xch X 縮放 將隨機變數縮放會增加其方差，微分熵亦會隨之增加。 h AXh Xlogdet A 上界 期望值為 0，方差為 sigma 2 且值域為 R 之隨機變數 X 的微分熵，其上界為常態分佈 N 0sigma 2 的微分熵。 h Xleq 1over2 log 2pi esigma2 估計誤差 隨機變數 X 與其估計子 widehat X 之均方誤差存在下界，當 X 為常態分佈且 widehat X 為無偏估計子時，等號成立。 E Xwidehat X2geq 1over 2pi e e2h X 漸進等分性 漸進等分性 離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性 Asymptotic equipartition property 之下其機率質量函式 p X_1X_2X_n 趨近於 2nH X。 連續型隨機變數之漸進等分性： 1over n log f X_1X_2X_nrightarrow h X 典型集 典型集 Typical set 定義如下 A_epsilonnx_1x_2x_nin Sn1over n logf x_1x_2x_nh Xleqepsilonepsilon 0 體積 集合包含於 Rn Asubset Rn ，其體積 Volume Vol A 定義如下 Vol Aintlimits_A dx_1dx_2dx_n。 典型集 A_epsilonn 的體積有以下性質 1Vol A_epsilonnleq2n h Xepsilon 2Vol A_epsilonngeq 1epsilon 2n h Xepsilon 證明 1 由 1over n log f X_1X_2X_nrightarrow h X， 可得： 1int_Sn f x_1x_2x_n dx_1dx_2dx_n geq int_A_epsilonn f x_1x_2x_n dx_1dx_2dx_n geq int_A_epsilonn 2n h Xepsilon dx_1dx_2dx_n 2n h Xepsilonint_A_epsilonn dx_1dx_2dx_n 2n h Xepsilon Vol A_epsilonn 2 當 n 足夠大時，Pr A_epsilonn1epsilon， 因此： 1epsilon leq int_A_epsilonn f x_1x_2x_n dx_1dx_2dx_n leq int_A_epsilonn 2n h Xepsilon dx_1dx_2dx_n 2n h Xepsilon int_A_epsilonn dx_1dx_2dx_n 2n h Xepsilon Vol A_epsilonn 量化 我們可以將機率密度函式量化後，以夏農熵來計算微分熵。首先將連續隨機變數 X 以 Delta 分為數個區間，根據均值定理，x_i 滿足： f x_iDeltaint_iDeltai1Delta f x dxp_i 量化後的隨機變數 XDelta XDeltax_i i Delta leq X i1Delta 夏農熵為 H XDeltasum_infininfin f x_iDelta log f x_ilogDelta 意即，當 Deltarightarrow0，h fh X。 例子： 1 對 X 做 n 位元量化 Xsim U 01over8。 H XDelta3n 上式表示，若我們想得到 n 位元精確度，則需要 n3 個位元來表示。 2 對 X 做 n 位元量化 Xsim N 0sigma2。 H XDelta1over2 log 2pi e sigma 2n 上式表示，若我們想得到 n 位元精確度，需要 1over2 log 2pi e sigma 2n 個位元來表示。 最大熵 常態分佈 隨機變數 X，X_N 值域為 infininfin，方差為 sigma2，X 為任意分佈，X_N 為常態分佈，機率密度函式分別為 f xg x。 則 h_X Xleq 1over2 log 2pi esigma2 證明 begin align 0 leq D fg int f x log f xover g x dx h Xint f x log g x dx h Xh x end align 其中， begin align int _infininfin f x log g x dx int _infininfin f x1over 2 log 2pisigma21over 2xmuover sigma2 dx 1over2 log 2pi esigma2 end align 指數分佈 隨機變數 X，Y 值域為 0infin，期望值為 lambda，X 為任意分佈，Y 為指數分佈，機率密度函式分別為 f xg x。 則 h_X Xleq 1loglambda 。 證明 begin align 0 leq D fg int f x log f xover g x dx h Xint f x log g x dx h Xh Y end align 其中， begin align int limits_0infin f x log g x dy int limits_0infin f xloglambda xover lambda dx 1loglambda end align 參考文獻 Thomas M Cover Joy A Thomas Elements of Information Theory 1991 John Wiley Sons Inc 1971 ISBN 0471200611 Category 微分代數