**微分熵**是消息理論中的一個概念，是從以離散隨機變數所計算出的夏農熵推廣，以連續型隨機變數計算所得之熵，微分熵與離散隨機變數所計算出之夏農熵，皆可代表描述一信息所需碼長的下界，然而，微分熵與夏農熵仍存在著某些相異的性質。

定義
--

令X為一連續型隨機變數，其機率密度函數為f\_{X}(x)，其中X的支撐集為{\displaystyle S=\{x\in X|f\_{X}(x)>0}\}。微分熵{\displaystyle h\_{X}(x)}:

{\displaystyle h\_{X}(x)=-\int \_{S}f\_{X}(x)log(f\_{X}(x))dx}。

與夏農熵為類比，計算夏農熵之算式中的\log 通常以2為底，而微分熵為計算方便，常以ln計算後再轉換為{\displaystyle log\_{2}}的結果。微分熵與夏農熵最大的不同點在於f\_{X}(x)可為大於1的數值，此時可能會造成{\displaystyle h\_{X}(x)}為負值，而夏農熵{\displaystyle H\_{X}(x)}恆不為負。

例如，X為均勻分布{\displaystyle U(0,a),a<1}：

{\displaystyle f\_{X}(x)=}{\displaystyle 1 \over a}{\displaystyle ;h\_{X}(x)=-\int \limits \_{0}^{a}}{\displaystyle 1 \over a}ln{\displaystyle 1 \over a}dx

{\displaystyle h\_{X}(x)=ln(a)}{\displaystyle <0}

相關計算
----

### 條件熵

f(x,y)為X,Y之聯合機率密度函數，其條件熵為:

{\displaystyle h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy}。

### 相對熵

又稱**KL散度**（**Kullback–Leibler divergence)，**兩機率密度函數f、g的相對熵定義為:

{\displaystyle D(f||g)=\int flog{f \over g}}。

### 互信息

兩連續型隨機變數的聯合機率密度函數為f(x,y)，其互信息:

{\displaystyle I(X;Y)=D(f(x,y)||f(x)f(y))}

廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。
可參考連續互信息的量化。

性質
--

### 相對熵恆正

與夏農相對熵性質相同，恆正。

{\displaystyle -{\displaystyle D(f||g)=\int flog{g \over f}}}

{\displaystyle \leq log\int f{g \over f}} (**延森不等式**)

{\displaystyle \leq 0}。

### 鏈式法則

一次觀測所有隨機變數所測得的聯合熵，與個別接收隨機變數後計算的條件熵總和相同，即觀測順序與間隔不影響微分熵。

{\displaystyle h(X\_{1},X\_{2},...X\_{n})=\sum \_{k=1}^{n}h(X\_{i}|X\_{1},X\_{2},...X\_{i-1})}。

### 平移

隨機變數的平移不影響微分熵，因為固定的平移不會增加隨機變數的方差。

{\displaystyle h(X+c)=h(X)}

### 縮放

將隨機變數縮放會增加其方差，微分熵亦會隨之增加。

{\displaystyle h(AX)=h(X)+log|det(A)|}

### 上界

期望值為0，方差為{\displaystyle \sigma ^{2}}且值域為R之隨機變數X的微分熵，其上界為常態分佈{\displaystyle N(0,\sigma ^{2})}的微分熵。

{\displaystyle h(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}

### 估計誤差

隨機變數X與其估計子{\displaystyle {\widehat {X}}}之均方誤差存在下界，當X為常態分佈且{\displaystyle {\widehat {X}}}為無偏估計子時，等號成立。

{\displaystyle E[(X-{\widehat {X}})^{2}]\geq {1 \over {2\pi e}}e^{2h(X)}}

漸進等分性
-----

### 漸進等分性

離散隨機變數的夏農熵中，獨立同分布的隨機變數序列，在漸進等分性(Asymptotic equipartition property)之下其機率質量函數{\displaystyle p(X\_{1},X\_{2},...X\_{n})}趨近於{\displaystyle 2^{-nH(X)}}。

連續型隨機變數之漸進等分性：

{\displaystyle -{1 \over n}log(f(X\_{1},X\_{2},...X\_{n}))\rightarrow h(X)}

### 典型集

典型集(Typical set)定義如下

{\displaystyle A\_{\epsilon }^{(n)}=\{(x\_{1},x\_{2},...x\_{n})\in S^{n}:|-{1 \over n}logf(x\_{1},x\_{2},...x\_{n})-h(X)|\leq \epsilon }\},{\displaystyle \epsilon >0}

### 體積

集合包含於{\displaystyle R^{n}},{\displaystyle A\subset R^{n}}，其體積(Volume){\displaystyle Vol(A)}定義如下:

{\displaystyle Vol(A)=\int \limits \_{A}dx\_{1}dx\_{2}...dx\_{n}}。

典型集{\displaystyle A\_{\epsilon }^{(n)}}的體積有以下性質:

1.{\displaystyle Vol(A\_{\epsilon }^{(n)})\leq 2^{n(h(X)+\epsilon )}}

2.{\displaystyle Vol(A\_{\epsilon }^{(n)})\geq (1-\epsilon )2^{n(h(X)-\epsilon )}}

**證明**

1.

由{\displaystyle -{1 \over n}log(f(X\_{1},X\_{2},...X\_{n}))\rightarrow h(X)}，

可得：

{\displaystyle 1=\int \_{S^{n}}f(x\_{1},x\_{2},...x\_{n})dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle \geq \int \_{A\_{\epsilon }^{(n)}}f(x\_{1},x\_{2},...x\_{n})dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle \geq \int \_{A\_{\epsilon }^{(n)}}2^{-n(h(X)+\epsilon )}dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle =2^{-n(h(X)+\epsilon )}\int \_{A\_{\epsilon }^{(n)}}dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle =2^{-n(h(X)+\epsilon )}Vol(A\_{\epsilon }^{(n)})}

2.

當n足夠大時，{\displaystyle Pr(A\_{\epsilon }^{(n)})>1-\epsilon }，

因此：

{\displaystyle 1-\epsilon \leq \int \_{A\_{\epsilon }^{(n)}}f(x\_{1},x\_{2},...x\_{n})dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle \leq \int \_{A\_{\epsilon }^{(n)}}2^{-n(h(X)-\epsilon )}dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle =2^{-n(h(X)-\epsilon )}\int \_{A\_{\epsilon }^{(n)}}dx\_{1}dx\_{2}...dx\_{n}}

{\displaystyle =2^{-n(h(X)-\epsilon )}Vol(A\_{\epsilon }^{(n)})}

量化
--

我們可以將機率密度函數量化後，以夏農熵來計算微分熵。首先將連續隨機變數X以\Delta 分為數個區間，根據均值定理，x\_{i}滿足：

{\displaystyle f(x\_{i})\Delta =\int \_{i\Delta }^{(i+1)\Delta }f(x)dx=p\_{i}}

量化後的隨機變數{\displaystyle X^{\Delta }}:

{\displaystyle X^{\Delta }=x\_{i},i\Delta \leq X<(i+1)\Delta }

夏農熵為:

{\displaystyle H(X^{\Delta })=-\sum \_{-\infty }^{\infty }f(x\_{i})\Delta log(f(x\_{i}))-log\Delta }

意即，當{\displaystyle \Delta \rightarrow 0}，{\displaystyle h(f)=h(X)}。

### 例子：

1.

對X做n位元量化{\displaystyle X\sim U(0,{1 \over 8})}。

{\displaystyle H(X^{\Delta })=-3+n}

上式表示，若我們想得到n位元精確度，則需要n-3個位元來表示。

2.

對X做n位元量化{\displaystyle X\sim N(0,{\sigma }^{2})}。

{\displaystyle H(X^{\Delta })={1 \over 2}log(2\pi e\sigma ^{2})+n}

上式表示，若我們想得到n位元精確度，需要{\displaystyle {1 \over 2}log(2\pi e\sigma ^{2})+n}個位元來表示。

最大熵
---

### 常態分佈

隨機變數X，{\displaystyle X\_{N}}值域為{\displaystyle (-\infty ,\infty )}，方差為\sigma^2，X為任意分佈，{\displaystyle X\_{N}}為常態分佈，機率密度函數分別為{\displaystyle f(x),g(x)}。

則{\displaystyle h\_{X}(X)\leq {1 \over 2}log(2\pi e\sigma ^{2})}

證明:

{\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(x)\end{aligned}}}

其中，

{\displaystyle {\begin{aligned}-\int \_{-\infty }^{\infty }f(x)log(g(x))dx&=-\int \_{-\infty }^{\infty }f(x)({1 \over 2}log(2\pi \sigma ^{2})+{1 \over 2}({{x-\mu } \over \sigma })^{2})dx\\&={1 \over 2}log(2\pi e\sigma ^{2})\end{aligned}}}

### 指數分佈

隨機變數X，Y值域為{\displaystyle (0,\infty )}，期望值為\lambda ，X為任意分佈，Y為指數分佈，機率密度函數分別為{\displaystyle f(x),g(x)}。

則{\displaystyle h\_{X}(X)\leq 1+log\lambda }。

證明:

{\displaystyle {\begin{aligned}0&\leq D(f||g)\\&=\int f(x)log({f(x) \over {g(x)}})dx\\&=-h(X)-\int f(x)log(g(x))dx\\&=-h(X)+h(Y)\end{aligned}}}

其中，

{\displaystyle {\begin{aligned}-\int \limits \_{0}^{\infty }f(x)log(g(x))dy&=-\int \limits \_{0}^{\infty }f(x)(log\lambda +{x \over \lambda })dx\\&=1+log\lambda \end{aligned}}}

參考文獻
----

* Thomas M. Cover, Joy A. Thomas, *Elements of Information Theory*, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1