微分熵

微分熵是消息理论中的一个概念，是从以离散随机变数所计算出的夏农熵推广，以连续型随机变数计算所得之熵，微分熵与离散随机变数所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。

## 定义

令$X$为一连续型随机变数，其几率密度函数为$f_X(x)$，其中$X$的支撑集为$S=\{x\in X|f_X(x)>0}\ $。微分熵$h_X(x)$:

$h_X(x)=-\int_{S} f_X(x)log(f_X(x))dx$。

与夏农熵为类比，计算夏农熵之算式中的$\log$通常以2为底，而微分熵为计算方便，常以$ln$计算后再转换为$log_2$的结果。微分熵与夏农熵最大的不同点在于$f_X(x)$可为大于1的数值，此时可能会造成$h_X(x)$为负值，而夏农熵$H_X(x)$恒不为负。

例如，$X$为均匀分布$U(0,a),a<1$：

$f_X(x)=$ $1\over a$ $; h_X(x)=-\int\limits_{0}^{a}$ $1\over a$ $ln$ $1\over a$ $dx$

$h_X(x)=ln(a)$ $<0$

## 相关计算

### 条件熵

$f(x,y)$为$X,Y$之联合几率密度函数，其条件熵为:

$h(X|Y)=-\int f(x,y)log{f(x|y)}dxdy$。

### 相对熵

又称KL散度（Kullback–Leibler divergence)，两几率密度函数f、g的相对熵定义为:

$D(f||g)=\int flog{f\over g}$。

### 互信息

两连续型随机变数的联合几率密度函数为$f(x,y)$，其互信息:

$$I(X;Y)=D(f(x,y)||f(x)f(y))$$

广义而言，我们可以将互信息定义在有限多个连续随机变数值域的划分。

可参考连续互信息的量化。

## 性质

### 相对熵恒正

与夏农相对熵性质相同，恒正。

$$-{\displaystyle D(f||g)=\int flog{g \over f}}$$

$\leq log\int f{g \over f}$ (延森不等式)

$\leq 0$。

### 链式法则

一次观测所有随机变数所测得的联合熵，与个别接收随机变数后计算的条件熵总和相同，即观测顺序与间隔不影响微分熵。

$h(X_1,X_2,...,X_n)=\sum_{k=1}^nh(X_i|X_1,X_2,...,X_{i-1})$。

### 平移

随机变数的平移不影响微分熵，因为固定的平移不会增加随机变数的方差。

$$h(X+c)=h(X)$$

### 缩放

将随机变数缩放会增加其方差，微分熵亦会随之增加。

$$h(AX)=h(X)+log|det(A)|$$

### 上界

期望值为0，方差为$\sigma ^2$且值域为$R$之随机变数$X$的微分熵，其上界为常态分布$N(0,\sigma ^2)$的微分熵。

$$h(X)\leq{1\over2}log(2\pi e\sigma^2)$$

### 估计误差

随机变数$X$与其估计子$\widehat{X}$之均方误差存在下界，当$X$为常态分布且$\widehat{X}$为无偏估计子时，等号成立。

$$E[(X-\widehat{X})^2]\geq {1\over{2\pi e}}e^{2h(X)}$$

## 渐进等分性

### 渐进等分性

离散随机变数的夏农熵中，独立同分布的随机变数序列，在渐进等分性(Asymptotic equipartition property)之下其几率质量函数$p(X_1,X_2,...,X_n)$趋近于$2^{-nH(X)}$。

连续型随机变数之渐进等分性：

$$-{1\over n}log(f(X_1,X_2,...,X_n))\rightarrow h(X)$$

### 典型集

典型集(Typical set)定义如下

$A_\epsilon^{(n)}=\{(x_1,x_2,...,x_n)\in S^n:|-{1\over n}logf(x_1,x_2,...,x_n)-h(X)|\leq\epsilon}\ $,$\epsilon >0$

### 体积

集合包含于$R^n$,$A\subset R^n$，其体积(Volume)$Vol(A)$定义如下:

$Vol(A)=\int\limits_{A} dx_1dx_2...dx_n$。

典型集$A_\epsilon^{(n)}$的体积有以下性质:

1.$Vol(A_\epsilon^{(n)})\leq2^{n(h(X)+\epsilon)}$

2.$Vol(A_\epsilon^{(n)})\geq(1-\epsilon)2^{n(h(X)-\epsilon)}$

证明

1.

由$-{1\over n}log(f(X_1,X_2,...,X_n))\rightarrow h(X)$。

可得：

$$1=\int_{S^n} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n$$

$$\geq \int_{A_\epsilon^{(n)}} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n$$

$$\geq \int_{A_\epsilon^{(n)}} 2^{-n(h(X)+\epsilon)}dx_1dx_2...dx_n$$

$$=2^{-n(h(X)+\epsilon)}\int_{A_\epsilon^{(n)}} dx_1dx_2...dx_n$$

$$=2^{-n(h(X)+\epsilon )}Vol(A_\epsilon^{(n)})$$

2.

当n足够大时，$Pr(A_\epsilon^{(n)})>1-\epsilon$。

因此：

$$1-\epsilon \leq \int_{A_\epsilon^{(n)}} f(x_1,x_2,...,x_n)dx_1dx_2...dx_n$$

$$\leq \int_{A_\epsilon^{(n)}} 2^{-n(h(X)-\epsilon)}dx_1dx_2...dx_n$$

$$=2^{-n(h(X)-\epsilon)} \int_{A_\epsilon^{(n)}}dx_1dx_2...dx_n$$

$$=2^{-n(h(X)-\epsilon)} Vol(A_\epsilon^{(n)})$$

## 量化

我们可以将几率密度函数量化后，以夏农熵来计算微分熵。首先将连续随机变数X以$\Delta$分为数个区间，根据均值定理，$x_i$满足：

$$f(x_i)\Delta=\int_{i\Delta}^{(i+1)\Delta}f(x)dx=p_i$$

量化后的随机变数$X^{\Delta}$:

$$X^{\Delta}=x_i, i \Delta \leq X <(i+1)\Delta$$

夏农熵为:

$$H(X^{\Delta})=-\sum_{-\infin}^{\infin}f(x_i)\Delta log(f(x_i))-log\Delta$$

意即，当$\Delta\rightarrow0$，$h(f)=h(X)$。

### 例子：

1.

对X做n位元量化$X\sim U(0,{1\over8})$。

$$H(X^{\Delta})=-3+n$$

上式表示，若我们想得到n位元精确度，则需要n-3个位元来表示。

2.

对X做n位元量化$X\sim N(0,{\sigma}^2)$。

$$H(X^{\Delta})={1\over2}log(2\pi e \sigma ^2)+n$$

上式表示，若我们想得到n位元精确度，需要${1\over2}log(2\pi e \sigma ^2)+n$个位元来表示。

## 最大熵

### 常态分布

随机变数$X$，$X_N$值域为$(-\infin,\infin)$，方差为$\sigma^2$，$X$为任意分布，$X_N$为常态分布，几率密度函数分别为$f(x),g(x)$。

则$h_X(X)\leq {1\over2}log(2\pi e\sigma^2)$

证明:

$$\begin{align} <pre> 0 & \leq D(f||g)\\ &=\int f(x)log({f(x)\over{g(x)}})dx\\ &= -h(X)-\int f(x)log(g(x))dx\\ &= -h(X)+h(x) </pre> \end{align}$$

其中。

$$<pre> \begin{align} </pre> -\int _{-\infin}^{\infin} f(x)log(g(x))dx <pre> &= \int _{-\infin}^{\infin} f(x)({1\over 2}log(2\pi\sigma^2)+{1\over 2}({{x-\mu}\over \sigma})^2)dx\\ &= {1\over2}log(2\pi e\sigma^2) \end{align} </pre>$$

### 指数分布

随机变数$X$，$Y$值域为$(0,\infin)$，期望值为$\lambda$，$X$为任意分布，$Y$为指数分布，几率密度函数分别为$f(x),g(x)$。

则$h_X(X)\leq 1+log\lambda$。

证明:

$$\begin{align} <pre> 0 & \leq D(f||g)\\ &=\int f(x)log({f(x)\over{g(x)}})dx\\ &= -h(X)-\int f(x)log(g(x))dx\\ &= -h(X)+h(Y) </pre> \end{align}$$

其中。

$$\begin{align} -\int \limits_{0}^{\infin} f(x)log(g(x))dy <pre> &= -\int \limits_{0}^{\infin} f(x)(log\lambda +{x\over \lambda})dx\\ &= 1+log\lambda \end{align} </pre>$$