互信息

在機率論和資訊理論中，兩個隨機變量的互信息（mutual Information，MI）度量了兩個變量之間相互依賴的程度。具體來說，對於兩個隨機變量，MI是一個隨機變量由於已知另一個隨機變量而減少的「資訊量」（單位通常為比特）。互信息的概念與隨機變量的熵緊密相關，熵是資訊理論中的基本概念，它量化的是隨機變量中所包含的「資訊量」。

MI不僅僅是度量實值隨機變量和線性相關性(如相關係數)，它更為通用。互信息決定了隨機變量${\displaystyle (X,Y)}$的聯合分布與$X$和$Y$的邊緣分布的乘積之間的差異。MI是點互信息（Pointwise Mutual Information，PMI）的期望。克勞德·香農在他的論文A Mathematical Theory of Communication中定義並分析了這個度量，但是當時他並沒有將其稱為「互信息」。這個詞後來由羅伯特·法諾創造。互信息也稱為資訊增益。

## 互信息的定義

設隨機變量${\displaystyle (X,Y)}$是空間${\displaystyle {\mathcal {X}}\times {\mathcal {Y}}}$中的一對隨機變量。若他們的聯合分布是${\displaystyle p(x,y)}$，邊緣分布分別是${\displaystyle p(x)}$和${\displaystyle p(y)}$，那麼，它們之間的互信息可以定義為：

$${\displaystyle I(X;Y)=D_{\mathrm {KL} }(p(x,y)\|p(x)\otimes p(y))}$$

其中，${\displaystyle D_{\mathrm {KL} }}$為KL散度(Kullback–Leibler divergence)。注意，根據KL散度的性質，若聯合分布$p(x,y)$等於邊緣分布$p(x)$和$p(y)$的乘積，則$I(X;Y)=0$，即當$X$和$Y$相互獨立的時候，觀測到Y對於我們預測X沒有任何幫助，此時他們的互信息為0。

### 離散變量的互信息

離散隨機變量 X 和 Y 的互信息可以計算為：

$$I(X;Y) = \sum_{y \in Y} \sum_{x \in X} <pre> p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }, \,\! </pre>$$

其中 p(x, y) 是 X 和 Y 的聯合機率質量函數，而 $p(x)$ 和 $p(y)$ 分別是 X 和 Y 的邊緣機率質量函數。

### 連續變量的互信息

在連續隨機變量的情形下，求和被替換成了二重定積分：

$$I(X;Y) = \int_Y \int_X <pre> p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) } \; dx \,dy,$$

其中 p(x, y) 當前是 X 和 Y 的聯合機率密度函數，而 $p(x)$ 和 $p(y)$ 分別是 X 和 Y 的邊緣機率密度函數。

如果對數以 2 為基底，互信息的單位是bit。

直觀上，互信息度量 X 和 Y 共享的資訊：它度量知道這兩個變量其中一個，對另一個不確定度減少的程度。例如，如果 X 和 Y 相互獨立，則知道 X 不對 Y 提供任何資訊，反之亦然，所以它們的互信息為零。在另一個極端，如果 X 是 Y 的一個確定性函數，且 Y 也是 X 的一個確定性函數，那麼傳遞的所有資訊被 X 和 Y 共享：知道 X 決定 Y 的值，反之亦然。因此，在此情形互信息與 Y（或 X）單獨包含的不確定度相同，稱作 Y（或 X）的熵。而且，這個互信息與 X 的熵和 Y 的熵相同。（這種情形的一個非常特殊的情況是當 X 和 Y 為相同隨機變量時。）

互信息是 X 和 Y 的聯合分布相對於假定 X 和 Y 獨立情況下的聯合分布之間的內在依賴性。

於是互信息以下面方式度量依賴性：I(X; Y) = 0 若且唯若 X 和 Y 為獨立隨機變量。從一個方向很容易看出：當 X 和 Y 獨立時，p(x,y) = p(x) p(y)，因此：

$$\log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0. \,\! <pre>$$

此外，互信息是非負的（即 $I(X;Y)\ge0$; 見下文），而且是對稱的（即 $I(X;Y) = I(Y;X)$）。

## 與其他量的關係

互信息又可以等價地表示成

$$\begin{align} I(X;Y) & {} = H(X) - H(X|Y) \\ & {} = H(Y) - H(Y|X) \\ & {} = H(X) + H(Y) - H(X,Y) \\ & {} = H(X,Y) - H(X|Y) - H(Y|X) \end{align}$$

其中 $\ H(X)$ 和 $\ H(Y)$ 是邊緣熵，H(X|Y) 和 H(Y|X) 是條件熵，而 H(X,Y) 是 X 和 Y 的聯合熵。注意到這組關係和併集、差集和交集的關係類似，於是用Venn圖表示。

在互信息定義的基礎上使用琴生不等式，我們可以證明 I(X;Y) 是非負的，因此 $\ H(X) \ge H(X|Y)$。這裡我們給出 I(X;Y) = H(Y) - H(Y|X) 的詳細推導:

$$\begin{align} I(X;Y) & {} = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}\\ & {} = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)} - \sum_{x,y} p(x,y) \log p(y) \\ & {} = \sum_{x,y} p(x)p(y|x) \log p(y|x) - \sum_{x,y} p(x,y) \log p(y) \\ & {} = \sum_x p(x) \left(\sum_y p(y|x) \log p(y|x)\right) - \sum_y \log p(y) \left(\sum_x p(x,y)\right) \\ & {} = -\sum_x p(x) H(Y|X=x) - \sum_y \log p(y) p(y) \\ & {} = -H(Y|X) + H(Y) \\ & {} = H(Y) - H(Y|X). \\ \end{align}$$

上面其他性質的證明類似。

直觀地說，如果把熵 H(Y) 看作一個隨機變量於不確定度的量度，那麼 H(Y|X) 就是"在已知 X 事件後Y事件會發生"的不確定度。於是第一個等式的右邊就可以讀作「將"Y事件的不確定度"，減去 --- "在基於X事件後Y事件因此發生的不確定度"」。

這證實了互信息的直觀意義為: "因X而有Y事件"的熵( 基於已知隨機變量的不確定性) 在"Y事件"的熵之中具有多少影響地位( "Y事件所具有的不確定性" 其中包含了多少 "Y|X事件所具有的不確性" )，意即"Y具有的不確定性"有多少程度是起因於X事件;

```
    ''舉例來說，當 I(X;Y) = 0時，也就是 H(Y) = H(Y|X)時，即代表此時 "Y的不確定性" 即為 "Y|X的不確定性"，這說明了互信息的具體意義是在度量'''兩個事件彼此之間的關聯性'''。''
```

所以具體的解釋就是: 互信息越小，兩個來自不同事件空間的隨機變量彼此之間的關聯性越低; 互信息越高，關聯性則越高。

注意到離散情形 H(X|X) = 0，於是 H(X) = I(X;X)。因此 I(X;X) ≥ I(X;Y)，我們可以制定」一個變量至少包含其他任何變量可以提供的與它有關的資訊「的基本原理。

互信息也可以表示為兩個隨機變量的邊緣分布 X 和 Y 的乘積 p(x) × p(y) 相對於隨機變量的聯合熵 p(x,y) 的相對熵：

$$I(X;Y) = D_{\mathrm{KL}}(p(x,y)\|p(x)p(y)).$$

此外，令 p(x|y) = p(x, y) / p(y)。則

$$\begin{align} I(X;Y) & {} = \sum_y p(y) \sum_x p(x|y) \log_2 \frac{p(x|y)}{p(x)} \\ & {} = \sum_y p(y) \; D_{\mathrm{KL}}(p(x|y)\|p(x)) \\ & {} = \mathbb{E}_Y\{D_{\mathrm{KL}}(p(x|y)\|p(x))\}. \end{align}$$

注意到，這裡相對熵涉及到僅對隨機變量 X 積分，表達式 $D_{\mathrm{KL}}(p(x|y)\|p(x))$ 現在以 Y 為變量。於是互信息也可以理解為相對熵 X 的單變量分布 p(x) 相對於給定 Y 時 X 的條件分布 p(x|y)：分布 p(x|y) 和 p(x) 之間的平均差異越大，資訊增益越大。

### 連續互信息的量化

對連續型隨機變數量化的定義如下：

$$f(x_i)\Delta=\int_{i\Delta}^{(i+1)\Delta}f(x)dx=p_i$$

量化後的隨機變數$X^{\Delta}$:

$X^{\Delta}=x_i, i \Delta \leq X <(i+1)\Delta$。

則,

$$I(X^{\Delta};Y^{\Delta})=H(X^{\Delta})-H(X^\Delta|Y^\Delta)$$

$$\approx h(X)-log{\Delta}-(h(X|Y)-log{\Delta})$$

$$=I(X;Y)$$

廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。

令$\chi$為連續型隨機變數的值域，$P_i\in P$, 其中$P$為$\chi$劃分所構成的集合，意即$\cup_iP_i=\chi$。

以$P$量化連續型隨機變數$X$後，所得結果為離散型隨機變數,

$Pr([X]_P=i)=\int_{P_i} dF(x)$。

對於兩連續型隨機變數X、Y，其劃分分別為P、Q，則其互信息可表示為：

$I(X;Y)=\underset{P,Q}{sup}I([X]_P;[Y]_Q)$。