在機率論和資訊理論中，兩個隨機變數的互資訊（mutual Information，MI）度量了兩個變數之間相互依賴的程度。具體來說，對於兩個隨機變數，MI 是一個隨機變數由於已知另一個隨機變數而減少的 資訊量（單位通常為位元）。互資訊的概念與隨機變數的熵緊密相關，熵是資訊理論中的基本概念，它量化的是隨機變數中所包含的 資訊量。 MI 不僅僅是度量實值隨機變數和線性相關性 如相關係數，它更為通用。MI 決定了隨機變數 displaystyle XY 的聯合分佈與 X 和 Y 的邊緣分佈的乘積之間的差異。MI 是點互資訊（，PMI）的期望。克勞德夏農在他的論文中定義並分析了這個度量，但是當時他並沒有將其稱為 互資訊。這個詞後來由羅伯特法諾創造。互資訊也稱為資訊增益。 互資訊的定義 設隨機變數 displaystyle XY 是空間 displaystyle mathcal Xtimes mathcal Y 中的一對隨機變數。若他們的聯合分佈是 displaystyle p xy，邊緣分佈分別是 displaystyle p x 和 displaystyle p y，那麼，它們之間的互資訊可以定義為： displaystyle I XYD_mathrm KL p xyp xotimes p y 其中，displaystyle D_mathrm KL 為 KL 散度 KullbackLeibler divergence。注意，根據 KL 散度的性質，若聯合分佈 p xy 等於邊緣分佈 p x 和 p y 的乘積，則 I XY0，即當 X 和 Y 相互獨立的時候，觀測到 Y 對於我們預測 X 沒有任何幫助，此時他們的互資訊為 0。 離散變數的互資訊 離散隨機變數 X 和 Y 的互資訊可以計算為： I XY sum_y in Y sum_x in X p xy log left frac p xyp xp y right 其中 p x y 是 X 和 Y 的聯合機率質量函式，而 p x 和 p y 分別是 X 和 Y 的邊緣機率質量函式。 連續變數的互資訊 在連續隨機變數的情形下，求和被替換成了二重定積分： I XY int_Y int_X p xy log left frac p xyp xp y right dx dy 其中 p x y 當前是 X 和 Y 的聯合機率密度函式，而 p x 和 p y 分別是 X 和 Y 的邊緣機率密度函式。 如果對數以 2 為基底，互資訊的單位是 bit。 直觀上，互資訊度量 X 和 Y 共享的資訊：它度量知道這兩個變數其中一個，對另一個不確定度減少的程度。例如，如果 X 和 Y 相互獨立，則知道 X 不對 Y 提供任何資訊，反之亦然，所以它們的互資訊為零。在另一個極端，如果 X 是 Y 的一個確定性函式，且 Y 也是 X 的一個確定性函式，那麼傳遞的所有資訊被 X 和 Y 共享：知道 X 決定 Y 的值，反之亦然。因此，在此情形互資訊與 Y（或 X）單獨包含的不確定度相同，稱作 Y（或 X）的熵。而且，這個互資訊與 X 的熵和 Y 的熵相同。（這種情形的一個非常特殊的情況是當 X 和 Y 為相同隨機變數時。） 互資訊是 X 和 Y 的聯合分佈相對於假定 X 和 Y 獨立情況下的聯合分佈之間的內在依賴性。 於是互資訊以下面方式度量依賴性：I X Y 0 當且僅當 X 和 Y 為獨立隨機變數。從一個方向很容易看出：當 X 和 Y 獨立時，p xy p x p y，因此： log left frac p xyp xp y right log 1 0 此外，互資訊是非負的（即 I XYge0 見下文），而且是對稱的（即 I XY I YX）。 與其他量的關係 互資訊又可以等價地表示成 begin align I XY H X H XY H Y H YX H X H Y H XY H XY H XY H YX end align 其中 H X 和 H Y 是邊緣熵，H XY 和 H YX 是條件熵，而 H XY 是 X 和 Y 的聯合熵。注意到這組關係和並集、差集和交集的關係類似，於是用 Venn 圖表示。 在互資訊定義的基礎上使用琴生不等式，我們可以證明 I XY 是非負的，因此 H X ge H XY。這裡我們給出 I XY H Y H YX 的詳細推導 begin align I XY sum_xy p xy log frac p xyp x p y sum_xy p xy log frac p xyp x sum_xy p xy log p y sum_xy p x p yx log p yx sum_xy p xy log p y sum_x p x left sum_y p yx log p yxright sum_y log p y left sum_x p xyright sum_x p x H YXx sum_y log p y p y H YX H Y H Y H YX end align 上面其他性質的證明類似。 直觀地說，如果把熵 H Y 看作一個隨機變數於不確定度的量度，那麼 H YX 就是 在已知 X 事件後 Y 事件會發生 的不確定度。於是第一個等式的右邊就可以讀作 將 Y 事件的不確定度，減去 在基於 X 事件後 Y 事件因此發生的不確定度。 這證實了互資訊的直觀意義為 因 X 而有 Y 事件 的熵 基於已知隨機變數的不確定性 在 Y 事件 的熵之中具有多少影響地位 Y 事件所具有的不確定性 其中包含了多少 YX 事件所具有的不確性，意即 Y 具有的不確定性 有多少程度是起因於 X 事件；舉例來說，當 I XY 0 時，也就是 H Y H YX 時，即代表此時 Y 的不確定性 即為 YX 的不確定性，這說明瞭互資訊的具體意義是在度量兩個事件彼此之間的關聯性。 所以具體的解釋就是：互資訊越小，兩個來自不同事件空間的隨機變數彼此之間的關聯性越低；互資訊越高，關聯性則越高 。 注意到離散情形 H XX 0，於是 H X I XX。因此 I XX I XY，我們可以制定 一個變數至少包含其他任何變數可以提供的與它有關的資訊 的基本原理。 互資訊也可以表示為兩個隨機變數的邊緣分佈 X 和 Y 的乘積 p x p y 相對於隨機變數的聯合熵 p xy 的相對熵： I XY D_mathrm KLp xyp x p y 此外，令 p xy p x y p y。則 begin align I XY sum_y p y sum_x p xy log_2 frac p xyp x sum_y p y D_mathrm KLp xyp x mathbb E_YD_mathrm KLp xyp x end align 注意到，這裡相對熵涉及到僅對隨機變數 X 積分，表示式 D_mathrm KLp xyp x 現在以 Y 為變數。於是互資訊也可以理解為相對熵 X 的單變數分佈 p x 相對於給定 Y 時 X 的條件分佈 p xy ：分佈 p xy 和 p x 之間的平均差異越大，資訊增益越大。 連續互資訊的量化 對連續型隨機變數量化的定義如下： f x_iDeltaint_iDeltai1Delta f x dxp_i 量化後的隨機變數 XDelta XDeltax_i i Delta leq X i1Delta 。 則，I XDeltaYDeltaH XDeltaH XDeltaYDelta approx h Xlog Deltah XYlog Delta I XY 廣義而言，我們可以將互資訊定義在有限多個連續隨機變數值域的劃分。 令 chi 為連續型隨機變數的值域，P_iin P 其中 P 為 chi 劃分所構成的集合，意即 cup_iP_ichi。 以 P 量化連續型隨機變數 X 後，所得結果為離散型隨機變數，Pr X_Piint_P_i dF x。 對於兩連續型隨機變數 X、Y，其劃分分別為 P、Q，則其互資訊可表示為： I XYunderset PQsup I X_PY_Q。 參見 註釋 參考文獻 Cronbach L J 1954 On the nonrational application of information measures in psychology in Henry Quastler ed Information Theory in Psychology Problems and Methods Free Press Glencoe Illinois pp 1430 Lockhead G R 1970 Identification and the form of multidimensional discrimination space Journal of Experimental Psychology 85 1 110 David J C MacKay Information Theory Inference and Learning Algorithms Cambridge Cambridge University Press 2003 ISBN 0521642981 available free online Haghighat M B A Aghagolzadeh A Seyedarabi H 2011 A nonreference image fusion metric based on mutual information of image features Computers Electrical Engineering 37 5 744756 Athanasios Papoulis Probability Random Variables and Stochastic Processes second edition New York McGrawHill 1984 See Chapter 15 Category 資訊理論 Category 資訊學熵