互信息

在概率论和信息论中，两个随机变量的互信息（mutual Information，MI）度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是一个随机变量由于已知另一个随机变量而减少的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“”。 

MI不仅仅是度量实值随机变量和线性相关性(如相关系数)，它更为通用。MI决定了随机变量的联合分布与和的边缘分布的乘积之间的差异。MI是点互信息（，PMI）的期望。克劳德·香农在他的论文中定义并分析了这个度量，但是当时他并没有将其称为“互信息”。这个词后来由罗伯特·法诺创造。互信息也称为信息增益。

互信息的定义
设随机变量是空间中的一对随机变量。若他们的联合分布是，边缘分布分别是和，那么，它们之间的互信息可以定义为：

其中，为KL散度(Kullback–Leibler divergence)。注意，根据KL散度的性质，若联合分布等于边缘分布和的乘积，则，即当和相互独立的时候，观测到Y对于我们预测X没有任何帮助，此时他们的互信息为0。

离散变量的互信息 
离散随机变量 X 和 Y 的互信息可以计算为：

其中 p(x, y) 是 X 和 Y 的联合概率质量函数，而  和   分别是 X 和 Y 的边缘概率质量函数。

连续变量的互信息 
在连续随机变量的情形下，求和被替换成了二重定积分：

其中 p(x, y) 当前是 X 和 Y 的联合概率密度函数，而  和  分别是 X 和 Y 的边缘概率密度函数。

如果对数以 2 为基底，互信息的单位是bit。

直观上，互信息度量 X 和 Y 共享的信息：它度量知道这两个变量其中一个，对另一个不确定度减少的程度。例如，如果 X 和 Y 相互独立，则知道 X 不对 Y 提供任何信息，反之亦然，所以它们的互信息为零。在另一个极端，如果 X 是 Y 的一个确定性函数，且 Y 也是 X 的一个确定性函数，那么传递的所有信息被 X 和 Y 共享：知道 X 决定 Y 的值，反之亦然。因此，在此情形互信息与 Y（或 X）单独包含的不确定度相同，称作 Y（或 X）的熵。而且，这个互信息与 X 的熵和 Y 的熵相同。（这种情形的一个非常特殊的情况是当 X 和 Y 为相同随机变量时。）

互信息是 X 和 Y 的联合分布相对于假定 X 和 Y 独立情况下的联合分布之间的内在依赖性。
于是互信息以下面方式度量依赖性：I(X; Y) = 0 当且仅当 X 和 Y 为独立随机变量。从一个方向很容易看出：当 X 和 Y 独立时，p(x,y) = p(x) p(y)，因此：

此外，互信息是非负的（即 ; 见下文），而且是（即 ）。

与其他量的关系
互信息又可以等价地表示成

其中  和  是边缘熵，H(X|Y) 和 H(Y|X) 是条件熵，而 H(X,Y) 是 X 和 Y 的联合熵。注意到这组关系和并集、差集和交集的关系类似，于是用Venn图表示。

在互信息定义的基础上使用琴生不等式，我们可以证明 I(X;Y) 是非负的，因此 。这里我们给出 I(X;Y) = H(Y) - H(Y|X) 的详细推导:

上面其他性质的证明类似。

直观地说，如果把熵 H(Y) 看作一个随机变量於不确定度的量度，那么 H(Y|X) 就是"在已知 X 事件後Y事件會發生"的不確定度。於是第一个等式的右边就可以读作“將"Y事件的不确定度"，减去 --- "在基於X事件後Y事件因此發生的不確定度"”。

这证实了互信息的直观意义为: "因X而有Y事件"的熵( 基於已知隨機變量的不確定性) 在"Y事件"的熵之中具有多少影響地位( "Y事件所具有的不確定性" 其中包含了多少 "Y|X事件所具有的不確性" )，意即"Y具有的不確定性"有多少程度是起因於X事件; 

     舉例來說，當 I(X;Y) = 0時，也就是 H(Y) = H(Y|X)時，即代表此時 "Y的不確定性" 即為 "Y|X的不確定性"，這說明了互信息的具體意義是在度量兩個事件彼此之間的關聯性。

所以具體的解釋就是: 互信息越小，兩個來自不同事件空間的隨機變量彼此之間的關聯性越低; 互信息越高，關聯性則越高 。

注意到离散情形 H(X|X) = 0，于是 H(X) = I(X;X)。因此 I(X;X) ≥ I(X;Y)，我们可以制定”一个变量至少包含其他任何变量可以提供的与它有关的信息“的基本原理。

互信息也可以表示为两个随机变量的边缘分布 X 和 Y 的乘积 p(x) × p(y) 相对于随机变量的联合熵 p(x,y) 的相对熵：

此外，令 p(x|y) = p(x, y) / p(y)。则

注意到，这里相对熵涉及到仅对随机变量 X 积分，表达式  现在以 Y 为变量。于是互信息也可以理解为相对熵 X 的单变量分布 p(x) 相对于给定 Y 时 X 的条件分布 p(x|y) ：分布 p(x|y) 和 p(x) 之间的平均差异越大，信息增益越大。

連續互信息的量化 
對連續型隨機變數量化的定義如下：

量化後的隨機變數:

。

則,

廣義而言，我們可以將互信息定義在有限多個連續隨機變數值域的劃分。

令為連續型隨機變數的值域，, 其中為劃分所構成的集合，意即。

以量化連續型隨機變數後，所得結果為離散型隨機變數,

。

對於兩連續型隨機變數X、Y，其劃分分別為P、Q，則其互信息可表示為：

。

参见

注释

参考文献 
 
 Cronbach L. J. (1954). On the non-rational application of information measures in psychology, in Henry Quastler, ed., Information Theory in Psychology: Problems and Methods, Free Press, Glencoe, Illinois, pp. 14–30.
 
 
 
 Lockhead G. R. (1970). Identification and the form of multidimensional discrimination space, Journal of Experimental Psychology 85(1), 1–10.
 David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1 (available free online)
 Haghighat, M. B. A., Aghagolzadeh, A., & Seyedarabi, H. (2011). A non-reference image fusion metric based on mutual information of image features. Computers & Electrical Engineering, 37(5), 744-756.
 Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.)
 
 
 
 

信息论
信息學熵