为通用。MI决定了随机变量formula_1的联合分布与formula_2和formula_3的边缘分布的乘积之间的差异。MI是点互信息（，PMI）的期望。克劳德·香农在他的论文中定义并分析了这个度量，但是当时他并没有将其称为“互信息”。这个词后来由罗伯特·法诺创造。互信息也称为信息增益。 
互信息的定义.设随机变量formula_1是空间formula_5中的一对随机变量。若他们的联合分布是formula_6，边缘分布分别是formula_7和formula_8，那么，它们之间的