Claude Shannon
MI不仅仅是度量实值随机变量和线性相关性(如相关系数)，它更为通用。MI决定了随机变量formula_1的联合分布与formula_2和formula_3的边缘分布的乘积之间的差异。MI是点互信息（，PMI）的期望。克劳德·香农在他的论文中定义并分析了这个度量，但是当时他并没有将其称为“互信息”。这个词后来由罗伯特·法诺创造。互信息也称为信息增益。