随机变量所获得的“信息量”（单位通常为比特）。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“”。 MI不仅仅是度量实值随机变量和线性相关性(如相关系数)，它更为通用。MI决定了随机变量formula_1的联合分布与formula_2和formula_3的边缘分布的乘积之间的差异。MI是点互信息（，PMI）的期望。克劳德·香农在他的论文中定义并分析了这个度量，但是当时他并没有将其称为“互信息”。这个词后来由罗伯特·法诺创造。互信息也称为信息增益。 Secti