互信息 在概率论和信息论中两个随机变量的互信息mutual InformationMI度量了两个变量之间相互依赖的程度具体来说对于两个随机变量MI是一个随机变量由于已知另一个随机变量而减少的信息量单位通常为比特互信息的概念与随机变量的熵紧密相关熵是信息论中的基本概念它量化的是随机变量中所包含的信息量 MI不仅仅是度量实值随机变量和线性相关性如相关系数它更为通用MI决定了随机变量  X  Y  displaystyle displaystyle XY 的联合分布与 X displaystyle X 和 Y displaystyle Y 的边缘分布的乘积之间的差异MI是点互信息Pointwise Mutual Information英语pointwise mutual informationPMI的期望克劳德香农在他的论文A Mathematical Theory of Communication英语A Mathematical Theory of Communication中定义并分析了这个度量但是当时他并没有将其称为互信息这个词后来由罗伯特法诺创造互信息也称为信息增益