形的一个非常特殊的情况是当 "X" 和 "Y" 为相同随机变量时。）互信息是 "X" 和 "Y" 的联合分布相对于假定 "X" 和 "Y" 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性："I"("X"; "Y") = 0当且仅当"X" 和 "Y" 为独立随机变量。从一个方向很容易看出：当 "X" 和 "Y" 独立时，"p"("x","y") = "p"("x") "p"("y")，因此：此外，互信息是非负的（即 formula_24; 见下文），而且是（即 formul