;"X") ≥ "I"("X";"Y")，我们可以制定”一个变量至少包含其他任何变量可以提供的与它有关的信息“的基本原理。互信息也可以表示为两个随机变量的边缘分布 "X" 和 "Y" 的乘积 "p"("x") × "p"("y") 相对于随机变量的联合熵"p"("x","y") 的相对熵：此外，令 "p"("x"|"y") = "p"("x", "y") / "p"("y")。则注意到，这里相对熵涉及到仅对随机变量 "X" 积分，表达式 formula_33 现在以 "Y" 为变量。于是互信息