|"X") = 0，于是 "H"("X") = "I"("X";"X")。因此 "I"("X";"X") ≥ "I"("X";"Y")，我们可以制定”一个变量至少包含其他任何变量可以提供的与它有关的信息“的基本原理。互信息也可以表示为两个随机变量的边缘分布"X" 和 "Y" 的乘积 "p"("x") × "p"("y") 相对于随机变量的联合熵 "p"("x","y") 的相对熵：此外，令 "p"("x"|"y") = "p"("x", "y") / "p"("y")。则注意到，这里相对熵涉及