ection::::与其他量的关系.互信息又可以等价地表示成其中 formula_27 和 formula_28 是边缘熵，"H"("X"|"Y") 和 "H"("Y"|"X") 是条件熵，而 "H"("X","Y") 是 "X" 和 "Y" 的联合熵。注意到这组关系和并集、差集和交集的关系类似，于是用Venn图表示。在互信息定义的基础上使用琴生不等式，我们可以证明 "I"("X";"Y") 是非负的，因此 formula_29。这里我们给出 I(X;Y) = H(Y) - H(Y|X) 的详细推