互信息与 "Y"（或 "X"）单独包含的不确定度相同，称作 "Y"（或 "X"）的熵。而且，这个互信息与 "X" 的熵和 "Y" 的熵相同。（这种情形的一个非常特殊的情况是当 "X" 和 "Y" 为相同随机变量时。）互信息是 "X" 和 "Y" 的联合分布相对于假定 "X" 和 "Y" 独立情况下的联合分布之间的内在依赖性。于是互信息以下面方式度量依赖性："I"("X"; "Y") = 0 当且仅当 "X" 和 "Y" 为独立随机变量。从一个方向很容易看出：当 "X" 和 "Y" 独立时，"p"("x