formula_3相互独立的时候，观测到Y对于我们预测X没有任何帮助，此时他们的互信息为0。
离散变量的互信息.离散随机变量 X 和 Y 的互信息可以计算为：其中 "p"("x", "y") 是 "X" 和 "Y" 的联合概率分布函数，而 formula_12 和 formula_13 分别是 "X" 和 "Y" 的边缘概率分布函数。
连续变量的互信息.在连续随机变量的情形下，求和被替换成了二重定积分：其中 "p"("x", "y") 当前是 "X