mula_27后，我们消除了formula_35的不确定量，这就是Y对X的资讯量。如果formula_36互为独立，则formula_37，于是formula_38。又因为formula_39，所以互信息与以及皮尔森卡方A|zh-hans:检验;zh-hant:检定;有着密切的联系。
应用.信息论被广泛应用在：