互信息

在概率論和信息論中 ， 兩個隨機變量的互信息 （ mutual Information ， MI ） 度量了兩個變量之間相互依賴的程度 。 具體來說 ， 對於兩個隨機變量 ， MI是一個隨機變量由於已知另一個隨機變量而減少的 “ 信息量 ” （ 單位通常爲比特 ） 。 互信息的概念與隨機變量的熵緊密相關 ， 熵是信息論中的基本概念 ， 它量化的是隨機變量中所包含的 “” 。 MI不僅僅是度量實值隨機變量和線性相關性 ， 它更爲通用 。 MI決定了隨機變量的聯合分佈與和的邊緣分佈的乘積之間的差異 。 MI是點互信息 ( PMI ） 的期望 。 克勞德 · 香農在他的論文中定義並分析了這個度量 ， 但是當時他並沒有將其稱爲 “ 互信息 ” 。 這個詞後來由羅伯特 · 法諾創造 。 互信息也稱爲信息增益 。