相互情報量
形式的には、2つの離散確率変数 X {\displaystyle X} と Y {\displaystyle Y} の相互情報量は以下で定義される。
I ( X ; Y ) = ∑ y ∈ Y ∑ x ∈ X p ( x , y ) log  p ( x , y ) p ( x ) p ( y ) , {\displaystyle I(X;Y)=\sum _{y\in {\mathcal {Y}}}\sum _{x\in {\mathcal {X}}}p(x,y)\log {\frac {p(x,y)}{p(x)p(y)}},\!}
ここで、 p ( x , y ) {\displaystyle p(x,y)} は X {\displaystyle X} と Y {\displaystyle Y} の同時分布関数、 p ( x ) {\displaystyle p(x)} と p ( y ) {\displaystyle p(y)} はそれぞれ X {\displaystyle X} と Y {\displaystyle Y} の周辺確率分布関数である。
連続確率変数の場合、総和の代わりに定積分を用いる。
従って、相互情報量は、 p ( x |  y ) {\displaystyle p(x\mathop {|} y)} の p ( x ) {\displaystyle p(x)} に対するカルバック・ライブラー情報量の期待値として解釈することもできる。ここで、 p ( x |  y ) {\displaystyle p(x\mathop {|} y)} は Y {\displaystyle Y} を与えられた時の X {\displaystyle X} の条件付き分布、 p ( x ) {\displaystyle p(x)} は X {\displaystyle X} の確率分布である。 p ( x |  y ) {\displaystyle p(x\mathop {|} y)} と p ( x ) {\displaystyle p(x)} の分布に差があればあるほど、情報利得(カルバック・ライブラー情報量)は大きくなる。
相互情報量は次のようにも表せる。
I ( X ; Y ) = H ( X ) − H ( X |  Y ) = H ( Y ) − H ( Y |  X ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle {\begin{aligned}I(X;Y)&=H(X)-H\left(X\mathop {|} Y\right)\\&=H(Y)-H\left(Y\mathop {|} X\right)\\&=H(X)+H(Y)-H(X,Y)\end{aligned}}}
ここで、 H ( X ) {\displaystyle H(X)} と H ( Y ) {\displaystyle H(Y)} は周辺エントロピー、 H ( X |  Y ) {\displaystyle H(X\mathop {|} Y)} と H ( Y |  X ) {\displaystyle H(Y\mathop {|} X)} は条件付きエントロピー、 H ( X , Y ) {\displaystyle H(X,Y)} は X {\displaystyle X} と Y {\displaystyle Y} の結合エントロピーである。 H ( X ) ≥ H ( X |  Y ) {\displaystyle H(X)\geq H(X\mathop {|} Y)} であるため、相互情報量は常に非負であることがわかる。