相互情報量
相互情報量は、2つの確率変数 X {\displaystyle X} と Y {\displaystyle Y} の周辺分布の積 p ( x ) p ( y ) {\displaystyle p(x)p(y)} と同時分布 p ( x , y ) {\displaystyle p(x,y)} のカルバック・ライブラー情報量で表すこともできる。
I ( X ; Y ) = D K L ( p ( x , y ) ‖  p ( x ) p ( y ) ) {\displaystyle I(X;Y)=D_{\mathrm {KL} }\left(p(x,y)\mathop {\|} p(x)p(y)\right)}
さらに、 p ( x , y ) = p ( x |  y ) p ( y ) {\displaystyle p(x,y)=p(x\mathop {|} y)p(y)} を用いて変形すると、次のようになる。
I ( X ; Y ) = ∑ y p ( y ) ∑ x p ( x |  y ) log  p ( x |  y ) p ( x ) = ∑ y p ( y ) D K L ( p ( x |  y ) ‖  p ( x ) ) = E Y { D K L ( p ( x |  y ) ‖  p ( x ) ) } {\displaystyle {\begin{aligned}I(X;Y)&{}=\sum _{y}p(y)\sum _{x}p(x\mathop {|} y)\log {\frac {p(x\mathop {|} y)}{p(x)}}\\&{}=\sum _{y}p(y)\;D_{\mathrm {KL} }\left(p(x\mathop {|} y)\mathop {\|} p(x)\right)\\&{}=\mathbb {E} _{Y}\{D_{\mathrm {KL} }\left(p(x\mathop {|} y)\mathop {\|} p(x)\right)\}\end{aligned}}}