情報理論
もう1つの重要な情報の尺度として伝達情報量(相互情報量とも呼ぶ)がある。これは、ある確率変数を観測することによって別の確率変数について得られる情報量の尺度である。これは通信において重要な概念であり、妥当な通信量を決定するのに使われる。 Y {\displaystyle Y} との関連での X {\displaystyle X} の伝達情報量(概念的には Y {\displaystyle Y} を観測することで得られる X {\displaystyle X} に関する情報量を意味する)は次のように表される:
I ( X ; Y ) = ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log  p ( x | y ) p ( x ) = ∑ x , y p ( x , y ) log  p ( x , y ) p ( x ) p ( y ) {\displaystyle I(X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log {\frac {p(x|y)}{p(x)}}=\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}}