相互情報量
I ( X ; Y ) = ∫ Y ∫ X p ( x , y ) log  p ( x , y ) p ( x ) p ( y ) d x d y , {\displaystyle I(X;Y)=\int _{\mathcal {Y}}\int _{\mathcal {X}}p(x,y)\log {\frac {p(x,y)}{p(x)\,p(y)}}\;dx\,dy,\!}
ここで、 p ( x , y ) {\displaystyle p(x,y)} は X {\displaystyle X} と Y {\displaystyle Y} の同時分布密度関数であり、 p ( x ) {\displaystyle p(x)} と p ( y ) {\displaystyle p(y)} はそれぞれ X {\displaystyle X} と Y {\displaystyle Y} の周辺確率密度関数である。
どちらの場合でも相互情報量は負とならず( I ( X ; Y ) ≥ 0 {\displaystyle I(X;Y)\geq 0} )、対称性がある( I ( X ; Y ) = I ( Y ; X ) {\displaystyle I(X;Y)=I(Y;X)} )。
これらの定義は対数の底が明示されていない。離散確率変数の場合、最も一般的な相互情報量の尺度はビットであるため、底として 2 を指定することが多い。
直観的に、エントロピー H ( X ) {\displaystyle H(X)} が確率変数の不確かさの尺度であるとすれば、 H ( X |  Y ) {\displaystyle H(X\mathop {|} Y)} は「 Y {\displaystyle Y} を知った後にも残る X {\displaystyle X} の不確かさの量」と見ることができ、最初の行の右辺は「 X {\displaystyle X} の不確かさの量から Y {\displaystyle Y} を知った後に残った X {\displaystyle X} の不確かさの量を引いたもの」となり、「 Y {\displaystyle Y} を知ったことで削減される X {\displaystyle X} の不確かさの量」と等価である。これは、相互情報量が2つの確率変数について互いにもう一方を知ったことで得られる別の一方に関する情報量という直観的定義とも合っている。
離散の場合、 H ( X |  X ) = 0 {\displaystyle H(X\mathop {|} X)=0} であるから、 H ( X ) = I ( X ; X ) {\displaystyle H(X)=I(X;X)} となる。従って I ( X ; X ) ≥ I ( X ; Y ) {\displaystyle I(X;X)\geq I(X;Y)} であり、ある確率変数は他のどんな確率変数よりも自分自身についての情報を多くもたらすという基本原理が定式化されている。