情報量
H ( X , Y ) = E P X Y [ I ( X , Y ) ] = − ∑ x , y P X Y ( x , y ) log  P X Y ( x , y ) {\displaystyle H(X,Y)=\mathbb {E} _{P_{XY}}[I(X,Y)]=-\sum _{x,y}P_{XY}(x,y)\log P_{XY}(x,y)}
になる。これを結合エントロピーと呼ぶ。
X , Y {\displaystyle X,Y} が互いに独立な確率変数である場合には、 H ( X , Y ) {\displaystyle H(X,Y)} は H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} に一致する。すなわち、全体の情報量 H ( X , Y ) {\displaystyle H(X,Y)} は、それぞれの確率変数の情報量の和である。
しかし、XとYが互いに独立ではない場合は、 H ( X , Y ) {\displaystyle H(X,Y)} と H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} は一致せず、前者より後者の方が大きい値になる。両者の情報量の差を相互情報量と呼び、
I ( X , Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X,Y)=H(X)+H(Y)-H(X,Y)}
で表す。相互情報量は常に非負の値になる。
事象Bが生じているという条件下における事象Aの条件付き情報量を − log  Pr ( A | B ) {\displaystyle -\log \Pr(A|B)} によって定める。