結合エントロピー
結合エントロピーは、常に元の系のエントロピー以上となる。新たな系を追加しても不確かさが減ることはない。
H ( X , Y ) ≥ H ( X ) {\displaystyle H(X,Y)\geq H(X)}
この不等式が等式になるのは、 Y {\displaystyle Y} が X {\displaystyle X} の(決定的)関数になっている場合だけである。
Y {\displaystyle Y} が X {\displaystyle X} の(決定的)関数であるとき、以下も成り立つ。
H ( X ) ≥ H ( Y ) {\displaystyle H(X)\geq H(Y)}
結合エントロピーは、次のように条件付きエントロピーの定義に使われる。
H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}
また、次のように相互情報量の定義にも使われる。
I ( X ; Y ) = H ( X ) + H ( Y ) − H ( X , Y ) {\displaystyle I(X;Y)=H(X)+H(Y)-H(X,Y)\,}
確率変数 X {\displaystyle X} があるとき、そのエントロピー H ( X ) {\displaystyle H(X)} は X {\displaystyle X} の値の不確かさを表す。 X {\displaystyle X} について、イベント x {\displaystyle x} が発生する確率が p x {\displaystyle p_{x}} であるとき、 X {\displaystyle X} のエントロピーは次のようになる。
H ( X ) = − ∑ x p x log 2  ( p x ) {\displaystyle H(X)=-\sum _{x}p_{x}\log _{2}(p_{x})\!}
もう1つの確率変数 Y {\displaystyle Y} では、イベント y {\displaystyle y} が発生する確率が p y {\displaystyle p_{y}} であるとする。 Y {\displaystyle Y} のエントロピーは H ( Y ) {\displaystyle H(Y)} で表される。
他のエントロピーと同様、常に H ( X , Y ) ≥ 0 {\displaystyle H(X,Y)\geq 0} が成り立つ。