結合エントロピー
ここで、 X {\displaystyle X} と Y {\displaystyle Y} が相互に関連したイベントを表しているとき、系全体のエントロピーは H ( X ) + H ( Y ) {\displaystyle H(X)+H(Y)} にはならない。例えば、1から8までの整数を1つ選ぶとし、それぞれの整数が選ばれる確率が同じとする。 X {\displaystyle X} は選んだ整数が奇数かどうかを表し、 Y {\displaystyle Y} は選んだ整数が素数かどうかを表すとする。1から8の整数のうち半分は偶数であり、同じく半分は素数である。したがって H ( X ) = H ( Y ) = 1 {\displaystyle H(X)=H(Y)=1} となる。しかし、選んだ整数が偶数であるとわかっている場合、それが素数である場合は4つのうち1つしかない。つまり、2つの確率変数の分布は関連している。従って系全体のエントロピーは2ビットよりも小さくなる。