結合エントロピー
2つの系をまとめて考えたとき、それぞれの系のエントロピーの総和より大きなエントロピーには決してならない。これは劣加法性 (subadditivity) の一例である。
H ( X , Y ) ≤ H ( X ) + H ( Y ) {\displaystyle H(X,Y)\leq H(X)+H(Y)}
この不等式が等式になるのは、 X {\displaystyle X} と Y {\displaystyle Y} に確率論的独立性がある場合だけである。