冗長性 (情報理論)
2つの確率変数の「冗長性」の尺度として、相互情報量あるいはその正規化形がある。多数の確率変数の冗長性の尺度としては、合計相関(total correlation)がある。
圧縮済みデータの冗長性は、 n {\displaystyle n} 個のメッセージを圧縮したときの期待される長さ L ( M n ) {\displaystyle L(M^{n})} とそのエントロピー n r {\displaystyle nr} の差で表される。ここで、データはエルゴード的で定常的であると仮定している。つまり、メモリのない情報源である。レートの差 L ( M n ) / n − r {\displaystyle L(M^{n})/n-r} は n {\displaystyle n} が増大するに従って小さくなるが、実際の差 L ( M n ) − n r {\displaystyle L(M^{n})-nr} はそうならない。しかし、エントロピーが有限なメモリのない情報源では、理論上の上限が 1 となる。