冗長性 (情報理論)
データの冗長性を表現するにあたって、まず情報源のエントロピー率(レート)が記号ごとのエントロピーの平均であることに注目する。メモリをもたない情報源では、これは単に各記号のエントロピーだが、多くの確率過程では次のようになる。
r = lim n → ∞ 1 n H ( M 1 , M 2 , ... M n ) , {\displaystyle r=\lim _{n\to \infty }{\frac {1}{n}}H(M_{1},M_{2},\dots M_{n}),}
これは n 個の記号の結合エントロピーを n で割ったものの n が無限大になったときの極限である。情報理論では、言語の「レート」や「エントロピー」を扱うことが多い。これは例えば、情報源が英語などの言語の文である場合には適切である。メモリのない情報源では、その逐次的メッセージ列に相互依存が全くないため、レートは定義から H ( M ) {\displaystyle H(M)} となる。
言語または情報源の絶対レート(absolute rate)は単純に次のようになる。
R = log  | M | , {\displaystyle R=\log |M|,\,}