冗長性 (情報理論)
これは、メッセージ空間あるいはアルファベットの濃度(cardinality)の対数である。この式を「ハートレー関数 (Hartley function)」と呼ぶこともある。これがそのアルファベットで転送可能な情報の最大のレートとなる。対数の底は測定単位を考慮して決定される。情報源にメモリがなく、一様分布であるとき、絶対レートは実際のレートと等しい。
以上から、絶対冗長性(絶対冗長量)は次のように定義される。
D = R − r , {\displaystyle D=R-r,\,}
これはつまり、絶対レートと実際のレートの差である。
D R {\displaystyle {\frac {D}{R}}} を相対冗長性(相対冗長量)と呼び、可能な最大データ圧縮比を表している。すなわち、ファイルサイズがどれだけ削減できるかということと等価である。冗長性と対をなす概念として効率(efficiency)があり、 r R {\displaystyle {\frac {r}{R}}} で表される。したがって、 r R + D R = 1 {\displaystyle {\frac {r}{R}}+{\frac {D}{R}}=1} である。メモリのない一様分布の情報源は、冗長性がゼロで効率が100%であり、圧縮できない。