エントロピーレート

確率の数理理論において確率過程のエントロピーレート（）または情報源レート（source information rate）とは、平たく言えば、確率過程における情報量の時間平均である。可算個の時間添字を持つ確率過程のエントロピーレート formula_1 は、formula_2 ステップまでの formula_3 の結合エントロピーを formula_2 で割った量の、formula_2 が無限大に向かうときの極限と定義される（極限が存在するときに限る）：
一方、関連する量に
がある。強定常過程に対しては formula_8 となる。エントロピーレートは確率過程の一般的性質として捉えることができ、これはと呼ばれる。エントロピーレートは確率過程の複雑性の推定にも使うことができる。また、言語の複雑性の特徴付け、ブラインド信号源分離、量化子器の最適化、データ圧縮アルゴリズムといった広範な対象に応用される。例えば、エントロピーレート最大化基準は機械学習における特徴選択に利用することができる。
マルコフ連鎖のエントロピーレート.
既約、非周期的で正の再帰確率を持つマルコフ連鎖から定義される確率過程は極限分布を持ち、エントロピーレートは初期分布に依存しない。
例えば、マルコフ連鎖 formula_9 が可算個の状態と確率行列 formula_10 で定義されているとき、formula_11 は
で与えられる。ここで formula_13 はマルコフ連鎖の定常分布。
定義からの簡単な帰結として、独立同分布の確率変数列から成る確率過程のエントロピーレートは、各ステップの確率分布のエントロピーと一致する。