エントロピーレート
確率の数理理論において確率過程のエントロピーレート(英: entropy rate)または情報源レート(source information rate)とは、平たく言えば、確率過程における情報量の時間平均である。可算個の時間添字を持つ確率過程のエントロピーレート H ( X ) {\displaystyle H(X)} は、 n {\displaystyle n} ステップまでの X k {\displaystyle X_{k}} の結合エントロピーを n {\displaystyle n} で割った量の、 n {\displaystyle n} が無限大に向かうときの極限と定義される(極限が存在するときに限る):
H ( X ) = lim n → ∞ 1 n H ( X 1 , X 2 , ... X n ) {\displaystyle H(X)=\lim _{n\to \infty }{\frac {1}{n}}H(X_{1},X_{2},\dots X_{n})}