エントロピーレート
既約、非周期的で正の再帰確率を持つマルコフ連鎖から定義される確率過程は極限分布を持ち、エントロピーレートは初期分布に依存しない。
例えば、マルコフ連鎖 Y k {\displaystyle Y_{k}} が可算個の状態と確率行列 P i j {\displaystyle P_{ij}} で定義されているとき、 H ( Y ) {\displaystyle H(Y)} は
H ( Y ) = − ∑ i j μ i P i j log  P i j {\displaystyle \displaystyle H(Y)=-\sum _{ij}\mu _{i}P_{ij}\log P_{ij}}
で与えられる。ここで μ i {\displaystyle \mu _{i}} はマルコフ連鎖の定常分布。
定義からの簡単な帰結として、独立同分布の確率変数列から成る確率過程のエントロピーレートは、各ステップの確率分布のエントロピーと一致する。