マルコフ連鎖
となる。ここでは初期分布に関して何も仮定していない。つまり連鎖は初期の状態によらず定常分布に収束し,これを連鎖の均衡分布という。
連鎖が既約でないならば、その定常分布はただ1つに定まらない。(閉じた連結類を考えれば、各連結類毎にただ1つの定常分布がある。)しかし、状態 j が非周期的ならば、
lim n → ∞ p j j ( n ) = 1 M j {\displaystyle \lim _{n\rightarrow \infty }p_{jj}^{(n)}={\frac {1}{M_{j}}}}
であり、他の任意の状態i に対しi を初期状態として、連鎖が状態j に到達する確率をfij とすると、
lim n → ∞ p i j ( n ) = f i j M j {\displaystyle \lim _{n\rightarrow \infty }p_{ij}^{(n)}={\frac {f_{ij}}{M_{j}}}}
となる。