確率行列
確率行列は、要素が有限個の状態空間 S (濃度 S {\displaystyle S} )上のマルコフ連鎖 X t {\displaystyle {\boldsymbol {X}}_{t}} を記述する。
1ステップで状態 i {\displaystyle i} から状態 j {\displaystyle j} へ遷移する確率が P r ( j | i ) = P i , j {\displaystyle Pr(j|i)=P_{i,j}} であるとき、確率行列 P {\displaystyle P} は i {\displaystyle i} 行・ j {\displaystyle j} 列成分を P i , j {\displaystyle P_{i,j}} とする行列で与えられる。例えば、
P = [ P 1 , 1 P 1 , 2 ... P 1 , j ... P 1 , S P 2 , 1 P 2 , 2 ... P 2 , j ... P 2 , S ⋮ ⋮ ⋱ ⋮ ⋱ ⋮ P i , 1 P i , 2 ... P i , j ... P i , S ⋮ ⋮ ⋱ ⋮ ⋱ ⋮ P S , 1 P S , 2 ... P S , j ...
一般に、確率行列 P {\displaystyle P} の k {\displaystyle k} 乗 P k {\displaystyle P^{k}} もまた確率行列である。状態 i {\displaystyle i} から状態 j {\displaystyle j} へ2ステップで遷移する確率は P 2 {\displaystyle P^{2}} の第 ( i , j ) {\displaystyle (i,j)} 成分
( P 2 ) i , j {\displaystyle \left(P^{2}\right)_{i,j}}
に等しく、さらに一般に、ある状態から次の状態へ k ステップで遷移する確率は P k {\displaystyle P^{k}} で与えられる。
初期状態の確率分布(系がどのような状態をどのような確率でとっているか)は行ベクトルとして与えられる。
定常(stationary)確率ベクトル π {\displaystyle {\boldsymbol {\pi }}} とは、右確率行列が右から作用しても不変な行確率ベクトルのことである。つまり、集合 { 1 , . . . , n } {\displaystyle \{1,...,n\}} 上の確率分布であって、左固有値1に対する左固有ベクトルとなるもののことである:
π P = π {\displaystyle {\boldsymbol {\pi }}P={\boldsymbol {\pi }}}
任意の右確率行列のスペクトル半径の最大値は1であることがゲルシュゴリンの定理によりわかる。また右固有値1に対する右固有ベクトル 1 {\displaystyle {\boldsymbol {1}}} が存在することは明らかである。正方行列に対する右固有値と左固有値は一致するから、右確率行列に対して左固有値1が存在し、全ての左固有値の絶対値が1以下であることも同時に分かる。
行確率ベクトルに右確率行列を右から作用させて得られる行ベクトルもやはり確率ベクトルであるから、(各成分が非負で和が1に等しい n次元実ベクトル全体がコンパクト凸集合をなすことに注意すると)ブラウワーの不動点定理より定常な確率ベクトルが少なくとも一つは存在することが分かる。
一方でペロン=フロベニウスの定理によっても、任意の既約な確率行列(任意の ( i , j ) {\displaystyle (i,j)} に対し P N {\displaystyle P^{N}} の第 ( i , j ) {\displaystyle (i,j)} 成分が正になる自然数 N {\displaystyle N} が存在するような行列。行列の既約性を参照)が定常な確率ベクトルを持ち、固有値の絶対値の最大値が1となることが分かる。しかし、この定理は既約であるとは限らない確率行列には直接的に適用できない。