確率行列
確率行列は、ロシア人数学者でサンクトペテルブルク大学教授であったアンドレイ・マルコフによってマルコフ連鎖とともに考案された。出版物への初めての記載は1906年である 。マルコフは当初、これらを言語分析やカードシャッフル等の数学的題材に用いるつもりだったが、たちまち他の分野でも有用であることが分かってきた 。
確率行列はアンドレイ・コルモゴロフ等の学者によってさらなる研究がなされ、連続時間マルコフ過程にも適用できるよう拡張が行われた。1950年代までに、計量経済学や回路網解析といった分野にも確率行列を用いた論文が現れた。1960年代には行動科学から地質学、居住地計画まで、さらに広範な科学領域で確率行列が用いられるようになった。同時に、この期間には確率行列やマルコフ過程の応用範囲や有用性を押し広げるような数学的研究もより一般的に行われた。
1970年代から現在にかけて、確率行列は建築構造設計から医療診断、人事労務管理まで、形式的な分析を必要とするほとんどあらゆる分野で用いられるようになってきた。土地利用変化モデリング(英語版)(land change modeling、この分野では「マルコフ行列」と呼ばれることが多い)においても広範に応用されている。
状態 5: ゲーム終了 (2,2), (3,3), (4,4)
以下の行列 P {\displaystyle P} で、このゲームの遷移確率を表す(行と列の番号は上記の状態の番号と対応する:行番号が遷移前の状態で、列番号が遷移後の状態)。例えば状態 1 から始めたとすると、この状態に留まったり、状態 2、状態 4 に遷移することはできない( P 11 = 0 , P 12 = 0 , P 14 = 0 {\displaystyle P_{11}=0,P_{12}=0,P_{14}=0} )が、状態 3 または 5 への遷移は可能である( P 13 , P 15 ≠ 0 {\displaystyle P_{13},P_{15}\neq 0} )。
P = [ 0 0 1 / 2 0 1 / 2 0 0 1 0 0 1 / 4 1 / 4 0 1 / 4 1 / 4 0 0 1 / 2 0 1 / 2 0 0 0 0 1 ] {\displaystyle P={\begin{bmatrix}0&0&1/2&0&1/2\\0&0&1&0&0\\1/4&1/4&0&1/4&1/4\\0&0&1/2&0&1/2\\0&0&0&0&1\end{bmatrix}}}