Jelaskan Definisi dan sifat-sifat dari Matriks stokastik

Matriks stokastik mencirikan suatu rantai Markov  atas ruang probabilitas terhingga S dengan kardinalitas . Misalkan peluang dari berpindah dari keadaan  ke keadaan  dalam satu tahap waktu adalah . Misalkan pula matriks stokastik  dengan  menyatakan elemen baris ke- dan kolom ke-, yakni

Karena peluang berpindah dari keadaan  ke semua kemungkinan keadaan haruslah sama dengan 1, maka matriks  adalah matriks stokastik kanan.

Penjumlahan elemen-demi-elemen dari baris ke- matriks  dapat ditulis secara ringkas sebagai , dengan  adalah vektor berdimensi- dengan semua elemennya bernilai 1. Menggunakan persamaan ini, dapat ditunjukkan bahwa perkalian dua matriks stokastik  dan  juga berupa matriks stokastik:. Dinyatakan secara umum,  sebagai matriks pangkat ke- dari  juga berupa matriks stokastik kanan. Matriks perpangkatan ini menyimpan informasi peralihan antar keadaan secara lebih umum. Matriks elemen-elemen  berisi peluang peralihan dari satu keadaan ke keadaan lain dalam  tahap Sebagai contoh, peluang peralihan dari keadaan  ke keadaan  dalam dua tahap dapat terlihat dari elemen ke- kuadrat :