Markovljev_lanac
Fundamentalna granična teorema za regularne lance Markova
Treba, u suštini, dokazati da elementi svake kolone matrice teže da budu jednaki (tj. da su sve vrste te matrice jednake). Napomenimo da j-ta kolona od je  gde je y vektor kolona sa jedinicom na j-tom mestu, i nulama na ostalim mestima. Prema tome, praktično treba dokazati da za svaki vektor kolonu y, teži konstantnom vektoru kad n teži beskonačnosti. Kako je svaka vrsta matrice P vektor verovatnoća, zamenjuje y sa matematičkim očekivanjima njegovih komponenti (vrši neku vrstu uprosečavanja). Komponente vektora su bliže jedna drugoj nego komponente vektora y. Pokazaćemo da razlika između maksimalne i minimalne komponente teži nuli kad n teži beskonačnosti. To u suštini znači da verovatnoća da će se sistem naći u nekom stanju posle velikog broja koraka ne zavisi od početnog stanja. Neka je P matrica prelaza dimenzija r×r, bez nultih elemenata. Uzmimo da je l najmanja vrednost u toj matrici. Neka je y vektor kolona sa r elemenata, od kojih je najveći M0, a najmanji m0. Neka su M1 i m1 najveća i najmanja komponenta (respektivno) vektora. Pošto je svaki element matrice matematičko očekivanje elemenata iz y, najveće moguće očekivanje se može dobiti ako svi (osim jednog) elementi vektora y imaju vrednost M0, a jedan ima vrednost m0, i on se množi sa l, da bi najmanje doprinosio. U tom slučaju matematičko očekivanje iznosi Slično, najmanje moguće očekivanje je jednako Tako, Ovo će nam pomoći u dokazu fundamentalne granične teoreme za regularne lance Markova. Dokazaćemo teoremu za specijalan slučaj da je P bez elemenata koji su jednaki nuli, a posle ćemo uopštiti. Neka je y vektor kolona sa r elemenata, gde je r broj stanja u lancu. Pretpostavićemo da je r>1 (jer se inače svodi na trivijalno). Neka su Mn i mn, respektivno, maksimalna i minimalna komponenta vektora. Vektor se dobija množenjem (sleva) vektora  vektorom P. Prema tome, svaka komponenta vektora predstavlja srednju vrednost komponenti iz. Tako je i. Oba ova niza su monotona i ograničena,. Prema tome, oba niza će imati graničnu vrednost kad n teži beskonačnosti (nizovi su konvergentni). Neka je M granična vrednost od Mn, a m od mn. Znamo da je m \le M. Treba da dokažemo da je M-m=0. Pokazali smo da važi. Iz ovoga je očigledno. Kako je r \ge 2, tako mora biti i l \le 1/2, tj. , a pošto se broj između 0 i 1 diže na eksponent koji teži beskonačnosti, jasno je da će razlika M_n - m_n težiti tada nuli. Prema tome, svi elementi će težiti nekom broju u. Neka je sada y vektor čija je j-ta komponenta jednaka 1, a sve ostale su jednake nuli. Tada je j-ta kolona od. Ponavljajući postupak za svako j dokazuje se da kolone teže konstantim vektorima kolonama. Može se reći da vrste matrice teže zajedničkom vektoru vrsti p*, tj. . Ostalo je da se dokaže da su svi elementi matrice P* strogo pozitivni. Ako uzmemo isti vektor kolonu y (sa jednom jedinicom i svim nulama), Py je j-ta kolona od P, a svi njeni elementi su pozitivni (po našoj početnoj pretpostavci). Najmanji element vektora Py je definisan kao m1, pa je m1>0. Kako je m_1 \le m, imamo da je i m>0, a ova vrednost m je zapravo j-ta komponenta od p*, pa su prema tome sve komponente p* strogo pozitivne.