Rantai Markov

Rantai Markov adalah proses stokastik yang menggambarkan urutan barisan yang mungkin di mana probabilitas setiap kejadian hanya bergantung pada keadaan yang dicapai pada kejadian sebelumnya. Urutan tak terbatas yang dapat dihitung, di mana rantai bergerak pada langkah waktu diskrit, memberikan rantai Markov waktu diskrit (DTMC). Proses waktu kontinu disebut rantai Markov waktu kontinu (CTMC). Ini dinamai ahli matematika Rusia Andrei Markov. Rantai Markov memiliki banyak aplikasi sebagai model statistik dari proses dunia nyata,, seperti mempelajari sistem kendali jelajah pada kendaraan bermotor, antrian atau antrian pelanggan yang tiba di bandara, nilai tukar mata uang dan dinamika populasi hewan. Proses Markov adalah dasar untuk metode simulasi stokastik umum yang dikenal sebagai rantai Markov Monte Carlo, yang digunakan untuk mensimulasikan pengambilan sampel dari distribusi probabilitas yang kompleks, dan telah menemukan aplikasi dalam statistik Bayesian, termodinamika, mekanika statistik, fisika, kimia, ekonomi, keuangan, sinyal pemrosesan, teori informasi, dan pemrosesan ucapan.