Vol. 10, No. 1,  48-53,  Juli  2013
Distribusi Invariant Rantai Markov Ergodik
Jusmawati Massalesse 1

## Abstrak
Sifat long  time  behavior dari  Rantai  Markov
0 ) (  n n X umumnya  melibatkan  distribusi invariant.  Rantai  Markov  yang  bersifat  Ergodik  menjamin  eksistensi  ketunggalan    dari distribusi invariant yang
positif. Dengan menambahkan asumsi state himpunan , : I I f   maka untuk   n 1 ) ( 1 1 1              n k i E i i k f X f n P  .
Kata Kunci : Rantai Markov Ergodik, distribusi invariant .

## 1. Pendahuluan
Rantai Markov merupakan sebuah proses stokastik yang berkaitan dengan ruang state dan waktu  diskrit.  Secara  intuitif  dapat  dinyatakan  bahwa  Rantai  Markov  adalah  sebuah  proses stokastik  yang  bersifat memoriless, yaitu keadaan (state)  akan  datang  hanya  bergantung  pada keadaan sekarang, dan tidak bergantung pada keadaan   sebelumnya.
Karena  melibatkan  waktu,  maka  perilaku  dari  sistem  setelah  berjalan  cukup  lama  ( long time  behavior )  menjadi  salah  satu  kajian  yang  menarik  dalam  mempelajari  Rantai  Markov, terutama jika dikaitkan dengan sifat-sifatnya yang spesifik.
Tulisan  ini  mengulas  perilaku  jangka  panjang  dari  sifat-sifat  penting  Rantai  Markov, khususnya yang berkaitan sifat Ergodik.

## 2. Sifat-Sifat Rantai Markov
Pada  bagian  ini  diuraikan  mengenai  beberapa  sifat,  istilah  dan  definisi    yang melatarbelakangi pembahasan utama.

## 2.1. Rantai Markov Ergodik
Misalkan 0 ) (  n n X merupakan sebuah Rantai Markov dengan matriks peluang transisi P . Sebuah  Rantai  Markov  dengan  himpunan  state  terdiri  dari  satu  kelas  ekuivalensi  dikatakan taktereduksi . State i dikatakan recurrent jika
1 hingga) n tak , (   i X P n i 1 Jurusan Matematika FMIPA Universitas Hasanuddin, email: jusmawati@gmail.com
Jusmawati Massalesse
dan dikatakan transient jika
0 hingga) n tak , (
  i X P n i
State recurrent i dikatakan recurrent positif jika ekspekatasi waktu sampai proses kembali ke state i adalah berhingga.State i dikatakan periodik dengan perioda d, d >1, jika
,... 2 , , setiap untuk , 0 ) ( d d n n n p ii   .
Jika d =1 maka state i dikatakan aperiodik.
Rantai  Markov  yang  mempunyai  state  yang  bersifat  recurrent  positif  dan  aperiodik disebut Rantai Markov Ergodik.

## 2.2. Distribusi Invariant
Kebanyakan  sifat long  behavior dari  Rantai  Markov  melibatkan  distribusi invariant. Invariant  probability adalah  peluang ) , 0 ( i i      yang  bersifat    P
.  Dalam pengertian lain bahwa untuk setiap I i  ,
) 1 ( ii i ji i j j P P       (1)
Hal  ini  juga  berarti  bahwa  sistem  dalam  keadaan  kesetimbangan,  di  mana  rata-rata  jumlah keberangkatan  ( departure )  dari  state i antara  waktu n dan n +1  sama  dengan  rata-rata  jumlah kedatangan ke state i pada rentang waktu yang sama.
) 1 ( xx x yx x y y P P       (2)
Jika P adalah  matriks  transisi  dari  Rantai  Markov  taktereduksi  dan  recurrent,  maka terdapat distribusi invariant  yang bersifat tunggal (Pardoux dalam [2]).

## 2.3. Teorema Ergodik

## Misalkan didefinisikan
  x X n T n i    ; 1 inf :
    i X n T i X T n T n T i n i x i         ; 1 inf : ; inf : 2
Maka ekskursi Rantai Markov  antara 2 kunjungan berurutan  ke state i dinotasikan dengan
0 ); ,..., , ( 1 1     k X X X k T k T k T k i i i  (3)
Panjang ekskursi ke- k ke state I , k i S , adalah:
         lain hal dalam 0 jika 1 1 k k k k i i i i T T T S (4) dimana i T T T i i   1 0 ; 0 .
Ilustrasi mengenai definisi tersebut dapat dilihat pada Gambar di bawah ini.
Gambar 1.
Panjang    ekskursi  tersebut  merupakan  sebuah  variabel  random,  paling  sedikit  2  dan  berhingga, yang merupakan gabungan dari elemen-elemen  i I \ , kecuali awal dan akhir yang sama dengan i .
Misalkan U adalah himpunan barisan-barisan
) , ,..., , ( 1 i i i i u n    n l i i n l ,... 2 , 1 1 , ; 0     . U himpunan  terhitung  dan  merupakan  himpunan  semua kemungkinan  ekskursi ,... , 1 0   .  Sifat  dari  ekskursi ,...) , ( 1 0   dinyatakan  dalam  teorema berikut ini.

## Teorema 1.
Barisan ekskursi ,...) , ( 1 0   bersifat i.i.d, yaitu terdapat peluang ) , ( U u p u  dari U sedemikian sehingga untuk setiap
U u u k k   ,..., , 0 0
    k l u k x l p u P 0 1 0 0 ) ,... , (    (5)
(Pardoux dalam [2]).

## Teorema Ergodik .
Misalkan  P  adalah  matriks  transisi  dari  sebuah  Rantai  Markov    taktereduksi  dan  recurrent dengan distribusi invariant ) , ( I i i     . Jika   I f : terbatas, maka untuk   n
Jusmawati Massalesse
1 ) ( 1 1 1              n k i E i i k f X f n P  (6)
Bukti.
Persamaan (6) ekuivalen dengan mengatakan bahwa    1 1 ) ( 1 n k k X f n konvergen ke i E i i f    , atau
      1 1 ) ( 1 n k i E i i k f X f n  (7)
Misalkan         1 0 1 ) ( n k i X i k n V . Akan diselidiki limit dari n n V i ) ( untuk   n .
Misalkan ,... ,..., , 1 0 k i i i S S S menyatakan panjang ekskursi ,... ,..., , 1 0 k    yang dimulai pada state i . Selanjutnya, karena
1 ) ( 1 0 ...     n V i i i i S S S
menyatakan waktu kunjungan terakhir ke state i sebelum waktu n dan
) ( 1 0 ... n V i i i i S S S   
menyatakan waktu kunjungan pertama ke state i setelah n -1 maka
) ( 1 0 1 ) ( 1 0 ... ... n V i i i n V i i i i i S S S n S S S          Jadi
) ( ... ) ( ) ( ... ) ( 1 0 1 ) ( 1 0 n V S S S n V n n V S S S i n V i i i i i n V i i i i i         
Karena variabel k  i.i.d berakibat k i S juga i.i.d maka untuk   n berlaku i i n V i i i m n V S S S i      ) ( ... 1 ) ( 1 0
Demikian pula,   ) ( n V i sehingga
i i n V i i i m n V S S S i     ) ( ... ) ( 1 0
Hal ini berakibat
i i m n V n  ) ( Atau i i m n n V 1 ) (  Misalkan 0 ) (  n n X mempunyai distribusi invariant ) , ( I i i     dan    I i i i f f  .
Berdasarkan asumsi ke terbatas an fungsi f ,  misalkan i I i f c   sup . Untuk setiap I J  maka
              I i i i i n k k f n n V f X f n  ) ( ) ( 1 1 0           I i i i i f n n V  ) (         J i i i i J i i i i f n n V f n n V   ) ( ) (         J i i i i J i i i i f n n V f n n V   ) ( ) (
(8)
        J i i i J i i i n n V c n n V c   ) ( ) (         J i i i J i i i n n V c n n V c   ) ( ) (
       J i i J i i i c n n V   2 ) ( 2 Ambil 0   sebarang. Pilih J sedemikian sehingga
   J i i c 4   . Kemudian pilih bilangan asli ) (  N sedemikian sehingga untuk setiap ) (  N n  maka
c n n V J i i i 4 ) (      
Akibat dari persamaan  (8)
          c c c c f X f n n k k 4 . 2 4 . 2 ) ( 1 1 0

## Jadi
      1 1 ) ( 1 n k i E i i k f X f
n  Atau    1 1 ) ( 1 n k k X f n konvergen ke f E i i       1 1 ) ( 1 n k k X f n Jadi terbukti 1 ) ( 1 1 1              n k i E i i k f X f n P  . 

## Daftar Pustaka
[1] Norris J.R., 1997. Markov Chains . Cambridge University Press, United Kingdom.
[2] Pardoux  E.,  2008. Markov  Process  and  Applications. John  Wiley  and  Sons  Ltd.,  United Kingdom.