## MENENTUKAN MATRIKS PELUANG TRANSISI UNTUK WAKTU OKUPANSI MENGGUNAKAN TRANSFORMASI LAPLACE DAN MATRIKS EKSPONENSIAL
Sudarno
Jurusan Statistika FSM UNDIP Email: dsghani@gmail.com

## Abstract
The transition probability matrix is a matrix which contains some probability among two state . It has properties that every probability is non-negative and sum by row at every state is one. This paper want to determine the transition probability matrix by Laplace transform and exponential of a matrix methods. To construct the transition probability matrix  by Laplace transform  depends on identity matrix and generator matrix, but by matrix exponential method depends on generator matrix only. In this research obtained result that matrix exponential method easier than Laplace transformation. Because it is aided by software and programming. The transition probability matrix can be used to predict probability each other state .  It  could be used to predict value of state probability on long-term or limiting behavior, too. Otherwise, the transition probability mtrix could be used to construct occupancy times matrix.
Keywords: Generator matrix, Laplace transform, Exponential matrix, Occupancy times matrix.

## 1. Pendahuluan
Ruang state merupakan himpunan kondisi yang mungkin dilalui oleh proses stokastik yang dibicarakan. Pada proses ini, ruang state yang dipilih adalah ruang state yang berhingga, yaitu } , , 2 , 1 { N S  = . Sedangkan proses stokastik } 0 ), ( { ≥ t t X merupakan proses stokastik waktu-kontinu t dengan ruang state S , sedangkan matriks bujur sangkar yang berukuran N x N yang berisi peluang perpindahan (transisi) dari satu state ke state yang lain dengan sifat nilainya nonnegatif dan jumlah peluang secara horizontal sama dengan satu, merupakan matriks peluang transisi P (t)  untuk  1-langkah  yang  disingkat dengan  matriks  peluang  transisi.  Matriks peluang transisi dapat dipergunakan untuk prediksi peluang jangka panjang ( steady state ) [4,5,7,8,11] .
Jika terdapat suatu fungsi yang didefinisikan pada himpunan nonnegatif  ke himpunan bilangan riil. Maka dapat diperoleh suatu fungsi yang berupa transformasi Laplace yang berupa suatu fungsi dengan variabel bebasnya merupakan bilangan kompleks dengan bagian riilnya bernilai positif. Antara fungsi dengan variabel bebas yang berupa bilangan nonnegatif terjadi hubungan bijektif terhadap fungsi dengan variabel bebas yang berupa bilangan kompleks, dengan syarat bagian riinya bernilai positif. Sedangkan matriks eksponensial  dari suatu matriks bujur sangkar merupakan  eksponensial dari matriks tersebut. Penjabarannya identik dengan konsep fungsi eksponensial pada suatu variabel bebasnya. Hasilnya sama dengan matriks bujur sangkar yang berupa penjumlahan dari matriks identitas dan matriks berpangkat dari matriks pembentuknya [2,3,5] .
Dalam Tattar et al. (2008),  dibahas tentang menguji hipotesis tentang matriks peluang transisi dari proses Markov nonhomogin dengan model multi- state pada data tersensor. Sedangkan kelanjutannya berupa masalah k-sampel dalam model multi- state dan pengujian hipotesis dari matriks-matriks peluang transisi (Tattar et al.  (2014)). Pada Eslahchi et al.  (2012),  disimulasikan perhitungan matriks peluang transisi dari  proses
Markov tentang kelahiran dan  kematian dalam model epidemik. Penerapan dari matriks peluang transisi adalah untuk memprediksi matriks waktu okupansi. Waktu okupansi adalah prediksi waktu yang diperlukan dari satu state ke state lain pada rantai Markov waktu kontinu [5] .
Pada tulisan ini ingin  dicari matriks peluang transisi dengan menggunakan trasformasi Laplace dan matriks eksponensial. Juga  ingin diketahui metode mana yang lebih mudah diterapkan pada matriks secara umum. Hasil yang diperoleh dari matriks peluang trasisi dapat digunakan untuk prediksi peluang baik jangka pendek maupun jangka panjang. Sehingga hasil ini dapat dijadikan pijakan untuk pengambilan keputusan tentang masalah yang dibicarakan.  Selain itu diterapkan pada pembentukan waktu okupansi dan matriks waktu okupansi.

## 2. Transformasi Laplace dan Matriks Eksponensial 2.1. Metode Diagonalisasi dan Matriks Generator a. Metode Diagonalisasi
Menurut  Fuller (1962) and Gantmacher (1960)  menyatakan bahwa  suatu matriks bujur sangkar A berukuran m x m dikatakan  dapat didiagonalkan ( diagonalizable ),  jika terdapat suatu matriks invertibel X dan matriks diagonal
] , , , [ 2 1 m diag λ λ λ  = D ,
sedemikian hingga
1 − = X D X A
Dalam hal ini, λ adalah nilai eigen dari matriks A , x j adalah kolom ke- j dari matriks X , dan y j adalah baris ke- j dari matriks X -1 .
Teorema 1.
Jika 1 − = X D X A maka . 1 1 ∑ = − = = m j j j n j n n y x λ X D X A (1)
Bukti:
Karena matriks A diagonalizable , maka berlaku 1 − = X D X A Sehingga
. ] [ ] ][ [ 1 1 1 1 − − − − = = X D X X D X X D X X D X A n n  Dengan menggunakan ] , , , [ 2 1 n m n n n diag λ λ λ  = D
maka didapat persamaan kedua dalam Persamaan (1).
b. Matriks Generator [ 5]
Matriks generator merupakan suatu matriks yang membangun atau membangkitkan proses stokastik rantai Markov waktu kontinu { } 0 ), ( ≥ t t X . Notasi dari matriks generator ditulis dengan
[ ] S j i ij q ∈ = , Q
dimana S adalah ruang state . Salah satu dari sifat matriks generator adalah jumlah dari semua elemen barisnya sama dengan nol, yaitu
S i q S j ij ∈ = ∑ ∈ , 0 .
Selanjutnya dibicarakan teorema tentang hubungan antara matriks peluang transisi dengan matriks generator.
Teorema 2 (Kulkarni, 2010). Misalkan P (t) merupakan suatu matriks peluang transisi dari rantai Markov waktu-kontinu (RMWK) dengan ruang- state { }  , 2 , 1 , 0 = S dan matriks generator Q . Maka P (t) adalah dapat diturunkan ( differentiable ) terhadap t dan memenuhi
), ( ) ( ' ) ( t t t dt d P Q P P = = (2)
dan
, ) ( ) ( ' ) ( Q P P P t t t dt d = = (3)
dengan syarat awal
P (0) = I , dimana I adalah  suatu  matriks  identitas  yang  berukuran  sesuai dengan materi yang dibicarakan.
Kadang dijumpai istilah yang digunakan untuk memberi  nama  Persamaan  (2)  adalah persamaan mundur, sedangkan Persamaan (3) disebut persamaan maju.

## 2.2. Transformasi Laplace [5]
Transformasi Laplace merupakan transformasi fungsi bijektif dari fungsi dengan domain himpunan nonnegatif terhadap himpunan bilangan kompleks. Definisinya sebagai berikut:
Misalkan ) , ( ) , 0 [ : ∞ −∞ → ∞ f . Maka transformasi Laplace dari fungsi tersebut adalah
, ) ( ) ( 0 * ∫ ∞ = − = x sx dx x f e s f
jika integral tersebut ada untuk suatu bilangan kompleks s dengan 0 ) ( Re > s , dimana Re( s ) adalah bagian riil dari bilangan kompleks s .
Untuk mengetahui peluang transisi ) ( t p ij ,  diperlukan  transformasi Laplace  yang didefinisikan sebagai berikut:
0 ) ( Re , ) ( ) ( 0 * > = ∫ ∞ − s dt t p e s p ij st ij .
Dengan mendefinisikan setiap elemen dari matriks peluang transisi P (t) ke dalam transformasi Laplace, maka didapat matriks peluang transisi baru
) ( * s P , yaitu [ ] S j i ij s p s ∈ = , * * ) ( ) ( P .
Berikut akan dibahas teorema yang dijadikan dasar untuk membentuk matriks peluang transisi P (t) menggunakan matriks peluang transisi ) ( * s P .

## Teorema 3.
Transformasi Laplace dari matriks peluang transisi P (t) diberikan dengan
[ ] 0 ) ( Re , ) ( 1 * > − = − s s s Q I P .
Bukti:
Dengan menggunakan sifat dari transformasi Laplace, diperoleh
. ) 0 ( ) ( ) ( 0 * ' ∫ ∞ − − = ij ij ij st p s sp dt t p e
Dalam bentuk matriks, hasil ini merupakan transformasi Laplace dari matriks turunan ) ( ' t P yang diberikan oleh I P − ) ( * s s .  Selanjutnya, dengan melakukan transformasi Laplace pada kedua sisi dari Persamaan 2 atau 3, dan  menggunakan syarat awal P (0) = I , didapat
Q P QP I P ) ( ) ( ) ( * * * s s s s = = − .
(4) Persamaan (4) ini dapat disederhanakan menjadi ( ) ( ) I Q I P P Q I = − = − s s s s ) ( ) ( * * .
Karena Q I − s mempunyai invers untuk 0 ) ( Re > s , maka teorema terbukti.

## 2.3. Matriks Eksponensial [5]
Didefinisikan eksponensial dari suatu matriks bujur sangkar A yang berukuran N x N sebagai berikut:
∑ ∞ = + = 1 ! i n A n A e I .
Dalam hal ini, e A merupakan matriks bujur sangkar berukuran N x N . Jika matriks A adalah matriks diagonal, yaitu
], , , , [ 2 1 N a a a diag  = A Maka [ ] . , , , 2 1 N a a a A e e e diag e  = .
Pada teorema di bawah ini akan dijumpai matriks generator Q yang dapat dibuat menjadi perkalian dari beberapa matriks dengan salah satu matriksnya merupakan matriks diagonal ( diagonalizable ).  Matriks Q dikatakan diagonalizable , jika  ada matriks diagonal D dan matriks invertibel X sedemikian hingga
Q = X D X -1 . (5)
Teorema 4.
Matriks peluang transisi dari RMWK mempunyai state -berhingga dengan matriks generator Q diberikan oleh
. 0 , ) ( ≥ = t e t t Q P (6)
Lebih lanjut, jika Q diagonalizable dan memenuhi Persamaan 5, maka
∑ = − = = N i i i t t y x e e t i 1 1 , ) ( λ X X P D (7)
dimana , ii i D = λ i x adalah kolom ke- i dari matriks X , dan i y adalah baris ke- i dari matriks X -1 .
Bukti: Berdasarkan pengertian dari matriks eksponensial diatas, berarti
0 , ! ) ( 1 ≥ + = ∑ ∞ = t n t e i n t Q I Q . (8)
Jika diturunkan terhadap variable t didapat
Q Q Q Q Q t t t e e e dt d = = .
Dengan demikian e Qt memenuhi persamaan maju dan persamaan  mundur. Karena ada solusi tunggal pada persamaan tersebut dalam hal ruang- state berhingga,  maka diperoleh Persamaan 6. Selanjutnya berdasarkan Teorema 1, dihasilkan bahwa
0 , 1 ≥ = − n n n X D X Q .
Dengan mengganti ke dalam Persamaan 8, dan mengalikan X pada sisi kiri dan X -1 pada sisi kanan, diperoleh
, 0 , ! ) ( 1 1 ≥       + = − ∞ = ∑ t n t e n n t X D I X Q
yang sesuai dengan Persamaan (7).  Sehingga berdasarkan Persamaan 1  maka  teorema terbukti.

## 2.4. Waktu Okupansi
[4, 5]
Misal { } 0 ), ( ≥ t t X merupakan RMWK pada ruang- state S yang mempunyai matriks generator Q . Jika ) ( x V j menyatakan lamanya waktu pada proses RMWK yang dilakukan dalam state j atas ] , 0 ( t . Maka 0 ) 0 ( = j V untuk semua S j ∈ . Didefinisikan
0 , , ), ) 0 ( / ) ( ( ) ( ≥ ∈ = = t S j i i X t V E t M j ij (9)
) ( t M ij disebut waktu okupansi dari state i ke state j selama waktu t . Hal ini, jika diperluas ditulis dalam bentuk matriks menjadi matriks waktu okupansi, yaitu
[ ] ) ( ) ( t M t ij = M
Berikut ini disajikan teorema tentang cara membuat matriks waktu okupansi.
Teorema 5.
Matriks waktu okupansi ) ( t M dapat dicari dengan cara:
0 , ) ( ) ( 0 ≥ = ∫ t du u t t P M (10)
dimana ) ( u P merupakan matriks peluang transisi fungsi dari u .
Bukti: Ambil S j ∈ . Misal , 1 ) ( = u Z jika j u X = ) ( , dan nol untuk yang lainnya. Maka
∫ = t j du u Z t V 0 ) ( ) ( .
Sehingga berdasarkan Persamaan (9), didapat
∫ ∫ ∫ ∫ = = = = = =       = = = = t t ij t t j ij du u p du i X j u X P du i X u Z E i X du u Z E i X t V E t M 0 0 0 0 ) ( ) ) 0 ( / ) ( ( ) ) 0 ( / ) ( ( ) 0 ( / ) ( ) ) 0 ( / ) ( ( ) (
Dengan menulis elemen ini ke dalam bentuk matriks didapat Persamaan (10), yaitu
0 , ) ( ) ( 0 ≥ = ∫ t du u t t P M .

## 3. Hasil dan Pembahasan
Berikut ini akan dibahas komputasi untuk memperoleh  matriks peluang transisi  baik menggunakan transformasi Laplace maupun matriks eksponensial.  Selanjutnya hasil matriks peluang transisi tersebut dipergunakan untuk membentuk matriks waktu okupansi.

## 3.1. Perhitungan menggunakan Transformasi Laplace
Komputasi dilakukan pada suatu mesin yang  mempunyai  dua- state } 1 , 0 { = S . Misalkan terdapat RMWK dua- state yang  mempunyai matriks generator  dan matriks identitas, masing-masing adalah
      − − = 2 , 0 2 , 0 1 1 Q dan       = 1 0 0 1 I .
Sehingga berdasarkan Teorema 3, dapat dibentuk matriks
      + + + =       + − − + = − 1 2 , 0 1 2 , 0 ) 2 , 1 ( 1 2 , 0 2 , 0 1 1 ) ( 1 * s s s s s s s P .
Oleh karena itu, masing-masing elemennya adalah
2 , 1 1 2 , 1 1 1 6 1 ) 2 , 1 ( 2 , 0 ) ( * 00 + + = + + = s s s s s s p , akibatnya t e t p 2 , 1 00 2 , 1 1 6 1 ) ( − + = . 2 , 1 1 2 , 1 1 1 2 , 1 1 ) 2 , 1 ( 1 ) ( * 01 + − = + = s s s s s p , akibatnya t e t p 2 , 1 01 2 , 1 1 2 , 1 1 ) ( − − = . 2 , 1 1 6 1 1 6 1 ) 2 , 1 ( 2 , 0 ) ( * 10 + − = + = s s s s s p , akibatnya t e t p 2 , 1 10 6 1 6 1 ) ( − − = . 2 , 1 1 6 1 1 2 , 1 1 ) 2 , 1 ( 1 ) ( * 11 + + = + + = s s s s s s p , akibatnya t e t p 2 , 1 11 6 1 2 , 1 1 ) ( − + = .
Akhirnya, didapat matriks peluang transisi
      = 11 10 01 00 (t) p p p p P (11)
Adapun gambarnya disajikan berikut ini [6] :
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 Waktu P el uang t rans is i Pii (t) Pio (t) Poo (t) Poi (t)
Gambar 1. Fungsi Peluang Transisi untuk Dua- State .
Jika dilakukan komputasi untuk t = 1, dihasilkan matriks peluang transisi
      = 8812 , 0 1188 , 0 5800 , 0 4200 , 0 ) 1 ( P .

## 3.2. Perhitungan menggunakan Matriks Eksponensial
Komputasi untuk suatu  mesin dengan dua- state } 1 , 0 { = S . Pandang RMWK dua- state dengan matriks generator
      − − = 2 , 0 2 , 0 1 1 Q .
Langkah awal matriks Q dibuat diagonalizable sedemikian hingga 1 − = X D X Q .
Jika diambil matriks
            − = 6 1 1 2 , 1 1 1
X , maka diperoleh         − = − 1 1 2 , 1 1 6 1 1 X .
Akibatnya dapat ditentukan matriks
      − = 2 , 1 0 0 0 D .
Jika digantikan ke Persamaan 7 dihasilkan
            − − +             =       = − − − 6 1 6 1 2 , 1 1 2 , 1 1 2 , 1 1 6 1 2 , 1 1 6 1 0 0 1 ) ( 2 , 1 1 2 , 1 t t e e t X X P .
Jika dilakukan komputasi untuk t = 1, didapat nilai-nilai peluang transisi:
418 , 0 2 , 1 1 6 1 ) 1 ( 2 , 1 00 = + = − e p , 582 , 0 2 , 1 1 2 , 1 1 ) 1 ( 2 , 1 01 = − = − e p , 116 , 0 6 1 6 1 ) 1 ( 2 , 1 10 = − = − e p dan 884 , 0 6 1 2 , 1 1 ) 1 ( 2 , 1 11 = + = − e p .
Jika ditulis menjadi matriks peluang transisi adalah
      = 8812 , 0 1188 , 0 5800 , 0 4200 , 0 ) 1 ( P
yang hasilnya sama dengan matriks peluang transisi yang diperoleh menggunakan transformasi Laplace.
Jika dilakukan komputasi  untuk beberapa nilai t pada fungsi peluang transisi diperoleh hasil [6] :
Tabel 1. Nilai Peluang Transisi untuk Beberapa Waktu Waktu (jam) Peluang transisi 1 6 12 24 00 p 0,4200 0,1706 0,1700 0,1700 01 p 0,5800 0,8294 0,8300 0,8300 10 p 0,1188 0,1699 0,1700 0,1700 11 p 0,8812 0,8301 0,8300 0,8300
Terlihat bahwa untuk waktu yang makin besar, nilai 00 p sama dengan nilai 10 p demikian pula nilai 01 p sama dengan nilai 11 p . Salah satu sifat dari matriks peluang transisi P (t) di atas adalah untuk
            = ∞ →
2 , 1 1 6 1 2 , 1 1 6 1 ) ( t Lim t P ,
dimana artinya pada jangka panjang atau kondisi steady-state , state 0 berpeluang 6 1 atau
0,17, sedangkan state 1 berpeluang 2 , 1 1 atau 0,83. Hal ini persis seperti terlihat pada sifat dari Gambar 1.
Untuk perluasan dari kasus diatas, dikembangkan untuk komputasi  pada suatu mesin dengan tiga- state } 2 , 1 , 0 { = S . Pandang RMWK tiga- state dengan matriks generator
          − − − = 6 , 0 6 , 0 0 1 3 , 1 3 , 0 0 1 1 Q
Langkah awal matriks Q harus dibuat diagonalizable sedemikian hingga 1 − = X D X Q .
Jika diambil matriks
          − − − − = 5774 , 0 2416 , 0 2890 , 0 5774 , 0 1136 , 0 6829 , 0 5774 , 0 9637 , 0 6709 , 0 X ,
maka dapat dihasilkan invernya, yaitu matriks
          − − − − = − 9731 , 0 5838 , 0 1752 , 0 0357 , 1 2922 , 0 7435 , 0 6503 , 0 9221 , 0 2718 , 0 1 X .
Akibatnya dapat ditentukan matriks diagonal
          − − = 0 0 0 0 8821 , 0 0 0 0 0179 , 2 D .
Jika digantikan ke Persamaan 7, dihasilkan matriks
1 8821 , 0 0179 , 2 1 0 0 0 0 0 0 ) ( − − −           = X X P t t e e t .
Sehingga diperoleh.
          +           − − − − +           − − − − = − − 5619 , 0 3371 , 0 1012 , 0 5619 , 0 3371 ,
0 1012 , 0 5619 , 0 3371 , 0 1012 , 0
2502 , 0 0706 , 0 1796 , 0 1177 , 0 0332 , 0 0845 , 0 9981 , 0 2816 ,
0 7165 , 0 1879 , 0 2665 , 0 0786 , 0 4441 , 0 6297 , 0 1856 , 0 4363 , 0 6186 , 0 1824 , 0 ) ( 8821 , 0 0179 , 2 t t e e t P
Berdasarkan matriks peluang transisi  di atas, maka terdapat  9 model komponennya yang dapat ditentukan. Demikian pula, untuk nilai t tertentu akan diperoleh nilai prediksi yang dicari.  Untuk nilai t yang makin besar menuju tidak terhingga didapat matriks peluang trasisi pada kedaan steady state , yaitu
          = ∞ →
5619 , 0 3371 , 0 1012 , 0 5619 , 0 3371 , 0 1012 , 0 5619 , 0 3371 , 0 1012 , 0 ) ( t Lim t P ,
yang mana artinya pada jangka panjang, state 0 berpeluang  0,1012, state 1 berpeluang 0,3371 dan state 2 berpeluang 0,5619.

## 3.3. Konstruksi Waktu Okupansi
Pembuatan dilakukan untuk mesin dengan dua- state } 1 , 0 { = S . Berdasarkan Persamaan 11, telah didapat matriks peluang transisi ) ( t P . Sehingga berdasarkan Persamaan 10 dapat dikonstruksi matriks waktu okupansi, yaitu
      = 11 10 01 00 ) ( M M M M t M , dengan [ ] , 1 694 , 0 17 , 0 ) ( 2 , 1 00 t e t t M − − + = [ ] , 1 694 , 0 83 , 0 ) ( 2 , 1 01 t e t t M − − − = [ ] , 1 139 , 0 17 , 0 ) ( 2 , 1 10 t e t t M − − − = [ ] , 1 139 , 0 83 , 0 ) ( 2 , 1 11 t e t t M − − + = untuk 0 ≥ t .
Fungsi dari elemen matriks waktu okupansi dapat digambarkan sebagai berikut [6] :
0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 Waktu W ak tu ok upans i Mii (t) Mio (t) Moo (t) Moi (t)
Gambar 2. Fungsi Ekspektasi Waktu Okupansi untuk Dua- State
Terlihat bahwa makin besar nilai t , makin besar nilai waktu okupansinya. Sehingga waktu okupansi  tidak mempunyai nilai tertentu (konstan) pada waktu steady  state .  Urutan kecepatan bertambahnya nilai waktu okupansi terhadap waktu adalah M 11 , M 01 , M 00 baru M 10 . Untuk pembuktian sampel beberapa nilai waktu ditabelkan di bawah ini [6] .
Tabel 2. Nilai Waktu Okupansi untuk Beberapa Waktu Waktu (jam) Waktu okupansi (jam) 1 6 12 24 M 00 0,6550 1,7135 2,7340 4,7740 M 01 0,3450 4,2865 9,2660 19,2260 M 10 0,0729 0,8811 1,9010 3,9410 M 11 0,9271 5,1189 10,0990 20,0590 Dengan cara yang sama untuk kasus tiga- state } 2 , 1 , 0 { = S akan  diperoeh hasil yang identik.

## 4. Kesimpulan
Berdasarkan pembahasan di atas hal-hal yang dapat disimpulkan adalah:
1. Untuk menentukan matriks peluang transisi dapat menggunakan transformasi Laplace dan matriks eksponensial, hasilnya akan sama.
2. Mencari matriks peluang transisi dengan  menggunakan transformasi Laplace, bergantung pada invers dari selisih antara matriks identitas dengan matriks generator.
3. Mencari matriks peluang transisi dengan  menggunakan matriks eksponensial, bergantung pada matriks generator yang diagonalizable .
4. Secara umum, metode transformasi Laplace lebih sulit dari pada metode matriks eksponensial.
5. Makin besar ukuran matriks generator, makin sulit menentukan matriks peluang transisinya, apabila menggunakan transformasi Laplace. Tetapi jika menggunakan metode matriks eksponensial ukuran matriks generator tidak menjadi masalah. Karena dalam mencari solusinya menggunakan program dari perangkat lunak MATLAB.
6. Untuk mengetahui ekspektasi waktu yang diperlukan dari satu state ke state lain menggunakan waktu okupansi. Waktu okupansi tidak mempunyai kondisi steady state .

## DAFTAR PUSTAKA
1. Eslahchi, C., and Movahedi, F., Calculation of transition probability in birth and death Markov process in the epidemic model, Mathematical and Computer Modelling , 2012, Volume 55, Issues 3 – 4: 810 – 815. URL: www.elsevier.com/locate/jspi.
2. Fuller, L.E., Basic Matrix Theory , Prentice Hall, Englewood Cliffs, NJ, 1962.
3. Gantmacher, F.R., Matrix Theory , Vols. I and II, Chelsea Publishing, NY, 1960.
4. Kurkani, V.G., Modeling, Analysis, Design, and Control of Stochastic Systems , Springer-Verlag, New York,1999.
5. Kulkarni, V.G., Modeling and Analysis of Stochastic Systems , Second Edition, Chapman & Hall/CRC, NY, 2010.
6. Moore, H., MATLAB for Engineers, Prentice Hall, New Jersey, 2007.
7. Ross, S.M., Stochastic Processes , Second Edition, John Wiley & Sons, Inc., New York, 1996.
8. Ross, S.M., Introduction to Probability Models , Sixth Edition, Academic Press, New York, 1997.
9. Tattar, P.N. and Vaman, H.J., Testing transition probability matrix of a multi- state model with cencored data, Lifetime  Data Analysis ,  2008, Volume 14, Issue 2: 216 – 230. URL: www.springer.com/search?facet-discipline=”statistics”.
10. Tattar, P.N. and Vaman, H.J., The k–Sample problem in a multi state model and testing transition probability matrices, Lifetime Data Analysis , 2014, Volume 20, Issue 3: 387 – 403. URL: www.springer.com/search?facet-discipline=”statistics”.
11. Winston, W.L., Operations Research: Applications and Algorithms , PWS-KENT Publishing Company, Boston, 1987.