|  |
| --- |
| İstatistik dizisinin bir parçası |
| Olasılık teorisi |
|  |
| * Olasılık
	+ Aksiyomlar
* Determinizm
	+ Sistem
* Belirlenimsizlik
* Rastgelelik
 |
| * Olasılık uzayı
* Örnek uzayı
* Olay
	+ Birlikte kapsayıcı olaylar
	+ Temel olay
	+ Karşılıklı dışarlayan
	+ Sonuç
	+ Tek nesne
* Deney
	+ Bernoulli deneyi
* Olasılık dağılımı
	+ Bernoulli dağılımı
	+ Binom dağılımı
	+ Normal dağılım
* Olasılık ölçümü
* Rassal değişken
	+ Bernoulli denemesi
	+ Sürekli veya kesikli
	+ Beklenen değer
	+ Markov zinciri
	+ Gözlemlenen değer
	+ Rastgele yürüyüş
	+ Stokastik süreç
 |
| * Tümleyen olay
* Ortak olasılık
* Marjinal olasılık
* Koşullu olasılık
 |
| * Bağımsızlık
* Koşullu bağımsızlık
* Toplam olasılık yasası
* Büyük sayılar yasası
* Bayes teoremi
* Boole eşitsizliği
 |
| * Venn şeması
* Ağaç şeması
 |
| * g
* t
* d
 |

Matematikte, **Markov Zinciri** (Andrey Markov'un adına atfen), Markov özelliğine sahip bir stokastik süreçtir. Markov özelliğine sahip olmak, *mevcut durum verildiğinde*, gelecek durumların geçmiş durumlardan bağımsız olması anlamına gelir. Bir başka deyişle, mevcut durumun açıklaması, sürecin gelecekteki evrimini etkileyebilecek tüm bilgiyi kapsar. Gelecek durumlara belirli bir şekilde değil, olasılıksal bir süreçle ulaşılacaktır.

Her bir anda sistem belirli bir olasılık dağılımına bağlı olarak kendi durumunundan başka bir duruma geçebilir yahut aynı durumda kalabilir. Durumda olan değişiklikler *geçiş* olarak bilinir ve çeşitli durum değişmeleriyle ilişkili olasılıklar da *geçiş olasılıkları* olarak adlandırılır.

Markov zincirine bir örnek basit rastgele yürüyüş olur. *Basit rastgele yürüyüş* için durum uzayı bir gösterim üstünde bir grup köşeler halindedir. Geçiş aşamaları ise (yürüyüşün geçmişinde ne olmuş olursa olsun) cari köşeden herhangi bir komşu köşeye gitmeyi kapsar. Cari köşeden herhangi bir komşu köşeye gitme olasılığı hep aynı olup birbirine eşittir.

Tanımı
------

*Markov zincir* Markov özelliğini taşıyan, yani mevcut durum verilmiş olursa geçmiş ve gelecek durumların bağımsız olduğu, ardı ardına gelen, *X*1, *X*2, *X*3, ... ile ifade edilen, bir seri rassal değişkendir. Matematiksel biçimle

{\displaystyle \Pr(X\_{n+1}=x|X\_{n}=x\_{n},\ldots ,X\_{1}=x\_{1})=\Pr(X\_{n+1}=x|X\_{n}=x\_{n}).\,}
*X**i*'in mümkün değerleri, *S* olarak ifade edilen ve zincirin *durum uzayı* adı verilen sayılabilir bir set oluşturur.

Çok kere Markov zincirleri bir yönlendirilmiş gösterim ile tanımlanmaktadır ve bu gösterimde kenar doğrular bir durumdan diğer bir duruma geçiş olasılıkları ile tanıtılmaktadır.

  

### Çeşitlemeleri

Sürekli-zaman Markov sürecinin sürekli bir endeksi bulunur.

*Zaman içinde homojen Markov zincirleri* zamana göre homojen olan geçiş olasılıkları bulunan Markov zincirleridir ve tüm *n* değerleri için

{\displaystyle \Pr(X\_{n+1}=x|X\_{n}=y)=\Pr(X\_{n}=x|X\_{n-1}=y)\,}
olan süreçlerdir.

*m* sonlu bir sayı ise, bir  ***m* dereceli bir Markov zinciri** (yani *m* bellekli bir Markov zinciri) için tüm *n* değerleri için şu ifadeler verilebilir:

{\displaystyle \Pr(X\_{n}=x\_{n}|X\_{n-1}=x\_{n-1},X\_{n-2}=x\_{n-2},\dots ,X\_{1}=x\_{1})}
{\displaystyle =\Pr(X\_{n}=x\_{n}|X\_{n-1}=x\_{n-1},X\_{n-2}=x\_{n-2},\dots ,X\_{n-m}=x\_{n-m})}
'Klasik' Markov özelliği olan (*Xn*)den yeni bir (*Yn*) zincirinin şöyle kurulması mümkündür: *Yn* sıralamalı m-boyutlu *X* değerlerinden şöyle kurulsun: 

*Yn* = (*Xn*, *X**n*-1, ... *X**n*-*m*+1)
O zaman *Yn*, durum uzayı *Sm* olan ve klasik Markov özelliği bulunan bir Markov zinciri olur.

### Örnek

Markov zincirlerinin özellikleri
--------------------------------

### İndirgenebilirlik

### Dönemsellik

  

### Tekrarlama

Eğer *i* durumdan başladığımız bilindiği halde, *i* durumuna hiçbir zaman dönme imkânı yaratmayan bir sıfıra eşit olamayan olasılık bulunuyorsa *i* durumu **geçiş** durum olarak nitelendirilir. Daha matematik biçimle ve notasyonla bir rassal değişken olan *Ti* *i* durumuna ilk geri dönüş zamanı (*vurma zamanı') olsun; yani*

{\displaystyle T\_{i}=\inf\{n:X\_{n}=i|X\_{0}=i\}}
Bu halde *i* durumu geçişli olması için ancak ve ancak

{\displaystyle \Pr(T\_{i}={\infty })>0.}
olmalıdır. 
Eğer bir durum *i* geçişli değilse (yani 1 olasılıkla bir sonlu olan vurma zamanına sahipse), o halde *i* durumu *yinelenen* veya *ısrarlı* durum olarak adlandırılır. Vurma zamanı sonlu olmakla beraber bir sonlu beklenen değeri bulunması gerekmez. *Mi* beklenen geri dönüş zamanı, yani

{\displaystyle M\_{i}=E[T\_{i}].\,}
olsun. O halde eğer *Mi* sonlu ise *i* durumu da **pozitif yinelenen** olur; aksi halde *i* durumu **sıfır yinelenen** olacaktır; bu durumlara aynı sırayla **sıfır olmayan ısrarlı** veya **sıfır ısrarlı** durum adları da verilir.

Bir durumun *yinelenen* olması ancak ve sadece ancak

{\displaystyle \sum \_{n=0}^{\infty }p\_{ii}^{(n)}=\infty }
ifadesi gerçekse ortaya çıkacağı ispatlanamıştır.

Eger durum *i* yi girdikten sonra hiçbir zaman o durumdan çıkmak mümkün değilse, *i* durumu **yutan** durum olarak adlandırılır. Bu halde *i* durumu *yutan* durum olması için ancak ve sadece ancak şu koşulu sağlaması gerekir;

{\displaystyle p\_{ii}=1} and {\displaystyle p\_{ij}=0} for {\displaystyle i\not =j.}
### Ergodiklik

P geçiş matrisinde tüm durumlar birbirleri arasında geçiş sağlayabiliyorsa bu zincire ergodik markov zinciri denir.

| 0 | 1 | 0 | 0 |
| --- | --- | --- | --- |
| 0 | 0 | 1 | 0 |
| 0 | 0 | 0 | 1 |
| 1 | 0 | 0 | 0 |

üstteki P matrisi ergodik bir markov zinciridir.

| 0 | 1 | 0 | 0 |
| --- | --- | --- | --- |
| 0 | 0 | 1 | 0 |
| 0 | 1 | 0 | 0 |
| 1 | 0 | 0 | 0 |

üstteki P matrisi ise ergodik bir markov zinciri değildir. Sebebi ise 4. duruma hiçbir şekilde varılamamaktadır.

Sonlu durum uzayında Markov zincirleri
--------------------------------------

Tersinebilir Markov zincirleri
------------------------------

Bernoulli şeması
----------------

Genel durum uzayında Markov zincirleri
--------------------------------------

Uygulamalar
-----------

### Fizik

### Sınama

### Kuyruk kuramı

### İnternet uygulamaları

Google'in kullandığı internet sayfalarının PageRank'i Markov zinciri ile tanımlanmaktadır. Markov zincirinde durağan dağılımda tüm bilinen internet sayfaları arasından {\displaystyle i} sayfasında bulunma olasılığıdır. Eğer {\displaystyle N} bilinen internet sayfaları ise ve {\displaystyle i} sayfası {\displaystyle ki} bağlantısına sahip ise, o zaman bağlantılı olduğu tüm sayfalar için {\displaystyle {\frac {1-q}{ki}}+{\frac {q}{N}}} ve bağlantısı olmadığı tüm sayfalar için {\displaystyle {\frac {q}{N}}} geçiş olasılığına sahiptir. {\displaystyle q} parametresi yaklaşık 0.15 olarak alınmıştır.

Markov modelleri aynı zamanda kullanıcıların internet gezinti davranışlarını analiz etmek için de kullanılmıştır. Bir kullanıcının bir internet sayfasından web bağlantısı ile geçişi, birincil ya da ikincil Markov modelleri ile modellenebilir ve gelecekteki hareketleri öngörmede ve dolayısıyla internet sayfasını kullanıcı için kişiselleştirme de kullanılabilir.

### İstatistik

### İktisat

### Matematiksel biyoloji

### Müzik

### Beyzbol

### Markov parodi üreticileri

Tarihçe
-------

Ayrıca bakınız
--------------

* Gizli Markov modeli
* Markov zincirleri için örnekler
* Markov süreci
* Markov zinciri ile Monte Karlo
* Yarı-Markov süreci
* Değişken-dereceli Markov model
* Markov karar süreci
* Sonlu tipin kayması
* Faz-tipi dağılım
* Zaman karışımlı Markov zincir
* Kuantum Markov zinciri
* Markov şebekeleri
* İnanç yayılması
* Faktör gösterimi
* Yenileme dönem yoğunluk entropisi
* Sırasal analiz

Kaynakça
--------

1. ↑  ABD patent 6.285.999

* A.A. Markov. "Rasprostranenie zakona bol'shih chisel na velichiny, zavisyaschie drug ot druga". *Izvestiya Fiziko-matematicheskogo obschestva pri Kazanskom universitete*, 2-ya seriya, tom 15, pp 135–156, 1906.
* A.A. Markov. "Extension of the limit theorems of probability theory to a sum of variables connected in a chain". Yeni basım Appendiks B: R. Howard. *Dynamic Probabilistic Systems, volume 1: Markov Chains*. John Wiley and Sons, 1971.
* Classical Text in Translation: A. A. Markov, An Example of Statistical Investigation of the Text Eugene Onegin Concerning the Connection of Samples in Chains, trans. David Link. Science in Context 19.4 (2006): 591-600. Online:
* Leo Breiman. *Probability*. Original edition published by Addison-Wesley, 1968; reprinted by Society for Industrial and Applied Mathematics, 1992. ISBN 0-89871-296-3. *(See Chapter 7.)*
* J.L. Doob. *Stochastic Processes*. New York: John Wiley and Sons, 1953. ISBN 0-471-52369-0.
* S. P. Meyn and R. L. Tweedie. *Markov Chains and Stochastic Stability*. London: Springer-Verlag, 1993. ISBN 0-387-19832-6. online: . Second edition to appear, Cambridge University Press, 2009.
* S. P. Meyn. *Control Techniques for Complex Networks*. Cambridge University Press, 2007. ISBN 9780521884419. Appendix contains abridged Meyn & Tweedie. online:
* Booth, Taylor L. (1967). *Sequential Machines and Automata Theory* (1.1 yayıncı = John Wiley and Sons, Inc. bas.). New York. Library of Congress Card Catalog Number 67-25924.  Extensive, wide-ranging book meant for specialists, written for both theoretical computer scientists as well as electrical engineers. With detailed explanations of state minimization techniques, FSMs, Turing machines, Markov processes, and undecidability. Excellent treatment of Markov processes pp. 449ff. Discusses Z-transforms, D transforms in their context.
* Kemeny, John G.; Mirkil, Hazleton; Snell, J. Laurie; Thompson, Gerald L. (1959). *Finite Mathematical Structures* (1.1 yayıncı = Prentice-Hall, Inc. bas.). Englewood Cliffs, N.J. Library of Congress Card Catalog Number 59-12841.  Classical text. cf Chapter 6 *Finite Markov Chains* pp. 384ff.

Dış bağlantılar
---------------

* (pdf) Markov Chains chapter in American Mathematical Society's introductory probability book 22 Mayıs 2008 tarihinde Wayback Machine sitesinde arşivlendi.
* Generates random parodies in the style of another body of text using a Markov chain algorithm 4 Haziran 2008 tarihinde Wayback Machine sitesinde arşivlendi.
* A generator that uses Markov Chains to create random words 9 Mayıs 2008 tarihinde Wayback Machine sitesinde arşivlendi.
* Markov Chains
* Markov zinciri, PlanetMath.org.
* Chapter 5: Markov Chain Models
* Generating Text *(About generating random text using a Markov chain.)*
* The World's Largest Matrix Computation 9 Mayıs 2008 tarihinde Wayback Machine sitesinde arşivlendi. *(Google's PageRank as the stationary distribution of a random walk through the Web.)*
* Dissociated Press20 Mayıs 2012 tarihinde Wayback Machine sitesinde arşivlendi. in Emacs approximates a Markov process
* Markov Chain Example
* Markov Chains for Search Engines
* Steganography proof-of-concept using Markov Chains.
* nth order Markov Chain implementation in Ruby 13 Mayıs 2008 tarihinde Wayback Machine sitesinde arşivlendi.
* Baseball Run Modeler using Markov Chains 27 Mart 2008 tarihinde Wayback Machine sitesinde arşivlendi.
* Theory of Markov chains in baseball9 Aralık 2007 tarihinde Wayback Machine sitesinde arşivlendi.
* Sequential analysis software for generating visual representations of probability models


|  |  |
| --- | --- |
| Otorite kontrolü Bunu Vikiveri'de düzenleyin | 
* BNE: XX540042
* BNF: cb11932425d (data)
* GND: 4134948-9
* LCCN: sh85081369
* NLI: 987007553386405171

 |