Bayes təhlili

**Bayes inferensiyası** () statistik inferensiyanın bir üsuludur və burada bir hipotezin ehtimalı əvvəlki sübutlara əsaslanaraq Bayes teoremi vasitəsilə hesablanır və yeni məlumat əldə edildikcə yenilənir. Əsas etibarilə Bayes inferensiyası aprior paylanmadan istifadə edərək aposterior ehtimalları qiymətləndirir. Bayes inferensiyası statistikada, xüsusilə də riyazi statistikada mühüm bir texnikadır. Bayes yenilənməsi məlumat ardıcıllığının dinamik təhlilində xüsusi əhəmiyyət daşıyır. Bayes inferensiyası elm, mühəndislik, fəlsəfə, tibb, idman və hüquq daxil olmaqla geniş fəaliyyət sahələrində tətbiq olunmuşdur. Qərar nəzəriyyəsi fəlsəfəsində Bayes inferensiyası tez-tez “Bayes ehtimalı” adlandırılan subyektiv ehtimal anlayışı ilə sıx əlaqələndirilir.

## Bayes qaydasına giriş

### Formal izah

Bayes inferensiyası aposterior ehtimalı iki öncülün nəticəsi kimi əldə edir: aprior ehtimal və müşahidə olunan məlumatlar üçün statistik modeldən çıxarılan “ehtimal funksiyası”. Bayes inferensiyası aposterior ehtimalı Bayes teoreminə əsasən hesablayır:

P(H \mid E) = \frac{P(E \mid H) \cdot P(H)}{P(E)},

burada:

* H — ehtimalı məlumatlardan (aşağıda “sübut” adlandırılır) asılı olaraq dəyişə bilən istənilən *hipotez*dir. Çox vaxt rəqabət aparan bir neçə hipotez olur və məqsəd onların hansının daha ehtimallı olduğunu müəyyən etməkdir.
* P(H) — *[[aprior ehtimal]]*dır və E sübutları müşahidə olunmazdan *əvvəl* hipotez H-nin ehtimalını ifadə edir.
* E — *sübut*dur və aprior ehtimalın hesablanmasında istifadə olunmamış yeni məlumatlara uyğundur.
* P(H \mid E) — *[[aposterior ehtimal]]*dır, yəni E müşahidə edildikdən *sonra* 
* H-nin ehtimalı. Bu, axtardığımız əsas kəmiyyətdir.
* P(E \mid H) — H doğru olduğu halda E-nin müşahidə olunma ehtimalıdır və *[[ehtimal funksiyası|likelihood]]* adlanır. H sabit saxlanılmaqla E-nin funksiyası kimi götürüldükdə, bu funksiya sübutun verilmiş hipotezlə uyğunluğunu göstərir. Ehtimal sübutun funksiyasıdır, aposterior ehtimal isə hipotezin funksiyasıdır.
* P(E) — marjinal likelihood və ya “model sübutu” adlanır. Bu amil nəzərdən keçirilən bütün hipotezlər üçün eynidir və buna görə də hipotezlərin nisbi ehtimallarının müqayisəsinə təsir etmir.
* P(E) > 0 (əks halda 0/0 alınar).

H-nin müxtəlif qiymətləri üçün P(H\mid E)-nin dəyərinə yalnız surətdə olan P(H) və P(E\mid H) təsir göstərir; yəni hipotezin aposterior ehtimalı onun aprior ehtimalı (daxili inandırıcılığı) və yeni sübutlarla uyğunluğu ilə mütənasibdir.

\neg H (“H deyil”), yəni H-nin məntiqi inkarı, etibarlı hipotez olduqda Bayes qaydası aşağıdakı kimi yenidən yazıla bilər:

 \begin{align} P(H \mid E) &= \frac{P(E \mid H) P(H)}{P(E)} \\ \\ &= \frac{P(E \mid H) P(H)}{P(E \mid H) P(H) + P(E \mid \neg H) P(\neg H)} \\ \\ &= \frac{1}{1 + \left(\frac{1}{P(H)} - 1\right)\frac{P(E \mid \neg H)}{P(E \mid H)} } \end{align} 

çünki

 P(E) = P(E \mid H)P(H) + P(E \mid \neg H)P(\neg H) 

və

 P(H) + P(\neg H) = 1. 

Bu, aşağıdakı ifadəyə diqqəti yönəldir:

 \left(\tfrac{1}{P(H)} - 1\right)\tfrac{P(E \mid \neg H)}{P(E \mid H)}. 

Əgər bu ifadə təqribən 1-ə bərabərdirsə, onda sübut verildikdə hipotezin ehtimalı P(H\mid E) təxminən \tfrac{1}{2}-yə, yəni 50%-ə bərabərdir. Əgər bu termin çox kiçikdirsə (sıfra yaxın), onda P(H\mid E) 1-ə yaxın olur və hipotez kifayət qədər ehtimallı sayılır. Əgər termin çox böyükdürsə (1-dən xeyli böyük), hipotez sübutlara baxmayaraq ehtimalsızdır. Əgər hipotez sübutlar nəzərə alınmadan da ehtimalsızdırsa, onda P(H) kiçikdir (amma mütləq son dərəcə kiçik deyil) və \tfrac{1}{P(H)} 1-dən xeyli böyük olur; bu halda termin təqribən \tfrac{P(E \mid \neg H)}{P(E \mid H)\cdot P(H)} kimi ifadə oluna bilər və müvafiq ehtimallar birbaşa müqayisə edilə bilər.

Düsturu yadda saxlamağın sadə üsullarından biri vurma qaydasından istifadə etməkdir:

 P(E \cap H) = P(E \mid H)P(H) = P(H \mid E)P(E). 

### Bayes yenilənməsinə alternativlər
Bayes yenilənməsi geniş şəkildə istifadə olunur və hesablama baxımından əlverişlidir. Lakin o, rasional hesab edilə bilən yeganə yenilənmə qaydası deyildir.

İen Hakkinq qeyd etmişdir ki, ənənəvi “Dutch book” arqumentləri Bayes yenilənməsini konkret şəkildə tələb etmir: bu arqumentlər qeyri-Bayes yenilənmə qaydalarının da Dutch book-lardan yayınmasının mümkünlüyünü açıq saxlayır. Hacking yazır:
“Və nə Dutch book arqumenti, nə də şəxsi ehtimal yanaşmasının sübut arsenalındakı digər arqumentlər dinamik fərziyyəni tələb edir. Heç biri Bayesianizmi zəruri etmir. Buna görə də personalist Bayesçi olmaq üçün əlavə dinamik fərziyyə qəbul etməlidir. Doğrudur, ardıcıllıq naminə personalist təcrübədən öyrənmənin Bayes modelindən imtina edə bilər. Bu halda isə duz öz dadını itirər.”

Doğrudan da, Riçard Ceffri qaydasının nəşrindən sonra (burada Bayes qaydası sübutun özünün də ehtimalla qiymətləndirildiyi hallara tətbiq olunur) “ehtimal kinematikası” ədəbiyyatında müzakirə edildiyi kimi, Dutch book-lardan yayınan qeyri-Bayes yenilənmə qaydaları mövcuddur. Bayes yenilənməsini yeganə zəruri qayda kimi tələb etmək üçün lazım olan əlavə hipotezlər isə əhəmiyyətli, mürəkkəb və qənaətbəxş olmayan hesab edilmişdir.

## Qarşılıqlı istisna edən və tam olan imkanlar üzərində inferensiya
Əgər sübut eyni zamanda qarşılıqlı istisna edən və tam olan müddəalar toplusu üzrə inamı yeniləmək üçün istifadə edilirsə, Bayes inferensiyasını bu inam paylanmasına bütöv şəkildə təsir edən bir mexanizm kimi başa düşmək olar.

### Ümumi formulasiya

Tutaq ki, bir proses müstəqil və eyni paylanmaya malik hadisələr yaradır: E_n,\ n = 1, 2, 3, \ldots, lakin bu hadisələrin ehtimal paylanması naməlumdur. Hadisə məkanı \Omega bu proses barədə mövcud inam vəziyyətini təmsil etsin. Hər bir model M_m hadisəsi ilə ifadə olunur. Modelləri müəyyən etmək üçün P(E_n \mid M_m) şərti ehtimalları verilir. P(M_m) isə M_m-ə olan inam dərəcəsini ifadə edir. İlk inferensiya addımından əvvəl {P(M_m)} çoxluğu *ilkin aprior ehtimallar* toplusudur. Bu ehtimalların cəmi 1-ə bərabər olmalıdır, lakin başqa baxımdan ixtiyaridir.

Fərz edək ki, prosesin E \in {E_n} hadisəsini yaratdığı müşahidə olunur. Hər bir M \in {M_m} üçün aprior P(M) ehtimalı aposterior P(M \mid E) ehtimalına yenilənir. Bayes teoreminə görə:

 P(M \mid E) = \frac{P(E \mid M)}{\sum_m {P(E \mid M_m) P(M_m)}} \cdot P(M). 

Əlavə sübut müşahidə edildikcə bu prosedur təkrar oluna bilər.

### Çoxsaylı müşahidələr
Müstəqil və eyni paylanmaya malik müşahidələr ardıcıllığı üçün
\mathbf{E} = (e_1, \dots, e_n), induksiya yolu ilə göstərilə bilər ki, yuxarıdakı qaydanın təkrar-təkrar tətbiqi aşağıdakı ifadəyə ekvivalentdir:

 P(M \mid \mathbf{E}) = \frac{P(\mathbf{E} \mid M)}{\sum_m {P(\mathbf{E} \mid M_m) P(M_m)}} \cdot P(M), 

burada

 P(\mathbf{E} \mid M) = \prod_k {P(e_k \mid M)}. 

### Parametrik formulasiya: formal təsvirin motivasiyası
Modellər məkanını parametrləşdirməklə bütün modellərə olan inamı bir addımda yeniləmək mümkündür. Bu halda model məkanı üzrə inam paylanması parametr məkanı üzrə inam paylanması kimi şərh edilə bilər. Bu bölmədə paylanmalar fasiləsiz hesab olunur və ehtimal sıxlıqları ilə ifadə edilir; bu, ən çox rast gəlinən haldır. Lakin texnika diskret paylanmalara da eyni dərəcədə tətbiq oluna bilər.

\boldsymbol{\theta} vektoru parametr məkanını əhatə etsin. \boldsymbol{\theta} üzrə ilkin aprior paylanma
p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) olsun; burada \boldsymbol{\alpha} apriorun öz parametrləri, yəni *[[hiperparametr]]lər*dir.
\mathbf{E} = (e_1, \dots, e_n) müstəqil və eyni paylanmaya malik hadisə müşahidələri ardıcıllığı olsun və bütün e_i-lər bəzi \boldsymbol{\theta} üçün p(e \mid \boldsymbol{\theta}) paylanmasına malik olsun. Bayes teoremi tətbiq edilərək \boldsymbol{\theta} üzrə aposterior paylanma tapılır:

 \begin{align} p(\boldsymbol{\theta} \mid \mathbf{E}, \boldsymbol{\alpha}) &= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{p(\mathbf{E} \mid \boldsymbol{\alpha})} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \\ &= \frac{p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})}{\int p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha})\, p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}) \, d\boldsymbol{\theta}} \cdot p(\boldsymbol{\theta} \mid \boldsymbol{\alpha}), \end{align} 

burada

 p(\mathbf{E} \mid \boldsymbol{\theta}, \boldsymbol{\alpha}) = \prod_k p(e_k \mid \boldsymbol{\theta}). 

## Tarixi

*Bayesçi* (Bayesian) termini ehtimal nəzəriyyəsində naməlum bir hadisə üçün ehtimal sərhədlərinin müəyyən edilə biləcəyini sübut etmiş Thomas Bayesə (1701–1761) istinad edir. Lakin bu gün Bayes teoremi kimi tanınan anlayışı (Prinsip VI kimi) formalaşdıran və onu səma mexanikası, tibbi statistika, etibarlılıq və məhkəmə hüququ sahələrində tətbiq edən şəxs Pierre-Simon Laplace (1749–1827) olmuşdur.

Laplasın yetərsiz səbəb prinsipinə əsaslanan vahid prior ehtimallardan istifadə edən erkən Bayesçi nəticəçıxarma “inverse probability” adlandırılmışdır. Bu termin müşahidələrdən parametrlərə, yaxud nəticələrdən səbəblərə doğru geriyə istiqamətli induktiv mülahizəni ifadə edir. 1920-ci illərdən sonra “əks ehtimal” anlayışı əsasən tezlikçi statistika (frequentist statistics) kimi tanınan metodlar toplusu tərəfindən sıxışdırılmışdır.

XX əsrdə Laplasın ideyaları Bayesçi praktikada iki fərqli istiqamətdə inkişaf etdirilmiş və nəticədə *obyektiv* və *subyektiv* cərəyanlar formalaşmışdır. Obyektiv və ya “qeyri-informativ” cərəyanda statistik təhlil yalnız qəbul edilən modeldən, təhlil olunan məlumatlardan və priorun təyin edilməsi metodundan asılıdır; bu metod isə müxtəlif obyektiv Bayesçi tədqiqatçılar arasında fərqlənə bilər. Subyektiv və ya “informativ” cərəyanda isə priorun müəyyən edilməsi inanclara əsaslanır; bu inanclar ekspert biliklərini, əvvəlki tədqiqatların nəticələrini və digər məlumat mənbələrini ümumiləşdirə bilər.

1980-ci illərdə Bayesçi metodların tədqiqi və tətbiqində kəskin artım müşahidə olunmuşdur. Bu artım əsasən Markov zənciri Monte Karlo metodlarının kəşfi ilə əlaqələndirilir; sözügedən metodlar bir çox hesablama çətinliklərini aradan qaldırmış və qeyri-standart, mürəkkəb tətbiqlərə marağı artırmışdır. Bayesçi tədqiqatların artmasına baxmayaraq, ali məktəblərdə statistik tədris hələ də əsasən tezlikçi statistikaya söykənir. Bununla belə, Bayesçi metodlar geniş şəkildə qəbul edilir və tətbiq olunur; məsələn, maşın öyrənməsi sahəsində bu metodlardan fəal istifadə edilir.

## İstinadlar

### Mənbə

* Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). *Parameter Estimation and Inverse Problems*, Second Edition, Elsevier. , 
* 
* Box, G.&nbsp;E.&nbsp;P. and Tiao, G.&nbsp;C. (1973). *Bayesian Inference in Statistical Analysis*, Wiley, 
* 
* 
* Jaynes E.&nbsp;T. (2003) *Probability Theory: The Logic of Science*, CUP.  (Link to Fragmentary Edition of March 1996).
* 
* 

## Əlavə ədəbiyyat
* For a full report on the history of Bayesian statistics and the debates with frequentists approaches, read 
* 

### İbtidai
The following books are listed in ascending order of probabilistic sophistication:
* Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis",   Download first chapter here, Sebtel Press, England.
* 
* 
* 
*
* Bolstad, William M. (2007) *Introduction to Bayesian Statistics*: Second Edition, John Wiley 
* Updated classic textbook. Bayesian theory clearly presented.
* Lee, Peter M. *Bayesian Statistics: An Introduction*. Fourth Edition (2012), John Wiley 
* 
* 

### Orta və ya qabaqcıl
* 
*
* Morris H. DeGroot, *Optimal Statistical Decisions*. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) .
* 
* Jaynes, E. T. (1998). ''Probability Theory: The Logic of Science''.
* O'Hagan, A. and Forster, J. (2003). *Kendall's Advanced Theory of Statistics*, Volume 2B: *Bayesian Inference*. Arnold, New York. .
* 
* Pearl, Judea. (1988). *Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference*, San Mateo, CA: Morgan Kaufmann.
* Pierre Bessière et al. (2013). "Bayesian Programming". CRC Press. 
* Francisco J. Samaniego (2010). "A Comparison of the Bayesian and Frequentist Approaches to Estimation". Springer. New York,