# Bayes təhlili

**Bayes inferensiyası** (ing. Bayesian inference) statistik inferensiyanın bir üsuludur və burada bir hipotezin ehtimalı əvvəlki sübutlara əsaslanaraq Bayes teoremi vasitəsilə hesablanır və yeni məlumat əldə edildikcə yenilənir. Əsas etibarilə Bayes inferensiyası aprior paylanmadan istifadə edərək aposterior ehtimalları qiymətləndirir. Bayes inferensiyası statistikada, xüsusilə də riyazi statistikada mühüm bir texnikadır. Bayes yenilənməsi məlumat ardıcıllığının dinamik təhlilində xüsusi əhəmiyyət daşıyır. Bayes inferensiyası elm, mühəndislik, fəlsəfə, tibb, idman və hüquq daxil olmaqla geniş fəaliyyət sahələrində tətbiq olunmuşdur. Qərar nəzəriyyəsi fəlsəfəsində Bayes inferensiyası tez-tez “Bayes ehtimalı” adlandırılan subyektiv ehtimal anlayışı ilə sıx əlaqələndirilir.

## Bayes qaydasına giriş

Bayes teoreminin həndəsi vizuallaşdırılması. Cədvəldə 2, 3, 6 və 9 qiymətləri müvafiq şərt və hallar üçün nisbi çəkiləri göstərir. FiQurlar hər bir metrikdə iştirak edən cədvəl xanalarını ifadə edir; ehtimal isə kölgələnmiş sahənin payı kimi göstərilir. Bu, WIKINIUM\_MATH\_PH\_0 , yəni WIKINIUM\_MATH\_PH\_2 olduğunu nümayiş etdirir. Oxşar məntiqdən istifadə etməklə WIKINIUM\_MATH\_PH\_4 və s. göstərilə bilər.
### Formal izah

Kontingensiya cədvəli| Hipotez Sübut | Hipotezi ödəyir WIKINIUM\_MATH\_PH\_6
 | Hipotezi pozur Şablon:Tmath |  |  Cəm |
| --- | --- | --- | --- | --- |
| Sübut var WIKINIUM\_MATH\_PH\_7
 |  WIKINIUM\_MATH\_PH\_8 WIKINIUM\_MATH\_PH\_10  |  WIKINIUM\_MATH\_PH\_12 WIKINIUM\_MATH\_PH\_14  | Şablon:Tmath |
| Sübut yoxdur Şablon:Tmath |  WIKINIUM\_MATH\_PH\_16 WIKINIUM\_MATH\_PH\_18  |  WIKINIUM\_MATH\_PH\_20 WIKINIUM\_MATH\_PH\_22  |  WIKINIUM\_MATH\_PH\_24 = WIKINIUM\_MATH\_PH\_26  |
|  |
| Cəm |    Şablon:Tmath |  WIKINIUM\_MATH\_PH\_28  | 1 |

Bayes inferensiyası aposterior ehtimalı iki öncülün nəticəsi kimi əldə edir: aprior ehtimal və müşahidə olunan məlumatlar üçün statistik modeldən çıxarılan “ehtimal funksiyası”. Bayes inferensiyası aposterior ehtimalı Bayes teoreminə əsasən hesablayır:

 WIKINIUM\_MATH\_PH\_30

burada:

* WIKINIUM\_MATH\_PH\_32 — ehtimalı məlumatlardan (aşağıda “sübut” adlandırılır) asılı olaraq dəyişə bilən istənilən *hipotez*dir. Çox vaxt rəqabət aparan bir neçə hipotez olur və məqsəd onların hansının daha ehtimallı olduğunu müəyyən etməkdir.
* WIKINIUM\_MATH\_PH\_34 — *aprior ehtimal*dır və WIKINIUM\_MATH\_PH\_36 sübutları müşahidə olunmazdan *əvvəl* hipotez WIKINIUM\_MATH\_PH\_38 -nin ehtimalını ifadə edir.
* WIKINIUM\_MATH\_PH\_40 — *sübut*dur və aprior ehtimalın hesablanmasında istifadə olunmamış yeni məlumatlara uyğundur.
* WIKINIUM\_MATH\_PH\_42 — *aposterior ehtimal*dır, yəni WIKINIUM\_MATH\_PH\_44 müşahidə edildikdən *sonra*
* WIKINIUM\_MATH\_PH\_46 -nin ehtimalı. Bu, axtardığımız əsas kəmiyyətdir.
* WIKINIUM\_MATH\_PH\_48 — WIKINIUM\_MATH\_PH\_50 doğru olduğu halda WIKINIUM\_MATH\_PH\_52 -nin müşahidə olunma ehtimalıdır və *likelihood* adlanır. WIKINIUM\_MATH\_PH\_54 sabit saxlanılmaqla WIKINIUM\_MATH\_PH\_56 -nin funksiyası kimi götürüldükdə, bu funksiya sübutun verilmiş hipotezlə uyğunluğunu göstərir. Ehtimal sübutun funksiyasıdır, aposterior ehtimal isə hipotezin funksiyasıdır.
* WIKINIUM\_MATH\_PH\_58 — marjinal likelihood və ya “model sübutu” adlanır. Bu amil nəzərdən keçirilən bütün hipotezlər üçün eynidir və buna görə də hipotezlərin nisbi ehtimallarının müqayisəsinə təsir etmir.
* WIKINIUM\_MATH\_PH\_60 (əks halda WIKINIUM\_MATH\_PH\_62 alınar).

 WIKINIUM\_MATH\_PH\_64 -nin müxtəlif qiymətləri üçün WIKINIUM\_MATH\_PH\_66 -nin dəyərinə yalnız surətdə olan WIKINIUM\_MATH\_PH\_68 və WIKINIUM\_MATH\_PH\_70 təsir göstərir – ; yəni hipotezin aposterior ehtimalı onun aprior ehtimalı (daxili inandırıcılığı) və yeni sübutlarla uyğunluğu ilə mütənasibdir.

 WIKINIUM\_MATH\_PH\_72 (“ WIKINIUM\_MATH\_PH\_74 deyil”), yəni WIKINIUM\_MATH\_PH\_76 -nin məntiqi inkarı, etibarlı hipotez olduqda Bayes qaydası aşağıdakı kimi yenidən yazıla bilər:

 WIKINIUM\_MATH\_PH\_78

çünki

 WIKINIUM\_MATH\_PH\_80

və

 WIKINIUM\_MATH\_PH\_82

Bu, aşağıdakı ifadəyə diqqəti yönəldir:

 WIKINIUM\_MATH\_PH\_84

Əgər bu ifadə təqribən 1-ə bərabərdirsə, onda sübut verildikdə hipotezin ehtimalı WIKINIUM\_MATH\_PH\_86 təxminən WIKINIUM\_MATH\_PH\_88 -yə, yəni 50%-ə bərabərdir. Əgər bu termin çox kiçikdirsə (sıfra yaxın), onda WIKINIUM\_MATH\_PH\_90 1-ə yaxın olur və hipotez kifayət qədər ehtimallı sayılır. Əgər termin çox böyükdürsə (1-dən xeyli böyük), hipotez sübutlara baxmayaraq ehtimalsızdır. Əgər hipotez sübutlar nəzərə alınmadan da ehtimalsızdırsa, onda WIKINIUM\_MATH\_PH\_92 kiçikdir (amma mütləq son dərəcə kiçik deyil) və WIKINIUM\_MATH\_PH\_94 1-dən xeyli böyük olur; bu halda termin təqribən WIKINIUM\_MATH\_PH\_96 kimi ifadə oluna bilər və müvafiq ehtimallar birbaşa müqayisə edilə bilər.

Düsturu yadda saxlamağın sadə üsullarından biri vurma qaydasından istifadə etməkdir:

 WIKINIUM\_MATH\_PH\_98

### Bayes yenilənməsinə alternativlər

Bayes yenilənməsi geniş şəkildə istifadə olunur və hesablama baxımından əlverişlidir. Lakin o, rasional hesab edilə bilən yeganə yenilənmə qaydası deyildir.

İen Hakkinq qeyd etmişdir ki, ənənəvi “Dutch book” arqumentləri Bayes yenilənməsini konkret şəkildə tələb etmir: bu arqumentlər qeyri-Bayes yenilənmə qaydalarının da Dutch book-lardan yayınmasının mümkünlüyünü açıq saxlayır. Hacking yazır:
“Və nə Dutch book arqumenti, nə də şəxsi ehtimal yanaşmasının sübut arsenalındakı digər arqumentlər dinamik fərziyyəni tələb edir. Heç biri Bayesianizmi zəruri etmir. Buna görə də personalist Bayesçi olmaq üçün əlavə dinamik fərziyyə qəbul etməlidir. Doğrudur, ardıcıllıq naminə personalist təcrübədən öyrənmənin Bayes modelindən imtina edə bilər. Bu halda isə duz öz dadını itirər.”

Doğrudan da, Riçard Ceffri qaydasının nəşrindən sonra (burada Bayes qaydası sübutun özünün də ehtimalla qiymətləndirildiyi hallara tətbiq olunur) “ehtimal kinematikası” ədəbiyyatında müzakirə edildiyi kimi, Dutch book-lardan yayınan qeyri-Bayes yenilənmə qaydaları mövcuddur. Bayes yenilənməsini yeganə zəruri qayda kimi tələb etmək üçün lazım olan əlavə hipotezlər isə əhəmiyyətli, mürəkkəb və qənaətbəxş olmayan hesab edilmişdir.

## Qarşılıqlı istisna edən və tam olan imkanlar üzərində inferensiya

Əgər sübut eyni zamanda qarşılıqlı istisna edən və tam olan müddəalar toplusu üzrə inamı yeniləmək üçün istifadə edilirsə, Bayes inferensiyasını bu inam paylanmasına bütöv şəkildə təsir edən bir mexanizm kimi başa düşmək olar.

### Ümumi formulasiya

Bayes inferensiyasının ümumi formulyasiyasında hadisə məkanı WIKINIUM\_MATH\_PH\_100 -nı göstərən diaqram. Bu diaqram diskret modellər və hadisələri göstərsə də, fasiləsiz hal ehtimal sıxlıqları vasitəsilə oxşar şəkildə təsəvvür edilə bilər.
Tutaq ki, bir proses müstəqil və eyni paylanmaya malik hadisələr yaradır: WIKINIUM\_MATH\_PH\_102 , lakin bu hadisələrin ehtimal paylanması naməlumdur. Hadisə məkanı WIKINIUM\_MATH\_PH\_104 bu proses barədə mövcud inam vəziyyətini təmsil etsin. Hər bir model WIKINIUM\_MATH\_PH\_106 hadisəsi ilə ifadə olunur. Modelləri müəyyən etmək üçün WIKINIUM\_MATH\_PH\_108 şərti ehtimalları verilir. WIKINIUM\_MATH\_PH\_110 isə WIKINIUM\_MATH\_PH\_112 -ə olan inam dərəcəsini ifadə edir. İlk inferensiya addımından əvvəl WIKINIUM\_MATH\_PH\_114 çoxluğu *ilkin aprior ehtimallar* toplusudur. Bu ehtimalların cəmi 1-ə bərabər olmalıdır, lakin başqa baxımdan ixtiyaridir.

Fərz edək ki, prosesin WIKINIUM\_MATH\_PH\_116 hadisəsini yaratdığı müşahidə olunur. Hər bir WIKINIUM\_MATH\_PH\_118 üçün aprior WIKINIUM\_MATH\_PH\_120 ehtimalı aposterior WIKINIUM\_MATH\_PH\_122 ehtimalına yenilənir. Bayes teoreminə görə:

 WIKINIUM\_MATH\_PH\_124

Əlavə sübut müşahidə edildikcə bu prosedur təkrar oluna bilər.

### Çoxsaylı müşahidələr

Müstəqil və eyni paylanmaya malik müşahidələr ardıcıllığı üçün
 WIKINIUM\_MATH\_PH\_126 , induksiya yolu ilə göstərilə bilər ki, yuxarıdakı qaydanın təkrar-təkrar tətbiqi aşağıdakı ifadəyə ekvivalentdir:

 WIKINIUM\_MATH\_PH\_128

burada

 WIKINIUM\_MATH\_PH\_130

### Parametrik formulasiya: formal təsvirin motivasiyası

Modellər məkanını parametrləşdirməklə bütün modellərə olan inamı bir addımda yeniləmək mümkündür. Bu halda model məkanı üzrə inam paylanması parametr məkanı üzrə inam paylanması kimi şərh edilə bilər. Bu bölmədə paylanmalar fasiləsiz hesab olunur və ehtimal sıxlıqları ilə ifadə edilir; bu, ən çox rast gəlinən haldır. Lakin texnika diskret paylanmalara da eyni dərəcədə tətbiq oluna bilər.

 WIKINIUM\_MATH\_PH\_132 vektoru parametr məkanını əhatə etsin. WIKINIUM\_MATH\_PH\_134 üzrə ilkin aprior paylanma
 WIKINIUM\_MATH\_PH\_136 olsun; burada WIKINIUM\_MATH\_PH\_138 apriorun öz parametrləri, yəni *hiperparametrlər*dir.
 WIKINIUM\_MATH\_PH\_140 müstəqil və eyni paylanmaya malik hadisə müşahidələri ardıcıllığı olsun və bütün WIKINIUM\_MATH\_PH\_142 -lər bəzi WIKINIUM\_MATH\_PH\_144 üçün WIKINIUM\_MATH\_PH\_146 paylanmasına malik olsun. Bayes teoremi tətbiq edilərək WIKINIUM\_MATH\_PH\_148 üzrə aposterior paylanma tapılır:

 WIKINIUM\_MATH\_PH\_150

burada

 WIKINIUM\_MATH\_PH\_152

## Tarixi

*Bayesçi* (Bayesian) termini ehtimal nəzəriyyəsində naməlum bir hadisə üçün ehtimal sərhədlərinin müəyyən edilə biləcəyini sübut etmiş Thomas Bayesə (1701–1761) istinad edir. Lakin bu gün Bayes teoremi kimi tanınan anlayışı (Prinsip VI kimi) formalaşdıran və onu səma mexanikası, tibbi statistika, etibarlılıq və məhkəmə hüququ sahələrində tətbiq edən şəxs Pierre-Simon Laplace (1749–1827) olmuşdur.

Laplasın yetərsiz səbəb prinsipinə əsaslanan vahid prior ehtimallardan istifadə edən erkən Bayesçi nəticəçıxarma “inverse probability” adlandırılmışdır. Bu termin müşahidələrdən parametrlərə, yaxud nəticələrdən səbəblərə doğru geriyə istiqamətli induktiv mülahizəni ifadə edir. 1920-ci illərdən sonra “əks ehtimal” anlayışı əsasən tezlikçi statistika (frequentist statistics) kimi tanınan metodlar toplusu tərəfindən sıxışdırılmışdır.

XX əsrdə Laplasın ideyaları Bayesçi praktikada iki fərqli istiqamətdə inkişaf etdirilmiş və nəticədə *obyektiv* və *subyektiv* cərəyanlar formalaşmışdır. Obyektiv və ya “qeyri-informativ” cərəyanda statistik təhlil yalnız qəbul edilən modeldən, təhlil olunan məlumatlardan və priorun təyin edilməsi metodundan asılıdır; bu metod isə müxtəlif obyektiv Bayesçi tədqiqatçılar arasında fərqlənə bilər. Subyektiv və ya “informativ” cərəyanda isə priorun müəyyən edilməsi inanclara əsaslanır; bu inanclar ekspert biliklərini, əvvəlki tədqiqatların nəticələrini və digər məlumat mənbələrini ümumiləşdirə bilər.

1980-ci illərdə Bayesçi metodların tədqiqi və tətbiqində kəskin artım müşahidə olunmuşdur. Bu artım əsasən Markov zənciri Monte Karlo metodlarının kəşfi ilə əlaqələndirilir; sözügedən metodlar bir çox hesablama çətinliklərini aradan qaldırmış və qeyri-standart, mürəkkəb tətbiqlərə marağı artırmışdır. Bayesçi tədqiqatların artmasına baxmayaraq, ali məktəblərdə statistik tədris hələ də əsasən tezlikçi statistikaya söykənir. Bununla belə, Bayesçi metodlar geniş şəkildə qəbul edilir və tətbiq olunur; məsələn, maşın öyrənməsi sahəsində bu metodlardan fəal istifadə edilir.

## İstinadlar

### Mənbə

* Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). *Parameter Estimation and Inverse Problems*, Second Edition, Elsevier. ISBN 0123850487, ISBN 978-0123850485
* *Bickel, Peter J.; Doksum, Kjell A.* Mathematical Statistics, Volume 1: Basic and Selected Topics (Second (updated printing 2007)). Pearson Prentice–Hall. 2001. ISBN 978-0-13-850363-5.
* Box, G. E. P. and Tiao, G. C. (1973). *Bayesian Inference in Statistical Analysis*, Wiley, ISBN 0-471-57428-7
* *Edwards, Ward.* Conservatism in Human Information Processing // Kleinmuntz, B. (redaktor). Formal Representation of Human Judgment. Wiley. 1968.
* *Edwards, Ward.*  Daniel Kahneman; Paul Slovic; Amos Tversky (redaktorlar ). "Judgment under uncertainty: Heuristics and biases". Science. 185 (4157). 1982: 1124–1131. Bibcode:1974Sci...185.1124T. doi:10.1126/science.185.4157.1124. PMID 17835457. Chapter: Conservatism in Human Information Processing (excerpted)
* Jaynes E. T. (2003) *Probability Theory: The Logic of Science*, CUP. ISBN 978-0-521-59271-0 (Link to Fragmentary Edition of March 1996).
* *Howson, C.; Urbach, P.* Scientific Reasoning: the Bayesian Approach (3rd). Open Court Publishing Company. 2005. ISBN 978-0-8126-9578-6.
* *Phillips, L. D.; Edwards, Ward.* Chapter 6: Conservatism in a Simple Probability Inference Task (*Journal of Experimental Psychology* (1966) 72: 346-354) // Jie W. Weiss; David J. Weiss (redaktorlar ). A Science of Decision Making:The Legacy of Ward Edwards. Oxford University Press. oktyabr 2008. səh. 536. ISBN 978-0-19-532298-9.

## Əlavə ədəbiyyat

* For a full report on the history of Bayesian statistics and the debates with frequentists approaches, read *Vallverdu, Jordi.* Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning. New York: Springer. 2016. ISBN 978-3-662-48638-2.
* *Clayton, Aubrey.* Bernoulli's Fallacy: Statistical Illogic and the Crisis of Modern Science. Columbia University Press. avqust 2021. ISBN 978-0-231-55335-3.

### İbtidai

The following books are listed in ascending order of probabilistic sophistication:

* Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis", Download first chapter here, Sebtel Press, England.
* *Dennis V. Lindley.* Understanding Uncertainty, Revised Edition (2nd). John Wiley. 2013. ISBN 978-1-118-65012-7.
* *Colin Howson; Peter Urbach.* Scientific Reasoning: The Bayesian Approach (3rd). Open Court Publishing Company. 2005. ISBN 978-0-8126-9578-6.
* *Berry, Donald A.* Statistics: A Bayesian Perspective. Duxbury. 1996. ISBN 978-0-534-23476-8.
* *Morris H. DeGroot; Mark J. Schervish.* Probability and Statistics (third). Addison-Wesley. 2002. ISBN 978-0-201-52488-8.
* Bolstad, William M. (2007) *Introduction to Bayesian Statistics*: Second Edition, John Wiley ISBN 0-471-27020-2
* *Winkler, Robert L.* Introduction to Bayesian Inference and Decision (2nd). Probabilistic. 2003. ISBN 978-0-9647938-4-2. Updated classic textbook. Bayesian theory clearly presented.
* Lee, Peter M. *Bayesian Statistics: An Introduction*. Fourth Edition (2012), John Wiley ISBN 978-1-1183-3257-3
* *Carlin, Bradley P.; Louis, Thomas A.* Bayesian Methods for Data Analysis, Third Edition. Boca Raton, FL: Chapman and Hall/CRC. 2008. ISBN 978-1-58488-697-6.
* *Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B.* Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. 2013. ISBN 978-1-4398-4095-5.

### Orta və ya qabaqcıl

* *Berger, James O.* Statistical Decision Theory and Bayesian Analysis. Springer Series in Statistics (Second). Springer-Verlag. 1985. Bibcode:1985sdtb.book.....B. ISBN 978-0-387-96098-2.
* *Bernardo, José M.; Smith, Adrian F. M.* Bayesian Theory. Wiley. 1994.
* Morris H. DeGroot, *Optimal Statistical Decisions*. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) ISBN 0-471-68029-X.
* *Schervish, Mark J.* Theory of statistics. Springer-Verlag. 1995. ISBN 978-0-387-94546-0.
* Jaynes, E. T. (1998). *Probability Theory: The Logic of Science*.
* O'Hagan, A. and Forster, J. (2003). *Kendall's Advanced Theory of Statistics*, Volume 2B: *Bayesian Inference*. Arnold, New York. ISBN 0-340-52922-9.
* *Robert, Christian P.* The Bayesian Choice: From Decision-Theoretic Foundations to Computational Implementation (paperback). Springer. 2007. ISBN 978-0-387-71598-8.
* Pearl, Judea. (1988). *Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference*, San Mateo, CA: Morgan Kaufmann.
* Pierre Bessière et al. (2013). "Bayesian Programming". CRC Press. ISBN 9781439880326
* Francisco J. Samaniego (2010). "A Comparison of the Bayesian and Frequentist Approaches to Estimation". Springer. New York, ISBN 978-1-4419-5940-9