Bayes təhlili

Bayes inferensiyası () statistik inferensiyanın bir üsuludur və burada bir hipotezin ehtimalı əvvəlki sübutlara əsaslanaraq Bayes teoremi vasitəsilə hesablanır və yeni məlumat əldə edildikcə yenilənir. Əsas etibarilə Bayes inferensiyası aprior paylanmadan istifadə edərək aposterior ehtimalları qiymətləndirir. Bayes inferensiyası statistikada, xüsusilə də riyazi statistikada mühüm bir texnikadır. Bayes yenilənməsi məlumat ardıcıllığının dinamik təhlilində xüsusi əhəmiyyət daşıyır. Bayes inferensiyası elm, mühəndislik, fəlsəfə, tibb, idman və hüquq daxil olmaqla geniş fəaliyyət sahələrində tətbiq olunmuşdur. Qərar nəzəriyyəsi fəlsəfəsində Bayes inferensiyası tez-tez “Bayes ehtimalı” adlandırılan subyektiv ehtimal anlayışı ilə sıx əlaqələndirilir.

 Bayes qaydasına giriş 

 Formal izah 
+ Kontingensiya cədvəli   Hipoteziödəyir  Hipotezipozur   Cəm Sübut var    Sübut yoxdur  = Cəm      1

Bayes inferensiyası aposterior ehtimalı iki öncülün nəticəsi kimi əldə edir: aprior ehtimal və müşahidə olunan məlumatlar üçün statistik modeldən çıxarılan “ehtimal funksiyası”. Bayes inferensiyası aposterior ehtimalı Bayes teoreminə əsasən hesablayır:

burada:

  — ehtimalı məlumatlardan (aşağıda “sübut” adlandırılır) asılı olaraq dəyişə bilən istənilən hipotezdir. Çox vaxt rəqabət aparan bir neçə hipotez olur və məqsəd onların hansının daha ehtimallı olduğunu müəyyən etməkdir.
  — aprior ehtimaldır və  sübutları müşahidə olunmazdan əvvəl hipotez -nin ehtimalını ifadə edir.
  — sübutdur və aprior ehtimalın hesablanmasında istifadə olunmamış yeni məlumatlara uyğundur.
  — aposterior ehtimaldır, yəni  müşahidə edildikdən sonra 
 -nin ehtimalı. Bu, axtardığımız əsas kəmiyyətdir.
  —  doğru olduğu halda -nin müşahidə olunma ehtimalıdır və likelihood adlanır.  sabit saxlanılmaqla -nin funksiyası kimi götürüldükdə, bu funksiya sübutun verilmiş hipotezlə uyğunluğunu göstərir. Ehtimal sübutun funksiyasıdır, aposterior ehtimal isə hipotezin funksiyasıdır.
  — marjinal likelihood və ya “model sübutu” adlanır. Bu amil nəzərdən keçirilən bütün hipotezlər üçün eynidir və buna görə də hipotezlərin nisbi ehtimallarının müqayisəsinə təsir etmir.
  (əks halda  alınar).

-nin müxtəlif qiymətləri üçün -nin dəyərinə yalnız surətdə olan  və  təsir göstərir; yəni hipotezin aposterior ehtimalı onun aprior ehtimalı (daxili inandırıcılığı) və yeni sübutlarla uyğunluğu ilə mütənasibdir.

 (“ deyil”), yəni -nin məntiqi inkarı, etibarlı hipotez olduqda Bayes qaydası aşağıdakı kimi yenidən yazıla bilər:

çünki

və

Bu, aşağıdakı ifadəyə diqqəti yönəldir:

Əgər bu ifadə təqribən 1-ə bərabərdirsə, onda sübut verildikdə hipotezin ehtimalı  təxminən -yə, yəni 50%-ə bərabərdir. Əgər bu termin çox kiçikdirsə (sıfra yaxın), onda  1-ə yaxın olur və hipotez kifayət qədər ehtimallı sayılır. Əgər termin çox böyükdürsə (1-dən xeyli böyük), hipotez sübutlara baxmayaraq ehtimalsızdır. Əgər hipotez sübutlar nəzərə alınmadan da ehtimalsızdırsa, onda  kiçikdir (amma mütləq son dərəcə kiçik deyil) və  1-dən xeyli böyük olur; bu halda termin təqribən  kimi ifadə oluna bilər və müvafiq ehtimallar birbaşa müqayisə edilə bilər.

Düsturu yadda saxlamağın sadə üsullarından biri vurma qaydasından istifadə etməkdir:

 Bayes yenilənməsinə alternativlər 
Bayes yenilənməsi geniş şəkildə istifadə olunur və hesablama baxımından əlverişlidir. Lakin o, rasional hesab edilə bilən yeganə yenilənmə qaydası deyildir.

İen Hakkinq qeyd etmişdir ki, ənənəvi “Dutch book” arqumentləri Bayes yenilənməsini konkret şəkildə tələb etmir: bu arqumentlər qeyri-Bayes yenilənmə qaydalarının da Dutch book-lardan yayınmasının mümkünlüyünü açıq saxlayır. Hacking yazır:
“Və nə Dutch book arqumenti, nə də şəxsi ehtimal yanaşmasının sübut arsenalındakı digər arqumentlər dinamik fərziyyəni tələb edir. Heç biri Bayesianizmi zəruri etmir. Buna görə də personalist Bayesçi olmaq üçün əlavə dinamik fərziyyə qəbul etməlidir. Doğrudur, ardıcıllıq naminə personalist təcrübədən öyrənmənin Bayes modelindən imtina edə bilər. Bu halda isə duz öz dadını itirər.”

Doğrudan da, Riçard Ceffri qaydasının nəşrindən sonra (burada Bayes qaydası sübutun özünün də ehtimalla qiymətləndirildiyi hallara tətbiq olunur) “ehtimal kinematikası” ədəbiyyatında müzakirə edildiyi kimi, Dutch book-lardan yayınan qeyri-Bayes yenilənmə qaydaları mövcuddur. Bayes yenilənməsini yeganə zəruri qayda kimi tələb etmək üçün lazım olan əlavə hipotezlər isə əhəmiyyətli, mürəkkəb və qənaətbəxş olmayan hesab edilmişdir.Bas van Fraassen (1989) Laws and Symmetry, Oxford University Press. .

 Qarşılıqlı istisna edən və tam olan imkanlar üzərində inferensiya 
Əgər sübut eyni zamanda qarşılıqlı istisna edən və tam olan müddəalar toplusu üzrə inamı yeniləmək üçün istifadə edilirsə, Bayes inferensiyasını bu inam paylanmasına bütöv şəkildə təsir edən bir mexanizm kimi başa düşmək olar.

 Ümumi formulasiya 

Tutaq ki, bir proses müstəqil və eyni paylanmaya malik hadisələr yaradır: , lakin bu hadisələrin ehtimal paylanması naməlumdur. Hadisə məkanı  bu proses barədə mövcud inam vəziyyətini təmsil etsin. Hər bir model  hadisəsi ilə ifadə olunur. Modelləri müəyyən etmək üçün  şərti ehtimalları verilir.  isə -ə olan inam dərəcəsini ifadə edir. İlk inferensiya addımından əvvəl  çoxluğu ilkin aprior ehtimallar toplusudur. Bu ehtimalların cəmi 1-ə bərabər olmalıdır, lakin başqa baxımdan ixtiyaridir.

Fərz edək ki, prosesin  hadisəsini yaratdığı müşahidə olunur. Hər bir  üçün aprior  ehtimalı aposterior  ehtimalına yenilənir. Bayes teoreminə görə:Gelman, Andrew; Carlin, John B.; Stern, Hal S.; Dunson, David B.; Vehtari, Aki; Rubin, Donald B. (2013). Bayesian Data Analysis, Third Edition. Chapman and Hall/CRC. .

Əlavə sübut müşahidə edildikcə bu prosedur təkrar oluna bilər.

 Çoxsaylı müşahidələr 
Müstəqil və eyni paylanmaya malik müşahidələr ardıcıllığı üçün
, induksiya yolu ilə göstərilə bilər ki, yuxarıdakı qaydanın təkrar-təkrar tətbiqi aşağıdakı ifadəyə ekvivalentdir:

burada

 Parametrik formulasiya: formal təsvirin motivasiyası 
Modellər məkanını parametrləşdirməklə bütün modellərə olan inamı bir addımda yeniləmək mümkündür. Bu halda model məkanı üzrə inam paylanması parametr məkanı üzrə inam paylanması kimi şərh edilə bilər. Bu bölmədə paylanmalar fasiləsiz hesab olunur və ehtimal sıxlıqları ilə ifadə edilir; bu, ən çox rast gəlinən haldır. Lakin texnika diskret paylanmalara da eyni dərəcədə tətbiq oluna bilər.

 vektoru parametr məkanını əhatə etsin.  üzrə ilkin aprior paylanma
 olsun; burada  apriorun öz parametrləri, yəni hiperparametrlərdir.
 müstəqil və eyni paylanmaya malik hadisə müşahidələri ardıcıllığı olsun və bütün -lər bəzi  üçün  paylanmasına malik olsun. Bayes teoremi tətbiq edilərək  üzrə aposterior paylanma tapılır:

burada

Tarixi

Bayesçi (Bayesian) termini ehtimal nəzəriyyəsində naməlum bir hadisə üçün ehtimal sərhədlərinin müəyyən edilə biləcəyini sübut etmiş Thomas Bayesə (1701–1761) istinad edir. Lakin bu gün Bayes teoremi kimi tanınan anlayışı (Prinsip VI kimi) formalaşdıran və onu səma mexanikası, tibbi statistika, etibarlılıq və məhkəmə hüququ sahələrində tətbiq edən şəxs Pierre-Simon Laplace (1749–1827) olmuşdur.

Laplasın yetərsiz səbəb prinsipinə əsaslanan vahid prior ehtimallardan istifadə edən erkən Bayesçi nəticəçıxarma “inverse probability” adlandırılmışdır. Bu termin müşahidələrdən parametrlərə, yaxud nəticələrdən səbəblərə doğru geriyə istiqamətli induktiv mülahizəni ifadə edir. 1920-ci illərdən sonra “əks ehtimal” anlayışı əsasən tezlikçi statistika (frequentist statistics) kimi tanınan metodlar toplusu tərəfindən sıxışdırılmışdır.

XX əsrdə Laplasın ideyaları Bayesçi praktikada iki fərqli istiqamətdə inkişaf etdirilmiş və nəticədə obyektiv və subyektiv cərəyanlar formalaşmışdır. Obyektiv və ya “qeyri-informativ” cərəyanda statistik təhlil yalnız qəbul edilən modeldən, təhlil olunan məlumatlardan və priorun təyin edilməsi metodundan asılıdır; bu metod isə müxtəlif obyektiv Bayesçi tədqiqatçılar arasında fərqlənə bilər. Subyektiv və ya “informativ” cərəyanda isə priorun müəyyən edilməsi inanclara əsaslanır; bu inanclar ekspert biliklərini, əvvəlki tədqiqatların nəticələrini və digər məlumat mənbələrini ümumiləşdirə bilər.

1980-ci illərdə Bayesçi metodların tədqiqi və tətbiqində kəskin artım müşahidə olunmuşdur. Bu artım əsasən Markov zənciri Monte Karlo metodlarının kəşfi ilə əlaqələndirilir; sözügedən metodlar bir çox hesablama çətinliklərini aradan qaldırmış və qeyri-standart, mürəkkəb tətbiqlərə marağı artırmışdır. Bayesçi tədqiqatların artmasına baxmayaraq, ali məktəblərdə statistik tədris hələ də əsasən tezlikçi statistikaya söykənir. Bununla belə, Bayesçi metodlar geniş şəkildə qəbul edilir və tətbiq olunur; məsələn, maşın öyrənməsi sahəsində bu metodlardan fəal istifadə edilir.

 İstinadlar 

 Mənbə 

 Aster, Richard; Borchers, Brian, and Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. , 

 Box, G. E. P. and Tiao, G. C. (1973). Bayesian Inference in Statistical Analysis, Wiley, 


 Jaynes E. T. (2003) Probability Theory: The Logic of Science, CUP.  (Link to Fragmentary Edition of March 1996).



 Əlavə ədəbiyyat 
 For a full report on the history of Bayesian statistics and the debates with frequentists approaches, read 


İbtidai
The following books are listed in ascending order of probabilistic sophistication:
 Stone, JV (2013), "Bayes' Rule: A Tutorial Introduction to Bayesian Analysis",   Download first chapter here, Sebtel Press, England.




 Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley 
 Updated classic textbook. Bayesian theory clearly presented.
 Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley 



Orta və ya qabaqcıl


 Morris H. DeGroot, Optimal Statistical Decisions. Wiley Classics Library. 2004. (Originally published (1970) by McGraw-Hill.) .

 Jaynes, E. T. (1998). Probability Theory: The Logic of Science.
 O'Hagan, A. and Forster, J. (2003). Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. .

 Pearl, Judea. (1988). Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference, San Mateo, CA: Morgan Kaufmann.
 Pierre Bessière et al. (2013). "Bayesian Programming". CRC Press. 
 Francisco J. Samaniego (2010). "A Comparison of the Bayesian and Frequentist Approaches to Estimation". Springer. New York,