Todennäköisyysteoria

Todennäköisyysteoria on matematiikan osa-alue, joka tutkii todennäköisyyksiä hyödyntäen mittateorian käsitteitä. Siinä tapahtumat käsitetään mitallisen avaruuden (ns. otosavaruus) mitallisiksi osajoukoiksi, ja annetun tapahtuman todennäköisyys on sitä vastaavan joukon mitta. Koko otosavaruuden tulkitaan tarkoittavan varmaa tapausta ja sen mitta on 1. Aksiomaattisen pohjan todennäköisyysteorialle loi Andrei Kolmogorov vuonna 1933 teoksessaan Grundbegriffe der Wahrscheinlichkeitsrechnung (suom. Todennäköisyyslaskennan perusteet)

Tunnuslukuja

Satunnaismuuttujan  odotusarvo on sen integraali yli otosavaruuden, joka on todennäköisyysmitan avulla merkittynä
Sille on vakiintunut merkintä . Satunnaismuuttujan  sanotaan olevan integroituva, jos .
Odotusarvo on satunnaismuuttujan tärkein tunnusluku. Suurten lukujen lakien mukaan satunnaismuuttujan keskiarvo toistokokeessa on likimäärin sen odotusarvo.
Satunnaismuuttujan sanotaan olevan neliöintegroituva, jos . Neliöintegroituvan satunnaismuuttujan  varianssi on .

Todennäköisyyslaskennan kaavoja

Tapahtuma  ei satu todennäköisyydellä . Tapahtuma  sattuu, mutta  ei, todennäköisyydellä . Jos  ja  ovat toisensa poissulkevia, niin . Jos  sattuu aina kun  sattuu, niin .

Kokonaistodennäköisyyden kaava

Olkoon  tapahtuma ja tapahtumat  perusjoukon ositus. Kokonaistodennäköisyyden kaava:

Bayesin kaava

Olkoon  tapahtuma ja tapahtumat  perusjoukon ositus. Bayesin kaava:
Lukua  kutsutaan prioritodennäköisyydeksi ja lukua  posterioritodennäköisyydeksi.

Tuloperiaate ja summaperiaate

Tuloperiaate: jos satunnaiskoe koostuu :sta kappaleesta riippumattomia vaiheita siten, että ensimmäisellä vaiheella on  eri tulosvaihtoehtoa, toisella vaiheella  tulosvaihtoehtoa, ja niin edelleen niin että viimeisellä vaiheella on  tulosvaihtoehtoa, niin koko kokeella on  tulosvaihtoehtoa.
Summaperiaate: jos satunnaiskoe koostuu :sta kappaleesta toisensa poissulkevia ryhmiä lopputuloksia siten, että ensimmäisessä ryhmässä on  tulosvaihtoehtoa, toisessa ryhmässä  tulosvaihtoehtoa, ja niin edelleen niin että viimeisessä ryhmässä on  tulosvaihtoehtoa, niin kokeella on  tulosvaihtoehtoa.

Konvergenssilauseet

Olkoon  jono satunnaismuuttujia, jonka raja-arvo
on melkein varmasti olemassa.
Mittateorian konvergenssilauseet pätevät todennäköisyyden mittateoreettisen määrittelyn vuoksi sellaisenaan, kun integraali korvataan odotusarvolla ja mitallinen funktio satunnaismuuttujalla. Ne voidaan kuitenkin yleistää ehdolliselle odotusarvolle siten, että jonon raja-arvon oton ja ehdollisen odotusarvon oton järjestyksen voi vaihtaa:
missä  on sigma-algebra.

Dominoidun konvergenssin lause

Jos on olemassa integroituva satunnaismuuttuja  siten, että  melkein varmasti kaikilla , niin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.

Fatoun lemma

Olkoon  jono satunnaismuuttujia. Myös mittateorian Fatoun lemma voidaan yleistää ehdolliselle odotusarvolle:
ja
missä  on sigma-algebra.

Suurten lukujen lait

Todennäköisyyslaskennassa suurten lukujen laeiksi kutsutaan riittäviä ehtoja sille, että satunnaismuuttujajonon keskiarvo suppenee (jollakin tavalla) kohti sen keskiarvon odotusarvoa. Jos kyseessä on erityisesti toistokoe, niin suurten lukujen lain voidaan tulkita ehdoksi sille, että kokeiden tulosten keskiarvo lähestyy kokeen odotusarvoa.
Suurten lukujen laista on olemassa useita matemaattisina teoreemoina todistettuja muunnelmia. Niistä vanhin on toistokokeita koskeva, Jakob Bernoullin todistama Bernoullin lause: Oletetaan, että jos jokin toistokoe suoritetaan n kertaa ja joka kerta toisistaan riippumatta tietty tulos X saavutetaan tietyllä vakinaisella todennäköisyydellä P₀. Silloin jos ε on kuinka pieni positiivinen luku tahansa, niin todennäköisyys sille, että sellaisten kertojen suhteellinen osuus, joilla tulos X on saavutettu, poikkeaa P₀:stä enemmän kuin ε:n verran, lähestyy nollaa, kun n kasvaa rajatta. Toisin sanoen jos n on kaikkien toistokertojen lukumäärä ja x sellaisten, joilla tämä tulos on saatu, niin
kun .

Esimerkiksi rahan heitossa kruunien ja klaavojen suhteelliset frekvenssit lähestyvät todennäköisesti puolikasta ja toisiaan, kun rahan heittämistä jatketaan. Tosin heitettiinpä rahaa kuinka monta kertaa tahansa, aina on mahdollista sekin, että kaikilla kerroilla tulee kruuna tai kaikilla klaava; tällainen sattuma vain käy sitä epätodennäköisemmäksi, mitä useampia kertoja heitto toistetaan. Suurten lukujen laki ei myöskään tarkoita, että kruunien ja klaavojen lukumääräfrekvenssit lähestyisivät toisiaan. Suhteellisten frekvenssien lähestyminen ei edellytä tätä.

Kolmogorovin vahva suurten lukujen laki

Jos satunnaismuuttujat , , ovat riippumattomia, samoin jakautuneita ja , niin jonon keskiarvo suppenee melkein varmasti kohti satunnaismuuttujien odotusarvoa, toisin sanoen
melkein varmasti kun .

Kolmogorovin 0–1-laki

Olkoon  jono riippumattomia satunnaismuuttujia. Merkitään äärettömän kaukaisista jonon  arvoista riippuvien tapahtumien sigma-algebraa symbolilla
Jos tapahtuma , niin
Borelin–Cantellin lemma on erikoistapaus Kolmogorovin 0–1-laista.

Borelin–Cantellin lemma

Olkoon  jono riippumattomia tapahtumia. Tällöin
Borelin–Cantellin lemmalla voidaan todistaa väite: "Jos apina paukuttaa kirjoituskoneella umpimähkäisesti äärettömän pitkään, kirjoittaa se lopulta kaikki Shakespearen teokset."