Todennäköisyysteoria

Todennäköisyysteoria on matematiikan osa-alue, joka tutkii todennäköisyyksiä hyödyntäen mittateorian käsitteitä. Siinä tapahtumat käsitetään mitallisen avaruuden (ns. "otosavaruus") mitallisiksi osajoukoiksi, ja annetun tapahtuman todennäköisyys on sitä vastaavan joukon mitta. Koko otosavaruuden tulkitaan tarkoittavan "varmaa tapausta" ja sen mitta on 1. Aksiomaattisen pohjan todennäköisyysteorialle loi Andrei Kolmogorov vuonna 1933 teoksessaan "Grundbegriffe der Wahrscheinlichkeitsrechnung" ()
Todennäköisyysavaruus.
Olkoon formula_1 epätyhjä joukko (ns. "perus­joukko" eli "otosavaruus") ja formula_2 sigma-algebra joukossa formula_1. Nyt kuvaus formula_4 on todennäköisyysmitta (lyh. "todennäköisyys") jos se toteuttaa seuraavat kaksi ehtoa
Kolmikkoa formula_7 kutsutaan "todennäköisyysavaruudeksi" tai "todennäköisyyskentäksi".
Sigma-algebran formula_2 alkioita kutsutaan "tapahtumiksi". Tulkinnallisesti sigma-algebra on satunnaiskokeesta havaittavissa olevien, tai muuten mielenkiintoisten ja olennaisten lopputulosten joukko. Otosavaruuden alkioita kutsutaan "alkeis­tapauksiksi" tai "otoksiksi", ja varsinaisen satunnaisuuden, joka liittyy todennäköisyyteen taustalla olevana ilmiönä, ajatellaan liittyvän alkeistapauksen formula_9 valintaan todennäköisyysmitan formula_5 määrätessä jakauman.
Tapahtuman formula_11 sanotaan "sattuvan", jos formula_12. Todennäköisyys, että formula_13 sattuu, on sen mitta formula_14.
Tapahtumiin voi luonnollisesti ajatella liittyvän loogisia operaattoreita, kuten "ei", "ja" ja "tai". Nämä tulkitaan satunnaisilmiön kuvailussa joukko-opin kielelle joukko-operaatioina. Tapahtuma formula_13 ei satu, jos sen komplementti sattuu: formula_16. Tapahtumat formula_13 ja formula_18 sattuvat, jos niiden leikkaus sattuu: formula_19. Tapahtuma formula_13 tai tapahtuma formula_18 sattuu, jos niiden yhdiste sattuu: formula_22.
Tapahtuman formula_13 sanotaan sattuvan "melkein varmasti", mikäli formula_24.
Klassinen todennäköisyysmalli.
Yksinkertaisin ja varhaisin todennäköisyysmalli perustuu "symmetrisiin alkeistapauksiin", ja sitä kutsutaan myös "klassiseksi todennäköisyysmalliksi". Tässä mallissa otosavaruus on
formula_25
ja kaikilla formula_26 on
formula_27.
Tämä on erikoistapaus "äärellisestä todennäköisyysavaruudesta", joilla jälkimmäistä rajoitusta jakaumalle ei yleisesti ole. Äärellisille todennäköisyysavaruuksille voidaan valita ilman ongelmia sigma-algebraksi potenssijoukko formula_28. Tämä merkitsee, että todennäköisyys on määriteltty kaikille perusjoukon osajoukoille.
Geometrinen todennäköisyysmalli.
Klassinen todennäköisyysmalli on erikoistapaus niin sanotusta geometrisesta todennäköisyysmallista. Geometrisessa todennäköisyysmallissa voimme minkä tahansa äärellismittaisen mitta-avaruuden pohjalta rakentaa todennäköisyysmitan tähän avaruuteen. Täsmällisemmin jos formula_29 on mitta-avaruus, jonka perusjoukko on äärellis- ja positiivimittainen eli pätee formula_30, niin kuvaus formula_4,
formula_32
on todennäköisyysmitta.
Esimerkiksi klassinen todennäköisyysmalli saadaan geometrisesta mallista jos mitaksi annetaan lukumäärämitta. Koulumatematiikassa tunnettu geometrinen todennäköisyys on taasen esimerkiksi lukusuoralla ja tasossa, joissa geometrisen todennäköisyyden mitta on saatu Lebesguen mitasta.
Satunnaismuuttuja.
Satunnaismuuttuja on formula_2-mitallinen kuvaus formula_34. Se liittää todennäköisyyskentän Ω jokaiseen alkioon eli mahdolliseen alkeistapaukseen jonkin reaalilukuarvon. Jos siis alkeistapaus oletetaan valituksi, on satunnaismuuttujan arvo yksikäsitteisesti määritelty, joten siinä mielessä se ei ole satunnainen eikä muuttuja. Sovelluksissa todennäköisyyskentän alkiot kuitenkin tarkoittavat satunnaisia tapahtumia, jotka tapahtuvat tietyllä todennäköisyydellä, ja näin ollen satunnaismuuttujastakin voidaan käytännön kannalta sanoa, että se saa tiettyjä tai tietyllä välillä olevia arvoja tietyillä todennäköisyyksillä.
Yleisin tapa merkitä satunnaismuuttuja lienee iso kirjain, kuten formula_35. Satunnaismuuttujaa merkitään joskus pienellä kirjaimella. Tällöin se tavataan erottaa vakioista, joita myös merkitään yleensä pienillä kirjaimilla, alleviivauksella, kuten formula_36, tai painolaadun salliessa lihavoinnilla, kuten formula_37.
Satunnaismuuttujan kertymäfunktio on reaalifunktio 
formula_38.
Se on kaikille satunnaismuuttujille olemassa ja yksikäsitteinen. 
Satunnaismuuttuja on "diskreetti", jos perusjoukko on numeroituva, ja "jatkuva", jos sen kertymäfunktio on derivoituva, jolloin kyseistä derivaattaa kutsutaan tiheysfunktioksi. Satunnaismuuttujat, jotka eivät ole kumpaakaan kutsutaan muun muassa sekatyyppisiksi. Satunnaismuuttujaa sanotaan "yksinkertaiseksi", jos se voi saada vain äärellisen määrän eri arvoja. Nopanheitto käy esimerkiksi tällaisesta tilanteesta.
Riippumattomuus.
Riippumattomuus on tärkeä satunnaismuuttujien ja tapahtumien välinen ominaisuus. Satunnaismuuttujat formula_35 ja formula_40 ovat riippumattomia, jos tulosääntö 
formula_41
pätee kaikilla Borel-joukoilla formula_42 ja formula_43. 
Tapahtumat A ja B ovat riippumattomia, jos B tapahtuu yhtä suurella todennäköisyydellä, olipa A tapahtunut tai ei, ja kääntäen. Matemaattisesti voidaan määritellä, että formula_13 ja formula_18 ovat riippumattomat, jos satunnaismuuttujat formula_46 ja formula_47 ovat riippumattomat, missä formula_48 tarkoittaa indikaattorifunktiota. Tämä on yhtä kuin ehto
formula_49.
Vastaavat ehdot useammille satunnaismuuttujille ja tapahtumille on pädettävä kaikkien indeksikombinaatioiden yli. Esimerkiksi, tapahtumat formula_13, formula_18 ja formula_52 ovat riippumattomat, jos kaikki yhtälöt
pätevät. 
On mahdollista, että kolme (tai useampi) tapahtuma formula_13, formula_18 ja formula_52 ovat kaikki pareittain riippumattomia, mutta kokoelma formula_56 ei ole riippumaton. Esimerkiksi olkoon kahden reilun kolikon heitossa tapahtuma formula_13="ensimmäinen heitto oli klaava", tapahtuma formula_18="toinen heitto oli klaava" ja tapahtuma formula_52="heitot menivät eri päin". Tällöin tapahtumat formula_13, formula_18 ja formula_52 ovat kaikki pareittain riippumattomia: formula_63, mutta formula_64 ja formula_65.
Tunnuslukuja.
Satunnaismuuttujan formula_35 odotusarvo on sen integraali yli otosavaruuden, joka on todennäköisyysmitan avulla merkittynä
formula_67.
Sille on vakiintunut merkintä formula_68. Satunnaismuuttujan formula_35 sanotaan olevan "integroituva", jos formula_70.
Odotusarvo on satunnaismuuttujan tärkein tunnusluku. Suurten lukujen lakien mukaan satunnaismuuttujan keskiarvo toistokokeessa on likimäärin sen odotusarvo.
Satunnaismuuttujan sanotaan olevan "neliöintegroituva", jos formula_71. Neliöintegroituvan satunnaismuuttujan formula_35 varianssi on formula_73.
Satunnaismuuttujajonon konvergenssi.
Erilaiset konvergenssit ovat tärkeitä satunnaismuuttujien ominaisuuksia. Olkoon formula_74 jono satunnaismuuttujia. 
Jos jono suppenee kvadraattisesti tai melkein varmasti, niin se suppenee myös stokastisesti. Jos jono suppenee stokastisesti, niin se suppenee myös jakaumaltaan.
Ehdollinen todennäköisyys ja odotusarvo.
Varsinkin koulumatematiikassa käytetään havainnollista ehdollisen todennäköisyyden määritelmää. Jos tapahtumalle formula_18 pätee formula_84, niin tapahtuman formula_13 todennäköisyys ehdolla formula_18 on 
formula_87.
Tämä on tulkittava siten, että jos on ikään kuin tieto, että formula_18 sattuu eli formula_89, niin yllä oleva on todennäköisyys sille, että myös formula_13 on sattunut eli formula_19. Tästä lähtökohdasta voidaan todistaa seuraavat ominaisuudet:
Satunnaismuuttujan formula_35 ehdollinen odotusarvo alisigma-algebralla formula_102 on formula_103-mitallinen satunnaismuuttuja formula_104, jolle yhtälö 
formula_105
pätee kaikilla formula_106. Satunnaismuuttujan formula_35 ehdollinen odotusarvo ehdolla satunnaismuuttuja formula_40 on formula_109, missä formula_110 tarkoittaa satunnaismuuttujan formula_40 virittämää sigma-algebraa.
On huomattava, että ehdollinen odotusarvo on satunnaismuuttuja, eli funktio, eikä reaaliluku. Ehdollinen odotusarvo ehdolla formula_106 on formula_113, missä formula_114, on reaaliluku.
Ehdollisen odotusarvon ominaisuuksia:
Alisigma-algebran formula_103 tulkinta on ikään kuin etukäteen havaittavissa oleva tieto satunnaismuuttujan arvosta. Triviaali sigma-algebra vastaa täydellistä epätietoisuutta, formula_130, ja satunnaismuuttujan virittämä sigma-algebra vastaa tarkkaa tietoa sen arvosta, formula_131. 
Joukon formula_13 ehdollinen todennäköisyys on formula_133. Tämä yhtenee koulumatematiikan ehdollisen todennäköisyyden kanssa siten, että jos formula_89, niin formula_135.
Todennäköisyyslaskennan kaavoja.
Tapahtuma formula_13 ei satu todennäköisyydellä formula_137. Tapahtuma formula_13 sattuu, mutta formula_18 ei, todennäköisyydellä formula_140. Jos formula_13 ja formula_18 ovat toisensa poissulkevia, niin formula_143. Jos formula_13 sattuu aina kun formula_18 sattuu, niin formula_146.
Yhteenlaskukaava.
Tapahtuma formula_13 tai formula_18 sattuu todennäköisyydellä formula_149. Yhteenlaskukaavan yleinen muoto: jos formula_150 ovat tapahtumia, niin
Kokonaistodennäköisyyden kaava.
Olkoon formula_18 tapahtuma ja tapahtumat formula_152 perusjoukon ositus. Kokonaistodennäköisyyden kaava: 
formula_153.
Bayesin kaava.
Olkoon formula_18 tapahtuma ja tapahtumat formula_152 perusjoukon ositus. Bayesin kaava:
kaikilla formula_156 pätee formula_157
Lukua formula_158 kutsutaan "prioritodennäköisyydeksi" ja lukua formula_159 "posterioritodennäköisyydeksi".
Tuloperiaate ja summaperiaate.
"Tuloperiaate": jos satunnaiskoe koostuu formula_160:sta kappaleesta riippumattomia vaiheita siten, että ensimmäisellä vaiheella on formula_161 eri tulosvaihtoehtoa, toisella vaiheella formula_162 tulosvaihtoehtoa, ja niin edelleen niin että viimeisellä vaiheella on formula_163 tulosvaihtoehtoa, niin koko kokeella on formula_164 tulosvaihtoehtoa.
"Summaperiaate": jos satunnaiskoe koostuu formula_160:sta kappaleesta toisensa poissulkevia ryhmiä lopputuloksia siten, että ensimmäisessä ryhmässä on formula_161 tulosvaihtoehtoa, toisessa ryhmässä formula_162 tulosvaihtoehtoa, ja niin edelleen niin että viimeisessä ryhmässä on formula_163 tulosvaihtoehtoa, niin kokeella on formula_169 tulosvaihtoehtoa.
Todennäköisyysteorian lauseita.
Konvergenssilauseet.
Olkoon formula_74 jono satunnaismuuttujia, jonka raja-arvo
formula_171
on melkein varmasti olemassa. 
Mittateorian konvergenssilauseet pätevät todennäköisyyden mittateoreettisen määrittelyn vuoksi sellaisenaan, kun integraali korvataan odotusarvolla ja mitallinen funktio satunnaismuuttujalla. Ne voidaan kuitenkin yleistää ehdolliselle odotusarvolle siten, että jonon raja-arvon oton ja ehdollisen odotusarvon oton järjestyksen voi vaihtaa:
formula_172melkein varmasti,
missä formula_103 on sigma-algebra.
Monotonisen konvergenssin lause.
Oletetaan, että toinen alla olevista ehdoista on voimassa:
Tällöin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.
Dominoidun konvergenssin lause.
Jos on olemassa integroituva satunnaismuuttuja formula_40 siten, että formula_183 melkein varmasti kaikilla formula_80, niin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.
Fatoun lemma.
Olkoon formula_74 jono satunnaismuuttujia. Myös mittateorian Fatoun lemma voidaan yleistää ehdolliselle odotusarvolle:
formula_186
ja
formula_187,
missä formula_103 on sigma-algebra.
Suurten lukujen lait.
Todennäköisyyslaskennassa suurten lukujen laeiksi kutsutaan riittäviä ehtoja sille, että satunnaismuuttujajonon keskiarvo suppenee (jollakin tavalla) kohti sen keskiarvon odotusarvoa. 
Jos kyseessä on erityisesti toistokoe, niin suurten lukujen lain voidaan tulkita ehdoksi sille, että kokeiden tulosten keskiarvo lähestyy kokeen odotusarvoa. 
Suurten lukujen laista on olemassa useita matemaattisina teoreemoina todistettuja muunnelmia. Niistä vanhin on toistokokeita koskeva, Jakob Bernoullin todistama "Bernoullin lause": Oletetaan, että jos jokin toistokoe suoritetaan n kertaa ja joka kerta toisistaan riippumatta tietty tulos X saavutetaan tietyllä vakinaisella todennäköisyydellä P0. Silloin jos ε on kuinka pieni positiivinen luku tahansa, niin todennäköisyys sille, että sellaisten kertojen suhteellinen osuus, joilla tulos X on saavutettu, poikkeaa P0:stä enemmän kuin ε:n verran, lähestyy nollaa, kun n kasvaa rajatta. Toisin sanoen jos n on kaikkien toistokertojen lukumäärä ja x sellaisten, joilla tämä tulos on saatu, niin
formula_189,
kun formula_190.
Esimerkiksi rahan heitossa kruunien ja klaavojen suhteelliset frekvenssit lähestyvät todennäköisesti puolikasta ja toisiaan, kun rahan heittämistä jatketaan. Tosin heitettiinpä rahaa kuinka monta kertaa tahansa, aina on mahdollista sekin, että kaikilla kerroilla tulee kruuna tai kaikilla klaava; tällainen sattuma vain käy sitä epätodennäköisemmäksi, mitä useampia kertoja heitto toistetaan. Suurten lukujen laki ei myöskään tarkoita, että kruunien ja klaavojen lukumääräfrekvenssit lähestyisivät toisiaan. Suhteellisten frekvenssien lähestyminen ei edellytä tätä.
Kolmogorovin vahva suurten lukujen laki.
Jos satunnaismuuttujat formula_191, formula_80, ovat riippumattomia, samoin jakautuneita ja formula_193, niin jonon keskiarvo suppenee melkein varmasti kohti satunnaismuuttujien odotusarvoa, toisin sanoen 
formula_194
melkein varmasti kun formula_190.
Keskeinen raja-arvolause.
Olkoot satunnaismuuttujat formula_191, formula_80, ovat riippumattomia, samoin jakautuneita, formula_198 ja formula_199. Tällöin
formula_200formula_201
heikon konvergenssin mielessä. Tässä siis formula_202 on standardinormaalijakauman kertymäfunktio. Tulos pätee myös lievemmällä oletuksella, jota kutsutaan "Lindebergin ehdoksi", nimetty suomalaisen matemaatikko J.W. Lindebergin mukaan. Hän todisti ehdon riittävyyden, mikä on kenties merkittävin yksittäinen suomalaisen matemaatikon tulos - kyseinen ehto on nimittäin myös 
välttämätön ehto lauseen pätemiselle, ja siten ratkaisu 1900-luvun alkupuolella vaikuttaneeseen keskeiseen raja-arvoprobleemaan.
Kolmogorovin 0–1-laki.
Olkoon formula_74 jono riippumattomia satunnaismuuttujia. Merkitään äärettömän kaukaisista jonon formula_74 arvoista riippuvien tapahtumien sigma-algebraa symbolilla
formula_205.
Jos tapahtuma formula_206, niin
formula_207 tai formula_208.
Borelin–Cantellin lemma on erikoistapaus Kolmogorovin 0–1-laista.
Borelin–Cantellin lemma.
Olkoon formula_209 jono riippumattomia tapahtumia. Tällöin
formula_210 tai formula_211.
Borelin–Cantellin lemmalla voidaan todistaa väite: "Jos apina paukuttaa kirjoituskoneella umpimähkäisesti äärettömän pitkään, kirjoittaa se lopulta kaikki Shakespearen teokset."