Todennäköisyysteoria

Todennäköisyysteoria on matematiikan osa-alue, joka tutkii todennäköisyyksiä hyödyntäen mittateorian käsitteitä. Siinä tapahtumat käsitetään mitallisen avaruuden (ns. otosavaruus) mitallisiksi osajoukoiksi, ja annetun tapahtuman todennäköisyys on sitä vastaavan joukon mitta. Koko otosavaruuden tulkitaan tarkoittavan varmaa tapausta ja sen mitta on 1. Aksiomaattisen pohjan todennäköisyysteorialle loi Andrei Kolmogorov vuonna 1933 teoksessaan Grundbegriffe der Wahrscheinlichkeitsrechnung ()

Todennäköisyysavaruus 

Olkoon  epätyhjä joukko (ns. perus­joukko eli otosavaruus) ja  sigma-algebra joukossa . Nyt kuvaus  on todennäköisyysmitta (lyh. todennäköisyys) jos se toteuttaa seuraavat kaksi ehtoa

 Kuvaus  on mitta
 Otosavaruuden todennäköisyys on 1, eli .

Kolmikkoa  kutsutaan todennäköisyysavaruudeksi tai todennäköisyyskentäksi.

Sigma-algebran  alkioita kutsutaan tapahtumiksi. Tulkinnallisesti sigma-algebra on satunnaiskokeesta havaittavissa olevien, tai muuten mielenkiintoisten ja olennaisten lopputulosten joukko. Otosavaruuden alkioita kutsutaan alkeis­tapauksiksi tai otoksiksi, ja varsinaisen satunnaisuuden, joka liittyy todennäköisyyteen taustalla olevana ilmiönä, ajatellaan liittyvän alkeistapauksen  valintaan todennäköisyysmitan  määrätessä jakauman.

Tapahtuman  sanotaan sattuvan, jos . Todennäköisyys, että  sattuu, on sen mitta .

Tapahtumiin voi luonnollisesti ajatella liittyvän loogisia operaattoreita, kuten ei, ja ja tai. Nämä tulkitaan satunnaisilmiön kuvailussa joukko-opin kielelle joukko-operaatioina. Tapahtuma  ei satu, jos sen komplementti sattuu: . Tapahtumat  ja  sattuvat, jos niiden leikkaus sattuu: . Tapahtuma  tai tapahtuma  sattuu, jos niiden yhdiste sattuu: .

Tapahtuman  sanotaan sattuvan melkein varmasti, mikäli .

Klassinen todennäköisyysmalli 

Yksinkertaisin ja varhaisin todennäköisyysmalli perustuu symmetrisiin alkeistapauksiin, ja sitä kutsutaan myös klassiseksi todennäköisyysmalliksi. Tässä mallissa otosavaruus on

ja kaikilla  on
.
Tämä on erikoistapaus äärellisestä todennäköisyysavaruudesta, joilla jälkimmäistä rajoitusta jakaumalle ei yleisesti ole. Äärellisille todennäköisyysavaruuksille voidaan valita ilman ongelmia sigma-algebraksi potenssijoukko . Tämä merkitsee, että todennäköisyys on määriteltty kaikille perusjoukon osajoukoille.

Geometrinen todennäköisyysmalli 

Klassinen todennäköisyysmalli on erikoistapaus niin sanotusta geometrisesta todennäköisyysmallista. Geometrisessa todennäköisyysmallissa voimme minkä tahansa äärellismittaisen mitta-avaruuden pohjalta rakentaa todennäköisyysmitan tähän avaruuteen. Täsmällisemmin jos  on mitta-avaruus, jonka perusjoukko on äärellis- ja positiivimittainen eli pätee , niin kuvaus ,

on todennäköisyysmitta.

Esimerkiksi klassinen todennäköisyysmalli saadaan geometrisesta mallista jos mitaksi annetaan lukumäärämitta. Koulumatematiikassa tunnettu geometrinen todennäköisyys on taasen esimerkiksi lukusuoralla ja tasossa, joissa geometrisen todennäköisyyden mitta on saatu Lebesguen mitasta.

Satunnaismuuttuja 

Satunnaismuuttuja on -mitallinen kuvaus . Se liittää todennäköisyyskentän Ω jokaiseen alkioon eli mahdolliseen alkeistapaukseen jonkin reaalilukuarvon. Jos siis alkeistapaus oletetaan valituksi, on satunnaismuuttujan arvo yksikäsitteisesti määritelty, joten siinä mielessä se ei ole satunnainen eikä muuttuja. Sovelluksissa todennäköisyyskentän alkiot kuitenkin tarkoittavat satunnaisia tapahtumia, jotka tapahtuvat tietyllä todennäköisyydellä, ja näin ollen satunnaismuuttujastakin voidaan käytännön kannalta sanoa, että se saa tiettyjä tai tietyllä välillä olevia arvoja tietyillä todennäköisyyksillä.

Yleisin tapa merkitä satunnaismuuttuja lienee iso kirjain, kuten . Satunnaismuuttujaa merkitään joskus pienellä kirjaimella. Tällöin se tavataan erottaa vakioista, joita myös merkitään yleensä pienillä kirjaimilla, alleviivauksella, kuten , tai painolaadun salliessa lihavoinnilla, kuten .

Satunnaismuuttujan kertymäfunktio on reaalifunktio 
.
Se on kaikille satunnaismuuttujille olemassa ja yksikäsitteinen. 

Satunnaismuuttuja on diskreetti, jos perusjoukko on numeroituva, ja jatkuva, jos sen kertymäfunktio on derivoituva, jolloin kyseistä derivaattaa kutsutaan tiheysfunktioksi. Satunnaismuuttujat, jotka eivät ole kumpaakaan kutsutaan muun muassa sekatyyppisiksi. Satunnaismuuttujaa sanotaan yksinkertaiseksi, jos se voi saada vain äärellisen määrän eri arvoja. Nopanheitto käy esimerkiksi tällaisesta tilanteesta.

Riippumattomuus 

Riippumattomuus on tärkeä satunnaismuuttujien ja tapahtumien välinen ominaisuus. Satunnaismuuttujat  ja  ovat riippumattomia, jos tulosääntö 

pätee kaikilla Borel-joukoilla  ja . 

Tapahtumat A ja B ovat riippumattomia, jos B tapahtuu yhtä suurella todennäköisyydellä, olipa A tapahtunut tai ei, ja kääntäen. Matemaattisesti voidaan määritellä, että  ja  ovat riippumattomat, jos satunnaismuuttujat  ja  ovat riippumattomat, missä  tarkoittaa indikaattorifunktiota. Tämä on yhtä kuin ehto
.

Vastaavat ehdot useammille satunnaismuuttujille ja tapahtumille on pädettävä kaikkien indeksikombinaatioiden yli. Esimerkiksi, tapahtumat ,  ja  ovat riippumattomat, jos kaikki yhtälöt

pätevät.  

On mahdollista, että kolme (tai useampi) tapahtuma ,  ja  ovat kaikki pareittain riippumattomia, mutta kokoelma  ei ole riippumaton.  Esimerkiksi olkoon kahden reilun kolikon heitossa tapahtuma ="ensimmäinen heitto oli klaava", tapahtuma ="toinen heitto oli klaava" ja tapahtuma ="heitot menivät eri päin".  Tällöin tapahtumat ,  ja  ovat kaikki pareittain riippumattomia: , mutta  ja .

Tunnuslukuja 

Satunnaismuuttujan  odotusarvo on sen integraali yli otosavaruuden, joka on todennäköisyysmitan avulla merkittynä
.
Sille on vakiintunut merkintä . Satunnaismuuttujan  sanotaan olevan integroituva, jos .

Odotusarvo on satunnaismuuttujan tärkein tunnusluku. Suurten lukujen lakien mukaan satunnaismuuttujan keskiarvo toistokokeessa on likimäärin sen odotusarvo.

Satunnaismuuttujan sanotaan olevan neliöintegroituva, jos . Neliöintegroituvan satunnaismuuttujan  varianssi on .

Satunnaismuuttujajonon konvergenssi 

Erilaiset konvergenssit ovat tärkeitä satunnaismuuttujien ominaisuuksia. Olkoon  jono satunnaismuuttujia. 
 jono suppenee melkein varmasti, jos  
 jono suppenee stokastisesti kohti satunnaismuuttujaa , jos kaikilla  pätee 
 jono suppenee jakaumaltaan, jos niiden kertymäfunktioiden jono suppenee pisteittäin jotakin kertymäfunktiota kohti kaikissa tämän rajakertymäfunktion jatkuvuuspisteissä.
 jos  kaikilla , niin suppenee kvadraattisesti kohti satunnaismuuttujaa , jos 

Jos jono suppenee kvadraattisesti tai melkein varmasti, niin se suppenee myös stokastisesti. Jos jono suppenee stokastisesti, niin se suppenee myös jakaumaltaan.

Ehdollinen todennäköisyys ja odotusarvo 

Varsinkin koulumatematiikassa käytetään havainnollista ehdollisen todennäköisyyden määritelmää. Jos tapahtumalle  pätee , niin tapahtuman  todennäköisyys ehdolla  on 
.
Tämä on tulkittava siten, että jos on ikään kuin tieto, että  sattuu eli , niin yllä oleva on todennäköisyys sille, että myös  on sattunut eli . Tästä lähtökohdasta voidaan todistaa seuraavat ominaisuudet:
 Ehdollinen todennäköisyys toteuttaa todennäköisyysmitan määritelmän. Täten mitalla  on todennäköisyysmitan  kaikki ominaisuudet. Esimerkiksi, jos  ja  ovat tapahtumia, niin yhteenlaskukaava pätee muodossa 
 jos tapahtumat  ja  ovat riippumattomia, niin 
 kertolaskukaava: 

Satunnaismuuttujan  ehdollinen odotusarvo alisigma-algebralla  on -mitallinen satunnaismuuttuja , jolle yhtälö 

pätee kaikilla . Satunnaismuuttujan  ehdollinen odotusarvo ehdolla satunnaismuuttuja  on , missä  tarkoittaa satunnaismuuttujan  virittämää sigma-algebraa.

On huomattava, että ehdollinen odotusarvo on satunnaismuuttuja, eli funktio, eikä reaaliluku. Ehdollinen odotusarvo ehdolla  on , missä , on reaaliluku.

Ehdollisen odotusarvon ominaisuuksia:
 jos , niin 
 
 karkeus voittaa aina eli iteratiivisuus: jos , niin 
 lineaarisuus: jos  ja , niin  
 jos  on -mitallinen, niin 
 jos  on -mitallinen ja rajoitettu, niin 

Alisigma-algebran  tulkinta on ikään kuin etukäteen havaittavissa oleva tieto satunnaismuuttujan arvosta. Triviaali sigma-algebra vastaa täydellistä epätietoisuutta, , ja satunnaismuuttujan virittämä sigma-algebra vastaa tarkkaa tietoa sen arvosta, . 

Joukon  ehdollinen todennäköisyys on . Tämä yhtenee koulumatematiikan ehdollisen todennäköisyyden kanssa siten, että jos , niin .

Todennäköisyyslaskennan kaavoja 

Tapahtuma  ei satu todennäköisyydellä . Tapahtuma  sattuu, mutta  ei, todennäköisyydellä . Jos  ja  ovat toisensa poissulkevia, niin . Jos  sattuu aina kun  sattuu, niin .

Yhteenlaskukaava 

Tapahtuma  tai   sattuu todennäköisyydellä . Yhteenlaskukaavan yleinen muoto: jos  ovat tapahtumia, niin

Kokonaistodennäköisyyden kaava 

Olkoon  tapahtuma ja tapahtumat  perusjoukon ositus. Kokonaistodennäköisyyden kaava: 
.

Bayesin kaava 

Olkoon  tapahtuma ja tapahtumat  perusjoukon ositus. Bayesin kaava:
kaikilla  pätee 
Lukua  kutsutaan prioritodennäköisyydeksi ja lukua  posterioritodennäköisyydeksi.

Tuloperiaate ja summaperiaate 

Tuloperiaate: jos satunnaiskoe koostuu :sta kappaleesta riippumattomia vaiheita siten, että ensimmäisellä vaiheella on  eri tulosvaihtoehtoa, toisella vaiheella  tulosvaihtoehtoa, ja niin edelleen niin että viimeisellä vaiheella on  tulosvaihtoehtoa, niin koko kokeella on  tulosvaihtoehtoa.(en)

Summaperiaate: jos satunnaiskoe koostuu :sta kappaleesta toisensa poissulkevia ryhmiä lopputuloksia siten, että ensimmäisessä ryhmässä on  tulosvaihtoehtoa, toisessa ryhmässä  tulosvaihtoehtoa, ja niin edelleen niin että viimeisessä ryhmässä on  tulosvaihtoehtoa, niin kokeella on  tulosvaihtoehtoa.(en)

Todennäköisyysteorian lauseita

Konvergenssilauseet 

Olkoon  jono satunnaismuuttujia, jonka raja-arvo

on melkein varmasti olemassa. 

Mittateorian konvergenssilauseet pätevät todennäköisyyden mittateoreettisen määrittelyn vuoksi sellaisenaan, kun integraali korvataan odotusarvolla ja mitallinen funktio satunnaismuuttujalla. Ne voidaan kuitenkin yleistää ehdolliselle odotusarvolle siten, että jonon raja-arvon oton ja ehdollisen odotusarvon oton järjestyksen voi vaihtaa:
melkein varmasti,
missä  on sigma-algebra.

Monotonisen konvergenssin lause 

Oletetaan, että toinen alla olevista ehdoista on voimassa:
 on melkein varmasti kaikilla  ja jollakin  pätee melkein varmasti 
 on melkein varmasti kaikilla  ja jollakin  pätee melkein varmasti 
Tällöin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.

Dominoidun konvergenssin lause 

Jos on olemassa integroituva satunnaismuuttuja  siten, että  melkein varmasti kaikilla , niin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.

Fatoun lemma 

Olkoon  jono satunnaismuuttujia. Myös mittateorian Fatoun lemma voidaan yleistää ehdolliselle odotusarvolle:

ja
,
missä  on sigma-algebra.

Suurten lukujen lait  

Todennäköisyyslaskennassa suurten lukujen laeiksi kutsutaan riittäviä ehtoja sille, että satunnaismuuttujajonon keskiarvo suppenee (jollakin tavalla) kohti sen keskiarvon odotusarvoa. 
Jos kyseessä on erityisesti toistokoe, niin suurten lukujen lain voidaan tulkita ehdoksi sille, että kokeiden tulosten keskiarvo lähestyy kokeen odotusarvoa. 

Suurten lukujen laista on olemassa useita matemaattisina teoreemoina todistettuja muunnelmia. Niistä vanhin on toistokokeita koskeva, Jakob Bernoullin todistama Bernoullin lause: Oletetaan, että jos jokin toistokoe suoritetaan n kertaa ja joka kerta toisistaan riippumatta tietty tulos X saavutetaan tietyllä vakinaisella todennäköisyydellä P0.  Silloin jos ε on kuinka pieni positiivinen luku tahansa, niin todennäköisyys sille, että sellaisten kertojen suhteellinen osuus, joilla tulos X on saavutettu, poikkeaa P0:stä enemmän kuin ε:n verran, lähestyy nollaa, kun n kasvaa rajatta. Toisin sanoen jos n on kaikkien toistokertojen lukumäärä ja x sellaisten, joilla tämä tulos on saatu, niin

,
kun .

Esimerkiksi rahan heitossa kruunien ja klaavojen suhteelliset frekvenssit lähestyvät todennäköisesti puolikasta ja toisiaan, kun rahan heittämistä jatketaan. Tosin heitettiinpä rahaa kuinka monta kertaa tahansa, aina on mahdollista sekin, että kaikilla kerroilla tulee kruuna tai kaikilla klaava; tällainen sattuma vain käy sitä epätodennäköisemmäksi, mitä useampia kertoja heitto toistetaan.  Suurten lukujen laki ei myöskään tarkoita, että kruunien ja klaavojen lukumääräfrekvenssit lähestyisivät toisiaan. Suhteellisten frekvenssien lähestyminen ei edellytä tätä.

Kolmogorovin vahva suurten lukujen laki  

Jos satunnaismuuttujat , , ovat riippumattomia, samoin jakautuneita ja , niin jonon keskiarvo suppenee melkein varmasti kohti satunnaismuuttujien odotusarvoa, toisin sanoen 

melkein varmasti kun .

Keskeinen raja-arvolause  

Olkoot satunnaismuuttujat , , ovat riippumattomia, samoin jakautuneita,  ja . Tällöin

heikon konvergenssin mielessä. Tässä siis  on standardinormaalijakauman kertymäfunktio. Tulos pätee myös lievemmällä oletuksella, jota kutsutaan Lindebergin ehdoksi, nimetty suomalaisen matemaatikko J.W. Lindebergin mukaan. Hän todisti ehdon riittävyyden, mikä on kenties merkittävin yksittäinen suomalaisen matemaatikon tulos - kyseinen ehto on nimittäin myös 
(tietyn tasapainoehdon vallitessa)
välttämätön ehto lauseen pätemiselle, ja siten ratkaisu 1900-luvun alkupuolella vaikuttaneeseen keskeiseen raja-arvoprobleemaan.

Kolmogorovin 0–1-laki 

Olkoon  jono riippumattomia satunnaismuuttujia. Merkitään äärettömän kaukaisista jonon  arvoista riippuvien tapahtumien sigma-algebraa symbolilla
.

Jos tapahtuma , niin
 tai .

Borelin–Cantellin lemma on erikoistapaus Kolmogorovin 0–1-laista.

Borelin–Cantellin lemma 

Olkoon  jono riippumattomia tapahtumia. Tällöin
 tai .

Borelin–Cantellin lemmalla voidaan todistaa väite: "Jos apina paukuttaa kirjoituskoneella umpimähkäisesti äärettömän pitkään, kirjoittaa se lopulta kaikki Shakespearen teokset."

Kirjallisuutta 

 Pekka Tuominen: Todennäköisyyslaskenta I. Limes ry (1996).
 Gustav Elfving ja Pekka Tuominen: Todennäköisyyslaskenta II. Limes ry (1990).
 Kolmogorov: Foundations of the Theory of Probability, (1933).
 Pertti Laininen: Todennäköisyys ja sen tilastollinen soveltaminen, Otatieto (1998).
 Tommi Sottinen: Todennäköisyysteoria, (2006)

Aiheesta muualla 

 MathWorld. Probability
 MathWorld. Probability Measure
 MathWorld. Probability Function 
 MathWorld. Conditional Probability
 MathWorld. Bayes' Theorem

Todennäköisyyslaskenta
Mittateoria
Seulonnan keskeiset artikkelit

id:Peluang (matematika)