Todennäköisyysteoria
Todennäköisyysteoria on matematiikan osa-alue, joka tutkii todennäköisyyksiä hyödyntäen mittateorian käsitteitä. Siinä tapahtumat käsitetään mitallisen avaruuden (ns. "otosavaruus") mitallisiksi osajoukoiksi, ja annetun tapahtuman todennäköisyys on sitä vastaavan joukon mitta. Koko otosavaruuden tulkitaan tarkoittavan "varmaa tapausta" ja sen mitta on 1. Aksiomaattisen pohjan todennäköisyysteorialle loi Andrei Kolmogorov vuonna 1933 teoksessaan "Grundbegriffe der Wahrscheinlichkeitsrechnung" ()
Olkoon formula_1 epätyhjä joukko (ns. "perus­joukko" eli "otosavaruus") ja formula_2 sigma-algebra joukossa formula_1. Nyt kuvaus formula_4 on todennäköisyysmitta (lyh. "todennäköisyys") jos se toteuttaa seuraavat kaksi ehtoaKolmikkoa formula_7 kutsutaan "todennäköisyysavaruudeksi" tai "todennäköisyyskentäksi".
Sigma-algebran formula_2 alkioita kutsutaan "tapahtumiksi". Tulkinnallisesti sigma-algebra on satunnaiskokeesta havaittavissa olevien, tai muuten mielenkiintoisten ja olennaisten lopputulosten joukko. Otosavaruuden alkioita kutsutaan "alkeis­tapauksiksi" tai "otoksiksi", ja varsinaisen satunnaisuuden, joka liittyy todennäköisyyteen taustalla olevana ilmiönä, ajatellaan liittyvän alkeistapauksen formula_9 valintaan todennäköisyysmitan formula_5 määrätessä jakauman.
Tapahtuman formula_11 sanotaan "sattuvan", jos formula_12. Todennäköisyys, että formula_13 sattuu, on sen mitta formula_14.
Tapahtumiin voi luonnollisesti ajatella liittyvän loogisia operaattoreita, kuten "ei", "ja" ja "tai". Nämä tulkitaan satunnaisilmiön kuvailussa joukko-opin kielelle joukko-operaatioina. Tapahtuma formula_13 ei satu, jos sen komplementti sattuu: formula_16. Tapahtumat formula_13 ja formula_18 sattuvat, jos niiden leikkaus sattuu: formula_19. Tapahtuma formula_13 tai tapahtuma formula_18 sattuu, jos niiden yhdiste sattuu: formula_22.
Tapahtuman formula_13 sanotaan sattuvan "melkein varmasti", mikäli formula_24.
Yksinkertaisin ja varhaisin todennäköisyysmalli perustuu "symmetrisiin alkeistapauksiin", jota kutsutaan myös "klassiseksi todennäköisyysmalliksi". Tässä mallissa otosavaruus on
formula_25
ja kaikilla formula_26 on
formula_27.
Tämä on erikoistapaus "äärellisestä todennäköisyysavaruudesta", joilla jälkimmäistä rajoitusta jakaumalle ei yleisesti ole. Äärellisille todennäköisyysavaruuksille voidaan valita ilman ongelmia sigma-algebraksi potenssijoukko formula_28. Tämä merkitsee, että todennäköisyys on määriteltty kaikille perusjoukon osajoukoille.
Klassinen todennäköisyysmalli on erikoistapaus niin sanotusta geometrisesta todennäköisyysmallista. Geometrisessa todennäköisyysmallissa voimme minkä tahansa äärellismittaisen mitta-avaruuden pohjalta rakentaa todennäköisyysmitan tähän avaruuteen. Täsmällisemmin jos formula_29 on mitta-avaruus, jonka perusjoukko on äärellis- ja positiivimittainen eli pätee formula_30, niin kuvaus formula_4,
formula_32
on todennäköisyysmitta.
Esimerkiksi klassinen todennäköisyysmalli saadaan geometrisesta mallista jos mitaksi annetaan lukumäärämitta. Koulumatematiikassa tunnettu geometrinen todennäköisyys on taasen esimerkiksi lukusuoralla ja tasossa, joissa geometrisen todennäköisyyden mitta on saatu Lebesguen mitasta.
Satunnaismuuttuja on formula_2-mitallinen kuvaus formula_34. Se liittää todennäköisyyskentän Ω jokaiseen alkioon eli mahdolliseen alkeistapaukseen jonkin reaalilukuarvon. Jos siis alkeistapaus oletetaan valituksi, on satunnaismuuttujan arvo yksikäsitteisesti määritelty, joten siinä mielessä se ei ole satunnainen eikä muuttuja. Sovelluksissa todennäköisyyskentän alkiot kuitenkin tarkoittavat satunnaisia tapahtumia, jotka tapahtuvat tietyllä todennäköisyydellä, ja näin ollen satunnaismuuttujastakin voidaan käytännön kannalta sanoa, että se saa tiettyjä tai tietyllä välillä olevia arvoja tietyillä todennäköisyyksillä.
Yleisin tapa merkitä satunnaismuuttuja lienee iso kirjain, kuten formula_35. Satunnaismuuttujaa merkitään joskus pienellä kirjaimella. Tällöin se tavataan erottaa vakioista, joita myös merkitään yleensä pienillä kirjaimilla, alleviivauksella, kuten formula_36, tai painolaadun salliessa lihavoinnilla, kuten formula_37.
Satunnaismuuttujan kertymäfunktio on reaalifunktio 
formula_38.
Se on kaikille satunnaismuuttujille olemassa ja yksikäsitteinen.
Satunnaismuuttuja on "diskreetti", jos perusjoukko on numeroituva, ja "jatkuva", jos sen kertymäfunktio on derivoituva, jolloin kyseistä derivaattaa kutsutaan tiheysfunktioksi. Satunnaismuuttujat, jotka eivät ole kumpaakaan kutsutaan muun muassa sekatyyppisiksi. Satunnaismuuttujaa sanotaan "yksinkertaiseksi", jos se voi saada vain äärellisen määrän eri arvoja. Nopanheitto käy esimerkiksi tällaisesta tilanteesta.
Riippumattomuus on tärkeä satunnaismuuttujien ja tapahtumien välinen ominaisuus. Satunnaismuuttujat formula_35 ja formula_40 ovat riippumattomia, jos yhtälö 
formula_41
pätee kaikilla Borel-joukoilla formula_42 ja formula_43.
Tapahtumat A ja B ovat riippumattomia, jos ne eivät vaikuta toisiinsa, toisin sanoen jos B tapahtuu yhtä suurella todennäköisyydellä, olipa A tapahtunut tai ei, ja kääntäen. Matemaattisesti voidaan määritellä, että formula_13 ja formula_18 ovat riippumattomat, jos satunnaismuuttujat formula_46 ja formula_47 ovat riippumattomat, missä formula_48 tarkoittaa indikaattorifunktiota. Tämä on yhtä kuin ehto
formula_49.
Vastaavat ehdot useammille satunnaismuuttujille ja tapahtumille on pädettävä kaikkien indeksikombinaatioiden yli. Esimerkiksi, tapahtumat formula_13, formula_18 ja formula_52 ovat riippumattomat, jos kaikki yhtälöt
pätevät.
Satunnaismuuttujan formula_35 odotusarvo on sen integraali yli otosavaruuden, joka on todennäköisyysmitan avulla merkittynä
formula_54.
Sille on vakiintunut merkintä formula_55. Satunnaismuuttujan formula_35 sanotaan olevan "integroituva", jos formula_57.
Odotusarvo on satunnaismuuttujan tärkein tunnusluku. Suurten lukujen lakien mukaan satunnaismuuttujan keskiarvo toistokokeessa on likimäärin sen odotusarvo.
Satunnaismuuttujan sanotaan olevan "neliöintegroituva", jos formula_58. Neliöintegroituvan satunnaismuuttujan formula_35 varianssi on formula_60.
Erilaiset konvergenssit ovat tärkeitä satunnaismuuttujien ominaisuuksia. Olkoon formula_61 jono satunnaismuuttujia.
Jos jono suppenee kvadraattisesti tai melkein varmasti, niin se suppenee myös stokastisesti. Jos jono suppenee stokastisesti, niin se suppenee myös jakaumaltaan.
Varsinkin koulumatematiikassa käytetään havainnollista ehdollisen todennäköisyyden määritelmää. Jos tapahtumalle formula_18 pätee formula_71, niin tapahtuman formula_13 todennäköisyys ehdolla formula_18 on 
formula_74.
Tämä on tulkittava siten, että jos on ikään kuin tieto, että formula_18 sattuu eli formula_76, niin yllä oleva on todennäköisyys sille, että myös formula_13 on sattunut eli formula_19. Tästä lähtökohdasta voidaan todistaa seuraavat ominaisuudet:
Satunnaismuuttujan formula_35 ehdollinen odotusarvo alisigma-algebralla formula_89 on formula_90-mitallinen satunnaismuuttuja formula_91, jolle yhtälö 
formula_92
pätee kaikilla formula_93. Satunnaismuuttujan formula_35 ehdollinen odotusarvo ehdolla satunnaismuuttuja formula_40 on formula_96, missä formula_97 tarkoittaa satunnaismuuttujan formula_40 virittämää sigma-algebraa.
On huomattava, että ehdollinen odotusarvo on satunnaismuuttuja, eli funktio, eikä reaaliluku. Ehdollinen odotusarvo ehdolla formula_93 on formula_100, missä formula_101, on reaaliluku.
Ehdollisen odotusarvon ominaisuuksia:
Alisigma-algebran formula_90 tulkinta on ikään kuin etukäteen havaittavissa oleva tieto satunnaismuuttujan arvosta. Triviaali sigma-algebra vastaa täydellistä epätietoisuutta, formula_117, ja satunnaismuuttujan virittämä sigma-algebra vastaa tarkkaa tietoa sen arvosta, formula_118.
Joukon formula_13 ehdollinen todennäköisyys on formula_120. Tämä yhtenee koulumatematiikan ehdollisen todennäköisyyden kanssa siten, että jos formula_76, niin formula_122.
Tapahtuma formula_13 ei satu todennäköisyydellä formula_124. Tapahtuma formula_13 sattuu, mutta formula_18 ei, todennäköisyydellä formula_127. Jos formula_13 ja formula_18 ovat toisensa poissulkevia, niin formula_130. Jos formula_13 sattuu aina kun formula_18 sattuu, niin formula_133.
Tapahtuma formula_13 tai formula_18 sattuu todennäköisyydellä formula_136. Yhteenlaskukaavan yleinen muoto: jos formula_137 ovat tapahtumia, niin
Olkoon formula_18 tapahtuma ja tapahtumat formula_139 perusjoukon ositus. Kokonaistodennäköisyyden kaava: 
formula_140.
Olkoon formula_18 tapahtuma ja tapahtumat formula_139 perusjoukon ositus. Bayesin kaava:
kaikilla formula_143 pätee formula_144
Lukua formula_145 kutsutaan "prioritodennäköisyydeksi" ja lukua formula_146 "posterioritodennäköisyydeksi".
"Tuloperiaate": jos satunnaiskoe koostuu formula_147:sta kappaleesta riippumattomia vaiheita siten, että ensimmäisellä vaiheella on formula_148 eri tulosvaihtoehtoa, toisella vaiheella formula_149 tulosvaihtoehtoa, ja niin edelleen niin että viimeisellä vaiheella on formula_150 tulosvaihtoehtoa, niin koko kokeella on formula_151 tulosvaihtoehtoa.
"Summaperiaate": jos satunnaiskoe koostuu formula_147:sta kappaleesta toisensa poissulkevia ryhmiä lopputuloksia siten, että ensimmäisessä ryhmässä on formula_148 tulosvaihtoehtoa, toisessa ryhmässä formula_149 tulosvaihtoehtoa, ja niin edelleen niin että viimeisessä ryhmässä on formula_150 tulosvaihtoehtoa, niin kokeella on formula_156 tulosvaihtoehtoa.
Olkoon formula_61 jono satunnaismuuttujia, jonka raja-arvo
formula_158
on melkein varmasti olemassa.
Mittateorian konvergenssilauseet pätevät todennäköisyyden mittateoreettisen määrittelyn vuoksi sellaisenaan, kun integraali korvataan odotusarvolla ja mitallinen funktio satunnaismuuttujalla. Ne voidaan kuitenkin yleistää ehdolliselle odotusarvolle siten, että jonon raja-arvon oton ja ehdollisen odotusarvon oton järjestyksen voi vaihtaa:
formula_159melkein varmasti,
missä formula_90 on sigma-algebra.
Oletetaan, että toinen alla olevista ehdoista on voimassa:
Tällöin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.
Jos on olemassa integroituva satunnaismuuttuja formula_40 siten, että formula_170 melkein varmasti kaikilla formula_67, niin raja-arvon ja ehdollisen odotusarvon järjestyksen voi vaihtaa.
Olkoon formula_61 jono satunnaismuuttujia. Myös mittateorian Fatoun lemma voidaan yleistää ehdolliselle odotusarvolle:
formula_173
ja
formula_174,
missä formula_90 on sigma-algebra.
Todennäköisyyslaskennassa suurten lukujen laeiksi kutsutaan riittäviä ehtoja sille, että satunnaismuuttujajonon keskiarvo suppenee (jollakin tavalla) kohti sen keskiarvon odotusarvoa. 
Jos kyseessä on erityisesti toistokoe, niin suurten lukujen lain voidaan tulkita ehdoksi sille, että kokeiden tulosten keskiarvo lähestyy kokeen odotusarvoa.
Suurten lukujen laista on olemassa useita matemaattisina teoreemoina todistettuja muunnelmia. Niistä vanhin on toistokokeita koskeva, Jakob Bernoullin todistama "Bernoullin lause": Oletetaan, että jos jokin toistokoe suoritetaan n kertaa ja joka kerta toisistaan riippumatta tietty tulos X saavutetaan tietyllä vakinaisella todennäköisyydellä P. Silloin jos ε on kuinka pieni positiivinen luku tahansa, niin todennäköisyys sille, että sellaisten kertojen suhteellinen osuus, joilla tulos X on saavutettu, poikkeaa P:stä enemmän kuin ε:n verran, lähestyy nollaa, kun n kasvaa rajatta. Toisin sanoen jos n on kaikkien toistokertojen lukumäärä ja x sellaisten, joilla tämä tulos on saatu, niin
formula_176,
kun formula_177.
Esimerkiksi rahan heitossa kruunien ja klaavojen suhteelliset frekvenssit lähestyvät todennäköisesti puolikasta ja toisiaan, kun rahan heittämistä jatketaan. Tosin heitettiinpä rahaa kuinka monta kertaa tahansa, aina on mahdollista sekin, että kaikilla kerroilla tulee kruuna tai kaikilla klaava; tällainen sattuma vain käy sitä epätodennäköisemmäksi, mitä useampia kertoja heitto toistetaan. Suurten lukujen laki ei myöskään tarkoita, että kruunien ja klaavojen lukumääräfrekvenssit lähestyisivät toisiaan. Suhteellisten frekvenssien lähestyminen ei edellytä tätä.
Jos satunnaismuuttujat formula_178, formula_67, ovat riippumattomia, samoin jakautuneita ja formula_180, niin jonon keskiarvo suppenee melkein varmasti kohti satunnaismuuttujien odotusarvoa, toisin sanoen 
formula_181
melkein varmasti kun formula_177.
Olkoot satunnaismuuttujat formula_178, formula_67, ovat riippumattomia, samoin jakautuneita, formula_185 ja formula_186. Tällöin
formula_187formula_188
heikon konvergenssin mielessä. Tässä siis formula_189 on standardinormaalijakauman kertymäfunktio. Tulos pätee myös lievemmällä oletuksella, jota kutsutaan "Lindebergin ehdoksi", nimetty suomalaisen matemaatikko J.W. Lindebergin mukaan. Hän todisti ehdon riittävyyden, mikä on kenties merkittävin yksittäinen suomalaisen matemaatikon tulos - kyseinen ehto on nimittäin myös 
välttämätön ehto lauseen pätemiselle, ja siten ratkaisu 1900-luvun alkupuolella vaikuttaneeseen keskeiseen raja-arvoprobleemaan.
Olkoon formula_61 jono riippumattomia satunnaismuuttujia. Merkitään äärettömän kaukaisista jonon formula_61 arvoista riippuvien tapahtumien sigma-algebraa symbolilla
formula_192.
Jos tapahtuma formula_193, niin
formula_194 tai formula_195.
Borelin–Cantellin lemma on erikoistapaus Kolmogorovin 0–1-laista.
Olkoon formula_196 jono riippumattomia tapahtumia. Tällöin
formula_197 tai formula_198.
Borelin–Cantellin lemmalla voidaan todistaa väite: "Jos apina paukuttaa kirjoituskoneella umpimähkäisesti äärettömän pitkään, kirjoittaa se lopulta kaikki Shakespearen teokset."