Suurten lukujen laki
Suurten lukujen laki on toden­näköisyys­laskennan tulos, joiden mukaan sellaisten satunnais­muuttujien jonon keski­arvo, joilla on sama odotusarvo, voidaan tietyin edellytyksin ja tietyssä mielessä sanoa suppe­ne­van kohti niiden odotus­arvoa, kun satunnais­muuttujien luku­määrä kasvaa rajatta. Erityisesti toisto­kokeessa, jossa tietty tulos saadaan joka kerta yhtä suurella toden­näköisyydellä, tällaisten tulosten suhteellinen osuus kaikista koe­tuloksista lähestyy tämän toden­näköi­syyden osoittamaa lukua, kun toistojen luku­määrä kasvaa.
Suurten lukujen lailla on suuri käytännöllinen merkitys, koska se käytännössä "takaa", että satunnaisten ilmiöiden esiintymis­tiheys pitkällä aikavälillä voidaan ennustaa. Esimerkiksi vaikka pelikasino voikin menettää rahaa jollakin kerralla, kun rulettia pelataan, suurella määrällä pelikertoja sen kokonais­voitto voidaan kutakuinkin varmasti ennustaa. Niinpä jollekulle pelaajalle maksettavan voiton korvaavat kasinon pitäjän kannalta käytännössä varmuudella muiden pelaajien maksamat pelimaksut. Yhdessä keskeisen raja-arvolauseen kanssa suurten lukujen laki muodostaakin perustan koko matemaattiselle tilastotieteelle.
Nimensä mukaisesti suurten lukujen laki kuitenkin pätee vasta, kun käsitellään "suurta määrää" havaintoja. Ei ole olemassa sellaista säännön­mukaisuutta, jonka mukaan jo pienellä määrällä havaintoja tulosten keskiarvon pitäisi vastata kunkin kerran odotus­arvoa tai että satunnaista poikkeamaa keskiarvosta pitäisi välittömästi "tasa­painottaa" seuraavan kerran tulos. Virheellistä kuvitelmaa, että sellainen säännön­mukaisuus olisi olemassa, sanotaan pelurin virhepäätelmäksi.
Esimerkiksi heitettäessä tavallista kuusisivuista noppaa yhden kerran saadaan jokin luvuista 1, 2, 3, 4, 5 tai 6, jokainen yhtä suurella todennäköisyydellä (edellyttäen ettei noppa ole "painotettu"). Näin ollen nopanheiton tuloksen odotusarvo on
Suurten lukujen laista seuraa, että jos noppaa heitetään hyvin monta kertaa, heittojen tulosten keskiarvo on todennäköisesti lähellä lukua 3,5, sitä tarkemmin, mitä useampia kertoja noppaa heitetään.
Suurten lukujen laista seuraa, että onnistuminen empiirinen todennäköisyys sarjassa Bernoullin kokeita suppenee kohti teoreettista todennäköisyyttä. Bernoullin satunnaismuuttujan odotusarvo on sama kuin onnistuminen teoreettinen todennäköisyys, ja kun sellaisia satunnaismuuttujia on "n" kappaletta ja ne ovat riippumattomat ja identtisesti jakautuneet, niiden keskiarvo lähestyy tätä arvoa.
Esimerkiksi kolikon heittäminen on Bernoullin koe. Kun "painottamatonta" kolikkoa heitetään kerran, teoreettinen todennäköisyys saada kruuna on 1/2. Niinpä suurten lukujen lain mukaan suuressa määrässä kolikonheittoja kruunien suhteellisuuden osuuden pitäiisi olla noin 1/2. Erityisesti kruunien osuus "n" heiton jälkeen suppenee melkein varmasti kohti arvoa 1/2, kun "n" kasvaa rajatta.
Vaikka kruunien ja myös klaavojen suhteellinen osuus lähestyy arvoa 1/2, samoin ei ole kruunien ja klaavojen lukumäärän "erotuksen" laita. Päin vastoin, se kasvaa itseisarvoltaan melkein varmasti. Toisin sanoen todennäköisyys sille, että näiden lukumäärien erotus olisi itseisarvoltaan tietyn rajan alapuolella, lähestyy nollaa heitotjen lukumäärän kasvaessa. Melkein varmasti myös tämän erotuksen suhde heittojen lukumäärään lähestyy nollaa. Tämä lukumäärien erotus kasvaa kuitenkin hitaammin kuin kaikkien heittojen lukumäärä.
Italialainen matemaatikko Gerolamo Cardano (1501–1576) väitti ilman todistusta, että empiiristen tilastojen pätevyydellä on taipumus kasvaa otoskoon kasvaessa. Tämä väite muotoiltiin sittemmin suurten lukujen laiksi. Jakob Bernoulli todisti suurten lukujen lain erikois­tapauksessa, joka koskee kaksiarvoisia satunnais­muuttujia. Häneltä kesti yli 20 vuotta kehittää väitteelle riittävän täsmällinen matemaattinen todistus, jonka hän julkaisi teoksessaan "Ars Conjectandi" vuonna 1713. Hän nimitti sitä "kultaiseksi teoreemaksi", mutta nykyisin se tunnetaan Bernoullin lauseena. (Sitä ei pidä sekoittaa Jakob Bernoullin veljenpojan, Daniel Bernoullin mukaan nimettyyn Bernoullin lakiin fysiikassa.) Vuonna 1837 S. D. Poisson kuvaili tulosta tarkemmin ja antoi sille nimen "suurten lukujen laki" (). Tämän jälkeen tulos tunnettiin molemmilla nimillä, mutta "suurten lukujen laki" on yleisemmin käytetty.
Bernoullin ja Poissonin todistettua tuloksensa muut matemaatikot kuten Pafnuti Tšebyšov
, Markov, Borel, Cantelli ja Kolmogorov kehittivät vahvempia tuloksia, kunnes lopulta Aleksandr Khintšin lopulta esitti suurten lukujen laille todistuksen, joka pätee mielivaltaisille satunnaismuuttujille. Nämä myöhemmät tutkimukset ovat johtaneet ennen kaikkea kahteen huomattavaan suurten lukujen lain muotoiluun. Toista sanotaan "heikoksi", toista "vahvaksi" laiksi, mitkä viittaavat kahteen erilaiseen tilastollisen suppenemisen muotoon. Kuten jäljempänä osoitetaan, heikko laki on samalla vahvan lain looginen seuraus.
Seuraavassa käsitellään lähinnä kahta suurten lukujen lain muotoilua, "heikkoa" ja "vahvaa" suurten lukujen lakia, sekä heikon lain erikois­tapauksena myös Bernoullin lausetta. Lisäksi mainitaan "uniforminen" suurten lukujen laki ja "Borelin suurten lukujen laki."
Lain kaikki versiot ilmaisevat matemaattisesti eri tavoin täsmennettynä periaatteen, että otoksen
keskiarvo suppenee suurella toden­näköisyydellä kohti odotusarvoa
kun "X", "X", ... on päättymätön jono riippumattomia ja samoin jakautuneita satunnaismuuttujia, joiden odotusarvo on E("X" = E("X") = ...= "µ". 
Oletetaan, että funktiot "X" ovat integroituvia Lebesguen mielessä, jolloin satunnaismuuttujilla on odotusarvo ja se on äärellinen.
Sen sijaan suurten lukujen laki ei välttämättä edellytä, että näillä satunnaismuuttujilla on myös äärellinen varianssi Var("X") = Var("X") = ... = "σ" < ∞. Hyvin suuri tai ääretön varianssi tekee suppenemisen hitaaksi, mutta suurten lukujen laki silti pätee. Tämä oletus kuitenkin usein tehdään, koska todistus on silloin helpompi ja lyhempi.
Vahva ja heikko laki eroavat toisistaan siinä, mitä suppenemisen tilastollisessa mielessä katsotaan merkitsevän.
Heikko suurten lukujen laki eli Khintšinin laki sanoo, että otoksen keskiarvo konvergoi stokastisesti kohti odotusarvoa. Jos "X", "X", ... "X" on joukko pareittain riippumattomia, samoin jakautuneita satunnaismuuttujia, joilla on sama odotusarvo "EX = μ ja varianssi DX = σ ja niiden keskiarvolle käytetään merkintää formula_4, niin
Tämä merkitsee, että jokaiselle positiiviselle luvulle "ε" pätee:
Tulos merkitsee oleellisesti, että valittiinpa mieli­­valtainen kuinka pieni positiivinen reaaliluku tahansa tarpeeksi suurella otoksella todennäköisyys, että havaintojen keskiarvo poikkeaa odotus­arvosta enemmän kuin tämän luvun verran eli jää sen välin ulkopuolelle, joka ulottuu odotus­arvosta kyseisen luvun verran kumpaankin suuntaan, lähestyy nollaa.
Tätä "stokasista kongergenssia" eli suppenemista "in probability" (i.p.) sanotaan myös satunnais­muuttujan "heikoksi konvergenssiksi". Tätä suurten lukujen lain muotoa sanotaan heikoksi, koska satunnais­muuttujat voivat supeta heikosti ("in probability") tässä selitetyllä tavalla, vaikka ne eivät suppenisikaan "vahvasti" ("melkein varmasti") jäljempänä selitetyllä tavalla.
Bernoullin lause on suurten lukujen lain kauimmin tunnettu muoto ja itse asiassa heikon suurten lukujen lain erikoistapaus. Se koskee toistokokeita, joissa on vain kaksi mahdollista tulosta: jokin "suotuisa" tulos joko saadaan tai ei. Bernoullin lause sanoo, että jos tällainen koe suoritetaan "n" kertaa ja joka kerta tämä suotuista tulos tietyllä toden­näköisyydellä "p", toistokertojen lukumäärän kasvaessa toden­näköisyys, että sellaisten kertojen suhteellinen osuus, jolloin tämä tulos saadaan, poikkeaa "p":stä enemmän kuin annetun vakion "ε" verran, lähestyy nollaa. Toisin sanoen:
Tällaisen toistokokeen suoritus­kerta voidaan nimittäin käsittää diskreetiksi, Bernoullin jakaumaa noudattavaksi satunnais­muuttujaksi, joka voi saada vain kahta arvoa. Jos toista niistä merkitään luvulla 1, toista luvulla 0, ja arvo 1 saadaan joka kerta toden­näköisyydellä "p", tämän satunnais­muuttujan odotus­arvo on "p".
Vahva suurten lukujen laki sanoo, että samoilla ehdoilla otoksen keskiarvo 
suppenee melkein varmasti (, lyh. "a.s.") kohti odotusarvoa. Jos "X", "X", ... "X" on joukko pareittain riippumattomia, samoin jakautuneita satunnaismuuttujia, joilla on sama odotusarvo "EX = μ ja varianssi DX = σ ja niiden keskiarvolle käytetään merkintää formula_4, niin
Toisin sanoen jono {"X"} suppenee perusjoukon jokaisella alkeistapauksella lukuun ottamatta mahdollisesti tapahtumaa, jonka todennäköisyys on nolla, eli
Tämän todistus on monimutkaisempi kuin heikon lain. Laki oikeuttaa (Lebesguen mielessä integroituvien) satunnais­muuttujien tapauksessa odotusarvon intuitiivisen tulkinnan "pitkän aikavälin keskiarvona."
Melkein varmaa konvergenssia sanotaan myös satunnais­muuttujan vahvaksi konvergenssiksi. Tätä versiota sanotaan "vahvaksi laiksi", koska jokainen satunnais­muuttujien joukko, joka suppenee vahvasti (melkein varmasti), suppenee myös heikosti ("in probablity"). Vahvasta laista seuraakin heikko laki, mutta ei päin vastoin. Kun vahvan lain edellytykset täyttyvät, satunnais­muuttuja suppenee sekä vahvasti (melkein varmasti) että heikosti ("in probability").
Matemaatikkojen keskuudessa on esitetty näkemyksiä, että molemmat lait olisi yhdistettävä ja että heikolla suurten lukujen lailla sellaisenaan on vain vähän mielenkiintoa. Molemmille laeille on kuitenkin olemassa yleistyksiä, jotka osoittavat niiden pätevän tietyillä edellä esitettyjä yleisemmilläkin edellytyksillä. On sellaisiakin tapauksia, joissa heikon lain tulos pätee, mutta vahvan ei.
Vahvan suurten lukujen lain laajin yleistys on Kolmogorovin lause, joka on samalla
välttämätön ehto satunnais­muuttujien keskiarvon melkein varmalle kongervenssille.
Jos "X", "X", ... "X" on joukko pareittain riippumattomia, samoin jakautuneita satunnais­muuttujia, joilla on sama odotusarvo "EX = μ, niin
jos ja vain jos odotusarvo "EX = μ on olemassa.
"Heikko laki" sanoo, että annetulle suurelle luvulle "n" keskiarvo formula_12 on toden­näköisesti lähellä arvoa μ Se jättää siis avoimeksi, voiko tapahtuma, jossa formula_13, sattua vaikka äärettömän monta kertaa, joskin pitkin väliajoin.
"Vahva laki" osoittaa, että niin melkein varmasti ei tapahdu. Erityisesti siitä seuraa, että todennäköisyydellä 1 jokaiselle epäyhtälö formula_14 pätee kaikilla riittävän suurilla arvoilla "n".
Seuraavissa tapauksissa vahva suurten lukujen laki ei päde, heikko laki kylläkin.
1. Olkoon x eksponentti­jakautunut satunnais­muuttuja parametrin arvolla 1. Silloin siitä johdetun satunnaismuuttujan :formula_15 odotusarvo on
2. Olkoon x geometrisesti jakautunut satunnaismuuttuja parametrin arvolla 0,5. Silloin on
3. formula_18
Olkoon "f"("x","θ") jokin joukossa Θ määritelty jatkuva funktio. Olkoon lisäksi jokaisella arvolla formula_20 jono {"f"("X","θ"), "f"("X","θ"), …} 
sellainen jono riippumattomia ja samoin jakautuneita satunnais­muuttujia, että tämä jono konvergoi stokastisesti ("in probability") kohti arvoa to E["f"("X","θ")]. Tällaista sanotaan "pisteittäiseksi" konvergenssiksi Θ:ssa.
Uniforminen suurten lukujen laki osoittaa ehdot, joilla tämä suppeneminen tapahtuu tasaisesti joukossa Θ. Jos
melkein kaikilla arvoilla "x" ja se on jokaisella θ:n arvolla "x":n mitallinen funktio
Silloin E["f"("X","θ")] on jatkuva joukossa "Θ", ja
Tulos on käyttökelpoinen laajojen estimaattorien luokan johtamisessa.
Borelin suurten lukujen laki, joka on nimetty Émile Borelin mukaan, sanoo, että jos jokin koe toistetaan suuri määrä kertoja, toisistaan riippumatta saman­laisissa olosuhteissa, niiden kertojen lukumäärä, jolloin tietty tapahtuma esiintyy, on liki­pitäen yhtä suuri kuin tapahtuman todennäköisyys kullakin kerralla; mitä suurempi toistojen lukumäärä on, sitä parempi likiarvo saadaan. Tarkemmin sanottuna, jos "E" merkitsee kyseistä tapahtumaa, "p" sen toden­näköisyyttä ja "N"("E") niiden kertojen lukumäärää, joilla tapahtuma "E" sattuu "n" ensimmäisen toisto­kerran aikana, niin toden­näköisyydellä 1 pätee:
Tämä voidaan todistaa Tšebyšovin epäyhtälön avulla: Olkoon "X" satunnaismuuttuja, jolla on äärellinen odotusarvo "μ ja äärellinen nollasta poikkeva varianssi "σ. Silloin jokaiselle
reaali­luvulle pätee
Tulos vahvistaa intuitiivisen käsityksen toden­näköisyydestä tapahtuman esiintymisen pitkäaikaisena suhteellisena frekvenssinä. Se on erikois­tapaus useista toden­näköisyys­teoriassa esiintyvistä yleisimmistä suurten lukujen lain versioista.
Olkoon "X", "X", ... on päättymätön jono riippumattomia ja samoin jakautuneita satunnais­muuttujia, joiden odotus­arvo on "E(X"")" = "E(X"")" = ... = μ < ∞. Tutkitaan otoksen keskiarvon
suppenemista. Heikko suurten laki merkitsee tällöin seuraavaa:
formula_27
Tämä todistus edellyttää, että satunnais­muuttujilla on äärellinen varianssi formula_28 (kaikilla formula_29). Satunnais­muuttujien riippumattomuus merkitsee, ettei niiden välillä ei ole korrelaatiota, ja tällöin on
Sarjan yhteinen keskiarvo μ on otoksen keskiarvon odotusarvo:
Soveltamalla Tšebyšovin epäyhtälöä keskiarvoon formula_32 saadaan:
Tästä seuraa edelleen:
Kun "n" kasvaa rajatta, tämä lauseke lähestyy arvoa 1. Stokastisen konvergenssin ("in probability") määritelmän mukaan tämä osoittaa, että
M.O.T..
Kompleksifunktioita koskevan Taylorin lauseen mukaan minkä tahansa satunnais­muuttujan "X" karakteristinen funktio äärellisellä keskiarvolla μ voidaan kirjoittaa muotoon
Kaikilla satunnais­muuttujilla "X", "X", ... on sama karakteristinen funktio, joten käytetään sille yksinkertaisesti merkintää "φ".
Karakteristisen funktion perusominaisuuksiin kuuluu, että
Näiden sääntöjen avulla voidaan laskea keskiarvon formula_38 karakteristinen funktio "φ":n avula:
Raja-arvo  "e"  on vakioarvoisen satunnaismuuttujan μ karakteristinen funktio, ja näin ollen Lévyn jatkuvuuslauseen mukaan formula_40 lähestyy rajajakaumaa μ:
Tässä μ on vakio, mistä seuraa, että jakaumakonvergenssi kohti μ:tä ja stokastinen konvergenssi kohti μ:tä ovat yhtäpitäviä ominaisuuksia. Sen vuoksi
Tämä osoittaa, että otoksen keskiarvo konvergoi stokastisesti kohti karakteristisen funktion derivaattaa origoissa niin kauan kuin sellainen on olemassa.