标题：大数定律
主要含义
大数定律(law of large numbers)，又称大数定理[1]​，是一种描述当试验次数很大时所呈现的概率性质的定律。但是注意到，虽然通常最常见的称呼是大数“定律”，但是大数定律并不是经验规律，而是严格证明了的定理。
有些随机事件无规律可循，但不少是有规律的，这些“有规律的随机事件”  数学家伯努利在大量重复出现的条件下，往往呈现几乎必然的统计特性，这个规律就是大数定律。确切的说大数定律是以确切的数学形式表达了大量重复出现的随机现象的统计规律性，即频率的稳定性和平均结果的稳定性，并讨论了它们成立的条件。[2]​
简单地说，大数定理就是“当试验次数足够多时，事件发生的频率无穷接近于该事件发生的概率”。该描述即伯努利大数定律。
主要含义
在随机事件的大量重复出现中，往往呈现几乎必然的规律，这个规律就是大数定律。通俗地说，这个定理就是，在试验不变的条件下，重复试验多次，随机事件的频率近似于它的概率。比如，我们向上抛一枚硬币，硬币落下后哪一面朝上本来是偶然的，但当我们上抛硬币的次数足够多后，达到上万次甚至几十万几百万次以后，我们就会发现，硬币每一面向上的次数约占总次数的二分之一。偶然必然中包含着必然。[3]​
发展历史
1733年，德莫佛—拉普拉斯在分布的极限定理方面走出了根本性的一步，证明了二项分布的极限分布是正态分布。拉普拉斯改进了他的证明并把二项分布推广为更一般的分布。1900年，李雅普诺夫进一步推广了他们的结论，并创立了特征函数法。这类分布极限问题是当时概率论研究的中心问题，卜里耶为之命名“中心极限定理”。20世纪初，主要探讨使中心极限定理成立的最广泛的条件，二三十年代的林德贝尔格条件和费勒条件是独立随机变量序列情形下的显著进展。 伯努利是第一个研究这一问题的数学家，他于1713年首先提出后人称之为“大数定律”的极限定理。
举例说明
例如，在重复投掷一枚硬币的随机试验中，观测投掷了n次硬币中出现正面的次数。不同的n次试验，出现正面的频率（出现正面次数与n之比）可能不同，但当试验的次数n越来越大时，出现正面的频率将大体上逐渐接近于1/2。又如称量某一物体的重量，假如衡器不存在系统偏差，由于衡器的精度等各种因素的影响，对同一物体重复称量多次，可能得到多个不同的重量数值，但它们的算术平均值一般来说将随称量次数的增加而逐渐接近于物体的真实重量。
常见大数定律
由于随机变量序列向常数的收敛有多种不同的形式，按其收敛为依概率收敛，以概率 1 收敛或均方收敛，分别有弱大数定律、强大数定律和均方大数定律。
常用的大数定律[3]有：伯努利大数定律、辛钦大数定律、柯尔莫哥洛夫强大数定律和重对数定律。
设有一随机变量序列，假如它具有形如（1）的性质，则称该随机变量服从大数定律（见左上方图片）。
伯努利大数定律:设μ_n为n重伯努利实验中事件A发生的次数，p为每次实验中A出现的概率，则对任意的ε>0，有（2）成立。
切比雪夫大数定律：设{X_n}为一列两两不相关的随机变量序列，若每个X_i的方差存在，且有共同的上界，即Var(X_i)小于或等于c,则{X_n}服从大数定律，即对任意的ε>0，（1）式成立。
马尔可夫大数定律：对随机变量序列{X_n}，若（3）成立，则{X_n}服从大数定律，即对任意的ε>0，（1）式成立。
辛钦大数定律：设{X_n}为独立同分布的随机变量序列，若X_i的数学期望存在，则{X_n}服从大数定律，即对任意的ε>0，（1）成立。
表现形式
大数定律有若干个表现形式。这里仅介绍高等大学概率论要求的常用的三个重要定律： 　
（一）切比雪夫大数定理
设 x_1, x_2, ..., x_n 是一列两两相互独立的随机变量，服从同一分布，且存在有限的数学期望 a 和方差σ2，则对任意小的正数 ε，满足公式一
  切贝雪夫大数定理
公式一
该定律的含义是：当n很大，服从同一分布的随机变量的算术平均数将依概率接近于这些随机变量的数学期望。 
将该定律应用于抽样调查，就会有如下结论：随着样本容量n的增加，样本平均数将接近于总体平均数。从而为统计推断中依据样本平均数估计总体平均数提供了理论依据。 
（二）伯努利大数定律
设μ是n次独立试验中事件A发生的次数，且事件A在每次试验中发生的概率为P，则对任意正数ε，有公式二
  贝努里大数定律
公式二
该定律是切贝雪夫大数定律的特例，其含义是，当n足够大时，事件A出现的频率将几乎接近于其发生的概率，即频率的稳定性。 
在抽样调查中，用样本成数去估计总体成数，其理论依据即在于此。
（三）辛钦大数定律
辛钦大数定律：常用的大数定律之一　
设{a i，i>=1}为独立同分布的随机变量序列，若Ai的数学期望存在，则服从大数定律:
即对任意的ε>0，公式三成立。
  
公式三
大数定律的四种证法
对于一般人来说，大数定律的非严格表述是这样的：X_1,...,X_n是独立同分布随机变量序列，均值为u，S_n=X_1+...+X_n，则S_n/n收敛到u. 
如果说“弱大数定律”，上述收敛是指依概率收敛(in probability)，如果说“强大数定律”，上述收敛是指几乎必然收敛(almost surely/with probability one)。
大数定律通俗一点来讲，就是样本数量很大的时候，样本均值和真实均值充分接近。这一结论与中心极限定理一起，成为现代概率论、统计学、理论科学和社会科学的基石之一，重要性在本人看来甚至不弱于微积分。（有趣的是，虽然大数定律的表述和证明都依赖现代数学知识，但其结论最早出现在微积分出现之前。而且在生活中，即使没有微积分的知识也可以应用。例如，没有学过微积分的学生也可以轻松利用excel或计算器计算样本均值等统计量，从而应用于社会科学。）
最早的大数定律的表述可以追溯到公元1500年左右的意大利数学家Cardano。1713年，著名数学家James (Jacob) Bernouli正式提出并证明了最初的大数定律。不过当时现代概率论还没有建立起来，测度论、实分析的工具还没有出现，因此当时的大数定律是以“独立事件的概率”作为对象的。后来，历代数学家如Poisson（“大数定律”的名字来自于他）、Chebyshev、Markov、Khinchin（“强大数定律”的名字来自于他）、Borel、Cantelli等都对大数定律的发展做出了贡献。直到1930年，现代概率论奠基人、数学大师Kolgomorov才真正证明了最后的强大数定律。
下面均假设X, X_1,...,X_n是独立同分布随机变量序列，均值为u。独立同分布随机变量和的大数定律常有的表现形式有以下几种。
初等概率论
(1). 带方差的弱大数定律：若E(X^2)小于无穷，则S_n/n-u依概率收敛到0。
证明方法：Chebyshev不等式即可得到。这个证明是Chebyshev给出的。
(2). 带均值的弱大数定律：若u存在，则S_n/n-u依概率收敛到0。
证明方法：用Taylor展开特征函数，证明其收敛到常数，得到依分布收敛，然后再用依分布收敛到常数等价于依概率收敛。
现代概率论
(3). 精确弱大数定律：若xP(|X|>x) 当x趋于无穷时收敛到0，则S_n/n-u_n依概率收敛到0，其中u_n=E[X 1_{|X|<n}]. （在这个定理里，不需要u存在。）
证明方法：需要用到截断随机变量 X 1_{|X|<n}. 然后要用的三角阵列的依概率收敛定理和Fubini定理分析积分变换。
(4). 带4阶矩的强大数定律：若E(X^4)小于无穷，则S_n/n-u几乎必然收敛到0.
证明方法：与(1)类似，先用Chebyshev不等式。然后因为4阶矩的存在，得到P(S_n>nt)对任意常数t的收敛速度足够快，满足Borel-Cantelli的要求，用Borel-Cantelli引理得到大数定律。
(5). 带方差的强大数定律：若E(X^2)小于无穷，则S_n/n-u几乎必然收敛到0.
证明方法：用Kolgoromov三级数定理和Kronecker引理。
(6). 精确强大数定律：若u存在，则S_n/n-u几乎必然收敛到0.
证明方法：这个大数定律的证明确实有几种不同的方法。最早的证明是由数学大师Kolgoromov给出的。Durrett (2010)的书上用的是Etemadi (1981)的方法，需要截断X，用到现代概率论的知识如Borel-Cantelli引理、Kolgomorov三级数定理、Fubini定理等。（感谢读者指出，Durrett的书在倒向鞅一章中给出了大数定律的倒向鞅方法证明，只需要用到倒向鞅的知识和Hewitt-Savage 0-1律，不过这也是现代概率论的知识。）
此外，还有很多不同的大数定律，不同分布的，不独立的序列等。定律也不一定是关于随机变量的，也可以是关于随机函数的，甚至随机集合的等等。以数学家命名的也有Khinchin大数定律(不独立序列的强大数定律)、Chebyshev大数定律(弱大数定律(1))、Poisson大数定律(不同概率的随机事件序列的大数定律)、Bernoulli大数定律(随机事件的大数定律)、Kolgomorov大数定律(强大数定律(6))等等……
以上(1-6)是常见的独立同分布序列的大数定律。其中，(3)和(6)是最严格也是最精妙的结果，证明所涉及的高等概率论知识也最多。它们成立的条件不仅是充分条件，也是必要条件，因此它们算是完结了大数定律的发展。大数定律的发展符合数学的一般规律：想证明某一结论，条件越弱（弱大数定律：2阶矩条件->1阶矩条件->没矩条件；强大数定律：4阶矩条件->2阶矩条件->1阶矩条件），证明也就变得越难。
虽然只有(3)和(6)是最精确的结果，但是必须认识到，数学的发展是一个循序渐进的过程，如果没有前面那些更强条件下的定理，也无法得到最后的大数定律。从最开始的自然界观察到大数定律的存在，到最后证明最终形式，历时数百年，现代概率论也在这个过程中建立起来。此外，虽然(3)和(6)比前面的(1)和(5)强很多，但是(1)和(5)的条件仅仅是2阶矩（或方差）的存在，因此他们在几百年间早就被广泛使用，对于一般的社会科学问题、统计问题等已经足足够用了。
总之，大数定律包含概率论里核心的知识。“大数定律的四种证法”尽管表述模糊，原意也充满调侃，但并不是真如《孔乙己》里"回字四种写法"所暗示的那样迂腐或毫无价值。作为概率或统计专业的研究生，弄懂这些定理表述的区别和证明方法的区别和联系，了解前代数学家的工作，对于深刻理解现代概率论是很有好处的。当然，任何人也不应去死记硬背这些证法（我自己也记不住这些证法），只要能理解、弄清其中微妙即可。
相关数学家
拉普拉斯拉普拉斯,1749年3月23日生于法国西北部卡尔瓦多斯的博蒙昂诺日，曾任巴黎军事学院数学教授，1795年任巴黎综合工科学校教授，后又在高等师范学校任教授。1799年他还担任过法国经度局局长，并在拿破仑政府中任过6个星期的内政部长，1816年被选为法兰西学院院士，1817年任该院院长，1827年3月5日卒于巴黎。 
拉普拉斯在研究天体问题的过程中，创造和发展了许多数学的方法，以他的名字命名的拉普拉斯变换、拉普拉斯定理和拉普拉斯方程，在科学技术的各个领域有着广泛的应用。[4]​德莫佛德莫佛，法文原名 Abraham de Moivre，（1667.05.26法国-1754.11.27英国伦敦），法国数学家。德莫佛对数学最著名的贡献是德莫佛公式（de Moivre Formula）和德莫佛-拉普拉斯中心极限定理，以及他对正态分布和概率理论的研究。德莫佛还写了一本概率理论的教科书，The Doctrine of Chances，据说这本书被投机主义者（gambler）高度赞扬。德莫佛是解析几何和概率理论的先驱之一；他还最早发现了一个二项分布的近似公式，这一公式被认为是正态分布的首次露面。[5]​