中心極限定理の歴史

2009 年 6 月 8 日

目次
1

中心極限定理って何？

12

ド・モアブルから始めに

23

ラプラス博士の結果

34

もし、あのガウスがいなければ．．．

55

ロシアの確率論研究者たち

56２０世紀前半の研究

67

レビとフェラー77.1

レビ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

7.2

フェラー . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8用いる記号；• 確率変数列 X1 , X2 , X3 , · · ·• 和 Sn = ∑in=1 Xi• もし Xi の分散 σi2 < ∞ ならば、s2n = ∑in=1 σi2 とおく。
√
• X の特性関数 ϕ(t) = E(eitX ), i = −1

1 中心極限定理って何？
中心極限定理（ちゅうしんきょくげんていり、英:central limit theorem）CLT とは、確率論・統計学における極限定理の一つで、次のように表現されている。

• どんな確率分布でも、同じ物をたくさん集めて平均を取ると正規分布になる.
• 一言でいうと、誤差の集積の分布は正規分布に近づくというのがその内容である。
• 互いに独立で同一の確率分布に従うような確率変数の標本平均の分布は、正規分布に収束する.
• 母集団分布が正規分布でなくても，標本が大きくなると標本平均値の分布は次第に正規分布に近づく.
1• 正規母集団以外であっても，その母平均，母分散をそれぞれ µ，σ2 として， 大きさ n 個の標本平均値の分布が漸近的に正規分布 N (µ, σ2 /n) になる.

• どんな分布をする集団でも半ば強引に正規分布にしてしまえるこの定理は統計学において極めて重要なもので、ノンパラメトリック (分布に関するパラメータを使わない) を称する検定の多くも統計量が漸近的に正規分布することを利用していたりします.

• 中心極限定理とは、標本の平均の分布が正規分布に近づくということを表した定理です. 元の集団が正規分布ではなくても、標本数が多くなるにつれ、その標本の平均の分布は正規分布に近づきます。

• 平均 µ、分散 σ2 の任意の確率分布にしたがう母集団から無作為抽出（ランダムにとりだすこと）したn 個の標本からの標本平均 x 自体の分布は、n → ∞ のとき、平均 µ、分散 σ2 /n の正規分布になる。
元の分布が正規分布である場合には、n → ∞ の条件を必要としない。例えば、 N (µ, σ2 ) の正規母集団からの標本平均（標本数 n）の分布は N (µ, σ2 /n) になる。正規分布でない一般の分布の場合には、これが中心極限定理として近似的に成立する。母集団の分布は同じものであれば任意でよい（正規分布でなくてもよい）。サンプル数 n が大きくなればなるほど、σ2 /n は小さくなる。したがって、標本平均 xが µ に近い確率が高い。

• 大数の法則によると、ある母集団から無作為抽出された標本平均はサンプルのサイズを大きくすると真の平均に近づく。これに対し中心極限定理は標本平均と真の平均との誤差を論ずるものである。多くの場合、母集団の分布がどんな分布であっても、その誤差はサンプルのサイズを大きくしたとき近似的に正規分布に従う。なお、標本の分布に分散が存在しないときには、極限が正規分布と異なる場合もある。統計学における基本定理であり、例えば世論調査における必要サンプルのサイズの算出等に用いられる。出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2009/0 4/25 12:17 UTC 版)• 標本数が大きくなると標本の分布型によらず，母集団の平均値は正規分布することではありません。いくらたくさん標本をとったところで，ランダム標本を元に戻しながら繰り返して抽出した場合（復元無作為抽出）には、母集団の性質が変わることはありません。中心極限定理とは、どんな母集団からでも無作為抽出され標本サンプルを整理して作った標本平均の分布が正規分布に近づくということです。たとえば一様分布する母集団から標本を得る場合も，対数正規分布に従う母集団から標本を得る場合も，母集団が変化することではなく、その標本の平均値（標本平均、標本の平均値とは算術平均値の意味）が正規分布に従うということです.

• 元の分布が何であれ、 そこからサンプリングされた標本の平均値は正規分布に従って分布する。にわかには信じがたい話だ.
基礎キーワード：
確率変数、確率分布、標本平均、二項分布、正規分布、確率収束、分布収束特性関数、極限定理

2 ド・モアブルから始めにド・モアブル Abraham De Moivre(1667-1754) の歴史的なＣＬＴへの貢献は、現在は「二項分布の正規近似」とよばれる。ド・モアブルは 1730 年、”Miscellanea Analytica”での研究題目として出版されている。

1733 年”Document of Chance”での結果を現代形で表現するとつぎのようになる：

2

確率変数が二項分布にしたがうとき、X ∼ Bin(n, p) のとき、

( )n x n− xP( X = x ) =p qxx = 0, 1, 2, · · · , n に対して、このとき(1 x − np( )√n x n− x
1 − 2 √npq
npqp qu√ ex2π)2

ただし q = 1 − p となる。二項分布の密度と正規分布での密度関数との関係式が示されている。

2 項分布 Bin(5, 1/2),Bin(20, 1/2) と正規分布について、数値計算の結果: 「表計算ソフト」でグラフを描いたもの。

0.40.90.350.80.3

0.7

0.5

0.2

0.4

0.5

0.4

0.45
0.4

0.35

0.6

0.25

0.45

0.35

0.3

二項
正規

0.3
0.25
0.25
0.2

0.15

0.3

0.2
0.15

0.1

0.15

0.2
0.1

0.05

0.1

0.1
0.05

0001

2

34

二項
正規

0.05
00

5

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

3 ラプラス博士の結果
ラプラス (Pierre Simon de Laplace), 1749-1827 フランスの革命期の数学者、天文学者。数学特に解析学の多くの分野に大きな業績を残したが、古典確率論の大成はその貢献の一つである。

1810 年の前まで、算術平均の分布については、有限なサポート（支持集合上）で考察され、かなり複雑な結果となっていた。たとえば、整数の集合 {− a, − a + 1, · · · , 0, 1, 2, · · · , a − 1, a} 上での一様分布する離散型確率変数に対して、P ( Sn = s ) ={ここで A(s) =i; 0 ≤ i ≤( )()n + s + na − 1 − (2a + 1)i
1i n(−1)
in−1(2a + 1)n i∈∑A(s)[ s + na ]}2a + 1とする。より簡単な近似が求められ、ラプラスの結果が得られている。ラプラスはド・モアブルの仕事を、有限な平均と分散をもつ任意の確率変数の和の場合へと拡張した。

1810 年、彼はある学会誌につぎのような命題を述べて証明を与えている。
定理 3.1 集合 {− a, · · · , 0, · · · , a′ } 上に値をとる整数値確率変数 X は確率密度 f
きな数 n に対して、和 Sn = ∑i Xi は近似的に正規分布にしたがう。

3(xa + a′)をとるならば、大ラプラスはこのような離散型 CLT の場合に厳密な証明を与えている。その方法は特性関数 E(eitX ) と逆確率の公式を用いた。そのアイデアは、まず E(eitX ) の展開を求め、

ϕ(t) = E(eitX ) = 1 + itE( X ) −t2
E ( X 2 ) + o ( t2 )2

この両辺に自然対数関数 ln をとると、lnϕ(t) = itE( X ) −σ2 2t + o ( t2 )2を得、ϕn (t) は ∑in=1 Xi に対応し、逆確率の公式から

1 ∫ π −it(s+µ) neϕ (t)dt2π −π√2 2e−it(s+µ) ϕn (t) = e−its+it(nE(X )−µ)−nσ t /2+··· ここで s は高々 n の次数であり、µ = nE( X ) を代入すれば、P ( Sn = s + µ )P(Sn − nE( X ) = s)=∫π2 21e−its−nσ t /2+··· dt2π −π∫1 −s2 /(2nσ2 ) π −nσ2 (t+is/(nσ2 ))2 ···udtee
2π−π∫ −π √nσ√2122√ e−s /(2nσ )=e−(z+is/( nσ)) /2 dz√
2π nσ−π nσ122= √e−s /(2nσ )
2πnσ=

式変形には、より高次な次数をもつ項を無視している。つまりこの結果は Sn − nE( X ) は漸近的に正規分布N (0, nσ2 ) に従うことを示している。
ラプラスは 2 つの拡張を述べた。
１．極限分布には領域の上限下限の値 − a, a には依存していないから、結論は無限の支持集合に対する離散型分布であってもモーメントが存在するならば、やはりは正しい。
２．有界な支持集合に対する連続型確率変数であっても、やはり結果は成り立つという証明を与えた。さらに無限の支持集合へと拡張し、ついには任意の分布に対しても成り立つことを示した。この結果は一般に正しいことであるが、彼は少し触れただけで、厳密な証明は与えていない。それにも係らず、多くの人たちは古典的な独立同一分布における CLT の功績はラプラスによるものとしている。
定理 3.2 確率変数列 X1 , X2 , · · · , は独立、同一分布にしたがい、有限な平均 µ と分散 0 < σ2 < ∞ をもつな
らば、

∑in=1 Xi − nµ√→ N (0, 1)nσ(n → ∞)いいかえると、t について一様に(P∑in=1 Xi − nµ√≤tnσ)→∫ t−∞

21√ e− x /2 dx2π

Billingsley(1995) では、この結果は Lindeberg と Levy によるものとしている。

4

4 もし、あのガウスがいなければ．．．
ガウス (Karl Friedrich Gauss), 1777-1855 ドイツの数学者、物理学者、天文学者。幼少時より天才の誉れ高く、数学・物理学に巨大な功績を残しているが，この統計学の分野では正規分布の発見がある。Gauss は1809 年、正規密度

1 − t2eを論文『天体運行論』で導いている。正規分布を２項分布の極限として，ラプラスπが導いた方法とは全く異なり，天体観測の誤差測定を解析し，変動があり得る状況から，微分方程式をたてて，正規分布を導いている。有名な著書「誤差論」での「円錐曲線で太陽の回りを回る天体の運動理論 − − −

多くの観測結果にもっともよく合う軌道の決定 − − −」という論文である。よく知られた密度関数 φ( x ) をφ′ ( x )= ax ( a : constant) の導出から示した。ガウスの導き方は全く初等的で、微積分しか使っφ( x )ていない。この誤差の解析のために関数形を決定するために、要請 (1) 小さい誤差は大きい誤差より起こり易

微分方程式

い。要請 (2) 非常に多き誤差はめったに起こらない、起こりにくい。要請 (3) 同じ大きさの正負の誤差は同じ程度で起こる。というものである。この３要請から正規分布の密度関数形を導いている。ガウスによる結果の公表は慎重的なことから、12 年、30 年後になるが、ラプラス博士に与えた衝撃は計り知れないほど大きなものであったことに違いはない。

1809 年にガウスは Theoria motus（『天体運行論』）のなかで彼の主要な研究であった最小二乗法のふるまいについて記す。これは現在の科学ではほぼすべての分野でデータを取る際に、誤差修正法として用いられている。また、最小二乗法の正確さを正規分布に基づいて表現できることを証明した。これについての論文は1805 年にアドリアン＝マリ・ルジャンドルが発表していたが、ガウスはこの理論に 1795 年には到達していた。
（Wikipedia より）

Stingler(1986) によれば、ラプラスが e−t を密度関数の曲線として考えている形跡は見当たらないという。
21810 年 4 月ガウスの仕事に出会ったとき、極めて大きな驚きを示したと想像する。彼によれば、「ラプラスは出版している研究論文誌に間に合うようこの事を書き急いだ。この本でガウスの結果を引証し、これからは極限定理をより使いやすい形式で研究していく」と議論している。
これまでにおける成果の追加：

Poisson(1824) はラプラスのＣＬＴの結果を改良し拡張した。独立同一分布に対する変数に対して、まず和について、つぎに線形結合について証明をおこなった。さらに異なった分布の変数和についても拡張している。またコーシー分布については中心極限定理が成り立たないことも指摘している。

Bessel(Friedrich Wilhelm Bessel 数学者、天文学者、(22 July 1784 - 17 March 1846)) はラプラス、ポアソンに引き続いて、研究していて、Dirichlet の不連続性因子を証明に使った。

Cauchy(1853)（Augustin Louis Cauchy (21 August 1789 - 23 May 1857、解析学の分野に対する多大な貢献から「フランスのガウス」と呼ばれることもある。天文学、光学、流体力学などの貢献も多い）は特性関数と逆定理を用い、有限の支持集合で対称な密度関数をもつ独立同一分布の連続な変数で証明した。

5 ロシアの確率論研究者たち
いままでの成果で欠けていた要素を 3 つ挙げる：

1. 支持集合が無限の場合に対する分布に定理は証明できるか？
2. 定理が成り立つようなモーメントに関する条件は何か？

5

3. 残差と標本数の評価はどうか？つまり収束の速さを求めたい。
これらの問題は 1870-1910 年ごろ、ロシア確率研究者 (Chebyshev,Liapounov,Markov) によって解かれた。

(１) チェビシェフとマルコフによるモーメント法
チェビシェフ Pafnuty Lvovich Chebyshev、1821 年 5 月 16 日 - 1894 年 12 月 8 日は、ロシアの数学者。
名前は Chebychev、Chebyshov、Tchebycheff、Tschebyscheff などと記される。日本語表記もチビショフ、シェビチェフなど。ロシアの数学の父とも言われている。
マルコフ Andrey (Andrei) Andreyevich Markov、1856 年 6 月 14 日 - 1922 年 7 月 20 日確率過程論に関する業績で知られ、研究成果は、後にマルコフ連鎖として広く知られている。
モーメント法をもちいると、Sn /sn の任意次数のモーメントが正規分布におけるモーメントに n → ∞ に近づくならば t について一様にP(Sn /sn ≤ t) →∫ t21√ e− x /2 dx−∞
2π(２) リアプノフによる特性関数の方法
アレクサンドル・リャプノフ（Aleksandr Lyapunov、1857 年 6 月 6 日- 1918 年 11 月 3 日)、数学者、物理学者。Ljapunov、Liapunov、Ljapunow とも表記。リヤプノフの証明は、もっとも最初に厳密な証明を与えたと見なされている。
定理 5.1 (Liapounov) 確率変数 X1 , X2 , · · · , は独立で、 E( Xi ) = 0, Var ( Xi ) = σ2 < ∞ とする。いま s2n =∑in=1 σi2 とおくとき、もしある δ > 0 で∑in=1 E| Xi |2+δ→0
s2n+δならば、(n → ∞)(5.1)

Snは標準正規分布 N (0, 1) へ確率 (分布) 収束 (in dist) する。
sn
Zn =Sn∑n X in dist
= √ i=1 i −−−→ N (0, 1)
sn∑in=1 σi2

証明はラプラスの考え方にもとづいている。リヤプノフ条件 (5.1) のもとでは、任意の有限区間でφ Zn (t) → e−t /22へと一様に収束することを示した。これから結果が得られる。

Sn in dist−−−→ N (0, 1)
sn
ここでは連続性定理を暗黙のうちに使い、さらに特性関数の一意性も使って結論を示した。

6 ２０世紀前半の研究
1920-1937 年ごろ、Lindeberg,Levy,Feller
多くの確率論のテキストにはこれらの結果が記されている。

6(5.2)

定理 6.1 (リンデベルグの条件) 確率変数列 X1 , X2 , · · · は EXi = 0, Var ( Xi ) = σi2 < ∞ とし、s2n = ∑in=1 σi2とおくとき、条件

1 nE( Xi2 I{| Xi /sn >t|} )s2n i∑=1→0(6.3)

ならばSn in dist−−−→ N (0, 1)
sn(6.4)

多くの場合、この証明には特性関数が用いられている。リンデベルグ自身は特性関数を含まない簡単な方法をもちいているという。その方法は変数列の分布関数と正規分布の分布関数の評価 supx | F ( x ) − Φ( x )| の限界を３次モーメントによって導いた。私には資料がないので確認していない。

7 レビとフェラー
7.1 レビ
レビ:Paul Pierre Lévy (15 September 1886 - 15 December 1971) フランスの数学者、確率論の仕事が多数。検索すれば martingales, Lévy flights. Levy processes, Lévy measures, Lévy’s constant, Lévy dis-tribution, Lévy skew alpha-stable distribution,Lévy area, the fractal Lévy C curve, Levy metric, Levy’s
modulus of continuity, Levy-Prokhorov metric, Levy continuity theorem, Levy’s convergence theorem,· · · 列挙に暇がない.
定理 7.1 (リンデベルグ=レビの条件) 確率変数列 X1 , X2 , · · · は独立で EXi = 0, Var ( Xi ) = σi2 < ∞ とし、有限な平均 µ と分散 σ2 をもつすならば∑in=1 Xi − nµ in dist√−−−→ N (0, 1)nσ(7.5)

基本的にはラプラスの CLT の再命題であるが、レビ (Lèvy) は特性関数の手法を再び用いた。
歴 史 的 な 理 由 か ら 、レ ビ は ラ プ ラ ス の 仕 事 を 知 ら な い：そ の 当 時 、フ ラ ン ス の 確 率 論 教 科 書 に は 、Bertrand(1889,1907), Poicaré(1896,1912), Borel(1909,1924) などには、ラプラスとか特性関数には言及されていなかった。実際レビが 1930-1935 年の結果には特性関数の利用をためらっている。その理由はボレルの批判「この方法 (chf) で導かれた結果は求める解析的な努力について同一の水準ではない」によるという。
何が新しいのか？

• Lèvi (1935) は独立同一分布の場合における必要十分条件として証明した。
• Lèvi (1935) はさらに独立の和の一般の場合に取り組んでいる。もし maxi Xi の項が Sn の広がりに比べて無視できるならば、リンデベルグの条件がＣＬＴ収束の必要条件となること。数式で書くと()i) maxi P | Xi /sn | ≥ ϵ → 0(ii) Sn /sn −→ in dist) N (0, 1)
リンデベルグ条件：

1 nE( Xi2 I{| Xi /sn >t|} )s2n i∑=1が成り立つ。

7→0

(7.6)

• 十分満足できる形ではないが、現在ではマーチンゲール「マーティンゲイル」(martingale) とよばれる確率過程を研究した「マーチンゲール、マーティンゲイル」(martingale) とは 18 世紀にフランスで人気のある賭けの戦略として「martingale」とよばれるものがあった。この賭博は簡単で、もしコインを投げて表が出れば、賭け金を受け取り勝ちとなり、裏であれば、損となるものである。「martingale」戦略は、損失後には賭け金を 2 倍にして、過去の損額を取り返し、受益の金額がもとの賭け金と等しくなるようにすること。参加者の富とそれに要する時間が有限でしかあり得ないから、いつか表がでる確率は１に近づくなどという、このようなマーチンゲール賭けの戦略は驚くべきことである。あなたは大金持ちのギャンブラーで、最初は 1 円を賭ける。そして、負けている間はずっと、毎回賭ける金額を 2 倍にし続ける。逆に、勝ったならば、そのときに賭けているお金を手に入れて、賭けゲームを終わりとする。つまり、勝たない限りは 1 円、2 円、4 円・・・と、賭けた金額を失い続ける。なお、勝ち負けは半々の確率で決まるとする。では、n + 1 回目の賭けで勝ったとき、儲けは差し引きいくらになるだろうか。答えは、2n − ∑in=−01 2i = 1 となる。つまり、いつ勝っても、儲けはちょう
ど 1 円。これが martingale なのだ。賭け金の指数的な増加はいつかは参加者の破滅を導く。ハゲタカという呼び名のファンドを連想されるかも知れない。
この martingale というゲームを、n 回目まで続けると仮定する。明らかに、n 回目の賭けでは 2n−1 円を賭けることになる。しかし、それまでに一回でも勝っていれば、その回以降はゲームを続けないのだから、賭けるお金もゼロ円である。いずれにしても、k 回目で賭ける金額を Xk という確率変数によって表わすとすれば、

k 回目までまだゲームが続いているかぎりは Xk = 2k−1 となり、そうでなければ Xk = 0 である。では、次の回、つまり k + 1 回目に賭けるお金の期待値は、いくらになるだろうか。k 回目より前はずっと負け続けていて（つまり、ゲームをずっと続けていて）、その上で k 回目で勝てば、ゲームは終了となり、k + 1 回目に賭ける金はゼロとなる。だが、k 回目も負ければ、k + 1 回目もゲームを続けることになり、金額は倍にするのだったから、次回は 2k 円賭けることになる。勝ち負けは半々の確率で決まるから、k 回目より前までにずっと負けていた場合、k + 1 回目に賭ける金額の期待値は、0 · 1/2 + 2k · 1/2 = 2k−1 となり、これは k 回目に実際に賭けた金額に等しい。その一方、k 回目より前に勝っている場合は、ゲームはもう続けていないのだから、

k + 1 回目に賭けるお金の期待値は明らかにゼロで、これもまた、k 回目に実際に賭けた金額、つまりゼロ円に等しい。要するに、ゲームのどのような履歴を考えても、 E[ Xn+1 | X1 , · · · , Xn ] = Xn という等式が成立する。このような条件つき期待値の関係式が成り立つ確率過程をその情報構造（情報というのは情報増大系）とともにマーティンゲールをいう。
レビ（Paul Pierre Lévy）が研究したのは確率論での概念で、ドープ（Joseph Leo Doob）が多くの発展をもたらした。動機となっていることは、成功に導く戦略の不可能性を示すことにあったといわれる。
（確率論の文献）David Williams, Probability with Martingales, Cambridge University Press, 1991,

ISBN 0-521-40605-6,（金融ファインナンスへの応用）Hagen Kleinert, Path Integrals in Quantum Mechanics, Statistics,

Polymer Physics, and Financial Markets, 4th edition, World Scientific (Singapore, 2004); Paperback
ISBN 981-238-107-4

7.2 フェラー
フェラー: William (Vilim) Feller クロアティア・ザクレフ生れ (July 7, 1906 - January 14, 1970), 1939 年にア8

メリカ渡航、1944 年国籍取得後 Brown 大学、Cornell 大学、さらに 1950 年には Princeton 大学教授就任. 確率論では名を冠する成果が多い。Feller process, Feller’s coin-tossing constants, Feller-continuous process,

Proof by intimidation, Feller transition function, Feller semigroup, Feller’s property, Feller Brownianmotions, Feller’s test for explosions, Lindeberg-Feller condition, Feller operator, Feller potential, Fellermeasures, Krein-Feller differential operators, Kolmogorov-Feller equation, · · · .
さらに Feller の貢献は何か？

Feller(1935) は独立同一分布の無限列に対して、自分自身の問題として提起した：「与えられた変数列 { Xn }において、数列 { an }, {cn } にどのような条件があれば∑in=1 Xi − cn in dist−−−→ N (0, 1)an(7.7)となるか。もしそのときには数列はどう定まるか？」
彼の得た結果は negligibility 条件とよばれる。各 k で, 変数 Xk /an , n = 1, 2, · · · がゼロへ確率収束しなければならない。このとき数列 { an }, {cn } が存在するための必要十分条件を与えた。
フェラーの結果はリンデベルグの条件と類似している。

参考文献[F10] Fischer, Hans; History of the Central Limit Theorem From Laplace to Donsker Series: Sourcesand Studies in the History of Mathematics and Physical Sciences 2010, Approx. 400 p. 16 illus.,
Hardcover ISBN: 978-0-387-87856-0[H98] Hald,Anders; A History of Mathematical Statistics from 1750 to 1930. New York, NY Wiley 1998.
ISBN 0471179124[H07] Hald,Anders; A History of Parametric Statistical Inference from Bernoulli to Fisher, 1713 to 1935,
2007 ISBN 978-0-387-46408-4[S86] Stigler,S.M.; The History of Statistics: The Measurement of Uncertanty before 1900. Cambrige,MA: Belknap Press of Harvard University Press 1986. ISBN 067440341X9