確率数理工学補足資料

大数の法則と中心極限定理
2017-6-16
鈴木大慈

e-mail: taiji@mist.i.u-tokyo.ac.jp
本資料では講義で扱えなかった大数の強法則や中心極限定理に関係するいくつかの定理を示す．なお，本資料で「確率変数」といえばボレル可測実数値確率変数を表すものとする．

1 大数の法則(Ω, F, P ) を確率空間とする．事象の列 An ∈ F (n = 1, 2, . . . ) があったとして，これに含まれる事象が無限に起きるかどうかを考察したい．
lim sup An =n→∞

∞ ∪∞
∩An

k=1 n=kを An の上極限とすれば，ω ∈ lim sup An ⇐⇒ ω が無限個の An に属する
n→∞がわかる．これは以下のようにして考えればよい．まず，ω ∈ lim supn An なら，どんなに大きな k を持ってきても，k 以上の n があって ω ∈ An となる．よって，もし ω が有限個の {An1 , . . . , AnM } にのみ属するのなら，n > nM であるすべての n で ω ∈/ An となるので矛盾する．結局，無限個の An に属していなくてはいけないことがわかる．このことから上極限を単純にAn i.o.と書くことも多い (i.o. は infinitely often の略)．
Borel-Cantelli の補題は An i.o. の確率を評価するのに有用な補題である．

Lemma 1 (BorelCantelli の補題).
∑∞
1.
n=1 P (An ) < ∞ ならば()
P lim sup An = 0.
n→∞つまり，P (An i.o.) = 0.
∑∞
2. 事象 (An )∞n=1 は独立でn=1 P (An ) = ∞ ならば，(P)lim sup An

=1n→∞

である．

2. における An の独立性を外せない．例えば，コイン投げを無限回繰り返す試行を考えて，An は一回目のコインが表であるという事象としよう．コインの表と裏が出る確率がそれぞれ1/2 の場合，P (An ) =∑∞1/2 である．よって， n=1 P (An ) = ∞ であるが，A1 = A2 = A3 = · · · より lim supn An = A1 で，P (lim supn An ) = 1/2 ̸= 1 である．
Proof.
1. 任意の k ′ に対して，上極限の定義と確率の劣加法性よりP (lim sup An ) = P (n→∞∞ ∪∞∩An ) ≤ P (∞∪n=k′

k=1 n=k1An ) ≤∞∑n=k′P (An )∑∞である．ここで，k ′ は任意で，ある．
2. まず，

n=1 P (An ) < ∞ の仮定より limk →∞′()(lim sup An )cPn→∞∑∞n=k′ P (An ) = 0 なので左辺は 0 で

(∞ ∞)
( ∞)
∞∪ ∪∑∪=P(An )c ≤P (An ) c
k=1 n=k∪∞

k=1n=kcに注意すると，任意の k に対して P (( n=k An ) ) = 0 が示せれば良い．以下，これを示す．
∏N∩N
任意の N > k に対して，An らの独立性から P ( n=k Acn ) = n=k P (Acn ) なので，(P()∞∪=1−PcAn )n=k=P(∞∪( N∩)n=k)

AcnN∏)
An(=Pn=k=n=k≤≤1−PAn( N∪N∏
n=ke−P (An ) = e−)
cAn )

n=kN
∏

P (Acn ) =(N∪(1 − P (An ))n=k∑Nn=k P (An )n=k∑∞である．仮定から n=k P (An ) = ∞ が任意の k に対して成り立つことを思い出すと，N → ∞ の極限を取ることで，右辺 → 0 がわかる．
ここから大数の強法則を示すが，そのためにいくつか準備をする．
∞Lemma 2 (Kronecker の補題). 実数列 (xn )∞n=1 と ∞ に発散する増加正数列 (bn )n=1 に対して，∞∑xn

bnn=11 ∑xk → 0.
bnnが収束=⇒k=1Proof. n = 0, 1, 2, . . . , ∞ に対し，
s0 = 0,sn =n∑
xk
k=1

bk→ s∞とおくと（仮定より sn の収束先があることに注意），

xn = bn (sn − sn−1 ).
よって，

1 ∑
1 ∑1 ∑
xk =bk (sk − sk−1 ) = sn −sk−1 (bk − bk−1 )
bn
bn
bnnnn

k=1

k=1

k=1

であるが，

bk − bk−1 ≥ 0,n∑(bk − bk−1 ) = bn → ∞,k=1に注意すると1 ∑sk−1 (bk − bk−1 ) − s∞ |
bnn|
=|
=|

1bn
1bn

k=1n
∑
k=1n
∑s∞ ∑(bk − bk−1 )|bnn

sk−1 (bk − bk−1 ) −k=1(sk−1 − s∞ )(bk − bk−1 )|k=12(1)1 ∑|sk−1 − s∞ |(bk − bk−1 )bnn≤

k=1である．sn → s∞ より，右辺は任意の ϵ に対して，十分大きな N を |sk − s∞ | ≤ ϵ (∀k ≥ N ) を満たすようにとってくることができて，

1 ∑0≤|sk−1 − s∞ |(bk − bk−1 )bnn

k=1=1bn≤ϵn∑k=N +1n∑1bn

1 ∑|sk−1 − s∞ |(bk − bk−1 )bn
N|sk−1 − s∞ |(bk − bk−1 ) +k=1(bk − bk−1 ) +k=N +1bN
max |sk − s∞ |bn 1≤k≤Nn→∞→ϵを得るので，n → ∞ で 0 に収束することがわかる．よって，

1 ∑sk−1 (bk − bk−1 ) → s∞bnnk=1である．また，sn → s∞ でもあるので，式 (1) より

1 ∑xk = s∞ − s∞ = 0.
n→∞ bnnlim

k=1

Lemma 3 (Kolmogorov の不等式). (Xi )ni=1 を独立な確率変数列として，E[Xi ] = 0, Vi = Var[Xi ] < ∞ とする．このとき，任意の M > 0 に対して，()n1 ∑Vi .
P max |X1 + · · · + Xk | ≥ M ≤ 21≤k≤n
M i=1Proof. Zk =∑ki=1 Xi に対して，{}ω ∈ Ω | max |Zi | ≥ M

A=1≤k≤nとおく．この事象の確率を評価するために，|Zi | を i について動かすときにいつ初めて M 以上になるかに着目する．すなわち，{}Ak =ω∈Ω|max |Zi | < M かつ |Zk | ≥ M

1≤i≤k−1とすると，Ak (k = 1, . . . , n) は多大に素で，A =Zk ≥ M なので，P (A) =n∑∪nk=1 Ak と分解できる．ここで，事象 Ak においては

P (Ak ) ≤k=1n∑1E[Zk2 1Ak ]M2k=1である．ただし，1Ak は 1Ak (ω) = 1 (ω ∈ Ak ), 1Ak (ω) = 0 (otherwise) で与えられる関数である．
ここで，実は E[Zk2 1Ak ] ≤ E[Zn2 1Ak ] が成り立つことを示そう．まず，∑nE[Zk2 1Ak ] − E[Zn2 1Ak ] ≤ 2E[(Zk − Zn )Zk 1Ak ]に注意する．Zk −Zn = i=k+1 Xi なので，Zk −Zn は (Xk+1 , . . . , Xn ) の関数であり，Zk 1Ak は (X1 , . . . , Xk )の関数なので，(Xi )ni=1 らの独立性から Zk − Zn と Zk 1Ak は独立である．よって，

2E[(Zk − Zn )Zk 1Ak ] = 2E[(Zk − Zn )]E[Zk 1Ak ] = 0 (∵ E[Zk ] = E[Zn ] = 0)
3

が成り立ち，E[Zk2 1Ak ] ≤ E[Zn2 1Ak ] が示せた．
以上より，P (A) ≤n∑
1E[Zk2 1Ak ]M2

k=11 ∑
11≤ 2E[Zn2 1Ak ] = 2 E[Zn2 1A ] ≤ 2 E[Zn2 ]
M
MM
n

k=1n
1 ∑
1= 2 E[(X1 + · · · + Xn )2 ] = 2Vi .
M
M i=1

∑∞
∑∞
Theorem 4 (Kolmogorovの定理). 確率変数列 (Xn )∞n=1 に対し，
n=1 Var[Xn ] がともにn=1 E[Xn ] と∑∞収束するなら， n=1 Xn は有限な値に概収束する．
∑∞Proof.
n=1 E[Xn ] が収束することと，Xn = (Xn − E[Xn ]) + E[Xn ] かつ Var[Xn ] = Var[Xn − E[Xn ]] であることから，E[Xn ] = 0 として良い．
n∑
Sn =Xi ,i=1として，Vi = Var[Xi ] とする．Kolmogorov の不等式を Xn+1 , Xn+2 , . . . , Xn+m に適用して，(P)
max |Sn+k − Sn | ≥ ϵ1≤k≤m

1 ∑Vn+kϵ2m≤

k=1である．また，1 ≤ k, l ≤ m に対して，|Sn+k − Sn+l | ≤ |Sn+k − Sn | + |Sn − Sn+l | なので，max |Sn+k − Sn+l | ≤ 2 max |Sn+k − Sn |1≤k,l≤mである．よって，1≤k≤n(P)max |Sn+k − Sn+l | ≥ 2ϵ1≤k,l≤m≤m∞k=1

k=11 ∑1 ∑Vn+k ≤ 2Vn+k2ϵϵを得る．ここで，{max1≤k,l≤m |Sn+k − Sn+l | ≥ 2ϵ} なる事象は m とともに増大するので，m について極限を取ることで，()∞P1 ∑≤ 2Vn+kϵ

sup |Sn+k − Sn+l | ≥ 2ϵ1≤k,lk=1もわかる．一方，{max1≤k,l |Sn+k − Sn+l | ≥ 2ϵ} なる事象は n とともに減少するので，n について極限を取ることで()∞Pである．ただし，

lim sup |Sn+k − Sn+l | ≥ 2ϵn→∞ 1≤k,l≤∑1
limVn+k = 02ϵ n→∞k=1∑∞

k=1 Vk が収束することを用いた．よって，ϵ → 0 とすることで，(P)
limsup |Sm − Sm′ | = 0n→∞ n≤m,m′=1

つまり，(Sn )∞n=1 は確率１でコーシー列．コーシー列は有限の値に収束するので，これはある有限な値への概収束を意味する．

42∞
Theorem 5. (Xi )∞i=1 を E[Xi ] < ∞ (∀i) である独立な確率変数列とする．今，(bi )i=1 を ∞ に発散する増加正数列とし，∞∑Var[Xn ]b2nn=1を仮定する．すると，<∞∑ni=1 (Xi − E[Xi ])bn→ 0 (a.s.).

n]
Proof. Yn = Xn −E[Xとすれば，bn

E[Yn ] = 0,∞∑

Var[Yn ] =n=1∞∑
Var[Xn ]
n=1

b2n

<∞

∑∞∑∞n]
Yn = n=1 Xn −E[Xは確率１n=1bn∑n1で有限の値に概収束する．さらに，Kronecker の補題を適用すると bni=1 (Xn − E[Xn ]) は 0 に概収束するである．よって，Kolmogorov の定理を (Yn )∞n=1 に適用することで，ことがわかる．

2Corollary 6. (Xi )∞i=1 は E[Xi ] ≤ ∞ (∀i) かつ E[Xi ] = µ (∀i) である独立な確率変数列とする．すると，∞∑Var[Xn ]n=1を満たせば，n2<∞∑ni=1 Xin→ µ (a.s.).

Proof. bn = n として定理 5 を適用すれば良い．
上の Corollary では Xi らの 2 次モーメントが有限であることを仮定したが，実は独立同一な列に対しては期待値の有限性のみに仮定を緩めることができる．

Theorem 7 (大数の強法則). (Xi )∞i=1 は独立同一な確率変数で，その期待値 E[X1 ] = µ は有限であるとする．このとき，

1∑
Xi → µ (a.s.).
n i=1nProof. 任意の i = 1, 2, . . . に対して E[Xi ] = 0 を仮定しても一般性を失わない．Xi と同じ分布を持つ確率変数を X と書く．
確率変数 Zn を{Xn(|Xn | ≤ n)
Zn =0(otherwise)と定義する．すると，∞∑P (Xn ̸= Zn ) =n=1≤∞∑

P (|Xn | > n) =n=1
∫ ∞∞∑P (|X| > n) (∵ Xn らは X と同じ分布に従う)

n=1

∫ ∞

P (|X| > x)dx =E[1{|X| > x}]dx]0[∫ ∞1{|X| > x}dx = E[|X|] < ∞.
=E00

よって，Borel-Cantelli の補題より，P (Xn ̸= Zn i.o.) = 0.
5

よって，

∑ni=1 Zin→ µ (a.s.)が言えれば良い．一方で，E[Zn ] = E[X1{|X| ≥ n}] → µ (n → ∞) なので，∑ni=1 E[Zi ]nでもある．よって，→µ∑ni=1 (Zi − E[Zi ])n→ 0 (a.s.)を示せばよい．ここで，Zn −E[Zn ] は期待値が 0 であり，かつ |Zn | ≤ n なので有界で，特に E[(Zn −E[Zn ])2 ] <∞ である．よって，Corollary 6 から，∞∑Var[Zn − E[Zn ]]n2n=1<∞が言えれば十分である．X の分布関数を F と書くと，∞∑Var[Zn − E[Zn ]]n2n=1≤∞∑
E[Z 2 ]
n=1∞
∑nn2∞
∑
E[Zn2 ](n + 1)2n=1∫x2 dF (x)2≤41(n + 1) |x|≤nn=1∫ ∞∫1≤4dyx2 dF (x)y20|x|≤y)∫ (∫ ∞
1≤4dy x2 dF (x)2|x| y∫= 4 |x|dF (x) = 4E[|X|] < ∞.

=42 Levy の連続性定理
中心極限定理に代表されるような法則収束を示すには Levy の連続性定理が有用である．ここでは，Levy の連続性定理を証明する．
∞Lemma 8 (Helly の補題). 任意の分布関数の列 (Fn )∞n=1 が与えられているとする．部分列 (Fnj )j=1 が存在して，ある右連続かつ単調増加な関数 F = F (x) に対して，F の任意の連続点 x ∈ R において，lim Fnj (x) = F (x)j→∞が成り立つ．

F は右連続かつ単調増加なので，分布関数に必要な条件をある程度備えているが，limx→∞ F (x) = 1 お
よび limx→−∞ F (x) = 0 が成り立つとは限らない．つまり，ある確率分布に対する分布関数になるとは限らない．
Proof. Q = {q1 , q2 , . . . } を有理数の集合とし，有理数を一列に並べて，q1 , q2 のように番号を振る．Q はR において稠密であることに注意する．q1 に対して，Fn (q1 ) は [0, 1] に含まれる数列なので，ある部分列(1) ∞(1)∞(nj )∞j=1 を取ってくることで，(Fn(1) (q1 ))j=1 が収束するようにできる．次に，同様にして (nj )j=1 の中かj6∞ら，Fn(1) (q2 ) が収束する部分列を取り出し，それを (nj )∞j=1 ⊆ (nj )j=1 とおく．以下，同様の手続きを続(2)(1)j

けることで，数列の列∞∞(nj )∞
j=1 ⊇ (nj )j=1 ⊇ (nj )j=1 ⊇ · · ·(1)(2)(3)を得る．ここで，(nj )∞j=1 を(j)nj = njのように対角線状に数列を取り出すと，任意の q ∈ Q に対して Fnj (q) は収束する．この収束先を G(q) と書く．G の構成の仕方から q ≤ q ′ なら，G(q) ≤ G(q ′ ) がわかる．しかし，G(q) は Q 上においてのみ定義されており，しかも右連続であるとは限らない．そこで，

F (x) = inf{G(q) | q > x}とおく（inf 内では q ≥ x ではなく q > x としていることに注意）．すると，F (x) は単調増加で，さらに右連続であることが示せる．なぜなら，x を任意の点として，任意の ϵ > 0 に対して，ある q > x が存在して，G(q) − F (x) < ϵ とできるので，任意の x ≤ y ≤ q に対して F (y) − F (x) < ϵ が言えるからである．
x を F の連続点として，Fnj (x) → F (x) を示す．x において F は連続なので，ある q < x < q ′ が存在して，G(q ′ ) − G(q) < ϵ とできる．単調性から G(q) ≤ F (x) ≤ G(q ′ ) も成り立つ．よって，

G(q) = lim Fnj (q) ≤ lim inf Fnj (x) ≤ lim sup Fnj (x) ≤ lim Fnj (q ′ ) = G(q ′ )
j→∞

j→∞

j→∞

j→∞が成り立つ．よって，ϵ → 0 とすることで limj→∞ Fnj (x) = F (x) が示せる．
ある確率変数の列 (Xn )∞n=1 が緊密 (tight) であるとは，任意の ϵ に対して，ある M > 0 が存在してsup P (|Xn | ≥ M ) < ϵnが成り立つことと定義する．

Theorem 9 (Prohorov の定理).
1. Xn ⇝ X がある確率変数 X に対して成り立つならば (Xn )∞n=1 は緊密である．
2. (Xn )∞が緊密ならば，ある部分列が存在してX⇝Xがある確率変数
X に対して成り立つ．
nn=1
jProhorov の定理は「有界な実数列は収束部分列を持つ」という命題（BolzanoWeierstrass の定理）の確率変数版と言える．
Proof. 1. ϵ > 0 を任意にとる．確率測度の連続性より十分大きな M に対して P (|X| ≥ M ) ≤ ϵ とできる．
Xn は X に法則収束するので，十分大きな N に対して，任意の n ≥ N で P (|Xn | ≥ M ) − P (|X| ≥ M ) ≤ ϵとできる (portmanteau の定理を使えばすぐに示せるが，必要ならば M を少し大きく取り x = ±M が X の分布関数の連続点であるようにすれば示せる)．よって，全ての n ≥ N において P (|Xn | ≥ M ) ≤ 2ϵ である．
あとは，十分大きな M ′ を用いれば max1≤n<N P (|Xn | ≥ M ′ ) ≤ ϵ とできるので，適宜 M を大きくとることで，supn P (|Xn | ≥ M ) < 2ϵ が示せる．
2. Helly の補題より，ある部分列 nj (j = 1, 2, . . . ) が存在して，Fnj (x) = P (Xnj ≤ x) は，ある単調増大かつ右連続な関数 F に任意の F の連続点 x で収束する．あとは，limx→∞ F (x) = 1 かつ limx→−∞ F (x) = 0を示せばよい．
(Xn )∞
n=1 の緊密性より，十分大きな M を取ってくれば Fn (M ) > 1 − ϵ が全ての n で成り立つ．よって，F (M ) = limj→∞ Fnj (M ) > 1 − ϵ が言える．このことから，x → ∞ で F (x) → 1 とできることがわかる．
同様に limx→−∞ F (x) = 0 も示せる．
itXnTheorem 10 (Levy の連続性定理). (Xn )∞]n=1 を確率変数の列とし，それらの特性関数を ϕn (t) = E[eとする．このとき，1. ある確率変数 X が存在して，Xn ⇝ X ならば，任意の t ∈ R において，ϕn (t) → ϕ(t).

72. 任意の t ∈ R において ϕn (t) → ϕ(t) が成り立ち，ϕ が t = 0 で連続ならば，ϕ はある確率変数 X の特性関数であって，Xn ⇝ X である．
Proof. 1. は有名な portmanteau の定理から示せる．例えば [1] の Theorem 3.2.3 を参照せよ．
2. を示す．まず (Xn )∞n=1 が緊密であることを示す．任意の M > 0 に対して，[]1sin(|Xn |/M )E 1−(∵ マルコフの不等式)
P (|Xn | ≥ M ) ≤1 − sin(1)|Xn |/M[]
1sin(Xn /M )=E 1−(∵ sin(x)/x = sin(−x)/(−x))
1 − sin(1)Xn /M[()]∫1
1 1 itXn /M=
E 1−edt
1 − sin(1)2 −1()∫
1
1 1=1−ϕn (t/M )dt
1 − sin(1)2 −1である．ここで，

1−

12[]
∫∫
1 1
1 1
ϕn (t/M )dt = 1 −ϕ(t/M )dt −(ϕn (t/M ) − ϕ(t/M ))dt
2 −12 −1−1

∫ 1に注意する．右辺第一項を AM , 第二項を BM (n) とする．まず AM を評価する．ϕ(t) は t = 0 で連続で，かつ ϕ(0) = 1 である．よって，任意の ϵ > 0 に対して，十分大きな M を取れば，|ϕ(t/M ) − 1| ≤ ϵ が全ての−1 ≤ t ≤ 1 で成り立つ．このとき，|AM | ≤ ϵとなる．この評価は n に依存しないことに注意する．次に，BM (n) を評価する．|ϕn (t)| ≤ 1 かつ |ϕ(t)| ≤ 1
なので，ルベーグの収束定理より

lim BM (n) = 0n→∞である．よって，十分大きな N に対し，全ての n ≥ N において|BM (n)| ≤ ϵとできる．以上より，(Xn )∞n=1 が緊密であることが示された．
(Xn )∞が緊密であるので，Prohorov の定理よりその部分列 nj を取ってくることで，ある確率変数 X へn=1法則収束させることができる．X の特性関数を ϕ′ とすれば，1. より limj→∞ ϕnj (t) = ϕ′ (t) が成り立つ．ところが，仮定より limj→∞ ϕnj (t) = ϕ(t) でもあるので，ϕ′ (t) = ϕ(t) である．このことから，部分列の取り方によらず法則収束する先の分布の特性関数は ϕ であることがわかる．分布は特性関数から一意に決まるので，法則収束先の分布も部分列の取り方によらず一意に決まる．この分布を持つ確率変数を X とする．ここで，もし Xn ⇝ X でなければ，ある部分列 (Xnj )∞j=1 が存在して，それは X に法則収束しない．つまり，X の分布関数 F のある連続点 x において，Fnj (x) は F (x) に収束しない．すると，必要ならばさらに部分列を取る
ことで inf j |Fnj (x) − F (x)| > 0 とできる．しかし，上記の議論より，この部分列の中にも X に法則収束する部分列が取れてしまい，inf j |Fnj (x) − F (x)| = 0 となるので，矛盾する．よって，Xn ⇝ X が示された．

Levy の連続性定理より，講義で示したように中心極限定理を示すことができる．ここでは，大数の弱法則の別証明を与えよう．
Theorem 11 (大数の弱法則 (別証明)). X1 , . . . , Xn を独立同一な確率変数とし，それらの特性関数が ϕ で∑npあるとする．今，ϕ が原点で微分可能で iµ = ϕ′ (0) としたとき，X̄n = k=1 Xk /n → µ である．
Proof. ϕ(0) = 1 と ϕ の原点での微分可能性より ϕ(t) = 1 + tϕ′ (0) + o(t) が t → 0 において成り立つ．
よって，E[eitX̄n ] = ϕn( ))n( ) (t1t→ eitµ= 1 + iµ + onnn8が全ての t ∈ R に対して成り立つ．一方，eitµ は P (X = µ) = 1 である確率変数（定数）X の特性関数である．よって，Levy の連続性定理より，X̄n は µ に法則収束する．定数への法則収束は確率収束でもあることが知られている．

References[1] R. Durrett. Probability: theory and examples. Cambridge university press, fourth edition, 2010.

9