確 率 数 理 要 理•

独 立 性 と 大数の法則
独立性

・1を任意の集合（非可算集合も含む）
咀 （事象の独立性）とする.

事象の族（Ankaが独立（independent）とは.
したEN，ない、またE1

P ( A i . n A m . . . n A ie）=P(An）が×P(An）が成り立つときをいうy咀 （6-加法族の独立性）

6-加法族の族 （た）×aが独立とは、
KEEN, Uh，、...、またE1， K Cg E Fi， （H.....た），P l a n . . . n Ca）=PCG)x-.-x PCG）
が成り立つときをいう。

y

例： 積 測 度

2つの確率空間 （m、FR），に..た.に）r .

xr、上の直積6-加法族FP(A,xA2）=P.CA、）Xに（Az)た上に対し、にHAEた.年Eた）を満たす 測度Pが一意に存在する。 これを直積測度と言う（Hopfの拡張定理を使う）

t
確率数理要論3

F F I A t s s I A , E H , F i l m x Az1A.Eた）とすればたときは独立.
1 / 18咀（確率変数の独立性）
r . で の族 （ X x ) iが（A)H吸収，f"を「測とするt が独立とは、
6 （ か ） = 1 最の6-加法族に対して、 （6（Xx)net

k e y が独立となることである.

y

注： 6（Xx）は6-加法族になっていることに注意 （前回講義）

型

メ、. . . . .

くニ>

Xnが独立

F y...xn（か、....In）=Fx.（か）×-x Fxn仏）（X......xn）の同時分布関数「（上）たの分布関数（私ER）

分布関数の定義から自明⇐ ）で入定ーー理を用いる.

oたシステムi集合族PがたシステムもA.BE PならAnB E P
o入システム：集合族Lが入・システム⇐）| A,BEL,ACB 冬日ELBiteB)A.C As
A、c ofAnE La ) reL（2）

a - E L

注：6-加法族はたシステムでも入・システムでもある.

型（Dynkinの不入定理）

あるがシステムLが、あるなシステムPを含む（PCL）なら、6（DCLである.

//が証明は第1回目補䠖料を参照のこと.

確率数理要論3

2 / 182変数で示す 多変数の場合は同様に帰納法で示せる.とす（ーかい］IKER｝， d = 1人が23|KER｝ る，
A， = 1K A G A ， もBE A

に対し.P(XiEA、KGBに脈EA）処EB）で.

また、 6（A）=BCR）， 6（d）=BCR） であることにも 注意する。

今. AzE d を1つ固定して.とする.

A2）｝Az）=P(KEA)PeeK
EAnLAERR)IP(KEにLsd.であることは独立性の定義から従う

人が入システムであることが示せればな入定理より.
（a) n = R E L . なぜならold，）=BCR）はが言える.

PMER，たEA）= P（たEA）P a zEA）=PEEL（b) A . B E L か つ A C B

このとき.とする、P(XE(BIA）， h e A.）=PHXEB h=

A.BE人よりT

P(KEB,XzEA2）-P(KEA,X2GHz)P M EB)PMGAz）-P(KEA）.MEA.）

o=（P(KER）-PCx EA））PCX2GHz）=よって.

KEADYK E AI n KEN））

P(X、ERIA）・ P H E Az）

BIAE LX'にAn）= Yが（An）より

IKEA.1］
Eよ{KEI,DPIXIE YT,KEA2）=Pl「壁川 と心峒n142EN）

I .C N C -u)o rni n したEAI） に確率の連続性
P(IKEA=fig=二よって.

YEIn E Lfig

PMEY

I，が（的疲なり跡）

6（A）は が言えた、「AEBM、 「BEAに対し. P(AEX,BEX2）=P(AEx）.P(BEた）.

さらに. 同じ議論を.AEBCR）を固定して.dzの方に適用し.

6（d）=BCR）と 6（A）=BCR）
確率数理要論3

In）・脈にEA2）/，もである。

以上より L はA-システムなので.
つまり、PIXIEIn）.PHEA）に.Inの単調性）

まで拡張すれば良い.

/ /3 / 18⇐ ）の別証明.と、-.-，Yn を （R,BGN）上のt.irで、1？Hi E A i ） = P ( X : E A i ） であるものとする.
（そのような r.V.が存在することは. Yi(w）=wとして、P.（（-a、ついに P ( X i E fax］）なる RがBGM上に木蓋成できることから従う.）（R".B側） 上 に Piらの直積測度 Tを入れると.

A i E日伋）に対して、MY、EA i n K E H a n . . . n Y n E An） II？（YiE Ai）である。
このTをCY....Yn）の同時確率とする。
すると、 （Y....，Yn）の同時分布と M....Xn）の同時分布は隻になる。
なぜなら、Fx.....がいい、....が）！趦！
=（か）

=だ

た。（つに）の構成より=

Ft、....とは.....か）分布関数が等しければ対応する確率測度も 一意に定まるので、P（（Xi....、Xn)EA）= TKY.....なEA）である、

・.

作は側）

特 に . A t A . が x A n と直積集合にすれば.

P ( XE A . n X E A 2 n - _ -n

X n E An）

=P(M....Xn)EA）=T（（Yi...in)EA）=武にしたEAn）=

武P(X:EAi）

が成り立つ、 これは. （6（Xi））で の独立性に他ならない/

確率数理要論3

4 / 18

#t.mx......Xnの分布が絶対連続
右隺率密度関者と（Pdf.） f y i H）を持つとする。

この時で（it....、お）だhit..） が X . . . . . . X n の同時確率密度
X.....、Xnが独立.

/（証明は同様. Pdt.と確率測度も一対一対応である）

直（乗法定理）X . .-_-、Xn：可積分が独立

臿とは51積分かつEl臿は］=恋HH，（証明は省略）

確率数理要論3

5 / 18

•

確率変数の収束
国 （概収束）（Xn）で：r.ru. の列X:rin

X u が X に 概収束（convergence almostsurely）

等

P（1WEr I ftp.xnlw）=×（w）｝） = IXn-）X

Xn t(a.fi） やと書く.

x

D I （確率収束）
XnがXに確率収束（convergence i n probability)t

Ts o , h e P（1w||Xn(w）-XG）1>E｝） = 0
X n -X( i n prob）

ある正の数列auに対し、やXnがx夽Soならと書く.

Xn=op(an）と書く。

特に X n が 0 のとき、 Xn=g（1） と書く.
（確率木タン）

確率数理要論3

6 / 18咀（tightness，緊密性）にし.の列 （Xn)nがタイt(tight）であるとは.

Vasco， ヨ M > ost . S I P(Ml>M)EEとなる時をいう。

この時、Xn=Of1） と書く.

咀 （が平均収束）P > o とする.
LD：= 1 r . m x

11パが51積分3.

XnがXになる平均収束← Xn,XEでかつ.
h区［IXn-XP］=o
この時、 X n - ） X凹

X n が X

in

LPやXnがXと書く.に概収束 → " ' X.がXに確率収束

XnがXにP次平均収束がいた噐

XnがX

p(I Iである

I1Nm(w）-X(w）に主｝）=1（xn-）のもした？n,Um?n,Hm-2に主）任意のE>Oに対し、いたとなるんをとればP(I間｛Nm(w）-X(w）に主｝）け）左 辺 E
こた。P(J1が（いが）に も3）で確率の連縞
確率数理要論3

7 / 18

#E←

一方、（2）hP ( M r XIE主）に 言<E）

GP（1×n-XI E E ）（か右辺ン1より.

X n が X を得る.

yを70に対し、P（1Xn-XI E E ） = E［111Xn-×に93］Etた11×𥫣

チェビシェフの不等式

たー>(me)oにXやx)yい）の逆は成り立たない.
r=［0，1］， Pは［o，1］上の一様分布：
P（（ab））=b-a(OEk b E l ）とする.

An二※

高主 と し て .

Xn(w）= 1｛an-Lan」<a E anti-Lane｝
とおく （La」はanを超えない最大の整数）
この時. X u S o
だが、 Xnが0ではない（2）の道も成り立たない.
Xn=の方1［o，方］（私'"T.to/Iy𥼣

，とすると.

Xnた。

だが、 E [ N n P］=1 で、Xnは0になる平均収束しない。
（3）o く に 9の時.

=E11が別EINは］ E（た［1×19］）な

X -ItたXEは→xa？

がJensenの不等式（！い）確率数理要論3

同様に

x が 0/8 / 18

""##・大数の法則、一様大数の法則
坵（大数の弱法則）

w e a k laws of large numbers,w.HN.

独立なt.siの列（Xn)nがX E E

かつ.

nVar[Xn］=El(Xn-Mn）2］=だが長×n］をみたす= >" 独立性より、×、十一sy道弁<、Mitten_た，ox

汗らのとき

E l ( X i Ma）（なMj）］= E [ X N a ］ - M a E l Xj］-Mj E N D t h e、鬱：：
斅
=

よって

=

E[Xi]E［好1-MM= 0 .

おE1時したべ）12］=が豔）→
よって、cm。

メげだいー、Eitelは0に2次平均収束するので、確率収束する※

確率収束なので"弱法則". 概収束なら"強法則"※

独立同一なら."

確率数理要論3"_たMx

した人に1）

9 / 18・

一様大数の法則.

.

叮測関数 f : R - R

N i i : i.id.

←×と同じ分布（独立同一， independently

identically dished)

S .t t / X n ) E E

大数の法則より、h燄（Xi） がElf(X）］である、
しかし、機械学習や統計においては関数族 Gに対し、金利が約（か）-Elsa川 や oを示す必要が出て来る。 これを一様大数の法則 と言う.

@Rademachere.t
は下. 11811。EM （なEG） とする.
甠（Rademeher複雑度）
a（に1，....n）： Rademacher変数とする.
--

R a n ） = PG=-1）=主、_絶る私を付けないバージョンもある.

In(G）：= E a i Iたと， Itた。8に川 にい....Zn］
Rn(G）：= Eez..だ し R ( G I ]今後、p g . . = E18に）］とする.
確率数理要論3Cii.d.）

Png：= ら約1で）

y（に）ii.i.d.，ZとZiは同じ分布）

10 / 18

とを Pn8 や な長を言いまし

また、以後た）は 叮測であるとする。

（叮測ではない場合、 Fahimの定理が使えない，ExE a t . H Ee..た1］）
c .t . s u d i nimageadmissible, Dudley:Uniform central l i m i t theorems
Va n derbarf&Well near:Weak convergence andempirical processes（1996）.See E 3 .

、_にぅだ、と書くのがええなのでZ

I（対称化）と書く

Ez..I な品1（RR）8 1］ E 2 Rn ( G ).

y（直接卵 を評価するより. Rn(G）の方が評価しやすい）（Proof)eたと同じ分布に従うにした が Ez..に出 I Ez：は約ばい） - t 的 に い I ]ないか［た！ It点（9（ごう）-8に：）） 1］ （Jensen

Eの不等式）

E a Ezi［災年に総（8的_gain））1］=（Zhとでは同じ分布）

Ea砡（な品 に総8になっ1］EE。Eziは出、 1話の9ED1］+=

2

Rn(G）に F ubin：の定理）

な、でのでは姓使う.

/

7積分性は有界性よりO.k.

確率数理要論3

11 / 18"

直川能跳に明に2RCG)t川亞）ESn(EST）

昢L a ( H c Diamidの不等式）
が..Xnを九上の独立な（同一とは限らない）確率変数とする.

f ： が 一 R を可測 関数とし.
I f G.....が.....an）-f(k，...）に、....）（n)IE C iが いい....In，がEXに対に成り立つ時、P (f(X.....Xn）-E[f(Xに、Xn）にE)
Eexp（- 江総）

今 11911aE M（なEG） より（ Ka ro )y

H Z . . _ . . れ た たと It年9（Zn）- P81
f G......En）-f(Z......Ii....，Zn）とすると.

8節It点8に。）+ T - 興 4 𤇾 - P=な品 に皛8に：）tsf）-P8

-

I

1

I t 新 が 興 州など，ば一興1

な品Eg

手品.li/hTTeE2共同したにして. f(Z....Zn）5年-

fに、一一、Z

絶対は壬生である....2）-

あとは、McDiarmidと対称化より従う.
確率数理要論3より/12 / 18

図（Rademacher複雑度の性質）（I)

G C G ' なら Rn(G)E R(G'）（2）

中i R → R

14派）-中..（のIEDには1がならE a ［ま剡方言aた（8（甽］E2D1で（G）（contraction inequality)

YING）の定義で絶対位を使わない場合.
中が絶対値を外すことで 2 P と 1 つ と できる.
たとのEC-）の）
（ろ）

Gの凸包を
c o w CG）=

1点が列 数は1，No,g..EG,m二に....｝とすると

Rn(G）
（4）

（2）

F がにRn(cow(G））=Rn ( C G ） = k l Rn(G）（CER）

有限集合のとき
H....，figRn(F) E R,

I I fall/人率も5（Massartの定理）⑧ERなら←Rnにいが入ってなければ川をみせる.

を H eHolingの不等式より示せる.

（証明は略）※ 個数Nに対し、0（1冣刈） しか影響がない.
確率数理要論313 / 18"Rademacherた実雅度の 上昇： がリングナンバー、エンなただ「一o曜（CoveringNumber，被覆数）

で 関数の集合
d: F の 距 離N(F.9，d）：=

甠（エントロピーmin1nz11羽.....fm E F s t はEFにはして数）

e . は、d）：=inf

ヨfj z . . d C ff j ) E E ｝

19>01Nは、9.DEが｝データ点といったEXに対して、（方言If甽リ合11f Hmp：=/，（1EPく）とする.

型

H E F が M b ERをみたすなら、あるが....）（n EMが与えられたもとでPrf

f E F に 対 し て 、 N [ f ］ をfに一番近いd-被覆の点とする
R（下に E o に符は Eat（州に？長のはにょ！｛d+ R l' ーつ學）
磊ニ瓦と別a(Mi）-では3（か。））the duct）（州］
EEE・ぼ踽言のは似VA）（が））1］+瓦僲は総で）（明E！符 I FE d

確率数理要論3t

Ed！！訛な州州譩たな例］

If（刈一では）（）に）Itt

R "新）fにMassatの定理）

が緱のj番目の元

4
14 / 18

$ #$!
!
であることから. V E 8 なら M a pE M n q
Nは、下、11Hmp)E Nは.たMnq）であるので、右辺の被覆数は

Nは、下、ItHmp） （P>1） でおきかえて良いを（p=2はよく用いられる）（Dudleyの毛イニング）

あるが一、，In ENが与えられたもと、J：=f等 H f Hnz とするとRは）E の先 14d t 岩がT.bg/TTTHt2NEEde}

Rn(F)E 言（I2%だ（たい，Mn.2）な符

11Hln.2）//※

Prd

Fを有限個の代表点で近似し、その近似精度を粗いものから密なものまで つなげてゆく という操作に対応.
（エントロピー本人の方だけ与えておく）

T =｛（f（川.....fan））If EF}v110.....0）3ER"d（なかにとすると.（Td）は「1分な距高位空間.

H E Y

以後、 なでe(Td）は有限であるとして一般性を失わない。

牛寺に.Tは有界で、で E nG o l ) t o で あ る 。

「へっ任意のE>0に対しS.
Ed dao)：=En：=とする。また、

た

確率数理要論3（ H E ) G i ( Td ）は こ I に対し、

で𨺉ーネット を した1たが"なるものとしてた.

骨（に1.2，-_-）

name

晶には別で取ってまる

したなた数の定義より「1位）

15 / 18❤
すると、 E j ( T d ) t o

To=｛o｝ とする。

（よ」。）より. U：=たち に対し、楽品が総だと出た総たが成り立っ. （SはT内で稠密）

よって、な代わりにUを考えれば良いな21，RETに対し、 T H E な を ， d ( t . な H I ) E Ssi

特 に . HEななら、なけ）=t としておく.
は1を1つ固定して. の（任る）の二Tljに は 「 が たをにいる）

y .

当然 d（たけ），が（t））ESが今. htt）：= 六 E h た
とおくと.

である。

（tET）

n .

なるものとして取ってまる鼗ーたの導，！
！！！_た！！

訓

H E Tjについては甽=はけ）-ol
階（た（のけりーんしたが）に書などたかがたし二となる。

よって、たが1Uた ： =To u-_-けたに対してもし筤は（かな 自然な Iた（かたした（か）Iが成り立っ. すると有限集合のRademacher複雑度より

Eal で品での1］E f,Eatて筠 Iた（がたけい甽］
E

U=ITについては.た→とすることで、単調増大性よりEa［手品hは1］E
確率数理要論3

年12.だSit& JISで.

あとはた斲（to）に注意すればなさ
れ方

16 / 18

#
•

❤

#

❤

大数の強法則A . A n - . - を事象の列とする。
｛An i.co.Y
Ant
infinitely o fE nI晶の意味=

16Erほか、日のこた， w e An}

T

どんな大きなたに対しても、ヨnzhでWEArなので、W E Anなるんは無、限個あるつまり.io.である。

｛Ani.。｝ は 「Anが無限回起きる」 という事象.

址（Borel-Cant e l li の補題）
I .

EP(An） く

2 .

（An）に？が独立ならP(An i.。）

& PCAn ） = e=0

P(An i.。）= 1y※ 2において、独立性は必要。

今 コイン投げを考え、= 1 ） = P(w，も2=-_-= 0）= 主
A n = 1wn=1） とすると. PAn）=主 である.

P(w，=WEとする.
よって、.

P(An io.）=-であるがEP(An）=「1.

-NAni.。）=主である。

P I ! A n ) E P ( Y An）
E

GP(An） →は'は任意）O（だい2 .

P（1An i i i ）=（ややinformal）=）

P ( I t A i ) E 臿 P I Ai）& I H A D （独立性と確率の連続性）

E 臿（1-P(An）） （ t n E E " ）⇐ 道甽ー☆㕮一% = 0=

確率数理要論3/17 / 18

#（じを仮定した大数の強法則）

I（Xn)n！：i.i.d.，_×「熱，X,Eじ9i+s EH，］x

Yn=Xn-E[ Xn］とすると. た［Yn］ =0 とできるので、 E [ X n ］ = o と し て一般性を失わない.

El(IXi）4］ = n E [ X 4 ］ t（1）（き）EN］2（異なるi.うたにはし.EN：などにEND E N D EAI）=0等を用いる）

E11点が）4］EC がよって.

（c：定数）

チェビシェフの不等式より

Nltにリー EliieE

よって、

2 - ' t 2約（lilt）くかとなるので、

B e r e t cant e l liの補題より

P ( b i l e IIE）

=0EX0とすることで、確率の連続性より

p ( l i msup I が1>0）=0型（大数の強法則）（Xn）：i.i.d. X : E L '，Xtjxnasl※ 分散の存在もじも不要.
確率数理要論34［Xi]y

証明は補足資料 aThin2.41in Barrettt h ed.
18 / 18