o

汎化誤差 解析とRademacher複雑度
F：モデル（ f : R E X m y ERなる関数の集会）

例： ニューラルネットワーク，再生核ヒルベルト空間を損失関数とする.
R × R - R
例： kgf（川）=（ま-f（川）2 ： 2乗 損 失l :はER)

lは、f川）=l.glk e p t Ha）））：ロジスティック損失はEには期待損失、予測誤差： LA）=Exi s MY.f(x））］
経験損失、訓練誤差： If）=お☆lばがい）
で夕：た=（Hi，の）（it...n） はi.id.である分布日に従うとする
PG=Ex..、［9（XX）］

Png=方言がいる：），（L(f）= Hbf）， I(f）= R lbf） である）

f 0 = y m i n LA）
f叮測関数が何らかの推定量が二 無し，の｛L(f）-L(f）・L e t t e r ）
•と書く

ながいの分
布は目なした（かく）の分布とL(f）（ともに存在すると仮定）

E i c e s s e （残余誤差、余剰誤差）
Generalizationgap又はLA）-しゃ）（洞化ギャップ）
がこれを「洞化誤差」と言うことが多い.

Excess risk

いいぱたい鼷！！".！覺裵Op信）
笄！"！籤箱兜鬱を十分小さくしていればRademacher

1 / 19

"Y？！ I ( f ） ならI41）ーレぱに してたが顎"十袋？に器、汎化ギャップの8ound〜t.CI）-I(f）=歘.. I！！！！黽

•（RR）
⇐）

⑥ Fはデータに依存するため、単純な大教の法則は使えない.
G：= 1 g = l f | f EF｝：𧃴とすればな年 （P-R）9 を抑える問題になるも経験過程※ 以後

袋、ただ行くな袋、R9 や か）
性は値の測通とする.Tikiでない場合は以下の議論は成り立たな い . （Fabianiの定理が成り立たない，Exv a n der-heart&Welker:Weak convergence and empiricalprocesses.（1996）-の See2.3.

Dudley: Uniform central l i m i t theorems.
tRademacher

Eek州キ砡に刈）S u slin i m a g e admissible

2 / 19②12ademact.ae
以下.

11811。EM （なEG） とする.

甠（Rademeher複雑度）

a（に1，....n）： Rademacher変数とする.
--Cii.d.）Karl）= p(a=-1）=主vs.絶対値付けないバージョンもある.

In(G）：= E a i Iたと， Itた。8に川 にい....Zn］
Rn(G）：= Eez..だ しR(GI］正（対称化）/、_にぅだ、と書くのがええなのでZと書く

Ez..I な品1（RR）8 1］ E 2 R n ( G )y（直接卵 を評価するより. Rn(G）の方が評価しやすい）（Prot）

砠 =Ez.は！！I

Ez！ぼ！ごが.

！が総..

，1］

ないか［な品 It点（9（ごう）-8に：）） I］ （Jensen

Eの不等式）

E a Ezi［た年に総（8的_gain））/ J=(Z'ことでは同じ分布）

Ea砡（な品 に総8になっ1）

E

E a Eziは県， It紀はED1］

t=2

Rn(G）にF ubin：の定理）

な、でのでは姓使う.

/

7積分性は有界性よりO.k.
Rademacher

3 / 19

直Pは品、1（RR）9に2REG)t川藇）ES(EST）昢L a l McDiarmidの不等式）
が..Xnを九上の独立な（同一とは限らない）確率変数とする.

f ： が 一 R を可測 関数とし.
I f G.....が....an）-f(k，...）に、....）（n)IE C i
が い い ....In,in EXに対に成り立つ時、P (f(X.....Xn）-E[f(Xに、Xn）にE)E

exp（- 江総）

今 11911aE M（なEG） より（Karo)y

H Z . . _ . . れ た たと It年9（Zn）- P81
f G......En）-f(Z......Ii....，Zn）|とすると.

8節It点8に。）+ T - 興 4 𤇾 - P=gI

な品 は皛8に：）tsf）-P8 1-州など，ば一興1な品 I t 新 が 興E

手品.li/hTTeE2共同な気にして.
f(Zi...Z ....2） f(Z....Zn）5年
-

絶対は壬生

Rademacherである-

より4 / 19

あとはMcDiarmid の不等式 と対称化より従う

凸，、（Rademacher複雑度の性質）（I)

G C G ' な ら Rn(G)E R(G'）（2）

中 i R → R が 14派）-中..（のIEDには1ならEa［ま剡方言aた（8（甽］E2D1で（G）（contraction inequality)

YING）の定義で絶対位を使わない璐.
中が絶対値を外すことで 2PとDとできる.
たとのEC-）の）（3） Gの凸包を
cowCG）=1点が列 数は1，No,g..EG,m二に....｝とするとRn(G）=Rn(cow(G））（4）

R n ( C G ） = k l Rn(G）（1）

たHa）=x。，if※※とt線形モデル

亜f（CER）

する、EN）に112］ElRn(F） = Ez..。［弁晶、HE。じ）に 1］

Rademacher

関：籤！！
橤鸝・學.

5 / 19

（2）Fが有限集合のとき
H . . . . ， f i g , I I fallFRn(F) E R

ER なら/人率も5←

Rnにいが入ってな
ければ川をみせる.

を H eHolingの不等式より（Massartの定理）示せる.

⑧（証明は略）

損失関数がリプシッツ連続なら？
q .

より、NA化 ギ ャ ッ プ を Rn(F）でおさえられる.

I l(y.fr）-lは，f'）/EL I f f ' I
I(f） -L(f） =Rademacher（Pn-Dlf)

E筠， （ R - p ) g

E

2R(G）+Eとする.

4 L Rn(F）+M|率

with prob. は .

M|率6 / 19

深層22-31しネットワークのRademacherネ災雑度
ここではやや特殊な条件のもと、 深度NN のRademacher複雑度を導出してみる.

Lin

MEIとする、T = ［WK'n（びじ）の（...n（がた）-）-）I

w i l l E R " " " ， H w a H a , E Be｝

ただし、 - 7 い た m a x G o ）-の =Ha）= &Wj n(fg(x））/fire Fit.INNER}

F

1fat=wT | AWHI E Bi｝=とすれば. た = 下脞

（1での泐"神測11で川が二、日経me 11な"！111とする

し（要素ごと）である.

Rn(Fa) E 2B.がした）Rした）= E a

11412EB：|lapy式e※G3（ないた））/］f jE Fit=Fal！な際Wj f&aた（たいした）） / ）の箔のH&G7（fil)DEE

Ea［品！ 気質1BiRademacher

E a Iた品 は䜌のはいい）1］を I n o f Ifeた、1のRademacher複雑な7 / 19

!

❤

E

2B:R(Fm）に Contraction i ne q .

では 1-リプシッツ連続）x

し11111。El ( a s . ） ならInは） 5（Pet）.た。..

た。1気品、，

1" 奭/Mh，には，は絵矧］= R E aに合計 な点になる1］E

たB、12にMassartの定理）

率y（PNNのRademacher複雑度）
11）（11El (as） ならR n ( F ) E 2したBi/率いp. /TO各層のパラメータのノルムが制御されていれば洞化する.
ネットワークのサイズが出てこない。

これ以外にも様々なバウントが導出されている。
（2'が出ないバウンドなど）

Rademacher

8 / 19#oRademacherた実雅度の 上昇： がリングナンバー、エントロピーナンバー

咀（CoveringNumber，被覆数）

で 関数の集合
d: F の 距 離N(F，9，d）：= m i n In211羽.....fm E F s t甠（エントロピーヨ f j で d C f f j ) E E｝

数）

データ点といったEXに対して、とする.

を/，19>01Nは、9.DEが｝e . は、d）：=inf（方言If甽リ合

11fHmp：=はEFにはして（1EPくH E F が M b ERをみたすなら、あるが....）（n）EMが与えられたもとでのはにょ！｛d+ R l'ーつ學）
Prff E F に 対 し て 、 N [ f ］ をfに一番近いと被覆の点とする
R（下に E o に符はEat（州に？長磊=瓦と別Ea(Ma）-では3（か。））tE s vH）（州］
hEE。保踽言のは似VA）（が））1］+瓦僲は総で）（明E

If（外では）（）に）It Ed！！訛な州川上然な例］
IFf符
t

E dRademachert

RINT'E Massertの定理）

で穟のj番目の元

49 / 19

& "&!

❤

であることから. V E 8 なら M a pE Mnq
Nは、下、11-lmao)ENは.たMr.p）であるので、右辺の被覆数は

Nは、下、ItHmp） （P>1） でおきかえて良いを（p=2はよく用いられる）（Dudleyの毛イニング）

あるが一、，In ENが与えられたもと.J：=f等 H fHnz とするとRは）E の先 14d t 岩がTFTTTHTNEEND d e }Rn(F)E 言（I2%だ（たい、Mn.2）な符

11Hln.2）//※

Fを有限個の代表点で近似し、その近似精度を粗いものから密なものまで つなげてゆく ど う 操 作 に 対 応 .

P rd （エントロピー本人の方だけ与えておく）
T =｛（fat.....fan））IfEF}v110，....o））ER"d（なかにとすると.（Td）は「1分な距高位空間.

H E Y

以後、 なでe(Td）は有限であるとして一般性を失わない。

特に.Tは有界で、「へっで E nGol)soである。

任意のE>0に対しS.
E d dao)： =En：=とする。また、たRademacher

骨（ HE)Gi(Td）は て I に対し、で.

（に1.2，-_-）

除-ネットた を した1たが" なるものとしてname

晶1では別で取ってまる

したなた数の定義より「1的10 / 19To=｛o｝ とする。 すると、Ej(Td)to（よ」。）より.

U：
なた に対し、金長が総だと出た総たが成り立っ. （SはT内で稠密） よって、な代わりにUを考えれば良いな21，RETに対し、 T H E な を ， d ( t . な H I ) E Ssi なるものとして取ってまる

特 に . HEななら、なけ）=t としておく.

（任る） をjzlを1つ固定して. のrj=Tljとする。に-.-灬のに、.....。，

当然 d（たけ），が（t））ESが である。

今. htt）：= 六 E h た（tET）

ii.i_ETD.JO善詬

とおくと. H E Tjについては甽=はけ）-ol
階（た（のけりーんはいか））た事も！たかがた
したが1二となる。 よって、

Uた：=Tou-_-けたに対してもし筤THE起る。答 Iた（かたした（か）Iが成り立っ. すると有限集合のRademacher複雑度よりIた（かたした（か）11
f,Eatて筠で品が別E
EalE

U=ITについては.た→/ 12 . だ S i tとすることで、単調増大性よりEa［手品hは1］E &J T S で . に注意すればなさ
あとはた糾（to）

れ方

Rademacher

11 / 19⑧深層NNのがりがなパスパスなNN
た、a B ： = f(wは+が）on(wには+が"）o...。7（だい）1
点Hwは11。十年11が11。ES,

mymax111びな、11ball。1EB,w a ) e R Meなど， h eE RMe｝
（ただし、T. s n ： =11で11。=での非ゼロ要素の数、Mb=heyM i l )If（川=yafymeinlkeee）/Teた。B}
dipping さRの間におさめる.

曜 （Schmidt-Hiebet，2017）myme E Wとすると

G N ( G F h sB,All.）E2SLG(L（13は）でい彡ニ）In（たい） E

な面興

412|

（Limは0（n）なら-0（IMF）でが大きく2もスパートなら汨化する）

Rademacher

12 / 19

!

Fa s t learning r a t e と 局所Rademacher複雑度-

推定量Iはドの"近く"にいるはずtより"局所的"な上界を用いるべき

me結果的に市より速いし十が示せる._仮空｛--低Lは強凸：あるd>0が存在して、 HGFに対しも11f-to HEa , EL(f）-L(f）1は1-リプシッツ連続.Not l bE M （はEF）
lは、fには、f）2で11811。E年 （ は は 1 . M l a E年， は水川紘（なら成り立つ.

Gr：=18=lot.lot I.

）

適当にスケールすれOf大きさは重要ば一段の大きさ）ではない。
に対し、同様のキロンが成りと？
Pg=レ（H-L（よ）E r , f eF )G ： = 1 9 = t . t t t I f EF｝とする.

Rn(Gr）を局所限外なー ー 複 雑 度※と言う.

リプシッツ連続性と強凸性よりも11911た（Pz)

も H t t Hた（pz, E P g

Eなので. P g E r な ら

11811には） Eた
Rademacher

I F

H-HEa , E 2な t

Excess riskが小さければfはドに些
13 / 19(Peeling）

Iある中：Los）→［as）なる関数が存在し、あるP>oに対しt r y Fに お い て0（4HE20（r)Rn(Gr)E中（r）が成り立つならば、 な>がに対して

E a z i Iたと、
(Proof）

誘學］=4型yた重興
Eた品川Gri襲學

砲のEいの中身Eた出+

両辺期待値を取ると、Eしたの）E

Rademacher

Rn等tた 影 響

E中學t も&※がな）⇐型 +it年滎

E

4等，14 / 19❤

（Tala grandの集中不等式）⑧正（ZA.P）：確率空間

E ： （ZA）上のT測関数の集合、
E18］=0.E182］EU，11811。EBか）Eは1111.

（なEに関して「1分.

すると、Kt>0 に 対 し 2.

Pzなども方言9にいZ2たば訪朝にい］++ 1 2のEとして.

I=ド=M p g /gEG） を用いると一例。州噐ば先 = B

118だ沼な器.EE器が E！が18にpg

および.

卬州襲歳）

Rademacher

立=でPeelingの議論より

E「る姿（RR）8］ E 2 R （なので+望］Edy。

gyt"RG）碧でははc.

E型+1蕞+響=：では1

w. p l - e - キ

15 / 19

!
J：= 気品in IG）
このときとする。にはとなり=4の一唎+TTTしば）-LA）では）-1（fy+（RR）8 t==Eiy

P n ( l o t lot）（にPr）8t (Prp）（leftl o t ) t P HE l f )E ( P d t r)Hr)t(Prp）（left lot）+1（M-L(f)o .

（Prp）（lot_lf）について、ド=レ（ド）-1（f）とすると.

E P SE M

Bernsteinの不等式より(g=loft life） と .

か）8=Or（原坊） -0帖）がが成り立っ.

.

（Pdtr）た（r） に み て .

た（I)E 主 になるように Fを選べばP（8）=L(I）-Lぱ） E

2rた（r）-12Mt Op（市）⇐を得る.

た問註 はr+2は+0哈）

maxlol（の点 時、門E fLCI）-1（HE f+2は+0，。（う）

IfRademacherにu p. l e t0は大体凹関数になる.
1ならない.

,0（r）もなる上を求めればa(fixed point)
16 / 19

例：log N(F.9，11th.2） E E "R fG r ) E（はf=n - 前 で達成.のとき、LC I ） - L ( f ) E n - 市

Rademacherのとき、「咠 n-高），Rn(fr） 三 r
た、 f た f °（as）x17 / 19•

深層NNの局所 Rademacher衤交雑度
先の 深者MYのカバリングナンバーBoundlog(L(But）・びど）N(a、たい、州。）E2SL
byより.

中 川 E O H1N1）-かじか）な > r * において、（略証）にだしたルポには1-1に［R(Gr））E Ez[R(Fr）］なな
action

たな！は別！

⇐i na

ただし、srは似たが1］

たたなE）な
11Mn.2 たこはデータに依存するので.

鸂：：：：：：驫...

局所Rademacherを用いてバウンドするt⇐必要がある.

が跡）倍y

ノンパラ回帰への応用：

y。= f°（か）-1 9：
Enは iid.雑音、平均0，19：IEC(as)

f=ay

min

f E Fc.

Rademacherなら一払い）2
レ、次 に i n
18 / 19y$❤
臼（YarotsKy，2016；SchmidtHeber.2017）tで何か：1にタンクラス

C'（G.1］d），作に列E

ailse. I f I質唎。
-

「紀州ながだ！
興N》になる整数に対し、

ヨに0（log(N）），ヨS=0（NGCM），

ヨ び = OCN）， ヨB=0（1） で、
i nf- f l E0（N-！）

H

ただド=0（N-）

よって、

f=，o

←バイアス0（川蚍昈f籅）←パリアジアたがオフととることができZ.

HI_to作例= Op(Itは）Nである.

nとおけば、

彘1 1 I f 作 例 = Op In-彘leg(n）3）
注/

最近では非スパースなモデルで最近レートを達成する解析も現れている.

観測）イズムがガウス分布の場合、 有界性はIECは成り立たない。

この場合はFlagradの集中不等式は使えない。

代わりに がらシアン集中不等式を用いれば良い、（る）.
で：i.i.d.

N 𥫣，（との璹，CHE,ex：固定， F:I川がついて7分

Pに品に䜌川と班剡に䜌明yft)
E
Rademacherept型） は70）

ただし、11球一次た方約昈.
19 / 19