講義51 / 11❤
o

カーネル法の学習効率
Yi = f ° （ N

モデル：（-Ei+（i.ie）に一Px. E n M e o ）カーネルリフで回帰：

I

推定誤差：

H I - f Hi，Q：サンプルサイズn→yiy

F""なサンプルサイズた点（ながい）2+入Hf H I区［CIM-fix））2］
もテストデータ：X-Rで期待値取る

で どれだけ速く H E fellた → o か ？

2乗損失を用いると 解が陽に書けるので、その形を用いた解析を紹介
E : H e H ,E : H t H をそれぞれ次のように定義

でE..［ただ「樹源TET&ただ'f EHに対し、 f =）=fhf h a )である.
goE H ， たHを次のように定義：（fだ（的な仮定しておく）

つまり.

fたがfdp
If=j※お、fan）｛Ego：=f=mE，［たfてい）=/たf0（x)dB（づ）が出たっいた｛お 1では）"8°I（E tXI）で：=もIの定義よりが定義される.

=

講義52 / 11

% %$以後、簡単のため f EHとし、 Hいに（R）とする、

また、 t EHも自然な埋め込みを用い2IEに（Px）とみなす.

III-011で2（Y臾で+1は不崧、郯覺「バイアス・バリルス分解」 をしておく.

k .

"
まE

た （ a N）-'IIIii？、「箭熙琵+が、g.ee）（E+入工）でjf×I （きががt ， 、 "たも，I，f，ヽ-18+XI）でIf_ （4+AI）"（&If)=（I+1はH［（EtXI） （ fi f ) t A f ]=-こ（I+のIT'（Et）は）"（Stith E t D f os）（がf）が祐雄（ E t NI）-118-Sf)-Tyの不確定性

二!

''
こた方（Ety f oが、I If m THE E211（EtAIT'（Es）（fi f）11たを得る。

II=（an）（たか）となり'+211

IR I ）" （8 - I f 川に←でいい←にa）とおく

t

つまり1.

118-Mi E 2 A ( N + 4で（川+4たか）.

（自由度）-1
定義○.

B(N： = 1 1 f i f t h.NL/D：=T1（E+入が幻（以後，た（xx)El

講義5（再構成でサ）とのjftfhhhhe

degrees o f freedom鑞ご気が：：.さMj=。（j>d）

3 / 11十分大きなサンプルサイズのもと.

ATた （ 川 E c[TITAN +が咖_］なけ）が確率 1-Sで成り立つ （De）. なお、Cは定数.
国←こちらの方が主要項た（NECにも四 十 合］なほ）

が確率 にSで成り立ったを示す方だけ角年
近くの定義より.

11ElE t M"（かが脽た（N=H E ( E t XI）では十八IFは+11エド（8-Et)Hi
HE(Itの が （ EtIII）をHankie作用素ノルム=E

11（EMI）は「（g-Et）11年x.

H E ( E tAIT'（Etのが11am のRoundた2E11Kt入りさ（Itのが（a N F Ham，ニ||（ItM E ( I s t E t MI）"（EtAI）とHHH）= " "！！！𥫣な.籮なが倁作用素Bernsteinの不等式

講義54 / 11定興（作用素値確率変数のBernsteinの不等式）--

H：の分なヒルベルト空間

X i . . . . X n : H上の自己共役作用素に値をとるii d . 確率変数

. E LXa］=0-IIX：11EM (as.）
2のとき、E H ? I E S (Sは半正定値配共役作用素）
USE(al）に対し、

ただし、P=logに器）.

.

P（11の総HE ' ' T ' t 響）とは、/

X：= とのI）をhki-E） には）た
E N i l o ,とすれば.

IN：11EH E t Mis(aには11+114位）きた。ただ（aN）州E

I tsupKappa，

くたら十位）"た=：M EN?
EIt

兜では新興E

It文

EE，、1は十仕にただGM" ただに入り汀嚮 くたいせげたそ」 E、1（ム仕にたたないに門Ef kt入りをE(EN）磕 = S

Eを用いる。

講義511SHE fを用いると、

5 / 11

P（11は十位に（EE）は+のがHE|喜+2（1等）に別袋岳礐）

21-S，である。

し十分小さな入を選べば.lkはかなりは主 である.
（入る例とするD|た！（興）

よ、て、

六《1となるくらいのが十分大きければ、11はいけ）を（Es）（aのがHE主が高い確率で成り立つ
HE（8+入が（EtTI）と仙川E2H(EMI）も&If）11年 のがらげ・

i点（aは住（あ！！ごとのが18-Et）= あぱ甽=f点には肝ないし.

net

3（）（の，た）t

Ht部には幻何をBoundする.
E）に1とは9）］=0

とおく.に注意する。

定理（Bernsteinの不等式）
H：吩なヒルベルト空間
た： Hに値ている i . i d . 確率を数，E l い た 0 か つ . た［例がI E I m！で--M"（
P（伏訓に全2（臣塔）哘）には（はECO.I））

講義5

知彡

6 / 11

%
たとして、%3（がた）を代入する.

た！！！！
た麗別⇐

た。1

（111た（an）州で RalfdE1-！！が（1くお、を⇐がたた，has）が興に鸞と「文字等"的なので.

P（11'万部にいた仏壬2（暦十IF）なほ）にはである

よって.

11（an坅（g-Et）11年E S（62㷀+ 2市）がほ）

liedが確率は2みたされる.

ここに.自由度が現れる.

※ キモこだりろがた）11
弘］

學！！！！た！た.た.int
11

た｛なおだは入が］｝.州

なIsは圦が1：自由度
講義57 / 11!
以上をまとめると、

11ftp.T,E

A I N t（"_四T e十例tたが呦が））8行r）

withprob.It.

この2項が主要項になりや私.

AIN.NN.BA）等を評価するために、いくつかの仮定を置く.

しだににない杉興（カーネル法の理論では標準的）

仮定さ.

鬚燹

ある に主が存在して、 た だ じ （ R ） .
ほり. ヨ F E E） f=は「だ←に、上よりHでもある.

Rに対するたのMercer展開

2 .

E

でた（KN）=Eddie:Gc)Er（）（'）（en）：は.ES?eLl？の正規直交系）（M？た-_-20，が可能であるとする。 このとき、ヨメ>1でM E
意味：

1 .
2 .

i xの"滑らかさ"を表 rが大きいほど滑らか.
すTis.
RKHSの"複雑さ"を表す のが大きいほど単-E>然がf.MN.

A(NEが 1 1 f i l lEck，E

Nなが， E

主要項だけ書き出すと推定誤差 E
講義5が-）0を考える）

紐←rが大きいと.

バイアスが速く01収束
人が大きいと←が州に呦

バリアンスが大きくなりにCu.

がだ！ごうです なな品
らが+
バイアス

バリアンス

を（たが高とすれば、，噐が項を無視している）

8 / 11

HI-f1作 E n-1器1は mini-max_e.lk呼ばれる。
定理（mini-max最適し十）infが推定量！！見E l II-811で、明と n-器、，た碻だ、11圳派）El

つまり、最悪誤差はどんな推定量を用いてもいい器を超えられない.
it

リッジ回帰は（ほぼ）最適に次ページに続く講義59 / 11

自 由 度 N INの意味について （重要）⑤NM）= T. I E ( E t のが］=であることを思い出す。今、NA） は お お よ そ .

I器のM=0（か） は >1） な ら ば&.噐入 でおさえられる（これが0（かな））稻一一国、：：：かな入い這𡌛鑾で切っ入以上の固有値の個数doを数えると、た。=かなて自由度は、入以下の固有値に対応する固有ベクトル空間を無視した有限次元空間の次元→カーネルリッジ回帰は2の有限次元空間に制限して学習していることに相当する.

HaftIdie派）

私以もっ

産deal）（）

近似でサlA叭が〜t（a。EN(N）

自由度N（入）は入の選択にも用いられる一つMallows'Cp規準

AICと同様の効果： AICはモデル選択における次元の決定に使われる.
Mallows'Cp規準では.AICで出てくる次元のペナルティの代わりにN（入）を用いる.

○☆

すると.几の選択もできる.

カーネル法が無限次元モデルにもかかわらず過学習せず適切な推定ができるのはこの！紫新築、舞恐盛麗和
講義510 / 11

•

RKHSのcovering numberB CH）：Hの単位球
Mi E c で=>｛AN(BAD E HillE Y E E きた（BMI,Mick）） E

できたどを代入すれば.bg N（-_-）ETの三NM）->

1は11に袽かは0と同一視すれば残りの次元はNK）

先の局所Rademacher衤交雑度を用いたfast rate
ニ）

講義5n 一 度=n -点（にものときのL

11 / 11