・

カーネル法と再生核ヒルベルト空間
カーネル法による教師あり学習：

亥ヒルベルト空間1十曜を用いてた 熊の も新た.剕）+ 入側は
ただし、lは損失関数， AhはHにおけるfのノルム.

定遠 （正定値カーネル）

k:xxx→Rが 次 を み た す と き 、 大を正定値カーネルと言う.
・対称性： た が こ た が い c u e ，正値性・. I だdidjたが、な）20・（なER，も）にEX, m=1.2..一-）

例： （ユークリッド空間の内積））（，yERd に対し、h的）= i y =I）にy：

たには）は 正定値カーネル.

gyとする.

定率再生核ヒルベルト空間， Reproducing Kernel Hilbert Space.RKHD
集合H上の RKHSとは、 X上の（実数値）関数からなるヒルベルト空間で. UKEXに対して た。，EHが存在して〈t.hn？.，=f(k）（再生性）

は " "が成り立つものとする。

特に.

←私7せよ。

た（x.は）=くたkyh は正定値カーネルであり、Hに付随した 再 生 核 （Reproducing Kernel） とよぶ.

定義より. Rk H S H に対して カーネルたが定まる。

逆 に

講義2正定値カーネルなに対して、Rk H S 7 1 がた

esy ，y一意に定まる.

H1 / 13❤ #定理（Moore- Aronszajn)

h:Xxx→Rを正定値カーネル とする

たを再性核とする R K H S が 一意的 に 存 在 .

証興H。：=

yspan したが） I x EX）

1 点をしたりdiIdaE R . た e x , m=1.2....｝=

Hoに"内は責" t . t n . を次のように定めるとし.

i M）=&diたが、）（）， 9に）ニ※Pjたほう..） EH.に対し、〈fight.

=I fd i PakNi，な）.

t.iiiiiiiiiiiiiiii.i.ie
は、し た にiiiii

書 EY d'：Bhai.な）= F P jfly.。）

一時ty 等し
これが実際に内積通達進言が"いる）
線形性： 〈 a ttbg.tnた =a<t.hn。 + b<8.tnた。t自明=。

。

正値性、非退化性：〈t.fm.Zoかつ 〈t.fm.=0f=0

2 わ よ り く、7には Cauchy.Shwarたの不等式が成り立つ

で喊

Uf.8 toに対し.
実際、.
oeatbg.at.bgがall魋Td！たがより、い、20Kt.8%Eで例だ+511811年.

HAE，11811た<t.SNならE、

a = 窳 ， に 麻 . とすればHfh。118Hmoを得るHHH。=0、または 11811た。=0のときは、 〈t.hn。=0がすぐ示せる。

ここで、〈t.fm。=0なら.

h e X で f化にH.た（いたより.

Cauchy. Schwartzを用いてI f a l l = Kt，た（いた。1 E HIM.. |川）でより、

講義2で=0f（川=0 （hex）. つまり f=。 （関数とし2） を 得 る .
2 / 13く、・7m。 が内積であることが示せたのでこれで定まるノルム 11117%で710を完備化できる。これをHとおく

完備化の定義より、 みの内積は次のように定まる：

f . 8EHに対し.. H。内のコーシー列 （ fn）。（8n)aが存在して、：=G Hn,ah，。 と定義される。

〈t.fm

これはコーシー列の取り方によらない.
f E Hに対して、

f(n）=fに対応するコーシー列（fm)mE Hoを用いて

h i s Hm.たがDm。

とすれば H の 各 元 fEHに対し実数値関数が、幽！が遡る.

これはコーシー列の取り方によらない。 実際.（fm)m.（

ともにfに対応するとき

I〈fm，た（..）1）か。ー く8m，た（州〉no I11たい）仏。1（fm gmHH。一つ oETになりである.

f t

HAH（）（Hfに））ER"の対応が単射であれば集合として HC処と見なせる.（つまりHは実数値関数のヒルベルト

zdeはfbi）=0（NEX）

H M = 0 が示されば良い.

fに対応するコーシー列か）nを取って来る.tnは2-三一列なので、ヨ A と が11film. である、 十分大きなNを持って来て、「 h ? N で H n - fN Hn.Eた とできるには任るな）.すると.Eh I N でHEEなりなのでH nH E = く fn-f，、，fig,
E 1 1 f rf u l lr o l lf i l m tfFAEYJ.tn？れた。
E系 A t ！'？

より、bing.pl

鱁」，.

faをこう書く.

IfnH i s E .とは任意なので G A M E = 0
H仏=0.
よ、て、 Hは実葉久住間数のなすヒルベルト空間 となる。
講義23 / 13

あとは、 Hが再生核を持つことを示せば良い.

t）（ E X に お い て . （だい）mなるコーシー列 でた、E H を定義すると、
くも，たの7m =h d fm.たがDay.

f（つり（再生性）も完備化の定義となり、HはRKHSになる。

再生核 は く た . た が点。くたが），た（とりた。

二た（りは）-_より、=

Hはたを再生核としても）.

（一意性）だとさを再生核として持）別のRKHSとする.
再生核の定義より、

ま た . H ig E

Spanした（）（i) I nEx3CH'である。

（関数の集合として）Span1た（）（..）/）（EX｝

に対し、は、87ne =くf、87%であることも 再 生 性 より わかる よって. H'の完備性より〈f,gた，H==S p a r t a

C H 'C関数の集合として）か） UfgE H に対し、 〈 t . S K = H . 8 が でもある。

今f GH'がf + H なら. た（り..）EHf G）= くt.EC）1..Dasとなり、
よって.

=1は11で=0 と な る .

0した） より、（KKEX）（た。xfより、 11Hh'=0×118例=0）

H = H ' （関数の集合として） であり、 Hとみ'は ヒルべムf空間として同型である.

4

講義24 / 13

定興

ある実数値関数のヒルべat空間Hを考える.
り、⑦

EXにおいてex:fいた）がHのノルムについ2連糸売で は R KH S（証明） や）/Riesz。表現定理より T . C H でG ( f ） = （f，たっした1と書ける。 これは 再生性に他ならない⇐ ） R kHSの定義からすぐわかる。 なぜならU）
1EXに対し.

I た E H でf（っし）=くf.た>mであるが、これはfについて連合を実 際 . If川-f'（川I = K f f'，himIEHtt'仏）.たたが、より、

講義2f ' → f E H な ら . I f 川 - 8 州 → o である./，5 / 13

#値たMy）= him（）は）（oEx.に1）とすると. たは正定値カーネル.

くf.た（Yi）>n=たが）の弱に歌合は No,a］

f ' f'は） ten）は） d YいEat］）

P f'は）dyIfはHo）=0とする）

fは）でfいにだFlu)du, gaff"Glu)duに対し、=は8年

表 現 は _=f'Flu)Glu)d としている。
u/際は翔墩なた無然 な点 l y t a ， ， "でたがR定興を用いて4（111-仏）とおきかえてき同様に成り立つ.

はある がERを用いてI（い）二点の：た（か、水）と表現される.
（言正明）/H，= span したが、.），-_-. た（Rn..）） とすると.

t fE H はf= f ，+ f、と書ける。

今も）に（t.CH.. たEHF）（に1.2....h） に対しf（か）=くt.EC）に..）た，=くf.たが、.DH tであること に注意する。

また講義2

I f 仏 に 作、Hf、1=Hi，たが.DH

H a k a i DHtrollじがみ）+11た呟 でもあるので、
6 / 13

T E l は、f a i n t A H H H=f 点l はa , f、呦）+ 入（1は順+1は11年）

これの最小化は た = 0 において 達成される、
つまり、
f E H . であり、 f
E れたが、.） と書ける.となり、=//表現定理より. RKHS上の学習はな品 t

E l l y : . &なた（なが））t の意のうたいいな）と有限次元最適化問題に帰着される.

講義27 / 13!
•。カーネルの和 と定理

そのRKHSh . k z ： 正定値カーネル，H i , H i h.kzを再生核として持っRKHS

たhthzを 再生核として持っRKHSはT H E f、 tfz If,EH、，たEH.｝

な る 空 間 で 、 1 - 1 の 一
If11た｛ 例 h i t Hf.Hi｝ （なEH,fin=

f,EH、，f,EH2

証上で与えられる。

F=H.とする：

4Hzを集合H.×Hz に以下のノルムを入れたヒルベルト空間（CHIEF）.

H(f、，f，）作 =は、11年、+11州知（（（f，た），（fi，）左H(f，，た）1→ f ， + f

U：下 →

ここで.

=

Cft！7it. t〈t.fiたに）として「N = が（0） にする.

Uは定義より、線形かつ全射であることがわかる.

下の閉部分空間であることもわかる。
N はなぜなら、 （（fn，-fn ) h i E N が （t.fi)EFに収束するとき、fn→f,このとき、である、
i n H i ， - fn → f z i n た

fn化にHn，たが）ふー> <f、，た（k.DH，=f（水）- f n(k） =くれた2Mi）〉に 一らくた，たが）には二石に）と各点収束するので、
つまり、

講義2

fitた =0 でf.IN-_-た（川 （た（EX） である。

はいた）ENである。

お 2. Nは閉.

8 / 13

N'tを下内での N の 直交空間とする.

U を Uのがへの制限とする。

UiNt-HH_TzDz.UE@a2.Hには
生麦

すると、は 、 8h ： =くでHI，で「（8）にと定義する。 あとはHがこの 内積を 用いて
1 .

た=たけた2を 再生核として持っRKHS

2 .

Hのノルムはことを示す

1 .

実現のステートメントの ように与えられる

f E H に な し で（f）= （f，，た） （特に f = t . t t ） とする。
ま た . が E X に対し、 EC）し、.）=た（と、.）tたに、.） E H である。
（た後、.），だ（x, i））=では（x，.）） E N ' e Fと おく。

ここで、左に，-）= を、（x，.） tた。（k，.）
た'（）（..）tた" G i ）=より.

なので（あい、.）- だが）） t（た（）（..）一だが）） =（た.（xi）_たといった（1，-）-だい、.）） E

0N会 で（f）= （ f , f ) E N ' なので、《t.fr）.（た.（）（..）_た'Gli），たGli）-だい、.））>F
くf、，た、（）（..）_た'Gli==0となり、 特 に .

で i n

=

くで（H， では（）（..））>F=

く（f，，た），（お（）（..），た"（）（i））

〈f，た（1，.）に，

=講義2

A

〈f，た'（）し、.DH， 十（ただ（）（i）たにf（水）f（川t t(x）Hはたを再生核いて持っRKHS.
=t

たHi，だいいた.t（た，だいいたに二faith（水）.の定義のである. i(fz， た（x，-）-だい、

DH,t

=

9 / 13

$2 .

%（（fits)EF） とする。

f E H を 一つ固定する. f f . t t（G，82）= （f、，た）-では） E

とおく。

N

下の ノルムよりである

11（t.f.ME-11fillた，+11た11名（8，82）EN， で「CHEN'ーであることから11は、，た）11年 ==である。

これらより.

11（a，82）+では）11E+11では住←政1118..82）作性

H t H I =11では111年 E

11（t.fr）11年=

11f、信、t 11た11うたが成り立ち、 等号は （f、，た）=で（f） の ときのみ成立する.//

補興

H： たを 再生核とする R KH S

H a : a h を再生核とするNHS（ただし入っ0）

州 汗 入 は晎/

（証明は略）
ーが大推定 1MH.pk/CernelLearniy） への応用ー

た、....たが 14個のカーネル。
H m i himの R K H Sf EH，min（れ）=..

HnI EPE2とする.

絆が、 fineHm｝
HEY
f=|f （& Am111-1にはた I N mhm， &儔=1，into｝
I
1いいもの

minRKHS

講義2とする.

これらの線形結合で良い'カーネルを得たu.

「た2のときは.max(Am）=1 とする.

10 / 13

!
特に.
F l :

min I

A Mm

FIXmhm， &が1into （'凸結合）1砿）釱らI た=

min｛11f，1hi,t-_-+11fullmm Iた点が.fm E Hm}=Hm"&た） + 入..，等にプレ、正則&"

minfme化（m=1，....M）

min=fE H et

A l lf H y

たEconv（した網）

カーネルの凸結合の学習も グループL、正則化⑧（スパス正則化）に2：" & た ） 十 九 言Hmp

minf mE Hm(mi....M，=L I fI

mint oH e

Lは「十九州金た䜌m⑧ カーネルの単純和を用いた学習←> グループに正則化
Miceh e l li & Pontil:Learning t h e kernel function v i a regulari con.
倁にんー ー で 1 0も！
9 9 ※幽幽ぽぐ- 1 1 2 5に 。 。 5 ）証明は者咯：

は唁

=であることより.

はe r i : I Hm嘛た=がHtmlPmmin(Iii'IIfmlh i | f※fm）

Amを条件（FE入湯=1，into）のもとで最小化すれば、右辺 の中身= （1は11別言を得る.
講義211 / 13•

平行移動不変カーネルの特徴付け.
た（旧）=中には） と 書 け 5 時 . kは平行移動不変カーネルと言う.

定興（Boehner)
Rd上の連合を関老久4を用いて.たには）=4（かは）と書ける時. たが正定値カーネルとなるための必要な条件は、N上のある_非_員有限Borel測度 Aが存在して.
+ （っし）=f exp(FIz)d1（Z）

が成り立つことである.

/ /（証明は略）.
上列 （Gaussianカーネル）
たには）=exp（一点11）は112）Ndw）=前を「.jo！！
定理

1が連続な密度関数Pを持つとするi
た（）は）=/exp(i UT）は））W

このとき、対応するRk H S H は

H = f f EE(Rd））

A .9たで与えられる。
講義2

=

/ I f

dw<o｝，

パル器dw

ただし、FCWに定µKpfaWEHR)dZ . .
12 / 13（証明の概略）
hには）がHの再生核となることを示す

ではにfexplicit）切には_）で）dw
El,y）（w）=exp（ーえどは）plusお）.

A.たはりた、ニ/1（いた第一do=

fもい抑留し_dw=f Icu)exp(duty)dw

=

f（ま）

i t これは再生性に他ならない

低 （Gaussianカーネル）
H .の n =

=

1箚は'
呦慶，dw

f e t a l ' T effectdw/"\_、高周波成分には大きな重み

ではHisとなるためには高周波成分が急減少しないといけない。

つまり、

講義2，f EHは滑らかな関数になる.

13 / 13