❤

カーネル関数の分解と再生核ヒルベルト空間の特徴付け
カーネル関数はある条件のもとたが火に 約Matei化）のように分解できる。 ただし、

（固有値）
t.
zhzsz.
ie。
｛・eにはある測度Vに関するEH内のONS.
•（Kil）りだいりがい）=エ光寺）.
（のキン）

A . ある位相空間X上の （非負）Borel測度r に対し、大で決まる積分作用素をf

左f（っし）=とする.

f（いた（は、）（）duは）（ fEに（い）作用素たとたの分解は密接に関係している。
←定理（Mercer分解）

作用素のスペクール理論等から示せる.

Xをハウスドルフ位相空間とする.
VをX上の非負Borel測度で Supp(v）=X であるとする.

た ： x x x → R は 連続ーーな正定値カーネルで、とする。

f た（がく）dvいり く か

このとき.たによって決まるRKHSH は51分で、 「KEXにおいてh(R.）（'）二 点

MiEi（）（）E：（が）が「ル'EXで絶対収束し、任意のコンパクト集合A e x 上 の
x ' E Aで一様収束する.

Mioである。

また、この分解を用いて. T はTf(x）と書ける.
講義3-2

=

Im e a n Ken.f）に（y（たけ）/ /1/7

証明や 関連する話題の詳細 はSteinwart&Scared: Mercer's theorem o n generaldomains:interaction between measures,kernels,and RICH
Ss.
o n theConstructive Approximation，35：363-417，20/2.

を参照されたい、①

Mercerの分解を用いて、 RKHSは次のようにも書ける.

1 F a i a l &なく ｝
1 I be： 1 F T < o }H==②t.ge Hは𣷓，Jとしているがtold?M）なら無とする.

f G）= Eb:eia）， 8（川=I bi e：に） と書いた時、を

H . 8m'器， M i E 器

I=と表現できる。 これより、 再生性も確認できる：

は架装品燾麤！ら𦥯③④

これより.

Eb：たがHas=正規直交基底になっていること（ Te n ) iがわかる.
下に なるにい である。 つまり O f E H に対し、TEE(v）で

.

は Hの

cof=ITmTfg -f =ATは、たでいEnと書ける。 さらに、

1If仏がわかる.
M at . c l=int111811に（n| f=なるg.ge E(to）｝であることと、多くの場合でenはんが大きくなるにつれ高周波成分 を もつことになるので、 f は 9eにル）に平滑化作用素をさを作用させて 滑らかにさせたものになっている.

講義3-2

2/7

#⑤

❤

"

た（x）= （Tedx））if と書くと，た（xx）==F(Tea））（Tie派リ）

た（川，たがD 42名に）と中が）の内積
eと斐、ふたり篊挙人
導数写像とみなせる.
Mercer展開を用いて、 カーネル法による学習は次のように書ける：にして、

方言lH i , f N i ) t A l l f11がた点lは、Eaj Tej(xi））t入Faimin

二（な）j f

で書いた約 bjた（かい） 十八事長2min=（な）.

カーネル法が（鄭良次元）線形モデルを用いた学習法であることがわかる。
また、正則化頃は リッジ正則化になっている.

このように書くと、た展開は） だが「1分なら常に可能.
： を み の※し1 たe
完全正規直交系（NS）とすると.

た（かる）= Feiいいた（g）

が成り立つ.

任意の_（らはEX）

した（x，-）=Eea）たい がH内の収束の意味でも成り立つ）

先の分解はたに付随して決めたのでVに依存する。
しかし.たやRKHS自体はVに依存しない。 つまり、先の分狎はhi.た）：の選び方としてにくけの正規直交系を用いた特殊な例にすぎない
講義3-2

3/7

❤
oガウス過程と R k H S
再生核ヒルベルト空間はガウス過程の特の数付けにも有用である。

定達

が値確率変数（い....Xm）が多変量正規分布に従うとは、 Kt....，tm E Rを用いて、d,X.t.it#mXm

がR上の正規分布に従うことと定義する.

藩oもゆるす.

平均： M = （ E N D. . . . . E l Xm））TERM
共分音が E=（EN:Y］-ECX i ] E [ X j ] h g E R " "を用いて、定遠N(ME） と書く。

（Eはランク落ちしても良い）x

ある確率過程 （fr)xex を考える.

任意のか、....Rm E X (mは任意）に対し、し、，...，fam) ERM（f）がある多変量正規分布に従うとき、 f= （f i n ex はガウス昂進 に従うという.

ym a ） = E [ f x］：平均関数

だ が ） = E[Arm(x））（が一ma'））J：共分散関数を用いて、決まる.）

注

た ： X x x → R は 正定値対称カーネルになっている.
-講義3-2GP(m.た） と書く.も正規分布は平有と分散のみで爕鱲た然！た鬱したい_-4/7

定理（karhunen-L.ie展開）

f~GPCO.fr） とする.

たは、先のMercer展開の定理の条件をみたすとする.
たのMercer展開を用いて、（fの適当なバージョンが）f.

&たTalk）=ら〜N（！I）（i.i.d.）と書ける、右雀興

EH，、fi］=E& Fたなばた川はej（刈==定 理 （Driedの定理）

I ETjがないじ）

Egil&heいた（つじ）=k（かじ）yy

Hが無限次元⇐ ） （fのあるバージョンTが存在に）

T E H が確率1で成り立つ.
（確認）

Kし展開を用いて、

MII=I3：21（at。）と書ける。

無限次元： に zmeなら有限次元： も で t . i o （な>I）なら講義3-2yIだ=（as）

点 だ <e(as.）

5/7

週

（ひ。He。，かたした）［0/1］ 上の Wiener過の星 とTooニo (GS.）

た（t.sk E l i t eWs］= min(t.SI

でもーな〜Nh i ts ）(t.SEには） （な）は加法過程/たHS)e（のdf= M eを解くと'｛an=にsin（學エサに点でm =（（に1.2.-.-）が 固有値、固有関数になる。
よって、Kし展開より、 Wiener過程はTry =二for

Fたe：1から。

重 器、，sin（に姿も）のふ〜N10.1） （iI.d.）.

なる表現を持つ.

講義3-2

6/7

o

ガウス過程回帰y.。 =fが .） t E：
（En~No，6り）なるモデルを考える.

|

Dre（）には：）ジを用いてfを推定したu.

ベイズ事前分布 Ndf）： ガウス過程
g Heた）

fの 尤度：

武高が一高はは呦り

べんで事後分布下（dflDn） の武高exp（ーど（対側2）の（df）ある）（EXに対し.とすると、

た、p n ： = （た（かい）.....た（かかい）「ER"K ： = （た（かな））ng e R " "fの事後分布はfたばっか
平均： t h a t = たが （ k e e p 「ER"共分散一. IN.）（'）=だが）_たが（K+62I）"たがなる ガウス過私立で与えられる.

（全てガウス分布の条件付き確率等の計算で求まる）

平均に注目すると、|

J = amindy講義3-2GR nI =これはカーネルリッジ回り
解と 一 致 す る . 点はい たがd）2+のFKの（Ktは）"Yより.

I（川===FE（かいのだ。，灬がyかい）

it に62|
7/7