1

九州大学集中講義

深層学習および機械学習の数理
鈴木大慈
東京大学大学院情報理工学系研究科数理情報学専攻
理研AIP
2020年9月2日～4日

リッジ回帰• カーネル法のアイディア： 機械学習には「内積」が頻繁に現れる．
→ 内積を“工夫”すれば非線形解析ができるはず．

• 例：リッジ回帰（Tikhonov正則化）

新しい入力xに対してはで予測．

2

3• リッジ回帰の変数変換版※ 𝑋𝑋𝑋𝑋 ⊤ 𝑖𝑖,𝑗𝑗 = 𝑥𝑥𝑖𝑖⊤ 𝑥𝑥𝑗𝑗 は𝑥𝑥𝑖𝑖 と𝑥𝑥𝑗𝑗 の内積．

• カーネル法のアイディア

x の間の内積を他の関数で置き換える:

このをカーネル関数と呼ぶ．

カーネル関数の満たすべき条件• 対称性：• 正値性：

この条件さえ満たしていればなんでも良いカーネルリッジ回帰

線形代数で非線形な回帰を実現．

[https://scikit-learn.org/stable/auto_examples/plot_kernel_ridge_regression.html]4

カーネル関数の例

5再生核ヒルベルト空間6定義
集合Ω上の再生核ヒルベルト空間（Reproducing kernel Hilbert space, RKHS) ℋとは，Ω 上の関数からなるヒルベルト空間であって, 任意の𝑥𝑥 ∈ Ω に対し𝜙𝜙𝑥𝑥 ∈ ℋが存在し,を満たすものをいう．

𝑓𝑓 𝑥𝑥 = 𝜙𝜙𝑥𝑥 , 𝑓𝑓 ℋ

(𝑓𝑓 ∈ ℋ)• 𝑘𝑘 𝑥𝑥, 𝑦𝑦 ≔ 𝜙𝜙𝑥𝑥 , 𝜙𝜙𝑦𝑦 ℋ は正定値対称カーネル関数• 逆に正定値対称カーネルが与えられたら対応するRKHSが一意に存在定理 (Moore-Aronszajnの定理)

𝑘𝑘 𝑥𝑥, 𝑦𝑦 : 正定値対称カーネル (given)

Ω上の関数からなるヒルベルト空間ℋ𝑘𝑘 で以下の条件を満たすものが一意に存在：
1. 𝑘𝑘 𝑥𝑥,⋅ ∈ ℋ𝑘𝑘
2. 𝑓𝑓 = ∑𝑛𝑛𝑖𝑖=1 𝛼𝛼𝑖𝑖 𝑘𝑘(𝑥𝑥𝑖𝑖 ,⋅)なる有限和はℋ𝑘𝑘 内で稠密
3. 再生成：
𝑓𝑓 𝑥𝑥 = 𝑘𝑘 𝑥𝑥,⋅ , 𝑓𝑓 ℋ𝑘𝑘 ∀𝑥𝑥 ∈ Ω, ∀𝑓𝑓 ∈ ℋ𝑘𝑘 .

再生核ヒルベルト空間のイメージ• 高次元(無限次元)特徴空間に𝜙𝜙で写像して推論を行う．
• 再生核ヒルベルト空間では線形な処理が元の空間では非線形処理になる．

7

多項式カーネル
非線形写像

http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

8

カーネルリッジ回帰の再定式化

9

一般化

10

• 回帰だけでなく，判別問題などにも応用可• 教師なし学習にも応用されている

 カーネルPCA，カーネルCCA，カーネルICA，...
 分布埋め込みが単射

サポートベクトルマシン

11

双対問題

12

カーネル関数の表現力

13• Universal kernel

𝐶𝐶0 (ℝ𝑑𝑑 ) をℝ𝑑𝑑 上の連続関数𝑓𝑓で無限遠点で消える関数の集合とする:∀𝜖𝜖 > 0, {𝑥𝑥 ∣ 𝑓𝑓 𝑥𝑥 ≥ 𝜖𝜖}がコンパクト．

あるカーネルに対し，そのRKHSが𝐶𝐶0 (ℝ𝑑𝑑 )内で一様ノルムに関して稠密な時，そのカーネルは「𝑐𝑐0 -universal」であるという．
（∀𝑓𝑓 ∈ 𝐶𝐶 𝑋𝑋 , ∀𝜖𝜖 > 0, ∃𝑔𝑔 ∈ ℋ𝑘𝑘 , s.t. 𝑓𝑓 − 𝑔𝑔 ∞ < 𝜖𝜖）と, ある有界連続な𝜓𝜓を用いて書けるとき（平行移動不変）

𝑘𝑘が正定値対称𝑘𝑘が𝑐𝑐0 -univeral⇔⇔

ある有限非負測度Λが存在して以下のように書ける(Bochner)

Λのサポートが全域: supp Λ = ℝ𝑑𝑑 .

ガウスカーネル，ラプラスカーネル，Maternカーネルなどはこれを満たす．
多項式カーネルはuniversalではない．
[Sriperumbudur, Fukumizu, Lanckriet: Universality, Characteristic Kernels and RKHS
Embedding of Measures, ICML2010]

14

ガウス過程

ベイズ推定量
パラメータθからデータ𝐷𝐷𝑛𝑛 が出る確率(密度)

データの生成過程を表すパラメータ
パラメータの事前知識（事前分布）

ガウシアンプロセス回帰
𝑦𝑦 = 𝑓𝑓 𝑥𝑥 + ε正規分布f(x)𝑛𝑛1𝑦𝑦𝑖𝑖 − 𝑓𝑓 𝑥𝑥𝑖𝑖
𝑝𝑝 𝐷𝐷𝑛𝑛 𝑓𝑓 = �
exp −22𝜎𝜎 22𝜋𝜋𝜎𝜎𝑖𝑖=1

Πとしてガウシアンプロセス事前分布を用いる．

2

ガウシアンプロセス• ガウシアンプロセス

関数𝑥𝑥 ↦ 𝑓𝑓(𝑥𝑥)の確率分布（無限次元関数空間上の分布：ノンパラメトリック）
任意の有限個の入力に対する関数値(𝑓𝑓 𝑥𝑥1 , 𝑓𝑓 𝑥𝑥2 , … , 𝑓𝑓(𝑥𝑥𝑚𝑚 ))が多変量正規分布に従う．

𝑥𝑥1

𝑓𝑓(𝑥𝑥1 )𝑓𝑓(𝑥𝑥2 )∼ 𝑁𝑁
𝑓𝑓(𝑥𝑥3 )𝑓𝑓(𝑥𝑥4 )𝑥𝑥2 𝑥𝑥3𝑥𝑥4𝜇𝜇(𝑥𝑥1 )𝑘𝑘(𝑥𝑥1 , 𝑥𝑥1 ) 𝑘𝑘 𝑥𝑥1 , 𝑥𝑥2 𝑘𝑘(𝑥𝑥1 , 𝑥𝑥3 ) 𝑘𝑘(𝑥𝑥1 , 𝑥𝑥4 )𝜇𝜇(𝑥𝑥2 )𝑘𝑘(𝑥𝑥2 , 𝑥𝑥1 ) 𝑘𝑘(𝑥𝑥2 , 𝑥𝑥2 ) 𝑘𝑘(𝑥𝑥2 , 𝑥𝑥3 ) 𝑘𝑘(𝑥𝑥2 , 𝑥𝑥4 )|𝜇𝜇(𝑥𝑥3 )𝑘𝑘(𝑥𝑥3 , 𝑥𝑥1 ) 𝑘𝑘(𝑥𝑥3 , 𝑥𝑥2 ) 𝑘𝑘(𝑥𝑥3 , 𝑥𝑥3 ) 𝑘𝑘(𝑥𝑥3 , 𝑥𝑥4 )𝜇𝜇(𝑥𝑥4 )𝑘𝑘(𝑥𝑥4 , 𝑥𝑥1 ) 𝑘𝑘(𝑥𝑥4 , 𝑥𝑥2 ) 𝑘𝑘(𝑥𝑥4 , 𝑥𝑥3 ) 𝑘𝑘(𝑥𝑥4 , 𝑥𝑥4 )
分散共分散
平均

カーネル関数：代表的カーネル関数
・ガウスカーネル
・Maternカーネル

ただし，𝑘𝑘 𝑥𝑥, 𝑥𝑥 ′ = 𝐶𝐶𝜈𝜈 (||𝑥𝑥 − 𝑥𝑥𝑥||)νは自然数，𝐾𝐾𝜈𝜈 は第2種変形ベッセル関数
Maternカーネルに対応するGPはν回微分可能な関数を生成・多項式カーネル

・線形カーネル
𝑘𝑘 𝑥𝑥, 𝑥𝑥 ′ = 𝑥𝑥 ⊤ 𝑥𝑥𝑥

ガウシアンプロセスからのサンプル事後分布
データ xi , yini=1 , 𝑌𝑌 =𝑦𝑦1 , … , 𝑦𝑦𝑛𝑛 ⊤ からの事後分布

観測データ点上での関数値尤度関数(データへの当てはまり)

事前分布

関数値の事後分布

事後分布の平均
事後分布の分散

観測データ以外の点における関数値も予測できる．

関数値の予測値
関数値の信用区間（自信）事後分布からのサンプル

事後分布の信用区間

その他の例
事後分布

事前分布

信用区間

ノイズなし

ノイズあり

信用区間

23

MMDと特性的カーネル

MMD

24

: あるRKHS (ℋ𝑘𝑘 ) への特徴写像: 二つの分布のこと

分布を𝔼𝔼𝑃𝑃 [𝜙𝜙𝑘𝑘 (𝑋𝑋)]でRKHS内に埋め込み，そこで距離を測る．
データから推定できる定理ℝ𝑑𝑑 × ℝ𝑑𝑑 上のカーネル関数が連続かつ特性的 (後述)
⇔ MMDが弱収束位相を距離付けする．
[Simon-Gabriel&Scholkopf: Kernel Distribution Embeddings: Universal Kernels,
Characteristic Kernels and Kernel Metrics on Distributions, JMLR2018.]

特性的カーネル

25• 特性的カーネルがℝ𝑑𝑑 上ボレル確率測度に対して単射

つまり，MMD(P,P’)=0がP=P’と同値の時，そのカーネルを特性的と言う．
𝑀𝑀𝑏𝑏 (ℝ𝑑𝑑 ) をℝ𝑑𝑑 上の有限な符号付ボレル測度の集合とする．

カーネル関数kが𝑐𝑐0 -universal

⇔

が単射．

確率測度に限定したら必ずしも同値ではない．しかし，次が成り立つ．

カーネルkが平行移動不変で𝑘𝑘 𝑥𝑥, 𝑦𝑦 = 𝜙𝜙(𝑥𝑥 − 𝑦𝑦) (𝜙𝜙 ∈ 𝐶𝐶0 (ℝ𝑑𝑑 ))と書けるとき，「𝑐𝑐0 -universal」 ⇔ 「特性的」[Sriperumbudur, Fukumizu, Lanckriet: Universality, Characteristic Kernels and RKHS
Embedding of Measures, ICML2010]• 二標本検定
𝑥𝑥1 , … , 𝑥𝑥𝑛𝑛 ∼ 𝑃𝑃
𝑦𝑦1 , … , 𝑦𝑦𝑚𝑚 ∼ 𝑄𝑄

• 独立性検定：HSIC

応用
𝑃𝑃と𝑄𝑄は同じ分布か？

[A. Gretton, et al. A fast, consistent kernel twosample test. NIPS2009 (2009).](𝑥𝑥1 , 𝑦𝑦1 ), … , (𝑥𝑥𝑛𝑛 , 𝑦𝑦𝑛𝑛 ) ∼ 𝑃𝑃𝑋𝑋𝑋𝑋

𝑋𝑋と𝑌𝑌は独立か？⇒ MMD 𝑃𝑃𝑋𝑋𝑋𝑋 , 𝑃𝑃𝑋𝑋 𝑃𝑃𝑌𝑌 = 0の検定

[A. Gretton, et al. Measuring Statistical Dependence with Hilbert-Schmidt Norms. ALT2005(2005).]• GANへの応用：MMD-GAN[C-L Li, et al. MMD GAN: Towards deeper understanding of moment matching network.
NeurIPS2017 (2017)].

Generatorの生成する分布と訓練データの分布をMMDで比較して，MMDを最小化するようにGeneratorを学習．

26

MMDとその仲間27• 積分型確率測度距離• f(x)としてf(x)=xのみを用いれば平均値の差を見ていることになる．
• f(x)として，f(x)=xおよびf(x)=x^2も考えれば二次モーメントの差も考慮できる．
• Fとしてもっと広い関数の集合を考えれば分布の“距離”になる．

• 1-Wasserstein距離=1-リプシッツ連続な関数の集合• MMD (Maximum Mean Discrepancy)=ある再生核ヒルベルト空間の単位球

ベイズ最適化(参考)ベイズ最適化の概要
設定：関数f(x)の最大化をしたい．
しかし，関数値を求めるのにコストがかかる．
なるべく少ない回数で最大値に到達したい．
最大f(x)

ベイズ推定量「関数の概形を推定」↓
ベイズ最適化「ベイズ推定量を利用して適切な入力点xを選択」※ベイズ推定は必ずしもベイズ最適化をする方法ではありません．

大体の動作手順の概要• 入力点xを適切に選択• 一番よさそうな点を選ぶ• UCB戦略，Expected Improvement, Thompson sampling• 関数値をベイズ推定（GP回帰）• 以上を繰り返す．

基本戦略• 獲得関数 (acquisition function)

𝑥𝑥𝑡𝑡+1 = argmax𝑥𝑥 𝑎𝑎𝑡𝑡 (𝑥𝑥)
毎回獲得関数を最大にする点を選ぶ• ベイズ最適化の諸手法はこの獲得関数の違い

UCB戦略
信用区間の最大値を選ぶ

𝑎𝑎𝑡𝑡 𝑥𝑥 = 𝜇𝜇𝑡𝑡 𝑥𝑥 + 𝛾𝛾 𝜎𝜎𝑡𝑡 (𝑥𝑥)𝛾𝛾は上側何％点を用いるかを決定．
𝛾𝛾が大きいほどより保守的．

𝜇𝜇𝑡𝑡 (𝑥𝑥)

平均𝜎𝜎𝑡𝑡 (𝑥𝑥)信用区間Expected Improvement• 改善量の期待値が最大である場所を探す
これまでの最大値

𝑎𝑎𝑡𝑡 𝑥𝑥 = ∫ max{0, 𝑓𝑓 𝑥𝑥 − 𝑓𝑓(𝑥𝑥𝑡𝑡𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏 )} GP 𝑑𝑑𝑑𝑑| 𝑥𝑥𝑖𝑖 , 𝑦𝑦𝑖𝑖
= 𝜇𝜇𝑡𝑡 𝑥𝑥 − 𝑓𝑓 𝑥𝑥𝑡𝑡𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏

事後分布の様子𝜇𝜇𝑡𝑡 𝑥𝑥 − 𝑓𝑓 𝑥𝑥𝑡𝑡𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏
Φ𝜎𝜎𝑡𝑡 (𝑥𝑥)𝑡𝑡𝑖𝑖=1𝜇𝜇𝑡𝑡 𝑥𝑥 − 𝑓𝑓 𝑥𝑥𝑡𝑡𝑏𝑏𝑏𝑏𝑏𝑏𝑏𝑏+ 𝜎𝜎𝑡𝑡 𝑥𝑥 𝜙𝜙𝜎𝜎𝑡𝑡 (𝑥𝑥)獲得関数の様子Mutual Information[Contal, Perchet, Vayatis:ICML20

𝑎𝑎𝑡𝑡 𝑥𝑥 = 𝜇𝜇𝑡𝑡 𝑥𝑥 + 𝛾𝛾

𝑡𝑡−1𝑡𝑡−1𝑖𝑖=1𝑖𝑖=1

𝜎𝜎𝑡𝑡2 𝑥𝑥 + � 𝜎𝜎𝑖𝑖2 (𝑥𝑥𝑖𝑖 ) − � 𝜎𝜎𝑖𝑖2 (𝑥𝑥𝑖𝑖 )点xを選ぶことで得られる情報量

理論上UCBよりも効率的（次元への依存性が良い）．
実験的にも良い理論• 誤差𝑓𝑓 𝑥𝑥 ∗ − max 𝑓𝑓 𝑥𝑥𝑡𝑡𝑡𝑡
ガウシアンカーネルで表現可能な関数 on d次元空間(非常に滑らか)• UCB戦略：log 𝑡𝑡 𝑑𝑑+1 /𝑡𝑡• MI戦略：log 𝑡𝑡 (𝑑𝑑+1)/2 /𝑡𝑡(ノイズありの設定)[Contal, Perchet, Vayatis:ICML2014]𝜈𝜈回微分可能な関数 on d次元空間𝜈𝜈𝑑𝑑1/2(ノイズなしの設定)• EI戦略：(𝑡𝑡/log 𝑡𝑡 ) log 𝑡𝑡
アルゴリズムの途中でランダムに入力点を選ばなければこのレートは達成できない．→セレンディピティ？
−[Bull, JMLR, 2011]