深層学習の汎化の謎をめぐって

森 貴司（理研CEMS）
T. Mori and M. Ueda, “Is deeper better? It depends on locality of relevant features”, arXiv:2005.12488
T. Mori and M. Ueda, “Improved generalization by noise enhancement”, arXiv:2009.13094

自己紹介
専門：統計物理学

厳密な結果の証明と多体系の数値計算➤ 長距離相互作用系の平衡統計力学➤ 孤立量子系の熱平衡化（統計力学の基礎づけ）➤ 周期駆動量子多体系の非平衡ダイナミクス➤ 開放量子系の非平衡ダイナミクス

機械学習の原理に興味
モデルの自由度が大きいほど汎化が良くなるように見える
そこに新しい「物理」はないか？

くりこみ群の拡張？

「理解する」とはどういうことか？

大自由度系のダイナミクス

深層学習の大きな謎
訓練データ
ネットワーク𝒟 = {(x (μ), y (μ)) : μ = 1,2,…N}
f(x, w)x (μ) ∈ ℝD,y (μ) ∈ {± 1}パラメータ w ∈ ℝNpara

過剰パラメータ領域 (overparameterized regime)
パラメータの数 Npara ∼ 108 ≫ 訓練データの数 N ∼ 105
すべての訓練データを完全にfitting可能にもかかわらず深刻な過学習は起こらない
ネットワークを広くすることでパラメータ数を増やすほど汎化性能が向上
C. Zhang et al., “Understanding Deep Learning Requires Rethinking of Generalization”, ICLR 2017
S. Spigler et al., “A jamming transition from under- To over-parametrization affects generalization in deep learning”, J. Phys. A (2019)

訓練誤差と汎化誤差
訓練データ
ネットワーク
予測クラス ŷx (μ) ∈ ℝD,

𝒟 = {(x (μ), y (μ)) : μ = 1,2,…N}

y (μ) ∈ {± 1}パラメータ w ∈ ℝNparaf(x, w)

̂ =1f(x (μ), w) ≥ 0 → y(μ)

̂ =−1f(x (μ), w) < 0 → y(μ)

1 N
訓練誤差 Etrain =1 − δy(μ)̂ ,y (μ))(∑N μ=1

訓練データ内で誤った分類をしたサンプ
ルの割合

汎化誤差 Etest = 𝔼x,y [1 − δy,y
̂ ]未知のデータの誤り確率

戦略：訓練誤差を下げることで低い汎化誤差を実現

1 N
損失関数 L(w) =ℓ( f(x (μ), w); y (μ))
N∑
μ=1

wt+1 = wt − η ∇w L(wt)bias-variance tradeoff
訓練誤差を下げても汎化誤差が下がる保証はない

generalization error
low bias, high variancetraining error

high bias, low variancebest complexity

モデルの複雑度（パラメータの数）

モデル（ネットワーク）が単純すぎると訓練誤差を小さくできない（bias大）モデルが複雑すぎると訓練データの無用な特徴（ノイズなど）をも忠実に再現しようとする→学習した関数は特定の訓練データ，初期状態に強く依存（variance大）→訓練誤差と汎化誤差のギャップが大きくなる（過学習）過剰パラメータ領域とdouble descent curve
S. Spigler, M. Geiger, S. d’Ascoli, L. Sagun, G. Biroli, and M. Wyart, J. Phys. A (2019)
M. Belkin, D. Hsu, S. Ma, and S. Mandal, Proc. Natl. Acad. Sci. USA (2019)

パラメータの数をさらに増やしていくと汎化誤差が再び減少
過剰パラメータ領域での現代的な機械学習

古典的な学習理論

generalization error

training error

interpolation threshold

モデルの複雑度（パラメータの数）

過剰パラメータ領域での汎化の理解に向けてモデル

ネットワークの種類
深さ・幅

データアルゴリズム

有効次元ダイナミクス

対称性・局所性(SGD: learning rate, minibatch size)

モデル：全結合ニューラルネットワーク
深さ L 幅 H の全結合ニューラルネット
入力層

隠れ層 × L

出力層

softmax+ cross-entropy loss

各隠れ層のユニット数 H

過剰パラメータ領域：隠れ層の幅を増やす(i) ダイナミクス：十分広い隠れ層を持つニューラルネットでは局所解に陥ることなく損失関数の最小点に到達
Z. Allen-Zhu,Y. Li, and Z. Song, arXiv:1811.03962
S. S. Du, J. D. Lee, H. Li, L. Wang, and X. Zhai, arXiv:1811.03804
K. Kawaguchi and J. Huang, arXiv:1908.02419
幅無限大の極限でカーネル法と等価（Neural Tangent Kernel）
線形の最適化問題となり(i)をよく説明

A. Jacot, F. Gabriel, C. Hongler, NeurIPS 2018(ii) 汎化：隠れ層の幅が広いほど汎化性能が向上 double descent curve
S. Spigler, M. Geiger, S. d’Ascoli, L. Sagun, G. Biroli, and M. Wyart, J. Phys. A (2019)

汎化誤差

P:訓練データのサンプル数(test error)

パラメータの数

ジャミング転移の物理との対応
S. Spigler, M. Geiger, S. d’Ascoli, L. Sagun, G. Biroli, and M. Wyart, J. Phys. A (2019)

汎化誤差に見られるピークの場所で相転移粒子系のジャミング転移として理解可能
M. Geiger, S. Spigler, S. d’Ascoli, L. Sagun, M. Baity-Jesi, G. Biroli, and M. Wyart, PRE (2019)
over-parameterized phase

under-parameterized phase

簡単にglobal minimaに到達

ダイナミクスが凍結

球状粒子の場合
rij 粒子iと粒子jの距離
R 粒子の直径

rij > R 相互作用なし
rij < R 斥力相互作用2

Vij = max{0,R − rij}

ヒンジ損失ℓ( f(x , w); y ) = max {0,1 − y(μ)(μ)

粒子数 = データのサンプル数(μ)

f(x , w)}(μ)

2

ダイナミクスの変化
M. Geiger, S. Spigler, S. d’Ascoli, L. Sagun, M. Baity-Jesi, G. Biroli, and M. Wyart, PRE (2019)
over-parameterized phase

液体的under-parameterized phase

ガラス的（簡単にglobal minimaに到達）（ダイナミクスが凍結）
過剰パラメータ領域では実際に損失関数をほぼ0にできる
過剰パラメータ領域での深層学習のダイナミクスはガラス的ではない
M. Baity-Jesi, L. Sagun, M. Geiger, S. Spigler, G. Ben Arous, C. Cammarota,Y. LeCun, M. Wyart, and G. Biroli (2017)

幅無限大の極限：Neural Tangent Kernel (NTK)
最近のDeep Learningの理論的進展の一つ

cf. 第4回 唐木田さんの講演

A. Jacot, F. Gabriel, C. Hongler, “Neural tangent kernel: Convergence and generalization in neural networks”, NeurIPS 2018

隠れ層の幅 H と学習率 η を Hη = const. で H → ∞ の極限

wt+1 = wt − η ∇w L(wt)損失関数：平均2乗誤差 ℓμ = [y (μ) − f(x (μ), w)]2
ネットワークはランダムに初期化 w ∼ 𝒩(0,H −1)
重みwは訓練の間初期値w0からほとんど変化しない⇨ 線形最適化問題に帰着

f(x, w) ≈ f(x, w0) + [ ∇w f(x, w0)] ⋅ (w − w0)

物理とのアナロジー：ネットワークを熱浴と見立てる 熱浴を調和振動子の集まりと考える=線形近似
個々の調和振動子はブラウン粒子の影響をほとんど受けない（パラメータに変化なし）

無限に多くのランダムな特徴量を使った線形回帰 ∇w f(x, w0) ∈ ℝNpara
カーネル関数 KNTK(x, x′) = [ ∇w f(x, w0)] [ ∇w f(x′, w0)] を用いたカーネル法と等価
T（Neural Tangent Kernel, NTK)
ダイナミクスは線形：Lossのglobal minimumにたどり着けるネットワークの深さの役割
なぜ深いネットワークが良い汎化性能を示すかは理論的に不明
深いネットワークの優越性：表現能力
隠れ層を一つ以上持つニューラルネットワークは隠れ層の幅を十分広くすれば任意の連続関数を実現可能（万能近似定理）
深いネットワークほどより少ないパラメータで同じ表現能力
B. Poole et al., “Exponential expressivity in deep neural networks through transient chaos”, NIPS 2016

表現能力の高さは本当に重要か？
現実の分類問題を解くのにそれほど複雑な関数が必要か？
R. Eldan and O. Shamir, “The Power of Depth for Feedforward Neural Networks”, PMLR 2016

深いネットワークが複雑な関数を実現可能だとしてもそれを学習可能とは限らない
E. Malach and S. Shalev-Shwartz, “Is Deeper Better only when Shallow is Good?”, NeurIPS 2019

過剰パラメータ領域での汎化の理解に向けてモデル

ネットワークの種類
深さ・幅

データアルゴリズム

有効次元ダイナミクス

対称性・局所性(SGD: learning rate, minibatch size)データに隠れた低次元多様体
多様体仮説：入力データx ∈ ℝDは次元deﬀ ≪ Dの多様体の近くに集中している
cf. 第7回 本武陽一さんの講演

データ多様体の次元deﬀの見積もり

n個のデータ点をランダムに選ぶあるサンプルから最も近いサンプルの距離は典型的に⟨δmin⟩δmin ∼ n −1/deﬀ

距離r以内にr d nに比例した数のサンプル

S. Spigler, M. Geiger, and M. Wyart, arXiv:1905.10843

MNIST D = 784, deﬀ ≃ 15
Cifar-10 D = 3072, deﬀ ≃ 35
入力データx ∈ ℝDの局所性や対称性がdeﬀを小さくする統計力学的アプローチ
teacher-student scenario

入力x ∈ ℝD

教師ネットワーク：y = f(w*, x) + ε

ラベルyは実数w* 「真の」パラメータ

生徒：教師ネットワークに近い出力を返すように学習 ŷ = f(w, x)
入力x ∈ ℝDは各要素が独立なランダム変数
教師ネットワークのパラメータw*もランダムに固定
データに構造がない！

hidden-manifold model

S. Goldt, M. Mézard, F. Krzakala, and L. Zdeborová, arXiv:1909.11500

データが低次元多様体に分布することを取り入れた簡単な設定

x(μ)=σ(1deﬀ

Fĉ (μ))F̂ ∈ ℝD×deﬀ ランダムに固定
c (μ) ∈ ℝdeﬀ i.i.d. ランダムベクトルσ( ⋅ ) 非線形関数

過剰パラメータ領域での汎化の理解に向けてモデル

ネットワークの種類
深さ・広さ

データアルゴリズム

有効次元

ダイナミクス

対称性・局所性(SGD: learning rate, minibatch size)

研究の目的
データ構造のどういう要素が深さに利点をもたらすか
現実のデータは複雑すぎる：簡単な構造を持つ人工データを使う
分類問題では入力の構造だけでなく入力と分類ラベルの関係が重要
分類ラベルは入力データのどの特徴に着目するかを決める

熱統計力学：

N = 1023個の粒子の座標と運動量の組がデータとして与えられるがマクロ物理量だけに着目することで普遍的な体系を得る
特に平衡状態に限定すると，系のエネルギー，粒子数，体積だけですべてが決まる

分類ラベルの局所性に注目

分類ラベルの局所性
訓練データ

𝒟 = {(x (μ), y (μ)) : μ = 1,2,…N}

x (μ) = (x1(μ), x2(μ), …, xD(μ))T : i.i.d. ガウシアンランダムベクトル
入力データには何の構造もない

y (μ) = sgn(M) : ここで特徴量 M は x (μ) と簡単な関数関係1 ≤ i1 < i2 < … < ik ≤ Dを一つ固定

k-localラベル

k-globalラベル
D(μ) (μ)(μ)
xj+ixj+i …xj+i

M = xi(μ)xi(μ)…xi(μ)
12kM=

ミクロな相関関数

マクロな熱力学量

∑
j=1

1

2k(μ)
xi+D= xi(μ)

学習の詳細
1 N
損失関数 L(w) =ℓμ(w)∑N μ=1
確率的勾配法(SGD)ℓμ(w) = ℓ( f(x (μ), w); y (μ)) cross-entropy loss

wt+1 = − η ∇w Lℬt(w)1Lℬ(w) =ℓμ∑B μ∈ℬ

訓練データ全体をサイズ B のミニバッチ ℬ にランダムに分割
各ステップでは一つのミニバッチの損失関数の勾配を計算
訓練データの誤答率が完全に0%になるまで学習させる

学習率 η を最適化：10-fold cross validation （交差検証）
データを10分割：一つを検証用として残りを訓練データとして使用
学習後の検証誤差（検証データの誤答率）を計算
これを検証用データを選ぶ10通りの仕方について繰り返す
平均検証誤差が小さくなる学習率をベイズ最適化の手法で取得

すべての訓練データを使って最適な学習率のSGDで訓練10回繰り返してテスト誤差（テストデータの誤答率）の平均と標準偏差を計算）

k = 1: localかglobalかで違いはない
1-local (D = 1000) M = xi(μ)
0.4

0.4

0.25

0.3

0.2
0.15

0.25
0.2
0.15

0.1

0.1

0.05

0.05

000

2000

4000

6000

8000

10000

xi(μ)

depth 1, width 500
depth 1, width 2000
depth 7, width 100
depth 7, width 500
linear perceptron (depth 0)
NTK, depth 1
NTK, depth 7

0.35

test error

0.3

∑
i=1

depth 1, width 500
depth 1, width 2000
depth 7, width 100
depth 7, width 500
linear perceptron (depth 0)
NTK, depth 1
NTK, depth 70.35

test error

1-global (D = 1000) M =N02000

N

定量的にもほぼ同じ結果（1-localと1-globalはフーリエ変換の関係にあることから自然）
浅いネットワークの方が深いネットワークより良い

4000

6000
N

8000

10000

k ≥ 2: localかglobalかで逆の深さ依存性
2-global (D = 100) M =2-local (D = 500) M = xi(μ) xi(μ)
20.5

0.5

0.40.4depth 1, width 500
depth 1, width 2000
depth 7, width 100
depth 7, width 500
NTK, depth 1
NTK, depth 70.3
0.20015000

20000

25000

30000

12depth 1, width 500
depth 1, width 2000
depth 7, width 100
depth 7, width 500
NTK, depth 1
NTK, depth 7

0.20.110000(μ) (μ)xj+ixj+i

0.30.1

5000

∑
j=1

test error

test error

1N05000N

2-localラベル：深いネットワークの方良い汎化性能
2-globalラベル：浅いネットワークの方が良い汎化性能

10000 15000 20000 25000 30000
Nk ≥ 2: localかglobalかで逆の深さ依存性
3-global (D = 40) M =3-local (D = 100) M = xi(μ) xi(μ) xi(μ)
23

0.5

0.5

0.4

0.4

0.3

0.3

0.20.10depth 1, width 500
depth 1, width 2000
depth 7, width 100
depth 7, width 500
NTK, depth 1
NTK, depth 7

8000

12000

24000

12

3

depth 1, width 1000
depth 1, width 2000
depth 7, width 100
depth 7, width 500
NTK, depth 1
NTK, depth 7020000(μ) (μ) (μ)
xj+ixj+i xj+i0.2
0.1

16000
N∑
j=1

test error

test error

1N

5000

3-localラベル：深いネットワークの方が良い汎化性能
3-globalラベル：浅いネットワークの方が良い汎化性能

10000

15000

20000
N

25000

30000

結論：特徴量の局所性が重要
k-localラベルでは深い方がよいがk-globalラベルでは浅い方がよい
常に深い方が良いというわけではないテストエラーの深さ依存性
0.38

2-local2-global

0.36
0.34
test error

0.32
0.3
0.28
0.26
0.24
0.22
0.2
246depth810

深さの利点は表現能力の高さによるものではない
表現能力の高さはネットワークの深さと密接に関係
しかしそのことはk-localラベルでの深さの利点と関係がない

2-localラベル：広さ5〜10の隠れ層が一つあれば十分正確に表現可能ℝDℝ2

NTKは幅無限大の極限の理論？
2-localラベルの結果

NTKではほとんど汎化しない

0.5

ネットワークを広くしていってもNTKの結果に

0.4

NTKの理論は隠れ層の幅Hを大きくするのと同0.3

時に学習率ηを小さくすることで得られる

H → ∞ with Hη fixed

test error

漸近しない

depth 1, width 500
depth 1, width 2000
depth 7, width 100depth 7, width 500
NTK, depth 1
NTK, depth 7

0.2
0.1
05000

10000

15000

20000

25000

30000

N

この極限ではネットワークの重みwは初期値からほぼ変化しない
データの特徴を抽出しているのではなく無限個のランダムな特徴量を使って分類問題を解いているlazy learningfeature learning
交差検証によって最適化された学習率はfeature learning regime

lazy learningではなくfeature learningが重要
テストエラーの学習率依存性
2-local and 2-global

3-global label

0.45

0.5

NTK (2-local)

NTK, depth 1

0.4

0.3
0.25

0.35
0.3

0.2

NTK, depth 7

0.25

0.15
0.1

depth 1, width 2000
depth 7, width 2000

0.4
test error

0.35
test error

0.45

2-local2-global

NTK (2-global)

00.05

0.1

0.15 0.2 0.25
learning rate

0.3

0.35

0.4

0.2
00.1

0.2

0.3 0.4 0.5
learning rate

0.6

0.7

0.8

学習率を0に近づけるとNTKの結果に近づく
最適な学習率でのテストエラーは隠れ層の幅を広くしても必ずしもNTKの結果に漸近しない
3-globalラベルの場合：学習率が0に近い領域では深いネットワークの方が良い
結果だが最適な学習率では浅いネットワークの方が良い結果

温度の推定ガウシアンモデルPβ(x) = eNβ ∑i=1 xi xi+1− 12 xi21
逆温度
β=kBT

1|β| <
2x (μ) = (x1(μ), x2(μ), …, xD(μ))T : i.i.d. ガウシアンランダムベクトル 温度無限大に相当与えられたサンプルxが二つの逆温度β1, β2のどちらから生成されたかを予測する機械
温度の情報は熱力学量に入ってくる：エネルギーH = −Nxx
∑ i i+1i=10.50.45

depth 1, width 500
depth 7, width 500

エネルギーは2-globalラベル：浅い方が有利？

test error

0.4
0.35

数値結果：浅いネットワークの方が良い結果

0.3
0.25
0.2
0.15

β1 = 0.1, β2 = 0.3

0.11000 2000 3000 4000 5000 6000 7000 8000 9000 10000
N

データのサンプル数

まとめ T. Mori and M. Ueda, “Is deeper better? It depends on locality of relevant features”, arXiv:2005.12488➤ ネットワークの深さがどういうときに有利に働くかを明らかにするために，簡単な構造を持つデータを用いた分類問題でネットワークの汎化性能を調べた➤ 分類ラベルの局所性に注目し，k-localラベルとk-globalラベルを導入した➤ k-localラベルでは深いネットワークの方が良い汎化性能➤ k-globalラベルでは浅いネットワークの方が良い汎化性能➤ ここで見られた汎化性能の深さ依存性は表現能力の高低によるものではない➤ 深さ依存性の理解にはfeature learning regimeを考えるべき