深層学習の数理：
統計力学的アプローチ
産業技術総合研究所 人工知能研究センター
機械学習研究チーム研究員

唐木田 亮

Deep learning and Physics 2020
June. 18

1/42

目次・イントロダクション・統計力学的アプローチの紹介- 深層学習とランダムネス- 平均場理論- ランダム行列理論
・さらなる発展: Fisher情報行列とNeural Tangent Kernel- Fisher情報行列と学習率[Karakida, Akaho & Amari, Universal Statistics of Fisher Information in Deep Neural Networks:
Mean Field Approach, AISTATS 2019]- Neural Tangent Kernelとの対応- Batch Normalizationの解析[Karakida, Akaho & Amari, The Normalization Method for Alleviating Pathological Sharpness
in Wide Neural Networks, NeurIPS 2019]2/42

背景: 深層学習
Deep Network Network (DNN):
Fully-connected, CNN,ResNet, Transformer …
使いやすい訓練法:

SGD, Adam, K-FAC …
Dropout, Batch Normalization …

+ Adversarial attacks & defences, 解釈性,contrastive learning …

深層生成モデル:VAE, GAN, Flow-based …

既存の機械学習手法との融合:
強化学習, カーネル法 …

DNNを基盤とした機械学習の集合

3背景: 深層学習
Deep Network Network (DNN):
Fully-connected, CNN,ResNet, Transformer …

自然な疑問:
深層ニューラルネットワークはなぜ/どのような設定で性能が高いのか“手持ちのデータで性能が出ない”
原因は, データ？正規化？層数？アルゴリズム？ステップ数？…

数理の必要性. 近年発展が著しい. 大きく分けると,表現能力 (Expressivity/Representation power),
訓練性 (Trainability),
汎化能力 (Generalization)4表現能力: 次元の呪いと階層性• 万有近似性 (Universal Approximation) [1990年代～]

3層(shallow)ニューラルネットは入力を任意の精度で近似可能• Barronの定理 (1993)(ある特定のクラスの) 関数𝑓 𝑥に対して,を満たす𝑊1 , 𝑊2 が存在

入力𝑥𝑊1𝑊2

一方, 基底(𝑊1 )を学習しない場合,入力次元 𝐷

幅𝑀

階層性が近似精度における次元の呪いを克服. 3層で十分？
5表現能力
Deep vs. Shallow
非線形性や入力の種類(位相)に応じた様々な理論非線形変換- The number of monomials [Delalleau, Bengio, NIPS2011]- The number of linear regions [Montufar+, NIPS2014]- Betti numbers [Bianchini, Scarselli, IEEE (2014)] etc…
- Barronの定理の拡張 [Lee+ COLT2017]

階層型ニューラルネットが表現できる関数の複雑さは,幅に対してベキ的に増加,層数に対して指数関数的に増加有限の計算資源(メモリ)では, 深層モデルの方が効率的
6

訓練性の問題表現能力が高い ≠ 学習させやすい
訓練データ {𝒙 𝑖 , 𝑦 𝑖 } (𝑖 = 1, … , n)

誤差 𝐸(𝜃)Localminimum

最急勾配法 (Backpropagation)

0•
•

𝜃

Saddle points

一般には, global minimaにたどり着く保証はない
DNNは勾配が消失 (or 発散)しやすい

7

訓練性とloss Landscape[RK, Okada, Amari, Neural Networks (2016)]

統計モデル

Hidden h𝑊

負の対数尤度Visible v

他の固定点= saddle points

𝑊
唯一のlocal minima = global minima
同様のランドスケープはテンソル分解, 線形ネットなどでも知られる. わかりやすい描像.

8訓練性とloss landscape・いくつかの描像- DNNの幅が十分に大きければ, すべての固定点がglobal minima

𝐸(𝜃)Extremely wide nets
[Nguyen&Hein, ICML ‘17&’18] [Gori&Tesi IEEE 1992]

𝑀(𝐷𝑁𝑁の幅) ≧ 𝑇 (訓練サンプル数)
𝜃Sigmoid, softplus (極限としてReLU), CNN 幅広く成立- モデルだけでなくアルゴリズムも貢献している
SGDがLocal minimaを抜け出す条件 [Kleinberg+ ICML ‘18]
Mini-batch由来のノイズが効く
9

汎化の問題表現能力が高い ≠ 学習させやすい
訓練データ {𝒙 𝑖 , 𝑦 𝑖 } (𝑖 = 1, … , n)

誤差 𝐸(𝜃)テスト
訓練•

テストデータは訓練データと異なる未知データ

𝜃汎化性能: テストデータでの誤差, 予測性能.

DNNの数理の最前線. 汎化性能を測るさまざまな指標の提案.
網羅的な実験検証も行われつつある:“Fantastic generalization measures and …” [Jiang+ ICLR 2020]

40以上の汎化指標
10目次・イントロダクション・統計力学的アプローチの紹介- 深層学習とランダムネス- 平均場理論- ランダム行列理論
・さらなる発展: Fisher情報行列とNeural Tangent Kernel- Fisher情報行列と学習率- Neural Tangent Kernelとの対応- Batch Normalizationの解析

11/42

深層学習の多様性• ネットワーク構造

素子数, 層数, skip connection, 畳み込み …

• 活性化関数

Sigmoid, (Leaky-)ReLU, ELU …

• 勾配法
constant rate, step-wise, Adam, K-FAC …

個別のモデルでの個別の数理 (表現能力, 訓練性, 汎化性能, …)

多様な深層学習に統一的・普遍的な視点は与えられないか？
12

深層学習とランダムネス• DNN最適化の初期値はランダム行列

M

広く使われている初期値の例: 一様乱数 [Glorot&Bengio AISTATS 2010]

ある層の素子数Mに対し, パラメータ分散はO(1/M)
次の層の出力が素子数に依存しない.
ほどよいスケールに規格化される
13

DNNとランダムネスの数理
𝐿(𝒘) ：ランダムガウス場 (多次元ガウス過程)
平均ゼロ, 共分散：

f: 原点まわりで滑らかな関数

2次元グリッド@wikipedia

深層ネットの誤差関数ランドスケープとの定性的な類似・固定点は鞍点が大半で, local minimaはほとんどglobal minima.
誤差が大きいほど負の固有値の割合が増加. [Dauphin+ NIPS ‘15]

・学習中における結合パラメータのノルムの増加はランダムガウス場上のランダムウォークと同じ () [Hoffer+ NIPS ‘17]14

ランダム深層ニューラルネットの平均場理論[Amari (1970-)][Poole+ NIPS ‘16]

M
• ランダムパラメータ•e.g. ガウス分布

ニューラルネットの典型的な挙動を表す秩序変数の導出
第𝑙層の平均活動度

再帰的計算

ガウス積分 (ランダム変数の和)Mean Field Theory (統計神経力学ともいう)

15

ランダム深層ニューラルネットの平均場理論
第𝑙層の平均活動度

再帰的計算

ガウス積分

基本的には,深層学習の ”平均場”理論 = 大数の法則と中心極限定理のとき[Poole+ NIPS ‘16]

様々なarchitecture (shallow&deep, sigmoid, ReLU, ResNet, CNN ...)に対して共通して行える計算16

ランダム深層ニューラルネットの平均場理論
第𝑙層の平均活動度

再帰的計算

ガウス積分

基本的には,
深層学習の ”平均場”理論 = 大数の法則と中心極限定理
参考: Recurrent Neural Network (RNN)の平均場 ”近似”
[Rozonoer (1969)] [Amari (1970-)][Sompolinsky+ PRL(1988)]

RNN
秩序変数の更新則が深層ネットとRNNで類似している
𝑖ので, アナロジーで“平均場”理論と呼ばれている.
RNNの(真の意味の)平均場は, セルフコンシストに解く必要がある. また, 解が厳密な計算と一致するとは限らない.
“Amari solution” [Crisanti, Sommers, Sompolinsky (2008)]
個々の素子が独立で同じ統計性を持つと仮定
17ランダム深層ニューラルネットの平均場理論[Amari (1970-)][Poole+ NIPS ‘16]

異なる2入力異なる入力に対して, ニューロンの活動は独立とは限らない (結合を共有しているため). 入力間の相関に応じて活動も相関.
18信号相関の伝達と秩序-カオス相転移
𝑙+1
𝑐𝑎𝑏
1

Ordered[Pennington+ NIPS2017]

Chaos01𝑙
𝑐𝑎𝑏

∞
𝑐𝑎𝑏=1

固定点に注目;同一の発火パターンに引き込まれ,入力信号が区別できない

∞
𝑐𝑎𝑏<1

異なる信号間の差を拡大する処理 19

Backpropagationの平均場理論[Schoenholz+ ICLR ‘17]

逆誤差伝播:

勾配:

勾配ノルム- 指数関数的な勾配の消失・発散が起こる
転移点はfeedforwardと同じ- 実は, 導出は非自明

仮定: Gradient independence

をfeedforwardと独立なアンサンブルにおきかえる
厳密導出: 拘束条件(𝑢𝑙 = 𝑊𝑙 ℎ𝑙−1 )つきでのランダムガウス平均[Yang 2019] [Arora+ 2019]20

Backpropagationの平均場理論[Schoenholz+ ICLR ‘17](右図) MNIST実験
L-layer net, σ2𝑤 は初期値の分散

訓練誤差
Red: highBlack: low

白点線:
理論線

秩序相 (χ<1)

Forward: 入力信号が区別できない
Backward: 勾配ノルム消失

カオス相 (χ>1)
類似の信号の差も大きくなる

勾配ノルム発散転移点をパラメータ初期値にすることで高い訓練性を実現

21ランダム行列理論とDynamical Isometry

Input-output Jacobian:
平均場理論: 勾配の消失/発散を防ぐには 𝝌 = 𝟏が必要
特異値の二乗平均 ～Dynamical Isometry:
特異値の平均だけでなく, 分布の形状を層数と独立にしたい•

自由確率論によるJacobianのスペクトル解析[Pennington+ NIPS ‘17, AISTATS ‘18]
[Pastur, arXiv2001.06188]- ガウス初期値ではなく, 直交初期値が必要- ReLUには補正(e.g. shift)が必要
22

さまざまなアーキテクチャでの検証

・Convolutional Neural Network [Xiao+ ICML 2018][http://cs231n.stanford.edu/slides/2018/cs231n_2018_lecture05.pdf]

フィルタ数 (チャネル数) →∞ の極限
MNIST学習

Dynamical isometryを満たす初期値で10,000層CNNの訓練に成功
そのほか ResNet [Yang+ NIPS ‘17], (gated) RNNs [Chen+ ICML ‘18] ...

23

おまけ - 誰が平均場理論に再注目したか？ [https://en.wikipedia.org/wiki/Google_Brain](2016-2017期)

理論を検証できる数値実験が必要. 系統的かつ大規模に.

24

目次・イントロダクション・統計力学的アプローチの紹介- 深層学習とランダムネス- 平均場理論- ランダム行列理論
・さらなる発展: Fisher情報行列とNeural Tangent Kernel- Fisher情報行列と学習率[Karakida, Akaho & Amari, Universal Statistics of Fisher Information in Deep Neural Networks:
Mean Field Approach, AISTATS 2019]- Neural Tangent Kernelとの対応- Batch Normalizationの解析[Karakida, Akaho & Amari, The Normalization Method for Alleviating Pathological Sharpness
in Wide Neural Networks, NeurIPS 2019]25/42

パラメータ空間の重要性• 最急勾配における学習率の設計

誤差 𝐸(𝜃)𝜂学習率 (ステップ幅)
収束する学習率は誤差ランドスケープの形で決まる(勾配の消失とは別の訓練性の問題)

0𝜃

- 学習率の決め方はヒューリスティックが多い
e.g. Training lossの減少がε以下になったら, 学習率を1/a倍にする
26

Fisher情報行列
二乗回帰では,E ・ : 入力サンプル平均 𝑥・訓練誤差ゼロの大域解まわりのヘシアンに対応
𝐿𝑜𝑠𝑠Hessian:𝜃• 情報幾何の基本量. パラメータ空間は曲がっている27

設定• パラメータはrandom Gaussian

MC

入力/中間層: 素子数 M (≫ 𝟏)
出力層: 素子数 C (= 𝑶(𝟏))• 入力もrandom Gaussian
訓練サンプル数
・non-centered network (e.g. ReLU, Tanh with bias terms, …)
バイアスが非ゼロ(σb ≠ 0)あるいは活性化関数のガウス平均が非ゼロ ()28

Fisher情報行列の巨視的理解
・FIMの計算方法 = chain rule (backprop.と同様)(i) Feedforwardの秩序変数 [Amari I970-, Poole+ NIPS ‘16](ii) Backpropagationの秩序変数 [Schoenholz+ ICLR ‘17]29

Fisher情報行列の固有値
𝑀 (width) が十分に大きいとき, 漸近的に
𝐿: 層数
𝑇: 訓練サンプル数

・非常に大きい孤立した最大固有値 𝑶(𝑴)・クラス数Cだけ λ𝑚𝑎𝑥 に縮退
Eigenvectors
30

Fisher情報行列の固有値
𝑀 (width) が十分に大きいとき, 漸近的に
𝐿: 層数
𝑇: 訓練サンプル数

・同様にして, 固有値の平均値は 𝑶(𝟏/𝑴)

𝐶・ クラス数だけ大きな固有値の実験的報告[Sagun+ 2017] [Papyan, ICML ‘19]

Remark: Lossの種類 (or データのばらつき)
によって固有値はばらつきうる

Cross-entropy [Papyan, 2019]31最大固有値と学習率•

最急勾配 (バッチ学習)
学習率

最急勾配が大域解の近傍で収束する必要条件

s.t.

[LeCun, Kanter & Solla, PRL 1991]など(右図) 1 epoch後の訓練誤差

Exploded

L=4 ReLU on MNIST, SGD

訓練誤差- 発散/収束する学習率に明確な境界
理論線(= 𝟐/λ𝒎𝒂𝒙)

Converged
グレー:
誤差が発散した領域

32

Neural Tangent Kernel (NTK) 理論[Jacot+ NeurIPS ’18]

: 𝐶𝑁×𝑃(パラメータ数)行列• 学習率のオーダーを1/Mでとる (or NTK parameterizationを使う)•

対応する関数勾配をみる

NTK (𝐶𝑁 × 𝐶𝑁 行列)(Informal)

隠れ層幅が無限大のとき, 𝑓𝑡 のダイナミクスはのダイナミクスと一致

MNIST; ReLU (L=2), M=2048, SGD+momentum [Lee+ NeurIPS ’19]

Neural Tangent Kernel (NTK) 理論[Jacot+ NeurIPS ’18] [Lee+ NeurIPS ’19]•

線形モデルの訓練と等価
微小変化するパラメータがたくさんあるので出力はで変化•

大域収束

•

未知データ𝑥’に対しても可解. Gaussian Processと等価.
特に, 訓練されたモデルはKernel ridge-less regression※ NTKの最小固有値は正と仮定 (たとえば, 入力の正規化とnon-poly.のactivationで成立)※ 非漸近論 (十分大きいが有限のM) による収束証明も多数[Huang & Yau ICML 2020]
そのほかの収束証明の概要: [Zou & Gu, ‘’An improved analysis of …’’, NeurIPS ‘19]34

NTKの構造•カーネルの具体的な計算は秩序変数のrecurrence eq.を使っている

backward path:•Feedforward path:

FIMと固有値を共有- ‘’Duality’’

FIM =パラメータ空間

NTK =関数空間
35

NTK regimeの ”外側”•

初期値から大きく離れる状況ではNTK理論の成立が非自明‘’Active’’ regime(e.g. 有限幅の効果, ノイズのような外乱 …)

×t=0
Lazy (NTK) regime- 外側こそが積極的に’’特徴抽出’’•“Large learning rate phase”[Lewkowycz+ arXiv2003.02218]
訓練誤差

λ𝑚𝑎𝑥

実験 @Wide ResNet
Toy modelも解析. 有限幅がλ𝑚𝑎𝑥 (t)を減少させて,収束をもたらす;36

Batch Normalization (BN)[Ioffe&Szegedy ICML ‘15]

各ニューロンをサンプルに対して正規化

経験的には - 大きい学習率での高速な収束- 汎化しやすい
Loss(𝜃)BNのメカニズム [Santurkar+ NeurIPS ‘18]

・通説 (Internal covariate shiftの抑制)への反証
・Loss landscapeの急激な変化を抑えている可能性

0

𝜃
37

Batch norm in the last layer
簡単のため, 最終層のmean subtractionのみを考える
𝑘 = 1, … . , 𝐶 (クラス数)

仮定(I) 幅𝑀と訓練サンプル数𝑇が十分大きく, 𝜌: = 𝑀/𝑇(固定)(II) gradient independence𝜅1 , 𝜅2 ∶ 秩序変数から計算,
𝑐1 , 𝑐2 ∶ 非負値定数• λ𝑚𝑎𝑥 のオーダーが𝛼 = 𝐿−1から高々へ減少

導出の方針:

38

Batch norm in the last layer
簡単のため, 最終層のmean subtractionのみを考える𝜅1 , 𝜅2 ∶ 秩序変数から計算,
𝑐1 , 𝑐2 ∶ 非負値定数• λ𝑚𝑎𝑥 のオーダーが

𝛼 = 𝐿−1から高々へ減少

理論の上限は保守的. 経験的には• 中間層のみにBN

Deep ReLU net では,• Layer normalization

39学習率𝜂 と λ𝑚𝑎𝑥

Exploded

理論線(赤):最終層BNだけで, 幅に依存しない大きな学習率が許容された40

Dynamical isometry成立下でのFIM[Hayase & Karakida arXiv:2006.07814]

Input-output Jacobian:の統計性が層数に非依存でも, FIMは依存する

Conditional FIM:

自由確率論でスペクトル解析.
固有値は集中して,(given a single input x)•Test accuracy

オンライン学習 (mini-batch size =1)
η[右図] 学習初期(500 step)の挙動
Hard Tanh on Fashion-MNISTL41

まとめ
ランダムネスに基づいた, 大自由度(幅無限大)極限における深層ネットの数理を紹介した- DNNの挙動を統一的にとらえられる, 普遍性のある枠組み- さらに, 個別の現象に定量的な示唆を与える
・勾配の発散/消失を防ぐ初期値・学習率の設定
・NTK regimeの発見

今後の課題
••

•

各種モデル・アルゴリズムのNTK regimeでの理解固有値解析 (2/λ𝑚𝑎𝑥 境界, NTK regime の成立条件 λ𝑚𝑖𝑛 > 0 )の精緻化
NTK regimeの外側への展開
42