1

無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析
1.
2.

[Suzuki: Generalization bound of globally optimal non-convex neural network training:
Transportation map estimation by infinite dimensional Langevin dynamics. NeurIPS2020][Suzuki & Akiyama: Benefit of deep learning with non-convex noisy gradient descent: Provableexcess risk bound and superiority to kernel methods. network training: Transportation map
estimation by infinite dimensional Langevin dynamics. ICLR2021]鈴木大慈
東京大学/ 理研AIP (深層学習理論チーム)

2021年1月14日@ディープラーニングと物理学2020オンライン

深層学習の“学習”2

深層ニューラルネットワークをデー
タにフィットさせるとは？

𝑊𝑊: パラメータ𝑖𝑖番目のデータで正解していれば小さく，間違っていれば大きく損失関数：データへの当てはまり度合い
損失関数最小化(Wは数十億次元)
通常，(確率的)勾配降下法で最適化• 最適化は可能？
• その時の汎化誤差はどれくらい？

最適値

訓練誤差と汎化誤差

3パラメータ ：ネットワークの構造を表す変数
損失関数：パラメータ がデータをどれだけ説明しているか

予測誤差：損失の期待値

本当に最小化したいもの．

訓練誤差：有限個のデータで代用代わりに最小化するもの．

(訓練データはテストデータと同じ分布に従っていると仮定)

この二つには大きなギャップがある．
[過学習]※クラスタリング等，教師なし学習も尤度を使ってこのように書ける．

学習理論の設定• 汎化ギャップ(汎化誤差)と余剰誤差
Generalization gap

Excess risk

汎化誤差:
残余誤差:
もしくは残余誤差4学習機の複雑さと学習能力5• No free lunch theorem「あらゆる問題で性能の良い汎用的学習機は実現不可能であり，ある問題に特殊化された手法に勝てない」
ある問題に特化した方法

予測誤差平均汎用的な方法問題

機械学習への教訓「必要以上に複雑なモデルを当てはめると失敗する」
学習手法は「どこかを“贔屓”する必要がある」→ モデリングの重要性 (オッカムの剃刀)
William of Ockham：1285-1347．スコラ学の神学者，哲学者．
No free lunch theorem: [D.H.Wolpert and W.G. Macready: 1995,1997][Y.C. Ho and D.L. Pepyne: 2002]

リスクの概念6• どこを贔屓するか？

真の分布を限定せずに予測誤差の優劣を論じることは不可能
仮に真があるモデルに入っていた場合にある推定量はどのような贔屓をする方法か？
：真の分布のモデル：訓練データ ミニマックス最適性 許容性：真の分布推定量�
つぎのような推定量𝜃𝜃が存在しない:

 ベイズ最適性
ベイズリスク𝜋𝜋0 : 事前分布

̂を最小にする推定法𝜃𝜃.
(→ ベイズ推定量)

前提となる話• 最適化という意味ではカーネル法は「良い」．
• 線形モデル+凸損失関数→凸最適化
カーネル法
浅層多層ニューラルネット
深層学習

ここだけ推定カーネル法と深層学習の違い？

7

なぜ深層学習が良いのか？

8• 真の関数の形状によって深層が有利になる (残余誤差を比較)
縮小ランク回帰
特徴空間の次元が低い状況は深層学習が得意

区分滑らかな関数[Imaizumi&Fukumizu, 2019]

不連続な関数の推定は深層学習が得意

Besov空間[Suzuki, 2019]

滑らかさが非一様な関数の推定
は深層学習が得意

低次元データ[Schmidt-Hieber, 2019] [Nakada&Imaizumi,2019][Chen et al., 2019][Suzuki&Nitanda, 2019]

データが低次元部分空間上に分布していたら深層学習が有利

カーネル

推定精度

深層典型的な例
滑らかな部分とそうでない部分が混在

滑らか

非滑らか大きく変動する方向とそうでない方向が混在9数学的に一般化

10「滑らかさの非一様性」「不連続性」「データの低次元性」
凸結合を取って崩れる性質をもった関数の学習は深層学習が強い
例：ジャンプが３か所の区分定数関数

0.5x

0.5x

深層:1/𝑛𝑛, カーネル: 1/ 𝑛𝑛=+
ジャンプ3か所[Satoshi Hayakawa and Taiji Suzuki: 2020]

ジャンプ3か所

ジャンプ6か所
区分滑らか

縮小ランク回帰Besov空間

変動指数
Besov空間

非凸性

低次元構造

数学的に一般化

11「滑らかさの非一様性」「不連続性」「データの低次元性」
凸結合を取って崩れる性質をもった関数の学習は深層学習が強い
例：ジャンプが３か所の区分定数関数

0.5x

0.5x

[Satoshi Hayakawa and Taiji Suzuki: 2020]

深層:1/𝑛𝑛, カーネル: 1/ 𝑛𝑛• 線形モデルは広めのモデルで待ち構えている必要あり．
• 特徴抽出による非凸性→深層学習の優位性．
=+
ジャンプ3か所

ジャンプ3か所

ジャンプ6か所
区分滑らか

縮小ランク回帰Besov空間

変動指数
Besov空間

非凸性

低次元構造

12

• 深層学習の良さは「非凸性」は本質的．
• これら統計理論は「最適化」を考慮していない．
凸性

非凸性

統計理論
最適化理論

本研究の目標深層学習における非凸性を保ちつつ「最適化」と「統計理論」を結びつける．

既存研究との関係

大域的最適性を保証する理論的枠組み

13

理論的枠組み横幅 (次元)汎化性能

多層Neural Tangent Kernel

無限へ漸近

△

平均場解析

本質的にカーネル法/Early stopping必要

無限へ漸近

限定された状況△(既存の) 有限次元勾配

有限 (低次元)△

本研究: 無限次元勾配

汎化ギャップは保証あり/大きいモデルはNG

有限/無限
汎化ギャップ/残余誤
統一的な枠組み 差ともに保証

Langevin動力学
Langevin動力学〇• 深層NNモデルの非凸性を失わず最適化したい．
• モデルサイズをサンプルサイズに依存させたくない．

無限次元Langevin動力学
本研究  有限・無限横幅を統一的に扱う
 汎化性能保証[Muzellec, Sato, Massias & Suzuki: Dimension-free convergence rates for gradient Langevin dynamics inRKHS. arXiv:2003.00306][Suzuki: Generalization bound of globally optimal non-convex neural network training: Transportation map
estimation by infinite dimensional Langevin dynamics. NeurIPS2020. arXiv:2007.05824]

問題点

14

目的関数が非凸関数
凸関数

深層学習の損失関数?

局所最適解＝大域的最適解

局所最適解

大域的最適解

局所最適解や鞍点にはまる可能性あり“狭い”ネットワークの学習はNP-完全:••

Judd (1988), Neural Network Design and the Complexity of Learning.
Blum&Rivest (1992), Training a 3-node neural network is NP-complete.

Loss landscape15• 横幅の広いNNの訓練誤差には孤立した局所最適解がない．（局所最適解は大域的最適解とつながっている） ※とはいえ，勾配法で大域的最適解に到達可能かは別問題．

定理

𝑛𝑛個の訓練データ 𝑥𝑥𝑖𝑖 , 𝑦𝑦𝑖𝑖 𝑛𝑛𝑖𝑖=1 が与えられているとする．損失関数ℓは凸関数とする．
任意の連続な活性化関数について，横幅がデータサイズより広い𝑀𝑀⊤
𝑎𝑎𝑚𝑚 𝜂𝜂(𝑤𝑤𝑚𝑚𝑥𝑥)に対する訓練誤差（𝑀𝑀 ≥ 𝑛𝑛）二層NN𝑓𝑓 𝑎𝑎,𝑊𝑊 (𝑥𝑥) = ∑𝑚𝑚=1𝐿𝐿� 𝑎𝑎, 𝑊𝑊 = 𝑛𝑛1 ∑𝑛𝑛𝑖𝑖=1 ℓ(𝑦𝑦𝑖𝑖 , 𝑓𝑓 𝑎𝑎,𝑊𝑊 (𝑥𝑥𝑖𝑖 ))の任意のレベルセットの弧状連結成分は大域的最適解を含む．言い換えると，任意の局所最適解は大域的最適解である．

[Venturi, Bandeira, Bruna: Spurious Valleys in One-hidden-layer Neural Network Optimization Landscapes.
JMLR, 20:1-34, 2019.]

こうはならない(つながっていない)

こうなる(参考) 2層NN-非線形活性化関数-16

二層目の重みを固定する設定(Tian, 2017; Brutzkus and Globerson, 2017; Li and Yuan, 2017; Soltanolkotabi, 2017;
Soltanolkotabi et al., 2017; Shalev-Shwartz et al., 2017; Brutzkus et al., 2018)

固定 こちらのみ動かす• Li and Yuan (2017): ReLU，入力はガウス分布を仮定

 SGDは多項式時間で大域的最適解に収束
 学習のダイナミクスは2段階→ 最適解の近傍へ近づく段階 + 近傍での凸最適化的段階• Soltanolkotabi (2017): ReLU，入力はガウス分布を仮定

 過完備 (横幅>サンプルサイズ）なら勾配法で最適解に線形収束(Soltanolkotabi et al. (2017)は二乗活性化関数でより強い帰結)• Brutzkus et al. (2018): ReLU

 線形分離可能なデータなら過完備ネットワークで動かしたSGDは大域的最適解に有限回で収束し，過学習しない．
(線形パーセプロトロンの理論にかなり依存)

Li and Yuan (2017): Convergence Analysis of Two-layer Neural Networks with ReLU Activation.
Soltanolkotabi (2017): Learning ReLUs via Gradient Descent.
Brutzkus, Globerson, Malach and Shalev-Shwartz (2018): SGD learns over parameterized networks that provably generalizedon linearly separable data.

オーバーパラメトライゼーション

17

横幅が広いと局所最適解が大域的最適解になる．
狭い横幅…
0広い横幅自由度が上がるため，初期値から最適解(完全フィット)へ到達しやすい．

0• 二種類の解析手法

 Neural Tangent Kernel [Jacot+ 2018][Du+ 2019][Arora+ 2019] Mean-field analysis (平均場解析)[Nitanda & Suzuki (2017), Chizat & Bach (2018), Mei, Montanari, & Nguyen (2018)]

Neural Tangent Kernel

18[Jacot, Gabriel, & Hongler (2019)](NTK)

初期値のスケールが大きいので，初期値周りの線形近似でデータにフィットできてしまう．

Theorem [Arora et al., 2019]

𝑀𝑀 = Ω(𝑛𝑛2 log(𝑛𝑛)/𝜆𝜆min )とすれば, 勾配法によって大域的最適解へ線形収束し，その汎化誤差は 𝒚𝒚⊤ 𝐾𝐾𝑊𝑊(0) −1 𝒚𝒚�𝑛𝑛 で抑えられる．

See also[Du et al., 2018; Allen-Zhu, Li & Song, 2018; Li & Liang, 2018; Zou & Gu, 2019]• 訓練誤差0の解に線形収束する.
• 汎化誤差も一応抑えられている.

• 横幅𝑴𝑴はサンプルサイズ𝒏𝒏に応じて無限大へ飛ぶ必要がある．
• カーネル法の枠組みを抜け出せていない．
• Early stoppingしないと過学習する．

平均場解析

19• ニューラルネットワークの最適化をパラメータの分布最適化とみなす．
1つの粒子(分布)データへの当てはまりを良くする方向に変化(各粒子の移動方向：勾配方向)(各粒子は勾配降下方向へ移動)
𝑀𝑀 → ∞

Wasserstein勾配流20

粒子数無限大(横幅無限)でパラメータに関数確立密度𝜌𝜌による期待値とみなせる．
𝑀𝑀 → ∞

𝑓𝑓の最適化 ⇔ 𝜌𝜌の最適化

連続方程式

Wasserstein勾配流[Atsushi Nitanda and Taiji Suzuki: Stochastic Particle Gradient Descent for Infinite Ensembles. arXiv:1712.05438.]

𝑀𝑀 → ∞の極限で，最適解への収束が成り立つ場合がある．

• やはり横幅𝑀𝑀 → ∞である必要がある
ノイズありのダイナミクス: McKean-Vlasov過程• 推定誤差理論△（状況限定）[Mei, Montanari&Nguyen, 2018][Nitanda&Suzuki, 2017][Chizat&Bach, 2018][Chizat, 2019]

McKean-Vlasov過程• ノイズありダイナミクス

参考21(distribution)

Model:(movement ofeach particle)

ダイナミクス (McKean-Vlasov過程):

Fokker-Planck方程式:••

𝑋𝑋𝑡𝑡 の値だけでなく分布にも依存

収束解析: Mei, Montanari&Nguyen, 2018; Rotskoff &Vanden-Eijnden, 2018.
最適制御理論: Weinan et al., 2019; Tzen&Raginsky, 2020; Lu et al., 2020.

離散化

参考

時空間離散化:(i.i.d., standard Gaussian)

Pros: 定常分布への収束が保証されている.
Cons:

Empirical distribution[Mei, Montanari&Nguyen, 2018][Tzen&Raginsky, 2020]• “横幅”𝑴𝑴は𝐞𝐞𝐞𝐞𝐞𝐞(𝑻𝑻)である必要がある． 時刻T，収束を保証するには横幅は十分多くする必要あり(有限粒子数では収束保証されず)．
• ガウス雑音 𝝃𝝃𝒕𝒕 (𝒅𝒅𝑩𝑩𝒕𝒕 ) は各粒子ごとに独立同一に添加.
 粒子間の相関・滑らかさは考慮されていない．実際のDNNでは位置が近い粒子には値が似たノイズ．
• 𝜌𝜌𝑡𝑡 は絶対連続 (有限横幅のNNは対象外)

22

23

輸送写像による学習と無限次元ランジュバン動力学

輸送写像を用いたNNの学習24• 2層ニューラルネットワーク

Idea: 分布の学習 → 輸送写像の学習“Lift”

以前の表記

25

𝜌𝜌0 が有限サポートの離散測度なら有限横幅のニューラルネットワークが扱える．しかも，横幅はサンプルサイズと独立．
 NTKや平均場解析と大きく異なる．
 有限横幅/無限横幅を統一的に扱える．

より簡単な設定26

輸送写像による表現は実は以下の簡単な2層NNの表現も含む．

• 2層NN: 直接表現

(横幅無限)• 𝑎𝑎𝑚𝑚 𝑚𝑚 は𝑎𝑎𝑚𝑚 → 0 (𝑚𝑚 → ∞)なる固定された係数．
• 𝑎𝑎𝑚𝑚 = 0 (∀𝑚𝑚 > 𝑀𝑀) とすれば有限横幅も含まれる．

• ResNet

その他定式化/応用一覧

27

𝐹𝐹𝑗𝑗

Residual block• 2層NNの直接表現+(輸送写像で表現可)• RKHS上のベイズ最適化[Zimmermann and Toussaint. AAAI, 2018][Vellanki, Rana, Gupta, de Celis Leal, Sutti, Height, and Venkatesh: AAAI2019]• RKHS上のテンソル分解[Signoretto, Lathauwer, and Suykens. arXiv:1310.4977, 2013][Suzuki, Kanagawa, Kobayashi, Shimizu, and Tagami. NIPS2016]• ロバスト判別[Masnadi-Shirazi and Vasconcelos. NIPS2009.]

無限次元非凸最適化

28[Muzellec, Sato, Massias, Suzuki, arXiv:2003.00306][Suzuki, arXiv:2007.05824]

正則化

例： • ℋ: 𝐿𝐿2 (𝜌𝜌0 )• ℋ𝐾𝐾 : 再生核ヒルベルト空間(e.g., Sobolev空間)

最適解

暗黙の仮定: 大域的最適解はℋ𝐾𝐾 で十分に近似できる.

→ 無限次元ランジュバン動力学で最適化

Noisy gradient descent
SGDは「フラットな局所最適解」に落ちやすい→良い汎化性能を示すという説

29

ノイズによる平滑化効果[Kleinberg, Li, and Yuan, ICML2018]
Keskar, Mudigere, Nocedal, Smelyanskiy, Tang (2017):
On large-batch training for deep learning: generalization gap
and sharp minima.

≅正規分布→ ランダムウォークはフラットな領域にとどまりやすい

確率的勾配を用いる⇒ 解にノイズを乗せている⇒ 目的関数を平滑化

ノイズを加えて平滑化した目的関数を最適化．

無限次元ランジュバン動力学

30: RKHS with kernel 𝐾𝐾.

Cylindrical Brownian motion:

時間離散化 (準陰的Eulerスキーム):: ℋの正規直交基底

定常分布

尤度

31

事前分布

：正則化項に対応したガウス過程と解釈しても良い．

（無限次元）勾配ランジュバン動力学の定常分布はガウス過程事前分布を用いたベイズ事後分布に対応する．
→ 汎化誤差の解析が可能無限次元の設定

32

ヒルベルト空間

RKHS構造仮定 (固有値の減少)(あまり本質的ではない．𝜇𝜇𝑘𝑘 ∼ 𝑘𝑘 −𝑝𝑝 (𝑝𝑝 > 1) としても良い．)

Assumption (1)33• It either holds:(強):強凸(弱)散逸条件:

Assumption (2)• Smoothness:• Strong smoothness condition:(これが無い場合はレートが遅くなる)(This is not standard, but, is satisfied in the previous examples)• Third order smoothness:34

誤差の解析
𝜋𝜋∞ :定常分布

Thm (informal)

35[Muzellec, Sato, Massias, Suzuki, arXiv:2003.00306 (2020)]

上記の条件のもと，次が成り立つ：とする(geometric ergodicity + time discretization)
ただし 𝜅𝜅 > 0 は任意の正の実数, 𝑐𝑐𝛽𝛽 =逸条件), Λ∗𝜂𝜂 はスペクトルギャップ．

Remark:𝛽𝛽 (有界な勾配), 𝑐𝑐𝛽𝛽 = 1 (強散for

証明は以下の論文のテクニックを援用: Brehier 2014; Brehier&Kopec 2016;
Mattingly et al., 2002; Goldys&Maslowski, 2006.
 Coupling argument, マリアバン解析

有限次元バージョンとの関係

•36

参考

large 𝑝𝑝

(我々の状況)(optimal)•𝑘𝑘(予想) see [Andersson,Kruse&Larsson, 2016] for finite time horizon.
𝒑𝒑が大きくなるほど関数クラスは“単純”になる.

有限次元の解析は𝑝𝑝 → ∞に対応 (定数を無視すれば):[Xu et al. (2018)]𝑘𝑘

誤差の分解参考37

弱収束を示す:ただし，𝜙𝜙は滑らかな関数.
• Raginsky et al. (2017),

Bréhier (2014), Bréhier and Kopec (2016):

連続時間𝑋𝑋(𝑡𝑡)遠い• Xu et al. (2018):

𝑋𝑋𝑛𝑛

離散時間定常分布

𝑋𝑋 𝜋𝜋∞

近い𝑋𝑋𝜇𝜇𝜂𝜂𝑥𝑥 ∗レートが速い, 一方でより強い条件が必要(Strong smoothness)

第一項のバウンド参考補題 (離散時間ダイナミクスのGeometric ergodicity)

ある定常分布𝜇𝜇𝜂𝜂 がだた一つ存在して (極限分布),
geometric ergodicity (定常分布への線形収束) が成り立つ:
ただし，“スペクトルギャップ” Λ∗𝜂𝜂 は以下のように与えられる,(i) (Strict dissipative)(ii) (Bounded gradient)for• 有限次元の場合と違い，強平滑条件がないとおそらく成り立たない.
• Coupling argument: Lyapunov条件, majorization条件より(Mattingly et al. (2002)とGoldys&Maslowski (2006)のテクニックを合わせる)38

Geometric ergodicity

参考• Coupling argument

𝑋𝑋0𝑋𝑋0′
𝑋𝑋𝑡𝑡Prob(“couple” until time 𝑡𝑡)≥ 1 − 𝑒𝑒 −𝑐𝑐𝑐𝑐

𝑋𝑋𝑡𝑡′
𝑋𝑋𝑇𝑇

𝑋𝑋𝑇𝑇′
同じ分布に従う39

40

汎化誤差解析
[Suzuki: Generalization bound of globally optimal non-convex neural network training:
Transportation map estimation by infinite dimensional Langevin dynamics. NeurIPS2020.
(arXiv:2007.05824)]

問題設定

汎化誤差:

残余誤差 (Excess risk):

学習の方法 (無限次元GLD):
時間の離散化(再掲) 連続時間ダイナミクスの定常Gibbs分布:(擬-)Bayes事後分布

41

汎化誤差バウンド
最適化誤差：Thm (汎化誤差バウンド)

For any 𝜅𝜅 > 0,with probability 1 − 𝛿𝛿, wherePAC-Bayesian stability boundΟ(1/ 𝑛𝑛)[Rivasplata, Kuzborskij, Szepesvári, and Shawe-Taylor, 2019]
仮定• 損失関数は𝑊𝑊について“十分に滑らか”.
• 損失関数は有界:

42残余誤差の評価
残余誤差 (Excess risk):

追加の仮定:••: モデルの複雑さを制御• Bernstein条件 [Erven et al., 2015]:•

 二乗損失: 𝑠𝑠 = 1
 ロジスティック損失 with 有界な𝑓𝑓, 𝑓𝑓 ∗ : 𝑠𝑠 = 1
 損失関数は対数尤度である必要はない．
 真の分布が軽い裾を持っていることを仮定．

43

Fast rate: 一般形
Letand44.

Thm (Fast rate: excess risk bound)Can be faster than Ο(1/ 𝑛𝑛)Fast rate: 回帰45ℓ 𝑓𝑓, 𝑧𝑧 = 𝑓𝑓 𝑥𝑥 − 𝑦𝑦 2 : 二乗損失（とすることでSobolev空間のミニマックス最適レートに一致する(𝑎𝑎 = 𝑏𝑏の時).に相当）

判別問題における速い収束

Assumption• 強低ノイズ条件:

11/2

•0

• 活性化関数はなめらか:• 真の関数はモデルに入っているとする: 𝑓𝑓 ∗ = 𝑓𝑓𝑊𝑊∗ ．
十分大きな𝑛𝑛と𝛽𝛽 ≤ 𝑛𝑛に対し，classification error

ベイズ最適な判別機が高い確率で求まる．(𝛽𝛽は定数のままでも良い)

46

47

カーネル法(線形推定量)との比較[Suzuki&Akiyama: Benefit of deep learning with non-convex noisy gradient descent: Provable excess riskbound and superiority to kernel methods. network training: Transportation map estimation by infinite
dimensional Langevin dynamics. ICLR2021]

モデル (Teacher-student model)

教師モデル：：学習可能パラメータ：固定パラメータ

観測モデル：(真の関数) を用いて(観測データ) から真の関数を推定．

48

条件

条件
• 𝜇𝜇𝑚𝑚 ∝ 𝑚𝑚−2𝛼𝛼• 𝑎𝑎𝑚𝑚 ∝ 𝜇𝜇𝑚𝑚1 for 𝛼𝛼1 > 1/2𝛼𝛼• 𝑏𝑏𝑚𝑚 ∝ 𝜇𝜇𝑚𝑚2 for 𝛼𝛼2 > 𝛾𝛾/2
• 活性化関数𝜎𝜎は三回微分可能でその微分係数は有界

深層学習： 二乗損失を採用(一見難解に見えるが単に各成分ごと勾配法で更新してノイズを加えているだけ)

Thm (深層学習の推定精度上界)

49

50

線形推定量

線形••
•
•

Kernel ridge estimator
Sieve estimator
Nadaraya-Watson estimator
k-NN estimator

Kernel ridge regression:

最悪誤差を最小化する推定量の推定誤差： 線形推定量のミニマックス誤差

Thm (線形推定量の推定精度下界)として，任意の𝜅𝜅 ′ > 0に対して，以下が成り立つ:
いかなるカーネルを用いてもこのレートは越えられない．

レートの比較51• 深層学習の残余誤差• 線形推定量の残余誤差下限

線形推定量は次元𝑑𝑑に依存→高次元で性能悪化 (次元の呪い)
例: 𝛼𝛼1 = 𝛾𝛾 + 3𝛼𝛼2 , 𝛼𝛼2 = 4𝛾𝛾とする．
深層線形 (カーネル法)(large 𝛾𝛾)

現実的な最適化の保証ありで性能差を証明(large 𝑑𝑑)

まとめ52

深層学習の統計理論→非凸性が重要→非凸性を残した最適化理論．
パラメータのダイナミクス→輸送写像のダイナミクス• 無限次元Langevin動力学
 弱収束の収束速度
 正則化を入れることで無限次元での収束を保証• 無限次元Langevin動力学の汎化誤差理論

 擬-ベイズ事後分布
 汎化ギャップ
 Fast rateの導出→非凸最適化とノンパラ統計の接点• Teacher-studentの設定における深層学習の優位性
 最適化アルゴリズムも含めた理論

何がまだ足りないか?
• 深層学習の適応能力 (minimax最適性).

 Hölder class [Schmidt-Hieber, 2017]
 Besov space [Suzuki, 2019][Hayakawa&Suzuki, 2019] Piece-wise smooth [Imaizumi&Fukumizu, 2018]
 Anisotropic Besov [Suzuki&Nitanda, 2019]→ 最適化理論と統計理論の融合• 目的関数の構造を最大限考慮に入れた最適化誤差解析