1

鈴木Ｇ研究紹介東京大学
情報理工学系研究科 数理情報学専攻
鈴木大慈
2024年

自己紹介

2所属
➢ 東京大学大学院情報理工学系研究科数理情報学専攻・准教授➢ 東大次世代知能科学研究センター研究部門研究者（研究知能部門）➢ 理化学研究所 革新知能統合研究センター 深層学習理論チーム チームリーダー

専門鈴木大慈
情報理工学系研究科➢ 機械学習，数理統計学，統計的学習理論
著書/授賞➢『確率的最適化（機械学習プロフェッショナルシリーズ）』講談社，2015年
8月8日．
➢金森敬文，鈴木大慈，竹内一郎，佐藤一誠：『機械学習のための連続最適化(機械学習プロフェッショナルシリーズ)』講談社，2016年12月7日.
➢文部科学大臣表彰・若手科学者賞「深層学習の原理解明に向けた統計的学習理論の研究」．文部科学省，2020年4月7日．
➢ICLR2020 outstanding paper award: Atsushi Nitanda, and Taiji Suzuki:
Optimal Rates for Averaged Stochastic Gradient Descent under NeuralTangent Kernel Regime.
応用➢第11回日本統計学会研究業績賞 (2017年度)．2017年9月5日.
➢Satoshi Hayakawa and Taiji Suzuki:日本神経回路学会論文賞．日本神経回路学会，2021年9月23日．

JST関連：CREST共同研究者: 福水健次「数理知能表現による深層構造学習モデルの革新」，吉田 朋広「先端的確率統計学が開く大規模従属性モデリング」

主な活動場所• 国内：IBIS, 統計連合大会• 国外：NeurIPS, ICML, ICLR, ACML, ...

基礎

スパース推定カーネル法

関連する機械学習理論

特徴抽出

深層学習の理論
確率論
幾何学

数学

最適化理論

関数解析

数理統計

解釈可能性：
説明可能性，データの可視化，メンテナ
ンスの容易化
各種テクニックの解析：
アーキテクチャの解析，損失関数の設計，最適化技法の解析
深層学習の原理解明：「表現理論」「汎化誤差理論」「最適化理論」
学習の本質解明：“良い”学習手法の特徴付け，統一理論，深層学習を優越する方法論の提唱

研究の大枠3機械学習
数理基盤

統計学

数理最適化

学習精度の理論

計算手法の理論「最適な精度」の方法を構築「高速計算」手法の構築

高次元スパースモデル• 低ランクテンソル➢ RKHSのテンソル積➢ 交互最適化➢ ベイズ推定法（ガウス過程回帰）
汎化誤差解析・
ミニマックス最適性

深層学習• 汎化誤差解析➢ カーネル法の理論➢ 関数近似理論• 基盤モデル解析• 深層学習の最適化
深層学習の理論的説明と構造決定への応用

正則化学習の高速最適化• 大規模高次元データ上での最適化➢ 確率的最適化➢ 交互方向乗数法➢ 連合学習
最適収束速度を達成するアルゴリズムの導出

通常のADMM

確率的ADMM(fine tuned)
提案法

レストランデータでの予測誤差

深層ニューラルネットの圧縮

確率的ADMM（構造的）正則化の高速解法

深層学習の広がり

4

Large language model
Learning efficiency
of few shot learning

様々なタスクで高い精度
なぜ？
AlphaGo/Zero[Alammar: How GPT3 Works - Visualizations andAnimations,
https://jalammar.github.io/how-gpt3-worksvisualizations-animations/]

Performance of few-shotlearning against model size

[ChatGPT. OpenAI2022][Brown et al. “Language Models are Few-Shot Learners”, NeurIPS2020]

Generative models (diffusion models)[Silver et al. (Google Deep Mind): Mastering the game of Go withdeep neural networks and tree search, Nature, 529, 484—489, 2016][Ho, Jain, Abbeel: Denoising Diffusion Probabilistic Models. 2020]

Image recognition[He, Gkioxari, Dollár, Girshick: Mask R-CNN, ICCV2017]

Stable diffusion,2022.

Jason Allen "Théâtre D'opéra
Spatial“ generated by Midjourney. Colorado
State Fair’s fine art competition, 1st prize indigital art category

解決すべき問題点
なぜ深層学習はうまくいくのか？
• 「○○法が良い」という様々な仮説の氾濫．
• 世界的課題• 原理解明• どうすれば“良い”学習が実現できるか？→新手法の開発
学会の問題意識民間の問題意識• 中で何が行われているか分からないものは用いたくない．
• 企業の説明責任．深層学習のホワイトボックス化．

Ali Rahimi’s talk at NIPS2017 (test of time award).
“Random features for large-scale kernel methods.”“錬金術”という批判[理論]
誰もが使っている手法を誰もが分かっていないという状況を改善

5

Role of mathematics

6Physics• Theory of Relative➢ Riemannian geometry• Quantum mechanics➢ Functional analysis

Mathematics

physical phenomenon

Several mathematicians/physicists
join the ML community.

Machine learning••••

Deep learning•
Prob. theory•
Functional anal.
Wasserstein geom. •Diffusion equation

Statistics
Optimization
Numericalanalysis

Mathematics

深層学習の理論概観

7

応用

解釈可能性：
説明可能性，データの可視化，メンテナン
スの容易化

各種テクニックの解析：
アーキテクチャの解析，損失関数の設計，最適化技法の解析理論を通して深層学習の不可思議な挙動を理解したい．
➢ 説明責任➢ 可能性と限界の把握➢ 学習手法設計の指針

応用から基礎まで
深層学習の原理解明：
広い範囲に“理論”
表現理論，汎化誤差理論，最適化の収束理は遍在する．
論
学習の本質解明：“良い”学習手法の特徴付け，統一理論，深層学習を優越する方法論の提唱
基礎

我々の研究分野

研究課題

8

我々の結果

関数表現理論どれだけ難しい問題まで学習できるようになるか？

Besov空間での近似理論
積分表現理論
グラフCNNの表現能力

汎化能力
有限個のデータで学習し，どれだけ正しく新しいデータで正解できるようになるか？

再生核理論による自由度解析
NTKの収束理論
モデル圧縮型汎化理論
スパース理論との融合

最適化理論とその実践最適な重みを高速に計算機で求めることが可能か？

並列計算による高速化
確率的加速勾配法
NTKの理論解析
無限次元勾配Langevin動力学

文部科学大臣表彰・若手科学者賞「深層学習の原理解明に向けた統計的学習理論の研究」．2020年4月7日．

深層学習の表現能力

9• [理論] 万能近似能力という意味では２層で十分．
• [実際] 実際は多層を使うことが多い．
→ この差はどう埋める？
カーネル法
従来法

多層ニューラルネット
深層学習[鈴木大慈: 文部科学大臣表彰・若手科学者賞．2020年4月7日]

なぜ深層学習が良いのか？

10

統計的決定理論におけるミニマックス最適性理論で特徴づけ可能
縮小ランク回帰
特徴空間の次元が低い状況は深層学習が得意

深層
カーネル

Besov空間

区分滑らかな関数

低次元データ[Suzuki, 2019][Imaizumi&Fukumizu, 2019][Schmidt-Hieber, 2019] [Nakada&Imaizumi,2019][Chen et al., 2019][Suzuki&Nitanda, 2019]

滑らかさが非一様な関数の推定は深層学習が得意

不連続な関数の推定は深層学習が得意

データが低次元部分空間上に分布していたら深層学習が有利

推定精度

数学的一般化
区分滑らかな関数

11

Besov空間

縮小ランク回帰
変動指数
Besov空間

低次元データ

非凸性
スパース性[Satoshi Hayakawa and Taiji Suzuki: On the minimax optimality and superiority of deep neural network
learning over sparse parameter spaces. Neural Networks, 2020.]

無限次元入力NN
無限次元入力12[Okumoto&Suzuki: Learnability of convolutional
neural networks for infinite dimensional input via
mixed and anisotropic smoothness. ICLR2022.
Spotlight](画像，音声信号, 自然言語,...)
無限 (高) 次元データ
画像データ
関数データ
• 音声
• 文章

出力
(実数)

…
[Ramsay, J., Hooker, Giles, & Graves, Spencer. (2009). Functional data analysis with R and MATLAB (Use R!). Dordrecht:Springer.]

典型的なノンパラメトリック回帰のバウンド:(𝑠: 真の関数の滑らかさ, 𝑑: 入力の次元)

次元の呪い
我々の貢献: 無限次元入力に対する深層学習の統計理論
異方的平滑性: 真の関数が座標軸方向によって異なる滑らかさを持つ．
• 次元に依存しないバウンド (有限次元の拡張)• 畳み込みNNによる特徴量の抽出

拡散モデルの統計理論

13[Kazusato Oko, Shunta Akiyama, Taiji Suzuki: Diffusion Models are Minimax Optimal Distribution Estimators. ICML2023, oral](2% of all submissions)

Forward process

Backward process
Stable diffusion, 2022.

(𝑌𝑡 ∼ 𝑋𝑇−𝑡 )経験スコアマッチング推定量:定理

Let 𝑌෠ be the r.v. generated by the backward process w.r.t. 𝑠,Ƹ then(𝑠: 密度関数の滑らかさ)

学習のボトルネックを究明(for any 𝛿 > 0).

（t=0近辺の学習複雑度）
どちらも（ほぼ）ミニマックス最適 [Yang & Barron, 1999; Niles-Weed &Berthet, 2022].

(Estimator for 𝑊1 distance requires some modification)

Transformerの推定理論

14[Shokichi Takakura, Taiji Suzuki: Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions
with Infinite Dimensional Input. ICML2023]⋯

Transformerの性質• かなり広いトークン幅から重要なトークンを選べる．
→ 次元の呪い？
• 入力に依存して重要なトークンを選択できる．
→ 次元の呪いを回避！

𝑌−1

𝑌0

⋮

⋮

𝑌1
⋮

𝑌2
⋮

⋯

Self-attentionFNN⋯ 𝑥−1𝑥0𝑥1𝑥2⋯定理 (推定誤差)

State-Space-Modelといった新しいモデルが提案されているが，少なくともトークンを取捨選択できる性質は必要(ほぼミニマックス最適)➢ 入力が無限次元でも多項式オーダーの収束レート.

オーバーパラメトライゼーション

15• 横幅が広いと局所最適解が大域的最適解になる．
狭い横幅…
0
広い横幅

自由度が上がるため，初期値が最適解(完全フィット)の近くに位置する．

0• オーバーパラメトライゼーション[Nitanda &Suzuki, arXiv:1905.09870]➢ Neural Tangent Kernel➢ Mean-field analysis (平均場解析)[Nitanda &Suzuki, arXiv:1712.05438.][Ba,Erdogdu,Suzuki, Wu, Zhang, ICLR2020]

16

NTK: Large scale initialization → features are (almost)freezed.

Optimization trajectoryof first layer parameters
in a 2-layer NN[Ba et al., 2022]

Mean field: Small scale initialization → features need to movesignificantly.

平均場解析• ニューラルネットワークの最適化をパラメータの分布最適化としてみなす．
𝑀→∞(𝑎, 𝑤)に関する確率密度𝜌による平均とみなせる:

𝑓の最適化 ⇔ 𝜌の最適化
連続方程式
連続方程式，Wasserstein勾配流(流体力学，確率論)[Atsushi Nitanda and Taiji Suzuki: Stochastic Particle Gradient Descent for Infinite Ensembles. arXiv:1712.05438.]17粒子勾配降下法

18• 各ニューロンのパラメータを一つの粒子とみなす．
• 粒子全体の分布が最適化される．
1つの粒子(分布の形)

データへの当てはまりを良くする方向に変化(各粒子の移動方向)

M個の粒子が移動最適解への収束が示せる．
連続方程式，Wasserstein勾配流，無限次元伊藤過程(流体力学，確率論)[Nitanda&Suzuki, 2017][Chizat&Bach, 2018][Mei, Montanari&Nguyen, 2018][Suzuki, 2020]

平均場ランジュバン動力学[非線形汎関数]

Remark GLDの場合(凸は仮定する)

平均場ランジュバン動力学:(局所線形近似を最小化させる方向に移動)

Fokker-Planck方程式：(Fisher divergence)

これはℒを最小化させるWasserstein勾配流である．
(適当な滑らかさと凸性の条件より線形収束)19難しさ: McKean-Vlasov過程

20• 粒子間相互作用のある確率微分方程式はMcKean-Vlasov過程として知られている． (McKean, Kac,…, 60年代)• 離散時間・有限粒子での収束を示す際には粒子の相互作用の評価が難しい．

Propagation of chaos (漸近的に独立なように振る舞う)

一つの粒子の微小な変化が他の粒子に伝播して増幅される可能性がある．

𝑡=1

𝑡=2

𝑡=3

𝑡=4

Outline of research
Infinite particles / Continuous time
Linear convergence ofmean field Langevin:[Nitanda, Wu, Suzuki (AISTATS2022)][Chizat (TMLR2022)]

21

Finite particle / Discrete time
Double loop method:• PDA [Nitanda, Wu, Suzuki: NeurIPS2021]• P-SDCA [Oko, Suzuki, Wu, Nitanda:
ICLR2022]• Infinite-dim extension [Nishikawa, Suzuki,Nitanda: NeurIPS2022]

Difficult：
Propagation of chaos (McKean, Kac,…, 60’s)
Finite particle / Continuous time
Uniform-in-time propagation of chaos:• Super log-Sobolev ineq.

[Suzuki, Nitanda, Wu (ICLR2023)]• Leave-one-out typeevaluation/Uniform-log-Sobolev[Chen, Ren, Wang (arXiv2022)]

Finite particle / Discrete timeSingle loop method:
Time-space discretization,
stochastic gradient• Noisy gradient descentfor 2-layer NN

離散化誤差22(時間離散化)

andwhere(確率的勾配)

定理 (離散化誤差バウンド)(空間離散化：N粒子)[Suzuki, Nitanda, Wu (NeurIPS2023)]

Timediscr.

• 一様対数Sobolev不等式，超対数Sobolev不等式

Spacediscr.

Stochasticapprox.

23

ランジュバン動力学・平均場ランジュバン動力学の研究
Linear convergence of mean field
Langevin dynamics➢ Nitanda, Wu, Suzuki (AISTATS2022)“Double loop” method withconvergence guarantee• PDA: Nitanda, Wu, Suzui(NeurIPS2021)• P-SDCA: Oko, Suzuki, Wu,Nitanda (ICLR2022)• Infinite-dim extension: Nishikawa,Suzuki, Nitanda, Wu(NeurIPS2022)

Stochastic Gradient Langevin dynamics➢ Analysis SVRG-GLD: Kinoshita, Suzuki(NeurIPS2022)➢ Infinite dimensional SGLD: Muzellec et al.
(COLT2022)
Superiority of DL with opt. guarantee➢ Infinite-dim GLD: Suzuki (NeurIPS2020),Suzuki, Akiyama (ICLR2021)➢ Teacher student: Akiyama, Suzuki (ICML2021,ICLR2023)➢ Benefit of feature learning (k-parity problem):Suzuki, Wu, Oko, Nitanda (NeurIPS2023)➢ Anisotropic regularization: Nitanda, Oko,Suzuki, Wu (ICLR2024)

Uniform-in-time propagation of chaos:➢ Super log-Sobolev inequality: Suzuki, Nitanda, Wu (ICLR2023)
Analysis of single loop method:➢ Convergence analysis with finite particle/discrete time alg. : Suzuki,Nitanda, Wu (NeurIPS2023)
Extension
Extension to RL: Yamamoto et al. (2023), Minimax Problem: Kim et al. (ICLR2024)

過剰パラメータNNの予測誤差

24

Amari, Ba, Grosse, Li, Nitanda, Suzuki, Wu, Xu: When Does Preconditioning Help or Hurt Generalization?
ICLR2021.
古典的な状況
（バイアス-バリアンストレードオフ）

本研究
新しい設定：二重降下モデルの次元 > データサイズ
一見過学習していても汎化する[Neyshabur et al., ICLR2019]

各学習法によって得られる解の予測誤差の漸近値を解析的に導出(前処理付き勾配法)

系

深層学習の最適化法は色々ある． 1. バリアンス
自然勾配法が一番良い．
• 勾配法 (𝑃 = 𝐼)
• 自然勾配法(𝑃 = Σ𝑥−1 )2. バイアス
どれが良い？
真の信号に依存してどの手法が良いかを解明- 真がモデルに沿っていれば勾配法が良い．
- 真がずれていれば自然勾配法が良い．

勾配法とKernel alignment

25[Jimmy Ba, Murat A. Erdogdu, Taiji Suzuki, Zhichao Wang, Denny Wu, Greg Yang: Highdimensional Asymptotics of Feature Learning: How One Gradient Step Improves theRepresentation. NeurIPS2022.]

問：勾配法で𝑊を更新することで，データに合った特徴量を獲得できるか？
答：大きなステップサイズを用いれば，一回の更新で意味のある特徴量の方向を得ることができる．
→ カーネルAlignment，特徴量学習．

𝒏, 𝒅, 𝑵 → ∞の極限を考え，勾配法１回の更新後の予測誤差を評価してみる．
➢ 𝜂 = 𝑁: 大きなステップサイズを用いると，ランダム特徴モデルによるリッジ回帰を優越する．
➢ 𝜂 = 1: 中間的なステップサイズでは横幅無限大のランダム特徴リッジ回帰を優越しないが初期値𝑊は優越．
➢ 𝜂 = 𝑜(1): 小さなステップサイズでは初期値𝑊と同じ予測誤差 (NTK-regime)．特徴学習の効果なし．

点: 実測値
実線: 理論値

実験との整合性

参考資料

26(点線：理論値，丸印：実験)

小さなステップサイズ

特徴学習しない場合の限界（ランダム特徴量）大きなステップサイズ：

Θ(𝑑/𝑛)で減少(𝑛:サンプルサイズ，𝑑:入力の次元)

勾配法一回分による更新後の予測誤差．
更新に用いるステップサイズごとにプロットノイズあり勾配法の最適性
深層学習が浅い学習方法に優れていることを証明➢ 大域的最適化が達成可能➢ 入力が高次元でも良い予測を達成
Suzuki: Generalization bound of globally optimal non-convex neural network training:
Transportation map estimation by infinite dimensional Langevin dynamics. NeurIPS2020 (spotlight).

Gaussian noise
Gradient descent• パラメータが無限個あっても大域的最適解に収束することを証明• 深層学習は次元の呪いを回避し，カーネル法は次元の呪いを受ける27

深層学習は次元の呪いを回避する

28

Suzuki&Akiyama: Benefit of deep learning with non-convex noisy gradient descent: Provable excess riskbound and superiority to kernel methods. network training: Transportation map estimation by infinite
dimensional Langevin dynamics. ICLR2021 (spotlight).

前ページのノイズあり勾配法で学習した深層NNの予測精度を解析．
定理 𝑛: データサイズ
予測誤差

深層の収束レートを導出：

線形 (カーネル法)(𝛾: 大)(𝑑: 大)• 深層学習の予測誤差は入力の次元に依存しない．
• 浅い学習法はデータの入力次元𝑑とともに増加する．
→これは特徴抽出能力の違いによる．
現実的な最適化の保証ありで性能差を証明

Neural Tangent Kernelの理論

29

Nitanda&Suzuki: Fast Convergence Rates of Averaged Stochastic Gradient Descent under
Neural Tangent Kernel Regime, ICLR2021 (oral). Outstanding paper award.

…

ニューラルネットワークの最適化は非凸最適化→ 横幅の広いネットワークはより「凸」っぽくなる．
• 確率的最適化により最適な推定レートを達成可能．
• ネットワーク固有の周波数成分のスペクトルが学習効率を決める．

Thm

NTK (Neural Tangent Kernel)の固有値の減衰レート

𝑓𝑇 : 𝑇回更新後の解横幅𝑀 → ∞で0に収束する項

NTKのスペクトル速い学習レート(𝑂(1/ 𝑇)より速い)

低周波成分

高周波成分

低周波成分が最初に補足される．
その後，高周波成分が徐々に補足される．

分散縮小型確率的勾配Langevin動力学

30[Kinoshita, Suzuki: Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its
Application to Optimization. 2022. arXiv:2203.16217]• 非凸最適化• サンプリング• 確率的勾配 + 分散縮小
• 「対数Sobolev不等式の条件」
で「KL-divergence」の収束．

𝑛倍速い勾配ランジュバン動力学の研究

31

勾配ランジュバン動力学の一般論• 分散縮小型確率的勾配ランジュバン動力学の収束解析 (NeurIPS2022)• 無限次元勾配ランジュバン動力学のアルゴリズムと収束理論 (COLT2022)

平均場勾配ランジュバン動力学の収束解析とNN最適化への応用• 無限次元入力ニューラルネットの無限次元GLDによる最適化 (NeurIPS2022)• 平均場ニューラルネットワークのGLDによる最適化の収束 (AISTATS2022)• 平均場ニューラルネットワークの新しい最適化手法: 粒子確率的双対座標上昇法(ICLR2022)• 有限粒子近似の近似誤差解析 (ICLR2023)
Yuri Kinoshita, Taiji Suzuki: Improved Convergence Rate of Stochastic GradientLangevin Dynamics with Variance Reduction and its Application to Optimization.
NeurIPS2022.

Naoki Nishikawa, Taiji Suzuki, Atsushi Nitanda, Denny Wu: Two-layer neural network on infinite
dimensional data: global optimization guarantee in the mean-field regime. NeurIPS2022.

(勾配ランジュバン動力学)

無限次元入力NNの無限次元GLDによる最適化
無限次元入力

有限次元入力計算にO(n)かかる (大規模データで困る)→ 確率的勾配を用いる 𝛻෨𝑘 = 𝐵1 σ𝑖∈𝐼𝑘 𝑓𝑖 (𝑋𝑘 )𝑤𝑗 , 𝑥 ∈ ℋ (無限次元ヒルベルト空間)

サンプリングや非凸最適化に有用𝑥 ∈ ℋ (無限次元ヒルベルト空間)(拡散過程生成モデルとも関連)

勾配計算量- Vempala&Wibisono (2019): 非確率的勾配 例：

関数データ

グラフ

実数- 二次関数+有界関数- Weak Morse型関数- 我々の結果: 確率的勾配+分散縮小法： 𝒏倍高速••確率的粒子双対平均加法（PDA），確率的粒子双対座標降下法（PSDCA）の両手法に対して，無限次元入力バージョンを提案．
内部ループにて無限次元勾配ランジュバン動力学の理論を援用（Suzuki et al. COLT2022）

深層ニューラルネットの冗長性

32• 深層学習は重要な情報に絞って特徴抽出→ 構造的に冗長性が現れる．
簡単

重視

簡単

パラメータ数 ≫ データサイズ ≫ 実質的自由度
数十億

数百万

数十万

[仮説] 見かけの大きさ (パラメータ数) よりも実質的な大きさ (自由度) はかなり小さいはず．

“実質的自由度”を調べる研究：• 圧縮型バウンド• ノルム型バウンド…

圧縮型バウンド「圧縮」できるネットワークは過学習しない

33[実験的観察] 実際に学習したネットワークは圧縮しやすい．
元サイズ

圧縮可能
サイズ

圧縮

大

カーネル法の理論• 中間層の分散共分散行列の固有値分布で圧縮率を評価．
• 「テンソル分解」の援用によりCNNの詳細な評価も実現．

[Suzuki, Abe, Nishimura: Compression based bound for non-compressed network: unified
generalization error analysis of large compressible deep neural network, ICLR2020, spotlight][Suzuki: Fast generalization error bound of deep learning from a kernel perspective. AISTATS2018][Li, Sun, Liu, Suzuki and Huang: Understanding of Generalization in Deep Learning via Tensor
Methods. AISTATS2020][Suzuki et al.: Spectral pruning: Compressing deep neural networks via spectral analysis and its
generalization error. IJCAI-PRICAI 2020]

小元のサイズ
実質的自由度

研究成果まとめ理論

汎化誤差理論を基にした圧縮手法の提案

圧縮可能性による汎化誤差解析

実用的圧縮手法の提案「Spectral-Pruning」

AISTATS2018

IJCAI-PRICAI2020

非圧縮ネットワークの圧縮型汎化誤差解析ドメイン適合への応用

ICLR2020

理論と応用の融合

テンソル分解への展開
AISTATS2020

BMVC2020

転移学習への応用
ICCV2019, NeuralArchitects Workshop

ネットワークは「いかなる時に」「どれくらい」圧縮できるか．
その圧縮可能性はどう汎化性能に影響するか？

34

応用ニューラルネットワークの圧縮

35[Suzuki, Abe, Murata, Horiuchi, Ito, Wachi, Hirai, Yukishima, Nishimura:Spectral-Pruning: Compressing deep neural network via spectral analysis, 2018]

圧縮• メモリ消費量を減少• 予測にかかる計算量を減少→ 小型デバイスでの作動に有利（自動運転など）

VGG-16ネットワークの圧縮

提案手法：
従来手法より良い精度

ResNet-50ネットワークの圧縮

94%の圧縮（精度変わらず）

約半分に圧縮しても精度落ちず

転移学習のネットワーク構造決定• ある閾値以上の固有値をカウント (e.g., 10−3).
→ 縮小したネットワークのサイズとして使う.
• その後，スクラッチから学習 (𝒮) もしくはImageNet事前学習モデルをファインチューニングする (ℐ).
Network size determination alg.

36

37

カーネル法
ガウス過程
学習理論
スパース推定深層学習

確率的最適化 [計算理論]

38(構造的)正則化学習

従来法

ゲノムワイド相関解析
グループ正則化勾配法：定番の最適化手法

画像のデノイジング
Total-Variation正則化

欠点：各更新ごとに全データ点を読むので大きいデータでは非効率．

改善法 確率的最適化法
各更新で１個のデータ点しか使わない．

通常のADMM→計算効率を大きく改善．

計算量比較
通常の最適化

確率的最適化

確率的ADMM
確率的ADMM(fine tuned)

誤差εを達成するまでの計算量
通常の勾配法𝑛 𝜅log(1/𝜖)𝑛:サンプルサイズ, 𝜅:条件数
確率的最適化法(𝑛 + 𝑛𝜅)log(1/𝜖)𝑛 = 106 なら最大1000倍の高速化-オンライン型確率的交互方向乗数法(ICML2013, 2012 年度IBISML 研究会賞)-確率的交互方向乗数法による双対座標降下法(ICML2014)-グラフ型正則化への応用と加速法 (第28回IBISML研究会)-確率的DC計画(Nitanda&Suzuki, AISTATS2017)-二重確率的分散縮小勾配法(Murata&Suzuki, NIPS2017; 2016年度IBISML研究会賞)
Machine Learning Summer School 2015
SIAM-Optimization

書籍：確率的最適化，機械学習のための連続最適化

Federated learningの確率的最適化

39[1] Advances and Open Problems inFederated Learning, Kariouzet al.,2019

• Communication complexity:[Murata, Suzuki: Bias-Variance Reduced Local
SGD for Less Heterogeneous Federated
Learning. arXiv:2102.03198]

Worse than naïve• Local SGD:
minibatch SGD!
B: minibatch size, P: number of workers, 𝜻𝒊 : heterogeneity of workers• Our proposal: Bias-Variance Reduced Local SGD method

If 𝜻𝟐 = 𝒐 𝑳 , BVR-L-SGD surpasses minibatchSGD!

研究課題• 深層学習はなぜ性能が良いのか？
➢汎化誤差理論➢関数近似理論➢最適化理論(統計的学習理論)(関数解析)(一次最適化法)• 確率論を用いた学習アルゴリズムの解析・提案➢最適輸送理論，Wasserstein幾何➢勾配流• 高次元統計・確率的最適化• 企業との共同研究➢深層学習・連合学習手法の開発 (東芝)40

まとめ41

理論を土台にした普遍性の高い基礎研究• 統計的学習の理論• 深層学習の理論➢ 大規模基盤モデルの理論➢ 最適化理論

理研AIP Youtubeチャンネル
AIP Open Seminar #20 20210407➢ 企業との共同研究も複数進行中• 高次元統計➢ 過剰パラメータ化，良性過学習，特徴学習• カーネル法• 機械学習高速計算技法の開発• 大規模確率的最適化• 効率的に解ける問題クラスの拡張 (非凸最適化)