1

京都大学集中講義

機械学習と深層学習の
数理と応用
(2)
鈴木大慈
東京大学大学院情報理工学系研究科数理情報学専攻
理研AIP
Japan Digital Design
2018年12月18日

機械学習と人工知能の歴史
１９４６： ＥＮＩＡＣ，高い計算能力
フォン・ノイマン「俺の次に頭の良い奴ができた」
１９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム
ルールベース
１９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け
１９６０年代前半：

ＥＬＩＺＡ（イライザ），
擬似心理療法士
１９８０年代：
エキスパートシステム

人手による学習ルールの作りこみの限界「膨大な数の例外」
Siriなどにつながる

2

統計的学習

第一次ニューラルネットワークブーム
１９６３：線形サポートベクトルマシン

線形モデルの限界

１９８０年代：多層パーセプトロン，誤差逆伝搬，畳み込みネット
第二次ニューラルネットワークブーム

非凸性の問題

１９９２： 非線形サポートベクトルマシン（カーネル法）１９９６： スパース学習 （Lasso）
２００３： トピックモデル （LDA）
２０１２： Supervision （Alex-net）
第三次ニューラルネットワークブーム

データの増加＋計算機の強化ネオコグニトロン

3[福島,79]・人間の脳を模倣
・畳み込みネットの初期型
・自己組織型学習→素子を足してゆくLeNet[LeCun+etal,89]

4

LeNet-5[LeCun etal,98]• 畳み込み＋プーリング：現在も使われている構造• 誤差逆伝搬法でパラメータを更新• 手書き文字認識データセット（MNIST）で９９％の精度を達成

5

Deep Learning
深層学習

ImageNet

ImageNet: 1,000カテゴリ，約120万枚の訓練画像データ[J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei.
ImageNet: A Large-Scale Hierarchical Image Database. In CVPR09, 2009.]

6

ImageNetデータにおける識別精度の変遷
Classification error (%)
30

深層学習

25
20
15
10
5
0

ILSVRC2010ILSVRC
2011

8層

8層

19層

22層

ILSVRCILSVRCILSVRCILSVRC

VGG

GoogleNet

2012

AlexNet

2013

2014

2014

152層
Human

ImageNet: 21841クラス，14,197,122枚の訓練画像データ
そのうち1000クラスでコンペティション

ILSVRC2015

ResNet7

諸分野への波及
ロボット

医療

8

医療分野における「深層学習」
を用いた論文数[タオル畳み、サラダ盛り付け 「指動く」ロボット初公開,
ITMedia:http://www.itmedia.co.jp/news/articles/1711/30/news089.html]

量子化学計算，分子の物性予測[Litjens, et al. (2017)]- 人を超える精度（FROC73.3% -> 87.3%）- 悪性腫瘍の場所も特定[Niepert, Ahmed&Kutzkov: Learning Convolutional Neural Networks
for Graphs, 2016][Gilmer et al.: Neural Message Passing for Quantum Chemistry, 2017][Faber et al.:Machine learning prediction errors better than DFT
accuracy, 2017.][Detecting Cancer Metastases on
Gigapixel Pathology Images: Liu etal., arXiv:1703.02442, 2017]

深層学習の構造

9𝑥𝑥 𝑊𝑊1 ℎ1 𝑊𝑊2 ℎ2 𝑊𝑊3 ℎ3
基本的に「線形変換」と「非線形活性化関数」の繰り返し．
𝑥𝑥

入力

𝑊𝑊1 𝑥𝑥ℎ1 (𝑊𝑊1 𝑥𝑥)

線形変換 非線形変換ℎ1 𝑢𝑢 = ℎ11 𝑢𝑢1 , ℎ12 𝑢𝑢2 , … , ℎ1𝑑𝑑 𝑢𝑢𝑑𝑑

𝑊𝑊2 ℎ1 (𝑊𝑊1 𝑥𝑥)
線形変換

𝑇𝑇

• ☆ReLU (Rectified Linear Unit)：• シグモイド関数：ℎ2 (𝑊𝑊2 ℎ1 𝑊𝑊1 𝑥𝑥 )非線形変換

活性化関数は通常要素ごとにかかる．Poolingのよ
うに要素ごとでない非線形変換もある．

活性化関数の例☆ReLU (Rectified Linear Unit)

シグモイド関数10

11

深層NNの構造（主に畳み込みネット）

Alex-net [Krizhevsky, Sutskever + Hinton, 2012]12

畳み込みニューラルネットを５層積み重ね（+pooling+3層の全結合層）

Layer 5人の顔

イメージパッチのようなものが学習されている⇒ 特徴量の自動学習
中間層ではより抽象的な情報がコードされる

猫の顔畳み込みニューラルネット(Convolutional Neural Network, CNN)

畳み込み

プーリング

畳み込み プーリング 全結合• 畳み込みとプーリングを交互に積み重ねる• 最後に全結合層を重ねる．
 畳み込み (Convolution)：パターンの抽出 プーリング (Pooling)：移動不変性を獲得
 全結合 (Fully-connected)：最終的な判別器を構成

13

畳み込み層14

画像フィルタ

元画像

各場所の反応度• 画像フィルタをずらしながら畳み込む．
• 複数のフィルタを用意して特徴量を構成．

5x5x3フィルタ
60

64

64
3
•
•

60
1

RGBカラー画像は「深さ3」のデータ．
奥行きも入れたフィルターで畳み込み．

60

64

60

64
3

4
複数フィルタ0-パディング
• 畳み込むと画像のサイズが小さくなってしまう．
• 周辺に0を埋めてサイズが変わらないようにする．
0

0

0

0

0

0

35 25 41 23 31 34

00

26 24 23 84 14 65

00

24 45 42

6

7

3

0

0

34 32 17 98

5

4

0

0

36 21 56 67 56 23

0041 51 45 81 92 17

0

0

0

0

0

0

0

0

0

0

0

0

15

プーリング層

16• ある特徴量に選択的に発火している箇所がその領域にあるか検出．
• 少しのずれを吸収する作用→移動不変性

1

3

4

2

1

3

5

4

2

max 𝑋𝑋𝑖𝑖,𝑗𝑗
3

4

5

4

𝑖𝑖,𝑗𝑗 ∈𝐼𝐼

Max-プーリング

1

3

4

2

1

3

5

4

2

5

𝑖𝑖,𝑗𝑗 ∈𝐼𝐼

1.8 2.8
3 2.5

Average-プーリング

12

12

1
� 𝑋𝑋𝑖𝑖,𝑗𝑗
𝐼𝐼

6
5

6

サイズ2x2間隔2の例

17深層NNの学習

損失関数最小化

18

経験損失（訓練誤差）
𝑛𝑛

𝐿𝐿 𝑊𝑊 = � ℓ(𝑦𝑦𝑖𝑖 , 𝑓𝑓(𝑥𝑥𝑖𝑖 , 𝑊𝑊))ℓ 𝑦𝑦, 𝑦𝑦 ′ = 𝑦𝑦 − 𝑦𝑦 ′ 2
𝐾𝐾

𝑖𝑖=1

二乗損失（回帰）(𝑦𝑦, 𝑦𝑦 ′ ∈ R)ℓ 𝑦𝑦, 𝑦𝑦 ′ = − � 𝑦𝑦𝑘𝑘 log(𝑦𝑦𝑘𝑘′ ) Cross-entropy損失（多値判別）
𝑘𝑘=1(𝑦𝑦𝑘𝑘 ∈ 0,1 , 𝑦𝑦𝑘𝑘′ ∈ 0,1 , ともに和が1)

min 𝐿𝐿 𝑊𝑊

𝑊𝑊 𝑡𝑡 = 𝑊𝑊

𝑊𝑊
𝑡𝑡−1

− 𝜂𝜂𝜕𝜕𝑊𝑊 𝐿𝐿(𝑊𝑊)• 基本的には確率的勾配降下法 (SGD) で最適化を実行• AdaGrad, Adam, Natural gradientといった方法で高速化
微分はどうやって求める？ → 誤差逆伝搬法

誤差逆伝搬法
x例：
合成関数

合成関数の微分1920x
微分を逆に伝搬

連鎖律を用いて微分を伝搬

パラメータによる微分と入力による微分は違うが，情報をシェアできる．

の場合

確率的勾配降下法 (SGD)
沢山データがあるときに強力

21(Stochastic Gradient Descent)

重い

大きな問題を分割して個別に処理
普通の勾配降下法：

全データの計算確率的勾配降下法 (SGD)

22(Stochastic Gradient Descent)

沢山データがあるときに強力

重い

大きな問題を分割して個別に処理
普通の勾配降下法：
t=1
t=2
t=3

確率的勾配降下法：

毎回の更新でデータを一つ(または少量)しか見ない確率的勾配降下法 (SGD)
沢山データがあるときに強力

23(Stochastic Gradient Descent)

重い

大きな問題を分割して個別に処理• ランダムに一つのデータを観測．
• 選択した一つのデータで勾配を計算：
O(1)の計算量• 勾配方向へ更新（近接勾配法と同じ更新式）：••

理論的にも実験的にもトータルの計算量で得することが知られている．
鞍点を抜けやすいという副産物もある．

バッチ正規化 (batch normalization)24x• 深くなるにつれ，平均と分散が発散or縮小してゆき，学習が安定しない．
• バッチ正規化はこの揺れによる自由度を解消し，学習を安定化させる．
※ReLUを用いている限りスケール不変なのでスケールは固定したほうが良い．
各座標ごとに平均と分散を正規化
𝜇𝜇𝐵𝐵 : ミニバッチ内の平均，𝜎𝜎𝐵𝐵2 : ミニバッチ内の分散

25

ResNet深ければ良い？
Ａ：必ずしもそうではない．

誤差の情報が伝わらない

He, Zhang, Ren, & Sun. “Deep Residual Learning for
Image Recognition”. CVPR 2016.
He. “Deep Residual Network”. ICML2016 tutorial.

入力の情報が伝わらない

26

ResNet (Deep Residual Net)

27

ResNet
152層

5.1

人間

ImageNet Classification top-5 error (%)
He, Zhang, Ren, & Sun. “Deep Residual Learning for Image Recognition”.
(CVPR2016 best paper award)
CVPR 2016.
He. “Deep Residual Network”. ICML2016 tutorial.

22層
GoogleNet

8層
AlexNetResNetの構造
ショートカット28

f(x)3x3conv

f(x)

非線形関数
(通常の深層学習
で用いるもの)+・・・

情報が減衰せずに伝わる

3x3conv

CIFAR-10などの画像認識タス
クではf(x)として２層の畳み込み層を用いたものが良かった．

1000層を超えるものもある

fully-connected 1000

ResNetの変種

29• Stochastic Depth[Huang,Sun,Liu,Sedra,Weinberger: Deep Networks with Stochastic Depth, 2016]

学習中に接続を確率的に切る．

• DenseNet[Huang, Liu, Weinberger, van der Maaten: Densely Connected Convolutional Networks, 2016](CVPR2017 best paper award)

長いスキップを用いて密な結合を用いる• Dual Path Networks[Chen, Li, Xiao, Jin, Yan, Feng: Dual Path Networks, 2017]

Dual Path

DenseNetの様子

ResNetとDenseNetの良い部分を組み合わせ．
ILSVRC2017のObject localization部門で１位．

Residual Attention Network

30

ILSVRC2017のObject detection部門１位
重要そうな場所に注目

重要そうな場所を判定

ResNetに選択的注意の機構を付与[Wang F, Jiang M, Qian C, et al. Residual Attention Network for Image Classification. arXiv:1704.06904, 2017]

31

種々の応用

物体認識→物体検出

32

Faster R-CNN (2015)「どこに」＋「なにが」写っているか
物体認識より難しい．
物体認識：「なにが」のみ

ResNetmAP(%)
48.4

(従来)
VGG
41.5
COCO 2015 dataset

Ren, He, Girshick, & Sun. “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”. NIPS 2015.

物体検出→マスキング

33

Gkioxari, Dollár, Girshick, ICCV2017]
Mask R-CNN [He,https://arxiv.org/abs/1703.06870

人物姿勢推定も可能

四角で囲むだけでなくマスキングも実行(動画も紹介)SegNetBadrinarayanan, Kendall, Cipolla: SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation. 2015.

34

Pix2Pix

Chainerによる自動彩色

Isola, Zhu, Zhou, and Efros :Image-to-Image Translation with Conditional Adversarial Networks. 201635

ラフスケッチの自動線画化
ラフスケッチ36

低次元ベクトルに圧縮

復元画像[ Simo-Serra et al., SIGGRAPH2016]

スタイル変換[Gatys, Ecker, Bethge : Image Style Transfer Using
Convolutional Neural Networks, CVPR2016]37[Gene Kogan: Experiments with style transfer, 2015]

元画像

http://genekogan.com/works/style-transfer/[Luan, Paris, Shechtman, Bala: Deep Photo Style
Transfer, 2017] https://arxiv.org/abs/1703.07511

画像診断への応用
マンモグラム分類[Kooi et al., 2016]

脳損傷セグメンテーション[Ghafoorian et al., 2016]

気管のセグメンテーションと損傷の検出[Charbonnier et al.,2017]

糖尿病網膜症分類[Kaggle, and van
Grinsven et al. 2016]

小結節分類[LUNA16 challenge]

前立腺セグメン
テーション[PROMISE12 challenge]

肺癌転移検出[CAMELYON16]

胸部骨減弱処理[Yang et al., 2016]

皮膚損傷分類[Esteva et al., 2017]38
画像はLitjens, et al. (2017)より．

高精細画像の処理
ギガピクセル画像の認識もできつつある．

• 人を超える精度（FROC73.3% -> 87.3%）• 悪性腫瘍の場所も特定[Detecting Cancer Metastases on Gigapixel Pathology Images: Liu et al.,arXiv:1703.02442, 2017]

39

ロボット

40

[DENSO, 2017][タオル畳み、サラダ盛り付け 「指動く」ロボット初公開, ITMedia:
http://www.itmedia.co.jp/news/articles/1711/30/news089.html][【ここまできた！】初公開の「汎用」マルチモーダルAIロボットアームはここが凄い！深層学習と予測学習を使い、VRでティーチング！, ロボスタ: https://robotstart.info/2017/11/29/denso-mmaira.html]

41

生成モデル

本物らしいデータを生成したい

42

深層学習が生成した画像
生成データ

訓練データ

CycleGAN[Tian: zi2zi, Master Chinese
Calligraphy with Conditional
Adversarial Networks,2017][Zhu et al.: Unpaired Image-to-Image
Translation using Cycle-Consistent
Adversarial Networks. 2017]

More applications[Glow: Generative Flow with Invertible 1x1
Convolutions. Kingma and Dhariwal, 2018]

Crypko, 201843

Generative Adversarial Network44
44

目標：本物らしい画像を生成したい．
• GAN (Generative Adversarial Network) [Goodfellow+et al., 2014]
2つの構成要素𝑥𝑥 = 𝐺𝐺(𝑧𝑧)Generator:
Discriminator: 𝐷𝐷(𝑥𝑥) = 𝑃𝑃(𝑥𝑥が本物)

G: 画像の素z (乱数) から偽画像xを生成．Dを騙そうとする．
D: 画像xが本物か偽物か判別．Gに騙されないようにする．
最適化問題
本当の画像を本物と判別する確率

偽物の画像を偽物と判別する確率2016-2017にかなり流行
GANの変種まとめ：https://github.com/hindupuravinash/the-gan-zoo※GANの他にもVAE (Variational Auto-Encoder)と呼ばれる方法もよく用いられている．

45

DCGAN (Deep Convolutional GAN)
畳み込みネットを用いたGAN
生成される画像x画像の素z(100次元一様乱数)

DCGANのGenerator••

入力zは画像の低次元ベクトル表現にもなっている．
Discriminatorも畳み込みネットを用いる．

Radford, Metz & Chintala. “Unsupervised representation learning with deep

convolutional generative adversarial networks.” ICLR2016.

潜在空間

画像の空間

46

入力の空間で足し引きした場合

ピクセルごとに足し引きした場合生成されたベッドルーム画像生成されたベッドルーム画像
入力zの凸結合で中間的画像が得られる．

入力zを足し引きすることで意味の足し引きが実現されている．

cf. word2vec.

Radford, Metz & Chintala. “Unsupervised representation learning with deep convolutional generative adversarial networks.”
ICLR2016.

GAN Zoo「○○-GAN」[https://github.com/hindupuravinash/the-gan-zoo]

47

StackGAN
StackGAN [Zhang+etal.2016]48

荒い画像を生成してからそれを高精細に修正（超解像）

入力文章

荒い画像
を生成
さらに
こうなる

既存手法
StackGAN

Style-Based Generator49

中間層にもノイズを入れて細かいスタイルのバリエーションを確保

従来法
提案法

[Karras, Laine, Aila: A Style-Based Generator Architecture forGenerative Adversarial Networks. arXiv:1812.04948]

GANの仕組み• 𝑧𝑧: 乱数（一様分布など）• 𝑥𝑥 = 𝐺𝐺𝜃𝜃 (𝑧𝑧)

50

𝐺𝐺𝜃𝜃

𝑧𝑧

（変数変換 by ニューラルネット）𝑥𝑥 ∼ 𝑝𝑝𝜃𝜃

適当な乱数を変数変換して目的の乱数（画像など）を生成

𝑥𝑥の分布𝑝𝑝𝜃𝜃

𝑓𝑓-divergenceの最小化

𝑓𝑓-divergence:

分布の距離(のようなもの)𝑝𝑝𝜃𝜃 𝑥𝑥� 𝑞𝑞 𝑥𝑥 𝑓𝑓
𝑞𝑞 𝑥𝑥

d𝑥𝑥

GANはJensen-Shannon
divergenceに対応

近づけたい

真の分布𝑞𝑞
密度比𝑝𝑝𝜃𝜃 (𝑥𝑥)/𝑞𝑞(𝑥𝑥)を1に近づける

双対の関係

Bregman-divergence:BR𝑓𝑓 𝑟𝑟̂= � 𝑞𝑞 𝑥𝑥 𝑓𝑓 ′ 𝑟𝑟̂ 𝑥𝑥− 𝑓𝑓 𝑟𝑟̂ 𝑥𝑥+ 𝑓𝑓(𝑟𝑟𝜃𝜃 (𝑥𝑥)) d𝑥𝑥 − � 𝑝𝑝𝜃𝜃 𝑥𝑥 𝑓𝑓𝑓(𝑟𝑟(𝑥𝑥))d𝑥𝑥̂

真の密度比とのBregman-divergenceを最小化して密度比を推定

f-GAN [Nowozin, Cseke, Tomioka, 2016] 密度比推定の方法論[Sugiyama, Suzuki, Kanamori: Density ratio matching. 2012.]

B-GAN [Uehara+et al., 2016]• f-divergence

f-divergence

51

fは凸関数

• KL-divergence• Jensen-Shannon divergence

GANとの関係：

その他のアプローチ• 分布間の距離が定義できれば何を用いても良い• Wasserstein GAN (Metz et al., 2016)
Wasserstein距離を利用
二つの分布のサポートがずれていてもwell-defined安定した学習• MMD GAN (Li et al., 2017)

 カーネル法による分布間距離 (Maximum Mean
Discrepancy) を利用

52

Wasserstein距離とその仲間

53• 積分型確率測度距離• f(x)としてf(x)=xのみを用いれば平均値の差を見ていることになる．
• f(x)として，f(x)=xおよびf(x)=x^2も考えれば二次モーメントの差も考慮できる．
• Fとしてもっと広い関数の集合を考えれば分布の“距離”になる．

• 1-Wasserstein距離=1-リプシッツ連続な関数の集合• MMD (Maximum Mean Discrepancy)=ある再生核ヒルベルト空間の単位球

Wasserstein距離について• 「輸送距離」とも言われる

周辺分布を固定した同時分布の中で最小化• 分布のサポートがずれていてもwell-defined• 底空間の距離が反映されている（双対表現）

54

55

自然言語処理キャプション生成
入力画像
自動生成された説明文
Google による画像説明文章の自動生成[Vinyals et al., Show and tell: A neural image caption generator. CVPR, 2015]56深層学習を用いたキャプション生成モデル

57

畳み込みネット

LSTM

St (t個目の単語)

画像の内容を表現するベクトルx0

LSTM(Long Short Term Memory)W

xt = WSt•••

再帰型ニューラルネット
言葉の列等を生成できる
内部状態，前の出力，今の入力で次の出力が決まる• 最初の時刻だけ画像を表現するベクトルを入力• 次の時刻からは前の時刻に自分の生成した単語を入力• 画像の意味をベクトルで表すことが本質的

翻訳

58

文章をベクトル列で表現

入力文

出力文

Googleの翻訳システム• 深層学習（再帰型ニューラルネットワーク）を利用• 複数言語にも対応• 「データのない言語対」の翻訳も可能に

翻訳の例

59

BERT
•
•
•
•

自然言語処理における事前学習モデル．
文章・単語の表現を学習．
各種タスクはその表現を用いてfine tuningすればよい．
多くの問題で精度を改善．

[Devlin, Chang, Lee, Toutanova: BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding. arXiv:1810.04805]

60

61

深層学習の理論

万能近似能力62

ニューラルネットの関数近似能力は80年代に盛んに研究された．

なる関数が𝑚𝑚 → ∞で任意の関数を任意の精度で近似できるか？

（「任意の関数」や「任意の精度」の意味はどのような関数空間を考えるかに依存）hがシグモイド関数やReLUなら万能性を有する．
年

基底関数

空間
𝐶𝐶(𝑅𝑅𝑑𝑑 )1987

Hecht-Nielsen

対象毎に構成1988

Gallant & White

Cos

Irie & Miyake

integrable

Carroll & Dickinson

Continuous sigmoidal

CybenkoContinuous sigmoidal

Funahashi

Monotone & bounded1993

Mhaskar + Micchelli

Polynomial growth

2015

Sonoda + Murata

Unbounded, admissible

1989

Kは任意のコンパクト集合

𝐿𝐿2 (𝐾𝐾)

𝐿𝐿2 (𝑅𝑅𝑑𝑑 )𝐿𝐿2 (𝐾𝐾)
𝐶𝐶(𝐾𝐾)
𝐶𝐶(𝐾𝐾)

𝐶𝐶(𝐾𝐾)

𝐿𝐿1 (𝑅𝑅𝑑𝑑 )参考：園田, “ニューラルネットの 積分表現理論”, 2015.

積分表現
有限和近似（３層NN）

63

真の関数

(Sonoda & Murata, 2015)• Ridgelet変換による解析（Fourier変換の親戚）• ３層NNはridgelet変換で双対空間（中間層）に行ってから戻ってくる（出力層）イメージ

三層ニューラルネットの汎化誤差64(Fourier変換)

仮定：
(例：

)

三層ニューラルネットワークの汎化誤差 (Barron 1991, 1993)

三層ニューラルネットワークのある種の正則化推定
̂
量𝑓𝑓が存在して次を満たす：
活性化関数の条件：

𝑓𝑓̂

(MDL, PAC-Bayes的解析)

65

理論より三層パーセプトロンでも中間層のユニット数を無限に増やせば任意の関数を任意の精度で近似できる．
歴史的には後にSVMの理論に繋がってゆく．
(例：Gaussian kernelの万能性)

Q : ではなぜ深い方が良いのか？
A : 深さに対して指数的に表現力が増大するから．

表現力と層の数

66

NNの“表現力”：領域を何個の多面体に分けられるか？
• 層の数に対して表現力は指数的に上がる．
• 中間層のユニット数 (横幅) に対しては多項式的．

折り紙のイメージ

𝐿𝐿：層の数𝑛𝑛：中間層の横幅
𝑛𝑛0 ：入力の次元

Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." 2014.

多層で得する理由

67

他にも同様の結論を出している論文多数• 多項式展開，テンソル解析 [Cohen et al., 2016; Cohen & Shashua, 2016]
単項式の次数• 代数トポロジー [Bianchini & Scarselli, 2014]
ベッチ数(Pfaffian)• リーマン幾何 + 平均場理論 [Poole et al., 2016]
埋め込み曲率

対称性の高い関数は，特に層を深くすることで得をする．

ℎ(𝑥𝑥)ℎ ∘ ℎ(𝑥𝑥)ℎ ∘ ℎ ∘ ℎ(𝑥𝑥)多層が得する例

68

gはBessel関数を元に構成

四層 (中間層二層)：O(poly(𝑑𝑑𝑥𝑥 ))ノードで十分
三層 (中間層一層)：Ω(exp(𝑑𝑑𝑥𝑥 ))ノードが必要

四層

まず二乗和𝑥𝑥12 + ⋯ + 𝑥𝑥𝑑𝑑2𝑥𝑥を作ってからgを作用．
𝑥𝑥32

𝑥𝑥22
𝑥𝑥3 𝑥𝑥2 𝑥𝑥1

𝑔𝑔(中間層で座標軸方向だけを見ればよい)
𝑥𝑥12

三層(Eldan&Shamir, 2016)

全方向をケアする必要がある（座標軸方向だけではダメ）区分線形関数の表現

69• 任意の区分線形関数(R𝑑𝑑 → R)は深さ log 2 (𝑑𝑑 + 1) のReLU-DNNで表現可能• ある横幅𝑤𝑤，縦幅𝑘𝑘のReLU-DNNが存在して，それを縦幅𝑘𝑘𝑘(< 𝑘𝑘)のネットワークで表現するには横幅𝑘𝑘 ′ 𝑤𝑤 𝑘𝑘/𝑘𝑘𝑘 − 1が必要．
𝑘𝑘

𝑘𝑘’(Arora et al., 2018)

大きな横幅が必要

やはり層の深さに対し指数関数的に表現力が増加

上記のネットワークの例

有理関数の近似

70• 有理関数をReLU-DNNで近似: r次多項式
をReLU-DNNで近似したい

あるReLU-DNNfが存在してノード数と近似誤差が次のように抑えられる：
ノード数

近似誤差

• ReLU-DNNを有理関数で近似
k-層で各層のノード数mの任意のReLU-DNNfに対しては，次数と近似誤差が以下で抑えられる有理関数𝑝𝑝/𝑞𝑞が存在：
次数（分母qと分子pの次数の最大値）

近似誤差

深さに対して指数的に増大• ReLU-DNNを多項式で近似：の次数が必要→有理関数に比べて表現力が低い

有理関数の近似

71• 有理関数をReLU-DNNで近似: r次多項式
をReLU-DNNで近似したい

あるReLU-DNNfが存在してノード数と近似誤差が次のように抑えられる：
ノード数

近似誤差

• ReLU-DNNを有理関数で近似
k-層で各層のノード数mの任意のReLU-DNNfに対しては，次数と近似誤差が以下で抑えられる有理関数𝑝𝑝/𝑞𝑞が存在：
次数（分母qと分子pの次数の最大値）

近似誤差

深さに対して指数的に増大• ReLU-DNNを多項式で近似：の次数が必要→有理関数に比べて表現力が低い

72

滑らかな関数の近似 by ReLU

ReLUの表現力• ReLU活性化関数• 現在広く使われている(LeakyReLUなどの亜種もあるがかなりスタンダード)• 統計的性質も解明されつつある

万能近似能力あり(区分的) 滑らかな関数の推定
区分線形関数の表現
有理関数の表現
関数のテンソル積，合成関数の表現73

滑らかな関数の近似 (Yarotsky, 2016)• 二次関数の構成
これが全ての基本74ℎ(𝑥𝑥)ℎ ∘ ℎ(𝑥𝑥)ℎ ∘ ℎ ∘ ℎ(𝑥𝑥)２次関数の近似 (Telgarsky, 2015)

層を重ねることで指数的に誤差が減少
層の数，横幅，ユニット数：
中間層１層の場合：

改善（多項式オーダ→logオーダ）多項式の構成75• 二次関数→掛け算（足し算はReLUで実現可能）• 掛け算→多項式（二次関数から構成した
掛け算を繰り返し適用）（足し算と合わせて多項式を構成）→ 滑らかな関数の近似に利用

滑らかな関数の構成
滑らかな関数のクラス（Holder class）• 滑らかな関数の局所的近似（テイラー展開）m次多項式• 全体の近似1の分割(Yarotsky, 2016; Liang&Srikant, 2017)76

• パラメータ数
領域分割の数
横幅：

推定理論

77

分割ごとのパラメータ数
縦幅：のネットワークに埋め込める

縦幅L，横幅w，非ゼロパラメータ数s：の深層NNモデルの集合
深層学習の汎化誤差（Schmidt-Hieber, 2017）
縦幅𝐿𝐿 = O(log(𝑛𝑛))，横幅𝑤𝑤 = O(𝑛𝑛𝑑𝑑
2𝛽𝛽+𝑑𝑑−log(𝑛𝑛))，非ゼロ要素𝑠𝑠 = O(𝑛𝑛𝑑𝑑
2𝛽𝛽+𝑑𝑑−log(𝑛𝑛))

ミニマックス
最適レート
バリアンス

バイアス

でバランス

補足

• ３層NNは𝛽𝛽 = 2までしか最適レートを達成しない．

• 横幅を広げることで縦幅をnに依存しない定数にする
ことも可能．
• 関数の合成𝑓𝑓 = 𝑔𝑔1 ∘ 𝑔𝑔2 を考えることで，以下のモデルも表現できる．
• テンソル積モデル• 一般化加法モデル• 同様の議論を拡張することで区分滑らかな関数の推定も可能 (最適性も示せる) (Petersen&Voigtlaender, 2017;
Imaizumi&Fukumizu, 2018)• 浅層ネットワークのパラメータ数の下界も知られている(Liang&Srikant, 2017)

78

79

深層学習の最適化

勾配降下法
深層学習における最適化(確率的) 勾配降下法：
GD
SGD

80

問題点

81

目的関数が非凸関数
凸関数

臨界点

局所最適解＝大域的最適解

局所最適解

大域的最適解

局所最適解や鞍点にはまる可能性あり

局所最適性
深層学習の目的関数は非凸
大域的最適解

局所的最適解• 深層NNの局所的最適解は全て大域的最適解：
Kawaguchi, 2016; Lu&Kawaguchi, 2017.

※ただし対象は線形NNのみ．
→ 臨界点が大域的最適解であることの条件も出されている(Yun, Sra&Jadbabaie, 2018)• 低ランク行列補完の局所的最適解は全て大域的最適解：
Ge, Lee&Ma, 2016; Bhojanapalli, Neyshabur&Srebro, 2016.

82

３層NN-非線形活性化関数-83

二層目の重みを固定する設定(Tian, 2017; Brutzkus and Globerson, 2017; Li and Yuan, 2017; Soltanolkotabi, 2017;
Soltanolkotabi et al., 2017; Shalev-Shwartz et al., 2017; Brutzkus et al., 2018)

固定 こちらのみ動かす• Li and Yuan (2017): ReLU，入力はガウス分布を仮定

 SGDは多項式時間で大域的最適解に収束
 学習のダイナミクスは2段階→ 最適解の近傍へ近づく段階 + 近傍での凸最適化的段階• Soltanolkotabi (2017): ReLU，入力はガウス分布を仮定

 過完備 (横幅>サンプルサイズ）なら勾配法で最適解に線形収束(Soltanolkotabi et al. (2017)は二乗活性化関数でより強い帰結)• Brutzkus et al. (2018): ReLU

 線形分離可能なデータなら過完備ネットワークで動かしたSGDは
大域的最適解に有限回で収束し，過学習しない．
(線形パーセプロトロンの理論にかなり依存)

Li and Yuan (2017): Convergence Analysis of Two-layer Neural Networks with ReLU Activation.
Soltanolkotabi (2017): Learning ReLUs via Gradient Descent.
Brutzkus, Globerson, Malach and Shalev-Shwartz (2018): SGD learns over parameterized networks that provably generalizedon linearly separable data.

３層NN-非線形活性化関数-

二層目の重みも動かす設定

両方動かす

84

※細かい強い仮定が置かれているので文章か
ら結果を鵜呑みにできないことに注意．

• Du et al. (2017): CNNを解析
 勾配法は局所最適解があっても非ゼロの確率で回避可能→ ランダム初期化を複数回行えば高い確率で大域解へ ガウス入力を仮定• Du, Lee & Tian (2018): CNN，vj固定だが非ガウス入力で大域的最適解への収束を保証．
学習ダイナミクスとセットで議論

その他のアプローチ• テンソル分解を用いた大域的最適性の議論: Ge, Lee & Ma (2018).
• カーネル法的解釈+Frank-Wolfe法による最適化：Bach (2017)．
Du, Lee, Tian, Poczos & Singh (2017): Gradient Descent Learns One-hidden-layer CNN: Don’t be Afraid of Spurious
Local Minima.
Du, Lee, Tian (2018): When is a convolutional filter easy to learn?
Ge, Lee & Ma (2018): Learning one-hidden-layer neural networks with landscape design.
Bach (2017): Breaking the Curse of Dimensionality with Convex Neural Networks.

非凸最適化一般論

85• ある条件を満たす最適化法はほとんど確実に鞍点にはまらない 安定多様体を用いた議論
Strict Saddleの仮定 (やや強い)
勾配法，鏡像降下法，近接点法，
座標降下法等は条件を満たす． Fig. by Staadt, Natarajan, Weber, Wiley, Hamann (2007)

Lee, Panageas, Piliouras, Simchowitz, Jordan, Recht (2017): First-order Methods Almost Always Avoid Saddle Points.
Lee, Simchowitz, Jordan, Recht (2016): Gradient Descent Only Converges to Minimizers.

• 非確率的勾配法は鞍点にはまると抜け出すのに次元に関して指数時間かかる．
Du, Jin, Lee, Jordan, Poczos, Singh (2017): Gradient Descent Can Take Exponential Time to Escape Saddle Points.

• わざとノイズを乗せることで鞍点から抜けられる．
SGD, 加速法などに適用可

Jin, Ge, Netrapalli, Kakade, Jordan (2017): How to Escape Saddle Points Efficiently.
Jin, Netrapalli, Jordan: Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent.

鞍点回避の方法• 単純な勾配法への適用

86

ノイズを乗せるだけ（鞍点脱出）(普通の勾配法)

Jin, Ge, Netrapalli, Kakade, Jordan (2017): How to Escape Saddle Points Efficiently.

• 加速勾配法への適用

鞍点にはまっていそうならノイズを乗せて脱出

加速勾配法

凸っぽくなければある方法で降下方向を発見
Jin, Netrapalli, Jordan: Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent.

SGLD

87

• Stochastic Gradient Langevin Dynamics
GLD:(Euler-Maruyama scheme)

SGLD:
Stochastic[Welling and Teh, 2011]

連続化(Langevin dynamics)
定常分布：
定理

[Xu et al., arXiv:1707.06618]

Fの適当な条件のもと (非凸でOK), GLDは(滑らか，散逸的)回の更新で大域的最適解との誤差がε以下(w.h.p.)
SGLDも多項式時間で収束．

Sharp minima vs flat minima

88

SGDは「フラットな局所最適解」に落ちやすい→良い汎化性能を示すという説

Keskar, Mudigere, Nocedal, Smelyanskiy, Tang (2017):
On large-batch training for deep learning: generalization gap and sharp minima.

•「フラット」という概念は座標系の取り方によるから意味がないという批判．
(Dinh et al., 2017)≅正規分布•PAC-Bayesによる解析 (Dziugaite, Roy,
→ランダムウォークはフラットな領域に 2017)
とどまりやすいOver-parametrization

89• 横幅が広いと局所最適解が大域的最適解になる．

横幅を十分広くとってランダム初期化すれば，経験誤差0の解へ線形収束する．
[Du et al., 2018; Allen-Zhu, Li & Song, 2018; Li & Liang, 2018]
誤差 ≤ 𝐶𝐶𝐶𝐶𝐶𝐶(−𝑐𝑐𝑐𝑐)• 横幅が十分広いと最適解の近くに初期値が来る．
• 目的関数が凸的になる．

90

その他

Information Bottleneck
中間層と入力および出力との相互情報量

91

SGDによる最適化の間，まずデータへの当てはまりを良くしてから，無駄な情報の圧縮が始まる，という説

圧縮段階
更新回数
当てはめ段階ReLUにすると圧縮が起きないという実験結果も．
入力全体
とのMI

関係のある部分空間とのMI

関係のない部分空間とのMI

予測に関係のない方向は情報の圧縮は進んでいるという実験結果．
Tishby, Pereira, Bialek (2000): The information bottleneck method.
Tishby, Zaslavsky (2015): Deep learning and the information bottleneck principle.
Schwartz-iv, Tishby (2017): Opening the black box of Deep Neural Networks via Information.
Saxe, Bansal, Dapello, Advani, Kolchinsky, Tracey, Cox (2018): On the information bottleneck theory of deep learning.

転移学習・メタ学習

92

いかに少ないデータで学習するか？
大量のデータで学習しておき，興味のある問題にその知識を「転移」させる．
転移学習
教師無し学習メタ学習
ワンショット学習
Learn-to-learn

深層学習の脆さ

93• Adversarial example

少し作為的ノイズを入れただけでパンダをテナガザルと間違える．
しかもかなり強い自信をもって間違える．
[Szegedy et al.: Intriguing properties of neural networks. ICLR2014.]

標識をハックすることで誤認識を誘発．
「STOP」を「スピード制限時速45mile」と誤認識[Evtimov et al.: Robust Physical-World Attacks on Machine Learning Models. 2017]

敵対的入力 (adversarial example) に関する研究は現在盛り上がってる．
様々な対処法 (dropoutやVirtual Adversarial Trainingなど) も提案されている．
しかし，深層学習の信頼性評価はまだ難しい

社会的課題• 少数データの問題• 転移学習・メタ学習・ドメイン適合• シミュレーション・CG• 深層学習の信頼性保証• 敵対的入力へのロバスト性• 学習結果の解釈可能性 (accountability)• プライバシー保護• 差別的振る舞いの抑制 (fairness)

94

まとめ
• 深層学習のモデル• 畳み込みネットワーク• ResNet• 各種応用• 物体認識・物体検出・マスキング• スタイル変換• 自然言語処理・Q&Aタスク• 生成モデル• 深層学習の理論• 表現力は深くすることで指数的に増大• 最適化理論• オーバーパラメトライズ・ノイズ付加(SGD)で大域的最適解へ

95