1

社会人向け講座「データ分析者養成コース」

機械学習技術とその数理基盤
(第2部)

鈴木大慈
東京大学大学院情報理工学系研究科数理情報学専攻
理研AIP
2018年4月4日/4月18日

機械学習と人工知能の歴史
１９４６： ＥＮＩＡＣ，高い計算能力
フォン・ノイマン「俺の次に頭の良い奴ができた」
１９５２： Ａ．Ｓａｍｕｅｌによるチェッカーズプログラム
ルールベース
１９５７：Ｐｅｒｃｅｐｔｒｏｎ，ニューラルネットワークの先駆け
１９６０年代前半：

ＥＬＩＺＡ（イライザ），擬似心理療法士
１９８０年代：
エキスパートシステム

人手による学習ルールの作りこみの限界「膨大な数の例外」
Siriなどにつながる

2

統計的学習

第一次ニューラルネットワークブーム
１９６３：線形サポートベクトルマシン

線形モデルの限界

１９８０年代：多層パーセプトロン，誤差逆伝搬，畳み込みネット
第二次ニューラルネットワークブーム

非凸性の問題

１９９２： 非線形サポートベクトルマシン（カーネル法）１９９６： スパース学習 （Lasso）
２００３： トピックモデル （LDA）
２０１２： Supervision （Alex-net）
第三次ニューラルネットワークブーム

データの増加＋計算機の強化ネオコグニトロン

3[福島,79]・人間の脳を模倣
・畳み込みネットの初期型
・自己組織型学習→素子を足してゆくLeNet[LeCun+etal,89]

4

LeNet-5[LeCun etal,98]• 畳み込み＋プーリング：現在も使われている構造• 誤差逆伝搬法でパラメータを更新• 手書き文字認識データセット（MNIST）で９９％の精度を達成

カーネル法5

カーネルトリック

非線形写像
非線形分類

非線形回帰
http://wiki.eigenvector.com/index.php?title=Svmda

http://www.eric-kim.net/eric-kim-net/posts/1/kernel_trick.html

関数解析：再生核ヒルベルト空間の理論• 凸最適化問題で解ける．
 効率的な最適化手法が存在．
 解は一つ．誰が解いても同じ答えが返ってくる．
• VC理論・経験過程の理論による汎化誤差の保証．
Vladimir Vapnik

6Deep Learning
深層学習

深層学習の構造

7𝑥𝑥 𝑊𝑊1 ℎ1 𝑊𝑊2 ℎ2 𝑊𝑊3 ℎ3
基本的に「線形変換」と「非線形活性化関数」の繰り返し．
𝑥𝑥

入力

𝑊𝑊1 𝑥𝑥ℎ1 (𝑊𝑊1 𝑥𝑥)

線形変換 非線形変換ℎ1 𝑢𝑢 = ℎ11 𝑢𝑢1 , ℎ12 𝑢𝑢2 , … , ℎ1𝑑𝑑 𝑢𝑢𝑑𝑑

𝑊𝑊2 ℎ1 (𝑊𝑊1 𝑥𝑥)
線形変換

𝑇𝑇

• ☆ReLU (Rectified Linear Unit)：• シグモイド関数：ℎ2 (𝑊𝑊2 ℎ1 𝑊𝑊1 𝑥𝑥 )非線形変換

活性化関数は通常要素ごとにかかる．Poolingのよ
うに要素ごとでない非線形変換もある．

Alex-net [Krizhevsky, Sutskever + Hinton, 2012]8

畳み込みニューラルネットを５層積み重ね（+pooling+3層の全結合層）

Layer 5人の顔

イメージパッチのようなものが学習されている⇒ 特徴量の自動学習
中間層ではより抽象的な情報がコードされる

猫の顔ImageNet

ImageNet: 21,841カテゴリ，14,197,122枚の訓練画像データ[J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei.
ImageNet: A Large-Scale Hierarchical Image Database. In CVPR09, 2009.]

9ImageNetデータにおける識別精度の変遷
Classification error (%)
30

深層学習

25
20
15
10
50

ILSVRC2010ILSVRC
2011

8層

8層

19層

22層

ILSVRCILSVRCILSVRCILSVRC

VGG

GoogleNet

2012

AlexNet

2013

2014

2014

152層
Human

ImageNet: 21841クラス，14,197,122枚の訓練画像データ
そのうち1000クラスでコンペティション

ILSVRC2015

ResNet10畳み込みニューラルネット(Convolutional Neural Network, CNN)

畳み込みプーリング

畳み込み プーリング 全結合• 畳み込みとプーリングを交互に積み重ねる• 最後に全結合層を重ねる．
 畳み込み (Convolution)：パターンの抽出 プーリング (Pooling)：移動不変性を獲得
 全結合 (Fully-connected)：最終的な判別器を構成

11

畳み込み層12

画像フィルタ

元画像

各場所の反応度• 画像フィルタをずらしながら畳み込む．
• 複数のフィルタを用意して特徴量を構成．

5x5x3フィルタ
6064643••60
1RGBカラー画像は「深さ3」のデータ．
奥行きも入れたフィルターで畳み込み．

60646064
34複数フィルタ

プーリング層

13• ある特徴量に選択的に発火している箇所がその領域にあるか検出．
• 少しのずれを吸収する作用→移動不変性

1342

13542max 𝑋𝑋𝑖𝑖,𝑗𝑗
3454𝑖𝑖,𝑗𝑗 ∈𝐼𝐼Max-プーリング

1342135425𝑖𝑖,𝑗𝑗 ∈𝐼𝐼

1.8 2.83 2.5

Average-プーリング

12121
� 𝑋𝑋𝑖𝑖,𝑗𝑗𝐼𝐼

656

サイズ2x2間隔2の例

損失関数最小化

14経験損失（訓練誤差）
𝑛𝑛

𝐿𝐿 𝑊𝑊 = � ℓ(𝑦𝑦𝑖𝑖 , 𝑓𝑓(𝑥𝑥𝑖𝑖 , 𝑊𝑊))ℓ 𝑦𝑦, 𝑦𝑦 ′ = 𝑦𝑦 − 𝑦𝑦 ′ 2𝑖𝑖=1

𝐾𝐾

二乗損失（回帰）ℓ 𝑦𝑦, 𝑦𝑦 ′ = − � 𝑦𝑦𝑘𝑘 log(𝑦𝑦𝑘𝑘′ ) Cross-entropy損失（多値判別）
𝑘𝑘=1min 𝐿𝐿 𝑊𝑊

𝑊𝑊 𝑡𝑡 = 𝑊𝑊𝑊𝑊
𝑡𝑡−1− 𝜂𝜂𝜕𝜕𝑊𝑊 𝐿𝐿(𝑊𝑊)• 基本的には確率的勾配降下法 (SGD) で最適化を実行• AdaGrad, Adam, Natural gradientといった方法で高速化
微分はどうやって求める？ → 誤差逆伝搬法

誤差逆伝搬法x例：
合成関数

合成関数の微分1516x
微分を逆に伝搬

連鎖律を用いて微分を伝搬

パラメータによる微分と入力による微分は違うが，情報をシェアできる．の場合

確率的勾配降下法 (SGD)
沢山データがあるときに強力17(Stochastic Gradient Descent)

重い

大きな問題を分割して個別に処理
普通の勾配降下法：

全データの計算確率的勾配降下法 (SGD)

18(Stochastic Gradient Descent)

沢山データがあるときに強力

重い

大きな問題を分割して個別に処理
普通の勾配降下法：
t=1
t=2
t=3

確率的勾配降下法：

毎回の更新でデータを一つ(または少量)しか見ない確率的勾配降下法 (SGD)
沢山データがあるときに強力19(Stochastic Gradient Descent)

重い

大きな問題を分割して個別に処理• ランダムに一つのデータを観測．
• 選択した一つのデータで勾配を計算：
O(1)の計算量• 勾配方向へ更新（近接勾配法と同じ更新式）：

理論的にも実験的にもトータルの計算量で得することが知られている．

深ければ良い？
Ａ：必ずしもそうではない．

誤差の情報が伝わらない

He, Zhang, Ren, & Sun. “Deep Residual Learning forImage Recognition”. CVPR 2016.
He. “Deep Residual Network”. ICML2016 tutorial.

入力の情報が伝わらない 20

ResNet (Deep Residual Net)

21

ResNet
152層

5.1

人間

ImageNet Classification top-5 error (%)
He, Zhang, Ren, & Sun. “Deep Residual Learning for Image Recognition”.
(CVPR2016 best paper award)
CVPR 2016.
He. “Deep Residual Network”. ICML2016 tutorial.

22層
GoogleNet

8層
AlexNetResNetの構造
ショートカット

22f(x)
3x3convf(x)非線形関数(通常の深層学習で用いるもの)+・・・

情報が減衰せずに伝わる

3x3conv

CIFAR-10などの画像認識タス
クではf(x)として２層の畳み込み層を用いたものが良かった．

1000層を超えるものもある

fully-connected 1000

ResNetの変種

23• Stochastic Depth[Huang,Sun,Liu,Sedra,Weinberger: Deep Networks with Stochastic Depth, 2016]

学習中に接続を確率的に切る．

• DenseNet[Huang, Liu, Weinberger, van der Maaten: Densely Connected Convolutional Networks, 2016](CVPR2017 best paper award)

長いスキップを用いて密な結合を用いる• Dual Path Networks[Chen, Li, Xiao, Jin, Yan, Feng: Dual Path Networks, 2017]

Dual Path

DenseNetの様子ResNetとDenseNetの良い部分を組み合わせ．
ILSVRC2017のObject localization部門で１位．

Residual Attention Network

24

ILSVRC2017のObject detection部門１位
重要そうな場所に注目

重要そうな場所を判定

ResNetに選択的注意の機構を付与[Wang F, Jiang M, Qian C, et al. Residual Attention Network for Image Classification. arXiv:1704.06904, 2017]

SegNetBadrinarayanan, Kendall, Cipolla: SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation. 2015.

25

Pix2Pix

Chainerによる自動彩色

Isola, Zhu, Zhou, and Efros :Image-to-Image Translation with Conditional Adversarial Networks. 201626

ラフスケッチの自動線画化
ラフスケッチ27

低次元ベクトルに圧縮復元画像[ Simo-Serra et al., SIGGRAPH2016]

画像診断への応用
マンモグラム分類[Kooi et al., 2016]

脳損傷セグメンテーション[Ghafoorian et al., 2016]

気管のセグメンテーションと損傷の検出[Charbonnier et al.,2017]

糖尿病網膜症分類[Kaggle, and van
Grinsven et al. 2016]

小結節分類[LUNA16 challenge]

前立腺セグメン
テーション[PROMISE12 challenge]

肺癌転移検出[CAMELYON16]

胸部骨減弱処理[Yang et al., 2016]

皮膚損傷分類[Esteva et al., 2017]28
画像はLitjens, et al. (2017)より．

高精細画像の処理
ギガピクセル画像の認識もできつつある．

• 人を超える精度（FROC73.3% -> 87.3%）• 悪性腫瘍の場所も特定[Detecting Cancer Metastases on Gigapixel Pathology Images: Liu et al.,arXiv:1703.02442, 2017]

29

ロボット

30

[DENSO, 2017][タオル畳み、サラダ盛り付け 「指動く」ロボット初公開, ITMedia:
http://www.itmedia.co.jp/news/articles/1711/30/news089.html][【ここまできた！】初公開の「汎用」マルチモーダルAIロボットアームはここが凄い！深層学習と予測学習を使い、VRでティーチング！, ロボスタ: https://robotstart.info/2017/11/29/denso-mmaira.html]

31

生成モデル

本物らしいデータを生成したい
生成データ

訓練データ

[Tian: zi2zi, Master Chinese
Calligraphy with Conditional
Adversarial Networks,2017]

深層学習が生成した画像

32

生成モデル

33
33

目標：本物らしい画像を生成したい．
• GAN (Generative Adversarial Network) [Goodfellow+et al., 2014]
2つの構成要素𝑥𝑥 = 𝐺𝐺(𝑧𝑧)Generator:
Discriminator: 𝐷𝐷(𝑥𝑥) = 𝑃𝑃(𝑥𝑥が本物)

G: 画像の素z (乱数) から偽画像xを生成．Dを騙そうとする．
D: 画像xが本物か偽物か判別．Gに騙されないようにする．
最適化問題
本当の画像を本物と判別する確率

偽物の画像を偽物と判別する確率2016-2017にかなり流行
GANの変種まとめ：https://github.com/hindupuravinash/the-gan-zoo※GANの他にもVAE (Variational Auto-Encoder)と呼ばれる方法もよく用いられている．

34

DCGAN (Deep Convolutional GAN)
畳み込みネットを用いたGAN
生成される画像x

画像の素z(100次元一様乱数)

DCGANのGenerator• 入力zは画像の低次元ベクトル表現にもなっている．
• Discriminatorも畳み込みネットを用いる．
Radford, Metz & Chintala. “Unsupervised representation learning with deep

convolutional generative adversarial networks.” ICLR2016.

潜在空間

画像の空間

35

入力の空間で足し引きした場合ピクセルごとに足し引きした場合生成されたベッドルーム画像生成されたベッドルーム画像
入力zの凸結合で中間的画像が得られる．

入力zを足し引きすることで意味の足し引きが実現されている．

cf. word2vec.

Radford, Metz & Chintala. “Unsupervised representation learning with deep convolutional generative adversarial networks.”
ICLR2016.

GAN Zoo「○○-GAN」[https://github.com/hindupuravinash/the-gan-zoo]

36

StackGAN
StackGAN [Zhang+etal.2016]37

荒い画像を生成してからそれを高精細に修正（超解像）

入力文章

荒い画像を生成さらにこうなる

既存手法
StackGANGANの仕組み• 𝑧𝑧: 乱数（一様分布など）• 𝑥𝑥 = 𝐺𝐺𝜃𝜃 (𝑧𝑧)

38

𝐺𝐺𝜃𝜃

𝑧𝑧

（変数変換 by ニューラルネット）𝑥𝑥 ∼ 𝑝𝑝𝜃𝜃

適当な乱数を変数変換して目的の乱数（画像など）を生成

𝑥𝑥の分布𝑝𝑝𝜃𝜃

𝑓𝑓-divergenceの最小化

𝑓𝑓-divergence:

分布の距離(のようなもの)𝑝𝑝𝜃𝜃 𝑥𝑥� 𝑞𝑞 𝑥𝑥 𝑓𝑓𝑞𝑞 𝑥𝑥

d𝑥𝑥

GANはJensen-Shannon
divergenceに対応

近づけたい

真の分布𝑞𝑞
密度比𝑝𝑝𝜃𝜃 (𝑥𝑥)/𝑞𝑞(𝑥𝑥)を1に近づける

双対の関係

Bregman-divergence:BR𝑓𝑓 𝑟𝑟̂= � 𝑞𝑞 𝑥𝑥 𝑓𝑓 ′ 𝑟𝑟̂ 𝑥𝑥− 𝑓𝑓 𝑟𝑟̂ 𝑥𝑥+ 𝑓𝑓(𝑟𝑟𝜃𝜃 (𝑥𝑥)) d𝑥𝑥 − � 𝑝𝑝𝜃𝜃 𝑥𝑥 𝑓𝑓𝑓(𝑟𝑟(𝑥𝑥))d𝑥𝑥̂

真の密度比とのBregman-divergenceを最小化して密度比を推定

f-GAN [Nowozin, Cseke, Tomioka, 2016] 密度比推定の方法論[Sugiyama, Suzuki, Kanamori: Density ratio matching. 2012.]

B-GAN [Uehara+et al., 2016]その他のアプローチ• 分布間の距離が定義できれば何を用いても良い• Wasserstein GAN (Metz et al., 2016)
Wasserstein距離を利用
二つの分布のサポートがずれていてもwell-defined安定した学習• MMD GAN (Li et al., 2017)

 カーネル法による分布間距離 (Maximum MeanDiscrepancy) を利用

39

40

自然言語処理キャプション生成
入力画像
自動生成された説明文
Google による画像説明文章の自動生成[Vinyals et al., Show and tell: A neural image caption generator. CVPR, 2015]41深層学習を用いたキャプション生成モデル

42

畳み込みネット

LSTM

St (t個目の単語)

画像の内容を表現するベクトル

x0

LSTM

(Long Short Term Memory)W

xt = WSt•••

再帰型ニューラルネット
言葉の列等を生成できる
内部状態，前の出力，今の入力で次の出力が決まる• 最初の時刻だけ画像を表現するベクトルを入力• 次の時刻からは前の時刻に自分の生成した単語を入力• 画像の意味をベクトルで表すことが本質的

翻訳

43

文章をベクトル列で表現

入力文

出力文

Googleの翻訳システム• 深層学習（再帰型ニューラルネットワーク）を利用• 複数言語にも対応• 「データのない言語対」の翻訳も可能に

翻訳の例

44

45

深層学習の理論

万能近似能力46

ニューラルネットの関数近似能力は80年代に盛んに研究された．

なる関数が𝑚𝑚 → ∞で任意の関数を任意の精度で近似できるか？

（「任意の関数」や「任意の精度」の意味はどのような関数空間を考えるかに依存）hがシグモイド関数やReLUなら万能性を有する．
年

基底関数

空間
𝐶𝐶(𝑅𝑅 𝑑𝑑 )1987

Hecht-Nielsen

対象毎に構成1988

Gallant & White

Cos

Irie & Miyake

integrable

Carroll & Dickinson

Continuous sigmoidal

CybenkoContinuous sigmoidal

Funahashi

Monotone & bounded1993

Mhaskar + Micchelli

Polynomial growth

2015

Sonoda + Murata

Unbounded, admissible

1989

Kは任意のコンパクト集合

𝐿𝐿2 (𝐾𝐾)

𝐿𝐿2 (𝑅𝑅 𝑑𝑑 )𝐿𝐿2 (𝐾𝐾)
𝐶𝐶(𝐾𝐾)
𝐶𝐶(𝐾𝐾)

𝐶𝐶(𝐾𝐾)

𝐿𝐿1 (𝑅𝑅 𝑑𝑑 )参考：園田, “ニューラルネットの 積分表現理論”, 2015.

積分表現
有限和近似（３層NN）

47

真の関数

(Sonoda & Murata, 2015)• Ridgelet変換による解析（Fourier変換の親戚）• ３層NNはridgelet変換で双対空間（中間層）に行ってから戻ってくる（出力層）イメージ三層ニューラルネットの汎化誤差

48(Fourier変換)

仮定：
(例：)

三層ニューラルネットワークの汎化誤差 (Barron 1991, 1993)

三層ニューラルネットワークのある種の正則化推定
̂
量𝑓𝑓が存在して次を満たす：
活性化関数の条件：

𝑓𝑓̂

(MDL, PAC-Bayes的解析)

49

理論より三層パーセプトロンでも中間層のユニット数を無限に増やせば任意の関数を任意の精度で近似できる．
歴史的には後にSVMの理論に繋がってゆく．
(例：Gaussian kernelの万能性)

Q : ではなぜ深い方が良いのか？
A : 深さに対して指数的に表現力が増大するから．

表現力と層の数

50NNの“表現力”：領域を何個の多面体に分けられるか？
• 層の数に対して表現力は指数的に上がる．
• 中間層のユニット数 (横幅) に対しては多項式的．

折り紙のイメージ

𝐿𝐿：層の数𝑛𝑛：中間層の横幅𝑛𝑛0 ：入力の次元

Montufar, Guido F., et al. "On the number of linear regions of deep neural networks." 2014.

多層で得する理由

51

他にも同様の結論を出している論文多数• 多項式展開，テンソル解析 [Cohen et al., 2016; Cohen & Shashua, 2016]
単項式の次数• 代数トポロジー [Bianchini & Scarselli, 2014]
ベッチ数(Pfaffian)• リーマン幾何 + 平均場理論 [Poole et al., 2016]
埋め込み曲率対称性の高い関数は，特に層を深くすることで得をする．

多層が得する例[Eldan,Shamir,ALT2016]ℎ(𝑥𝑥)ℎ ∘ ℎ(𝑥𝑥)ℎ ∘ ℎ ∘ ℎ(𝑥𝑥)ReLUの表現力• ReLU活性化関数• 現在広く使われている(LeakyReLUなどの亜種もあるがかなりスタンダード)• 統計的性質も解明されつつある

万能近似能力あり(区分的) 滑らかな関数の推定
区分線形関数の表現
有理関数の表現
関数のテンソル積，合成関数の表現52

深層学習の汎化誤差理論

53[T. Suzuki. Fast learning rate of deep learning via a kernel perspective. arXiv:1705.10182, 2017.]

深層学習のネットワーク構造を決定する指針はないか？
• 「自由度」という深層ネットワークの構造を表す量が汎化誤差に影響「自由度」は中間層の出力の分散共分散行列の固有値に対応して決まる
深層学習の汎化誤差を決める要
素は何か？
→自由度が重要

実際のネットワーク

多くの小さい固有値小さい固有値が多ければ横幅は狭くて良い

有限次元モデル

深層NNの積分表現（真の関数）

有限近似

求積法の理論

汎化誤差=真の関数とモデルのずれ（バイアス）＋モデルの複雑さ（バリアンス）
・真の関数を表すために積分表現を導入
・積分表現から各層に再生核ヒルベルト空間を定義
・空間に付随した「自由度」を定義

自由度
ただし𝜇𝜇𝑗𝑗 は各層に対応するカーネルの固有値(ℓ)(各層の実質的次元)定理

第ℓ層の横幅𝑚𝑚ℓ が𝑚𝑚ℓ ≥ 𝑁𝑁ℓ (𝜆𝜆ℓ )ならばバイアス

一般の深層NN‖𝑓𝑓̂ − 𝑓𝑓 ∗ ‖2𝐿𝐿2 ≤ 2(𝛿𝛿̂ 2 + 𝜖𝜖𝑛𝑛2 )
バリアンス

3深NN
(カーネル法)理論の応用

54• 構造の自動決定：各レイヤーの横幅をデータから決定できる．

→ネットワークの圧縮に利用：予測値計算の高速化+メモリ効率化

構造の自動決定：各層の横幅（チャネル数）5%95%

捨てる 残す3x3conv, 64

提案手法でサイズを自動決定
結果的に大きくサイズを圧縮
37,58,114,117, 229,236,234,201, 10,10

64,64,128, 128,256,256,256,256,1024,1024

3x3conv, 64

横幅

3x3conv,128
3x3conv,
256
3x3conv,
256
3x3conv,
256
3x3conv,256

横幅

3x3conv,
128

fc, 1024
fc, 1024

層の番号

精度：0.9374

VGG13:

よく使われるモデル

データ：cifar10

層の番号

精度：0.9375

モデルを圧縮しても精度は損なわず

SegNet(-Basic)の圧縮
SegNet-Basicに応用
Global Accuracy

Mean Class Accuracy

パラメータ数が1/4でも精度ほとんど変わらず

Global Accuracy

圧縮率と精度の関係
処理時間7倍Mean Class Accuracy

処理時間が3.5倍でも精度はむしろ向上

処理時間と精度の関係

55

ImageNetデータセットでの実験• 1,300万枚の訓練画像• 1,000クラスへの分類

VGG-16ネットワークの圧縮

精度向上

VGG-16
元モデルの1/3程度のサイズでむしろ精度向上 我々の提案手法

56

局所最適性
深層学習の目的関数は非凸
大域的最適解

局所的最適解• 深層NNの局所的最適解は全て大域的最適解：
Kawaguchi, 2016; Lu&Kawaguchi, 2017.

※ただし対象は線形NNのみ．
→ 臨界点が大域的最適解であることの条件も出されている(Yun, Sra&Jadbabaie, 2018)• 低ランク行列補完の局所的最適解は全て大域的最適解：
Ge, Lee&Ma, 2016; Bhojanapalli, Neyshabur&Srebro, 2016.

57

３層NN-非線形活性化関数-58

二層目の重みを固定する設定(Tian, 2017; Brutzkus and Globerson, 2017; Li and Yuan, 2017; Soltanolkotabi, 2017;Soltanolkotabi et al., 2017; Shalev-Shwartz et al., 2017; Brutzkus et al., 2018)

固定 こちらのみ動かす• Li and Yuan (2017): ReLU，入力はガウス分布を仮定

 SGDは多項式時間で大域的最適解に収束
 学習のダイナミクスは2段階→ 最適解の近傍へ近づく段階 + 近傍での凸最適化的段階• Soltanolkotabi (2017): ReLU，入力はガウス分布を仮定

 過完備 (横幅>サンプルサイズ）なら勾配法で最適解に線形収束(Soltanolkotabi et al. (2017)は二乗活性化関数でより強い帰結)• Brutzkus et al. (2018): ReLU

 線形分離可能なデータなら過完備ネットワークで動かしたSGDは大域的最適解に有限回で収束し，過学習しない．
(線形パーセプロトロンの理論にかなり依存)

Li and Yuan (2017): Convergence Analysis of Two-layer Neural Networks with ReLU Activation.
Soltanolkotabi (2017): Learning ReLUs via Gradient Descent.
Brutzkus, Globerson, Malach and Shalev-Shwartz (2018): SGD learns over parameterized networks that provably generalizedon linearly separable data.

３層NN-非線形活性化関数-

二層目の重みも動かす設定

両方動かす59※細かい強い仮定が置かれているので文章から結果を鵜呑みにできないことに注意．

• Du et al. (2017): CNNを解析
 勾配法は局所最適解があっても非ゼロの確率で回避可能→ ランダム初期化を複数回行えば高い確率で大域解へ ガウス入力を仮定• Du, Lee & Tian (2018): CNN，vj固定だが非ガウス入力で大域的最適解への収束を保証．
学習ダイナミクスとセットで議論

その他のアプローチ• テンソル分解を用いた大域的最適性の議論: Ge, Lee & Ma (2018).
• カーネル法的解釈+Frank-Wolfe法による最適化：Bach (2017)．
Du, Lee, Tian, Poczos & Singh (2017): Gradient Descent Learns One-hidden-layer CNN: Don’t be Afraid of Spurious
Local Minima.
Du, Lee, Tian (2018): When is a convolutional filter easy to learn?
Ge, Lee & Ma (2018): Learning one-hidden-layer neural networks with landscape design.
Bach (2017): Breaking the Curse of Dimensionality with Convex Neural Networks.

Information Bottleneck
中間層と入力および出力との相互情報量60

SGDによる最適化の間，まずデータへの当てはまりを良くしてから，無駄な情報の圧縮が始まる，という説

圧縮段階
更新回数
当てはめ段階ReLUにすると圧縮が起きないという実験結果も．
入力全体とのMI関係のある部分空間とのMI関係のない部分空間とのMI予測に関係のない方向は情報の圧縮は進んでいるという実験結果．
Tishby, Pereira, Bialek (2000): The information bottleneck method.
Tishby, Zaslavsky (2015): Deep learning and the information bottleneck principle.
Schwartz-iv, Tishby (2017): Opening the black box of Deep Neural Networks via Information.
Saxe, Bansal, Dapello, Advani, Kolchinsky, Tracey, Cox (2018): On the information bottleneck theory of deep learning.

Sharp minima vs flat minima

61

SGDは「フラットな局所最適解」に落ちやすい→良い汎化性能を示すという説

Keskar, Mudigere, Nocedal, Smelyanskiy, Tang (2017):
On large-batch training for deep learning: generalization gap and sharp minima.

•「フラット」という概念は座標系の取り方によるから意味がないという批判．
(Dinh et al., 2017)≅正規分布•PAC-Bayesによる解析 (Dziugaite, Roy,→ランダムウォークはフラットな領域に 2017)
とどまりやすい転移学習・メタ学習

62

いかに少ないデータで学習するか？
大量のデータで学習しておき，興味のある問題にその知識を「転移」させる．
転移学習
教師無し学習メタ学習
ワンショット学習
Learn-to-learn深層学習の脆さ

63• Adversarial example

少し作為的ノイズを入れただけでパンダをテナガザルと間違える．
しかもかなり強い自信をもって間違える．
[Szegedy et al.: Intriguing properties of neural networks. ICLR2014.]

標識をハックすることで誤認識を誘発．
「STOP」を「スピード制限時速45mile」と誤認識[Evtimov et al.: Robust Physical-World Attacks on Machine Learning Models. 2017]

敵対的入力 (adversarial example) に関する研究は現在盛り上がってる．
様々な対処法 (dropoutやVirtual Adversarial Trainingなど) も提案されている．
しかし，深層学習の信頼性評価はまだ難しい

最後に• 機械学習基礎研究による各種方法論の正しい理解• 社会のニーズに応える産業界と時代によらない普遍的価値を求めるアカデミアの交流「機械学習は両業界の距離が近い」
横糸と縦糸の関係

社会のニーズ
ビジネス課題

学問的課題

64

65

ご清聴ありがとうございました．