1

社会人向け講座「データ分析者養成コース」

機械学習の概要鈴木大慈
東京大学大学院情報理工学系研究科数理情報学専攻
理研AIP
2018年11月1日

身近にあふれる機械学習
推薦システム検索エンジン

遺伝子データ解析

音声認識
機械学習プラットフォーム

2機械学習の立ち位置
数理
データ分析 最適化
統計学
データ
マイニング

理論計算
機科学

人工知能

機械学習
自然言語
処理

3

音声認識
画像認識

さまざまな分野の複合領域

機械学習コミュニティの実体

機械学習主要国際会議

NIPS (Neural Information Processing Systems)
ICML (International Conference of Machine Learning)
COLT (Conference of Learning Theory)
ICLR (International Conference on Learning Representations)
AISTATS, UAI, ECML, …
関連国際会議••••

データマイニング
KDD，ICDM，WWW，WISDM，SIGIR，SDM
人工知能
IJCAI，AAAI
コンピュータビジョン
CVPR，ICCV，ECCV
自然言語処理ACL，NAACL，EMNLP，COLINGNIPS2015@Montreal

ICML2016@NYC

4

本日の内容• データからその裏にある法則を見つける• 教師あり学習• 線形回帰• 線形判別• 決定木，勾配ブースティング• 教師なし学習• クラスタリング：トピックモデル• word2vec• 関係データ解析• 異常検知• 深層学習• 物体認識・物体検出• 生成モデル5機械学習の目的

6• 人間と同様の知的情報処理を計算機で実現するための技術・手法
Arthur Samuel 「Field of study that gives computers the ability tolearn without being explicitly programmed 」 (1959)

過去の経験（データ）

学習

未知の状況

汎化

なるべく最適な決定を下したい• 本来は人工知能の一分野• 人工知能に統計的アプローチが有用であることから，データ解析手法としても発展機械学習のビジネス利活用• 目的に応じて手法を選択する必要

サービス・
意思決定

データ解析
（機械学習）

問題の定式化ビジネス課題• まずは問題を明確化• 「本当に機械学習が必要か？」• 簡単な方法での解決方法を第一に探索
各種機械学習手法で何ができるのか？
→仕組みを把握する重要性

7

統計と機械学習

8

推測

予測

（より機械学習的）（より数理統計的）船“Hello”• Outcomeを正しく当てる．
• 解釈よりも予測精度を重視．
例：深層学習

構造が複雑解釈可能性に難肺癌

第○○遺伝子が肺癌に寄与
有意水準5％• 原因の究明．
• 仮説検定は典型例．
例：線形回帰分析

構造が単純統計的学習の考え方

9• データから裏にある法則（パターン）を自動的に見つけてもらう．見つけ方の方法が「機械学習」．
大量画像データ

学習

初見の画像も正しく認識（汎化）• 強い将棋ソフトを作りたい → 大量の棋譜データで学習• 顔認識ソフトを作りたい → 大量の画像データで学習• 車道を認識したい → 大量の車載カメラ画像で学習

機械学習の良い点

10• 大規模データ• 人が処理できない量のデータを扱える（次元,量）• 計算速度• 人よりも速く情報処理できる• ２４時間稼働• 休まず動き続けられる

一方，データが十分でない問題や人間が手を動かせばよい問題には合わない．

機械学習の問題設定

11• 教師あり学習：
データ：(x,y)←ある入力xとそれに対するラベルyの組問題の例：回帰，判別

(

入力

,３) (
ラベル

入力

,５)
ラベル

• 教師なし学習：
データ：(x) ←ラベルがない問題の例：クラスタリング，音源分離，異常検知•

半教師有り学習：ラベルの付いているデータと付いてないデータが混在回帰 (教師あり学習)

線形

12

非線形

入力xから実数の出力yを予測
• 線形
• 非線形
例：マンションの床面積(x)→価格(y)，気温(x)→飲料の売り上げ(y)判別 (教師あり学習)

線形

13

非線形

入力xからカテゴリーの出力yを予測
• 線形
• 非線形

• 画像認識

判別の例• 音声認識，疾病の予測

14クラスタリング (教師なし学習)
文章データ(ニュース記事など)

15

政
治
スポーツ
科
学

混合ガウス分布によるクラスタリング

トピックモデル• 文章分類関係データ解析 (教師なし学習)16

推薦システムSNS解析• 映画・商品の推薦• 表示広告の最適化• 友人コミュニティの検出• つぶやきからの趣味趣向の推定

強化学習

17

報酬

状態
Google research blog, 8/March/2016.
“Deep Learning for Robots: Learning from Large-Scale Interaction.”[Silver et al. (Google Deep Mind): Mastering the game of Go with deepneural networks and tree search,
Nature, 529, 484—489, 2016]

環境

アクション

18

機械学習手法の解説

機械学習の考え方• データから複数の変数間の関係・傾向を抽出• まず「データ」を用意• 「データ」は数値で表現されている必要あり
 “画像”はピクセルで表現 “男女”は±1で表現

床面積×マンション価格

ジヒドロ葉酸還元酵素阻害剤データ

19機械学習の流れ

問題ごと

20

共有化可能

分野ごとに様々なノウハウ

判別・回帰など

学習規準：汎化誤差最小化

深層学習（Deep learning）は自動的に特徴量を抽出
予測モデルの構築

モデルの
パラメータ

一度特徴ベクトルに変換してしまえばあとは統計の問題．
→ 汎用的な手法 (機械学習) を適用できる．

「モデル」とは？

21• 「関数」とは？

入力xに対して出力y=f(x)を出す対応関係を記述

2

0.5
0

1

例：1g単位の材料費xが1円増えれば製造費単価yが2円増える．

係数が不明な場合：• このように変数間の関係を数式で表したものを「モデル」と言う．
• 未知の係数𝛽𝛽0 , 𝛽𝛽1 を「パラメータ」と呼ぶ．
データ解析の方針：このパラメータ𝜷𝜷𝟎𝟎 , 𝜷𝜷𝟏𝟏 をデータから推定（”学習”）その他のモデル22

23

教師あり学習教師あり学習24

画像-猫 (y=1)-犬 (y=2)-人間 (y=3)

学習：「関数」をデータに当てはめる
モデル：関数の集合（例：深層NNの表せる関数の集合）

線形モデル𝑦𝑦 = 𝛽𝛽1 𝑥𝑥1 + 𝛽𝛽2 𝑥𝑥2 + ⋯ + 𝛽𝛽𝑝𝑝 𝑥𝑥𝑝𝑝 + 𝛽𝛽0 + 𝜖𝜖
𝑦𝑦:従属変数, 𝑥𝑥:特徴ベクトル

マンション価格=𝛽𝛽1 × 床面積 + 𝛽𝛽2 × 築年数 + 𝛽𝛽3 +(揺らぎ)

最小二乗法

25

最小二乗法n個の観測値（サンプル）：

𝛽𝛽 ∗ を真の回帰係数（これを推定したい）とすると，=

26

中古マンション価格データの分析

従属変数(y)：価格
説明変数(x)： 1. 最寄駅からの距離（徒歩）2. 延床面積3. 建物の構造
4. 建ぺい率5. 容積率6. 建築年
7. 最寄り駅に急行が止まるか (0-1変数で表現)
Rの関数 lm を使って分析．

27

回帰分析関数 (lm)28

最小二乗法の計算：床面積を説明変数として価格を予測

𝑦𝑦 = 𝛽𝛽1 𝑥𝑥 + 𝛽𝛽0 + 𝜖𝜖

価格

床面積

分析結果

切片項
床面積

傾き𝛽𝛽1

𝛽𝛽0 𝛽𝛽1

推定された係数

標準偏差

切片𝛽𝛽0

t-統計量

t検定のp-値

P-値：その変数が予測に寄与している度合い．
「統計的仮説検定」：通例0.05以下なら寄与していると判定

変数選択

29

• 価格を予測するのに意味のある変数を選択
AICによる特徴選択

最寄駅からの距離 + 床面積 + 築年数の三変数モデルが採用された．
※ AIC：予測精度の良さを測る指標

1.
2.
3.
4.
5.
6.
7.

解釈： それ以外の変数を入れるとむしろノイズになって予測精度が落ちる．
教訓： なんでもかんでも説明変数として使うべきではない→「過学習」

最寄駅からの距離（徒歩）
延床面積
建物の構造
建ぺい率
容積率
築年数
最寄り駅に急行が止まるか判別

メール：スパムか？スパムでないか？

30

顔認識：顔か？顔でないか？

線形分類機

31

Bag-of-wordsx=
文章のベクトル表現例

スパムメール

wTx>0

x

分類平面

wTx<0

w

x

正常なメール

サポートベクトルマシン (SVM)[Vapnik,63]

マージンを最大化

VC (Vapnik-Chervonenkis) 理論による正当化

マージン

サポートベクトル

𝑦𝑦 = −1𝑦𝑦 = 1

数理最適化

32

ソフトマージンSVM[Cortes+Vapnik,95]

マージンを最大化
誤分類も許すソフトマージン33線形から非線形へ

線形

34

非線形

もっと複雑なルールで判別をしたい

決定木

35

• 解釈可能性が高い• 決定木を組み合わせた勾配ブースティングは
データマイニング系コンペティションで常連(判別だけでなく回帰にも利用可能)

顧客の再帰率男？女？
男
25歳以上?
25歳以上
再帰率
90%

25歳未満
再帰率
20%

女
年収500万円以上?
500万以上
再帰率
80%

500万未満再帰率
15%• 学習された決定木から要因を把握しやすい．
• 分析結果から対策を立てるのに有用．

決定木

36

決定木の様子2次元の説明変数

図はHastie, Tibshirani, Friedman: The
Elements of Statistical Learning, Springer,
2001.よりPython scikit-learnによるiris(アヤメ)データ分類

勾配ブースティング

37• XGBoostやLightGBMが有名• 「決定木の和」で強力な判別を実現

 決定木一つでは複雑な判別が難しい→ 複数用意してその和(多数決)を取る
 和の取り方に勾配ブースティングと呼ばれる技法を使用「コンピュータゲームが好きか？」を判別

沢山の決定木の多数決を出力[Chen, Guestrin: XGBoost: A Scalable Tree Boosting System. KDD2016. ][Ke, Meng, Finley, Wang, Chen, Ma, Ye, Liu: LightGBM: A Highly Efficient Gradient Boosting
Decision Tree. NIPS2017. ]勾配ブースティング
XGBoostは各種データ解析コンペティションで好成績

38

過学習
複雑なモデル（例えば深層ニューラルネット）を用いるのが常に良い選択か？
→ そうとは限らない．「過学習」に注意する必要あり．

評価用データの準備
手元にあるデータ：10,000データ点• トレーニング：• バリデーション：• テスト：

6,000データ点
2,000データ点
2,000データ点

トレーニング：モデルを学習
バリデーション：学習のパラメータおよび閾値を決定
Detection rate, Recall, F値
テスト：最終的な評価．よりメタな特徴量の選択などに用いる．

参考： Machine learning lecture by Andrew Ng in Coursera.

40

41

教師なし学習クラスタリング
文章データ(ニュース記事など)

42

政
治
スポーツ
科
学

混合ガウス分布によるクラスタリング

トピックモデル• 文章分類トピックモデリング
やりたいこと：「文章分類」
各文章に「トピック」を自動的に割り当てたい（例：ブログ記事の分類）• ゲッツェの１点でドイツが世界制覇• フィオレンティーナはDF ゴンサロ・ロドリゲスとの契約を延長

どちらもサッカーにまつわる話だとわかる．
しかし，「サッカー」という単語は出ていない．
→ 文章に表れる単語がサッカーに関係する記事で目にするものばかり．
→ トピック：単語頻度の傾向．同じ記事に現れやすい単語は同じ
トピックに属するだろう．
単語の共起関係が単語の意味を定める．

43

Bag of Words
単語１

単語２

単語３

…

単語M

文章１

4

８

０

…

２

文章２

２

０

１

…

６

文章３

７

０

８

…

４

文章４

３

４

３

…

１

︙

︙

︙

︙

…

︙

文章N

0

2

5

…

6

44

Bag of words
Syria 13people5

bomb

7

economy1

immigrants

2

soccer0

walk

1

文章数×単語数の単語頻度行列．
基本的に単語頻度行列は超スパース (ほとんどの要素が0).
この表だけからトピックを抽出し文章をトピックに分類(クラスタリング)
ニュース記事の分類などに応用可能

Latend Dirichlet Allocation (LDA)45

LDAでは各文章に出現する単語の頻度を確率モデルでモデル化→ 単語の出現傾向からどのトピックに分類されるか推論可能
各文章の各トピックの割合を推定
→文章分類

データ
トピック数

=
各文章d内で単語wが出現する確率文章数 単語数

これらをデータに合うよう学習（ベイズ推定）

単語
１

単語
２

単語
３

文章
１

4

８

０

文章
２

２

０

１

文章
３

７

０

８

文章
４

３

４

３

46

David Blei: KDD 2011 tutorial.

47

各トピックは単語の出現頻度で特徴付けられる（サッカーに関するトピックならサッカー関係の単語が出やすい）

各文章における単語の出現頻度はトピックの混合で決まる

日本語WikipediaでLDA

48

2014 年６月の日本語Wikipedia の記事データ．
http://dumps.wikimedia.org/jawiki/20140624/ からjawiki-20140624pages-articles1.xml.bz2 をダウンロード．
pythonライブラリのgensimでLDAを実行.

• Wikipediaの各記事が各文章• 59,749記事✕62,999単語• ２０トピックで学習（低ランクトピックごとの主要単語
Topic-1に関する話題で出てきやすい単語49

トピックごとの主要単語出現しやすい単語からトピックの意味がよくわかる．

50

各トピックの成分が大きい記事タイトル

51

アニメ関係

PC関係

歴史物関係

記事タイトルから関連した話題が集まっていることがわかる※単語の出現頻度のみから学習されていることに注意Word2vec [Mikolov et al., 2013]• 単語のベクトル表現を得る方法“King” – “Man” + “Woman” = “Queen”“Tokyo” – “Japan” + “China” = “Beijing”
意味を足し引きできるような表現が得られる．

52

skip-gramとContinuous Bag-of-Words(CBOW)

53

skip-gramモデル
ある単語のまわりに出現する
単語の確率分布をモデル化

CBOWモデルまわりの単語からその場所にある単語が出現する確率をモデル化

Skip-gramモデル

54

単語wOがwIの周辺（前後１０単語ほど）に現れる確率• 単語のベクトル表現との内積で表現．
• ベクトルの次元はせいぜい500ほどベクトルの次元✕単語数
単語数✕単語数＝

低ランク！

実際の挙動from gensim.models import word2vec
train_file = "./mldata/text8"
data = word2vec.Text8Corpus(train_file)model = word2vec.Word2Vec(size=100, window=5, min_count=5, workers=7)
model.build_vocab(data)
model.train(data)

次元１００，前後５単語の出現頻度をモデル化，５回以下の出現単語は無視“Queen” + “Man” - “Woman” = “King” ?

>>> model.most_similar(positive=['queen','man'],negative=['woman'])[('king', 0.6050819158554077), ('scotland', 0.587989091873169), ('prince', 0.573
6681222915649), ('elizabeth', 0.571208119392395), ('lord', 0.5638244152069092),('duchess', 0.5520190000534058), ('duke', 0.5498123168945312), ('crown', 0.54618
62087249756), ('sir', 0.5441839694976807), ('lorraine', 0.5441141128540039)]

55

56

国と首都
Japan

Spain Russia
FranceTokyo

MadridMoscowParis

word2vecの貢献：

Germany

Berlinデータの「意味」を低次元ベクトルとして表現できること
を実験的に示した．
→ 深層学習にもつながる考え方．

Word2vecの応用

57• 商品タグから関連した商品を推薦あるユーザーの購買履歴
商品１

商品２

商品３

商品４

推薦
商品

商品１
商品２

• 口コミの要約

推薦商品

商品３
商品４

文章をベクトル化する手法：skip-thought, text2vec• 記事から関連広告を推薦• 感情分析
[Kiros, Zhu, Salakhutdinov, Zemel, Torralba, Urtasun, and Fidler: Skip-Thought Vectors. arXiv preprint arXiv:1506.06726 (2015).]

関係データ解析

58• 推薦システム

ランク１と仮定
各ユーザーが各映画をどれだけ好むかという部分的情報がある．
→ 残りの部分（*の部分）を埋めれば推薦できる．
c.f., Netflix prize (100万ドルの賞金， 48万ユーザ✕１万8千映画)

特徴ベクトルを用いた推薦

性別：女性
年齢：２０代
職業：会社員住所：都内

監督：アンディ・ウォシャウスキー
ラリー・ウォシャウスキー．
粗筋：ニューヨークの会社でしがないコンピュータプログラマーとして働くトマス・アンダーソンには、裏世界の凄腕ハッカー“ネオ”…

単なる購買履歴だけでなく，各ユーザ・映画の特徴ベクトルも用いたい．

ユーザ２の特徴

59

映画Ｂの特徴 ：word2vecなどを援用して特徴量を作成

補助情報も入れた推薦ユーザ
コンテキスト（誰と行くか？）映画
推薦システム：ユーザー×商品×季節
広告モデル：ユーザー×サイト×広告
バイクシェアリング：会員種類×時間×位置60

低ランクテンソルモデル
𝐶𝐶𝑘𝑘:C
コンテキストの特徴ベクトル

=

B

ユーザ

A
映画

ユーザiが持つ
因子1の重みコンテキスト

映画jが持つ因子1の重み𝐴𝐴𝑖𝑖:

61

𝐵𝐵𝑗𝑗:映画の特徴ベクトル

ユーザの特徴ベクトル

コンテキストkが持つ因子1の重みA,B,Cを観察することで学習結果の解釈も可能

時空間解析への応用

62• 交通量の解析

交通量データ[Takeuchi, Kawahara, Iwata: Structurally Regularized Non-negative Tensor
Factorization for Spatio-temporal Pattern Discoveries. ECML-PKDD2017.]

可視化

63

可能ならまずはデータを可視化してみる．

• 散布図

マンションデータ• PCA（主成分分析）

高次元データを低次元に可視化

TOPIX CORE 30
250日分の株価変動を用いて主成分分析(250次元→2次元)

t-SNE
4

64

7
8

9

6

5
3
2
0

[van der Maaten, Hinton:
Visualizing Data using t-SNE. JMLR2008.]

MNISTデータセット1

手書き文字の分布を可視化
28x28=784ピクセル→ 2次元

65

異常検知

「異常」とは
データ・状況

• センサーデータ
 機械稼働状況のセンサー情報 工場・プラントのセンサー情報• イベントデータ
 クレジットカード利用履歴• ネットワーク利用データ
 トラフィック流量
 アクセスログ パケット経路• 動画像データ
 監視カメラ動画• 生体情報 検診結果 遺伝子データ• ソーシャルネット
 新聞・ニュース twitterタイムライン

「異常」

66

• センサーデータ 機械の故障
 工場の故障• イベントデータ
 クレジットカード不正利用• ネットワーク利用データ
 DDoS攻撃
 不正侵入 マルウェア感染• 動画像データ 侵入者• 生体情報 後天的疾患
 遺伝子異常• ソーシャルネット
 流行
 人間関係の変化

異常検知への機械学習的アプローチ67

異常検知の難しさ：
異常データの数が少ない．手元にあるデータは大体正常．
アンバランスデータ• 教師あり学習：異常/正常データがともにたくさん取れる時

異常データと正常データを分けて通常の教師あり学習• 教師なし学習：

異常データがほとんど取れない時

正常データのみを用いて「異常度」のスケールを学習教師なし学習による異常検知の基本手順
１．データを適切な特徴量で記述：
専門家の知識が必要．問題異存．完全には自動化できない部分．
例：エンジン出力

トラフィックの量

通行人の数

２．何らかの尺度で，正常データの分布からの離れ具合を計算→ 「異常度」
３．異常度がある閾値を超えたらアラートを出す．
機械学習の研究： 異常度尺度の設計とその学習方法→ 各種手法は「何らかの尺度」の違い
実応用の研究： 特徴量の設計
教師ありデータがあるなら，それを最大限活用するべき68応用例：SNSからの新しい話題検知

69[Takahashi, Tomioka, Yamanishi:
Discovering Emerging Topics in Social
Streams via Link-Anomaly Detection.
IEEE-TKDE2014]• ユーザーのmentionリンクの変化から話題の変化を検知• 使われている単語の変化から検知

教師なし異常検知の方法（１）密度関数を用いた方法
正常データから確率密度を推定：
新しいデータ点xで密度が小さければアラートを出す：

外れ値

70

.

良い点：
・ 仮説検定と深い関係．
・ パラメトリックモデルで推定すれば高い精度．（代表例：ガウシアン）
悪い点：
・ 密度が同程度に低い領域が広く存在すると失敗．
・ パラメトリックモデルが正しくなけ
ればうまくいかない．

例：インサイダー脅威の検出

教師なし異常検知の方法（2）MT方法
マハラノビス-タグチ法• 異常度合をマハラノビス距離で測る．

71

分布として多変量正規分
布を仮定した密度関数を利用した方法に対応

正常
異常

72

Deep Learning
深層学習

ImageNet

ImageNet: 1,000カテゴリ，約120万枚の訓練画像データ[J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li, and L. Fei-Fei.
ImageNet: A Large-Scale Hierarchical Image Database. In CVPR09, 2009.]

73

ImageNetデータにおける識別精度の変遷
Classification error (%)
30

深層学習

25
20
15
10
5
0

ILSVRC2010ILSVRC
2011

8層

8層

19層

22層

ILSVRCILSVRCILSVRCILSVRC

VGG

GoogleNet

2012

AlexNet

2013

2014

2014

152層
Human

ImageNet: 21841クラス，14,197,122枚の訓練画像データ
そのうち1000クラスでコンペティション

ILSVRC2015

ResNet74

Alex-net [Krizhevsky, Sutskever + Hinton, 2012]75

畳み込みニューラルネットを５層積み重ね（+pooling+3層の全結合層）

Layer 5人の顔

イメージパッチのようなものが学習されている⇒ 特徴量の自動学習
中間層ではより抽象的な情報がコードされる

猫の顔深層学習の構造

76𝑥𝑥 𝑊𝑊1 ℎ1 𝑊𝑊2 ℎ2 𝑊𝑊3 ℎ3
基本的に「線形変換」と「非線形活性化関数」の繰り返し．
𝑥𝑥

入力

𝑊𝑊1 𝑥𝑥ℎ1 (𝑊𝑊1 𝑥𝑥)

線形変換 非線形変換ℎ1 𝑢𝑢 = ℎ11 𝑢𝑢1 , ℎ12 𝑢𝑢2 , … , ℎ1𝑑𝑑 𝑢𝑢𝑑𝑑

𝑊𝑊2 ℎ1 (𝑊𝑊1 𝑥𝑥)
線形変換

𝑇𝑇

• ☆ReLU (Rectified Linear Unit)：• シグモイド関数：ℎ2 (𝑊𝑊2 ℎ1 𝑊𝑊1 𝑥𝑥 )非線形変換

活性化関数は通常要素ごとにかかる．Poolingのよ
うに要素ごとでない非線形変換もある．

諸分野への波及
ロボット

医療

77

医療分野における「深層学習」
を用いた論文数[タオル畳み、サラダ盛り付け 「指動く」ロボット初公開,
ITMedia:http://www.itmedia.co.jp/news/articles/1711/30/news089.html]

量子化学計算，分子の物性予測[Litjens, et al. (2017)]- 人を超える精度（FROC73.3% -> 87.3%）- 悪性腫瘍の場所も特定[Niepert, Ahmed&Kutzkov: Learning Convolutional Neural Networks
for Graphs, 2016][Gilmer et al.: Neural Message Passing for Quantum Chemistry, 2017][Faber et al.:Machine learning prediction errors better than DFT
accuracy, 2017.][Detecting Cancer Metastases on
Gigapixel Pathology Images: Liu etal., arXiv:1703.02442, 2017]

DLの学会への影響：NIPS2017の状況
参加者の増加

会場の様子

参加者登録数の遷移
２週間で売り切れ

78

NIPS2018の状況

79• 投稿数：4856件• 採択数：1011件• 査読プロセス：double blind(Senior) Area Chair: 約280人，査読者：約2500人
 1査読者あたり6本を査読，そのうち1-2本がaccept

通常レジストレーション（2000席）
11分38秒で完売（論文採録者，トップ査読者は別）[去年は8000席が2週間で完売]

ResNet (Deep Residual Net)

80

ResNet
152層

5.1

人間

ImageNet Classification top-5 error (%)
He, Zhang, Ren, & Sun. “Deep Residual Learning for Image Recognition”.
(CVPR2016 best paper award)
CVPR 2016.
He. “Deep Residual Network”. ICML2016 tutorial.

22層
GoogleNet

8層
AlexNetResNetの構造
ショートカット81

f(x)3x3conv

f(x)

非線形関数
(通常の深層学習
で用いるもの)+・・・

情報が減衰せずに伝わる

3x3conv

CIFAR-10などの画像認識タス
クではf(x)として２層の畳み込み層を用いたものが良かった．

1000層を超えるものもある

fully-connected 1000

ResNetの変種

82• Stochastic Depth[Huang,Sun,Liu,Sedra,Weinberger: Deep Networks with Stochastic Depth, 2016]

学習中に接続を確率的に切る．

• DenseNet[Huang, Liu, Weinberger, van der Maaten: Densely Connected Convolutional Networks, 2016](CVPR2017 best paper award)

長いスキップを用いて密な結合を用いる• Dual Path Networks[Chen, Li, Xiao, Jin, Yan, Feng: Dual Path Networks, 2017]

Dual Path

DenseNetの様子

ResNetとDenseNetの良い部分を組み合わせ．
ILSVRC2017のObject localization部門で１位．

Residual Attention Network

83

ILSVRC2017のObject detection部門１位
重要そうな場所に注目

重要そうな場所を判定

ResNetに選択的注意の機構を付与[Wang F, Jiang M, Qian C, et al. Residual Attention Network for Image Classification. arXiv:1704.06904, 2017]

物体認識→物体検出

84

Faster R-CNN (2015)「どこに」＋「なにが」写っているか
物体認識より難しい．
物体認識：「なにが」のみ

ResNetmAP(%)
48.4

(従来)
VGG
41.5
COCO 2015 dataset

Ren, He, Girshick, & Sun. “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”. NIPS 2015.

物体検出→マスキング

85

Gkioxari, Dollár, Girshick, ICCV2017]
Mask R-CNN [He,https://arxiv.org/abs/1703.06870

人物姿勢推定も可能

四角で囲むだけでなくマスキングも実行(動画も紹介)SegNetBadrinarayanan, Kendall, Cipolla: SegNet: A Deep Convolutional EncoderDecoder Architecture for Image Segmentation. 2015.

86

Pix2Pix

Chainerによる自動彩色

Isola, Zhu, Zhou, and Efros :Image-to-Image Translation with Conditional Adversarial Networks. 201687

ラフスケッチの自動線画化
ラフスケッチ88

低次元ベクトルに圧縮

復元画像[ Simo-Serra et al., SIGGRAPH2016]

高精細医用画像の分析
ギガピクセル画像の認識もできつつある．

• 人を超える精度（FROC73.3% -> 87.3%）• 悪性腫瘍の場所も特定[Detecting Cancer Metastases on Gigapixel Pathology Images: Liu et al.,arXiv:1703.02442, 2017]89

スタイル変換[Gatys, Ecker, Bethge : Image Style Transfer Using
Convolutional Neural Networks, CVPR2016]

90[Gene Kogan: Experiments with style transfer, 2015]

元画像

http://genekogan.com/works/style-transfer/[Luan, Paris, Shechtman, Bala: Deep Photo Style
Transfer, 2017] https://arxiv.org/abs/1703.07511

91

生成モデル

本物らしいデータを生成したい

92

深層学習が生成した画像
生成データ

訓練データ

CycleGAN[Tian: zi2zi, Master Chinese
Calligraphy with Conditional
Adversarial Networks,2017][Zhu et al.: Unpaired Image-to-Image
Translation using Cycle-Consistent
Adversarial Networks. 2017]

生成モデル

93
93

目標：本物らしい画像を生成したい．
• GAN (Generative Adversarial Network) [Goodfellow+et al., 2014]
2つの構成要素𝑥𝑥 = 𝐺𝐺(𝑧𝑧)Generator:
Discriminator: 𝐷𝐷(𝑥𝑥) = 𝑃𝑃(𝑥𝑥が本物)

G: 画像の素z (乱数) から偽画像xを生成．Dを騙そうとする．
D: 画像xが本物か偽物か判別．Gに騙されないようにする．
最適化問題
本当の画像を本物と判別する確率

偽物の画像を偽物と判別する確率2016-2017にかなり流行
GANの変種まとめ：https://github.com/hindupuravinash/the-gan-zoo※GANの他にもVAE (Variational Auto-Encoder)と呼ばれる方法もよく用いられている．

More applications[Glow: Generative Flow with Invertible 1x1
Convolutions. Kingma and Dhariwal, 2018]

Crypko, 201894

条件づけた画像生成[Chan, Ginosar, Zhou and Efros: Everybody Dance Now.
https://arxiv.org/abs/1808.07371, 2018]95深層学習による天気予報

96

短期的天気予報の深層ニューラルネットワークモデル
過去の気温，湿度，降雨などを入力

センサーの場所とターゲットの場所を入力

降雨の短期予測センサーの場所

気温の予測・保管[Yonekura, Hattori, and Suzuki: Short-term local weather forecast using dense weather station by deep neural network.
IEEE BigData 2018]

さらに知りたい場合
30 AMAZING APPLICATIONS OF DEEP LEARNING
http://www.yaronhadad.com/deep-learning-mostamazing-applications/

97

まとめ

98

• 機械学習の各種手法を紹介• 教師あり学習 回帰，判別• 教師なし学習 クラスタリング，word2vec，関係データ解析，異常検知• 深層学習• データから背後の構造を学習• 構造を数式で表した「モデル」をデータにフィット
「機械学習手法」はモデルと学習手法の組• 正しく使うための正しい理解「過学習」「予測と推測」「データ形式」...