数理・データサイエンス教育強化拠点コンソーシアム模擬講義：「3-5 認識」

東京大学大学院 情報理工学系研究科
数理・情報教育研究部門
准教授 山肩洋子

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

1

担当講義
「メディアプログラミング入門」を担当• 音、テキスト、画像の情報処理を座学＋演習• おもに情報分野を専門としない学部・大学院が受講• 図や写真、実例を交えて紹介• 254名が学務システムに登録、初回課題提出198名• 講義資料・動画・演習教材（Jupyter notebook)を公開中（東京大学 数理情報教育研究センターWebページよりelearning教材>数理・データサイエンス関連教材>メディア
プログラミング入門 山肩 洋子 准教授)
• コンソーシアム教材担当• リテラシーレベル教材：「4-6 画像解析」• 応用基礎レベル「3. AI基礎」のうち「3-2. AIと社会」「3-5. 認識」
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

2

私の遠隔講義環境
セカンドスクリーン• スライドの流れを確認• 演習（Colaboratory）を実行

Zoomのチャットで
質問受付

•
•

カメラと音はこちらを使用
配信映像を確認••授業はipadでスライド画面を共有
Apple pencileで書き込みながら話す

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

3

演習＠Colaboratory•

予習教材をJupyter notebook形式で配布• 旧バージョンは当センターのe-learning教材「メディアプログラミング入門」よりダウンロード可能•

Colaboratoryのアドバンテージ• 学生それぞれのPC環境に依存しない（ローカル環境構築を遠隔でサポートするのはほぼ不可能！）• GPUなど高性能な計算リソースを利用できる• 学習済みモデルのダウンロード等（ときには400MB超え！）で学生の通信量を消費しない（ローカルストレージも消費しない）•

課題もColaboratory上でコーディングさせ、そのJupyter notebookを提出させる

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

4

3-5 認識

東京大学

数理・情報教育研究センター
2021年5月1日

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

5

本教材の目次
1.

AIにおける認識とは

４

2. 認識技術の活用事例

１２
１２
２４
２９
２９
３６
４８
５６
５６
６４
７８
８６

–
–

画像認識の活用事例
音声認識の活用事

3. 画像処理・認識技術–––

デジタル画像の表現
二次元デジタルフィルタによる画像処理
深層学習による画像認識

4. 音響処理・音声認識技術–––

デジタル音の表現
周波数解析
音声認識

5. 認識技術の応用

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

63.画像処理・認識技術
3.1 デジタル画像の表現

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析7デジタルカメラの仕組み

ref:千葉憲明著、『カメラの常識のウソ・マコト』、講談社、2004年6月20日第1刷発行、ISBN 4062574462, 森枝卓士著、『デジカメ時代の写真術』、NHK出版、2003年7月10日第1刷発行、ISBN 4140880740, 津軽海渡、木村誠恥著、『図解雑学 デジタルカメラ』、ナツメ社、2002年12月18日発行、ISBN 4816334092
ref. (2020/4/3): Wikimedia commons: File:Digital camera cut model 1.PNG (https://commons.wikimedia.org/wiki/File:Digital_camera_cut_model_1.PNG) CC BY-SA 3.0

東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター
山肩洋子 2021 CC BY-NC-SA
4-4.
4-4. 時系列データの解析
時系列データの解析8アナログ画像とデジタル画像の表現
画像とはx軸とy軸からなる平面座標系で定義される2変数関数 f またはF
アナログ画像の表現

xz = f (x,y)
x, y, z は0以上の実数y(x,y)は平面上の位置座標z は(x,y)における光の強さ・明るさ
デジタル画像の表現

X

Z = F (X,Y)
X,Y, Z は0以上の整数

Y(X,Y)は平面上の格子点
Zは格子点(X,Y)における光の強さ・明るさ
1つの格子点を画素またはピクセル(pixel)と呼ぶ色の濃さ(Zの値の大きさ) を輝度または濃淡値と呼ぶ
東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

9デジタル画像は正方形タイルの集まり
横縦方向の刻みが細かい⇒解像度が高い

各ピクセルの階調の刻みが細かい⇒ビット深度が深い

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg
山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

10解像度の高低による画像の違い

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

50x45

25x23
低解像度

84×76

160x145

高解像度

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

11ビット深度の深さによる画像の違い
1bit (2階調)：

二値画像 (binary image)とも呼ぶ

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg

2bit (4階調)

低ビット深度

8bit (256階調)：

3bit (8階調)

高ビット深度一般的にグレースケール
東京大学 数理・情報教育研究センター 山肩洋子 2021 CC BY-NC-SA
画像といえばこれ東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

12色情報の獲得東京大学 数理・情報教育研究センター

4-4. 時系列データの解析光と色を知覚する細胞

リテラシーレベル教材「画像解析」より

桿体細胞：高感度（暗所で機能）
網膜中心窩から離れた領域に広く分布

水晶体

錐体細胞：特定の波長に反応（色覚）中心窩には錐体細胞のみ
中心窩

視神経乳頭
視神経

Ｌ錐体（570nm－黄周辺）
Ｍ錐体（535nm－緑周辺）
Ｓ錐体（445nm－青周辺）
3色型色覚の人が知覚する色情報は３次元

人間の錐体細胞

リテラシーレベル教材「画像解析」より

ref. (2020/4/3): Wikimedia commons: File:Cone-response-en.png CC BY-SA 3.0
https://commons.wikimedia.org/wiki/File:Cone-response-en.png

撮像素子による「色」の計測
ある画素

光

赤色フィルタ電荷

リテラシーレベル教材「画像解析」より

B

G

B

G

G

R

G

R

B

G

B

G

G

R

G

R

ベイヤー配列• 撮像素子は光の強さしか計測できない
撮像素子の各画素の前にカラーフィルタを設置• 赤色フィルタは赤い波長の光のみを通過
 赤色の波長の光量を測定

ref. (2020/4/3): Wikimedia commons: File:Matrixw.jpg
CC BY-SA 3.0
https://commons.wikimedia.org/wiki/File:Matrixw.jpg

デジタル画像（24bitフルカラー）の表現
R

1画素あたり8bit(256階調)G

1画素あたり8bit(256階調)＋カラー画像はRGBの３枚の濃淡画像として記録されている＋=東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

B

1画素あたり8bit(256階調)1画素あたり24bit（1677万色）
フルカラー
山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

17リテラシーレベル教材
ディスプレイをマイクロカメラで見てみよう「画像解析」より

150倍マイクロカメラでディスプレイ表面を撮影

表示して撮影

青の1画素
赤の1画素
緑の1画素

加色法（RGB)
黄の1画素
シアンの1画素

白の1画素

モニタ（PHILIPSHDR 600）

マゼンタの1画素

Let’s note CF-SZ6
18

リテラシーレベル教材
カラー印刷をマイクロカメラで見てみよう「画像解析」より

印刷会社で印刷されたパンフレット

減色法（CMYK)
プリンタで印刷したもの
Fuji Xerox ApeosPort-VI
19

3.画像処理・認識技術
3.2 2次元フィルタリングによる画像処理

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

20

畳み込み演算による画像のフィルタリング••

ref. (2020/4/4)
https://www.pexels.com/ja-jp/photo/736230/

デジタル画像を平面座標系において座標(x, y)が決まると、その座標における濃淡値 z=f(x,y)を返す関数と考える（ただし、x, y, zは0以上の整数）
入力画像 f(x,y)に対し、何らかのフィルタを適用して、出力画像 g(x,y)を生成することを考える

入力画像 f(x,y)

出力画像 g(x,y)
ケーススタディ：
画像をぼけさせる
フィルタとは？

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

21

2次元デジタルフィルタにおける畳み込み演算
h(0,0) h(0,1) h(0,2)

𝑔(𝑛, 𝑚) = ෍ ෍ ℎ 𝑖, 𝑗 𝑓(𝑛 + 𝑖, 𝑚 + 𝑗)𝑖h(1,0) h(1,1) h(1,2)

𝑗

出力画像の明るさを変えたくない場合は、
h(2,0) h(2,1) h(2,2)෍ ෍ ℎ 𝑖, 𝑗 = 1
３×３のカーネル

•
•
•
•

𝑖

𝑗

一般的にフィルタのカーネルは奇数×奇数画素の正方行列
それぞれの画素を中心とし、その画素とその周辺からなる画素集合とカーネルとの行列積を、新しい画像の画素値とする処理を「畳み込み（convolution)」と呼ぶ
畳み込みはDeep Learningによる画像処理の基本的な処理（CNN=Convolutional Neural Network）
フィルタによって出力画像が様々に変化
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

22

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0) g(1,1) g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)
f(3,0) f(3,1) f(3,2) f(3,3)
f(0,1) f(0,2)
h(0,0) h(0,1) h(0,2)
g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
f(4,0) f(4,1) f(4,2) f(4,3)
h(1,0) f(1,1)
h(1,1) f(1,2)
h(1,2)
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)
f(5,0) f(5,1) f(5,2) f(5,3)
h(2,0) f(2,1)
h(2,1) f(2,2)
h(2,2)
1

1

g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

𝑔(𝑛, 𝑚) = ෍ ෍ ℎ 𝑖, 𝑗 𝑓(𝑛 + 𝑖, 𝑚 + 𝑗)𝑖=−1 𝑗=−1
東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

4-4. 時系列データの解析

23

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0) g(1,1) g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)
f(3,0) f(3,1) f(3,2) f(3,3) f(0,1)
f(0,2)
h(0,0) h(0,1) h(0,2)
g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
f(4,0) f(4,1) f(4,2) f(4,3) f(1,1)
h(1,0) f(1,2)
h(1,1) h(1,2)
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)
f(5,0) f(5,1) f(5,2) f(5,3) f(2,1)
h(2,0) f(2,2)
h(2,1) h(2,2)
1

1g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

𝑔(𝑛, 𝑚) = ෍ ෍ ℎ 𝑖, 𝑗 𝑓(𝑛 + 𝑖, 𝑚 + 𝑗)𝑖=−1 𝑗=−1
東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

4-4. 時系列データの解析

24

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0)
g(1,1) g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)
f(3,0) f(3,1) f(3,2) f(3,3) f(3,4) f(0,2)
h(0,0) h(0,1) h(0,2)
g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
f(4,0) f(4,1) f(4,2) f(4,3) f(4,4) f(1,2)
h(1,0) h(1,1) h(1,2)
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)
h(2,0) h(2,1) h(2,2)
f(5,0) f(5,1) f(5,2) f(5,3) f(5,4) f(2,2)
1

1g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

𝑔(𝑛, 𝑚) = ෍ ෍ ℎ 𝑖, 𝑗 𝑓(𝑛 + 𝑖, 𝑚 + 𝑗)𝑖=−1 𝑗=−1
東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

4-4. 時系列データの解析

25

2次元デジタルフィルタの適用
入力画像 f(x,y)
出力画像 g(x,y)

f(0,0) f(0,1) f(0,2) f(0,3) f(0,4) f(0,5)

g(0,0) g(0,1) g(0,2) g(0,3) g(0,4)
f(1,0) f(1,1) f(1,2) f(1,3) f(1,4) f(1,5)
行列の積g(1,0) g(1,1)
g(1,2) g(1,3) g(1,4)
f(2,0) f(2,1) f(2,2) f(2,3) f(2,4) f(2,5)
g(2,0) g(2,1) g(2,2) g(2,3) g(2,4)
f(3,0) f(3,1) f(3,2) f(3,3) f(3,4) f(3,2)

h(0,0) h(0,1) h(0,2)

g(3,0) g(3,1) g(3,2) g(3,3) g(3,4)
h(i, j)のとる値によってf(4,0) f(4,1)
f(4,2) f(4,3) f(4,4) f(4,2)
h(1,0) h(1,1) h(1,2)
出力画像が様々に変化
g(4,0) g(4,1) g(4,2) g(4,3) g(4,4)
h(2,0) h(2,1) h(2,2)
f(5,0) f(5,1) f(5,2) f(5,3) f(5,4) f(5,2)
1

1g(5,0) g(5,1) g(5,2) g(5,3) g(2,4)

𝑔(𝑛, 𝑚) = ෍ ෍ ℎ 𝑖, 𝑗 𝑓(𝑛 + 𝑖, 𝑚 + 𝑗)𝑖=−1 𝑗=−1
東京大学
数理・情報教育研究センター
東京大学
数理・情報教育研究センター

 h の f に対する畳み込み演算と呼ぶ
4-4. 時系列データの解析

26

平均値フィルタ（Mean filter)
3x3 平均値フィルタ

1/9 1/9 1/9

画像をぼけさせる
フィルタ

1/9 1/9 1/9

入力画像(320x480)

1/9 1/9 1/9

1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25
1/25 1/25 1/25 1/25 1/25

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

５x5 平均値フィルタ

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

27

鮮鋭化フィルタ
輪郭を際立たせ、鮮鋭にするフィルタ– その画素と周辺の画素の値が違うとき、その画素の値を大きくする– その画素と周辺の画素の値が同じ時、その画素の元の値をそのまま使う-k/8 -k/8 -k/8
3x3鮮鋭化フィルタ
k=5とすると -k/8 1+k -k/8
下図のようになる
入力画像 (320x480)-k/8 -k/8 -k/8

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

28

エッジ抽出：ラプラシアンフィルタ
その画素の値が周辺の画素と違うほど大きな値とすることによって、周辺との輝度が大きく変化する輪郭線を取り出す
5x5 ラプラシアンフィルタ
3x3 ラプラシアンフィルタ

-1

-3

-4

-3

-1

-3

0

6

0

-3

-4

6

20

6

-4

-3

0

6

0

-3

-1

-1

-3

-4

-3

-1

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA-1
入力画像(320x480)-1-1東京大学 数理・情報教育研究センター

-1
8
-1

-1
-1

4-4.
4-4. 時系列データの解析
時系列データの解析29

ガウシアンフィルタ
中心が最も値が大きく、中心から離れるほど値が小さくなる
x軸方向、y軸方向それぞれの値の変化はガウス関数に従う
1𝑥2 + 𝑦2ℎ(𝑥, 𝑦) =
exp −
2
2𝜋𝜎
2𝜎 2
カメラのレンズによるボケを幾何学的に再現したモデルと考えられる
サイズ3×3、σ=2のフィルタ

0.102 0.115 0.102
0.115 0.131 0.115
0.102 0.115 0.102

サイズ５×５、σ=5のフィルタ

0.03690.03920.04000.03920.0369東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

11x11のガウシアンフィルタ

0.03920.04160.04240.04160.03920.04000.04240.04330.04240.04000.03920.04160.04240.04160.03920.03690.03920.04000.03920.0369

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析30

ガウシアンフィルタ•

その画素の値の影響を最も強く受け、そこから離れた位置にある画素ほど影響を受けなくなる

入力画像(320x480)

ガウシアンフィルタ
サイズ： 5x5σ=5東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

ガウシアンフィルタ
サイズ： 11x11
σ=5

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

31

3.画像処理・認識技術
3.3 深層学習による画像認識

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4. 時系列データの解析

32

深層学習による画像認識の幕開け•

クラウドソーシングによる大規模データセット：ImageNet• ImageNet Large-Scale Visual Recognition Challenge (ILSVRC)– 1000クラス、学習120万枚、検証5万枚、テスト10万枚– マルチラベル：1枚の画像に複数ラベル＋信頼度• 2011年のILSVRCで優勝したモデルのエラー率は26％
 2012年にDeep Learningを使ったモデルが登場15%に激減！

ref. Russakovsky, O., Deng, J., Su, H. etal. ImageNet Large Scale Visual Recognition
Challenge. Int J Comput Vis 115, 211–252 (2015).

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

33

物体認識精度は人間を超えた!?
••••ILSVRC2012で、トロント大学Geoffrey Hinton教授率いるグループが初めて多層ニューラルネットワークによる画像認識モデルを提案
主著者の名前をもじってAlexNetと呼ばれる
翌年から上位チームはすべてDeep Learningを採用
2015年についに人間の精度を超えた
Deep Learning

誤認識率

AlexNet

コンペを運営しているチームの研究者がものすごく頑張って
人力でようやく0.051

Excerpted from ImageNet Large Scale Visual Recognition Challenge (ILSVRC) 2017 Overview
Andrej Karpathy, “What I learned from competing against a ConvNet on ImageNet”, Sep 2, 2014, http://karpathy.github.io/2014/09/02/what-i-learned-fromcompeting-against-a-convnet-on-imagenet/

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

34

どんな問題を解いたのか？
ネコ科大型動物編

リテラシーレベル教材「画像解析」より

これは何ですか？
ヒョウ？ジャガー？

模様から、これはヒョウです！
http://image-net.org/challenges/LSVRC/2012/browse-synsets

東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

35

どんな問題を解いたのか？犬編

これは何ですか？

リテラシーレベル教材「画像解析」より

ダルメシアン、ニューファン
ドランドドッグ、シベリアン
ハスキー、ハンティングドッ
グ、ジャーマンシェパード、
イングリッシュシープドッグ、
フレンチブルドッグ、マル
チーズ、グレイトマウンテン
ドッグ、パグ、テリア、
シェットランドシープドッグ

http://image-net.org/challenges/LSVRC/2012/browse-synsets

東京大学 数理・情報教育研究センター

4-4.
4-4. 時系列データの解析
時系列データの解析

36

畳み込みニューラルネットワーク（CNN; Convolutional Neural Network)••

代表的な物体識別モデル
実際には様々な実装がある（下図はAlexNet）• 画像の空間的な特徴を抽出する層• 途中の層ではどうなっているか？

最終層にsoftmaxを適用した結果
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissue

1000クラスのうちcarだけが高く、残りがほぼ0のようなベクトルが出力

ref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

37畳み込みニューラルネットワークにおける畳み込み演算••第1層から第5層までは、2次元デジタルフィルタで説明した
畳み込み演算 (convolution）を行っている
ただし、2次元デジタルフィルタではフィルタは人がデザインしていたのに対し、CNNではデータから学習により取得する
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissue

convolutionref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

38

CNNにおける画像のフィルタリング• 層を経るごとにより具体的な形状の特徴を取り出していく• 第5層になると、「入力画像にどんなパーツが写りこんでいるか（実際には尤度分布）」がわかってくる• 「入力画像に写っているパーツのセット」が「他のクラスに比べ、車にありがちなパーツのセット」であるならば「車」と判別

ref. (2020/4/3): Wikimedia commons:File:Red Apple.jpg CC BY 2.0
https://commons.wikimedia.org/wiki/
File:Red_Apple.jpg
東京大学 数理・情報教育研究センター

第5層の出力形状レベルの特徴を抽出

第3層の出力

輪郭線レベルの
特徴を抽出

入力画像

テクスチャレベルの特徴を抽出

第1層の出力

入力画像に
写っている
パーツの
リスト

モデルはKeras VGG16 pretrainedを使用
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

39

畳み込みニューラルネットワークにおけるプーリング (pooling)••

画面を小さく区切り、各区間ごとに画素をまとめて1つの値にする• データのサイズを小さくする役割• 物体が写っている位置や角度の違いに頑健にする役割
最大値を取る場合 max pooling、平均値をとる場合 average poolingと呼ぶ
0.00 goldfish
0.00 great white shark
0.00 tiger shark
0.00 hammerhead
0.01 electric ray...
0.89 car...
0.00 stinkhorn
0.00 earthstar
0.00 hen-of-the-woods
0.02 bolete
0.00 ear, spike
0.00 toilet tissueref. Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS2012
ref. (2020/4/6): Wikimedia commons: File:" 10 Alfa Romeo Giulietta white Derivate cut.JPG CC0
https://commons.wikimedia.org/wiki/Category:CC-Zero?uselang=ja#/media/File:%22_10_Alfa_Romeo_Giulietta_white_Derivate_cut.JPG

東京大学 数理・情報教育研究センター
東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

40

深層学習はそれまでの画像処理と何が違ったのか？
••

AlexNet (2012)登場より前の画像認識では、CNNにおける第1~2層の出力に相当する情報を使って認識していた Deep Networkと対比してShallow networkと呼ばれる
2000年前後にいくつかの技術革新– 数学的解法：勾配消失問題（層を深くすると学習が進まなくなる現象）に対する効率的な解決法の提案（1990年代後半）– GPGPUの発展：コンピュータグラフィックスの描画に用いられていたGPUをベクトル計算機とみなして気象や地震シミュレーション等、数値計算に利用（2006年NVIDIAがCUDA提供開始）– Big Data時代の到来：
Webで画像やテキストなどが大量に収集できるようになり、モデルの学習に使えるデータが爆発的に増加•

様々な画像処理タスクに対する学習データセットが公開• 学習データを使わない自己教師あり学習（self-supervised learning)の研究も進められている
東京大学 数理・情報教育研究センター

東京大学 数理・情報教育研究センター

山肩洋子 2021 CC BY-NC-SA

4-4.
4-4. 時系列データの解析
時系列データの解析

41