第Ⅰ章 講演会

Ⅰ－２ 講演会
ディープラーニングを用いた画像テクスチャ解析－データ駆動科学への橋渡しを目指して－
講師：電気通信大学 大学院情報理工学研究科
電気通信大学 人工知能先端研究センター教授

開催日：2019 年 2 月 18 日

開催場所

：リロの会議室（コンフォート田町）

参加者

：23 名

記

：豊吉 直樹 ∗１．はじめに

庄野 逸

J 会議室

声処理、ロボティクスなど多岐に渡るが、今回は会員

ここ数年、「第三次 AI ブームの到来」と呼ばれるほ各社の事業にも関連が深い画像関連のテーマを選定さど、AI（Artificial Intelligence）への関心が高まっせていただき、ディープラーニングを用いた画像テクてきており、協会の会員各社においても、情報機器分スチャ解析と題してご講演いただいた。

野での画像処理・画像認識・自然言語処理、ヘルスケア分野での医療画像処理などに AI の導入が進んでいる。
国立大学法人電気通信大学は、国立大学では初の研究センターとなる「人工知能先端研究センター（Artificial Intelligence eXploration ResearchCenter :AIX）」を 2016 年 7 月 1 日に設立した。AIXは「AI for X」を基本理念とし、「科学のための AI」、「デザインのための AI」、「サービスのための AI」の三つの軸を掲げ、それらの共通基盤となる「汎用人工Fig. 1 AIX の取り組む技術分野（HP より）知能（汎用 AI）」の実現を主眼とする新たな人工知能研究を推進することを目的としている。

２．講演内容取り組む技術分野は、ディープラーニング、機械学
2.1. 画像認識解法の変遷と課題
習、スパースモデリング、高次元データ駆動科学、全最初にディープラーニングの簡単な説明があった
脳アーキテクチャ、脳神経科学、自然言語・画像・音後、第 1 世代ニューラルネット（NN）、第 2 世代∗

技術調査専門委員会委員- 1 -第Ⅰ章 講演会
NN、ディープラーニング以前の機械学習から深層畳みネットで、画像処理分野では既にデファクトスタンダ込みニューラルネット（DCNN）に至る画像認識解法のードとなっており、特徴抽出部と識別部の結合重みを変遷と課題が説明された。

データに適合させられる特徴を持つ。

2.2. 医用画像への DCNN 適用
一般に NN を訓練するには十分な数の学習データが必要となるが、医用画像では大規模データセットが獲得しにくいという課題がある。庄野教授の研究室では、少ない学習データでかつテクスチャ構造を持つ陰影パターンに適用ができる学習法が研究されており、DCNNに転移学習を用いられている。転移学習とは、目的とは違う問題で得た知識を転用する手法である。
NN は特徴抽出層と識別層から構成されているが、Fig. 2 講演風景（冒頭）DCNN における転移学習では、識別層を付け替え、特徴抽出層を転用して異なるデータセットでネットワーク

ディープラーニング以前の画像認識では、画像特性（エッジ特徴等）の特徴量構築と機械学習を浅いネッ全体を再学習させることで、特徴抽出層の性能向上を図っている。

トワークで行っていたが、ハンドデザインによる特徴自然画像のデータセットを用いた転移学習により、抽出機構設計の難しさが顕在化し、機械学習による表ターゲットとしているびまん性肺疾患陰影の識別性能現獲得に移行している。

が向上していることが示された。さらに自然画像によ多層パーセプトロンと誤差逆伝搬法を用いる第 2 世

り画像一般の特徴を獲得させ、テクスチャ画像により代 NN には、パラメータ数が過多になりがちで、深い階陰影パターン（テクスチャ）に有用な特徴を獲得させ層だと勾配情報が拡散する、全体のトレーニングが難ることを目的に、自然画像とテクスチャ画像を用いたしいなどの問題点があり、問題解決へのアプローチの2 段階に渡る転移学習への拡張が行われている。

ひとつとして、DCNN の概観が解説された。

2 段階転移学習を行なったモデルは、それぞれの画像データセット単独で転移学習を行ったモデルと比較して最も高い識別性能を示していた。またこの 2 段階学習を行ったモデルは、少ないデータセットに対する頑健性でも優れていることが示された。

2.3. メカニズムの解明に向けてこのように 2 段階転移学習が識別性能の向上に効果的であることは分かったが、DCNN が画像に対する特徴表現をどのように学習するのかといった転移学習のメカニズムの解明も併せて行われている。
通常、ディープラーニングの中味はブラックボック

Fig. 3 講演風景（DCNN の概観）

スとして扱われている事が多いが、内部で何が起きてDCNN は生物の視覚系を模倣した階層型ニューラル- 2 -いるのかといった解析にまで踏み込まれて研究が行わ

第Ⅰ章 講演会
れており、非常に興味深いお話だった。
信号が通るパスを再現するバックプロジェクション

[添付資料に関するお願い]（選択的注意機構モデル）を導入し、中間層の表現を理解を助けるため、庄野教授のご厚意により、講演直接見る手法を用いて、DCNN が画像の何処を、何を観会の説明資料を添付しています。著作権は庄野教授がているのか、DCNN の階層を経るごとにどのような表現有しておられますので、2 次利用を希望される方は直になるのかを研究されている。異なる画像セットで学接、庄野教授まで使用許諾のご相談をお願いします。

習した DCNN の特徴表現の違いを観察することで、なぜ転移学習によって識別性能が向上するのかが可視化されていた。
自然画像で学習したモデルは入力画像のエッジ構造に活性を示し、テクスチャ画像で学習したモデルは模様に活性を示すようになっており、2 段階で段階的に両方を学習したモデルはそれらの両方に活性を示すようになっていることが説明された。DCNN は学習に用いたデータセットに応じた特徴表現を獲得しており、これはまた同時にデータセットの選択の重要性も示唆しているとのことであった。
データセットは自然画像とテクスチャ画像という全く異なる種類のものだが、これらを段階的に学習させることによって、両方の特徴が識別できようになってきており、これは人間が学習する過程、成長する過程を見ているようで驚かされた。

３．おわりにディープラーニングの基礎から、最新の研究成果までを分かりやすく講演していただいた。
講演会には会員各社から多く方が参加されて活発な質疑応答があり、聴講者の関心の高さが伺えた。我々の業界でも多角化が進んでおり、医療イメージングに取り組んでいる企業も多く、大変参考になるご講演内容だったと考えている。
また今回は、医用画像への適用を事例とした講演内容だったが、用いられている 2 段階転移学習の手法は、さまざまな画像認識や画像解析に適用できる可能性があると感じられた。
最後に、庄野教授にはお忙しい中、時間を割いていただき、また非常にわかりやすい講演を行っていただいた。この場を借りて御礼申し上げる。

- 3 -" #$!



8/ /
:
8/ 1
AJ2
shouno@uec.ac.jp

B

9I01
/2341m(:::)rBIG B)Jr): MAr)

9yr
Science 2011(/ 0a

modified from i

Nature 2008()

2

(011)/12BF)IJMIüüBA

B9(/2 /1 /0J))
9Foraward Modelp( y | x )xIMyp(x)Inverse Modelp( x | y )OriginalFAB

Noised ImageModel
Foraward Modelp( y | x )Dataxy

Inverse Modelp( x | y )/00,2 01AB

9FJBM9I)B(

91012/JI

AM

Input

Recognition
It’ s “5”)(Neocognitron [Fukushima 80]

6hk

JICat

Leoparde2/l01

d19

OutputMachine Learning (SVM, Boosting...)FeatureFeature Detector(Haar, SIFT, HOG…)Pixel

Input

mM Sa]A%[BA1/N7k9nr

10/sT

M
aojOeMAbJ

20 : (Marr82)
Contnuation

cConerJunction

CrossIBp8)20/ /21
M
CBAB
Feature extractor(SIFT, HOG, etc)

J V
9M

JM
9Classiﬁer(SVM, Log.Reg, etc)“car”

Classiﬁer(SVM, Log.Reg, etc)

“car”

2012

Feature extractor
Feedforward NN(I911 ) #: ) #LI P
2 8 7986

n# ) #0pBcAr11 )(#: ))#LI P
2 8 7986 0/2o2MNJAteA
10

+- -++- + + + -6(+- -(/ ((- -++ - + + + ) 782

06+++ - + + + -(/ (training samples91# >> #  …

11A/B2IB

2019J

21N!

!

M

12

R

N

N
VmRNNnGr

M

STlleancm

M2 /iUcma

CD

L
Da

L/0uGLcM2)0 rs

A BC

9DLcI0 )dJGle

M (9 ,B 9 (9D(9Dgg

G

NLoGr
11M
M A BC)0 (m9pts
B A

D13le0/2 /1tN9))

JG[Krizhevsky+12][Simonyan+15]

VM
A

conv1

conv2

pool1

B

conv3 conv4 conv5pool2

Feature representation(,Ipool5 fc6 fc7 loss
(categorical)

Classification
14 

1 / 9A 1
02 TOM ,11(3),74-83 (2018-12-20) , 1882-7780

/



uLi

ADIa)200/1 )2 // ) )Jng

MNormal Lungs

IIP Lungs (HCM, GGO)

(fs9Be16



/)

C
J/ 9DTM10A)

D I2

B2

direct interpretation
diagnosis
help system

Medical Image(second opinion

DIagnosis17) )/02
1
0 0
I9O
A
R
[Gangeh+10][Sorensen+10][Xu+11]
ri

L9IMD
9J9 e:f

B

CT img.
ROI (input)
Class candidate(output)

“NOR”

(ong

“CON”

“GGO”

“HCM”

“NOD”

“EMP”
18




Training

Evaluation

Conolication(CON)

143(13patients)

26(14patients)

GGO

609(14patients)

46(14patients)

Reticular(RET)

210(8patients)

66(9patients)

Honeycomb(HCM)

282(10patients)

73(9patients)

Emphysema(EMP)

4406(10patients)

296(11patients)

Nodular(NOD)

762(9patients)

65(10patients)

Normal(NOR)

5371(11patients)

355(11patients)

Total

11783

927




ROI  = 32x32 [pixels] ~ 16 x 16 [mm2]A

ROI0912/

1.1 104
19

LeCun+95

Fukushima+98
Fukushima+13

Data typeHandwritten digits(MNIST)

Handwritten digits(ETL-1)

DB size

6×104#layers#weights

1.0×104

1.2×106

1.2×106

1.1×104

613

13

19

13

1.0×105

6.9×105

1.3×107

1.4×107

1.3×107B[Ours[Krizhevsky+12]

Natural images(ImageNet)

9IA]M

DLD ROI

77DB A0 124/+Simonyan+15

Natural images(ImageNet)

N
J

Krizhevsky+12I

20

p

AC0

2B9p



pNM0C0BD

p

9B


9
999/99pp

0BDI



119/J
u 0 1

2 -21

CaeBgA)//r

Ju

A

T
fri

AIu



JNL

M

L2 9i
CML

u

sDJ

ﬁne-tuning

特徴抽出層

識別層
付替え

転用
特徴抽出層
再学習

(rnt

識別層

特徴抽出層

識別層
付替え

転用
特徴抽出層

識別層

固定

再学習

n

AC

215LhNB:

L+ +oILS

D9JID+ 00 LB]JN[]MTeacher“bicycle”

Natural Images forfeature representation
/24

nAC

215LhNB:

L+ +oILS

D9JID+ 00 LB]JN[]MTeacher“Honeycomb”

DLD ROIs forfeature representation/25

Accuracy for DLD dataset
Faster Convergenceaccuracy = 0.900
accuracy = 0.888

Epochs/26


先行研究 


6/22

・自然画像を用いた転移学習 [Shouno+15], [Gao+16]- 自然画像をSource domainとした転移学習によってびまん性肺疾患陰影の識別を行うもの- 転移学習を行わない場合に比べて、DCNNの識別性能が向上することが報告されている
Target domain

Source domain

転用
特徴抽出層

識別層

特徴抽出層

識別層
付替え

Source domainとTarget domainは大きく異なっておりそのドメイン選択の適切性に疑問が残る [Azizpour+16]/

(2段階転移学習7/22)

自然画像とテスクチャ画像を用いた2段階に渡る転移学習

目的(自然画像):

画像一般の特徴の獲得(テクスチャ画像): テクスチャ画像に有用な特徴の獲得
2nd stage

1st stage

モノの見方を自然画像 Scopeを絞ったによって予め学習
特徴表現の学習/

Adaptation

専門性の高い知識獲得)
提案手法の流れ(8/22

1st source domain(Natural images)

特徴抽出層

2nd source domain(Textural images)

識別層

特徴抽出層

Taget domain(DLD patterns)

特徴抽出層

付替え

転用

付替え

転用

識別層

識別層

Source domainによる特徴抽出部の学習結果を初期値とし識別部を付け替えつつ逐次的に学習を行う
/

9/22

Source domainの選択
自然画像: ILSVRC2012 dataset- 大規模一般画像データベースImageNetのサブセット- 一般物体1000クラスの写真；計1,200,000枚

Tiger catPot-au-feu

Camping tent

Bulldog

テクスチャ画像: CUReT database- Utrecht Univ.が提供するテクスチャ画像データベース- 61クラスの材料の拡大写真；約14,000枚 ⇒ 4倍に拡張/比較対象  

11/22

学習過程の異なる4つのモデルの識別性能を比較する(1) 初期値からDLDのみで学習(2) テクスチャ画像 → CT画像
(3) 自然画像→ CT画像(4) 自然画像→テクスチャ画像→CT画像
自然画像

テクスチャ画像ILSVRC2012

計 1,200,000枚/

転移学習なし1段階転移学習

2段階転移学習(proposed)

CT画像

CUReT texture DB

肺断面の胸部X線CT(※識別対象)計 14,406枚

計 12,888枚

実験の流れ

12/22(1) 識別性能の比較
各学習の流れごとにモデルの識別性能を比較
転移学習がモデルの性能向上に寄与するかを検証(2) 学習データ数に対する頑健性
学習データを人為的に減少させ、モデルの性能がどのように低下するかを検証・比較
転移学習がモデルのデータ数に対する頑健性にどのように寄与するかを検証

考察: 学習済みモデルの特徴表現を比較し、転移学習が「なぜ」うまく働くのかを考察/実験(1): )識別性能(13/22それぞれのモデルについてDLDの識別性能を比較する
性能指標

𝑇𝑁: True Negative
𝑇𝑃: True Positive

𝐹𝑁: False Negative
𝐹𝑃: False Positive
𝑦𝑖 : DCNNの出力
𝑡𝑖 : 真のラベル

大きいほど良小さいほど良/14/22

結果(1): 識別性能
(1)

(2)

(3)

(4)

転移学習なし

テクスチャ

自然画像

2段階

Accuracy

0.92770.92010.95580.9601

Recall

0.95830.9412

0.9484

0.9739Precision

0.95900.94170.94710.9719

F1-Score

0.95830.9411

0.94700.9724(proposed)

・2段階転移学習(4)は全ての性能指標で最も高い性能を示した・テクスチャ画像のみを用いた転移学習(2)はどの性能指標もランダム初期値より悪い性能を示した

Source domain選択の重要性を示唆/()
実験(2): 学習データ数の変化

15/22

学習データ数の減少に対する頑健性を比較
・DLDの学習データ数を20%~100%に変化させた際のテストデータに対する性能の変化を(1)~(4)で観察

20%
30%

テスト比較

…

学習データ

・転移学習によるモデル性能の頑健性の向上を検証

100%/結果(2): 学習データ数の変化

16/22

同じ学習データを与えた場合の(1)~(4)のモデル性能を比較
Softmax loss

100% 80% 40% 20%

Accuracy

(1)

(2)

(3)

(4)

(縦軸): Accuracy/Loss, (横軸): モデル- 全ケースで2段階転移学習(4)は最も高い性能を示す- 大きな減少比でScratch学習(1)とテクスチャ転移(2)が逆転(1)DLD
DLDのみ
(1)
/(2)
2-staged(proposed)(2)ImgNet→DLD
CUReT→DLD (3)(3) CUReT→DLD
ImgNet→DLD (4)(4)2-staged(proposed)
10    /



2 10 1/C B

M
IJ

10 0A


B



9

 [Refai16, Bengio+16]

D38



,119 2ABD





7C

I

[Fukushima 88, Shouno+ 95, Zeiler+14,N][Fukushima, Imagawa 93][Shouno, Fukushima 95](/+0JM

Feedback signal39



90:Feedforward signal

1/2

gategain

K. Fukushima
Neural Networks,vol. 37, pp. 103-119 (Jan. 2013).

AB

Feedback signal

40/

: "  ", 2,    , pp. 102-110 (1989.11).

41

DeSaliNet

・[Mahendran+16]による特徴表現の可視化手法

・入力のどういった成分が特徴表現に寄与するかを入力空間の画像として観察・DCNNを一つの合成関数と捉え、要素ごとの逆変換で特徴表現を入力空間に復元

𝑓 = 𝑔1 ∘ 𝑔2 ∘ ⋯ ∘ 𝑔𝑛⇕††††
𝑓 = 𝑔𝑛 ∘ ⋯ ∘ 𝑔2 ∘ 𝑔1
/19/22

特徴可視化による解析18/22

なぜ転移学習によって識別性能が向上するのか？
識別層に入力される特徴表現の変化に着目

転移元ドメインによる特徴表現の変化を観察することでDCNNにおける転移学習のメカニズムを理解する/特徴表現の可視化結果
  

20/22

・自然画像を学習したモデル(2)は入力のエッジ構造にテクスチャを学習したモデル(3)は模様に活性を示す
・2段階転移学習ではそれらの両方に活性がみられる
入力(1)(1) DLD
DLDのみ
(1)
/(2)

(3)

(4)

(2)
2-staged(proposed)(2)ImgNet→DLD
CUReT→DLD (3)(3)CUReT→DLD
ImgNet→DLD(4)(4)2-staged(proposed)
10


C

N

JM

N
D/

A
JM

I0///CC
1CB

92
C

第Ⅰ章 講演会

禁 無 断 転 載2018 年度「ビジネス機器関連技術調査報告書」“Ⅰ－２”部
発行2019 年 6 月
一般社団法人 ビジネス機械･情報システム産業協会（JBMIA）
技術委員会 技術調査専門委員会〒108-0073 東京都港区三田三丁目 4 番 10 号 リーラヒジリザカ 7 階
電話 03-6809-5010（代表） / FAX 03-3451-1770- 4 -