深層学習によるテクスチャ画像処理

電気通信⼤学 ⼤学院情報理⼯学研究科
電気通信⼤学 ⼈⼯知能先端研究センター
電気通信⼤学 脳・医⼯学研究センター
庄野 逸 (shouno@uec.ac.jp)
Shouno Lab.

1

3/22

CNN(畳み込みニューラルネット)とは︖
p ニューラルネットを⽤いた機械学習(AI)技術
p 視覚の機能模した構造で畳み込み演算で記述
p 深い階層構造を持つことが特徴

p 画像処理，⾳声処理，テキスト処理の分野で無類の強さを発揮中

Input

Recognition
It’ s “5”Shouno Lab.

Neocognitron/CNN [Fukushima 80]

3転移学習による CNN への知識埋め込み
Suzuki, Sakanashi, Kido, Shouno, IPSJ TOM 11(3), pp 74-83
http://id.nii.ac.jp/1001/00192871/
https://arxiv.org/abs/1810.06282

Shouno Lab.

5/22

計算機診断⽀援(CAD)システム
p 計算機診断⽀援 (CAD)システムの技術基盤形成

p 計算機⽀援による医師の意思決定補助

p CAD システムが持つべき特性は何か︖
p 診断性能p 適切な診断理由説明

i.e, どの特徴が診断に効くのか︖ (特徴選択問題)
direct interpretation

CAD system
Shouno Lab.

second opinion

Diagnosis

56/22

びまん性肺疾患とその肺CT画像概観
p 肺広範囲に病巣が広がる疾患の総称
p 肺の線維化を引き起こすことによる呼吸不全

p 早期発⾒，加療が重要
p Diffuse Lung Disease (DLD) パターンから分類したい
p 形状ではなく陰影パターン（テクスチャ）の識別

Normal Lungs
Shouno Lab.

IIP Lungs (HCM, GGO)
6

7/22

パターン認識技術によるCADシステム
p DLD ROI (region of interest) パターン判別機構の確⽴
p 従来⼿法: 局所特徴量と識別器の組みあわせ[Gangeh+10][Sorensen+10][Xu+11]
p ⼤規模データセットは獲得しにくい
症例数で102 オーダーが限度
CT img.
ROI (input)
Class candidate(output)
Shouno Lab.

“NOR”

“CON”

“GGO”

“HCM”

“NOD”

“EMP”
7

8/18

びまん性肺疾患データセット
Training

Evaluation

Conolication(CON)

143(13patients)

26(14patients)

GGO

609(14patients)

46(14patients)

Reticular(RET)

210(8patients)

66(9patients)

Honeycomb(HCM)

282(10patients)

73(9patients)

Emphysema(EMP)

4406(10patients)

296(11patients)

Nodular(NOD)

762(9patients)

65(10patients)

Normal(NOR)

5371(11patients)

355(11patients)

Total11783927

⼤阪⼤学病院から提供
Shouno Lab.

ROI サイズ = 32x32 [pixels] ~ 16 x 16 [mm2]
頑張ってROIサンプルを取り出しても 1.1×104個程度

9/22

深層学習のパラメータ数とデータ数
LeCun+95

Fukushima+98
Fukushima+13

Krizhevsky+12

Simonyan+15

Ours[Krizhevsky+12]

Data typeHandwritten digits(MNIST)

Handwritten digits(ETL-1)Natural images(ImageNet)

Natural images(ImageNet)

DLD ROI

DB size

6×104

1.0×104

1.2×106

1.2×106

1.1×104#layers

613

13

1913

#weights

1.0×105

6.9×105

1.3×107

1.4×107

1.3×107

p NN を訓練するには⼗分な数の学習データが必要p モデルの複雑度は⽐較的⾼い

⾃由パラメータ 107 オーダーp 深層モデルを⼗分に学習させるには⾃由パラメータの1/10 の学習データが必要[Bengio+14]

p 学習データが⾜りなそうなので「知識」を埋め込む
Shouno Lab.

9

10/22転移学習
p 転移学習 (Transfer Learning)
p ⽬的とは違う問題で得た知識を転⽤するテクニック

p CNNにおける転移学習(Fine tuning)p 特徴抽出の性能向上のため特徴抽出層を転⽤

識別層は新たに初期化しネットワーク全体を再学習

Fine Tuning

Feature-Extraction

特徴抽出層

付替え

転用
特徴抽出層
再学習
Shouno Lab.

識別層
識別層

特徴抽出層

識別層
付替え

転用
特徴抽出層

識別層

固定

再学習

10

11/22

⼩規模 DB で CNN を学習させるには︖
p 仮定したこと:[Shouno+15]
p 画像は何らかの共通構造を持っていて，CNN はその構造を表現できそう

p ⾃然画像はDLDパターンの構造表現に役⽴つかも（特殊な画像は⼤⼈になってから学習）

Teacher“bicycle”

Shouno Lab.

Natural Images forfeature representation

11

12/22

⼩規模 DB で CNN を学習させるには︖
p 仮定したこと:[Shouno+15]
p 画像は何らかの共通構造を持っていて，CNN はその構造を表現できそう

p ⾃然画像はDLDパターンの構造表現に役⽴つかも（特殊な画像は⼤⼈になってから学習）

Teacher“Honeycomb”

DLD ROIs forfeature representation

識別器部分を交換
Shouno Lab.

12

13/22

転移元は⾃然画像（だけ）でよいのか︖
p ⾃然画像を⽤いた転移学習[Shouno+15], [Gao+16]
p ⾃然画像を Source とした転移学習による性能向上
p Source と Target が⼤きく異なっているので本当に良いかは不明 [Azizpour+16]

p 2段階転移学習
1st stage

モノの⾒⽅を⾃然画像によって予め学習Shouno Lab.

2nd stage

Adaptation

Scopeを絞った
特徴表現の学習

専⾨性の⾼い知識獲得
13

14/22

Source Domain の選択
p ⾃然画像: ISLVRC2012 dataset
p ⼤規模画像データセット ImageNet のサブセット
p ⼀般物体 1,000 クラスの写真: 1.2×106
Tiger catPot-au-feu

Camping tent

Bulldogp テクスチャ画像: CUReT databasep Utrecht Univ. が提供するテクスチャ画像セット
p 61クラスの材料表⾯写真 1.4×104 枚

Shouno Lab.

14

15/22⽐較対象
p 学習過程の異なる4つのモデルの⽐較(1) CT画像のみで学習(2) テクスチャ画像 → CT画像
(3) ⾃然画像→ CT画像(4) ⾃然画像→テクスチャ画像→CT画像
⾃然画像
ILSVRC2012

転移学習なし1段階転移学習
2段階転移学習

テクスチャ画像CT画像

CUReT texture DB

肺断⾯の胸部X線CT(※識別対象)計 1,200,000枚
Shouno Lab.

計 14,406枚

計 12,888枚

1516/22

識別性能評価p 2段階転移学習(4)は全ての性能指標で最も⾼い性能
p テクスチャ画像からの転移(2) は，(1) よりも性能悪化
転移学習なし
(1)

テクスチャ
(2)

⾃然画像
(3)

2段階
(4)

Accuracy

0.92770.92010.95580.9601

Recall

0.95830.9412

0.9484

0.9739Precision

0.95900.94170.9471

0.9719

F1-Score

0.95830.9411

0.94700.9724

Source domain選択の重要性を⽰唆
Shouno Lab.

1617/22

頑健性評価
p 学習データ数をコントロールし，学習データ

20%

性能劣化の度合いを調べる

Accuracy

…

100%

100%

⽐較80%

40%

40%20%

ü (4) は最も頑健ü 減少⽐が⼤きいと(1) ,(2)が逆転
Shouno Lab.

(1)

(2)

(3) (4)17

DeSaliNet
DeSaliNet による可視化

19/22

18/22

・[Mahendran+16]による特徴表現の可視化手法

・入力のどういった成分が特徴表現に寄与するかを入力空間の画像として観察・DCNNを一つの合成関数と捉え、要素ごとの逆変換で特徴表現を入力空間に復元

𝑓 = 𝑔1 ∘ 𝑔2 ∘ ⋯ ∘ 𝑔𝑛⇕††††
𝑓 = 𝑔𝑛 ∘ ⋯ ∘ 𝑔2 ∘ 𝑔1

Shouno Lab.

18

19/22特徴の可視化
特徴可視化による解析

18/22

なぜ転移学習によって識別性能が向上するのか？
識別層に入力される特徴表現の変化に着目

転移元ドメインによる特徴表現の変化を観察することでDCNNにおける転移学習のメカニズムを理解する
Shouno Lab.

19

20/22

特徴表現の可視化結果20/22

特徴表現の可視化結果
・自然画像を学習したモデル(2)は入力のエッジ構造にテクスチャを学習したモデル(3)は模様に活性を示す
p ⾃然画像を学習した(2) はエッジ構造に，テクスチャの・2段階転移学習ではそれらの両方に活性がみられる
みの(3) は模様に，2段階のもの(4) は双⽅に活性入力(1)(1) DLDのみ(2) ImgNet→DLD

Shouno Lab.

(2)(3) CUReT→DLD

(3)

(4)

(4) 2-staged(proposed)20

21/22

まとめ: 深層学習によるびまん性疾患診断
p CAD技術に必要な識別性能の向上を試みた
p ⼿法としては深層学習＋転移学習を⽤いて構築
p データが少ない分野において「知識」を埋め込む⽅法が必要
p 可視化により特徴の位置に関しては推測可能

p 良好な識別性能，頑健性を得られることを確認
p 精度評価で 96% 程度，頑健性においても最も良好

p ただし，転移元の知識をどのように設計するかは，検討が必要

p テクスチャデータで事前学習した場合は，精度低下を引き起こす．

Shouno Lab.

21

22/22Future work
p 画像から画像を作る深層学習は構成可能だが，中間層表現に「知識」を与えないと多分つらいp RTE解ー観測モデルのマッピング取得を Source とする

p 転移学習による性能向上ともっともらしいテクスチャ埋め込みを考えることが多分必要

Shouno Lab.

22