深層学習時代の医用画像処理におけるデータと計算環境
名古屋大学 大学院情報学研究科
小田 昌宏

1

コンピュータによる医療支援• 現在の医療– 診断，治療から構成– 医師個人の技術に依存– 患者に提供される医療の質の格差発生• コンピュータを用いた自動化による医療支援– 診断，治療に含まれる様々なプロセス自動化– 一定水準が保証された医療の提供

2

深層学習の強み• 深層学習を用いない場合– 開発者の考えに基づき判断基準・特徴量作成– 性能が開発者依存– 工学研究者が人体解剖構造を理解して研究開発を行う必要あり• 深層学習– 実際のデータに基づいた判断基準を自動作成– 学習用データが多いほど判断の精度向上
3コンピュータ医療支援の現状と今後• 医療支援の現在の利用法– 診断・治療に有用な情報を医師に提示– 誤り，見落とし軽減• 今後は医療の自動化へ– 診断・治療に含まれるルーチンワークを自動化– 医師はレア・特殊な症例に集中– 医師不足の解消– 常に一定水準の医療を提供

4

深層学習を用いた医療支援研究の紹介
5

医用画像の例：X線透視像• 体内の様子を1方向に投影した2D画像• 体を傷つけることなく体内を観察可能

6

医用画像の例：内視鏡画像• 内視鏡は細長いケーブル先端にカメラ搭載• 患者の負担を抑えつつ体内の臓器観察

大腸内視鏡像

腹腔鏡像
7

物理量

様々な種類の医用画像

X線吸収量
X線透視像

X線CT像

眼底画像 [Dasgupta16]

内視鏡像

反射可視光
皮膚画像 [Derma]

顕微鏡画像

その他
超音波画像 [US]MR像

OCT像， PET像，・・[Dasgupta16] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2[Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html
8

深層学習による医療支援• 診断支援– 腫瘍の自動検出– 腫瘍の定量評価
大腸ポリープ検出• 治療支援– 手術等で医師の判断を支援する
情報提供
手術シーン

シーンに対応した
臓器位置情報9血管名自動識別Input
OutputF-value 99.6%

Input

OutputF-value 99.6%
10

3Dプリンタ造形への応用• 3Dデータの真の3D表示– 画面上での3D表示はあくまで2D投影されたもの– 3Dプリンタ造形により3D形状の大きさ，位置関係を視覚，触覚で直観的に把握可能

3Dプリンタで作成した臓器模型
11医用画像に対する主な解析処理• 検出– 画像分類，画像上のターゲットの位置同定• セグメンテーション– 画像上のターゲット領域を塗る

12検出の例：クモ膜下出血の検出• 自動診断による医師の判断支援• 救急医療における専門外医師の判断補助

出血のある画像

出血のない画像13検出の例：クモ膜下出血の検出• CNNにより画像を出血ありorなしに分類– CT像はAxialスライス画像（2D）単位で処理

出血ありCNN• CT像33例使用

入力画像

出血なし

14検出の例：クモ膜下出血の検出100.00%85.39%AUC Score

80.00%

85.58%
85.23%
84.22% 84.49%
84.13%83.02%
82.20%83.96%
79.69%
76.22%
75.9…

60.00%

40.00%
20.00%
0.00%

Original dataset

Augmented dataset

Cropped dataset

F1 score

Original
dataset82.20%
84.22%
75.96%

VGG-16
GoogLeNet
ResNet-50
DenseNet-121 85.58%

Augmenteddataset

83.96%
85.39%
85.23%
84.13%
15

検出の例：大腸治療での内視鏡利用• 大腸内視鏡– 治療が必要かどうか判断には生検が必要• 超拡大内視鏡Endocytoscope

Endocytoscope(Olympus)– 通常の大腸内視鏡と同じ画像から超拡大画像（x1 to x500）まで撮影可能– 超拡大画像からの判断が生検の代替手段となる可能性あり
x380magnification

700x600 mm area

16

検出の例：内視鏡像からの腫瘍鑑別

超拡大大腸内視鏡（Endocyto, Olympus）を用いた腫瘍自動鑑別システム
昭和大学，名古屋大学，サイバネットシステムの共同研究で開発
17

検出の例：CT像からのポリープ検出• 機械学習を用いない手法[Oda09]– 6mm以上の球形物を検出する
フィルタを手動設計– 検出率91.2%，過検出7.9/症例• 機械学習を用いる手法[Umehara17]– ディープラーニング使用– 検出率93.5%，過検出3.9/症例[Oda09] M. Oda, et al., Digital bowel cleansing free colonic polyp detection method for fecal tagging CT colonography,
Academic Radiology, 16(4), 486-494, 2009
[Umehara17] K. Umehara, et al., Deep ensemble learning of virtual endoluminal views for polyp detection in
CT colonography, SPIE Med Imag, 101340G, 201718

2Dセグメンテーション• 深層学習を用いてX線画像から臓器ラベル画像を推定

X線画像

U-Net
[Ronneberger15]

臓器ラベル画像[Ronneberger15] O. Ronneberger, et al., U-Net: Convolutional Networks for Biomedical Image Segmentation,
MICCAI 2015, 9351, pp.234-241, 2015.

19

2Dセグメンテーション• 眼底画像からの血管セグメンテーション[Dasgupta16]

眼底画像

セグメンテーション結果[Dasgupta16] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 220物理量

様々な種類の医用画像

X線吸収量

3D画像
X線透視像

X線CT像

眼底画像 [Dasgupta16]

内視鏡像

反射可視光

その他

皮膚画像 [Derma]

顕微鏡画像

3D画像
超音波画像 [US]MR像

OCT像， PET像，・・[Dasgupta16] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2[Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html
21医用画像の例：CT像• 体の断面を撮影した2次元画像• 体を傷つけることなく体内を観察可能

22

3Dボリューム画像• CT像は0.5mm間隔で撮影可能• 多数のCT像を立体的に積み上げると3次元の仮想的な人体を作成可能

23

3Dボリューム画像と3Dサーフェイスモデルの違い
3Dボリューム画像：
内部まで画素値が詰まっている

3Dサーフェイスモデル：
表面のみ

24

3D画像からの臓器セグメンテーション• 2D画像は3D形状の一部しか捉えられない• 3D処理では臓器の立体的構造を考慮

25

2Dと3Dの臓器認識手法の差
臓器認識精度（DICE）
肝臓
2D手法[X. Zhou,DLMIA 2016]

3D手法[C. Shen,CARS 2018]

2D手法

3D手法

[X. Zhou, DLMIA 2016][C. Shen, CARS 2018]

脾臓胆のう

膵臓

91.0% 86.0% 48.0% 45.0%
97.4% 97.6% 82.8% 84.2%

臓器サイズ 大小• 2Dはサイズの小さい臓器の精度低• 3Dはサイズに関わらず精度高26

3D臓器セグメンテーション結果例

Ground truth

V-Netartery

portal vein

Proposedliverspleenstomachgallbladderpancreas27膵臓セグメンテーション精度推移• CT像からの自動識別研究の推移– 機械学習により大幅な精度向上
年
手法
2013 統計形状アトラス[Chu13]

識別精度
69.1%

2016 機械学習（Regression forests）[Oda16]2017 3D情報を用いた深層学習[Roth17]

75.1%
82.2%

2018 3D情報を用いた深層学習[Roth18]

89.7%

識別精度：DICE index（臓器領域の正解との重なり率）[Chu13] C. Chu, et al., Multi-organ segmentation based on spatially-divided probabilistic atlas from
3D abdominal CT images, MICCAI, LNCS 8150, 165-172, 2013
[Oda16] M. Oda, et al., Regression forest-based atlas localization and direction specific atlas generation for pancreas
segmentation, MICCAI, LNCS 9901, 556-563, 2016
[Roth17] H.R. Roth, et al., Hierarchical 3D fully convolutional networks for multi-organ segmentation, arXiv:1704.06382,[Roth18] H.R. Roth, et al., Towards dense volumetric pancreas segmentation in CT using 3D fully convolutional networks,
arXiv:1711.06439, 201828

深層学習登場による計算環境の変化
29

深層学習以前の3Dセグメンテーション手法• 多数の画像DBから臓器に関する情報抽出– 臓器の濃度値– 臓器の位置・形状高低• 情報を基に未知画像のセグメンテーション実施

CT像

濃度値情報

位置・形状情報結果30

深層学習以前の3Dセグメンテーション：
使用データ• アルゴリズム構築において数百～数千の3Dボリューム画像を使用– 画像処理に必要な主記憶容量• 3D画像1枚ごとに約5003画素×2Byte = 約250MByte• 300画像なら250MByte×300 = 75GByte• 処理中の一時記憶等でさらに記憶域使用• 主記憶256GByte程搭載したコンピュータで処理可能
31

深層学習以前の3Dセグメンテーション：
実行環境• プログラミング言語– 主にC/C++– 並列化など行い処理高速化• 使用コンピュータ– デスクトップPC，小規模なサーバ– スパコン利用も可能
CPU計算速度，主記憶容量が処理に影響
32

深層学習を用いた3Dセグメンテーション手法• 3Dボリューム画像であるCT像からの認識• 3Dベース深層学習（3D U-Net等）を使用

33

深層学習を用いた3Dセグメンテーション手法：
実行環境• プログラミング言語– 主にPython + TensorFlow• 使用コンピュータ

GPU(NVIDIA)– NVIDIA製GPU搭載PC

DeepLearning Box(GDEP)GPUコア数，GPUメモリ量が処理に影響

DGX-1(NVIDIA)

34

深層学習を用いた3Dセグメンテーション手法：
実行環境の問題点• 学習に数百～数千の3D画像使用• GPUメモリ量による読み込み画像サイズ制限– 3D深層学習ネットワークがGPUメモリ消費– GPUメモリ24GByteで2563画素の3D画像を2枚程しか読めない• 問題点– 学習の反復処理に時間がかかる– ネットワーク最適化においてミニバッチ数が小さく局所解に陥り，セグメンテーション精度悪化
GPUメモリ量の制限が速度と精度に悪影響
35

GPUのメモリ• メモリの多いNVIDIA GPU– 24GB：NVIDIA Quadro RTX6000/P6000– 48GB：NVIDIA Quadro RTX8000• 1GPUあたり48GBまでしか選択できず
深層学習を用いた3D画像処理には十分でない36

3DセグメンテーションにおけるGPUメモリ節約の工夫1• 画像を小画像に切り分けて処理– 切り分け境界部分で不連続な形状が発生

CT像の切り分け
H. Roth et al. arXiv 1704.06382

セグメンテーション結果
37

3DセグメンテーションにおけるGPUメモリ節約の工夫2• 画像の解像度を下げて処理（5123→1283画素）– 血管等の小さい臓器を見落とし– 形状に凹凸発生

セグメンテーション結果
38

物理量

様々な種類の医用画像

X線吸収量
X線透視像

X線CT像

眼底画像 [Dasgupta16]

内視鏡像

反射可視光
皮膚画像 [Derma]

顕微鏡画像

非常に高解像度

その他
超音波画像 [US]MR像

OCT像， PET像，・・[Dasgupta16] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2[Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html
39

顕微鏡画像（病理検査用）• 異常有無の判断のため組織を切除して顕微鏡で観察• 画像のデータ量大– 画像1枚が50000×30000画素×2Byte×3色 = 9GByte• 深層学習による画像解析ではGPUメモリ節約の工夫が必要

40

様々な種類の医用画像

X線透視像

X線CT像

眼底画像 [Dasgupta16]

内視鏡像

皮膚画像 [Derma]

顕微鏡画像

GPU処理に適したデータ量で深層学習適用多数

データ量大で深層学習適用に難あり[Dasgupta16] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2
超音波画像 [US]MR像

[Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html

41医用画像処理の現状• 深層学習が急速に浸透– 従来の画像解析より良好な成果– GPUを用いた画像処理が一般化• GPUを用いた画像処理– 2D画像処理は問題少ない– データ量の大きい画像ではGPUメモリ量による制限を受ける（計算速度と精度において）

42

むすび
• 医用画像処理における深層学習の適用例，応用例を紹介• 画像のデータ量によって深層学習の適用容易さが変化– GPUメモリ量が重要• 今後のGPUメモリ増加と深層学習の実装の工夫
により3D画像のビッグデータの活用に期待

43