インフォマティクス3

画像処理
名古屋⼤学 情報連携推進本部情報戦略室/
⼤学院情報学研究科
⼩⽥ 昌宏
moda@i.nagoya-u.ac.jp
1画像処理の例• 顔検出• ⾃動⾞の周辺状況認識• 病変検出• モーションキャプチャ

画像処理の要素• 画像変換︓画像の品質改善，前処理など– 画像→画像 の変換が多い• 画像の計測・認識・理解︓
画像からの情報抽出，判断，理解の⾃動実⾏– 画像→ベクトル，記号列 の変換が多い
著作権の都合により画像を削除しました

⼈の写真

⼈の⼈数
顔の位置

著作権の都合により画像を削除しました

細胞画像

細胞の数
活性度合

実世界の画像化
セ画像

サン

画像センサ

著作権の都合により画像を削除しました

著作権の都合により画像を削除しましたコンピュータ（AI）による医療⽀援

データ

コンピュータによる判断
画像処理による判断の実現

画⾯表⽰

VR
⽀援情報を医師に提⽰• 医療⽀援でも画像処理が活⽤される
6

コンピュータによる医療⽀援• 医療⽀援– 診断・治療に有⽤な情報を医師に提⽰– 誤り，⾒落とし軽減• 医療の⾃動化へ– 診断・治療に含まれるルーチンワークを⾃動化– 医師はレア・特殊な症例に集中– 医師不⾜の解消– 常に⼀定⽔準の医療を提供

7

画像処理を⽤いた医療⽀援の紹介

8画像処理による医療⽀援の適⽤対象• 診断⽀援– 画像等から診断に有⽤な情報を抽出し提⽰
脊髄腫瘍検出

ポリープ検出• 術中⽀援– 医師の判断を⽀援する
情報をリアルタイムに提供
⼿術シーンシーンに対応した
解剖情報

9画像処理による診断⽀援の処理フロー• 解剖構造認識と異常検出の2段階の処理利⽤

解剖構
造認識
撮影

画像

異常検出
解剖構造情報診断
腫瘍検出結果診断対象の臓器や組織の位置特定

臓器内の異常を検出10

医⽤画像モダリティ（画像の種類）
含有臓器数

X線CT

MRI

X線透視

術中内視鏡 術中顕微鏡[Surg]
C-arm
O-arm
超⾳波[US]

前眼部
眼底[Fundus]

内視鏡

OCT像[Oct]⽪膚[Derma] (病理)顕微鏡

撮影位置変化[Fundus] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2017
[Oct] https://www.hirataganka.com/inspection/oct/, [Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html[Surg] http://www.ebara-hp.ota.tokyo.jp/bumon/nousinkei_geka.html

11解剖構造認識• 臓器等の解剖学的構造の⾃動認識• 患者個⼈の臓器情報は個別化診断⽀援で重要– 様々な医⽤画像を対象• X線透視，CT，MR，US，内視鏡，病理画像[Amir14] A. Amir-Khalili,Auto localization and segmentation of occluded vessels
in robot-assisted partial nephrectomy,MICCAI, LNCS 8673, 407-414, 2014

腹腔鏡画像の⾎管識別
12膵臓の⾃動識別• CT像からの⾃動識別研究の推移– 機械学習により⼤幅な精度向上

年
2013
2016
2017
2018

⼿法
統計形状アトラス[Chu13]
機械学習（Regression forests）[Oda16]
機械学習（ディープラーニング）[Roth17]
機械学習（ディープラーニング）[Roth18]

識別精度
69.1%
75.1%
82.2%
89.7%

識別精度︓DICE index（臓器領域の正解との重なり率）[Chu13] C. Chu, et al., Multi-organ segmentation based on spatially-divided probabilistic atlas from
3D abdominal CT images, MICCAI, LNCS 8150, 165-172, 2013
[Oda16] M. Oda, et al., Regression forest-based atlas localization and direction specific atlas generation for pancreas
segmentation, MICCAI, LNCS 9901, 556-563, 2016
[Roth17] H.R. Roth, et al., Hierarchical 3D fully convolutional networks for multi-organ segmentation, arXiv:1704.06382,[Roth18] H.R. Roth, et al., Towards dense volumetric pancreas segmentation in CT using 3D fully convolutional networks,
arXiv:1711.06439, 201813

深層学習を⽤いた
臓器セグメンテーション⼿法• FCNの⼀種の3D U-Net[Çiçek16]を使⽤– Summationをskip connectionとして利⽤ [Roth18]

Training

Ground truthAugmentation

3D FCN similar to 3D U-Net

OutputInput

CT volumes

SummationConv +ReLU
Batch Normalization
Max pool
UP-conv
Softmax

Summation (skip connection)

Testing

Evaluation

CT volumes

Ground truth

TrainedmodelResult[Çiçek16] Ö. Çiçek et al, “3D U-Net: Learning Dense Volumetric Segmentation from Sparse Annotation”. MICCAI 2016: 424–432, 2016.
[Roth18] H. R. Roth et al, “Towards dense volumetric pancreas segmentation in CT using 3D fully convolutional networks,” SPIE. Medical Imaging, 2018.

14深層学習による腹部CT像からの臓器セグメンテーション結果

正解領域⼿法動脈⾃動識別結果（Uniform AUG）
静脈
肝臓
膵臓

⾃動識別結果（Square NOAUG）
胃
胆のう 膵臓平均

Uniform_AUG 83.9% 77.1% 97.2% 97.9% 95.4% 85.3% 85.4% 88.9%

Square_NoAUG 84.9% 80.7% 97.4% 97.6% 95.6% 82.8% 84.2% 89.0%
値はDICE score15

画像処理による診断⽀援の処理フロー• 解剖構造認識と異常検出の2段階の処理利⽤

解剖構
造認識
撮影

画像

異常検出
解剖構造情報診断
腫瘍検出結果診断対象の臓器や組織の位置特定

臓器内の異常を検出

16

脊髄腫瘍の⾃動検出• 神経鞘腫と髄膜腫を対象• MRI画像から腫瘍の位置特定及び種類の鑑別– ⾒落とし防⽌，経験の少ない医師の補助• 深層学習による物体検出⼿法を適⽤
YOLOv3
YOLOv4
物体検出⼿法
T1WI

T2WI

腫瘍検出結果17検出⼿法• 画像からの物体検出⼿法YOLOv3等を利⽤– 画像から対象物体の位置とクラスを推定する⼿法

Joseph Redmon, Ali Frhadi: YOLOv3: An Incremental Improvement, arXiv:1804.02767, 201818

神経鞘腫の⾃動検出結果
T1WI

T2WI

⾚︓⾃動検出位置，緑︓正解位置検出⼿法

Precision

RecallF値

YOLOv3

0.93

0.79

0.85

YOLOv4

0.87

0.98

0.92

検出⼿法

Precision

RecallF値

YOLOv3

0.97

0.92

0.95

YOLOv4

0.90

0.98

0.94

Precision(P) = TP/(TP+FP)
Recall(R) = TP/(TP+FN)
F値 = 2PR/(P+R)

⼩⽥昌宏, 伊藤定之, 今釜史郎, 森健策, 深層学習によるMRI画像からの神経鞘腫の⾃動位置検出, 第29回⽇本コンピュータ外科学会⼤会, 202019前眼部画像の診断⽀援• コンピュータによる治療⽅針決定⽀援– 感染性疾患，⾮感染性疾患で治療法が⼤きく異なり判断が必要• 前眼部画像からの感染性，⾮感染性疾患を⾃動判別

感染性疾患例

⾮感染性疾患例

筑波⼤ ⼤⿅哲郎先⽣，上野勇太先⽣，東京⻭科⼤学 ⼭⼝剛史先⽣，
京都府⽴医科⼤学 福岡秀記先⽣との共同研究により開発
20

前眼部画像の診断⽀援の結果• YOLOv3による⾓膜検出を利⽤した画像2クラス分類– 約200枚の画像を学習と評価に分けて使⽤– Data augmentation使⽤• 分類精度88.3%
感染性疾患

⾮感染性疾患M. Oda, et al., Automated eye disease classification method from anterior eye image using anatomical structure focused image
classification technique, Proc. SPIE 11314, Medical Imaging 202021

⼤腸内視鏡画像からの腫瘍鑑別⽀援・ 腫瘍性病変鑑別[eb1,eb2](CADx)

EndoBRAIN

2019

・ 腫瘍性病変検出[eb3,eb4](CADe)

EndoBRAIN-EYE

2020[eb1] Itoh H, et al., “Robust endocytoscopic image classification based on higher-order symmetric tensor analysis and multi-scale topological statistics,” IJCARS, 2020.
[eb2] Mori Y, et al., “Real-time use of artificial intelligence in identification of diminutive polyps during colonoscopy: a prospective study,” Annals of internal medicine,2018.
[eb3] Itoh H, et al., ” Stable Polyp-Scene Classification via Subsampling and Residual Learning from an Imbalanced Large Dataset,” IET Healthcare Technology Letters,
2019[eb4] Misawa M et al., ” Development of a computer-aided detection system for colonoscopy and a publicly accessible large colonoscopy video database (with video),”
Gastrointestinal Endoscopy, 2020.

22

EndoBRAIN

著作権の都合により画像を削除しました

著作権の都合により画像を削除しました23EndoBRAIN-EYE

著作権の都合により画像を削除しました

著作権の都合により画像を削除しました24

CT像を⽤いたCOVID-19診断⽀援の概要• COVID-19感染の急速な拡⼤– 肺疾患患者のCOVID-19感染／⾮感染分類にCT像が有⽤– 診断の迅速化・定量化には診断⽀援システムが有⽤• COVID-19診断の難しさ– 従来システムでは肺の位置判別困難• COVID-19症例に対応可能な診断⽀援システム開発が必要

COVID-19症例CT像
25

CT像を⽤いたCOVID-19診断⽀援システム• CT像からCOVID-19典型度に関する画像所⾒推定• 新型疾患に対する医師の判断を⽀援

セグメンテーションFCN[cov1-cov5]

CT像

所⾒推定
CNN︓正常︓異常陰影

COVID-19画像所⾒推定結果

約85%の分類精度達成

セグメンテーション結果[cov1] M. Oda, et al., Lung infection and normal region segmentation from CT volumes of COVID-19 cases, SPIE Medical Imaging, 2021
[cov2] Y. Hayashi, et al., Extraction of lung and lesion regions from COVID-19 CT volumes using 3D fully convolutional networks, SPIE Medical Imaging, 2021
[cov3] T. Zheng, et al., Unsupervised segmentation of COVID-19 infected lung clinical CT volumes using image inpainting and representation learning, SPIE Medical Imaging,2021[cov4] 鄭通, 他, 表現学習に基づくクラスタリングによるCOVID-19肺CT像からの病変部抽出手法,第29回日本コンピュータ外科学会大会特集号, 22(4), 20(Ⅲ)-5, 294-295,
2020[cov5] 小田昌宏, 他, COVID-19 症例の定量評価のためのCT像からの肺野自動セグメンテーション, 第39回日本医用画像工学会大会予稿集, P1-23, pp.181-184, 2020

26

COVID-19肺セグメンテーション⼿法• CT像から肺野正常及び異常陰影領域を⾃動セグメンテーション– 多様な形状・濃淡の異常領域に対応するためdense pooling,
dilated conv.導⼊したFCN使⽤︓正常領域
︓異常領域

CT像

複数スライス像結果
3x3 convolution + Mixed pooling:batch normalization
2x2
1x1 convolution
4x4UpSampling
8x8Concatenate
16x16Dilated convolution block
3x3 convolutions offollowing dilation rate (DR):
DR=1
DR=2
DR=4
DR=8

COVID-19肺セグメンテーションFCN

セグメンテーション精度（DICE）
正常︓90.4%，異常︓74.4%
異常領域の精度が従来⼿法より⾼（72.6% (Q Yan et al. 2020)，73.9% (D-P Fan et al.
2020)）

⼩⽥昌宏, 他, COVID-19症例の定量評価のためのCT像からの肺野⾃動セグメンテーション, 第39回⽇本医⽤画像⼯学会⼤会, P1-23, 2020
Masahiro Oda, et al., Lung infection and normal region segmentation from CT volumes of COVID-19 cases, SPIE Med Imag, 2021

27

COVID-19画像所⾒推定• CT像からCOVID-19典型度を⾃動推定– 独⾃に開発したCOVID-19⾃動分類CNNを⽤い約85%の精度で分類
COVID-19classification CNNddd

肺野ボリュームd

COVID-19 typicalNot typicalddd

肺野ボリューム

局所特徴d

CT像

COVID-19典型例 or⾮典型例

⼤域特徴

3D convolution
3D dilated convolution
Max pooling
Concatenation
Global average pooling

28

COVID-19診断⽀援⼿法の開発体制• 医療ビッグデータ利活⽤を促進する
クラウド基盤・AI画像解析に関する研究
医療画像ビッグデータクラウド基盤
データベース

VPN
医療画像
データ
(匿名化)

医療画像データ受⼊

⽇本医学放射線学会，順天堂⼤学，慶応義塾⼤学，他

医療画像データ
医療画像(匿名化)
データ(匿名化)
⾼性能
ストレージ

研究者
(医療・情報)

AI画像解析

deep learning

AI画像解析

（深層学習）
⾼性能
GPUサーバ

医療画像データ解析

国⽴情報学研究所，東京⼤学，名古屋⼤学，奈良先端⼤，他
29

画像処理を⽤いた診断⽀援システムで実⽤化されたもの• 医療機器承認を取得– 眼底画像からの糖尿病網膜症診断⽀援「Idx-DR」（⽶国）– ⼤腸内視鏡画像からの腫瘍鑑別，検出⽀援「EndoBRAIN，EndoBRAIN-EYE」（⽇本）– 胸部CT像からのCOVID-19診断⽀援「Ali-M3」（中国，⽇本）– 胸部X線像からの肺がん診断⽀援「EIRL X-Ray Lung nodule」（⽇本）– 脳MRI像からの脳動脈瘤診断⽀援「EIRL aneurysm」（⽇本）

EndoBRAIN-EYE[1][1] https://www.olympus.co.jp/news/2020/nr01577.html
30

医⽤画像モダリティ
含有臓器数

X線CT

MRI

X線透視

術中内視鏡 術中顕微鏡[Surg]
C-arm
O-arm
超⾳波[US]

前眼部
眼底[Fundus]

内視鏡

OCT像[Oct]

⽪膚[Derma] (病理)顕微鏡

特徴
画像処理を⽤いたAI適⽤対象 ・画像内変化が⽐較的静的
撮影位置変化・画像収集しやすい[Fundus] A Dasgupta, et al., A fully convolutional neural network based structured prediction approach towards the retinal vessel segmentation, IEEE ISBI, 2017
[Oct] https://www.hirataganka.com/inspection/oct/, [Derma] http://www.mirai.ne.jp/~seisinc5/cancer.htm, [US] https://www.jsmoc.org/kiso/pulse2.html[Surg] http://www.ebara-hp.ota.tokyo.jp/bumon/nousinkei_geka.html

31

画像処理による医療⽀援の適⽤対象• 診断⽀援– 画像等から診断に有⽤な情報を抽出し提⽰
脊髄腫瘍検出

ポリープ検出• 術中⽀援

– 医師の判断を⽀援する
情報をリアルタイムに提供
⼿術シーンシーンに対応した
解剖情報

32

⼿術ナビゲーション
Optical tracking system
Navigation monitor

Laparoscope monitor

Laparoscope withreflective makers
33⼿術ナビゲーション

34

術中ナビゲーションを実現する画像処理• 術前・術中画像情報の統合によるナビゲーション

臓器認識
⾎管名識別
術前画像

解剖構造

⾎管名

術中ナビゲーション情報提⽰

術中認識
術中画像

⾎管

術具
出⾎位置，姿勢，時系列変化解析

35

術中認識︓⾎管認識• 術野に出現する⾎管領域– 体内構造を表す重要な解剖学的構造物– 外科医に提⽰することで安全な⼿術を実現• ⼿術操作のガイド• 誤った⾎管損傷軽減

術中画像

⾎管領域
36

術中認識︓⾎管認識⼿法• 時系列及び広範囲空間情報を⽤いる
セグメンテーションモデル

– LSTM層と複数スケールDilated convolution層を導⼊
出⼒ラベル

⼊⼒画像

Dilatedconvolution層

⾎管認識セグメンテーションモデル
盛満慎太郎, 他, Dilated convolutionを⽤いたFCNによる腹腔鏡動画像からの⾎管領域抽出, 第39回⽇本医⽤画像⼯学会⼤会, P2-10, 202037

術中認識︓⾎管認識結果• 腹腔鏡下⼿術動画を使⽤

⾎管正解領域

⾃動認識結果38

術中認識︓出⾎認識• 術中の出⾎情報– ⼿術状況の理解– 術者の技量に関係• 術野展開の良好さ• 術具操作の適切さ• 出⾎制御• 出⾎の⾃動認識により適切な術中⽀援や定量的な技量評価を実現

術中の出⾎例39

術中認識︓出⾎認識⼿法• 出⾎位置検出とセグメンテーションの2段階処理を採⽤
出⼒
⾃動抽出結果⼊⼒
対象フレーム画像

YOLOv3U-Net

注⽬領域推定セグメンテーション

出⾎認識⼿法の処理の流れ
⼭本翔太, 他, ⼤域及び局所情報を⽤いた深層学習による出⾎領域⾃動セグメンテーション, 第39回⽇本医⽤画像⼯学会⼤会, P2-13, 202040

術中認識︓出⾎認識結果• 動画中の出⾎を⾃動認識– 多⽤な形状の出⾎領域を⾼精度に認識

⾃動認識結果41

その他︓⼿技評価• ⼿術ロボットda Vinci操作者のスキル⾃動評価– da Vinciアーム位置・姿勢等のデータをCNNに⼊⼒– スキルを3段階評価

da Vinci

操作スキル分類CNN

鉗⼦軌跡と評価結果

I.F. Hassan, et al., Evaluating surgical skills from kinematic data using convolutional neural networks,MICCAI, LNCS 11073, 214-221, 201842

画像処理による診断⽀援• 診断プロセスの様々な部分で⽀援が実現– 解剖構造認識，異常検出– 実⽤化レベルのシステムが多数登場• 深層学習利⽤に必要な要素– ⼤規模データ収集（⼤規模，施設横断的に）– 適⽤対象（画像モダリティ，腫瘍の種類）の適切な選択

43画像処理による術中⽀援• 術中画像を⽤いた⽀援システム開発の現状– ⾎管，術具，出⾎⾃動認識等– 診断⽀援と⽐べて実⽤化レベルには達していない• 術中⽀援の難しさ– 様々な術式の存在，術者による違いへの対応– データ不⾜– リアルタイム判断• 術中⽀援システム実現のために– 術中データ規格化とデータベース構築– 利⽤対象の適切な限定

44