計測自動制御学会東北支部 第 330 回研究集会 (2020.12.2)
資料番号 330-8

深層学習に基づく転移学習を用いた胃 X 線画像におけるピロリ感染の鑑別
A Deep Learning-Based Method for Diagnosis of H. Pylori
Infection Using Gastric X-Ray Images○石井玲真 ∗ ，張暁勇 ∗,∗∗ ，本間経康 ∗∗○ Reima Ishii∗ , Xiaoyong Zhang∗,∗∗ , Noriyasu Homma∗∗∗∗

仙台高等専門学校, ∗∗ 東北大学

National Institute of Technology, Sendai College, ∗∗ Tohoku University

キーワード : ピロリ感染 (H.pylori infection), 胃 X 線画像 (Gastric X-ray images),
DCNN (Deep convolutional neural network), 転移学習 (Transfer learning),
コンピュータ支援診断 (Computer-aided diagnosis)

連絡先 : 〒 989-3128 宮城県仙台市青葉区愛子中央 4 丁目 16 番 1 号
仙台高等専門学校広瀬キャンパス 情報電子システム工学専攻
石井玲真，Tel.: (022)391-6129

E-mail: a2011502@sendai-nct.jp

1.

はじめに低下が懸念されている．この問題の解決のため，世界中で胃がんは発生率および死亡率の高いがんの一つであり 1) ，ピロリ菌の有病率と胃がんの発生率は密接に関連していることがわかっている 2) ．胃がん予防のため，ピロリ感染の早期発見を目的とした胃 X 線画像による検診が広く普及している．胃 X 線画像上で観測されるピロリ感染の主要な画像所見として，胃粘膜表面像やヒダの性状や分布などがある．胃粘膜表面像の粗造およびヒダの消失が認められるピロリ感染例の胃 X 線画像を Fig. 1 に示す．胃 X 線画像におけるピロリ感染の診断において現 or 既感
染と未感染に分けた場合，感度・特異度は 91.6%・99.4%3) と，高い精度での鑑別が可能である．しかし，胃 X 線画像の読影医による診断精度のばらつきや，病変の見落としといった読影精度のコンピュータを用いて胃 X 線画像上の病変を自動検出し，医師の診断を補助する，コンピュータ支援診断（computer-aided diagnosis: CAD）システムの開発が行われている．
近年，CAD システムに深層学習（deep learn-ing）の手法のひとつである deep convolutional
neural network (DCNN) を利用することが注目を集めている．
先行研究では，鑑別性能を上げるため DCNNの入力画像として病変候補領域（region of in-terest:ROI) を医師が手動で設定した画像を用いる手法 4) や，入力画像をいくつかのパッチに分割し複数の DCNN を用いて胃がん発症リスク検出に関連するパッチを選択し，support vectormachine(SVM) を用いて胃がん発症リスクの検出を行う手法 5) が行われていた．しかしながら，–1–SoftmaxDropout (keep 0.8)

Average Pooling

5 x Inception-resnet-C

Reduction-B

10 x
Inception-resnet-B

Fig. 1: ピロリ感染の胃 X 線画像．ピロリ感染が疑われる胃粘膜表面像の粗造およびヒダの消失がある．

Reduction-A

5 x Inception-resnet-A

Output: 1000

Output: 1792

Output: 1792

Output: 8x8x1792

Output: 8x8x1792

Output: 17x17x896

Output: 17x17x896

Output: 35x35x256

医師に負担が発生する，CAD システムが複雑になるといった問題点がある．また，CAD システ

Stem

Output: 35x35x256

ムには診断の信頼性向上のため，診断根拠を提示することが望まれる．本稿では，胃 X 線画像

Input (299x299x3)の ROI を設定せずにピロリ感染の高精度な鑑別と Grad-CAM6) による診断根拠の可視化を目的とし，DCNN を用いた CAD システムの構築を試みた．一般に DCNN の学習には大量の学習データが必要となる一方，医用画像の場合には十分な数の画像データを用意することは難しいという問題がある．そこで，DCNN の学習に転移学習 7) およびデータ拡張 8) の手法を導入し，大量に入手可能な自然画像で事前学習した

DCNN に対し，少量の胃 X 線画像を幾何学変299x299x3

Fig. 2: Inception-ResNet-v2 の構造 9)
クは入力サイズを削減し，チャンネル数を増やす役割を持つ．Inception-resnet ブロックは残差接続を含んだ Inception モジュールであり，残差接続は勾配の消失や発散を解決することができる．DCNN の出力層は，1000 種類のクラスそれぞれに属する確率を出力する．なお， InceptionResNet-v2 の詳細は参考文献 9) を参照されたい．

換でデータ拡張した学習データで再学習するこ2.2とでこの問題の克服を試みた．

2.

提案手法

2.1

深層学習モデルの基本構造

DCNN の転移学習とデータ拡張

転移学習とは，あるタスクで学習した「知識」を別のタスクに転用する手法である 7) ．本稿では，大量に収集可能な自然画像で DCNN を学習し，獲得した知識すなわち特徴量や識別規則

本稿で用いた深層学習モデルは，Szegedy らによる Inception-ResNet-v29) である．Fig. 2 にを，対象タスクである胃 X 線画像上の病変鑑別示すように Inception-ResNet-v2 への入力とし習の手順は以下のとおりである．まず Fig. 3(a)て 3 チャネル（R,G,B）の画像の輝度値を与えに示すように，約 120 万枚の自然画像からなるImageNet10) を用いて DCNN を学習する．こる．中間層の Stem ブロック，Reduction ブロッに転用し，病変の鑑別を学習する．具体的な学–2–

00 00 00 00 00 00 00 00 00 00 00 00 00
100000 00 00classes

2 classes
0000000000000000
InceptionResNet-v2000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 0000000000000000000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
0000000000000000…

…

ImageNet…

InceptionResNet-v20000000000000000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
000 000 000 000 000 000 000 000 000 000 000 000 000 000 000 000
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 0000 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00
00 00 00 00 00 00 00 00 00 00 00 00 00 00 00 00

Gastric
X-ray image(b) 胃 X 線画像を用いた ﬁne-tuning(a) 自然画像を用いた事前学習

Fig. 3: 自然画像と医用画像を用いた Inception-ResNet-v2 の転移学習の手順を事前学習と呼ぶ．次に，DCNN の出力層をピロリ感染鑑別タスクにおける分類クラス（感染，非感染）に対応する新たな全結合層で置換する．
続いて，少ない学習データを補うためにデー(a) 元画像(b) 回転(c) シアー変換

タ拡張を行う．データ拡張は元画像 (Fig. 4(a))
に対して Fig. 4(b) から (e) に示す，回転，シアー変換，拡大・縮小，垂直・水平方向の反転をランダムに組み合わせて行い，データ拡張した画像 (Fig. 4(f)) を生成した．

(d) 拡大・縮小 (e) 水平垂直反転 (f) データ拡張後

最後に Fig. 3(b) に示すように，データ拡張をFig. 4: データ拡張の例．元画像に回転，シアー変換，拡大・縮小，垂直・水平方向の反転をランダムに組み合わせデータ拡張を行った．

行った胃 X 線画像を用いて病変の識別を学習する．これを ﬁne-tuning と呼ぶ．本実験では，ﬁne-tuning の際に DCNN の全層を再学習した．
この手順により，自然画像認識で獲得した基本的な知識（エッジ等の基本的な特徴量，識別この手法を用いることにより，ピロリ感染診規則）を病変鑑別に転用することができ，少量断において，胃 X 線画像の重要な部分を視覚的の医用画像でも病変の特徴の獲得，鑑別が可能に説明がが可能になると期待される．になると期待される．

2.3

Grad-CAM による診断根拠の可視化

3.

実験結果

3.1

実験データセット

Grad-CAM とは，DCNN が分類を行う際に本実験では，ピロリ感染 100 例, 非感染 100 例,注視している部分をヒートマップとして視覚的に説明するための手法である 8) ．Grad-CAM は合計 200 例をデータセットとして用いた．1 症

DCNN が注視している部分を決定するために，像の総数は 1600 枚である．DCNN の学習にはDCNN の最後の畳み込み層の分類スコアの勾配

計算コスト削減・過学習の抑制のため，320 画を使用して分類における各ニューロンの重要度素四方に縮小した画像を用いた．

例あたり 8 体位にて撮影されたため，胃 X 線画を算出する．最後の畳み込み層のニューロンは，学習データにはピロリ感染画像 600 枚，非感分類に高いレベルで寄与しながらも，入力画像

染画像 600 枚，合計 1200 枚 (150 例) を割り当の空間情報を保持していることが期待できる．て，データ拡張を行った. テストデータにはピ–3–

プにより，これらの病変が認められる部分が鑑別における高い重要度を持つことを示しておりTrue positive rate [%]1009080706050403020100(Fig. 6(c))，診断根拠を可視化できていることが確認された．

4.

おわりに

本稿では，胃 X 線画像の ROI を設定せずに0 10 20 30 40 50 60 70 80 90 100

ピロリ感染の高精度な鑑別と Grad-CAM によ

False positive rate [%]る診断根拠の可視化を検証した．ピロリ感染鑑Fig. 5: ピロリ感染鑑別における ROC 曲線(AUC = 0.94)

別実験の結果，AUC = 0.94 と，本提案法がピロリ感染を有意に鑑別可能であることが確認された．さらに，Grad-CAM を用いて算出された

ロリ感染画像 200 枚，非感染画像 200 枚，合計ヒートマップにより，病変が認められる部分を視400 枚 (50 例) を割り当てた．

覚的に説明可能であることが確認された．今後は，DCNN の学習法を改良することによりさら

3.2

ピロリ感染の鑑別性能の評価なる性能の向上が期待されるほか，病変の位置DCNN を転移学習 (ﬁne-tuning) し，テストデータを分類させた際の真陽性率と偽陽性率の情報だけでなく病変の性質を提示するなど，より高度な支援システムの開発を行う予定である．

関係を Fig. 5 の receiver operating characteris-tic (ROC) 曲線に示す．一般に，感染と非感染

参考文献の判定の閾値を変更することで真陽性率は変化するが，真陽性率と偽陽性率は互いにトレードオフの関係にある．ROC 曲線は真陽性率が高く偽陽性率が低いほど，曲線が左上方になり，曲線化面積（area under the curve: AUC）が 1に近いほど，鑑別性能が優れていることを表す．
本提案法では AUC = 0.94 となり，ピロリ感染を有意に鑑別することができた．

1) F. Bray et al., “Global cancer statistics 2018: GLOBOCAN estimates of incidence and mortality worldwide for 36 cancers in 185 countries,” CA Cancer J Clin, 68, 394/424 (2018)
2) The EUROGAST Study Group, “Aninternational association between Helicobacter pylori infection and gastric can-3.3

ピロリ感染診断における診断根拠の可視化ピロリ感染の胃 X 線画像を Fig. 6(a)，Grad-cer,” Lancet Elsevier, 341, 1359/1362(1993)
3) 安田貢，前田剛，小林三善, “任意型CAM を用いて算出したヒートマップを Fig. 6(b)，胃Ｘ線検診における H.pylori 感染状態の判

ピロリ感染の胃 X 画像とそのピートマップを重定法の現状と課題─対策型検診への導入をねた診断根拠を可視化した画像を Fig. 6(c) に示目指して─,” 日消がん検診誌, 53, 17/29

す．Fig. 6(a) のピロリ感染例は胃粘膜表面像の(2015)

粗造およびヒダの消失が認められる．ヒートマッ

–4–

0

123456701.00.8

120.6

340.4

560.2

70.0

(a) ピロリ感染の胃 X 線画像(b) 鑑別における重要度を表した (c) 胃 X 線画像とそのヒートマップ
ヒートマップを重ねた画像

Fig. 6: Grad-CAM による診断根拠の可視化．ヒートマップにより，胃 X 線画像の病変が認められる部分が鑑別における高い重要度を持つことを示している
4) 重松 綾 et al., “Deep Learning と胃Ｘ線画像を用いた Helicobacter pylori 感染診断,” 日本消化器がん検診学会雑誌, 57-5,

687/693 (2019)ume, 6-60 (2019)9) C.

Szegedyetal.,“Inception-v4,Inception-ResNet and the Impact of5) R. Togo et al., “Detection of gastritis
by a deep convolutional neural networkfrom double-contrast upper gastrointestinal barium X-ray radiography,” JapaneseSociety of Gastroenterology, 54, 321/329(2019)
6) R. R. Selvaraju et al., “Grad-CAM: Visual Explanations From Deep Networks
via Gradient-Based Localization,” Proceedings of the IEEE International Conference on Computer Vision (ICCV),618/626 (2017)7) S. J. Pan and Q. Yang:

Deep Learning,” Journal of Big Data vol-A Surveyon Transfer Learning, Knowledge andData Engineering, IEEE Transactions onknowledge and data engineering, 22-10,1345/1359 (2010)8) C. Shorten and T. M. Khoshgoftaar, “Asurvey on Image Data Augmentation for–5–

ResidualConnections

onLearning,”

arXiv preprint arXiv:1602.07261 (2016)10) J. Deng et al., “ImageNet:A Large-Scale Hierarchical Image Database,” In
CVPR09, 248/255 (2009)