計測自動制御学会東北支部 第 329 回研究集会 (2020.10.30)
資料番号 329-7

Feature fusion に基づく深層学習を用いた乳房 X 線画像上の小病変検出
Small Lesions Detection on Mammograms Using Feature
Fusion-based Deep Learning○今佑太朗 ∗ ，張暁勇 ∗∗，∗ ，本間経康 ∗ ，吉澤 誠 ∗○ Yutaro Kon∗ , Xiaoyong Zhang∗∗，∗ , Noriyasu Homma∗ , Makoto Yoshizawa∗∗∗

東北大学,∗∗ 仙台高等専門学校

Tohoku University, ∗∗ National Institute of Technology, Sendai College

キーワード : ニューラルネットワーク (Neural networks)，画像処理 (Image processing)，
深層学習 (Deep learning)，Feature fusion, マンモグラム (Mammogram),
コンピュータ支援診断 (Computer-aided diagnosis)

連絡先 : 〒 980-8579 仙台市青葉区荒巻字青葉 6-6-05
東北大学 サイバーサイエンスセンター 吉澤 (誠)・杉田研究室
今佑太朗，Tel.: (022)795-7130
E-mail: yutaro.kon.r7@dc.tohoku.ac.jp

1.

はじめに

従来の CAD システムでは手作業で設計され近年，乳がんは日本人女性における部位別がん罹患者数の第 1 位を占めており 1) ，現在も増加傾向にある．対策として，乳がんの早期発見を目的とした乳房 X 線撮影（マンモグラフィ）による検診が普及しつつある．しかし，乳房 X線画像の読影を行う医師の負担も増加し，疲労による病変の見落としや誤診といった人的ミスが懸念されている．臨床現場においても，人的ミスの懸念は声高に叫ばれており，特に正常組織を病変として誤って診断する偽陽性検出の増加が指摘されている 2) ．この問題の解決のため，コンピュータによる画像解析情報を読影医に第2 の意見として提示するコンピュータ支援診断（computer-aided diagnosis: CAD）システムの開発が行われている 3) ．

た特徴量に基づいて病変の識別を行っていた．例
えば乳房 X 線画像上で観察される乳がんの主要な画像所見のひとつである腫瘤では，類円形の占拠性病変や，周辺に比べ高輝度といった特徴量の設計をもとに画像から特徴抽出を行う．しかし，実際の腫瘤の形状や特徴は多種多様であり，正常例と腫瘤を適切に識別できる特徴量の設計は極めて難しい．一方で自然画像認識の分野においては近年，deep convolutional neuralnetwork (DCNN) が従来法を大きく上回る性能を示す事がわかり，注目を集めている．DCNNは，学習データから対象の識別に有効な特徴量を自動で獲得することができ，乳房 X 線画像上の病変識別への応用が期待される．
ここで乳房 X 線画像上における DCNN を用いた腫瘤検出を行った先行研究として，高野–1–

が 2.0 個のときの真陽性率が 0.89 という結果が得られた．すなわち，偽陽性数をある程度許位置容しても腫瘤全体の 11%が偽陰性となっていることがわかる．ここで，偽陽性は正常組織を腫瘤として検出したもの，真陽性は腫瘤を腫瘤と腫瘤正常して検出したもの，偽陰性は腫瘤を正常組織として検出したものである．また，偽陰性の腫瘤のうち多くの腫瘤は小さな腫瘤であることが分

Fig. 1: SSD の構造かった．この原因として SSD では浅い畳み込み層におけるプーリング時に不鮮明な小さな腫

Feature fusionmodule (Fig.3)

瘤の特徴量が消失してしまうことが挙げられる．
このため小さな腫瘤の特徴量を持つのは浅い畳位置＋み込み層のみとなる．また浅い畳み込み層では抽出できる特徴量が単純で局所的なものとなる腫瘤ため、複雑な特徴を持つ腫瘤の検出が困難であ正常ると考えられる．
Conv4-3

Conv5-3

そこで本研究では，浅い層である畳み込み 4-3層に、より深い層である畳み込み 5-3 層の特徴

Fig. 2: FFSSD の構造

マップを組み合わせることで小さな物体の特徴量を補強する Feature fused SSD (FFSSD) 6) による腫瘤の検出を行い，有効性の検証を行った．

2.

提案手法

2.1

SSD

ここでは先行研究で用いられていた SSD の詳細について述べる．SSD はまず入力された画像を既定のサイズ (先行研究では 512 pixels × 512

Fig. 3: Feature fusion module の構造pixels) にリサイズし，画像上に様々な大きさのらの研究 4) を紹介する．先行研究では入力された画像に対して，物体検出を行う深層学習のアーキテクチャである， Single Shot multibox
Detector (SSD) 5) を用いて乳房 X 線画像上における腫瘤の検出を行った．SSD では特徴抽出を行う畳み込み層や抽出した特徴量の次元を削減するプーリング層を通し，物体検出のための特徴を抽出する．SSD の詳細に関しては 2.1 節を参照されたい．この SSD を用いて腫瘤の検出を行ったところ，画像 1 枚当たりの偽陽性数

bounding box を合計 24564 個設置する．そして設置された各 bounding box に対し物体クラスごとの確信度を予測することで物体の検出を行う．SSD の構造を Fig. 1 に示す．Fig. 1 において青色の層は畳み込み層であり，様々なフィルターを通すことにより入力された画像から特徴量の抽出を行う．緑色の層はプーリング層であり，次元の削減を行うことで物体の位置変動に対するロバスト化を担う．最後の赤色の層は全結合層であり，畳み込み層から出力される特徴–2–マップを基にクラスの予測を行う．また，SSD較を行った．

では様々な大きさの物体に対応するため，様々な畳み込み層の特徴マップを用いて検出を行っており，Fig. 1 中の矢印はどの畳み込み層の特徴マップを検出に用いているかを表す．浅い層

3.

実験結果

3.1

データセットと評価指標(入力側) の特徴マップでは主に小さな物体の特今回，学習用データセットとして乳房 X 線画徴抽出を、深い層 (出力側) の特徴マップでは主像の公開データセットである Digital Database
Screening Mammography (DDSM) 7) の画像をに大きな物体の特徴抽出を行う．

2069 枚用いた．また，検証用データセットとし2.2FFSSDて大きさが 0.53cm 〜 1.6cm の小さな腫瘤を含ここでは提案手法として用いる FFSSD の詳
細について述べる．FFSSD の構造を Fig. 2 に示
す．FFSSD では畳み込み 4-3 層の特徴マップで行っていた検出を，畳み込み 4-3 層の特徴マップに畳み込み 5-3 層の特徴マップを Feature fusion

module によって融合し，新たに生成した特徴マップに基づいて行う．この Feature fusion では主に腫瘤そのものの形状や質感といった局所的な物体特徴量を持つ畳み込み 4-3 層の特徴マッ
プに，腫瘤の周辺の乳腺等の組織に関する大域的な文脈特徴量を持つ畳み込み 5-3 層の特徴マッ

む乳房 X 線画像を DDSM から 46 枚，宮城対がん協会の症例から 77 枚，東北大学病院の症例から 11 枚それぞれ用いた．また，検出評価指標としては Free Receiver Operating Characteristic(FROC) 曲線を用いた．曲線の縦軸は真陽性率(True Positive Rate: TPR)，横軸は評価に用いた乳房 X 線画像 1 枚あたりの偽陽性検出数(False Positive per Image: FPI) である．FROC
曲線は左上を通るほど，正解を多く検出しつつも，検出した候補領域の誤検出が少ない高性能なシステムとみなせる．

プを融合することにより，畳み込み 4-3 層の局所的な特徴量を、5-3 層の大域的な特徴量により3.2補強することが期待される．本研究で Featurefusion module として用いた Eltsum module の腫瘤検出性能の評価

Fig. 4, 5, 6 に各データセットにおける FROC曲線を示す．FROC 曲線より，すべてのデータ構造を Fig. 3 に示す．Eltsum module ではまずセットにおいて提案手法の検出性能が先行研究

畳み込み 5-3 層の特徴マップのサイズを 4-3 層を上回っていることが確認できる．各データセッの特徴マップのサイズに合わせ，バイリニア補間によりアップサンプリングを行う．次に 4-3層，アップサンプリング後の 5-3 層の特徴マップに対しそれぞれ 3 × 3 のフィルターサイズによる畳み込みを行う．これらの畳み込み層をそれぞれ畳み込み 4-4 層，5-4 層とする．その後，畳み込み 4-4 層の特徴マップと 5-4 層の特徴マップの各要素を足し合わせることで得られる特徴マップを検出に用いる．Eltsum module の他 2種類の Feature fusion module をそれぞれ用いた FFSSD における小さな腫瘤の検出性能と，先トで最も効果のあった点について比較を行うとDDSM では，先行研究では FPI = 1.08 のとき，TPR = 0.804 であったのに対し提案手法では，
FPI = 1.00 のとき，TPR = 0.869 であった．対がん協会では，先行研究では FPI = 1.40 のとき，TPR = 0.568 であったのに対し提案手法では，FPI = 1.35 のとき，TPR = 0.686 であった．また、東北大学病院では，先行研究では FPI= 0.727 のとき，TPR = 0.533 であったのに対し提案手法では、FPI = 0.636 のとき，TPR =0.733 であった．TPR の上昇量を実際の腫瘤の行研究において用いられた SSD の検出性能の比–3–1.00.8

0.8
Sensitivity (TPR)

Sensitivity (TPR)

1.00.6
0.4
original(previous)
concateltsumeltsum_ver2

0.2
0.0
0.0

0.5

1.0

1.5
2.02.5FPI [mass/image]

3.0

3.5

0.6
0.4
original(previous)
concateltsumeltsum_ver2

0.2
0.0
0.0

4.0

Fig. 4: FROC 曲線 : DDSM

0.5

1.0

1.5
2.0
2.5
FPI [mass/image]

3.0

3.5

4.0

Fig. 6: FROC 曲線 : 東北大学病院

1.0

Sensitivity (TPR)

0.8
0.6
0.4
original(previous)
concateltsumeltsum_ver2

0.2
0.0
0.0

0.5

1.0

1.5
2.0
2.5
FPI [mass/image]

3.0

3.5

4.0

Fig. 5: FROC 曲線 : 対がん協会
個数で表すと，DDSM では 3 個，対がん協会でFig. 7: TP 上昇例 (左 : 提案手法，右 : 先行研究)

は 12 個，東北大学病院では 3 個の腫瘤が新たに検出可能となった．対がん協会における TP 上

5.

昇例を Fig. 7 に示す．Fig. 7 において赤枠は真陽性検出，黄枠は偽陽性検出を表す．FROC 曲線や Fig. 7 に示した出力例より提案手法の小さな腫瘤に対する有効性が確認できる．

4.

謝辞

本研究の一部は，科研費 18K19892，19H04479，20K08012 ならびに東北大学スマート・エイジ
ング学際重点研究センターの助成を受けた。

参考文献

おわりに

本研究では深層学習を用いた腫瘤検出においてアーキテクチャとして Feature fused SSD を用いることの有効性を検証した．その結果，Fea-ture fused SSD による腫瘤検出により小さな腫瘤の偽陰性数低減を実現することができた．今後は畳み込み 5-3 層以外の層を組み合わせて場合の検出性能の変化についての検証や，Heatmapの出力により，Feature fusion 前後の特徴マップの変化について分析を進めていく．

1) A. Matsuda et al (2013), “Cancer Incidence and Incidence Rates in Japanin 2008:

A Study of 25 Population-

based Cancer Registries for the Monitoring of Cancer Incidence in Japan (MCIJ)
Project,” Japanese Journal of ClinicalOncology, 44-4, 388/396
2) 鈴木昭彦 (2009) 精査機関と検診機関の連携から見た乳がん検診の実態と問題点（2）–4–乳癌検診システムの精度向上に向けて日

本乳癌検診学会誌, 18-1, 13/19.

3) 野木武, 平松祐樹, 福水洋平, 山内寛紀, 張弘富, 来見良誠 (2010)

マンモグラムにおける石灰化陰影検出法と粗大石灰化像の抽出 The Institute of Electronics, Informa-tion and Communication Engineers, 11028, 131/136.
4) 高野 寛己 (2019). 深層学習のデータ拡張による乳房 X 線画像上の腫瘤検出に関する研究 東北大学大学院医工学研究科修士論文

5) W. Liu, D. Anguelov, D. Erhan, S. Christian, S. Reed, C.-Y. Fu, and A. C. Berg(2016). SSD: single shot multibox detector. In ECCV.
6) Cao.G et al (2018) : Feature-fused ssd:
fast detection for small objects. In: NinthInternational Conference on Graphic andImage Processing (ICGIP 2017).
7) M. Heath et al (2001),

The Digital

Database for Screening Mammography,
Proceedings of the Fifth International
Workshop on Digital Mammography ,212/218.

–5–