学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

jh210011-DAH

Deep Learning を用いた医用画像診断支援に関する研究
佐藤 一誠（東京大学）

概要
本共同研究では，Deep Learning(DL)を用いた高性能なコンピュータ支援検出（CAD）の開発を行うことを目的とする．昨年度までに構築した DL 学習環境を用いて複数の CAD（EOB-MR 画像における肝結節病変検出/鑑別，胸部 X 線写真の病変検出，胸部 FDG-PET/CT画像における異常検知など）の開発を進めるとともに，CAD の臨床使用を想定した高性能かつ小規模な DL 構造探索方法について検討した．さらに，説明可能な異常検知手法，およびフローベース深層生成モデルでの高解像度架空画像の生成手法について検討を実施した．

1. 共同研究に関する情報

2.

研究の目的と意義

CT や MRI をはじめとする医用画像を解析し，(1) 共同研究を実施した拠点名
東京大学

自動検出された病変の位置を提示する，コンピュータ支援検出（computer-assisted detection, CAD）(2) 共同研究分野

は画像診断における医師の見落とし低減を目的と超大規模データ処理系応用分野して古くから研究されている．しかし，日常的に臨床で使われている CAD は乳房 X 線写真に対する腫瘤検出，胸部 X 線写真もしくは胸部 CT にお(3) 参加研究者の役割分担
佐藤 一誠 CAD 開発，異常検知手法確立，ける肺結節検出などに限られているのが現状であ

架空画像生成手法確立る．その要因の１つとして，多くの CAD が病変検GPU 間通信，モデル並列化，出性能を経験のある医師と同程度とした場合，医ノード間通信,師に比べて拾いすぎ（偽陽性，false positive; FP）

塙 敏博

野村 行弘 CAD 開発，異常検知手法確立が多いことが挙げられる．このため，CAD のさら林 直人なる高性能化が必須である．

臨床面での評価

花岡 昇平 CAD 開発，架空画像生成手法

一方，CAD の主要技術である機械学習分野にお確立，臨床面での評価

いて，Deep Learning (DL)がこの数年注目を集め中尾 貴祐 CAD 開発，異常検知手法確立，ており，医用画像処理にも利用されている．DL の臨床面での評価一手法である畳み込みニューラルネットワーク

竹永 智美 CAD 開発（convolutional neural network, CNN）は脳の視柴田 寿一 CAD 開発，異常検知手法確立，覚野における情報処理を模したものであり，画像架空画像生成手法確立

診断は視覚処理である．このため，医師が画像診

佐藤 大介 CAD 開発，臨床面での評価断に用いる有用な情報を適切に CNN に学習させ中村 優太 CAD 開発，臨床面での評価ることができれば，CAD のさらなる高性能化の実鈴木 雄介 CAD 開発，臨床面での評価現が期待できる．

星野 哲也 GPU 向け最適化

本共同研究全体の目的は，DL を用いた高性能

関谷 勇司 ネットワーク運用技術な CAD の開発，および開発した CAD の臨床現場

鈴木 陽大 CAD 開発，異常検知手法確立での評価である．今年度は 2018 年度までに構築した学習フレームワークを用いた CAD の開発を1

学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

継続するとともに，以下の 2 項目についても検討を行う．
(a) 異常検知手法における，異常判定の根拠を空間的に可視化できるアルゴリズムを確立することで，異常検知手法の信頼性向上を目指す．
(b) モデル並列化の導入や使用 GPU メモリ量を抑制可能なアルゴリズムの導入により，入力画像サイズが大きい場合でもフローベース深

図 1 実装した DL の学習方法の流れ

層生成モデルを用いた異常検知手法が学習でメータ自動探索を用いた DL 学習フレームワークきるようにする．の構築した[C]．図 1 に構築した DL の学習フレームワークでの処理の流れを示す．GPU クラスタ

3.

当拠点公募型研究として実施した意義（Reedbush-H/L）のログインノード上でジョブ

DL は医用画像処理を含む様々な領域で高い性並列スクリプト言語（Xcrypt）[D]で記述したジョ能を発揮しているものの，パラメータ調整が難しブ投入モジュールを実行し，非同期並列型 BO にいことが問題である．本共同研究で DL を用いたより生成されたパラメータを用いた学習ジョブをCAD 開発に向けて DL 学習の高速化およびパラメ

Reedbush-H/L の計算ノードに繰り返し投入する．

ータ自動探索を用いた DL 学習方法の確立を目指構築した DL 学習フレームワークを用いて 6 種している．前年度の成果により数百症例を用いた類の CAD の開発を進めている．これらのうち，

DL 学習方法は確立しつつあるものの，より大規(b)～(g)については性能改善を継続している．

模（千～万症例）の学習を短期間で行うためには(a) 胸部 CT 画像の肺結節検出さらなる効率化が必要と考える．このフレームワ(b) 胸部 X 線写真の肺腫瘤検出ークを構築するためには，CAD 開発に係わる各分(c) 胸部 MR 画像の肺結節検出

野の専門家と計算機センターの緊密な協力が不可(d) 頭部造影 MR 画像の転移性脳腫瘍検出欠であり，当拠点公募型共同研究として取り組む(e) EOB-MR 画像における肝結節病変検出必要がある．さらに，本研究成果を広く公開する(f)ことによって，各基盤センターの GPU 搭載のス

頭部救急 CT 画像の異常検知(g) FDG-PET/CT 画像における異常検知ーパーコンピュータにおいても同様のことが容易[B] Snoek J, Advances in Neural Informationに実現できるようになると考える．

Processing Systems 2012;2951-2959.

本共同研究は東大単独で実施しているが，過去[C] Nomura Y, J. Supercomputing 2020;76:7315-の研究[A]より CAD 開発用の症例データを多施設7332連携で収集することの重要性を認識しており，将[D] Hiraishi T, WHIST 2012, 2012.

来的には複数の臨床施設の参画による拠点連携研究へ発展させることを視野に入れている．

5. 今年度の研究成果の詳細[A] 野 村 ， MEDICAL IMAGING TECHNOLOGY,(1) 説明可能な異常検知手法の確立

vol.32, no.2, pp.98-108, 2014．

病変を含む医用画像全体の解像度を病変が見えない程度に粗くし，正常症例を事前知識とするフローベース深層生成モデルである Glow [E]で正常

4. 前年度までに得られた研究成果の概要
2018 年度までに非同期並列型ベイズ的最適化な細かい構造を復元し，復元画像と元画像の差分（Bayesian optimization, BO）[B]に基づくパラを可視化することが当初の計画であった．しかし，2

学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

画像を粗くする操作には粗さの恣意性が残り，大(3-a) EOB-MR 画像における肝結節病変の検出・小の病変を同時かつ統一的に検出することが困難分類（研究業績[1]）である．最近，Swiecicki らは Inpainting（欠損修EOB-MR 画像における肝臓領域抽出で用いた復）の技術を採用し，マンモグラフィの一部を意

FC-ResNet [G]を改変し，単一ネットワークで肝図的に欠損させ，欠損箇所を正常な組織構造を事結節病変（肝細胞癌、転移、血管腫、嚢胞、手術前知識とする GAN で欠損修復し，修復誤差を可痕）の検出および分類を同時に行った．この結果，視化した[F]．この手法は大小の病変を同時かつ統検出感度 60%における症例あたりの FP 数はそれ一的に検出できると考えられる．これらを受けて，ぞれ 25 個であり，病変の分類精度は 0.79 であっこれまでにフローベース深層生成モデルによる欠た．現在，画像診断レポート自動生成に向けた肝損修復の定式化と実装を完了した．

臓領域の亜区域分類について検討中である．

(2) フローベース深層生成モデルでの高解像度架空画像の生成手法の確立（研究業績[6]）当初の予定では大局的かつ局所的に高解像度画像を学習できるフローベース深層生成モデルを確立することを想定していた．しかし，生成対象の架空画像の解像度が高くなり（ここでは 3 次元で 256×256×256 程度かそれ以上を想定），メモリ不足の問題が表面化する前に，ある程度まで解像度を高く（ここでは 3 次元で 128×128×128 程度を想図 2：肝結節病変検出・分類結果定）すると，フローベース深層生成モデルによる画像の学習が進まなくなることが判明した．この(2-b) 胸部 FDG-PET/CT 画像における異常検知課題を克服するため，プログレッシブ学習を提案（研究業績[4]）した．プログレッシブ学習では学習する画像の諧調を 1 bit から徐々に増やしていくものである．

正常症例のみを学習に用い，テスト症例中の我々は世界で初めてプログレッシブ学習をフロー

FDG-PET の異常集積を検出する異常検知方法をベース深層生成モデルに適用したが，このプログ構築した．この方法では，CT 画像を入力すると正レッシブ学習は潜在的には GAN や VAE の学習に常と仮定した場合の PET の画素値（SUV 値）の期も適用できるものである．さらに，プログレッシ

待値と期待標準誤差を推定して出力する 2D U-Net

ブ学習によってフローベース深層生成モデルではを正常症例 1,800 例で学習した．検出では CT 画像

世界初となる高解像度（128×128×128）の 3 次から予測した SUV 値の確率分布と PET の SUV 値

元胸部 CT モデルの構築とそのモデルによる高解より異常度（z-score）マップを計算し，3.0 を閾値

像度架空画像の生成手法を確立することに成功しとして二値化して得られた連結領域を最終的な出た．

力とした．異常集積が認められた胸部病変を含む(3) DL を用いた CAD の開発
2018 年度までに構築した学習環境において DLを用いた CAD の開発を継続している．以下に昨年度までに開発を開始していたもののうち，新た
図 3: 検出例（矢印：肺腫瘤による異常集積）．

な成果が得られた結果を示す．
3

学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

34 例で評価した結果，症例あたりの FP 数が 3 個のときの検出感度が 82.2%であった．図 4 に検出結果例を示す．現在，対象範囲を全身とした場合で検討を進めている．
(3-c) フローベース深層生成モデル Glow を用い

図 4: 疑似肺炎胸部 X 線写真の作成た異常検知（研究業績[3]）フローベース深層生成モデルである Glow を用している．本研究では，胸部 X 線写真の肺炎検出いた異常検知手法について検討した．胸部 X 線写を対象に，シミュレーションにより作成された疑真の異常検知では ROC 曲線の下面積（ROC-AUC） 似病変データを用いて深層学習に基づく物体検知手法である Single shot multibox detector (SSD)が 0.783 であった．また，Glow を 3 次元データ[H]モデルを学習した．

用に拡張した上で，頭部救急 CT 画像の異常検知に適用した．その結果，ROC-AUC が 0.866 であベンチマークデータセットとして，シミュレータを用いて放射線科医が見分けづらい 101 症例のった．

データを作成した．シミュレータは，正常な胸部X 写真に対してフラクタルパーリンノイズを基に(3-d) 架空画像を用いた胸部 X 線写真の病変検出

X 線の原理から病変を付加する（図 4）．シミュレ（研究業績[5]）正常な胸部 X 線写真を学習させた Glow より生ーションからの学習が本質的には継続学習であり，成した，架空の胸部 X 線写真に対して架空の（生さらに問題の難易度を自由に設定できるという点成された）病変を埋め込んだ画像を用いて U-Netに着目し，カリキュラム学習と継続学習を DR にに基づくの病変検出モデルを学習した．日本放射組み合わせることを考えた．さらに，カリキュラ

線技術学会より公開されている胸部 X 線写真のデム学習として，人は中庸を好むというゴルディロータセットを用いた評価の結果，症例あたりの偽ックス原理に基づく手法（ゴルディロックスカリ陽性数が 1 個以下で，感度 60%程度であった．

キュラム）を提案した．

(3-e) 医用画像解析における Sim2Real 機械学習

ダムにシミュレータのパラメータを割り振りなが表１に実験結果を示す．UDR が DR で完全にランのためのベンチマークデータと学習手法のら学習する手法である．BayRn が既存手法[I]で実提案（研究業績[7]）際のデータの性能が良くなるようにシミュレータ

ロボットの制御分野においてシミュレーションのパラメータを最適化しながら学習する DR 手法を用いて学習を行い，実世界に適用する Sim2Realである．GDR は本研究で提案したゴルディロック

機械学習が注目を集めており，この中でもスカリキュラム DR となる．さらに，カリキュラ

Domain randomization (DR)と呼ばれる枠組みがムとして易しい問題から難しい問題へと変化させる Easy2Hard との比較を行っている．学習手法

近年注目を集めている．従来の Sim2Real はシミ
ュレータによって生成された教師データから現実として SGD, Adam, NVRM-SGD[J]を用いている．

世界に転移させる際に転移学習やドメイン適応とNVRM-SGD は継続学習特有の問題である破滅的いう方法がとられていたのに対して，DR ではで忘却を緩和する手法であるが詳細は後述する．表

きるだけ多くの多用なパターンのデータを生成す

１より，GDR は基本的に性能が良く，特に NVRM-ることで様々なデータから学習し，深層学習がもSGD を用いたものが最良である．free-response

つ表現力によって現実世界を内包する幅広いデー

receiver operating characteristic curve (FAUC)

タ空間に対応する識別器を学習することを目標とは通常の AUC (Area Under Curve)とは全く異な
4

学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

表 2: GDR における難易度設定の分析

表 1: 実験結果公開している（研究業績[7]）．作成したシミュレー
タおよびベンチマークデータセットについては，公開の準備を進めている．
る指標である（具体的には 0.5 を下回ることが十[E] Kingma DP, NeurIPS 2018:10236-10245分にある）．カリキュラム学習のターゲット値を[F] Swiecicki A, Sci. Rep. 2021;11, 10276

FAUC と設定しているため，Easy2Hard-1 では[G] Takenaga T, IJCARS 2019;14(8):1259-1266

FAUC が 1 から段階的に 0.1 刻みで低くなってい[H] Liu W, ECCV2016

くような設定をしているのに対して，Easy2Hard-[I] Muratore F, ICRA 2021

2 では 0.75 から 0.3 に減っていくような設定にな[J] Xie Z, Neural computation 2021っている．GDR では FAUC の値を 0.6 に固定している．Easy2Hard-2 の方が Easy2Hard-1 より6. 今年度の進捗状況と今後の展望も性能が良くなっているのは，難易度はある程度

年度途中に使用するスーパーコンピュータが東狭い範囲で固定したほうが良いからではないかと

大 Reedbush-H/L から東大 Wisteria/BDEC-01 へ考えている．

変更となることに伴い，新たな研究倫理申請や研表 2 は，GDR においてターゲット値である究データの移行などにより停滞した期間があった

FAUC を変化させた場合の性能の変化を調べたもものの，実施した 3 項目（説明可能な異常検知手のである．表 2 の結果より，FAUC=0.6 が最良で法の確立，フローベース深層生成モデルでの高解あった．

像度架空画像の生成手法の確立，DL を用いた

本研究では，DR を本来の目的である多種多様CAD の開発）についてそれぞれ一定の成果が得らなデータから学習することに対して，継続学習とれた．また，昨年度までの実施内容のうち，DL をカリキュラム学習を利用してある一定の制約のも用いた汎用的な病変形状ラベル推定方法の構築にと学習することで，より効率的な DR 手法を開発ついて論文誌に掲載された．

することを目的とした．しかし，実際に進めてい今年度で JHPCN 共同研究としての取り組みはくと，継続学習特有の問題である破滅的忘却が見一区切りとなるが，今後も東大 Wisteria/BDEC-られることが分かった．これは深層学習を継続的01 の使用を継続するため，これまでに構築した学に学習するとある時点でそれまで学習していたこ

習フレームワークなどを使用した新たな CAD 開とを忘却してしまうという性質である．これに対発を進めていく予定である．

して，すでに我々は破滅的忘却を緩和する手法として NVRM-SGD という学習手法を提案していた

7. 研究業績一覧

ため，この手法を GDR に応用した．実際に Adam

（発表予定も含む．投稿中・投稿予定は含まない）などといった他の学習手法を用いると破滅的忘却(1) 学術論文 （査読あり）が見られ性能が低くなるが，NVRM-SGD によっ[1] Takenaga T, Hanaoka S, Nomura Y, Nakao T,て GDR を補うことで性能低下が軽減されている

Shibata H, Miki S, Yoshikawa T, Hayashi N,

ことがわかった．

Abe O, Multichannel three-dimensional fully

本研究は現在論文投稿中であるが，arXiv にて5

学際大規模情報基盤共同利用・共同研究拠点 2021 年度共同研究 最終報告書

convolutional residual network-based focal liver

Takenaga T, Hayashi N, Abe O, X2CT-FLOW:

lesion detection and classification in Gd-EOB-Maximum a posteriori reconstruction using a

DTPA-enhanced MRI. Int J Comput Assist

progressive flow-based deep generative model

Radiol Surg. 2021 Sep;16(9):1527-1536

for ultra sparse-view computed tomography in[2] Nomura Y, Hanaoka S, Takenaga T, Nakao T,

ultra low-dose protocols. arXiv preprint 2021;

Shibata H, Miki S, Yoshikawa T, Watadani T,

arXiv:2104.04179v2

Hayashi N, Abe O, Preliminary study of[7] Suzuki T, Hanaoka S, Sato I, Goldilocks-

generalized semiautomatic segmentation for 3D

curriculum Domain Randomization and Fractal

voxel labeling of lesions based on deep learning.

Perlin Noise with Application to Sim2RealInt J Comput Assist Radiol Surg. 2021

Pneumonia Lesion Detection. arXiv preprint

Nov;16(11):1901-1913.

2022; arXiv:2204.13849[3] Shibata H, Hanaoka S, Nomura Y, Nakao T,
Sato I, Sato D, Hayashi N, Abe O, Versatileanomaly detection method for medical images
with semi-supervised flow-based generativemodels. Int J Comput Assist Radiol Surg. 2021
Dec;16(12):2261-2267.
[4] Nakao T, Hanaoka S, Nomura Y, Hayashi N,Abe O, Anomaly detection in chest 18F-FDG
PET/CT by Bayesian deep learning. Jpn J Radiol.
2022 Jan 30 (Epub ahead of print).
(2) 国際会議プロシーディングス （査読あり）
該当無し(3) 国際会議発表 （査読なし）
該当無し(4) 国内会議発表 （査読なし）[5]花岡昇平, 野村行弘, 林直人, 吉川健啓, 柴田寿一, 中尾貴祐, 阿部修, 架空症例および架空病
変を学習に用いた胸部単純写真における結節性病
変自動検知. 第 34 回電子情報研究会・第 4 回日本
医用画像人工知能研究会合同学術集会, 2021.9.19(5) 公開したライブラリなど
該当無し(6) その他（特許，プレスリリース，著書等）[6] Shibata H, Hanaoka S, Nomura Y, Nakao T,
6