2023 年 度

修士論文概要

主査

舟橋健司

副査

本谷秀堅

研究室

舟橋研究室

入学年度

2022 年度

学籍番号34414060

氏名

鈴木康介

論文題目

生成モデルによるリンパ節転移有無の分類精度向上手法 (Improvement Method for Classiﬁcation ofLymph Node Metastasis using Generative Model)

1

はじめにCT 画像による直腸がんの病期診断においては，リンパ節へのがん転移有無が重要視されている．しかし，画像診断は医師の負担が大きく，専門性が高いため医師の経験量によって診断にばらつきが生じるという問題が(a) 入力ある．そのため機械学習による診断支援が望まれている．機械学習による CT 画像からのリンパ節分類の先(b) SRCNN(c) ESRGAN

図 1: 超解像の例

行研究として文献 [1] などがある．そのような研究において課題となるのが，データセットの入手である．CTの良い超解像手法を用いるほど Recall と F 値が向上し画像を機械学習に用いるためには専門の医師によるアていることが確認できた．超解像によって，G3（転移ノテーションが必要となるため，大量のデータセットあり）の正しい分類に必要な情報が復元できることがを構築するのは困難である．しかし，少量のデータセッ確認できた．一方で，Accuracy と Precision は単に拡トでは複雑なモデルの学習を十分に行うことができな大した場合の方が高いため，超解像が G1（転移なし）い．そこで本研究では近年発展している生成モデルをの分類においてはノイズとなる可能性が示唆された．実活用することでデータセットの少なさを補う手法とし際の診断においては F 値と Recall がより重要であり，て，ESRGAN[2] による超解像手法と，Diﬀusion モデ

ESRGAN を用いた場合の F 値は 85.57%で，文献 [1] とル [3] による画像生成手法を提案する．

比較すると専門医師の 85%に匹敵する性能であった．
表 1: 分類結果

2

超解像処理
現在普及している CT スキャナの解像度は 512×512である．その制約により失われた詳細な形状の情報を復元することで分類精度を向上させられると考え，リン

超解像手法
なし
単に拡大SRCNNESRGAN

Accuracy0.80000.87150.85380.8688Precision
0.95671.000
0.92150.9180Recall
0.63330.72990.78240.8018

F値
0.75510.83910.84440.8557

パ節画像を分類用モデルに入力する前に超解像する手法を提案する．超解像モデルは CNN ベースの SRCNNと GAN ベースの ESRGAN を用いて比較した．超解像モデルの作成は，使用できるデータセットの解像度を考慮し，次の手順で行った．

3

画像生成によるデータ拡張
Diﬀusion モデルで生成した画像をデータ拡張に使用することでデータセットの少なさを補うため，少量の1. 512×512 ピクセルの CT 画像から，64×64 ピクセ
ルまたは 128×128 ピクセルでクロップする．

データセットからリンパ節分類のデータ拡張に使用可

2. クロップした画像を縦横それぞれ 4 分の 1 に低解の生成用モデルは次の手順で学習を行った．

像度化する．

3. 2 の画像を入力データ，1 の画像を正解データとして学習を行う．
学習の結果，図 1 のような超解像が可能となり，ESR-能な Diﬀusion モデルを作成する手法を提案する．G3

1. G1 と G3 両方のデータを訓練データとして 100 エポック学習する．

2. G3 のデータのみを訓練データとして 50 エポック追加学習する．

GAN の方が高精度で CT 画像の超解像を行えることが生成結果は図 2，3 のようになった．G1 と G3 の両方確認できた．

で学習を行うことで，多様なリンパ節のような形状が次に，超解像したリンパ節周辺画像で 3DCNN の学中心に存在する画像が生成できた．さらに G3 のみで追習・推論を行うことで，超解像のリンパ節分類への影響

加学習を行うことで，大きさなどが G3 の特徴を満たすについて実験した．結果は表 1 のようになり，より精度リンパ節のような形状が存在する画像が生成できた. したがって，Diﬀusion モデルによって任意のがん転移状況のリンパ節画像を生成できることが確認できた．

図 4: G1 の生成例
表 3: ViT の分類結果

図 2: 手順 1 完了時点での生成例
手法
1,000 枚単純データ拡張500 枚
生成データ拡張
1,000 枚生成データ拡張
2,000 枚生成データ拡張
4,000 枚生成データ拡張

図 3: 手順 2 完了時点での生成例
次に，生成した G3 画像をデータ拡張に使用して CNN

4Accuracy

Precision

Recall

F値

0.70001.000

0.40000.57140.83331.000

0.66670.80000.83331.000

0.66670.80000.90001.000

0.80000.88890.90001.0000.8000

0.8889

むすびの学習を行い，データ拡張としての有効性を実験した．
結果は表 2 のようになり，生成データ拡張によって Re-

本論文では，分類モデルの学習に使用できるデータcall が向上しており，G3 の誤分類が減少したことがわセットが少ない場合における生成モデルの活用方法をかった．Diﬀusion モデルでの生成によって，単純なデー

2 つ提案した．ESRGAN による CT 画像の超解像手法

タ拡張よりも多様性のあるデータの学習が可能となり，では，分類用モデルに入力する前処理として超解像処より多くの G3 を正しく分類できるようになったことが理をすることで，G3 の分類精度が向上することを示し示された．一方で，生成データ拡張では G1 の誤分類がた．Diﬀusion モデルによる特定のクラスのリンパ節画増えて Precision が低下しており，G3 の生成モデルが像生成手法では，生成画像をデータ拡張として用いるG1 と分類するべき画像を生成してしまうことによる悪ことで分類精度が向上することを示した．どちらの手影響が示唆された．

法においても，少量のデータセットのみを使用して，先行研究における医師や大量のデータで学習した CNN に

表 2: 分類結果
手法
単純データ拡張
生成データ拡張匹敵する分類精度のモデルが作成できることが確認でAccuracy

Precision

Recall

F値

0.84170.85110.93720.90640.73330.78650.82180.8416

きた．今後の展望として，超解像の学習に生成した画像を用いるなど，提案手法を組み合わせることによるさらなる分類精度の向上が挙げられる．

生成データ拡張がより複雑なネットワークの学習にも有効かを確認するため，生成した G1 と G3 の画像を使用して，Vision Transformer (ViT) の学習を行なった．
結果は表 3 のようになり．単純なデータ拡張を行った
場合では Recall が極端に低く，学習が十分に進まずにG1 に偏った出力をするモデルになってしまうが，生成データ拡張は多様性のあるデータ拡張が可能であるた

参考文献[1] A. Hartenstein, et al., “Prostate cancer nodal staging: using deep learning to predict 68Ga-PSMApositivity from CT imaging alone,” Scientiﬁc reports, vol.10, no.1, p.3398, 2020.

め，少ない枚数でも効果があり，枚数を増やすほど性能[2] X. Wang, et al., “ESRGAN: Enhanced Super-が向上することが確認できた．各クラス 2000 枚の生成

Resolution Generative Adversarial Networks,”

データ拡張を行った場合の F 値は 88.89%であり，文献

Proceedings of the European Conference on Com-

[1] において多量のデータセットで CNN を学習させた

puter Vision (ECCV) Workshops, Sept. 2018.

場合に匹敵する性能であった．一方で，2000 枚以上では生成データを増やしても精度が向上しておらず，生成モデルの出力の多様性に限界があることが示された．

[3] J. Ho, et al., “Denoising diﬀusion probabilisticmodels,” Advances in neural information processing systems, vol.33, pp.6840–6851, 2020.