2023 年度 修士論文

論文題目
生成モデルによるリンパ節転移有無の分類精度向上手法(Improvement Method for Classiﬁcation of Lymph Node
Metastasis using Generative Model)

指導教員
舟橋

名古屋工業大学大学院
情報工学系プログラム

工学研究科

2022 年度入学

鈴木

康介

健司

工学専攻

34414060 番

准教授

i

目次
第 1 章 はじめに

1

第 2 章 背景知識

4

2.1

造影 CT 画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.2

DICOM 画像 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

2.3

リンパ節のがん転移有無による特徴の変化 . . . . . . . . . . . . . . . . . . . . . . .

5

第 3 章 データセット

7

3.1

データの概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.2

マスク画像の作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

3.3

データセットの前処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

第 4 章 超解像処理

4.1

11

予備実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.1.1

追加情報 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

4.1.2

リンパ節分類実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

4.2

超解像モデルの作成と評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

4.3

リンパ節分類実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

第 5 章 画像生成によるデータ拡張

22

5.1

画像生成モデルの作成と評価 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

5.2

リンパ節分類実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

5.3

Vision Transformer でのリンパ節分類実験 . . . . . . . . . . . . . . . . . . . . . . .

26

第 6 章 むすび

31

謝辞

32

参考文献

33

発表論文リスト

37

1

第1章

はじめに

がん診断の現場では，X 線 CT をはじめとする画像診断モダリティが用いられている．X 線 CT とは，人体の周囲から X 線を照射し，X 線の透過率の違いを利用して人体の断面を画像化する技術である．近年では CT 技術の発展により CT 画像のスライス間隔が小さくなったことで，一度の検査で大量のデータが得られるようになった．それによって微小な病変や早期の病変の発見が可能となった．一方で，診断する医師の負担の増加や，従来の診断方法では大量のデータを活用しきれないという問題が発生している．また，画像診断は専門性が高いため，医師の経験量によって正診率にばらつきが生じる．例えばリンパ節矩形を測定するという診断では，医師の経験量の違いによって正診率が 51-86%と大きくばらつきがある．これらの問題の解決策として，機械学習による診断支援について盛んに研究されており，CT 画
像からリンパ節を検出する研究 [1–4] や，CT 画像を MRI 画像へ変換する研究 [5] などがある．
本研究では，直腸がんのリンパ節転移について取り扱う．直腸がんとは，直腸の組織内に悪性がん細胞が認められる病気である．1975 年以降，日本では直腸がんの罹患数・死亡数ともに増加を続けている [6]．そのため，特に機械学習による診断支
援手法の確立が期待されている病気の 1 つである．がんはリンパの流れに沿ってリンパ節に転移を生じる可能性があるため，直腸がんと診断された場合は X 線 CT 等
での画像診断によって，他の部位に転移していないかどうかを調べる病期診断という診断を行う．転移の有無が特に重要となるのが，側方リンパ節と呼ばれる内腸骨動脈に沿うリンパ節および閉鎖神経と閉鎖動脈周囲のリンパ節である．直腸がんの側方リンパ節転移が陽性の場合の 5 年生存割合は 40%前後であり，転移が陰性の場
合の 80%と比べて予後不良であるとされている [7, 8]．直腸がんは治癒切除後でも再発する危険性が高いが，がん周辺のリンパ節だけでなく側方リンパ節も切除 (側方

第1章

はじめに

2

リンパ節郭清) することで骨盤内再発のリスクが 50%減少し，5 年生存割合が 8-9%改善すると予測されている． しかし，すべての症例に対して側方リンパ節郭清を行えば良いというわけではない．側方リンパ節郭清には排尿機能障害や性機能障害などの後遺症が残る可能性があるためである．そこで，側方リンパ節への転移が陰性である場合には，再発のリスクよりも側方リンパ節郭清による後遺症のリスクを考慮し，側方リンパ節郭清を省略してもよいとされている [9]．したがって，手術前に側方リンパ節への転移有無を正確に診断し，側方リンパ節郭清が必要であるかどうかを検討することが重要である．しかし，側方リンパ節には確立した診断手法がな
く，新たな診断手法の研究が望まれている．
近年，機械学習による CT 画像からのリンパ節分類の研究は多く行われている．

Wang らの研究では非小細胞肺がんの縦隔リンパ節転移分類の性能について CNN と古典的手法，医師の診断を比較しており，その結果では CNN と古典的手法や医師の診断の間に有意な差はなかったものの，便利さ等の観点で CNN の将来性があるとされている [10]．また，Hartenstein らは前立腺がんの病期分類のための CNN を提案し，専門の医師と同等の性能であることを示している [11]．このような研究において課題となるのが，データセットの入手である．CT 画像を学習に使用するには専門の医師によるアノテーションが必要であるため，大量のデータセットを構築することが困難である．そのような場合，複雑な構造のモデルの学習が十分に進まないことが先行研究で示唆されている [12]．したがって，少量のデータセットから
効率よく学習を行う工夫が重要となる．そこで，近年急速に発展をしている生成モ
デルを用いてデータセットの量の少なさを補う手法について検討した．生成モデルとは，入力に対して何らかの確率を出力する識別モデルと異なり，新たなデータを出力することができるニューラルネットワークモデルである．本研究では敵対的生
成ネットワーク (GAN) [13] をベースとした超解像手法と，Diffusion モデルを用いたデータ拡張手法を提案する．

CT 画像の超解像は微小な病変の発見に役立つことから注目されている分野である．また，低解像度で撮影した CT 画像から診断に十分な解像度の CT 画像を復元することができれば，患者の放射線の被曝量を減らすことにも繋がる．例えば，Youらの研究では GAN-CIRCLE という GAN ベースのモデルを用いることで，従来の

第1章

はじめに

3

手法よりも精度の高い超解像が可能であることを，画像評価指標および専門家による視覚評価により示している [14]．しかし，従来の CT 画像の超解像の研究は最終的に医師が画像診断をすることを目的としており，超解像後の画像を別の分類用モデルに入力した場合の影響に言及したものは少ない．そこで，4 章では従来の超解像手法と生成モデルによる超解像の性能とその分類精度への影響を比較し，生成モ
デルによる高精度の超解像が分類精度向上に効果的であることを確認した．
画像生成は生成モデルの活用方法として特に注目されており，医用画像分野では症例が少ないデータの拡張への活用が期待されている．例えば，Mann らは GAN を用いて胸部 CT スキャン画像を生成し，COVID-19 の学習のためのデータを生成する手法を提案している [15]．また，Liu らは Mask Attention GAN というモデルを用いて，画像内の肝腫瘍のピクセルをアテンションマップとしてマスクすることで，腫瘍のある合成 CT 画像を生成する手法を提案している．また，それらを腫瘍セグ
メンテーションタスクの学習に適用することで，データ拡張に有効であることを示している [16]．これらの研究のように画像生成には GAN が用いられることが多い
が，近年では Diffusion モデルを用いることで GAN よりも多様性のある画像生成が可能であることが注目されている．しかし，現時点では Diffusion モデルによる画像生成を医用画像に適用して，そのデータ拡張としての有効性を確認するところまで
一貫して行った研究は少ない．5 章では Diffusion モデルを用いたリンパ節 CT 画像の生成手法を提案した．さらに，生成画像をデータ拡張として用いることによる効
果を，CNN と Vision Transformer の学習を実際に行うことにより確認した．

4

第2章

背景知識

本章では CT 画像とリンパ節に関係する背景知識として，造影 CT 画像と DICOM
画像，リンパ節のがん転移有無による特徴の変化について説明する．

2.1

造影 CT 画像CT 画像を撮影する際に，医師が診断をしやすくするために造影剤と呼ばれる薬剤を使用する場合がある．造影剤を撮影前に静脈に注射することで CT 画像の血管や臓器の部分にコントラストが生じるため，そのままではわかりにくい小さな病変も見つけやすくする効果がある．造影剤を使わずに撮影する方法を単純 CT と呼び，造影剤を使用して撮影する方法を造影 CT と呼ぶ．造影剤を使うことによる CT 画
像の違いを図 2.1 に示す．造影剤を使用していなければリンパ節を見つけ出すことは困難とされており，本研究で使用するデータセットも造影 CT で撮影されたもの
である．

2.2

DICOM 画像

DICOM とは医用画像で一般的に使用されている形式である．ディジタル画像の形式の多くが 8 ビットの階調で表現するのに対し，DICOM は 10 ビット以上の階調で表現することができる．医師が CT 画像による診断を行う際には，ウィンドウレ
ベル変換という処理を行う．ウィンドウレベル変換とは，10 ビット以上の画素値を持つ CT 画像から，特定の値域のみを抽出して 8 ビットのグレースケール画像に変換する処理である．ウィンドウレベル変換で切り出す階調の中心値と幅をそれぞれ
ウィンドウレベルとウィンドウ幅という．ウィンドウレベルとウィンドウ幅を適切に変更することで特定の組織のみを表示することができ，診断がしやすくなる．

第2章

背景知識

2.3

リンパ節のがん転移有無による特徴の変化

5リンパ節にがん細胞が転移しているときとしていないときで変化する特徴がある．
それは模様・形状・大きさである．通常のリンパ節は一様な模様で，アーモンドのような楕円体の形状をしており，基本的に 10mm 以下の大きさである．それに対し，転移したリンパ節はまばらな模様になり，腫れ上がることで球形になり，10mm 以
上の大きさになるとされている [17, 18]．模様の違いは造影剤によるものであり，転移したがん細胞が染まる際の障害となってまばらな模様になる．図 2.2，2.3 にそれぞれの転移状態のリンパ節を示す．

第2章

背景知識

6

(a) 単純 CT(b) 造影 CT

図 2.1: 造影剤による CT 画像の違い

図 2.2: 転移なしリンパ節の例（画像中央）

図 2.3: 転移ありリンパ節の例（画像中央）

7

第3章

データセット

本研究では愛知県がんセンターから提供された 54 人分の CT 画像を使用する．そのデータの概要と，前処理について説明する．

3.1

データの概要提供されたデータは，患者一人当たり 500 から 800 枚のスライス，512×512 ピク
セルの DICOM 形式 CT 画像と，1 人の医師によってリンパ節の位置とがん転移の有無がアノテーションされた PowerPoint プレゼンテーションファイル（以下，pptx
ファイルと呼ぶ）の組になっている．リンパ節は複数のスライスにわたって写っていることが多いが，リンパ節の中心が写っている 1 スライスのみにアノテーション
されている．この pptx ファイルの例を図 3.1 に示す．合計で 712 個のリンパ節がア
ノテーションされており，内訳はがん転移なしリンパ節（以下，G1 と呼ぶ）が 660
個，がん転移ありリンパ節（以下，G3 と呼ぶ）が 52 個である．

3.2

マスク画像の作成

前述の pptx ファイルはプログラムでの処理に不向きであるため，pptx ファイルを元にマスク画像の作成を行う．マスク画像作成の手順は以下の通りである．CT 画
像と対応するマスク画像の例を図 3.2，3.3 に示す．

1. CT 画像を DICOM 形式から TIFF 形式に変換する．
2. 画像編集ソフトを用いて pptx ファイルでアノテーションされているリンパ節を，
G1 は (R,G,B)=(0,255,0)，G3 は (R,G,B)=(255,0,0) で塗りつぶす．1 スライスに複数のリンパ節がある場合，G1 であれば 2 つ目のリンパ節は (R,G,B)=(0,200,0)，

3 つ目は (R,G,B)=(0,150,0) というように色を変えて区別する．

第3章

データセット8

図 3.1: 医師によるアノテーション pptx ファイル

第3章

データセット9

3. それ以外の部分を (R,G,B)=(0,0,0) で塗りつぶす．

3.3

データセットの前処理

データセットの前処理として，実際の画像診断と同様にウィンドウレベル変換を行う．本研究では実際のリンパ節診断に用いられる値を参考にして，ウィンドウレ
ベルを 63，ウィンドウ幅を 256 としてウィンドウレベル変換を行った．すなわち，画素値-65 から 190 を 0 から 255 にマッピングしてグレースケール画像に変換する．
次に，分類用モデルへの入力用にリンパ節領域のクロップを行う．先行研究において，リンパ節の周辺領域もモデルに入力すると分類精度が向上することが示されている [19]．そのため，マスク画像からリンパ節の座標を取得し，リンパ節を中心に 64×64 ピクセルにクロップする．本研究では分類用モデルとして 3DCNN を使用する場合がある．その場合は，前後 16 枚のスライスも同じエリアでクロップして 3
次元的なデータにする．

第3章

データセット10(a) CT 画像(b) マスク画像

図 3.2: G1 の例(a) CT 画像(b) マスク画像

図 3.3: G3 の例

11

第4章

超解像処理

本章では生成モデルを用いた超解像処理によるリンパ節分類精度の向上手法を提案する．初めに，超解像手法がリンパ節分類手法に有効であることを示した予備実
験について述べる．次に，超解像モデルの作成手法を説明し，その CT 画像への超解像性能とリンパ節分類への効果について述べる．

4.1

予備実験

筆者は少量のデータセットでも分類精度を向上させるためには，データセットに対して超解像や部位のマスキングといった処理を行うことで得られた情報を，CT 画像に追加して CNN に入力することが有効であると考えた．本研究ではそのような情報を “追加情報” と定義して，様々な追加情報を使用した場合の分類精度を比較す
る予備実験を行った．

4.1.1

追加情報

予備実験において検討した追加情報は，超解像 CT 画像，リンパ節形状ボクセル，
楕円体近似ボクセル，楕円体係数の 4 つである．本項では各追加情報について説明する．
超解像 CT 画像

超解像 CT 画像は，リンパ節周辺 64×64 ピクセルを 128×128 ピクセルに超解像した画像である．現在普及している CT スキャナの分解能は 1 スライスあたり 512×512ピクセルである．解像度の制約により失われた詳細な形状の情報ががん転移分類に必要であると考え，超解像による復元を検討した．超解像手法には SRCNN [20] を用いる．詳しい学習の手順については 4.2 節で述べる．

第4章

超解像処理

12

リンパ節形状ボクセル

リンパ節形状ボクセルは，リンパ節である部分を 1，その他の部分を 0 とした

64×64×16 のボクセルデータである．リンパ節の 3 次元形状の取得には画像処理ソ
フトウェア 3D Slicer [21, 22] の Grow from seed セグメンテーション機能を用いる．
これは CT 画像のマスキングしたい部位の一部に印をつけると，印を元に自動で部
位全体を 3D マスキングする機能である．この機能を用いることで，データセットに含まれているリンパ節の位置情報を元に印をつければ，リンパ節の 3 次元形状デー
タを生成することができる．3D Slicer には Python スクリプトを用いて操作するための API が用意されているため，前述の手順を自動化した．3D Slicer を用いてリンパ節につけた印から 3 次元形状を生成した様子を図 4.1 に示す．医師がリンパ節へのがん転移の診断を行う場合は 3 次元的な形状にも注目しているため，CT 画像だ
けではなくリンパ節の 3 次元形状を表すデータを同時に学習することを検討した．
楕円体近似ボクセル

楕円体近似ボクセルは，前述のボクセルデータを最小二乗法によって楕円体近似を行った後，その楕円体を 128×128×16 でサンプリングし直して構築したボクセル
である．G3 は G1 よりも膨らんだ形状であるという特徴を踏まえ，リンパ節形状ボ
クセルよりもリンパ節の膨らみに着目したデータとして検討した．
楕円体係数

楕円体係数は，楕円体近似で得られた楕円体方程式の係数からなる行列である．楕
円体を Ax2 + By 2 + Cz 2 + Dxy + Eyz + F xz + Gx + Hy + Iz − 1 = 0 と表したと
きの A ∼ I の行列を追加の入力として学習に用いる．楕円体近似ボクセルよりも少ない情報量で，リンパ節の膨らみ方を表す表現形式として検討した．楕円体係数と楕円体近似ボクセルを取得する手順を図 4.2 に示す．

第4章

超解像処理

13

図 4.1: 3D Slicer によるボクセル生成の例

表面上の点を抽出
最小二乗法による楕円体近似

高解像度のボクセルを再構築

図 4.2: 楕円体係数と楕円体近似ボクセルを取得する手順

図 4.3: 基準モデル・超解像 CT 用の 3DCNN

第4章

超解像処理

14

図 4.4: リンパ節形状ボクセル・楕円体近似ボクセル用の 3DCNN

図 4.5: 楕円体係数用の 3DCNN

第4章

超解像処理

4.1.2

リンパ節分類実験

15

各追加情報を用いたときの分類精度を比較する実験を行った．モデルには CT 画
像 16 スライスを入力とする 3DCNN と，3DCNN に追加情報のため入力層を追加したネットワークを使用した．ネットワークの概形を図 4.3 から 4.5 に示す．なお，G3を正しく G3 と分類した場合を TP，G3 を誤って G1 と分類した場合を FN，G1 を正しく G1 と分類した場合を TN，G1 を誤って G3 と分類した場合を FP として評価
指標の計算を行った．評価は層化 4 分割交差検証で行った．データセットを 4 分割
したうちの 1 つをテストデータとし，残りの 3 つを訓練データとした．テストデー
タはクラス不均衡を解消するため G1 のアンダーサンプリングと G3 のオーバーサ
ンプリングを行い，各クラス 44 個ずつとした．ただし，テストデータに対してオー
バーサンプリングを行うことは一般的には望ましくないため，次節以降の実験では異なる手順で評価することにした．結果の平均値を表 4.1 に示す．
分類精度のバランスを表す F 値に注目すると，いずれの追加情報を使用した場合も向上しており，追加情報を使用することで正しく分類できたリンパ節があることを示している．G3 の誤分類の少なさを表す Recall に注目すると，超解像 CT を使用した場合に大きく向上している．基準モデルでは誤分類したが，超解像 CT では
正しく分類できたデータを確認すると，リンパ節周辺に組織が密集しているようなデータであった．超解像を行い組織同士の配置が鮮明になったことで正しく分類できたと考えられる．また，リンパ節形状ボクセルと楕円体係数でも Recall が向上しており，リンパ節の形状を表す情報が G3 の正しい分類に寄与することが確認できる．一方で，楕円体近似ボクセルでは Recall 以外が低下しており，近似の際に失われる形状情報が G1 の正しい分類に必要であったことが示唆された. このように，追加情報の種類によって性能の変化に特徴があることが確認できた．これらの結果か
ら，分類の前処理として超解像を行うことが，リンパ節分類に対して特に効果的であることが示された．そのため，生成モデルを用いたさらに高精度の超解像手法との比較を行うことにした．

第4章

超解像処理

16

表 4.1: 分類結果

4.2

追加情報

Accuracy

Precision

RecallF値

なし（基準モデル）

0.910

0.941

0.884

0.912

超解像 CT

0.962

0.993

0.931

0.961

リンパ節形状ボクセル

0.921

0.933

0.907

0.919

楕円体係数

0.934

0.975

0.890

0.931

楕円体近似ボクセル

0.886

0.907

0.926

0.916

超解像モデルの作成と評価

本研究では超解像手法として，CNN をベースとした手法である SRCNN と，GANをベースとした手法である ESRGAN [23] を使用する．SRCNN は超解像分野に機械学習を導入した最初期のモデルであり，パッチ抽出と表現学習を行う畳み込み層，
非線形写像を行う活性化関数，および最終的な高解像度の画像を再構築する層から構成されている．SRCNN のアーキテクチャを図 4.6 に示す．ESRGAN は GAN を
超解像分野に応用した最初期のモデルである SRGAN [24] を改良したモデルで，視覚的に高品質な超解像が可能である．ESRGAN ではより現実的な超解像画像を生成するように学習する Generator と，本物の画像が偽物の画像よりどれだけ現実的であるかの確率を予測する Discriminator によって敵対的学習を行う．ESRGAN のGenerator のアーキテクチャを図 4.7 に示す．
ここで，超解像モデルの作成手法について説明する．本研究における超解像モデルの目的は，全体が 512×512 ピクセルの CT 画像中の 64×64 ピクセルの領域を，256×256ピクセルに超解像することである．そのような学習を行う際は，2048×2048 ピクセルの CT 画像中の 256×256 ピクセルの領域をクロップし，それを 64×64 ピクセルに低解像度化して，前者を正解画像，後者を入力画像としたデータセットで学習を行うのが望ましい．しかし，1024×1024 ピクセル以上の CT 画像は Ultra-High Resolution

CT と呼ばれ，撮影可能な CT スキャナが普及していないため入手が困難である．そのため 512×512 ピクセルデータのみを用いて学習を行うために，次の手順で学習を行った．

1. 512×512 ピクセルの CT 画像から，64×64 ピクセルまたは 128×128 ピクセルでクロップする．

第4章

超解像処理

17

表 4.2: 超解像モデルの性能評価結果
モデル

PSNR

SSIM

SRCNN

22.50

0.676

ESRGAN

69.04

0.998

2. クロップした画像を縦横それぞれ 4 分の 1 に低解像度化する．
3. 2 の画像を入力データ，1 の画像を正解データとして学習を行う．
以上の手順を図で示したものが図 4.8 である．超解像モデルでは入力画像のサイズによらず学習時と同じ倍率での推論を行うため，このような学習が可能である．ク
ロップする解像度は SRCNN では 128×128 ピクセル，ESRGAN では 64×64 ピクセ
ルとした．
作成したモデルの学習と同じ解像度の組み合わせのテストデータで，PSNR と SSIM[25] を算出した結果を表 4.2 に示す．PSNR は 2 つの画像間の画素ごとの誤差の大きさをデシベルで表す指標であり，値が大きいほど誤差の画像であることを表す．

SSIM は 2 つの画像の明るさ，コントラスト，構造を比較する指標であり，1 に近いほど類似した画像であることを表す．SSIM は PSNR よりも人間の視覚特性に近い類
似性の評価が可能であるとされている．実際にリンパ節領域に対して超解像を行った結果を図 4.9 に示す．
結果から，ESRGAN の方が両方の評価指標が高く，CT 画像の超解像に適した手法であることが確認できた．PSNR は 40 以上，SSIM は 0.98 以上の場合は元画像の区別がつかないとされており [26]，ESRGAN での超解像は十分に良い精度であるといえる．ただし，これは学習時の解像度の組み合わせでの評価に基づいていることに注意が必要である．実際に超解像の例を視覚評価すると，組織の模様や，背景と組織の境界部分に不自然さが見られる．これは推論時と異なる解像度の組み合わせで学習を行った影響であると考えられる．

4.3

リンパ節分類実験

超解像手法の違いによるリンパ節分類への影響を確認するため，実験を行った．モ
デルは CT スライス 16 枚を入力とする 3DCNN を用いる．予備実験よりも超解像の

第4章

超解像処理

18

図 4.6: SRCNN のアーキテクチャ（文献 [20] より引用）

図 4.7: ESRGAN の Generator のアーキテクチャ（文献 [23] より引用）

図 4.8: 超解像モデルの学習手順

第4章

超解像処理

19

(1a) 入力(1b) SRCNN(1c) ESRGAN(2a) 入力(2b) SRCNN(2c) ESRGAN(3a) 入力(3b) SRCNN(3c) ESRGAN

図 4.9: 超解像の例

第4章

超解像処理

20

倍率を増やしたことで入力する画像のサイズが大きくなったため，予備実験よりも畳み込み層を増やしている．この 3DCNN のアーキテクチャを図 4.10 に示す．超解像処理を行っていない画像，単に拡大をした画像，SRCNN で超解像した画像，ESRGAN
で超解像した画像を入力データとして学習とテストを行い，分類精度を比較した．
評価は層化 4 分割交差検証で行った．各クラス 15 個ずつを抽出してテストデータとし，残りのデータセットを 4 分割したうちの 1 つを検証データ，残りの 3 つを訓練データとした．結果の平均値を表 4.3 に示す．
結果から，より精度の良い超解像手法を用いるほど Recall と F 値が向上していることが確認できる．ただし，単に拡大した場合でも向上していることから，入力画像のサイズを大きくすること自体にも効果があることが示唆された．しかし，超解像手法を用いることでさらに Recall と F 値が向上しているため，超解像処理はリン
パ節分類精度の向上に効果的であることが示された．ESRGAN を用いた場合の F 値
は 85.57%であり，文献 [11] と比較すると専門医師の 85%に匹敵する性能である．一方で，Accuracy と Precision は単に拡大した場合が最も良い結果となっている．これらの結果から，超解像によって詳細な部分の情報が追加されることで G3 の分類においては良い影響があるが，G1 を正しく分類するためにはノイズとなるような情報が追加されていると考えられる．ただし，がん診断においては G3 の見落としを防ぐことが重要となるため，本手法は実際の診断の観点から有効であるといえる．
表 4.3: 分類結果
超解像手法

Accuracy

Precision

RecallF値

なし

0.80000.9567

0.63330.7551

単に拡大

0.87151.000

0.72990.8391SRCNN

0.85380.92150.78240.8444ESRGAN

0.86880.91800.80180.8557

第4章

超解像処理

21

図 4.10: 3DCNN のアーキテクチャ

22

第5章

画像生成によるデータ拡張

次に，データセットが少ないという課題の解決方法として，Diffusion モデルで生成した画像をデータ拡張に使用することを考える．これが可能であれば課題解決の糸口となるが，そもそも少量のデータセットでデータ拡張に使用できるクオリティの画像生成モデルを作成できるのかを検証する必要がある．そこで，本章ではリンパ節分類のデータ拡張に使用できる Diffusion モデルの学習手法を提案し，そのリンパ節分類精度への効果を述べる．

5.1

画像生成モデルの作成と評価

生成画像をリンパ節分類のデータ拡張を行うためには，任意のがん転移状況のリン
パ節周辺画像を生成できる必要がある．まずは，G3 のデータを生成することを目的とする．Diffusion モデルの実装として Denoising Diffusion Implicit Models [27] を使用した．Diffusion モデルはデータに対して段階的にノイズを加える Forward processと，完全なノイズから徐々にノイズを除去することでデータを再構成する Reverse

process によって画像を生成するモデルである．この手順を図で表したものが図 5.1
である．G3 はデータセットに含まれる数が少ないため，学習を 2 段階に分ける手法を提案する．手順を以下に示す．

1. G1 と G3 両方のデータを訓練データとして 100 エポック学習する．
2. G3 のデータのみを訓練データとして 50 エポック追加学習する．
なお，手順 2 においては G3 のデータ数が少ないため，リンパ節の中心の前後のス
ライスも訓練データに追加した．
手順 1 が完了した時点と，手順 2 が完了した時点での生成結果の例を図 5.2，5.3 に示す．図 5.2 から，G1 と G3 の両方を学習させることで，多様なリンパ節のような

第5章

画像生成によるデータ拡張

23

形状が中心に存在する画像が生成できることが確認できる．図 5.3 から，さらに G3のみで追加学習を行うことで，G3 の特徴を満たすリンパ節のような形状が存在する
画像が生成できることが確認できる. これらの結果から，Diffusion モデルによって任意のがん転移状況のリンパ節画像を生成できることが示された．
ここで注意する必要があるのは，少量のデータセットで生成モデルを学習させたため，過学習により訓練データに含まれる画像と酷似した画像が生成される可能性がある点である．生成した画像をデータ拡張として使用することを目的としている
ため，既存のデータとの類似度の低い画像が生成できていることが重要である．そこで，ランダムに抽出した生成画像と，各訓練データとの PSNR と SSIM を計算して類似度を評価した．生成画像と，それとの PSNR または SSIM が最大であった訓練データ中の画像の組を図 5.4，5.5 に示す．最大の PSNR は 16.00，最大の SSIM は

0.2257 であった．これらの数値は低く，生成画像が訓練データ中の画像と類似した
画像ではないことを示している．また，目視での評価でも 2 つの画像は類似していないことが確認できる．このことから，生成画像をデータ拡張として用いるのは妥当であると考え，リンパ節分類への利用を行った．

5.2

リンパ節分類実験

次に，Diffusion モデルで作成した G3 画像が，がん転移分類のためのデータ拡張として有効であるかどうかを確かめる実験を行った．この実験では，単純なデータ拡張のみを行った場合と，それに加えて Diffusion モデルによる生成 G3 画像を使用した場合を比較する．今回は単純なデータ拡張として，-10 から 10 度のランダム回
転，水平フリップ，ガウシアンノイズの付与を行った．これらのデータ拡張は，リンパ節の CT 画像として不自然な結果にならないように考慮されている．単純なデー
タ拡張を行った例を図 5.6 に示す．生成 G3 画像は 150 枚使用した．このとき，生成G3 画像は訓練データにのみ使用し，検証データとテストデータには含まれないようにした．ネットワークには大量のデータセットでなくても十分に学習が完了するよ
うに，簡単なアーキテクチャの CNN を使用した．そのアーキテクチャを図 5.7 に示す．評価は層化 4 分割交差検証で行った．データの分割方法は 4.2 節と同じである．

第5章

画像生成によるデータ拡張

図 5.1: Diﬀusion モデルの学習プロセス

図 5.2: 手順 1 完了時点での生成例

24

第5章

画像生成によるデータ拡張25

図 5.3: 手順 2 完了時点での生成例(a) 生成画像(b) 訓練データ中の画像

図 5.4: PSNR が最大 (16.00) であった組

第5章

画像生成によるデータ拡張

26

表 5.1: 分類結果
手法

Accuracy

Precision

Recall

F値

単純データ拡張

0.84170.93720.73330.8218

生成データ拡張

0.85110.9064

0.78650.8416

結果の平均値を表 5.1 に示す．
結果から，生成データ拡張によって Recall が向上しており，G3 の誤分類が減少したことがわかる．Diffusion モデルでの生成によって，単純なデータ拡張よりも多様性のあるデータの学習が可能となり，より多くの G3 を正しく分類できるようになったことを示している．一方で，生成データ拡張では，Precision が下がっており，G1の誤分類が増えていることがわかる．現在の手法では，生成モデルによって図 5.8 のような G1 として分類されるべき特徴を持った画像が生成されたとしても，それもG3 として学習してしまう．このことが G1 の分類に悪影響を及ぼした可能性が考えられる．しかし，そのようなデータを検出するのは現時点では困難である．

5.3

Vision Transformer でのリンパ節分類実験

生成データ拡張がより複雑なネットワークの学習にも使えるかを確認するため，

Vision Transformer (ViT) [28] の学習を行なった．ViT は自然言語処理分野で高い性能を発揮する Transformer アーキテクチャ[29] を，画像処理分野に応用したモデルである．ViT では画像を小さなパッチに分割し，それらを単語のように扱い Transformerのエンコーダに入力することで，画像の局所的および全体的な特徴を捉えることができる．ViT は画像分類において高い精度を発揮するが，学習には大量のデータセッ
トが必要である．例えば，ViT の事前学習には 3 億枚もの画像が使用されている [28]．
そのため，提供されたデータセットに単純なデータ拡張を実施しただけでは，十分に学習を進めることができないことが予想される．そこで，単純なデータ拡張のみを行った場合と，生成データ拡張を行った場合の分類精度を比較した．本実験ではG3 だけでなく G1 でも生成データ拡張を行った．5.1 節と同様の手順で作成した G1の生成例を図 5.9 に示す．生成データの枚数は各クラス 500 から 4000 枚で変化させて実験した．評価は 5.2 節と同じテストデータを用いてホールドアウト法で行った．

第5章

画像生成によるデータ拡張(a) 生成画像

27(b) 訓練データ中の画像

図 5.5: SSIM が最大 (0.2257) であった組(a) 元画像(b) ランダム回転(c) 水平フリップ

図 5.6: 単純なデータ拡張の例(d) ガウシアンノイズ

第5章

画像生成によるデータ拡張

図 5.7: CNN のアーキテクチャ

図 5.8: G3 としてふさわしくない生成例

28

第5章

画像生成によるデータ拡張

29

表 5.2: 分類結果
手法

Accuracy

Precision

RecallF値

各クラス 1,000 枚，単純データ拡張

0.70001.000

0.40000.5714

各クラス 500 枚，生成データ拡張

0.83331.000

0.66670.8000

各クラス 1,000 枚，生成データ拡張

0.83331.000

0.66670.8000

各クラス 2,000 枚，生成データ拡張

0.90001.000

0.80000.8889

各クラス 4,000 枚，生成データ拡張

0.90001.000

0.80000.8889

結果を表 5.2 に示す．
結果から，単純なデータ拡張を行った場合では Recall が極端に低く，学習が十分に進まずに G1 に偏った出力をするモデルになってしまったことがわかる．生成デー
タ拡張ではデータ拡張の枚数が単純データ拡張よりも少ない場合でも良い結果が得られた．これは生成データ拡張では，単純なデータ拡張よりもデータに多様性が生まれるため，少ない枚数でも効果的なデータ拡張となることを示している．また，各クラス 2000 枚までは生成データ拡張の枚数を増やすほど性能が向上している．各
クラス 2000 枚の場合での F 値は 88.89%であり，文献 [11] と比較すると専門医師の85%を超え，多量のデータセットで学習した CNN の 88%に匹敵している．図 5.10に，生成データの枚数を増やすことで正しく分類できるようになった例を示す．しかし，これらの間には目視でわかるような特徴の違いは確認できない．元々のデー
タセットが少ないため，わずかな違いで誤分類するように学習してしまっていたが，生成データ拡張によってその違いに対応できるようになったのだと考えられる．一方で，生成の枚数を 2000 枚以上に増やしても，それ以上結果が向上していない．これは，今回作成した生成モデルが出力する画像の多様性の限界を示していると考えられる．これらの結果から，ViT のような複雑なネットワークの学習を行う際に，用意できるデータセットが少数で単純なデータ拡張では十分に学習ができない場合であっても，生成データ拡張を用いることによって学習を進められることが示された．

第5章

画像生成によるデータ拡張30

図 5.9: G1 の生成例

(a) 単純データ拡張(b) 1,000 枚単純データ拡張

図 5.10: 正しく分類できた例（全て G3）(c) 4,000 枚単純データ拡張

31

第6章

むすび

本論文では，分類モデルの学習に使用できるデータセットが少ない場合における生成モデルの活用方法を 2 つ提案した．まず，ESRGAN による CT 画像の超解像手法を提案し，分類用モデルに入力する前処理として超解像処理をすることで，G3 の分類精度が向上することを示した．F 値は 85.57%であり，医師の診断と同程度の性能であった．次に，Diffusion モデルによる特定のクラスの画像生成手法を提案し，生成画像をデータ拡張として用いることで分類精度が向上することを示した．さらにViT のように学習に大量のデータが必要とされるネットワークの学習にも応用できることを確認した．ViT で各クラス 2000 枚の生成データ拡張を行った場合の F 値は88.89%であり，先行研究で多量のデータセットで CNN を学習させた場合に匹敵する性能であった．どちらの手法においても，生成モデルを用いることにより，デー
タセットに元々含まれている数が少ない G3 についての学習を改善できることがわ
かった．機械学習による診断支援ではデータの少ない病変を正しく分類できることは重要であるため，本手法は実際の診断支援にも有用であると考えられる．
ここで今後の課題について述べる．超解像手法ではアキシャル断面の超解像しか行っていないため，さらに断面に垂直な方向の超解像も行うことが挙げられる．画像生成手法では複数のスライスを入力する 3DCNN のデータ拡張にも対応できるよ
うに，連続する複数スライスを生成できるモデルを作成することが挙げられる．今後の展望としては，生成した画像に対して超解像処理を行うことや，超解像モデルの学習に生成した画像を用いることといった，提案手法を組み合わせることによるさらなる分類精度の向上が挙げられる．

32

謝辞

本研究を行うにあたり，終始熱心にご指導を頂いた名古屋工業大学 舟橋健司 准教
授，伊藤宏隆 助教に深く感謝いたします．また，日頃よりご指導いただきました中部大学 岩堀祐之 教授に感謝いたします．なお，本研究において，CT 画像の提供をはじめ，ご協力を頂きました愛知県がんセンター 大内晶 先生，清水 泰博 先生に感謝いたします．さらに，本研究を進めるにあたり多くの助言を頂き，御協力いただ
いた名古屋工業大学 舟橋研究室の皆様に深く感謝し，厚く御礼申し上げます．

33

参考文献

[1] Y. Manjunatha, V. Sharma, Y. Iwahori, M. Bhuyan, A. Wang, A. Ouchi, andY. Shimizu, “Lymph node detection in CT scans using modified U-Net withresidual learning and 3D deep network,” International Journal of Computer
Assisted Radiology and Surgery, vol.18, no.4, pp.723–732, 2023.
[2] A.-A. Nayan, B. Kijsirikul, and Y. Iwahori, “Mediastinal lymph node detection
and segmentation using deep learning,” IEEE Access, vol.10, pp.89289–89307,
2022.
[3] T. Ono, Y. Iwahori, H. Usami, B. Kijsirikul, M.K. Bhuyan, T. Oshiro, andY. Shimizu, “Detection of Lymph Nodes using CNN from Contrast-Enhanced
CT Images,” 2020 9th International Congress on Advanced Applied Informatics(IIAI-AAI)IEEE, pp.471–474 2020.
[4] J.P. Singh, Y. Iwahori, M.K. Bhuyan, H. Usami, T. Oshiro, and Y. Shimizu,“Mediastinal Lymph Node Detection using Deep Learning.,” ICPRAM, pp.159–
166, 2020.
[5] S. Kundu, Y. Iwahori, M.K. Bhuyan, M. Bhatt, A. Ouchi, and Y. Shimizu, “Improved Residual Vision Transformer for CT to MRI Translation,” 2023 Fifth International Conference on Transdisciplinary AI (TransAI)IEEE, pp.58–65 2023.
[6] “直腸：[国立がん研究センター がん統計],” https://ganjoho.jp/reg_stat/
statistics/stat/cancer/7_rectal.html． (Accessed on 01/31/2022)．
[7] T. Akiyoshi, T. Watanabe, S. Miyata, K. Kotake, T. Muto, and K. Sugihara,“Results of a Japanese Nationwide Multi-Institutional Study on Lateral Pelvic

34

Lymph Node Metastasis in Low Rectal Cancer: Is it regional or distant disease?,” Annals of surgery, vol.255, no.6, pp.1129–1134, 2012.
[8] S. Fujita, S. Yamamoto, T. Akasu, and Y. Moriya, “Prognostic Factors ofRectal Cancer Patients with Lateral Pelvic Lymph Node Eetastasis.,” Hepatogastroenterology, vol.59, no.120, pp.2494–2497, 2012.
[9] “JSCCR — 大腸癌研究会,” http://www.jsccr.jp/guideline/2019/cq.html．
(Accessed on 01/12/2022)．
[10] H. Wang, Z. Zhou, Y. Li, Z. Chen, P. Lu, W. Wang, W. Liu, and L. Yu,“Comparison of machine learning methods for classifying mediastinal lymph
node metastasis of non-small cell lung cancer from 18 F-FDG PET/CT images,”
EJNMMI research, vol.7, pp.1–11, 2017.
[11] A. Hartenstein, F. Lübbe, A.D. Baur, M.M. Rudolph, C. Furth, W. Brenner,
H. Amthauer, B. Hamm, M. Makowski, and T. Penzkofer, “Prostate cancer
nodal staging: using deep learning to predict 68Ga-PSMA-positivity from CT
imaging alone,” Scientific reports, vol.10, no.1, p.3398, 2020.
[12] K. Suzuki, Y. Iwahori, K. Funahashi, M. Bhuyan, A. Ouchi, and Y. Shimizu,“Lymph-node Detection and Metastasis Classification from CT Images using aSingle U-Net Model,” Procedia Computer Science, vol.207, pp.583–592, 2022.
[13] I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu, D. Warde-Farley, S. Ozair,
A. Courville, and Y. Bengio, “Generative adversarial nets,” Advances in neural
information processing systems, vol.27, 2014.
[14] C. You, G. Li, Y. Zhang, X. Zhang, H. Shan, M. Li, S. Ju, Z. Zhao, Z. Zhang,
W. Cong, M.W. Vannier, P.K. Saha, E.A. Hoffman, and G. Wang, “CT SuperResolution GAN Constrained by the Identical, Residual, and Cycle Learning
Ensemble (GAN-CIRCLE),” IEEE Transactions on Medical Imaging, vol.39,
no.1, pp.188–203, 2020.

35[15] P. Mann, S. Jain, S. Mittal, and A. Bhat, “Generation of COVID-19 Chest
CT Scan Images using Generative Adversarial Networks,” 2021 International
Conference on Intelligent Technologies (CONIT), pp.1–5, 2021.
[16] Y. Liu, L. Meng, and J. Zhong, “MAGAN: mask attention generative adversarial network for liver tumor CT image synthesis,” Journal of Healthcare Engineering, vol.2021, pp.1–11, 2021.
[17] G. Brown, C.J. Richards, M.W. Bourne, R.G. Newcombe, A.G. Radcliffe, N.S.
Dallimore, and G.T. Williams, “Morphologic Predictors of Lymph Node Status in Rectal Cancer with Use of High-Spatial-Resolution MR Imaging with
Histopathologic Comparison,” Radiology, vol.227, no.2, pp.371–377, 2003.
[18] T. Akasu, G. Iinuma, M. Takawa, S. Yamamoto, Y. Muramatsu, and N.
Moriyama, “Accuracy of High-Resolution Magnetic Resonance Imaging in Preoperative Staging of Rectal Cancer,” Annals of surgical oncology, vol.16, no.10,
pp.2787–2794, 2009.
[19] 岡田佳朗，“CNN を用いた造影 CT 画像からのリンパ節転移の有無分類,” 中部
大学修士論文，2021．

[20] C. Dong, C.C. Loy, K. He, and X. Tang, “Image super-resolution using deep
convolutional networks,” IEEE transactions on pattern analysis and machine
intelligence, vol.38, no.2, pp.295–307, 2015.
[21] A. Fedorov, R. Beichel, J. Kalpathy-Cramer, J. Finet, J.-C. Fillion-Robin, S.
Pujol, C. Bauer, D. Jennings, F. Fennessy, M. Sonka, et al., “3D Slicer as animage computing platform for the Quantitative Imaging Network,” Magnetic
resonance imaging, vol.30, no.9, pp.1323–1341, 2012.
[22] “3D Slicer image computing platform,” https://www.slicer.org/. (Accessedon 12/31/2023).

36[23] X. Wang, K. Yu, S. Wu, J. Gu, Y. Liu, C. Dong, Y. Qiao, and C. Change Loy,
“ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks,”
Proceedings of the European Conference on Computer Vision (ECCV) Workshops, Sept. 2018.
[24] C. Ledig, L. Theis, F. Huszár, J. Caballero, A. Cunningham, A. Acosta, A.
Aitken, A. Tejani, J. Totz, Z. Wang, et al., “Photo-realistic single image superresolution using a generative adversarial network,” Proceedings of the IEEE
conference on computer vision and pattern recognition, pp.4681–4690, 2017.
[25] Z. Wang, A.C. Bovik, H.R. Sheikh, and E.P. Simoncelli, “Image quality assessment: from error visibility to structural similarity,” IEEE transactions on
image processing, vol.13, no.4, pp.600–612, 2004.
[26] 小箱雅彦，“電子化文書の画像圧縮ガイドライン，” 第 50 巻，pp.21–24，日本文
書情報マネジメント協会，2011．

[27] J. Ho, A. Jain, and P. Abbeel, “Denoising diffusion probabilistic models,” Advances in neural information processing systems, vol.33, pp.6840–6851, 2020.
[28] A. Dosovitskiy, L. Beyer, A. Kolesnikov, D. Weissenborn, X. Zhai, T. Unterthiner, M. Dehghani, M. Minderer, G. Heigold, S. Gelly, et al., “An image isworth 16x16 words: Transformers for image recognition at scale,” arXiv preprint
arXiv:2010.11929, 2020.
[29] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, L.
Kaiser, and I. Polosukhin, “Attention is all you need,” Advances in neural
information processing systems, pp.5998–6008, 2017.

37

発表論文リスト

1. 鈴木 康介，岩堀 祐之，舟橋 健司，M. K. Bhuyan，大内 晶，清水 泰博，“単一 U-Net モデルでの CT 画像からのリンパ節検出と転移有無分類，” 第 25 回画像の認識・理解シンポジウム (MIRU) 予稿集，IS2-73，2022.

2. K. Suzuki, Y. Iwahori, K. Funahashi, M. K. Bhuyan, A. Ouchi and Y. Shimizu,“Lymph-node Detection and Metastasis Classification from CT Images using a Single U-Net Model,” Proceedings of the International Conference on
Knowledge-Based and Intelligent Information & Engineering Systems, pp.583592, 2022.
3. 鈴木 康介，岩堀 祐之，舟橋 健司，大内 晶，清水 泰博，“超解像を用いたリンパ節のがん転移分類の精度向上手法，” 2023 年電子情報通信学会総合大会（情報・システム）講演論文集，D-16-5，2023.

4. 鈴木 康介，岩堀 祐之，舟橋 健司，大内 晶，清水 泰博，“超解像と 3 次元形状を用いたリンパ節の転移有無の分類精度改善，” 第 53 回東海ファジィ研究会予稿集，P1-04，2023.

5. 鈴木 康介，岩堀 祐之，舟橋 健司，大内 晶，清水 泰博，“リンパ節のがん転移分類の精度向上のための追加情報の検討，” 令和 5 年度電気・電子・情報関係学会東海支部連合大会講演論文集，F4-3，2023.

6. 鈴木 康介，岩堀 祐之，舟橋 健司，大内 晶，清水 泰博，“リンパ節のがん転移分類に有効な超解像手法の検討，” 第 21 回情報学ワークショップ (WiNF) 抄録
集，1A-24，2023.

7. K. Suzuki, Y. Iwahori, K. Funahashi, M. K. Bhuyan, A. Ouchi and Y. Shimizu,

38“Data Augmentation Method for Classification of Lymph Node Metastasis using Diffusion Model,” Proceedings of the International Conference on Image
Processing and Robotics, 2024.