脳血管セグメンテーションのための深層学習モデルの事前学習に関する研究
指導教授：山下 隆義

TP22014 土松 千紗
1. はじめに脳動脈に異常が起きることが原因で発症する脳血管疾患は，進行すると血管性認知症を誘発することから，その早期発見が重要である．脳血管疾患の検査は，造影された 3次元血管データをスライス毎に目視で観察する必要があり，医師の負担が大きい．そのため，医師の診察支援を目的とした，血管領域や疾患領域の自動検出に関する研究が取り組まれている．
血管領域の自動検出手法として，ボクセル毎に血管の有無を出力する 3 次元セマンティックセグメンテーション手法が提案されている [1, 2]．これらの手法は，血管領域をアノテーションした大量の 3 次元データを用いて学習する必要がある．血管領域のアノテーションは作成コストが非常に高く，大量のラベル付き学習データを用意することは難しい．この問題に対して，Masked Autoencoder (MAE)[3] による，臓器領域セグメンテーションのための自己教師あり学習がある [4]．MAE による事前学習にラベルなし臓器データを用いることで，アノテーションの作成コストを削減しつつ，より効果的な臓器データからの特徴抽出を実現している．一方で，本手法は 3 次元データを入力して処理するため，計算コストが高いという問題がある．
そこで本研究では，ラベルなしデータを活用した血管領域セグメンテーション精度の向上を目的として，3 次元デー
タから切り出したスライス画像を用いた MAE による事前学習手法を提案する．評価実験より，MAE による事前学習が血管領域に対するセグメンテーション精度の向上に有効であることを示す．

2. 脳血管データの血管領域セグメンテーション
本章では，血管領域の自動検出に用いられる代表的なセマンティックセグメンテーション手法，また少ラベルデータの学習手法について述べる．

2.1 セグメンテーションモデル
ボクセル毎に血管の有無を予測する 3 次元セマンティッ
クセグメンテーション手法は，医師の診察支援を目的として提案されている [1, 2]．Livne ら [1] は，代表的なセグメンテーションモデルである U-Net が 3 次元血管領域セグメンテーションに対して有効であることを確認した．
DeepVesselNet (DVN) [2] は，細密な血管領域を捉えるために特徴マップの大きさを変えないことでセグメンテーション精度向上を図った．

2.2 少ラベルデータの学習手法
深層学習において，ラベル付き学習データの増加は，セグメンテーションの精度向上に繋がる．脳血管データは 3次元かつ専門性が高いため，複雑な血管領域の正確なアノテーションは難しい．そのため，ラベル付きデータの数が少ないという問題点がある．また，脳血管データは患者のプライバシー保護の観点からデータの入手が困難であるという問題もある．
少ラベルデータの学習方法として，半教師あり学習手法や自己教師あり学習手法が提案されている [3, 4]．代表的な自己教師あり学習手法として MAE が挙げられる．MAEはデータの一部に対してマスクを付与し，マスク箇所の画素値を推測する手法である．部分的な観測値から元のデータ全体を再構成させることで特徴表現を学習する．
医用画像は 3 次元データである点，背景が多くの割合を占めている点，また細密である．そのため，臓器領域セグメンテーションでは，3 次元のマスクを付与する 3D-MAE[4] の有効性が確認されている. その際，(16 × 16 × 16) のボクセルに分割し，75%のボクセルにマスクを付与する場合が効果的であると述べている．
しかし，血管領域セグメンテーションに対する自己教師あり学習については十分に研究されていない．また，3 次元データを入力して学習することは計算コストが非常に高い．

3. 提案手法
本研究では，ラベルなしデータを活用した血管領域セグメンテーション精度の向上を目的として，3 次元データから切り出したスライス画像を用いた MAE による事前学習手法を提案する．脳小血管データに対する学習手法として臓器領域セグメンテーションにおいて有効性が確認されている MAE を活用し，3 次元データを 2 次元データの集合とみなし，スライス毎にマスクを付与したデータを入力，学習する．提案手法の実行手順を図 1 に示す．
脳小血管データに対する事前学習 大量のラベルなしデー
タを用いて MAE による自己教師あり学習を行う．ラベルなし実血管データをランダムに切り出した後，マスクを付与する．データの切り出しにおいて，使用メモリ量を削減するために，各データを (112 × 112 × 8) に切り出す．次に，切り出したデータをパッチ分割する．パッチ分割において，計算コストの削減のため，(16 × 16 × 1) のパッチのようにスライス単位で分割してマスクを付与する．マスクの付与率は，50%とする．また，Positional Encoding を3 次元で実施することで，血管領域の特徴の獲得が容易になる．そして，マスクしたパッチを再構成させることで特徴表現を学習する．
脳小血管データに対する Fine Tuning MAE により事前学習したモデルのエンコーダに Pyramid Pooling Module(PPM) [5] ，Segmentation Head を追加し Fine Tuningを行う．ここで PPM は，特徴マップを複数サイズで最大値プーリングを行う空間ピラミッドプーリング (SPP) 層を利用したモジュールであり，PPM の使用により広範囲の周辺コンテキスト情報を取得できる．
まずラベル付き脳小血管データを (112 × 112 × 8) に切り出し，(16 × 16 × 1) のパッチのようにスライス単位で分割する．その後，エンコーダに入力する．次にエンコーダからの出力であるパッチごとのベクトル集合を PPM に入力するために，クラストークンを削除し，特徴マップと同様の配列に再構成する．そしてリサイズを行い，PPM，Segmentation Head へ入力し，セグメンテーション結果を出力することで Fine Tuning を行う．
エンコーダ 𝐸112

エンコーダ
𝐸PPM

デコーダ
𝐷1121090

図 1 : 提案手法による学習の実行手順…

Convolution
Convolution Convolution Convolution

セグメンテーション
結果

Up-sampling Up-sampling Up-sampling Up-sampling

パッチ分割

Convolution

16
8112 112 8に切り出し

Deconv.
block

Deconv. block

×392枚

Convolution

・・・

Convolution

・・・

Deconvolution

16

ラベル付きデータ
140

Fine Tuning

Deconv. block

デコーダ 𝐷

パラメータ共有Max Pooling Max Pooling Max Pooling Max Pooling…

112

1550

2160

Transformer block

112

デコーダ
𝐷

エンコーダ
𝐸Transformer block

復元結果

MAE
パッチ分割

Feed Forward

8PPM

Transformerblock
Add & Normalize

事前学習16112 112 8に切り出し

2160×392枚・・・

Add & Normalize

ラベルなしデータ
665・・・

Multi-Head Attention

16+

ション精度を表 2 に示す．表 1 より，提案手法は従来手法と比較して Precision，Recall，Dice Score が向上したことを確認した．また表 2 より，提案手法は事前学習によりRecall と Dice Score が向上したことを確認した．

(a) 元データ(b) マスク後のデータ(c) 復元結果
図 2 : MAE の復元結果

表 1 : 従来手法との学習時間と精度の比較
Precision [%]Recall [%]Dice Score [%]MAE57.492.413.30

3D MAE [4]

57.99

4.82

8.69

提案手法

74.47

40.64

52.11

(a) 元データ(b) マスク後のデータ(c) 復元結果
図 3 : 3D-MAE の復元結果(a) 元データ(b) マスク後のデータ(c) 復元結果
図 4 : 提案手法の復元結果

4. 評価実験
提案手法の有効性を調査するために先行研究との精度比較を行う．脳小血管を造影した Smooth Muscle Action(SMA) 抗体染色データセットに対して，定量的評価として血管領域セグメンテーション精度，定性的評価として血管領域セグメンテーション結果を比較する．比較手法には，事前学習を行わない提案手法と，先行研究である MAE，3D-MAE を用いる．

表 2 : 事前学習の有無での精度比較
Precision [%]Recall [%]事前学習なし

77.07

39.44

Dice Score [%]51.44

事前学習あり

74.47

40.64

52.11

各モデルのテストデータに対するセグメンテーション結果を図 5 に示す．ここで，白色の領域が真陽性，青色の領域が偽陽性，赤色の領域が偽陰性である．図 5 より，提案手法は従来手法と比較して，偽陽性ボクセルが減少したことを確認した．以上から，脳小血管データに対してスライス毎にマスクを付与する事前学習の実施は有効であると考える．

4.1 脳小血管データセット
学習に使用するデータセットは，新潟大学が収集したヒト
剖検脳の SMA 抗体の染色データからなる．ここで，SMAは血管のしなやかさを保つ平滑筋である．抗体の染色箇所に注目することで血管の変性が観察可能である．データセッ
トには，健常者の脳データと脳小血管病患者の脳データが含まれる．ラベル付きサンプルは 1 サンプルであり，データ全体のサイズが (2560 × 2160 × 1226) である．ここで，奥行き方向の [450，455，460，465，470] におけるスライスにのみアノテーションを行う．1 ボクセルの実際の大きさ
は (6.61 × 6.61 × 10.0) [µm3 ] である．ラベルなしサンプルは 21 サンプルであり，データサイズは (2560×2160×665)〜(2560 × 2160 × 1857) である．1 ボクセルの実際の大きさは (4.19 × 4.19 × 5.00) [µm3 ] である．ラベルの種類は，SMA ，背景の 2 クラスである．

4.2 実験条件
事前学習には，ラベルなしのデータのうち 8 サンプルを使用する．Fine Tuning には奥行き方向の [455，460，465，470] におけるスライスのラベル付きデータを使用する．テスト時は奥行き方向の 450 におけるラベル付きデータを使用する．MAE による事前学習時の学習回数は 400エポックとし，50 エポックの Fine Tuning を行う．バッ
チサイズは事前学習時では 128，Fine Tuning では 16 とする．初期学習率 lrb は 0.001 とし，イテレーション毎にコサイン関数に従って学習率を低下させる．損失関数は Cross
Entropy を用いる．またセグメンテーションの評価指標には，Precision，Recall，Dice Score を使用する．Precisionでは偽陽性ボクセル数の少なさを評価し，Recall では偽陰性ボクセル数の少なさを評価する．そして Dice Score では Precision と Recall のバランスを考慮し評価する．

4.3 実験結果
MAE の復元結果を図 2 に，3D-MAE の復元結果を図 3に，提案手法の復元結果を図 4 に示す． 図 2，図 3，図 4より，提案手法は従来手法と比較して，血管領域と思われる画素の復元ができていることを確認した．以上より，従来手法と比較して細密な特徴の抽出ができたと考える．
次に，従来手法，提案手法のテストデータに対するセグメンテーション精度を表 1 に示す．さらに，提案手法における事前学習の有無でのテストデータに対するセグメンテー(a) 事前学習なし(b) 3D-MAE(c) 提案手法
SMA 抗体染色データの 450 層目に対するセグメン
図5:
テーション結果

5. おわりに本研究では，MAE を用いてマスクを一定のスライス間隔で付与する学習手法を提案した．評価実験において定量的評価より，従来手法と比較してテストデータに対するPrecision，Recall，Dice Score が向上し，自己教師あり学習による事前学習手法の有効性を確認した．また定性的評価より，血管領域の特徴抽出が出来たこと，従来手法と比較して偽陽性ボクセルが減少したことを確認した．今後は，マスクを付与するパターンを変更しセグメンテーション結果への影響を調査する．

参考文献[1] M. Livne, et al., “A U-Net Deep Learning Framework for High Performance Vessel Segmentation in Patients With Cerebrovascular Disease”, Frontiers in Neuroscience, 2019.
[2] G. Tetteh, et al., “DeepVesselNet: Vessel Segmentation,Centerline Prediction, and Bifurcation Detection in 3-D
Angiographic Volumes”, Frontiers in Neuroscience, 2020.
[3] K. He, et al., “Masked Autoencoders Are Scalable VisionLearners”, CVPR, 2022.
[4] Z. Chen, et al., “Masked Image Modeling Advances 3D
Medical Image Analysis”, WACV, 2023.
[5] H. Zhao, et al., “Pyramid Scene Parsing Network”,CVPR, 2017.

研究業績[1] 土松千紗, 平川翼, 山下隆義, 藤吉弘亘,“前処理を利用した血管 3D データに対するセグメンテーションモデルの学習”, 画像センシングシンポジウム, 2023.