企画番号：３４
企画タイトル：画像処理と深層学習を用いた医用画像における対象物の計測

No. 34

作成者: Y200142 髙島和起

プロジェクトリサーチ企画番号 34 番
「画像処理と深層学習を用いた医用画像における対象物の計測」
活動報告書
1

概要
1.1

動機と目的
作成者が大学一回生の頃にお世話になった研究者の方が, 脳神経の研究をされていたことをきっかけにこの分野を知った. さらに, 実験結果の評価を行うために画像内の対象物を手作業で数え上げる作業は時間搾取であることを知った. この問題を画像処理と深層学習を用いることで自動化し, その分野, および関連する分野の研究を促進させたいと感じたことが動機として挙げられる.

1.2

計画
まず, 医用画像を扱ううえでの知識だけでなく, 画像処理, 深層学習の分野においても知識不足であったため, 先行研究の概要を理解することを第一に行うこととした. その後, 研究者の方からいただいたデータを用いて, 先行研究のモデルを実用化する段階に持っていくよう計画した.

1.3

調査方法
蛍光顕微鏡画像における対象物の計測に関して, 深層学習を用いている研究をインターネット上で探し, 該当する論文の取った手法の概要から, 自身が不足している知識をインターネット上や書籍から探す.

1.4

活動経過
参考にした論文[1]のモデルをローカル環境で実行するために, 環境構築を行った. しかし,環境構築において未熟であったため, 想像以上に時間を費やしてしまい, 活動が思うように進まなかった. さらに, 提供していただいたデータが破損したことから, 一時活動を行っていない期間があった. そのため, この活動報告書を提出してる時点では, 目的を達成できなかった.

1.5

結果
論文に関連したモデルを実行するための環境構築や, 論文を読み進める流れを理解するといった点に関しては, ある程度の自信がついたため, 大きな収穫であると言える一方で, 当初の目的を実現できなかったという点に関しては, 大きな反省をするべきである.

1

No. 342

作成者: Y200142 髙島和起報告
2.1

動機・目的
この企画の背景として, 蛍光顕微鏡における細胞の計上は, 研究者が実験の結果を評価するために必要な作業であるが, 同時に時間搾取であることが知られている. さらに, その作業を手作業で行う工程は, 疲れやすく, 境界線が曖昧な場合に, 研究者が無意識のうちに恣意的な解釈をしてしまうことが少なくない.
よって, 蛍光顕微鏡画像における細胞の計上を自動化することで, 研究者がより多くの時間を研究に費やすことが可能となり, その分野及び, 関連する研究を促進させることができると感じたことが動機として挙げられる.

2.2

扱うデータ
今回, お世話になった研究者から提供していただいたデータを使用する予定であったが,データを破損させてしまったため, 2.3 で紹介する先行研究が使用したデータセット
Fluorescent Neuronal Cells Dataset 40 を使用することとした.
Fluorescent Neuronal Cells Dataset 40 はマウスの脳切片の 283 枚の高解像度画像（1600×1200 ピクセル）とそれに対応する正解ラベルから構成されている(図 2). マウスは決められた実験条件下で, 短シナプス逆行性トレーサーが外科的に目的の脳構造に注入され, 注入部位に接続するニューロンだけを強調表示するようにされている. 図 1 からもわかるように, 画像は脳切片の標本をトレーサーに関連する蛍光体（今回は黄色またはオレンジ色）が発する波長の光だけを選択している.

図 1．マウスの脳細胞の蛍光顕微鏡画像のうち黄色マーカーだけを取り出したもの

図 2．Fluorescent Neuronal Cells Dataset 40 のデータの一例
元画像(右)とその正解ラベル(左)2No. 34

2.3

作成者: Y200142 髙島和起先行研究の手法
Morelli, R.氏らの Automating cell counting in fluorescent microscopy through deep learning withc-ResUnet では, Unet に似た構造を持つ c-ResUnet（構造図は以下の図 3）を導入することで, 対象物を検出し, 検出された物体の数を計上している. また, その論文内では, 他のResUnet, Unet, Small Unet との比較を行い, 検出と計上の両方の評価に関して, 他のモデルを凌駕したと述べられている.
c-ResUnet は Unet の構造を持つことで, 入力画像の持つ位置情報を保持しながら, 特徴を抽出することができ, 入力画像の位置情報を加味することで精度の高いセマンティックセグメンテーションを可能にしている.
Unet との違いは, RGB のグレースケール変換を模した 1×1 畳み込みが最初に追加されているほか, エンコーディングパスの最後に 5×5 の残差ブロックが追加挿入されている（Unet では 3×3）. これらの違いにより, モデルがより周りの特徴を考慮できるようになったと書かれている.

図 3．c-ResUnet の構造

3

No. 34

2.4

作成者: Y200142 髙島和起主成分分析
使用する画像データが 1600×1200 ピクセルと大きいことから, 主成分分析をする際に画像サイズを 1024×1024 ピクセルにリサイズした上に, 50 枚無作為抽出したものを使用した. その結果が図 4 である. また, 表 1 は上位 1～4 位までの主成分の寄与率を示したものである.

表 1．第 1～4 主成分の寄与率

図 4．各主成分の累積寄与率
図４のグラフからもわかるように, 第 20 主成分までで累積寄与率が約 8 割となっていた. これにより, 第 21 主成分からの主成分がデータに与える影響は小さいということがわかった.

2.5

考察・まとめ
先行研究から, 画像の対象物を数え上げるためには, Unet の構造をもったモデルを用いて,ピクセル単位でのセグメンテーションを行うのが主流であることが分かった.
先行研究では, 入力画像に対して具体的な特徴量の分析を行っていなかった, 入力画像の持つ特徴量を分析し, 注目したい成分を強調することにより, モデルを効率よく学習させることが可能なのではないかと考えた.

4No. 34

2.6

作成者: Y200142 髙島和起

参考文献
[1] Morelli, R. et al. “Automating cell counting in fluorescent microscopy through deep learning withc-ResUnet”, scientific reports, (Nov. 2021).
[2] 藤田広志, 上杉正人, 平原大助, 齋藤静司: “Python による医用画像処理入門”, オーム社,(2011-6)[3] Aurelien Geron(著), 下田倫大(監修), 長尾高弘(翻訳): “scikit-learn、Keras、TensorFlow による実践機械学習 第 2 版”, オライリー・ジャパン, (2020-11)[4] Francois Chollet(著), 株式会社クイープ(訳), 巣籠悠輔(監訳): “Python によるディープラーニング”, マイナビ出版, (2022-3)

5