立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ]血流イメージングを用いたディープラーニングによる皮膚癌最初期診断支援
Early Diagnosis Support for Melanoma Using DeepLearning with Blood Flow Imaging
2221001

研究代表者

富山高等専門学校
電子情報工学科

准教授

秋口俊輔

レーザードップラー血流計測装置 (MLDV)[研 究 の 目 的]

ここでは主に上記 1 と 3 で使用する MLDV
本研究の目的は，我々が開発した「流速を高精度に取得可能」，「流速情報のリアルタイムイについて説明する。MLDV の構成を図 1 に示す。

メージング機能が可能」，「レーザーが到達可能であれば不可視領域でも計測可能」，「血流速度が絶対値で取得可能」などの高い性能を持つマルチポイントレーザードップラー血流計測装置(Multipoint laser Doppler velocimeter，以 下MLDV) の高度化と深層学習を用いた皮膚癌
早期判別の支援に関わる技術の提案である。また上記に加え，判別後のレーザー治療を視野に図1入れた細胞コロニー識別手法や計測装置の高度MLDV の構成

光源のレーザー光を音響光学素子 (Acousto-化として計測装置拡大についても取り組みをOptic Modulator, 以下 AOM) に入射し 2 本の行った。

ビームに分け，一方のビームには AOM 駆動周波数の変化を加える。レーザー光周波数に対[研究の内容，成果]して上記変化が加わることでレーザー光交差領
本研究では以下の 3 つについて取り組んだ。

域では一方向に動く干渉縞が形成される。動く

1．MLDV で取得した生体内血流イメージング

干渉縞を粒子が通過すると散乱光は周波数成分と皮膚表面画像を用いた深層学習による皮±ドップラー周波数を含む。この散乱光は光

膚癌判別

フ ァ イ バ ー に 集 光 さ れ 電 気 信 号 へ 変 換 後，2．癌細胞コロニー領域自動識別手法

A/D ボードを介して PC に取り込まれること

3．深層学習を用いた血流イメージングの補間で速度とその方向が判別可能となる。ここでは疑似血液として蒸留水に直径 10 μm のポリエ手法
こ こ で は 上 記 を 主 に 報 告 す る が，最 初 にチレン粒子を体積割合 5 % で混入させた作動

MLDV について説明する。

流体を対象として計測実験を行った。脈動ポンプを用いて作動流体を循環させ，レーザー交差領域を流路内に合わせた。計測範囲及び結果を― 1 ―立石科学技術振興財団

ぞれを個別に学習させた深層学習判別システムも構築した。
皮膚表面・血流イメージングの双方を入力とした深層学習モデルの学習結果を図 4 に示す。

図 2 細流路内計測例
図4

図 2 に示す。

深層学習結果 (皮膚表面・血流イメージング)

図 2 より脈動による周期的な流れや壁面ではこの結果，判別率は 99% となった。図 4 で流速が遅く，中央では速くなるような様子を確は省略しているが「生体内血流イメージングの認できる。このようにして MLDV により取得み」，「皮膚表面画像のみ」についてはそれぞれした血流情報を用いて以下の実験に取り組んだ。

98%，95% となった。提案手法が最もよい結果

1．深層学習による皮膚癌判別となったが，全ての手法で 95% 以上の判別率

取り組み 1 について，我々はこれまでにメラとなり大きな差は見られなかった。今後は判別ノーマを対象として「生体内血流イメージングが難しい画像の割合を更に増やした場合の判別のみ」，「皮膚表面画像のみ」のそれぞれを個別率の推移を観察し，提案手法の検証を行う。に学習させた深層学習による判別システムを構

2．癌細胞コロニー領域の自動識別築している[1]。その結果，「皮膚表面画像の次に取り組み 2 の癌細胞コロニー領域自動識み」は 96%，「生体内血流イメージングのみ」

別手法について報告する。我々は皮膚癌を最初は 99% と双方高い判別率となった。今回は皮期に判別すると共に，早期の治療についても視膚表面・血流イメージングの双方を入力とした野に入れて取り組んでいる。治療法の 1 つとし深層学習モデルを作成し，図 3 のようなメラてレーザーによる加熱が考えられるが，ここでノーマ植え付け最初期画像の割合を使用画像のは将来的なレーザー治療の効果検証に利用可能

5 % → 20% へ増やし，epoch 数のみ 100 とし，な癌細胞計測手法として癌細胞コロニー領域判

他パラメータは文献[1] と同様として実験を定と細胞数の自動カウントを行うシステム開発行った。また文献[1] と同様に「生体内血流イに取り組んだ。

メージングのみ」，「皮膚表面画像のみ」のそれ

2-1．細胞数カウント手法
本研究では顕微鏡で撮影した細胞画像 (以下，顕微鏡画像) に対して処理を行った。まず顕微鏡画像に対して二値化及びラベリング処理を行うことで，細胞の候補をプロットする。図 5 中の赤い点はラベリング処理後の各物体の重心であり，細胞の候補である。
しかしながら，細胞以外の物体 (図中点線)

図3

メラノーマ植え付け最初期画像例も細胞として識別してしまう。この問題を解決― 2 ―Tateisi Science and Technology Foundation

図5

ラベリング処理後の画像するために，コロニー領域を予測し，その領域

図6

学習結果 (コロニー領域判定)と物体の重心が重なった部分を癌細胞としてカウントする手法を我々は提案する。コロニー領あった。
処理前画像を図 7 に，二値化・ラベリング処域予測には深層学習を用いる。
2-2．深層学習を用いたコロニー領域判定

理画像を図 8 に示す。学習済み CNN モデルを深層学習で使用する学習用データを以下の手適用した結果を図 9 に示す。コロニー領域とし順で作成した。まず顕微鏡画像を 60×60pixelごとに分割を行った。学習タスクは二値分類問題とし，「コロニー領域」か「コロニー領域でない」という分類とした。この分割された画像
1 枚 1 枚が分類対象，すなわち訓練データとなる。また，分割画像は顕微鏡画像 1 枚に対し，576 枚である。さらに分割画像に 90 度回転の水増し処理を行い，1 枚に対して 4 パターンの図7画像を生成した。学習には一般的な畳み込み処理前画像

ニューラルネットワーク (CNN) を用いた。
CNN の 実 装 に は，Anaconda Navigator とJupyter Notebook をフレームワークとして使用 し た。ラ イ ブ ラ リ と し て TensorFlow とKeras を用いた。実験に使用したパラメータを
表 1 に示す。
表1
Number of Images
Activation Function
Validation Method
Dataset

実験パラメータ

図 8 二値化・ラベリング処理画像

32,443
Relu Function
Hold-out
Training: 30,600, Test: 1843

深層学習の結果を図 6 に示す。訓練データとテストデータの Accuracy を示している。約20 epoch 程度で 98% に達し収束している。最終 epoch 時の訓練データ，テストデータの正答 率 は そ れ ぞ れ 98.8%，98.3% と 高 い 精 度 で― 3 ―図9コロニー領域予測結果

立石科学技術振興財団

図 10

コロニー領域とラベリング処理の合成結果

図 13て予測した範囲を白く塗りつぶしている。この

表2

予測領域と，二値化・ラベリングの処理を合わ

本手法による細胞候補画像

細胞数のカウント結果
Error rate average (SD)せた結果を図 10 に示す。青枠がコロニー予測

ImageJ
Proposed Method

領域である。

15.1% (6.4)
2.1% (1.4)

また細胞カウント精度の検証を行った。ここでは，広く利用されているオープンソースソフ標準偏差値である。

トウェアである ImageJ と目視検査との比較を提案手法は誤差の平均と標準偏差が ImageJ行った。元画像を図 11 に，ImageJ の画像を図よりも低い値となった。また，図 5 中において12 に，本手法の結果を図 13 にそれぞれ示す。

点線で囲んだような細胞以外の物体については目視検査は 170 個であったのに対して，Image除外されている様子が確認できた。これらはJ の結果は 207 個，本手法の結果は 177 個でImageJ では細胞と判定されている。このようあった。に今回は細胞のコロニー領域とそこに含まれる同様の処理を学習に使用していないデータ

細胞の数を深層学習を用いて定量的に計測する

100 枚について行った。結果を表 2 に示す。表

手法を提案した。実験の結果，ImageJ と比較

中の値は目視検査の値との誤差の平均 (%) として誤差の平均値が 10% 以上向上し，目視検査に近い計測値となった。本手法の特長はコロニー領域を自動で判別可能な点である。我々はこれまでに取り組み 1 で報告した，深層学習を用いたメラノーマ判別手法を提案している。今後はその発展として，メラノーマと判別した部位に対してレーザー治療を行うことを検討している。本手法はレーザー治療の効果を細胞やコ

図 11

カウント前画像ロニー単位の定量的に評価することに応用できる可能性がある。今後は死滅細胞を判別可能な学習モデルの構築を目指す。
3．血流イメージング補間手法

最後に取り組み 3 の深層学習を用いた血流イメージングの補間手法について報告する。我々の開発した MLDV は前述したように高性能な装置である。しかしながら，計測領域については格子状に配置した光ファイバーの径を小さく
図 12

ImageJ によるカウント画像することで空間分解能を高くできるが，計測領― 4 ―Tateisi Science and Technology Foundation

域は狭くなるというトレードオフを持つ。将来

Term Memory (LSTM) を用いた。単一代入的な人体での利用を考えた場合，計測領域の拡法，線形回帰ニューラルネットワークと提案手大は必須の技術的課題である。このような高解法の比較を行った。実測値と予測値の誤差につ像度化と計測領域の拡大の共存については，深い て は 平 均 絶 対 パ ー セ ン ト 誤 差 (Mean

層学習による計測画像補間を検討する。ハード

Absolute Percentage Error，以 下 MAPE) をウェア的なチャンネル数増加とソフトウェア的用いて評価を行った。訓練データとしてチャンなチャンネル数削減を併用することでこれまで

ネル毎 15107 ステップ分，テストデータとして以上の計測領域の拡大を目指す。これにより同1400 ステップ分のデータを準備した。ルック

じチャンネル数であっても間隔を粗とした広範

バックは 300 ステップとした。実験結果を表 3

囲計測を行い，異常部位では間隔を密とした詳に示す。

細計測などの使用法も可能となる。まず，本研

表3

究では間隔を詰めて計測したデータを用いて，補間処理結果未計測部位と仮定した部位の流速値を深層学習により補間する手法について取り組んだ。実施
方法としては図 14 に示すような幅 1.4 mm の細流路内の 16 点について計測し，計測後，図15 に示す 7 パターンで補間処理を行った。図中の白領域 (ch6) は実測値が存在する。ここでは近傍値を用いた予測値と実測値の比較を行った。
本実験では深層学習手法として Long Short-単一代入法では 20% 前後，線形回帰ニュー
ラルネットワークでは 10% 前後，LSTM では5 % 前後の MAPE となった。
[まとめ]

本研究では MLDV の高度化と深層学習を用
図 14

細流路内の計測領域いた皮膚癌早期判別の支援に関わる技術，また判別後のレーザー治療や計測装置の高度化についての取り組みとして (1) MLDV で取得した
生体内血流イメージングと皮膚表面画像を用いた深層学習による皮膚癌判別，(2) 癌細胞コロニー領域自動識別手法，(3) 深層学習を用いた血流イメージングの補間手法の 3 点を実施した。
上記の研究を通して，メラノーマ判別率の向上，

図 15

補間処理に用いる近傍パターン

コロニー領域内細胞数の自動カウント，深層学― 5 ―立石科学技術振興財団

習による血流速計測値補間の可能性について確認することができた。

[成果の発表，論文など][ 1 ] Shunsuke Akiguchi, Tomoaki Kyoden, TaikiTerabayashi, Noboru Yamada, Tsugunobu Andoh,Tadashi Hachiga, “Deep Learning Method for[参考文献][1]

Extracting Areas of Cancer Cells Using Microscope

Shunsuke Akiguchi, Tomoaki Kyoden, TomokiImages”, IEEJ Transactions on Electrical and Elec-Tajiri, Tsugunobu Andoh, Tadashi Hachiga, “Deeptronic Engineering, https: //doi. org/10. 1002/tee.

Learning Method for Melanoma Discrimination

23790, 2023 (Early View)

Using Blood Flow Distribution Images”, IEEJ

[ 2 ] R. Shimazaki, S. Akiguchi, T. Kyouden, T. Ando,

Transactions on Electrical and Electronic Engi-N. Yamada, S. Tsuchida, T. Hachiga, “Multipoint

neering, Volume 16, Issue 5, 813-815, 2021

blood flow measurement system using laser Doppler
velocimetry combined with acousto-optic modulator”, The 7th International Conference on “Scienceof Technology Innovation, 2022

― 6 ―