立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (C) ]神経を無染色かつリアルタイムに可視化する
イメージガイド手術支援装置の開発
Development of an image-guided surgery tool for visualizing nerves in a label-free manner and real-time
2217011

研究代表者

北海道大学

大学院情報科学院

博士後期課程大和尚

記

な硬性内視鏡を開発することを目的としている。

[研 究 の 目 的][研究の内容，成果]

外科手術後の身体機能障害を抑制するために，末梢神経の温存が重要である。神経損傷により，慢性的な痛みや身体機能障害を引き起こすこと

1．神経抽出を用いたイメージング速度高速化が報告されている[1, 2]。末梢神経は，細く，非線形ラマン散乱画像から神経領域を抽出す

無色透明なため，拡大内視鏡を用いたとしてもる深層学習モデルの構築を行い，イメージング視認することは困難である。神経温存は，術者速度の向上を評価した。脂質の分子振動を用いの経験や解剖学的知見により行われている。術た非線形ラマン散乱画像では，神経以外の組織中に神経を可視化することで，神経温存率が向も描出されることが課題として挙げられる。た上し，術後の予後が改善することが期待される。

だし，神経の形状が特徴的であるため，画像認

当研究室では，非線形ラマン散乱を利用する識の深層学習を行うことで，神経の領域識別すことで，無染色に神経を可視化する硬性内視鏡ることができる[5]。本研究では，露光時間のの開発を行ってきた[3, 4]。非線形ラマン散乱

短い，信号帯雑音比の低い画像からの神経抽出では，2 色の超短パルスレーザーを試料へ照射を行うことで，イメージング速度の向上を評価

すると，分子振動と相互作用することで，波長した。のシフトした散乱光が発生する。分子振動は，深層学習のモデルとして，セマンティックセ分子を構成する原子や化学結合の種類により固グメンテーションで有名な U-Net を使用した

有な振動数を有しており，分子振動情報を利用(図 1) [6]。これは，前半のエンコーダと後半したイメージングを無染色に行うことができる。のデコーダから構成されており，エンコーダで有髄神経は軸索を脂質膜が覆う構造をしている

は特徴量の抽出，デコーダでは抽出された特徴ため，脂質の分子振動を利用することで神経の量から出力画像の生成を行う。ミニバッチサイ

可視化を行うことが可能である。ウサギ前立腺

ズは 32，損失関数には以前の学習と同様な関筋膜の末梢神経の可視化を実証した[4]。1 枚数を使用した[5]。Learning rate を 10 −3 とし，の画像取得に 3 分程度要するため，イメージンAdam を使用した。ウサギ前立腺筋膜の末梢神グ速度の高速化が課題であった。

経を非線形ラマン散乱硬性内視鏡で観察し，学本研究では，深層学習による画像処理や光学習用データを合計 3600 枚 (1 箇所あたり 100系の改良を組み合わせることで，さらに実用的枚，合計 36 箇所) 取得した。各箇所，露光時― 1 ―立石科学技術振興財団

神経抽出によるイメージング速度の高速化を評価した。以前提案した，画像処理後の画像が医用画像に必要な画質を満たす最速のイメージング速度をそれぞれ比較することで，イメージング速度の評価を行った[7]。ここでは，Dice係数 0.8 を医用画像に必要な性能として用いた[8, 9]。神経抽出の学習結果では，最短の露光
時 間 1.6 秒 (0.625 fps) の 入 力 画 像 に 対 し，Dice 係数が 0.8 を超えている。したがって，神図1

UNet の構造．前半 (赤色) のエンコーダが入力画像の特徴量を抽出し，後半 (青色) のデコーダが抽出

経抽出によりイメージング速度を (0.625 fps)へ向上することができた。今後は，より短い露間 1.6 秒の画像を 100 枚取得し，平均化する枚光時間での性能評価を行う必要がある。

数を変えることで露光時間の異なる入力画像を次に，同じ学習データを用いて，ノイズ除去作成した。訓練 2400 枚，検証 600 枚，テストによる高速化を評価した。神経抽出と同様に，600 枚 へ と 分 割 し 学 習 を 行 っ た。

医用画像に必要な画質 (Peak signal-to-noise

Augmentation と し て，random flip，randomratio (PSNR) =30 dB, structural similarity

rotation (90 度 と 270 度)，random cropping(SSIM)=0.8) [10, 11] を満たす，等価イメーを使用した。学習の際には，入力画像の露光時ジングレート (EIR) を算出しイメージング速間がランダムとなるように設定している。評価度の比較を行う。等価イメージングレートは，指標には，正解画像と出力画像の領域の重なりPSNR を基準に求めた EIR PSNR と SSIM を基準具合を表す Dice 係数 (0-1 の値をとり，1 に近に求めた EIR SSIMの調和平均とした[7]。ノイズいほど 2 枚の画像が近いことを示す) を用いた。

除去の学習は神経抽出とは異なり，各露光時神経抽出の学習結果を図 2 に示す。ここでは，間で学習を行い，テスト画像に対する評価指神経抽出性能と学習画像枚数の関係を確認する標の平均値をプロットした (図 2a)。それぞために，訓練画像を 2400 枚，1200 枚，600 枚れ，青色がノイズ除去前の指標，橙色がノイズとして学習した。図 2(a) は，テスト画像に対除去後の指標を示し，露光時間の短い領域で画する Dice 係数の平均値を示しており，入力画質が大幅に向上していることがわかる。図 2a

像の露光時間ごとにプロットしている。学習枚の赤色破線は，それぞれの指標に必要とされて数に関わらず，露光時間の短い領域では，Diceいる基準 (PSNR=30, SSIM=0.8) を示す。ノ係数が低下し，神経の抽出性能が低下している

イズ除去前の EIR は 0.011 fps (EIR PSNR =0.54ことがわかる。訓練に使用する画像の枚数間でimages/min，EIR SSIM =0.92 images/min) であ比較を行うと，600 枚の学習結果で大幅な Dice

り，ノイズ除去後の EIR は 0.013 fps (EIR PSNR係数の低下が確認され，1200 枚以上は学習量=0.57 images/min， EIR SSIM =1.28 images/が必要であることがわかる。

min) であった。したがって，ノイズ除去による高速化では，0.013 fps へ高速化可能なことがわかった。図 2b にはノイズ除去画像の例が示されている。ノイズ除去前後で SSIM=0.8を満たす露光時間 48 秒と 56 秒の例を示してお

図2

神経抽出の学習結果．(a) 入力画像の露光時間とDice 係数の関係 (b) 神経抽出画像

り，正解画像 (GT image) と区別できない程度に，復元できていることがわかる。

― 2 ―Tateisi Science and Technology Foundation[成果の発表，論文など]
1 ．Naoki Yamato, Hirohiko Niioka, Jun Miyake,Mamoru Hashimoto, “Near real-time nerve visualization using coherent Raman scattering rigid endoscope and deep learning-based image processing
for nerve-sparing surgery” in Biomedical Vibrational Spectroscopy 2022: Advances in Research and
図3

Industry (SPIE, 2022), vol. 11957, pp. 63-68.

ノイズ除去の学習結果

2 ．2022 年度 C&C 若手優秀論文賞，公益財団法人

神経抽出とノイズ除去による高速化を比較す

NEC C&C 財団，2023 年 1 月 24 日

ると神経抽出の方が 57 倍高速化できることがわかった。これは，学習課題の難易度が異なるために，大きな差が生じたと考えられる。ノイズ除去では，正解画像と区別することができな
い程度の画質を復元することが求められる。一方で，神経抽出は領域を出力することが求められる。領域を出力する課題の方が，学習難易度[参考文献][ 1 ] J. E. Terrell, D. E. Welsh, C. R. Bradford, D. B.
Chepeha, R. M. Esclamado, N. D. Hogikyan, G. T.
Wolf, Pain, quality of life, and spinal accessory nerve
status after neck dissection. Laryngoscope. 110,620-626 (2000).
[ 2 ] S. D. Kundu, K. A. Roehl, S. E. Eggener, J. A. V.
Antenor, M. Han, W. J. Catalona, Potency, conti-が低く，信号帯雑音比の低い画像に対しても高nence and complications in 3,477 consecutive radical

性能な結果になったと考えられる。

retropubic prostatectomies. J. Urol. 172, 2227-2231

最後に，神経抽出モデルの汎化性能について評価を行った。汎化性能とは，未知のデータに(2004).
[ 3 ] K. Hirose, T. Aoki, T. Furukawa, S. Fukushima,
H. Niioka, S. Deguchi, M. Hashimoto, Coherent anti-対する性能を意味する。今回の学習データは，

Stokes Raman scattering rigid endoscope toward

すべて神経を含む画像であったため，神経以外robot-assisted surgery. Biomed. Opt. Express. 9,の組織が描出された画像に対する性能を確認し387-396 (2018).
[ 4 ] K. Hirose, T. Aoki, T. Furukawa, S. Fukushima,

た。神経以外の組織を含む 5 枚の非線形ラマン

H. Niioka, S. Deguchi, M. Hashimoto, Coherent anti-

散乱画像を新しく取得し，学習済みモデルへ入Stokes Raman scattering rigid endoscope toward

力 し た。Dice 係 数 の 平 均 値 と 標 準 偏 差 は，

robot-assisted surgery. Biomed. Opt. Express. 9,387-396 (2018).

1.00±0.00 (2,400 枚 学 習 モ デ ル)，1.00±0.00[ 5 ] N. Yamato, M. Matsuya, H. Niioka, J. Miyake, M.

(1,200 枚学習モデル)，0.964±0.08 (600 枚学

Hashimoto, Nerve Segmentation with Deep Lear-習モデル) であった。学習には使用していない

ning from Label-Free Endoscopic Images Obtained

未知の画像に対しても高い評価指標を示したことから，これらのモデルの汎化性能は高いこと

Using Coherent Anti-Stokes Raman Scattering.
Biomolecules. 10, 1012 (2020).
[ 6 ] O. Ronneberger, P. Fischer, T. Brox, “U-Net:Convolutional Networks for Biomedical Imageがわかる。

Segmentation” in Medical Image Computing andComputer-Assisted Intervention - MICCAI 2015

[今後の研究の方向，課題](Springer International Publishing, 2015), pp. 234241.

今後は，1.6 秒よりも短い露光時間での性能を評価し，実際に非線形ラマン散乱画像を取得しながらの処理性能などについて検討する必要[ 7 ] N. Yamato, H. Niioka, J. Miyake, M. Hashimoto,Improvement of nerve imaging speed with coherent
anti-Stokes Raman scattering rigid endoscope using
deep-learning noise reduction. Sci. Rep. 10, 15212(2020).

がある。

[ 8 ] K. Dolde, C. Dávid, G. Echner, R. Floca, C.

― 3 ―立石科学技術振興財団

Hentschke, F. Maier, N. Niebuhr, K. Ohmstedt, N.

Image

Saito, M. Alimusaj, B. Fluegel, P. Naumann, C.

Imaging-Guided Online Adaptive Radiation Thera-Registration

forMagnetic

Resonance

Dreher, M. Freitag, A. Pfaffenberger, 4DMRI-based

py: A Feasibility Study. Advances in radiation on-analysis of inter- and intrafractional pancreas mo-cology. 5, 1350-1358 (2020).

tion and deformation with different immobilization[10] R. Shyam Sunder, C. Eswaran, N. Sriraam,devices. Biomedical Physics & Engineering Express.

Medical image compression using 3-D Hartley

5, 025012 (2019).

transform. Comput. Biol. Med. 36, 958-973 (2006).

[9]

Y. Zhang, E. Paulson, S. Lim, W. A. Hall, E.

[11] S. Pudlewski, T. Melodia, Compressive Video

Ahunbay, N. J. Mickevicius, M. W. Straza, B.

Streaming: Design and Rate-Energy-Distortion

Erickson, X. A. Li, A Patient-Specific Autoseg-Analysis. IEEE Trans. Multimedia. 15, 2072-2086

mentation Strategy Using Multi-Input Deformable(2013).

― 4 ―