平 成 27 年 度

修士論文概要

主査

舟橋 健司

副査

岩田彰

研究室

舟橋研究室

入学年度

平成 26 年度

学籍番号26417573

氏名

須田

論文題目

内視鏡画像中の血管情報の推定に基づくポリープの三次元形状復元

智也

3D Shape Recovery of Polyp Based on Estimation of Vessel Information in Endoscope Images

1

はじめには個人差がほとんど無く, 大きさを既知と置くことが可

近年では形状復元の活用分野として, 医療の分野から能であることから, 縫合糸に代わる参照物体として血管も期待が高まっており，その一例として医療用内視鏡を用いて, この大きさをもとにポリープの絶対的な大き画像を用いた画像上に存在する腫瘍の三次元形状復元さを推定する.の適用が挙げられる．実際にポリープを切除するにあ3たり, 内視鏡画像による診断は非常に有効であるが，得血管検出と三次元形状復元
本手法では, 参照物体として血管を検出する. 形状復られる情報が二次元画像であるため，それらの情報か元に用いる血管は以下の処理を行うことで検出し, 血管ら腫瘍やポリープのサイズや正確な形状などの特徴を検出を行った二枚の画像を, 先行研究と同様に SIFT に判断することは難しく，担当する内視鏡診断医師の技より内視鏡の移動量 ∆Z, 反射係数の初期値 Cinit を推量に大きく依存するといった側面がある．そのため, 内定する. なお内視鏡の移動に関しては, 奥行方向に動か視鏡診断医師の判断によって腫瘍の判別や大きさを誤して撮影した二枚の画像を対象としている. その後, 推ると大きな問題へと発展する恐れがある. このような現定したこれら二つの値と物体表面の反射係数を一様に状から，内視鏡画像に対して腫瘍の三次元形状復元をした Lambert 画像 [2] を FMM[3] に適用し, 三次元形行うことで大きさや形状といった定量的な情報を取得

状復元を行う.

できれば，診断医師の技量に大きく依存している部分を推定するために参照物体を決め, その大きさをもとにStep 1: 二枚の画像に存在する血管を色情報とラべリング処理を用いて領域分割する.
Step 2: Step 1 にて領域分割した血管を膨張収縮処理により絞り込みを行う.
Step 3: Step 2 にて絞り込みを行った二枚の血管候補

画像中に存在するポリープの三次元形状復元を行う手画像を用いて SIFT により ∆Z および Cinit を推法が挙げられる. しかし, この手法では縫合糸と呼ばれ定する.

を軽減することが期待できる. 内視鏡を用いたポリープの形状を復元する手法はいくつか提案されているが，その中で先行研究 [1] としてポリープの絶対的な大きさる医療用糸を用いており, 画像中に縫合糸が存在するもStep 4: 入力画像 (一枚目) にて鏡面反射成分を除去し,のでないと使用できないという問題がある. 一般の内視物体表面の反射係数を一様にした画像 (Lambert 化)

鏡画像にて縫合糸が存在する画像は少なく, また手動でを用意する.

縫合糸の部分を切り取る必要があるなどの手間が掛ってしまう. そこで本研究では, 縫合糸に代わる大きさが既知である参照物体を決め, それを用いることで先行研
究にて問題となっていた復元可能な画像の種類の少なさについて改善を試みる.

2

参照物体の決定
本研究での縫合糸に代わる参照物体の決定基準として, 以下の二点を達成するものを参照物体とする.

• どのような内視鏡画像でも確認することが可能であること.

Step 5: Step 3, Step 4 にて取得した値や画像をFMM を用いてポリープの三次元形状復元を行う.

4

実験とその結果

本研究では, 内視鏡動画から切り取った二枚の画像(二枚目は一枚目の近接 5 フレーム後の画像) を用いて,画像中に存在するポリープの三次元形状復元を行う. 実
験環境を以下の表 1 に示す. なお, 血管の膨張収縮は考慮せず, 太さは一定であるとする.
表 1: 実験環境
内視鏡画像 1 のサイズ

480×410 画素• 参照物体の大きさは既知であり, 画像によって著しく変化しないもの.
内視鏡画像中にてこれら二点の条件を満たす参照物体

内視鏡画像 2 のサイズ
焦点距離1040×705 画素
近接 5 フレーム5mmとして, 本研究では血管に着目した. 血管は, 先行研究

参照物体サイズ0.1mmで用いられた縫合糸と異なり, どの内視鏡画像でも見ることが可能な物体である. また, 血管のサイズに関して二枚目の画像情報

4.1

血管検出結果わかった. これらのことから, 縫合糸など特殊な医療器本研究では, 図 1, 2 のような内視鏡画像から血管を検出し, その情報から同じく画像中に存在するポリープ具が存在しない画像においても血管を用いることで, ポリープの三次元形状復元が可能となった.の三次元形状復元を行う. なお, 図 1b, 2b は図 1a, 2aの近接 5 フレーム後の画像である. 次に本手法によって血管検出を行った結果を図 3, 4 に示す. 図 3a, 3b は
図 1 中の血管を検出し, 図 4a, 4b は図 2 中の血管を検出した.
(a) 三次元形状復元結果(b) 形状復元結果 (俯瞰)図 5: 一種類目の内視鏡画像(a) 一枚目の内視鏡画像(b) 二枚目の内視鏡画像

図 1: 内視鏡画像 1(a) 三次元形状復元結果(b) 形状復元結果 (俯瞰)図 6: 二種類目の内視鏡画像

5

むすび
本研究では, 先行研究にて用いられた縫合糸の代わり(a) 一枚目の内視鏡画像(b) 二枚目の内視鏡画像

図 2: 内視鏡画像 2として血管を参照物体とし, この情報を用いてポリープの三次元形状復元を行った. 血管は縫合糸と異なり,どの内視鏡画像でも確認することができる物体であり,またサイズを既知と置くことができることから, 縫合糸が存在しない内視鏡画像においてもポリープの形状復元が可能となった. 今後の課題としては, 検出する血管が水などによりぼやけている場合では, 検出することが困難であるため, さらなる改良が重要である. 上記の課

(a) 血管検出結果(b) 血管検出結果

図 3: 内視鏡画像 1 での血管検出

題の解決を含め, 実際の医療現場での使用を考慮したポリープの形状復元システムの完成を目指す.

参考文献[1] Y. Iwahori, D. Yamaguchi, T. Nakamura, K. Kunio “Estimating Reflectance Parameter of polyp
Using Medical Suture Information in Endoscope(a) 血管検出結果(b) 血管検出結果

図 4: 内視鏡画像 2 での血管検出

4.2

形状復元結果それぞれ血管情報 (図 3, 4) を用いて, 内視鏡の移動量および復元初期点の反射係数を推定し, Lambert 化した画像とこれら二つの値を FMM に適用し, ポリープのImage”, In Proceeding of ICPRAM 2016, pp. 503509, 2016.
[2] Y. Shimasaki, Y. Iwahori, Debanga Raj Neog,
Robert J. Woodham, M. K. Bhuyan, ”Generating Lambertian Image with Uniform Reflectancefor Endoscope Image”, International Workshop onは復元結果を上から見たものである. なお, 図 5a, 5b はAdvanced Image Technology (IWAIT2013), 1C-2
(Computer Vision 1), pp. 1-6, 2013

一種類目の内視鏡画像, 図 6a, 6b は二種類目の内視鏡[3] K. Tatematsu, Y. Iwahori, T. Nakamura, S. Fukui,

三次元形状復元結果を図 5, 6 に示す. ここで図 5b, 6b

画像中に存在するポリープを形状復元したものである.
一種類目の内視鏡画像中のポリープは, 図 5 の結果から
縦 5mm, 横 6mm, 高さ 3.5mm ほどの大きさであり, 二種類目の内視鏡画像中のポリープは, 図 6 の結果から縦5mm, 横 3.5mm, 高さ 2mm ほどの大きさであることがRobert J. Woodham, K. Kasugai “Shape from Endoscope Image based on Photometric and Geometric Constraints”, Procedia Computer Science, Elsevier, 2013.