GS2-5-13
LIFE2012 2012 年 11 月 2 日–4 日 愛知 (名古屋大学)

内視鏡検査支援のための全焦点画像生成手法の開発

Development of All In Focus Algorithm for support of endoscopy○小関洵矢 大原賢一 小嶋勝 前泰志 新井健生 (大阪大学) 松井裕史 (筑波大学)
Junya Koseki, Kenichi OHARA, Masaru KOJIMA Yasushi MAE
Tatsuo ARAI, Osaka Univ, Hirofumi MATSUI, Tsukuba Univ.
Abstract: Generally, the operation of endoscope requires an experience and skill for operators, because of diﬃculties
of correctly focusing on the target region. To support their work, vision system, which can produce images to be easyto understand, is required. In this paper, we propose the all-in-focus image creation algorithm with image correction
algorithm for a rotation, translation, and scale change. Through the experiment, proposed algorithm could create ﬁne
all-in-focus image for endoscopic view.
Key Words: Endoscopic view, All-in-Focus image1.

緒言

内視鏡は，先端に小型カメラを内蔵した太さ１ cm 程の細長い管を体内に挿入し，管内の検査，および治療を行う機器である．一般的に内視鏡の被写界深度は浅く，対象が脈動するため，注視対象に適切に焦点を合わせるためには，医師の経験と高度な技術が求められる．内視鏡検査の効率を上げていくために，こうした焦点深度の浅さや，脈動にもロバストに対応可能なビジョンシステムが求められている．本研究では，内視鏡検査における焦点深度の浅さに起因する検査効率の低下の克服を目的として，画像のすべての画素に焦点があった全焦点画像および撮像環境の３次元形状復元を可能にする技術の開発を目指している．
これまで，大場ら (1) は，顕微鏡画像を対象とし，焦点距離を変えながら撮像された画像を用い，全ての面に焦点の合った画像である全焦点画像の生成，及び Depth from
Focus 理論に基づいた奥行き画像の取得，及びその実時間処理システムの開発に成功してきた．この手法では，微小時間内で対象物が動作しないことを前提としているため，管内の脈動などに対応することは困難である．しかしながら，全焦点画像および単眼での奥行き情報を獲得可能であるため，内視鏡検査の支援に十分に適用可能といえる．
本稿では，基礎検証として，脈動や手ぶれなどによる並進・回転・拡大などの画像変化に対応した全焦点画像生成手法について提案する．
2. 画像変化に対応した全焦点画像生成手法
2-1 全焦点画像生成アルゴリズムの概要本研究では，大場ら (1) の提案する IQM 値を用いた全焦点画像生成手法に注目する．IQM 値は焦点の合い具合の評価指標であり，次式から導出される．

IQM =xfyfLcLr∑
1 ∑ ∑{ ∑|I(x, y) − I(x + p,D x=x y=yii p=−Lc q=−Lr}y + q)| (D = (xf − xi ) × (yf − yi ))(1)

式 (1) では，画像内の高周波成分の抽出と平滑化を行う
ための局所領域から IQM 値の導出を行っている．全焦点画像生成のためには等間隔で焦点面を移動させながら撮影した画像列を取得し，各画像の各画素毎における IQM値が最大の画素値を抽出し，1 枚の画像を合成する．またDepth From Focus 理論に基づき，焦点の合っている面の−1−Fig. 1 Derivation Model

情報から距離情報を獲得できる．しかし，内視鏡のように手ぶれ，さらには周囲の脈動により画像自体に並進・回転・倍率変化が起こる対象に対しては，画像間の変化量の推定，およびその補正が必要となる．
2-2 画像補正アルゴリズムの提案
手ぶれ，脈動などによる画像変化量を推定し，推定結果に基づいた補正画像を用いた全焦点画像の生成を目指す．
本提案手法では，平井らの画像間の変化量推定手法 (2) を拡張し，誤検出による推定結果の誤差の低減を可能にする．
本アルゴリズムでは，最初に注目画像および一つ前の獲得画像に注目し，各画像において SIFT 特徴量の導出，および特徴点同士のマッチングを行う．マッチング結果
に対し，フレームの前後の画像の特徴点の座標を (x, y)，(X, Y )，回転角度を θ, 倍率を α, 平行移動を (tx , ty )，対応点数を n としたとき，以下の 3 つの式を解くことで各パラメータを求めることが出来る．図 1 にアルゴリズムの概要を示す．なお，この図において (xi , yi )，(Xi , Yi ) はマッチングの固定点，(xk , yk )，(Xk , Yk ) はマッチングの任意点で，k の範囲は (0 ≤ k ≤ n，k �= i) である．(xk , yk )と (Xk , Yk ) は前後の画像のはマッチング対応点であり，(txk , tyk ) は (Xk , Yk ) と (xk , yk ) における並進を表す.

√(Xk − Xi )2 + (Yk − Yi )2(0 ≤ k ≤ n, k �= i)(2)α= √(xk − xi )2 + (yk − yi )2

Fig. 2 Experimentenvironmentθ = T an−1

(txktyk)=(Yk − Yiy k − yi− T an−1Xk − Xi
xk − xi(0 ≤ k ≤ n, k �= i)
Xk
Yk

Fig. 4 Target object

Fig. 3 Rotation mechanism)−α((cos θsin θ)xk
yk− sin θcos θ(3))(0 ≤ k ≤ n)

(4)

式 (2) は，ベクトル (Xk −Xi , Yk −Yi ) の絶対値をベクトル (xk − xi , yk − yi ) の絶対値で割ることで倍率を導いている．式 (3) は，T an−1 を用いて，ベクトル (Xk −Xi , Yk −Yi )とベクトル (xk − xi , yk − yi ) の成す角から回転を導いている．式 (4) は式 (2)，(3) で求めた θ ，α を用いて並進移動量を導いている．また，前後画像の変化量より，漸近式(5) を用いて前後画像以外の変化量パラメータを導くことができる．

[XY1]

=

[α cos θα sin θ0−α sin θα cos θ0txty1][xy1]Fig. 6 rotation estimation

Fig. 7 AIF image(previous method)(5)

ただし，変化量推定誤差低減のためには正確な対応点検出が求められる．そこで，誤検出結果を除去することを目的に，検出点に対して RANSAC を適用している．
このように，SIFT 特徴量の抽出，マッチング，RANSACによる誤検出点の除去，対応点情報に基づく画像間の変化量推定結果に基づく補正画像を用いることで安定した全焦点画像の生成が可能となる．
3. 提案手法検証実験
3-1 実験データの準備

Fig. 5 SIFT featurematching result

提案手法の評価に辺り，内視鏡により撮影した複数枚の画像を用いる．実験システムを図 2，3 に示す．本実験では，対象物として，図 4 に示すような厚さ 0.4mm の階段状の物体を用いた．画像の撮影にあたり，マイクロメータの先に対象物を設置し，設置面と並行になるように内視鏡の先端を設置し，画像の撮影を行った．なお，本実験では，特に回転方向のぶれに対する提案手法の有効性の検証を目的とし，マイクロメータのメモリに従い 7.2 度ずつ回転させながら撮影した計 20 枚の画像を用いる．
3-2 回転角度推定実験結果
図 6 では実験で用いた 1 枚目と 2 枚目の画像間での対応点の検出状況を示している．このようにして検出された対応点から画像間の変化量の推定を実験で用いた全ての画像において行った．

Fig. 8 AIF image(proposed method)

提案手法において角度推定を行った結果を図 6 に示す．
提案手法における推定角度は 7.44 度であり，十分な精度での推定結果が得ることができた．
また，この推定された回転量に従い生成された全焦点画像を図 8 に，提案手法を用いずに作成された全焦点画像を図 7 に示す．これらの図から，提案手法では正確に全焦点画像の生成が行えており，提案手法が有効であることを確認できる．
4.

結言

本稿では，内視鏡検査支援を目的とした全焦点画像生成手法を提案した．本手法では，SIFT 特徴量に基づく対応点検出，および RANSAC による誤検出点の除去，また回転量の推定を組み合わせた提案手法により，回転にも対応した全焦点画像の生成が可能である．本稿では，回転量のみに注目したが，今後，倍率変化に対する有効性の検証を行う．
参考文献

−2−

(1) 大場光太郎, “実時間全焦点顕微鏡の開発・製品化”, シンセオロジー研究論文, Vol. 2, pp. 264–275, 2009.
(2) 加藤禎章, 平井慎一, “投票による SIFT を用いた物体移動量計測”, 日本機械学会ロボティクス・メカトロニ
クス講演会予稿集, 2P1-E05, 2010.