(57)【要約】  細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることを目的として、本発明に係る画像処理装置（８）は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、長手方向に沿う異なる位置で被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各画像に光学系の中心軸を設定して、設定された中心軸を用いて画像をそれぞれ極座標変換する画像変換部（１１）と、極座標変換された２枚の変換後画像の対応点を検出する対応点検出部（１２）と、２枚の画像の撮影位置の長手方向に沿う距離と、対応点検出部（１２）により検出された２枚の変換後画像の対応点とに基づいて、被観察部材の内周面の光学系の中心軸からの距離を算出する距離算出部（１３）とを備える。
2017145270.tif 000002
【特許請求の範囲】
【請求項１】
管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換部と、
該画像変換部により極座標変換された２枚の変換後画像の対応点を検出する対応点検出部と、
２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出部により検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出部とを備える画像処理装置。
【請求項２】
前記画像変換部が、取得された各前記画像を処理して前記光学系の前記中心軸を設定する請求項１に記載の画像処理装置。
【請求項３】
前記画像変換部が、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の前記中心軸を設定して極座標変換を行う請求項１に記載の画像処理装置。
【請求項４】
管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換ステップと、
該画像変換ステップにより極座標変換された２枚の変換後画像の対応点を検出する対応点検出ステップと、
２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出ステップにより検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出ステップとを含む画像処理方法。
【請求項５】
前記画像変換ステップが、取得された各前記画像を処理して前記光学系の前記中心軸を設定する中心軸設定ステップを含む請求項４に記載の画像処理方法。
【請求項６】
前記中心軸設定ステップが、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の中心軸を設定する請求項５に記載の画像処理方法。
【請求項７】
管状の被観察部材の内部に長手方向に沿って挿入され、中心軸に対して少なくとも９０°方向の視野を有する光学系を有する撮像部と、
該撮像部の前記光学系が前記長手方向に沿って移動した距離を設定する距離設定部と、
前記光学系を前記長手方向に沿う異なる位置に移動して前記撮像部により前記被観察部材の内周面を撮影することにより取得された２枚の画像を処理する請求項１から請求項３のいずれかに記載の画像処理装置とを備える内視鏡。
【請求項８】
前記撮像部の前記光学系が、前記中心軸に対して、片側に９０°より大きい視野を有する請求項７に記載の内視鏡。
【請求項９】
前記光学系の移動量を検出するセンサを備える請求項７または請求項８に記載の内視鏡。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法および内視鏡に関するものである。
【背景技術】
【０００２】
内視鏡を用いた観察において、ステレオ光学系によって視差画像を取得し、取得された視差画像から被写体の高さ情報を取得する方法が知られている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５０７３５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１の内視鏡は、挿入部の先端面に配置した２つのレンズによって２つの視差画像を同時に取得するものであるが、被写体が、消化管等の細長い管状臓器の内面に配置されている場合に、挿入部の先端面を被写体に向けることが困難である。
本発明は、上述した事情に鑑みてなされたものであって、細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることができる画像処理装置、画像処理方法および内視鏡を提供することを目的としている。
【課題を解決するための手段】
【０００５】
本発明の一態様は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された各前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換部と、該画像変換部により極座標変換された２枚の変換後画像の対応点を検出する対応点検出部と、２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出部により検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出部とを備える画像処理装置である。【０００６】
本態様によれば、管状の被観察部材の内部に光学系を挿入して、長手方向の異なる２箇所で撮影を行うことにより取得された被観察部材の内周面の２枚の画像と、２枚の画像の撮影位置間の距離とが入力され、画像変換部において、入力された各画像に光学系の中心軸が設定されて、該中心軸を用いた極座標変換が行われる。そして、対応点検出部において２枚の変換後画像の対応点が検出され、距離算出部において、検出された対応点と入力された撮影位置間の距離とに基づいて被観察部材の内周面の光学系の中心軸からの距離が算出される。【０００７】
中心軸に対して少なくとも９０°方向の視野を有する光学系により、いわゆる側視によって取得された管状の被観察部材の周方向に沿う画像を用いて光学系の中心軸からの内周面までの距離が算出されるので、細長い管状の被観察部材の内面に配置された被写体の高さ情報を簡易に求めることができる。【０００８】
上記態様においては、前記画像変換部が、取得された各前記画像を処理して前記光学系の前記中心軸を設定してもよい。
このようにすることで、２枚の画像が画像変換部に入力されるだけで、各画像が処理されて光学系の中心軸が設定され、設定された中心軸を用いて極座標変換が行われる。【０００９】
また、上記態様においては、前記画像変換部が、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の前記中心軸を設定して極座標変換を行ってもよい。
このようにすることで、管状の被観察部材の長手方向に対して光学系の中心軸が傾いている場合においても、画像の各部についての光学系の中心軸が異なるため、分割された各領域毎に中心軸を設定することによって、画像全体に設定される光学系の中心軸を管状部材の長手方向に擬似的に一致させることができる。これにより、２つの画像間の対応点検出を精度よく実施して中心軸からの距離を精度よく算出することができる。【００１０】
また、本発明の他の態様は、管状の被観察部材の内部に長手方向に沿って、中心軸に対して少なくとも９０°方向の視野を有する光学系を挿入して、前記長手方向に沿う異なる位置で前記被観察部材の内周面を撮影することにより取得された２枚の画像が入力され、入力された前記画像に前記光学系の前記中心軸を設定して、設定された前記中心軸を用いて前記画像をそれぞれ極座標変換する画像変換ステップと、該画像変換ステップにより極座標変換された２枚の変換後画像の対応点を検出する対応点検出ステップと、２枚の前記画像の撮影位置の前記長手方向に沿う距離と、前記対応点検出ステップにより検出された２枚の前記変換後画像の対応点とに基づいて、前記被観察部材の前記内周面の前記光学系の中心軸からの距離を算出する距離算出ステップとを含む画像処理方法である。【００１１】
上記態様においては、前記画像変換ステップが、取得された各前記画像を処理して前記光学系の前記中心軸を設定する中心軸設定ステップを含んでいてもよい。
また、上記態様においては、前記中心軸設定ステップが、取得された各前記画像を複数の領域に分割し、分割された各領域について前記光学系の中心軸を設定してもよい。【００１２】
また、本発明の他の態様は、管状の被観察部材の内部に長手方向に沿って挿入され、中心軸に対して少なくとも９０°方向の視野を有する光学系を有する撮像部と、該撮像部の前記光学系が前記長手方向に沿って移動した距離を設定する距離設定部と、前記光学系を前記長手方向に沿う異なる位置に移動して前記撮像部により前記被観察部材の内周面を撮影することにより取得された２枚の画像を処理する上記いずれかの態様の画像処理装置とを備える内視鏡である。【００１３】
上記態様においては、前記撮像部の前記光学系が、前記中心軸に対して、片側に９０°より大きい視野を有していてもよい。
また、上記態様においては、前記光学系の移動量を検出するセンサを備えていてもよい。
【発明の効果】
【００１４】
本発明によれば、細長い管状部材の内面に配置された被写体の高さ情報を簡易に求めることができるという効果を奏する。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施形態に係る内視鏡を示すブロック図である。
【図２】図１の内視鏡に備えられる本発明の一実施形態に係る画像処理装置を示すブロック図である。
【図３Ａ】図１の内視鏡の挿入部の先端に設けられた観察光学系と管状の被観察部材との関係を示す縦断面図である。
【図３Ｂ】図３Ａの挿入部を被観察部材の長手軸方向に前進させた状態を示す縦断面図である。
【図４Ａ】図３Ａの内視鏡により取得された被観察部材の画像例を示す図である。
【図４Ｂ】図３Ｂの内視鏡により取得された被観察部材の画像例を示す図である。
【図５】図３Ｂにより取得された画像図４Ｂを複数の領域に分割し、検出された重心位置を領域毎に示す図である。
【図６】図５において検出された重心位置を領域毎に整理したデータを示す図である。
【図７Ａ】図４Ａの画像を極座標変換した画像例を示す図である。
【図７Ｂ】図４Ｂの画像を極座標変換した画像例を示す図である。
【図８】図７Ａ，７Ｂの画像から算出された高さ情報を示す図である。
【図９】図２の画像処理装置による画像処理方法を説明するフローチャートである。
【図１０Ａ】図１の内視鏡の変形例であって、円錐ミラーを有する観察光学系と管状の被観察部材との関係を示す縦断面図である。
【図１０Ｂ】図１０Ａの挿入部を被観察部材の長手軸方向に前進させた状態を示す縦断面図である。
【図１１Ａ】図１０Ａの内視鏡により取得された被観察部材の画像例を示す図である。
【図１１Ｂ】図１０Ｂの内視鏡により取得された被観察部材の画像例を示す図である。
【図１２Ａ】図１１Ａの画像を極座標変換した画像例を示す図である。
【図１２Ｂ】図１１Ｂの画像を極座標変換した画像例を示す図である。
【図１３】図１２Ａ，１２Ｂの画像から算出された高さ情報を示す図である。
【発明を実施するための形態】
【００１６】
本発明の一実施形態に係る内視鏡１および画像処理装置８について、図面を参照して以下に説明する。
本実施形態に係る内視鏡１は、図１に示されるように、消化管等の臓器のような管状の被観察部材Ａ内に挿入される細長い挿入部（撮像部）２と、該挿入部２の基端に接続された装置本体３とを備えている。
【００１７】
挿入部２の先端には挿入部２の長手方向の中心軸に一致する中心軸Ｏを有する観察光学系（光学系）４と、該観察光学系４により集光された光を撮影する、例えば、ＣＭＯＳセンサのような撮像素子５とが配置されている。観察光学系４は、例えば、図３Ａに示されるように、片側に９０°より大きい画角、例えば、約１０５°の画角を全周にわたって有する魚眼タイプのレンズ６を備えている。
【００１８】
また、挿入部２の基端側には、図１に示されるように、該挿入部２の長手軸方の移動量（距離）を検出する挿入検出部（距離設定部）７が備えられている。挿入検出部７は、例えば、挿入部２の外面に表示された目盛を撮影するカメラを備え、取得された目盛の画像を画像処理することによって、挿入部２の挿入方向位置を検出する方式のものである。これに代えて、距離設定部７としては、操作者が目盛を読み取って入力する入力装置であってもよい。
装置本体３は、撮像素子５および挿入検出部７からの信号を処理する本実施形態に係る画像処理装置８と、該画像処理装置８により処理された後の画像を表示する表示部９とを備えている。
【００１９】
本実施形態に係る画像処理装置８は、図２に示されるように、撮像素子５により取得された画像を画像処理して、該画像内における観察光学系４の中心軸Ｏの位置を検出する中心検出部１０と、該中心検出部１０により検出された観察光学系４の中心軸Ｏに基づいて画像を極座標変換する画像変換部１１と、画像変換部１１により極座標変換された２枚の画像の対応点を検出する対応点検出部１２と、該対応点検出部１２により検出された対応点および挿入検出部７により検出された２枚の画像の撮影時点での挿入部２の長手方向位置の距離とに基づいて、対応点の中心軸からの距離を算出する高さ情報算出部（距離算出部）１３とを備えている。
【００２０】
中心検出部１０は、撮像素子５により取得された図４Bに示されるような画像全体において、輝度値の分布に基づいて、図４Bに示される画像を、図５に示されるように、複数の領域Ａ１からＡ４に分割し、分割された領域毎に、記号「＋」で示されるように、輝度値の重心の位置を算出し、図６に示されるように、データベースとして記憶するようになっている。
中心検出部１０により算出された重心位置は、領域毎に、観察光学系４の中心軸Ｏが配置されている位置を示している。
【００２１】
したがって、算出された重心位置は、図５Ｂに示されるように、ほぼ一直線上に配列されるものである。このため、中心検出部１０は、当該直線から閾値以上離れている重心位置についてはエラーとして除外するようになっている。
【００２２】
画像変換部１１は、中心検出部１０により算出された領域毎の重心位置（ｘｃｉ、ｙｃｉ）を用いて、下式に従い極座標変換を行うようになっている。
Ｒ＝√（（ｘ−ｘｃｉ）２＋（ｙ−ｙｃｉ）２）
θ＝ｔａｎ−１（（ｘ−ｘｃｉ）／（ｙ−ｙｃｉ））
ここで、Ｒは観察光学系４の中心軸Ｏからの径方向の距離、θは、観察光学系４の中心軸Ｏ回りの角度である。
【００２３】
これにより、図７Ａ，７Ｂに示されるように極座標変換された画像が生成されるようになっている。
中心検出部１０による重心位置の検出および画像変換部１１による極座標変換は、図３Ａ，３Ｂに示されるように、挿入部２の長手方向の位置を異ならせた２箇所において撮像素子５により取得された、図４Ａ，４Ｂに示される２枚の画像についてそれぞれ実施されるようになっている。
【００２４】
そして、画像変換部１１から極座標変換された変換後の２枚の画像が対応点検出部１２に送られることにより、対応点検出部１２において、ＳＳＤ法等の一般的なテンプレートマッチング処理により、２枚の画像間における対応点が検出されるようになっている。
また、対応点検出部１２において検出された対応点間の画素数差と、挿入検出部７により検出された２枚の画像の撮影位置間の挿入部２の移動量とが高さ情報算出部１３に入力され、対応点間の画素数差と挿入部２の移動量とに基づいて、中心検出部１０において検出された観察光学系４の中心軸Ｏからの距離が三角測量法によって算出されるようになっている。
【００２５】
そして、高さ情報算出部１３により算出された中心軸Ｏからの距離（高さ情報）を、例えば、図８に示されるように、最後に取得された画像の対応点位置に表示した画像を生成し、表示部９に出力するようになっている。高さ情報の画像表示については、例えば、距離の大きさに応じて色を異ならせることが挙げられる。
【００２６】
このように構成された本実施形態に係る画像処理装置８を用いた画像処理方法について以下に説明する。
本実施形態に係る画像処理装置８を用いて、画像中に存在する各部位の高さ情報を検出するには、管状の被観察部材Ａ内に挿入部２を挿入し、高さ情報を検出したい位置近傍において、挿入部２の長手方向位置を異ならせて２枚の画像を取得する。
【００２７】
取得された２枚の画像と挿入部２の移動量とが画像処理装置８に入力されると、１枚目の画像について、輝度値分布によって領域分割が行われ（ステップＳ１）、分割された各領域について中心検出部１０により観察光学系４の中心軸Ｏの検出が行われた後（中心軸設定ステップＳ２）、検出された中心軸Ｏを用いて極座標変換が領域毎に行われ（ステップＳ３）、変換後の領域毎の画像が合成されて、変換後画像が生成される（画像変換ステップＳ４）。次いで、２枚目の画像の処理が終了したか否かが判断され（ステップＳ５）、終了していない場合には、２枚目の画像についてステップＳ１からの工程が繰り返される。
【００２８】
そして、２枚分の画像の変換後画像が生成された後には、生成された変換後画像どうしの対応点の検出が行われ（対応点検出ステップＳ６）、検出された対応点間の画素数差が算出される（ステップＳ７）。算出された画素数差および挿入検出部７から入力された移動量に基づいて公知の三角測量法により、検出された各対応点における観察光学系４の中心軸Ｏからの距離が算出される（距離算出ステップＳ８）。
【００２９】
この場合において、本実施形態に係る内視鏡１によれば、挿入部２の先端面を管状の被観察部材Ａの内面に向けることなく、挿入部２を被観察部材Ａの長手軸方向に配置したままの状態で、被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができるという利点がある。
また、本実施形態に係る画像処理装置８および画像処理方法によれば、中心軸から片側９０°より大きな画角を有する観察光学系４により取得された画像に基づいて、管状の被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができるという利点がある。
【００３０】
また、本実施形態に係る内視鏡１、画像処理装置８および画像処理方法によれば、取得された画像を領域に分割して各領域について観察光学系４の中心軸Ｏの位置を検出し、検出された中心軸Ｏを用いて領域毎に極座標変換している。これにより、図３Ａ，３Ｂに示されるように、観察光学系４の中心軸Ｏが管状の被観察部材Ａの長手軸に対して傾斜している場合においても、擬似的に傾斜角度をゼロに設定して、極座標変換の精度を向上することができるという利点がある。
【００３１】
なお、本実施形態においては、輝度値によって中心軸を取り囲む複数の環状の領域に分割することとしたが、これに代えて、他の任意の方法によって分割することにしてもよい。
また、本実施形態においては、観察光学系４が中心軸Ｏから片側１０５°の画角を有することとしたが、これに代えて、９０°より大きい任意の角度の画角を有していてもよい。
【００３２】
また、本実施形態においては、観察光学系４が、中心軸Ｏから片側１０５°の画角を有する魚眼タイプのレンズ６を有する場合について説明したが、これに代えて、図１０Ａ，１０Ｂに示されるように、円錐状のミラー１４を備えるものを採用してもよい。このようにすることで、中心軸Ｏに対して７０°から１１０°の範囲に配置される被観察部材Ａの内面を全周にわたって観察し、図１１Ａ，図１１Ｂに示されるような画像を取得することができる。
【００３３】
この場合においても、取得された２枚の画像について、それぞれ観察光学系４の中心軸Ｏの検出および極座標変換を行い、図１２Ａ，１２Ｂに示されるような変換後画像について対応点を検出した後に、検出された対応点について高さ情報を算出することにより、図１３に示されるように、管状の被観察部材Ａ内面の各部位Ｂの高さ情報を簡易に取得することができる。
【００３４】
また、これに代えて、特許第５０２５３５４号公報に示されるように、側方からの光を内部で２回反射して撮像素子の方向に指向させる方式の対物レンズを有する観察光学系を採用してもよい。
また、挿入部２の移動量をカメラによって取得した画像を処理して検出することとしたが、これに代えて、ＧＰＳセンサのような位置センサによって検出してもよい。
【符号の説明】
【００３５】
１  内視鏡
２  挿入部（撮像部）
４  観察光学系（光学系）
７  挿入検出部（距離設定部）
８  画像処理装置
１１  画像変換部
１２  対応点検出部
１３  高さ情報算出部（距離算出部）
Ｓ２  中心軸設定ステップ
Ｓ４  画像変換ステップ
Ｓ６  対応点検出ステップ
Ｓ８  距離算出ステップ
Ａ  被観察部材
Ｏ  中心軸
【図１】
2017145270.tif 000003
【図２】
2017145270.tif 000004
【図３Ａ】
2017145270.tif 000005
【図３Ｂ】
2017145270.tif 000006
【図４Ａ】
2017145270.tif 000007
【図４Ｂ】
2017145270.tif 000008
【図５】
2017145270.tif 000009
【図６】
2017145270.tif 000010
【図７Ａ】
2017145270.tif 000011
【図７Ｂ】
2017145270.tif 000012
【図８】
2017145270.tif 000013
【図９】
2017145270.tif 000014
【図１０Ａ】
2017145270.tif 000015
【図１０Ｂ】
2017145270.tif 000016
【図１１Ａ】
2017145270.tif 000017
【図１１Ｂ】
2017145270.tif 000018
【図１２Ａ】
2017145270.tif 000019
【図１２Ｂ】
2017145270.tif 000020
【図１３】
2017145270.tif 000021
【国際調査報告】
2017145270.tif 000022
2017145270.tif 000023
2017145270.tif 000024
2017145270.tif 000025