(57)【特許請求の範囲】
【請求項１】
被検体内を対物光学系を用いて観察する観察位置及び視線方向の情報を取得するよう構成された情報取得部と、
経時変化観察に伴って変化する前記観察位置及び視線方向の情報と前記対物光学系を用いて観察する場合の画角を表す画角情報とに基づき、前記被検体の３次元画像上における前記対物光学系の画角内領域とその他の領域との境界位置を示す境界位置情報を生成するよう構成された境界位置生成部と、
前記境界位置生成部により生成された前記境界位置情報に基づき、前記３次元画像上において前記画角に入らなかった画角外領域を抽出するよう構成された画角外領域抽出部と、
前記３次元画像に基づく管腔臓器モデルに対して、前記画角外領域を識別する識別情報を付加した識別画像を生成するよう構成された画像生成部と、
を有することを特徴とする画像処理装置。
【請求項２】
前記被検体の3次元画像の情報を記憶するよう構成された記憶部と、
前記記憶部に記憶された前記３次元画像内に存在する所定の管腔臓器を前記管腔臓器モデルとして抽出するよう構成された管腔臓器抽出部と、
を備えたことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記被検体内を撮像するよう構成された撮像部を備え
前記情報取得部は、前記撮像部を構成する前記対物光学系の観察位置及び視線方向の情報を取得するように構成され、更に、
前記情報取得部で取得された前記対物光学系の前記観察位置の3次元情報を前記被検体の３次元画像の座標系に合わせ込むよう構成された位置合わせ部を備え、
前記境界位置生成部は、前記位置合わせ部によって前記３次元画像の座標系に合わせ込まれた前記対物光学系の前記観察位置及び視線方向の情報と、前記撮像部が撮像した前記被検体内の画像情報に基づき、前記境界位置情報を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
更に、前記管腔臓器モデルを表示する表示方向を3次元的に変更可能に形成され、変更された前記表示方向に表示される前記被検体の３次元画像を生成するよう構成された表示画像変更部を備え、
前記画像生成部は、前記表示画像変更部によって表示方向が変更された前記被検体の３次元画像上に前記識別情報を付加した前記識別画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像生成部は、前記表示方向を変更した際に前記表示画像変更部によって生成される前記識別画像のうち前記画角外領域が占める割合が一番大きい画像を前記識別画像として生成することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記識別画像を表示する第１のモードと、前記識別画像を表示しない第２のモードとを選択的に切り替え可能とするよう構成された表示切替部を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項７】
前記画像生成部は、前記情報取得部により取得された前記対物光学系の前記観察位置を前記識別画像に対して重畳した重畳画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項８】
前記画角外領域抽出部は、初期状態における前記観察位置としての初期位置から観察終了する状態における前記観察位置としての最終位置に至るまでの間において、前記画角外領域を抽出することを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記情報取得部により前記対物工学系の経時的な動き、及び前記対物光学系を用いて前記撮像部により取得される前記被検体内の画像が所定の条件を満たすか否かを判定するよう構成された判定部と、
前記判定部の判定結果に基づき、前記所定の条件を満たす前記対物光学系を含む前記撮像部の前記画角情報と、前記画角内で照射可能な光線ベクトルに基づき、前記画角内領域を算出し、算出された前記画角内領域を前記画角外領域抽出部によって抽出された前記画角外領域に反映されるよう構成された画角内領域抽出部と、
を備えることを特徴とする請求項３に記載の画像処理装置。
【請求項１０】
前記所定の条件は、前記情報取得部により取得された前記対物光学系の１回前及び現在の観察位置間の距離が閾値以下となる移動距離、
前記情報取得部により取得された前記対物光学系の移動方向が反転した動き反転、
前記撮像部により取得された前記被検体画像を構成する複数の画素の輝度値の和が閾値以上となる画素値、
前記情報取得部により取得された前記対物光学系の現在の観察位置と、前記現在の観察位置から視線方向にある前記被検体の３次元画像までの距離が閾値以下となる近接距離、
のいずれか１つの条件、又は２つ以上の条件からなることを特徴とする請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被検体の管腔臓器内を観察した場合に画像処理を行う画像処理装置に関する。
【背景技術】
【０００２】
近年、医療分野等において被検体内を観察する内視鏡が広く用いられる。また、内視鏡は、腎臓の腎杯等のように複雑に分岐した管腔臓器内に挿入して、病変の有無等の検査、観察に用いられる場合がある。 
従来例としての日本国特開２０１３−２７６９７号公報は、管腔臓器内に設定した視点位置に基づいて内視鏡的観察を仮想的に行う仮想内視鏡を用いて仮想内視鏡画像を生成すると共に、仮想内視鏡における観察領域と、非観察領域とを求め、管腔臓器の３次元画像から求めた画像上に観察領域と、非観察領域とを識別可能に表示する内容を開示している。 
この従来例は、管腔臓器内に設定した視点位置と視線方向における仮想内視鏡の視野角内において仮想的に光線を照射したとき、管腔臓器の内壁において光が当たる観察領域と、光が当たらない非観察領域を算出する。そして、仮想内視鏡を移動等した場合、移動した各視点位置において同様の処理を行う。【０００３】
しかしながら、上記従来例は、仮想内視鏡を設定する視点位置や視線方向を変更する度に視野角内で、管腔臓器の内壁側に仮想的な光線を照射して観察領域と、非観察領域を算出するが、観察領域と、非観察領域を算出するための管腔臓器の３次元画像情報を用いた計算量が増大する欠点がある。 
そのために、少ない計算量で観察していない領域を識別できるように画像処理できる画像処理装置が望まれる。 
本発明は上述した点に鑑みてなされたもので、少ない計算量で管腔臓器内を観察した場合における観察していない画角外領域を識別可能とする識別画像を生成することができる画像処理装置を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【０００４】
本発明の一態様の画像処理装置は、被検体内を対物光学系を用いて観察する観察位置及び視線方向の情報を取得するよう構成された情報取得部と、
経時変化観察に伴って変化する前記観察位置及び視線方向の情報と前記対物光学系を用いて観察する場合の画角を表す画角情報とに基づき、前記被検体の３次元画像上における前記対物光学系の画角内領域とその他の領域との境界位置を示す境界位置情報を生成するよう構成された境界位置生成部と、
前記境界位置生成部により生成された前記境界位置情報に基づき、前記３次元画像上において前記画角に入らなかった画角外領域を抽出するよう構成された画角外領域抽出部と、
前記３次元画像に基づく管腔臓器モデルに対して、前記画角外領域を識別する識別情報を付加した識別画像を生成するよう構成された画像生成部と、を有する。
【図面の簡単な説明】
【０００５】
【図１】図１は本発明の第１の実施形態を備えた内視鏡システムの全体構成を示す図。
【図２】図２は本発明の第１の実施形態の画像処理装置の構成を示す図。
【図３】図３は内視鏡の挿入部が挿入された状態の腎盂・腎杯を示す説明図。
【図４】図４は２つの座標系における同じ位置の位置合わせ（対応付け）する場合の説明図。
【図５Ａ】図５Ａは本発明の第１の実施形態の処理を含む処理例を示すフローチャート。
【図５Ｂ】図５Ｂは図５ＡにおけるステップＳ１０の詳細な処理を示すフローチャート。
【図６Ａ】図６Ａは腎盂・腎杯内に挿入部を挿入して撮像部の画角の境界となる境界位置のデータを取得する様子の説明図。
【図６Ｂ】図６Ｂは取得した境界位置を観察位置等のデータと共に時系列に記録する例を表形式で示す図。
【図７】図７は撮像部の画角内で撮像した画角内領域と画角外領域とを識別して表示した様子を示す図。
【図８】図８は腎盂・腎杯内に挿入部を挿入して時系列に撮像を行った場合、画角外領域が発生した例を示す図。
【図９】図９は所定の条件としての移動距離が閾値以下となった場合、撮像部の画角の境界内となる領域を撮像して、画角内領域と画角外領域とを抽出する様子を示す図。
【図１０Ａ】図１０Ａは画角外領域の占める割合が一番大きくなる表示方向の識別画像を算出する処理例を示すフローチャート。
【図１０Ｂ】図１０Ｂは撮像部が有する実際の画角の内側に設定画角を設定する様子を示す図。
【図１１】図１１は１つの腎杯内に挿入した場合における画角内領域が閾値以上となった場合に画角内領域と画角外領域とを識別する識別画像を表示するフローチャートの一部を示す図。
【図１２】図１２は視点位置を管腔臓器内に設定した場合における仮想内視鏡画像の表示例を示す図。
【図１３】図１３は管腔臓器を切断面で表示し、切断面上に画角内領域と画角外領域とを投影して模式的に表示した図。
【図１４】図１４は３次元の識別画像に対して中心線を含む所定の角度毎に投影切断面を設定し、各投影切断面上に投影された画角内領域と画角外領域を表示する様子を示す図。
【図１５Ａ】図１５Ａは管腔臓器内を観察する場合の初期状態の識別画像の表示例を示す図。
【図１５Ｂ】図１５Ｂは図１５Ａの後、管腔臓器内を深部側まで挿入した場合の識別画像の表示例を示す図。
【図１５Ｃ】図１５Ｃは図１５Ｂの後、管腔臓器の識別画像を背面側から表示するようにした表示例を示す図。
【発明を実施するための最良の形態】
【０００６】
以下、図面を参照して本発明の実施形態を説明する。 
（第１の実施形態）
図１に示す内視鏡システム１は、被検体内に挿入される内視鏡２Ａと、該内視鏡２Ａに照明光を供給する光源装置３と、内視鏡２Ａに設けられた撮像部に対する信号処理を行う信号処理装置としてのビデオプロセッサ４と、ビデオプロセッサ４により生成された内視鏡画像を表示する内視鏡画像表示装置としてのモニタ５と、内視鏡２Ａ内に設けられたセンサに基づいて内視鏡２の挿入部形状を検出する挿入部形状検出装置としてのＵＰＤ装置６と、本発明の第１の実施形態の画像処理装置７と、該画像処理装置７により生成した識別画像等を表示する表示装置としてのモニタ８とを有する。なお、図１に実線で示すＵＰＤ装置６と別体の画像処理装置７の代わりに、点線で示すようにＵＰＤ装置６を含む構成の画像処理装置７Ａを用いるようにしても良い。【０００７】
内視鏡２Ａは、被検体９における所定の管腔臓器（単に管腔臓器とも言う）の一部を形成する例えば尿管１０内に挿入される挿入部１１と、この挿入部１１の後端（基端）に設けられた操作部１２と、操作部１２から延出されるユニバーサルケーブル１３とを有し、ユニバーサルケーブル１３の端部に設けたライトガイドコネクタ１４は、光源装置３のライトガイドコネクタ受けに着脱自在に接続される。なお、尿管１０は、その深部側において腎盂５１ａ、腎杯５１ｂに連通する（図３参照）。 
挿入部１１は、その先端に設けられた先端部１５と、該先端部１５の後端に設けられた湾曲可能な湾曲部１６と、該湾曲部１６の後端から操作部１２の前端まで延びる可撓性を有する可撓管部１７とを有する。 
操作部１２には湾曲部１６を湾曲操作するための湾曲操作ノブ１８が設けられている。 
図１における一部の拡大図で示すように挿入部１１内には、照明光を伝送するライトガイド１９が挿通されており、このライトガイド１９の先端は、先端部１５の照明窓に取り付けられ、ライトガイド１９の後端は、ライトガイドコネクタ１４に至る。【０００８】
ライトガイドコネクタ１４には、光源装置３の光源ランプ２１で発生した照明光が集光レンズ２２により集光されて入射され、ライトガイド１９は伝送した照明光を照明窓に取り付けられた先端面から出射する。 
照明光により照明された管腔臓器内の観察対象部位（被写体とも言う）は、先端部１５の照明窓に隣接して設けられた観察窓（撮像窓）に取り付けられた対物光学系２３によりその結像位置に光学像が結像される。対物光学系２３の結像位置には、撮像素子としての例えば電荷結合素子（ＣＣＤと略記）２４の撮像面が配置される。このＣＣＤ２４は、所定の画角（視野角）を有する。 
対物光学系２３と、ＣＣＤ２４は、管腔臓器内を撮像する撮像部（又は撮像装置）２５を形成する。なお、ＣＣＤ２４の画角は、対物光学系２３の光学特性（例えば焦点距離）にも依存するために、対物光学系２３の光学特性を考慮に入れた撮像部２５の画角や、または対物光学系を用いて観察する場合の画角と言うこともできる。【０００９】
ＣＣＤ２４は、挿入部１１内などを挿通された信号線２６の一端と接続され、該信号線２６の他端はライトガイドコネクタ１４に接続される接続ケーブル２７（内の信号線）を介して該接続ケーブル２７の端部の信号コネクタ２８に至る。この信号コネクタ２８はビデオプロセッサ４の信号コネクタ受けに着脱自在に接続される。 
ビデオプロセッサ４は、ＣＣＤ駆動信号を発生するドライバ３１と、ＣＣＤ２４の出力信号に対する信号処理を行い、モニタ５に内視鏡画像として表示する画像信号（映像信号）を生成する信号処理回路３２とを有する。ドライバ３１は、信号線２６等を介してＣＣＤ２４にＣＣＤ駆動信号を印加し、ＣＣＤ駆動信号の印加によりＣＣＤ２４は、撮像面に結像された光学像を光電変換した撮像信号を出力信号として出力する。 
ＣＣＤ２４から出力される撮像信号は、信号処理回路３２により画像信号に変換され、信号処理回路３２は、出力端からモニタ５に画像信号を出力する。モニタ５は、ＣＣＤ２４の撮像面に結像された所定の画角（の範囲）で撮像された光学像に対応する画像を内視鏡画像表示エリア（単に画像表示エリアと略記）５ａにおいて内視鏡画像として表示する。図１においては、ＣＣＤ２４の撮像面が例えば正方形の場合において、その４つの隅を切り欠いた８角形に近い内視鏡画像を表示する様子を示す。【００１０】
内視鏡２Ａは、例えばライトガイドコネクタ１４内に、該内視鏡２Ａに固有の情報を格納したメモリ３０を有し、このメモリ３０は、内視鏡２Ａに搭載されたＣＣＤ２４が有する画角を表す情報としての画角データ（又は画角情報）を格納している。また、光源装置３は、ライトガイドコネクタ１４が光源装置３に接続された際に、光源装置３内部に設けた読出回路２９ａが、メモリ３０に接続された電気接点を介して画角データを読み出す。 
読出回路２９ａは、読み出した画角データを通信線２９ｂを介して画像処理装置７に出力する。また、読出回路２９ａは、読み出したＣＣＤ２４の画素数データを通信線２９ｃを介してビデオプロセッサ４のドライバ３１と信号処理回路３２に出力する。ドライバ３１は、入力された画素数データに応じたＣＣＤ駆動信号を発生し、信号処理回路３２は画素数データに対応した信号処理を行う。 
なお、図１に示す構成例においてはメモリ３０の固有の情報を読み出す読出回路２９ａを光源装置３に設けた場合で示しているが、読出回路２９ａをビデオプロセッサ４に設けるようにしても良い。【００１１】
上記信号処理回路３２は、例えばデジタルの画像信号としての内視鏡画像データ（画像データとも言う）を画像処理装置７に出力する。 
また、挿入部１１内には、挿入部１１が被検体９内に挿入された場合の挿入形状を検出するためのセンサとなる複数のソースコイル３４が挿入部１１の長手方向に沿って、適宜の間隔で配置されている。また、先端部１５内においては、挿入部１１の長手方向に沿って配置された２つのソースコイル３４ａ，３４ｂと、例えば２つのソースコイル３４ａ，３４ｂを結ぶ線分と直交する方向に配置されたソースコイル３４ｃとが配置されている。そして、ソースコイル３４ａ，３４ｂを結ぶ線分方向が撮像部２５を構成する対物光学系２３の光軸方向（又は視線方向）とほぼ一致し、３つのソースコイル３４ａ，３４ｂ，３４ｃを含む面がＣＣＤ２４の撮像面における上下方向にほぼ一致するように配置されている。【００１２】
このため、ＵＰＤ装置６内の後述するソースコイル位置検出回路３９は、３つのソースコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出することにより、先端部１５の３次元位置及び先端部１５の長手方向を検出することができると言えるし、先端部１５においての３つのソースコイル３４ａ，３４ｂ，３４ｃの３次元位置を検出することにより、３つのソースコイル３４ａ，３４ｂ，３４ｃからそれぞれ既知の距離離れて配置された撮像部２５を構成する対物光学系２３の３次元位置及び対物光学系２３の視線方向（光軸方向）を検出することができるとも言える。 
ソースコイル位置検出回路３９は、対物光学系２３の３次元位置及び視線方向の情報を取得する情報取得部を形成する。 
なお、図１に示す内視鏡２Ａにおける撮像部２５は、対物光学系２３の結像位置にＣＣＤ２４の撮像面を配置した構成であるが、対物光学系２３とＣＣＤとの間に対物光学系２３の光学像を伝送するイメージガイドを用いた構成の撮像部を備えた内視鏡の場合にも適用できる。【００１３】
３つのソースコイル３４ａ，３４ｂ，３４ｃを含む上記複数のソースコイル３４は、複数の信号線３５の一端に接続され、複数の信号線３５の他端は、ライトガイドコネクタ１４から延出されるケーブル３６と接続され、該ケーブル３６の端部の信号コネクタ３６ａはＵＰＤ装置６の信号コネクタ受けに着脱自在に接続される。 
ＵＰＤ装置６は、上記複数のソースコイル３４を駆動して、各ソースコイル３４の周囲に交流磁場を発生させるソースコイル駆動回路３７と、各ソースコイルが発生する磁場を検出して、各ソースコイルの３次元位置を検出するための複数のセンスコイルからなるセンスコイルユニット３８と、複数のセンスコイルによる検出信号により、各ソースコイルの３次元位置を検出するソースコイル位置検出回路３９と、ソースコイル位置検出回路３９により検出された、各ソースコイルの３次元位置から挿入部１１の挿入形状を検出して挿入形状の画像を生成する挿入形状検出回路４０とを有する。 
各ソースコイルの３次元位置は、ＵＰＤ装置６による座標系の下で検出される。これに対して、内視鏡２の挿入部１１が挿入される管腔臓器の画像データは、後述するようにＣＴ（Computed Tomography）装置において広く採用される第１の座標系（又はＣＴ座標系）が用いられる。このために、ＵＰＤ装置６による座標系としての第２の座標系の３次元位置データは、第１の座標系の３次元位置データに変換される。【００１４】
上述したように上記ソースコイル位置検出回路３９は、対物光学系２３の観察位置（３次元位置）及び視線方向の情報を取得する情報取得部を構成する。より狭義には、ソースコイル位置検出回路３９と３つのソースコイル３４ａ，３４ｂ，３４ｃは、対物光学系２３の観察位置及び視線方向の情報を取得する情報取得部を構成するとも言える。 
なお、本実施形態の内視鏡システム１（及び画像処理装置７）は、図１において２点鎖線により示す内視鏡２Ｂを（内視鏡２Ａの代わりに）用いることもできる。 
この内視鏡２Ｂは、内視鏡２Ａにおいて、挿入部１１の先端部１５内のみに３つのソースコイル３４ａ，３４ｂ，３４ｃを配置した内視鏡である。この内視鏡２Ｂは、上述した複数のソースコイル３４が、挿入部１１の先端部１５の３次元位置（単に位置とも言う）及びその長手方向を検出する３つのソースコイル３４ａ，３４ｂ，３４ｃから構成され、その他の構成は内視鏡２Ａにおいて説明した構成と同様である（但し、ＣＣＤ２４の画素数や画角等の具体的な値は、内視鏡の種類に応じて異なる）。【００１５】
上記挿入形状検出回路４０は、挿入形状の画像信号を出力する第１の出力端と、ソースコイル位置検出回路３９が検出した対物光学系２３の観察位置及び視線方向のデータ（位置及び方向データとも言う）を出力する第２の出力端とを有する。そして、第２の出力端から画像処理装置７に、観察位置及び視線方向のデータを出力する。なお、第２の出力端から出力する観察位置及び視線方向のデータを、情報取得部を構成するソースコイル位置検出回路３９が出力するようにしても良い。 
画像処理装置７は、主に対物光学系２３の観察位置及び視線方向のデータを用いるために、ＵＰＤ装置６の代わりに先端部１５に配置された３つのソースコイル３４ａ，３４ｂ，３４ｃの位置を検出する検出装置を用いるようにしても良い。 
図２は、第１の実施形態の画像処理装置７の構成を示す。画像処理装置７は、内視鏡２（２は２Ａ，２Ｂを代表して表す）による観察、検査が行われる被検体９に対して、公知のＣＴ装置で生成された被検体９の３次元画像情報としてのＣＴ画像データを、ＤＶＤ、ブルーレイディスク、フラッシュメモリ等の可搬型の記憶媒体を介して取り込むＣＴ画像データ取込部４１と、このＣＴ画像データ取込部４１によって取り込まれたＣＴ画像データを記憶するＣＴ画像データ記憶部４２とを有する。【００１６】
なお、ＣＴ画像データ記憶部４２は、ＣＴ装置で生成された被検体９のＣＴ画像データを通信回線、インタネット等を経由して記憶しても良い。このＣＴ画像データ記憶部４２は、ハードディスク装置や、フラッシュメモリ、ＤＶＤ等により構成される。 
また、ＣＴ画像データ記憶部４２は、ＣＴ画像データと、該ＣＴ画像データの各３次元位置を表す座標系としての第１の座標系（ＣＴ座標系）における３次元位置データとを対応付けた３次元画像情報（又は３次元画像・位置情報）として記憶するフラッシュメモリ等からなる記憶部４２ａを有する。 
上記画像処理装置７は、ＣＴ画像データ記憶部４２のＣＴ画像データから所定の管腔臓器としての腎盂・腎杯５１（図３参照）の３次元画像データを抽出する管腔臓器抽出部又は管腔臓器抽出回路としての腎盂・腎杯抽出部４３を有する。なお、図３においては、内視鏡２の挿入部１１が挿入された状態での腎盂・腎杯５１を示している。図３において、１点鎖線で示す領域が腎盂５１ａであり、その深部側に腎杯５１ｂが形成される。【００１７】
この腎盂・腎杯抽出部４３は、抽出した腎盂・腎杯５１の３次元画像データ（より具体的には３次元のボリュームデータ）から、腎盂・腎杯５１の中空形状を表す３次元形状の画像情報（画像データ）を生成する。つまり、腎盂・腎杯抽出部４３は、抽出した腎盂・腎杯５１の３次元画像データから中空の３次元形状の腎盂・腎杯形状画像を（所定の管腔臓器の３次元画像として）生成する腎盂・腎杯画像生成回路からなる腎盂・腎杯画像生成部４３ａを有する。なお、腎盂・腎杯画像生成部４３ａは、ＣＴ画像データから所定の管腔臓器としての腎盂・腎杯５１（図３参照）の３次元画像データを抽出する抽出回路と、抽出回路により抽出した腎盂・腎杯５１の３次元画像データからその外形形状（輪郭）のみを抽出する輪郭抽出回路とから構成することができる。なお、ＣＴ装置などで生成された腎盂・腎杯５１の３次元画像データまたは中空の３次元形状の腎盂・腎杯形状画像をＣＴ画像データ取込部４１で取り込む構成でもよい。【００１８】
腎盂・腎杯画像生成部４３ａにより生成された腎盂・腎杯画像は、以下に説明する画像処理部（又は画像処理回路）４５に送られ、画像処理部４５の画像処理に利用される。なお、所定の管腔臓器として、腎盂・腎杯５１と共に尿管１０（の一部）を含むように定義しても良い。 
また、腎盂・腎杯画像生成部４３ａは、例えば入力装置４９から表示方向の指示又は指定入力により、所定の管腔臓器としての腎盂・腎杯５１の３次元画像を、指示された表示方向から３次元的に生成する表示画像変更部の機能を備える。なお、入力装置４９から表示方向の指示又は指定入力を行う場合、中央演算処理装置（ＣＰＵと略記）等から構成される制御部４７を介して腎盂・腎杯画像生成部４３ａに入力するようにしても良い。画像処理部４５が、上記表示画像変更部の機能を備えるようにしても良い。【００１９】
また、画像処理部４５（の後述する識別画像生成処理部４５ｃ）は、表示画像変更部によって表示方向が変更された腎盂・腎杯５１の３次元画像上に、識別情報（例えば着色情報）を重畳した識別画像を作成する。また、後述するように、画像処理部４５（の識別画像生成処理部４５ｃ）は、表示画像変更部４５ｅによって生成される識別画像において、画角外領域が占める割合が一番大きい（最も大きい）画像を識別画像として表示装置としてのモニタ８に出力するようにしても良い。 
図３は挿入部１１が挿入された状態での腎盂・腎杯５１を示すと説明したが、本実施形態においては、腎盂・腎杯５１の３次元（形状）画像を用いて、以下の説明するように境界位置、画角外領域等を抽出する。このため、以下に示す図６Ａ，図７等は、腎盂・腎杯５１の画像であるが簡単化のために、図３の場合と同じ符号となる５１で示す。【００２０】
上記腎盂・腎杯抽出部４３は、腎盂・腎杯５１の３次元形状の画像データを抽出する際、当該画像データに対応する第１の座標系での３次元の位置データと対応付けて抽出する。また、この腎盂・腎杯抽出部４３は、腎盂・腎杯５１の３次元形状の画像データ（つまり腎盂・腎杯形状画像データ）と３次元の位置データとを対応付けした情報を記憶するメモリなどからなる腎盂・腎杯画像記憶部４３ｂを有する。腎盂・腎杯画像記憶部４３ｂを後述する情報記憶部４６内に記憶しても良い。 
上記画像処理装置７は、先端部１５に設けた撮像部２５を、腎盂・腎杯５１内の所望とする位置に仮想的に配置すると共に、視線方向も仮想的に設定して撮像した場合の仮想的な内視鏡画像（ＶＢＳ画像と言う）を生成するよう構成されたＶＢＳ画像処理部４４を有する。【００２１】
このＶＢＳ画像処理部４４は、ＶＢＳ画像を生成するＶＢＳ画像生成回路からなるＶＢＳ画像生成部４４ａと、生成したＶＢＳ画像を格納するメモリなどからなるＶＢＳ画像格納部４４ｂとを備える。なお、ＶＢＳ画像格納部４４ｂをＶＢＳ画像処理部４４の外部に設けるようにしても良い。【００２２】
また、画像処理装置７は、管腔臓器としての腎盂・腎杯内を撮像した場合の画像データとしての内視鏡画像データ等が入力されることにより、腎盂・腎杯の３次元画像（３次元形状画像）上において、所定の画角を有する撮像部２５により実際に撮像した画角内領域と、該画角の外側となり撮像されない画角外領域の境界となる境界位置のデータ（情報）を生成するよう構成された境界位置生成部を形成する境界位置生成処理部４５ａ等の画像処理を行う画像処理部（又は画像処理回路）４５を有する。画像処理部４５は、ＣＰＵを用いてソフトウェア的に構成しても良いし、専用の電子回路等のハードウェアを用いて構成しても良い。なお、画像処理部４５内の境界位置生成処理部（又は境界位置生成処理回路）４５ａ、画角外領域抽出処理部（又は画角外領域抽出処理回路）４５ｂ、識別画像生成処理部（又は識別画像生成処理回路）４５ｃ等も同様にＣＰＵを用いてソフトウェア的に構成しても良いし、専用の電子回路等のハードウェアを用いて構成しても良い。また、図２に示す腎盂・腎杯抽出部４３、ＶＢＳ画像処理部４４、制御部４７、座標変換部４８もＣＰＵにより構成しても良いし、専用の電子回路等のハードウェアを用いて構成しても良い。【００２３】
境界位置生成処理部４５ａにより生成された境界位置（のデータ）は、挿入部１１の先端部１５の移動によって、対物光学系２３の観察位置及び視線方向が経時的に変化する。 
画像処理部４５に設けた画角外領域抽出処理部４５ｂは、対物光学系２３の観察位置及び視線方向の経時変化に伴って変化する境界位置のデータに基づき、管腔臓器としての腎盂・腎杯５１の３次元画像において撮像部２５の画角以内に入らなかった画角外領域を抽出する処理を行う画角外領域抽出部の機能を持つ。また、画像処理部４５（の例えば画角外領域抽出処理部４５ｂ）は、対物光学系２３の観察位置及び視線方向の経時変化に伴って変化する境界位置のデータに基づき、管腔臓器としての腎盂・腎杯５１の３次元画像において撮像部２５の画角以内となる画角内領域を抽出する処理を行う画角内領域抽出部としての画角内領域抽出処理部（又は画角内領域抽出処理回路）４５ｄを有する。上記のように、画角内領域は、撮像部２５の画角以内の領域であるために、経時的に変化する境界位置を含む領域となる。換言すると、画角内領域抽出処理部４５ｄは、過去に取得した境界位置の集まりを、画角内領域として抽出、又は画角内領域に含める処理を行う。【００２４】
また、画像処理部４５は、腎盂・腎杯画像生成部４３ａにより生成された腎盂・腎杯画像上において画角外領域抽出処理部４５ｂにより抽出された画角外領域を、画角内領域と識別する識別情報を重畳した識別画像を生成する識別画像生成部を形成する識別画像生成処理部（又は識別画像生成処理回路）４５ｃを有する。識別画像生成処理部４５ｃは、腎盂・腎杯画像上において、画角内領域に対して画角外領域を識別する識別情報として、画角外領域側を例えば着色して表示する（図７参照）。 
上記画像処理装置７は、ＵＰＤ装置６から入力される対物光学系２３の観察位置及び視線方向のデータを記憶する位置・方向データ記憶部４６ａ等を記憶するメモリ等から構成される情報記憶部４６を有する。 
なお、位置・方向データ記憶部４６ａは、後述する座標変換部４８により（第２の座標系から）第１の座標系に変換した後の対物光学系２３の観察位置及び視線方向のデータを記憶するようにしても良いし、変換前と、変換後との両座標系における対物光学系２３の観察位置及び視線方向のデータを記憶するようにしても良い。後述する動作においては、変換後の第１の座標系における観察位置及び視線方向のデータを記憶する場合で説明する。【００２５】
また、情報記憶部４６は、読出回路２９ａから入力される（撮像部２５の）画角データを記憶する画角データ記憶部４６ｂと、画像処理部４５の境界位置生成処理部４５ａにより生成された境界位置のデータを記憶する境界データ記憶部４６ｃとを有する。境界データ記憶部４６ｃは、境界位置生成処理部４５ａにより生成された境界位置のデータを例えば経時的（時間の経過順）に、時間のデータを付けて記憶する。そして、上述した画角外領域抽出処理部４５ｂは、経時的に生成された境界位置のデータと、腎盂・腎杯５１の３次元画像データとを用いて、画角外領域を抽出する処理を行う。 
上記画像処理装置７は、該画像処理装置７内部の画像処理部４５と情報記憶部４６等の動作を制御する制御部４７と、（ＵＰＤ装置６内のソースコイル位置検出回路３９により構成される）情報取得部により管腔臓器内において取得（検出）された第２の座標系における先端部１５（又は先端部１５に設けた対物光学系２３の観察位置）のデータを、管腔臓器の３次元画像における３次元位置を表す座標系としての第１の座標系の３次元位置のデータに変換する座標変換部（又は座標変換回路）４８と、を有する。【００２６】
上記制御部４７は、画像処理部４５の識別画像生成処理部（又は識別画像生成処理回路）４５ｃが生成する画角外領域を画角内領域と識別する識別画像の表示のＯＮ／ＯＦＦの制御を行う表示制御部（又は表示制御回路）４７ａの機能を持つ。例えば、術者は、入力装置４９から、識別画像の表示を行うように表示ＯＮの指示をすると、表示制御部４７ａは、識別画像生成処理部４５ｃが生成する識別画像において画角外領域を、画角内領域と識別して表示するように制御する（後述する図７）。一方、識別画像の表示をＯＦＦにする表示ＯＦＦの指示をすると、表示制御部４７ａは、識別画像生成処理部４５ｃが生成する識別画像において画角外領域を、画角内領域と識別しないで表示するように制御する。（図７における斜線で示す識別情報としての着色を止める）。なお、入力装置４９（の例えばフットスイッチ４９ａ）は、識別画像の表示のＯＮ／ＯＦＦを選択的に行う表示切替部の機能を持つ。
【００２７】
所定の条件は、以下のような条件である。 
ａ）情報取得部により取得された対物光学系２３の１回前及び現在の観察位置間の距離が閾値以下となる移動距離、
ｂ）情報取得部により取得された対物光学系２３の移動方向が反転した動き（又は移動方向）反転、
ｃ）撮像部２５により取得された被写体画像を構成する少なくとも複数の画素の輝度値の和が閾値以上となる画素値、
ｄ）情報取得部により取得された対物光学系２３の現在の観察位置と、その位置から視線方向にある腎盂・腎杯の３次元形状までの距離が閾値以下となる近接距離、のいずれか１つの条件、又は２つ以上の条件からなる。なお、所定の条件の判定の際の情報取得部により取得された対物光学系２３の観察位置、移動方向は、座標変換部４８により座標変換された後のものを用いるようにしても良い。 
制御部４７の判定部４７ｂは、例えば座標変換部４８を介して対物光学系２３の観察位置のデータを時間的に監視し、ａ），ｂ）、ｄ）の条件を満たすか否かを判定する。また、制御部４７の判定部４７ｂは、内視鏡画像データを時間的に監視し、ｃ）の条件を満たすか否かを判定する。上記所定の条件に対応する処理は、図５Ｂとなる。換言すると、本実施形態においては、管腔臓器の内面を観察する場合、上記の条件に該当しない通常の観察状態においては、基本的に画角の境界位置のデータのみから画角内領域と画角外領域とを抽出することにより、少ない計算量で観察していない画角外領域を識別するようにしている。【００２８】
上記座標変換部４８は、予め既知の３次元位置において、情報取得部により取得された第２の座標系における対物光学系２３の観察位置の３次元位置データを、管腔臓器の３次元画像を取得する際に用いる座標系としての第１の座標系の３次元位置データに合わせ込むよう構成された位置合わせ部（又は位置合わせ処理回路）４８ａを有する。 
位置合わせ部４８ａは、例えば図１に示すように尿管１０の挿入口付近における既知の位置となる複数（例えば４箇所Ｑ０〜Ｑ３）において、図４に示すように行う。 
第１の座標系Ｏ−ＸＹＺと第２の座標系ｏ−ｘｙｚにおいてそれぞれ位置合わせ込みの指示を例えば入力装置４９から行う。この場合の位置合わせ込みは、以下に説明するように両座標系における複数の既知の位置に対して行う。 
例えば、先端部１５を、第１の座標系Ｏ−ＸＹＺにおける原点Ｏの位置Ｑ０（０，０，０），Ｘ座標上の位置Ｑ１（１，０，０）、Ｙ座標上の位置Ｑ２（０，１，０）、Ｚ座標上の位置Ｑ３（０，０，１）、に順次設定して、術者が位置合わせ込みの指示を行う。この指示において、各位置において情報取得部が順次取得した位置を（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とすると、位置合わせ部４８ａは、位置合わせを行い、位置合わせする情報を座標変換部４８内の情報記憶部４８ｂ等に記憶する。【００２９】
この場合の位置合わせ情報（具体的には、第１の座標系Ｏ−ＸＹＺにおけるＱ０（０，０，０）、Ｑ１（１，０，０）、Ｑ２（０，１，０）、Ｑ３（０，０，１）は、第２の座標系ｏ−ｘｙｚにおいては（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）がそれぞれ対応する情報）を情報記憶部４８ｂが記憶する。なお、先端部１５内には、３つのソースコイル３４ａ，３４ｂ，３４ｃが配置されているので、各ソースコイルに対して同様の処理が繰り返され、誤差が十分に小さくなる位置合わせ情報を用いるようにすれば良い。 
また、座標変換部４８は、情報記憶部４８ｂに記憶した位置合わせ情報を用いて両座標系の任意の位置を対応つける変換情報を決定する。情報記憶部４８ｂは、この変換情報も格納する。座標変換部４８は、変換情報を用いて第２の座標系の対物光学系２３の観察位置等の位置データを第１の座標系の位置データに変換する。 
図４においては、座標位置Ｑ０（０，０，０），Ｑ１（１，０，０），Ｑ２（０，１，０），Ｑ３（０，０，１）と、それぞれ対応する座標位置（ｘ０，ｙ０，ｚ０）、（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）、（ｘ３，ｙ３，ｚ３）とを簡略化してＱ０⇔（ｘ０，ｙ０，ｚ０）、Ｑ１⇔（ｘ１，ｙ１，ｚ１）、Ｑ２⇔（ｘ２，ｙ２，ｚ２）、Ｑ３⇔（ｘ３，ｙ３，ｚ３）で示している。【００３０】
なお、最初の位置合わせの後において、挿入部１１が尿管１０の深部側の腎盂・腎杯５１側に挿入され、腎盂・腎杯５１の画像上において位置合わせを行い易い位置（例えば分岐する境界位置）等において、入力装置４９から位置合わせの指示を行うことにより、再度の合わせを行うようにしても良い。 
上記入力装置４９は、キーボード、マウス等により構成され、術者等のユーザは、入力装置４９から画像処理装置７の画像処理部４５，制御部４７，座標変換部４８の位置合わせ部４８ａに対して、動作パラメータや初期設定のデータ、指示入力などを行うことができる。 
また、上記入力装置４９にフットスイッチ４９ａを設け、フットスイッチ４９ａによるＯＮ／ＯＦＦの操作により、画像処理部４５による識別画像を表示する第１のモードと、前記識別画像を表示しない第２のモードとを選択的に切り替え可能にしている。このフットスイッチ４９ａは、第１のモードと、第２のモードとを切り替え可能な表示切替部を構成する。なお、フットスイッチ４９ａと共に、又はフットスイッチ４９ａの代わりに、内視鏡２Ａ等の操作部１２に設けたスコープスイッチの操作により、第１のモードと、第２のモードとを切り替え可能な表示切替部を構成するようにしても良い。【００３１】
このような構成の画像処理装置７は、予め取得した被検体９の３次元画像の情報を記憶するよう構成された記憶部を構成するＣＴ画像データ記憶部４２と、前記３次元画像内に存在する所定の管腔臓器としての腎盂・腎杯を抽出するよう構成された管腔臓器抽出部を形成する腎盂・腎杯抽出部４３と、前記所定の管腔臓器内を対物光学系２３を用いて観察する観察位置及び視線方向の情報を取得するよう構成された情報取得部を構成するソースコイル位置検出回路３９と、前記観察位置及び視線方向の情報と前記対物光学系２３を用いて観察する場合の画角を表す画角情報に基づき、前記所定の管腔臓器の３次元画像上における画角内領域と画角外領域との境界位置を示す境界位置情報を生成するよう構成された境界位置生成部を構成する境界位置生成処理部４５ａと、前記観察位置及び前記視線方向の経時変化に伴って変化する前記境界位置情報に基づき、前記所定の管腔臓器の３次元画像において前記画角に入らなかった前記画角外領域を抽出するよう構成された画角外領域抽出部を形成する画角外領域抽出処理部４５ｂと、前記所定の管腔臓器の３次元画像に対して、前記画角外領域を識別する識別情報を付加又は重畳した識別画像を生成するよう構成された画像生成部を形成する識別画像生成処理部４５ｃと、を有することを特徴とする。【００３２】
次に本実施形態の動作を説明する。図１に示す内視鏡２Ａ又は２Ｂ（２で代表）を光源装置３等に接続して、各装置の電源を投入し、画像処理装置７を含む内視鏡システム１を動作状態に設定する。最初のステップＳ１として光源装置３の読出回路２９ａは、接続された内視鏡２の撮像部２５の画角データをメモリ３０から読み出し、読み出した画角データを画像処理装置７に送る。画像処理装置７は、取得した画角データを画角データ記憶部４６ｂに格納する。この画角データは、ＶＢＳ画像生成部４４ａにより利用される。 
次のステップＳ２において術者は、入力装置４９から位置合わせ込みの指示を行い、位置合わせ部５０ａは、情報取得部を構成するソースコイル位置検出回路３９により第２の座標系で取得（検出）した先端部１５内の３つのソースコイル３４ａ，３４ｂ，３４ｃの３次元位置のデータを第１の座標系に合わせ込む位置合わせを行う。そして、変換情報が決定する。以後、取得された対物光学系２３の観察位置及び視線方向のデータは、座標変換部４８による変換情報を用いた座標変換により、第１の座標系における観察位置及び視線方向のデータに変換される。【００３３】
次のステップＳ３において術者は、挿入部１１を尿管１０の深部側の腎盂・腎杯５１内に挿入する。 
次のステップＳ４においてソースコイル位置検出回路３９は、所定の時間間隔などで順次、対物光学系２３の観察位置及び視線方向のデータを取得し、座標変換部４８は座標変換する。そして、情報記憶部４６の位置・方向データ記憶部４６ａは、変換後の対物光学系２３の観察位置及び視線方向のデータを記憶する。 
また、ソースコイル位置検出回路３９により対物光学系２３の観察位置及び視線方向のデータが取得され、座標変換された状態において、ステップＳ５に示すようにＶＢＳ画像生成部４４ａは、上記変換後の対物光学系２３の観察位置及び視線方向のデータと、画角データ記憶部４６ｂに格納された画角データを用いて、撮像部２５により実際に撮像された内視鏡画像に対応するＶＢＳ画像を生成する。【００３４】
つまり、ＶＢＳ画像生成部４４ａは、腎盂・腎杯画像生成部４３ａにより生成された腎盂・腎杯（形状）画像上における上記変換後の対物光学系２３の観察位置及び視線方向において、取得された画角を用いて腎盂・腎杯内を仮想内視鏡的に観察した場合のＶＢＳ画像を生成する。生成されたＶＢＳ画像は、画像処理部４５の境界位置生成処理部４５ａに出力される。ステップＳ５において、撮像部２５により実際に撮像された内視鏡画像と、ＶＢＳ画像生成部４４ａにより生成されるＶＢＳ画像とのパターンマッチングを行い、予め設定された閾値以上のマッチング条件を満たす場合のＶＢＳ画像を用いるようにしても良い。 
また、ステップＳ６に示すように境界位置生成処理部４５ａは、生成されたＶＢＳ画像における上記画角の境界となる境界位置のデータ（情報）を腎盂・腎杯５１の（形状）画像から取得（抽出）する。図６Ａは、先端部１５（の対物光学系２３の観察）位置がＰ１、時間ｔ１において取得される境界位置Ｂ１周辺を示す。図６Ａは、尿管１０から腎盂５１ａに入る入口付近の場合を示す。最初に取得する境界位置Ｂ１においては、画角外の領域が存在しない位置に設定する。図６Ａの例では、画角の境界を示す円錐状のライン（の端部）が腎盂・腎杯５１の内面に当たる位置としての境界位置Ｂ１は、位置Ｂ１ａ，Ｂ１ｂ，Ｂ１ｃ，…，Ｂ１ｎで近似できる円形又は楕円形に近い境界形状となる。【００３５】
なお、境界位置のデータを取得する場合には、画角の境界に対応する境界位置を取得するため、画角の境界付近のＶＢＳ画像の一部のみを生成するようにしても良い。また、ＶＢＳ画像を生成することなく、例えば図６Ａに示すように対物光学系２３の観察位置及び視線方向において、画角の境界の情報（図６Ａでは円錐状のライン）を用いて腎盂・腎杯５１の（形状）画像から境界位置のデータを取得（抽出）するようにしても良い。 
境界位置生成処理部４５ａは、境界位置Ｂ１のデータを取得したことを制御部４７に通知し、制御部４７は境界位置Ｂ１のデータを記憶するように情報記憶部４６を制御する。そしてステップＳ７に示すように情報記憶部４６の境界データ記憶部４６ｃは、観察位置Ｐ１，視線方向Ｄ１において取得した境界位置Ｂ１のデータを時間ｔ１のデータと共に記憶する。図６Ｂは、境界データ記憶部４６ｃに記憶される境界位置Ｂ１と時間ｔ１を示す。境界位置Ｂ１は、実際には、第１の座標系で表される上記複数の位置Ｂ１ａ，Ｂ１ｂ，Ｂ１ｃ，…，Ｂｎを表す。なお、図６Ｂでは、時間ｔ１の後の時間ｔ２における観察位置Ｐ２、視線方向Ｄ２（後述）において取得された境界位置Ｂ２の場合も示している。【００３６】
また、ステップＳ８に示すように制御部４７（又は境界データ記憶部４６ｃ）は、過去に既に境界位置のデータを記憶したか否かの判定を行う。今回の場合には、最初に境界位置Ｂ１のデータを記憶する場合に該当し、この場合にはステップＳ１３の処理に移る。 
一方、過去に境界位置のデータを記憶した場合には、次のステップＳ９において、表示用の視点位置と（視点）方向の設定を促す表示を行い、術者は入力装置４９から画像処理部４５の画角外領域抽出処理部４５ｂに表示用の視点位置と方向を指定するデータ入力を行い、視点位置と方向の設定を行う。図３に示す腎盂・腎杯５１において表示用の視点位置と方向の設定例を説明する。【００３７】
腎盂・腎杯５１内に挿入された内視鏡２の挿入部１１の先端部１５（に搭載された対物光学系２３）の視線方向は、対物光学系２３の視線方向Ｄｉ上となり、腎盂・腎杯５１の外部となる位置に視点位置Ｐｖを（入力装置４９からの指定により）設定する。また、この視点位置Ｐｖにおける腎盂・腎杯５１側を見る（前記視線方向Ｄｉと反対）方向が視点方向Ｄｖとなる。 
なお、上記の説明においては、表示用の視点位置Ｐｖは、挿入部１１の先端部１５における対物光学系２３の視線方向Ｄｉ上の位置となり、また、視点方向Ｄｖは視線方向Ｄｉと逆方向となり、先端部１５の移動に連動して視点位置Ｐｖ、視点方向Ｄｖが変化する。【００３８】
これに対して、表示用の視点位置Ｐｖ、視点方向Ｄｖを先端部１５の移動に連動させないようにしても良い。例えば、先端部１５の移動に連動させない場合の視点方向Ｄｖ′として図３に示す腎盂・腎杯５１の上下方向の範囲Ｌの中心線Ｏ１に沿って腎盂・腎杯５１側を見る方向に設定し、かつこの中心線Ｏ１上に連動させない場合の視点位置Ｐｖ′を設定するようにしても良い。【００３９】
なお、視線方向Ｄｉ上の視点位置Ｐｖや中心線Ｏ１上における視点位置Ｐｖ′は、術者等のユーザが自由に又は選択的に設定できるようにしても良い。 
次のステップＳ１０において画角外領域抽出処理部４５ｂは、境界データ記憶部４６ｃに経時的に記憶されている過去の境界位置のデータを用いて画角外領域（のデータ）を腎盂・腎杯（形状）画像から抽出する。また、過去の境界位置のデータの集まりを画角内領域として腎盂・腎杯（形状）画像から抽出する。 
次のステップＳ１１において識別画像生成処理部４５ｃは、ステップＳ９において設定された視点位置と方向から見た腎盂・腎杯（形状）画像上において、ステップＳ１０により抽出された画角外領域を画角内領域から識別できるようにする識別情報を重畳した識別画像を生成する。本実施形態においては、識別情報は、画角外領域を画角内領域から色で識別できるようにする着色情報となる。なお、識別情報としての着色する場合の色をユーザが青色等の複数の色から選択して設定できるようにしても良い。【００４０】
次のステップＳ１２において、モニタ８は、識別画像を表示する。より具体的には、モニタ８は、画角外領域が着色された状態（換言すると、画角外領域に識別情報が重畳された状態）の（ステップＳ９において設定された視点位置と方向から見た）腎盂・腎杯５１の（形状）画像を識別画像として表示する。図７は挿入部１１の先端部１５を図３に示す位置まで挿入した場合においてモニタ８に３次元的に表示される識別画像を示す。
つまり、図７は、図３における視点位置Ｐｖにおいて、視点方向Ｄｖから腎盂・腎杯５１の（形状）画像を見た場合、斜線で示す領域が画角外領域Ｒｏとなり、斜線で示していない画角内領域Ｒｉと識別できる状態の識別画像として表示される。図３においては、挿入部１１の先端部１５が図３の紙面内の方向の一方の腎杯５１ｂ内に挿入され、この紙面の垂直上側の他方の腎杯５１ｂ側には挿入されないために、図７に示すように他方の腎杯５１ｂ側は中央側を除く領域が画角外領域Ｒｏとなっている。なお、図７に示す画角内領域Ｒｉと画角外領域Ｒｏは、境界位置のデータのみから抽出されたものに対して、（後述する）図５Ｂにおける所定の条件を満たす場合の処理を経て最終的に決定される画角内領域と画角外領域の場合で示している。
【００４１】
図７では画角内領域Ｒｉと画角外領域Ｒｏとを識別可能にする識別情報として、例えば画角外領域Ｒｏ側を着色する場合を説明したが、例えば画角内領域Ｒｉの画像部分を削除したり、透明にしても良い。また、画角内領域Ｒｉの画像を表示しないで、未観察（又は未検査）の領域としての画角外領域Ｒｏの画像のみを表示するようにしても良い。なお、図７において点線で示すように図７の識別画像に対応する対物光学系２３の観察位置（又は先端部１５の位置）Ｐを重畳して表示するようにしても良い。また、図７の識別画像に至るまでの対物光学系２３の複数の観察位置を重畳して表示するようにしても良い。 
また、抽出した腎盂・腎杯５１の３次元画像データから中空の３次元形状の腎盂・腎杯形状画像を生成する際、３次元形状をポリゴンで表現する場合は、ステップＳ１１での処理は画角外領域と判定されたポリゴンの色を画角内領域と異なる色に変更し、識別画像を生成することとし、ステップＳ１２での処理はモニタ８に、識別画像を表示することでもよい。【００４２】
次のステップＳ１３において制御部４７は、入力装置４９から検査終了の指示が入力されたか否かを判定し、検査終了の指示が入力された場合には、図５Ａの処理を終了する。一方、検査終了の指示が入力されない場合には、ステップＳ４の処理に戻り、上述した処理を第１回目の処理とすると、第２回目の処理が行われる。 
図６Ａには第２回目において観察位置がＰ２で、時間ｔ２において取得される境界位置Ｂ２を２点鎖線で示す。境界位置Ｂ１からＢ２に至る途中の管腔内面は、画角の境界が通過する領域となるために画角内領域Ｒｉａとなる。【００４３】
第２回目の処理の後に、第３回目、第４回目、…と検査終了の指示が行われるまで繰り返される。このようにして、画角外領域抽出処理部４５ｂは、初期状態における対物光学系２３の観察位置を初期位置として、この初期位置から観察終了する状態における終了位置（又は最終位置）に至るまでの間において画角外領域を抽出する処理を行う。また、画角外領域抽出処理部４５ｂは、初期位置から観察終了する状態における終了位置に至るまでの間において画角内領域を抽出する処理を行う。【００４４】
図５ＡにおけるステップＳ１０の処理として、図５Ｂに示すように過去の境界位置データの他に、所定の条件を満たすか否かの判定を含めて、画角外領域を抽出する処理を行うようにしても良い。 
図５ＢにおけるステップＳ２１に示すように画角外領域抽出処理部４５ｂは、経時的に取得した境界位置のデータから画角外領域を抽出する。つまり、画角外領域抽出処理部４５ｂは、過去における最初の時間ｔ１の境界位置Ｂ１のデータから現在の時間ｔｐ（図８ではｐ＝ｎ＋１）までにおいて取得した境界位置Ｂｐのデータにおける画角の外側となる画角外領域を抽出する。 
図８は画角の境界外の領域が発生する状態で腎杯５１ｂ内を観察する様子を示す。図８において時間ｔｎ−１の観察位置Ｐｎ−１、時間ｔｎの観察位置Ｐｎ、時間ｔｎ＋１の観察位置Ｐｎ＋１においてそれぞれ取得される境界位置をそれぞれＢｎ−１，Ｂｎ，Ｂｎ＋１で示している。【００４５】
画角外領域抽出処理部４５ｂは、観察位置Ｐ１〜Ｐｎ＋１の軌跡に沿って境界位置を腎盂・腎杯５１の画像上に沿って境界位置Ｂ１から境界位置Ｂｎ＋１まで移動する。境界位置の移動途中となる腎盂・腎杯５１の画像上の位置は、画角内領域Ｒｉａとなり、これに対して図８において太い線で示す曲線Ｃ（Ｒｏａ）を含む領域が画角外となるために画角外領域Ｒｏａとして抽出する。曲線Ｃ（Ｒｏａ）による画角外領域Ｒｏａは、観察位置Ｐｎにおいての画角の境界を表すラインが途中で接する如くに届く例えば腎杯５１ｂの画像上となる第１の境界位置Ｂｎａと、この第１の境界位置Ｂｎａの外側で画角の境界が届く第２の境界位置Ｂｎｂとの間の腎杯５１ｂの画像上の領域となる。 
図８の場合には第１の境界位置Ｂｎａと第２の境界位置Ｂｎｂをそれぞれ円形の円錐の上面及び底面と近似できるとすると、その円錐の側面部分を外側に膨らませた凸面形状の領域が画角外領域Ｒｏａとして抽出される。実際には、第１の境界位置Ｂｎａや第２の境界位置Ｂｎｂは、より複雑な形状となるために画角外領域Ｒｏａもより複雑な形状となる。【００４６】
また、図８では、観察位置Ｐｎにおいての画角の境界により曲線Ｃ（Ｒｏａ）による画角外領域Ｒｏａが決定される様子を説明したが、例えば観察位置Ｐｎにおいては、曲線Ｃ（Ｒｏａ）で示す一部が抽出され、この観察位置Ｐｎとは異なる１つ又は複数の観察位置で残りの画角外領域が抽出される場合もある。以下において参照する図９においては、僅かに異なる２つの観察位置において画角外領域Ｒｏａがそれぞれ抽出される例を示している。一般的には、複数の観察位置において抽出された画角外領域を合わせて最終的な画角外領域が決定する。 
図５Ｂにおける次のステップＳ２２において判定部４７ｂは、所定の条件を満たすか否かの判定を行う。具体的には、ステップＳ２２ａにおいて判定部４７ｂは、所定の条件を構成する第１の条件を満たすか否かの判定を行う。第１の条件は、ａ）に相当する前回の観察位置からの移動距離が閾値以下の条件である。具体的には、第１の条件は、先端部１５を移動しながら観察する場合において、先端部１５の移動が停止したような状態を判定する条件である。 
第１の条件を満たさない場合には、ステップＳ２２ｂにおいて判定部４７ｂは、第２の条件を満たすか否かの判定を行う。第２の条件は、ｂ）に相当し、移動方向が反転した動き反転の条件である。第２の条件を満たさない場合には、ステップＳ２２ｃにおいて判定部４７ｂは、第３の条件を満たすか否かの判定を行う。第３の条件は、ｃ）に相当し、撮像部２５により取得された画像に設定された設定領域における複数画素の輝度値が輝度閾値以上となる条件である。更に、第3の条件を満たさない場合には、ステップＳ２２dにおいて判定部４７ｂは、第4の条件を満たすか否かの判定を行う。第4の条件は、d）に相当し、情報取得部により取得された対物光学系２３の現在の観察位置と、その位置から視線方向にある腎盂・腎杯の３次元形状までの距離が閾値以下となる条件である。【００４７】
第１の条件、第２の条件、第３の条件及び、第4の条件の少なくとも１つを満たす判定結果の場合にはステップＳ２３において画角外領域抽出処理部４５ｂ（又は図２に示すように画角外領域抽出処理部４５ｂ内に設けた画角内領域抽出処理部４５ｄ）は、上記条件を満たす対物光学系２３の観察位置及び視線方向において、撮像部２５の画角内となる画角内領域Ｒｉｂを腎盂・腎杯５１の画像から抽出する。 
次のステップＳ２４において画角外領域抽出処理部４５ｂは、腎盂・腎杯５１の画像からステップＳ２３において抽出された画角内領域を除外した領域を画角外領域Ｒｏｂとして抽出する。 
図９は図５Ｂの処理の動作の説明図を示す。図９に示すように挿入部１１の先端部１５が腎杯５１ｂ内に挿入され、対向する領域が閉塞されていると、術者は挿入部１１を挿入する操作を停止するため、（挿入部１１の）移動速度が小さくなる。【００４８】
すると、判定部４７ｂは、ステップＳ２２ａの条件を満たすと判定し、ステップＳ２２ａの条件を満たす図９に示す観察位置Ｐｊ及び視線方向Ｄｊの状態で、（太い線で示す）画角θ内となる画角内領域Ｒｉｂを抽出する。この場合には、例えば撮像部２５における対物光学系の観察位置Ｐｊから撮像部２５の画角θ内において光線ベクトルを放射状に照射（出射）し、照射可能となる領域を画角内領域Ｒｉｂとして抽出する。なお、図９における観察位置Ｐｊ及び視線方向Ｄｊに至る途中においては、上述した処理により太い線で示す部分の画角外領域Ｒｏａが抽出され、画角外領域Ｒｏａ以外は画角内領域Ｒｉａとなる。 
また、上記画角θ内における腎杯５１ｂ（又は腎盂・腎杯５１）の画像から抽出された画角内領域Ｒｉｂを除外した太い線で示す領域が画角外領域Ｒｏｂとなる。 
ステップＳ２５において画角外領域抽出処理部４５ｂは、ステップＳ２１において抽出された画角外領域Ｒｏａと、ステップＳ２４において抽出された画角外領域Ｒｏｂとを加算した領域を最終的な画角外領域Ｒｏとする。ステップＳ２５の処理の後、図５ＡにおけるＳ１１の処理に移る。なお、ステップＳ１１以降においては、図５Ｂにより抽出された画角外領域Ｒｏを用いる。また、ステップＳ２２dにおいて、第4の条件を満たさない判定結果の場合には、ステップＳ２５の処理に移る。この場合には画角外領域Ｒｏｂは、０となり、画角外領域Ｒｏは画角外領域Ｒａに等しくなる。【００４９】
このような動作を行う本実施形態によれば、従来例よりも少ない計算量の画像処理によって未観察の領域としての画角外領域Ｒｏを抽出することができる。管腔形状部の内壁を、内視鏡２の先端部１５を移動しながら観察する場合には、経時的に画角の境界となる境界位置のデータを取得することにより、未観察の領域としての画角外領域Ｒｏを抽出することができるため、少ない計算量で未観察の領域としての画角外領域Ｒｏを抽出することができる。 
また、本実施形態によれば、実際に撮像部２５を搭載した内視鏡２（２Ａまたは２Ｂ）によって、所定の管腔臓器としての腎盂・腎杯５１の内部を前記撮像部２５の画角で内視鏡画像として経時的にかつ、光学的に観察した画角内領域と、前記画角の外側となり、観察されない画角外領域を識別した識別画像として表示する。従って、術者等のユーザは、実際に内視鏡観察していない領域を容易に識別でき、観察漏れを低減して内視鏡検査を円滑に行うことができる。 
上述した図７に示すように表示される識別画像は、図５ＡにおけるステップＳ９において設定された視点位置Ｐｖ及び視点方向Ｄｖ等により決定することができるが、以下に説明するように画角外領域が一番大きくなるような方向から識別画像を表示するようにしても良い。【００５０】
図１０Ａは画角外領域が一番大きくなるような方向の識別画像を生成する場合の処理例を示す。 
最初のステップＳ２７ａにおいて識別画像生成処理部４５ｃは、例えば図７に示すように、所定方向から見た３次元の識別画像を表示する。次のステップＳ２７ｂにおいて識別画像生成処理部４５ｃは、入力装置４９等から指定された中心軸を回転中心として、識別画像を所定角度（例えば５度程度）だけ回転する。 
次のステップＳ２７ｃにおいて識別画像生成処理部４５ｃは、回転した状態において、所定方向から見える識別画像全体における画角外領域Ｒｏの占める割合Ｐｒを算出する。 
次のステップＳ２７ｄにおいて識別画像生成処理部４５ｃは、１回転分（３６０度）回転したか否かの判定を行い、１回転していない場合には、ステップＳ２７ｂの処理に戻り同様の処理を行う。１回転分、回転した判定結果の場合には、次のステップＳ２７ｅにおいて識別画像生成処理部４５ｃは、算出された画角外領域Ｒｏの割合Ｐｒが一番大きい識別画像を算出する。【００５１】
そして、次のステップＳ２７ｆにおいて識別画像生成処理部４５ｃは、算出された画角外領域Ｒｏの割合Ｐｒが一番大きい識別画像を表示して図１０Ａの処理を終了する。画角外領域Ｒｏの割合Ｐｒが最大となる識別画像を表示することにより、術者は未観察の画角外領域Ｒｏの存在をより把握し易くなる。 
なお、撮像部２５により撮像された内視鏡画像は、図１のモニタ５に示すように略８角形に近い画像表示エリア５ａにおいて表示され、この画像表示エリア５ａのサイズが撮像部２５の画角に対応する。内視鏡２に搭載される対物光学系２３は、一般的に大きな画角で観察できるように設計されており、画角の周辺側においては光学的な収差による画像の歪みが発生するために、（画角が小さい）中央側に比較して周辺側では観察する場合の画質が低下する。 
そのために、撮像部２５が有する画角を１００％とした場合、例えば入力装置４９から、ユーザが望む値１００％未満の設定画角に撮像部２５の画角を調整又は変更できるようにしても良い。図１０Ｂは、入力装置４９から設定画角を設定した場合における該設定画角に対応する画像表示エリア５ｂを示す。そして、上述した境界位置の生成や、画角外領域の抽出に用いる際の画角として、入力装置４９から設定した設定画角を用いるようにしても良い。【００５２】
図１０Ｂのように設定すると、ユーザが望む画質を考慮した状態で観察した場合における画角内領域と画角外領域とを識別して表示できる。なお、図１０Ｂに示すように複数の設定画角に対応する複数の（同心円形状の）画像表示エリアを表示し、ユーザが所望の設定画角を選択できるようにしても良い。 
上述した第１の実施形態において、例えば１つの腎杯５１ｂ内に挿入部１１の先端部１５を挿入してその腎杯５１ｂ内を観察し、当該腎杯の腎杯画像における画角内領域が設定された閾値以上となった場合において、画角内領域と画角外領域とを識別する識別画像を表示するようにしても良い。 
図１１は、この場合の処理例を示す。図５ＡにおけるステップＳ１０の後のステップＳ３１において画角外領域抽出処理部４５ｂ又は画角内領域抽出処理部４５ｄは、挿入部１１の先端側が挿入されている１つの腎杯５１ｂ内の中空面積を腎盂・腎杯画像生成部４３ａが生成する腎盂・腎杯画像のデータから算出する。【００５３】
次のステップＳ３２において画角内領域抽出処理部４５ｄは、ステップＳ１０においての過去の境界位置から現在の境界位置に至るまでの画角外領域を抽出する処理と同様に、過去の境界位置から現在の境界位置に至るまで境界位置として通過した領域を画角内領域として抽出し、抽出した画角内領域のデータを判定部４７ｂに送る。 
次のステップＳ３３において判定部４７ｂは、抽出された画角内領域のデータが、挿入部１１が挿入されている腎杯５１ｂの中空面積に対して設定された閾値以上か否かを判定する。閾値以上の判定結果の場合には、図５ＡにおけるステップＳ１１の処理に進み、逆に閾値未満の判定結果の場合には、ステップＳ１３の処理に移る。なお、閾値として、挿入部１１が挿入される腎杯５１ｂの中空面積に対する割合の閾値を用いるようにしても良い。換言すると、挿入部１１が挿入される腎杯５１ｂの中空面積の値を規格化し、規格化した中空面積に対して設定した閾値を用いるようにしても良い。【００５４】
上述した説明においては、識別情報を表示する場合の視点位置として、内視鏡２の挿入部１１が挿入された管腔臓器としての腎盂・腎杯５１の外部に設定した場合を説明したが、管腔臓器の内部に設定できるようにしても良い。 
例えば図２において入力装置４９に視点位置を選択的に設定する視点設定部４９ｂを設け、視点設定部４９ｂを形成する選択スイッチ、マウス等の操作により、管腔臓器の外部の視点位置と、管腔臓器の内部の視点位置を選択することができるようにしても良い。管腔臓器の外部の視点位置の設定に関しては、既に説明した。 
これに対して、管腔臓器の内部の視点位置を選択した場合には、さらに視点設定部４９ｂを形成するマウス等から視点位置と視点方向を指定する。そして、制御部４７は、指定された視点位置と視点方向から管腔臓器としての腎盂・腎杯５１内部を観察（撮像）した場合のＶＢＳ画像を生成するようにＶＢＳ画像生成部４４ａを制御し、ＶＢＳ画像生成部４４ａは、対応するＶＢＳ画像を生成し、モニタ８は、生成されたＶＢＳ画像を表示する（なお、制御部４７を介することなく、入力装置４９から指定された視点位置と視点方向のデータをＶＢＳ画像生成部４４ａに送るようにしても良い）。【００５５】
図１２は、モニタ８に表示されるＶＢＳ画像Ｉａの一例を示し、視点位置と視点方向は、例えば腎盂側から分岐した腎杯側を観察するように設定されている。 
そして、撮像部２５の画角により観察した場合の領域が画角内領域Ｒｉとなり、画角内領域Ｒｉの外側の斜線で示す領域が画角外領域Ｒｏとなり、斜線で示す画角外領域Ｒｏが画角内領域Ｒｉと識別できるように例えば着色されて表示される。なお、図１２における画角内領域Ｒｉ及び画角外領域Ｒｏは、（所定の条件を満たす場合を含めた）最終的な画角内領域及び画角外領域の場合で示している。 
また、図２において、入力装置４９に管腔臓器としての腎盂・腎杯５１の切断面を指示するキーボードやマウス等から構成される切断面指示入力部４９ｃを設け、制御部４７は切断面指示入力部４９ｃからの切断面の指示データを腎盂・腎杯画像生成部４３ａに送り、腎盂・腎杯画像生成部４３ａは、指示された切断面で腎盂・腎杯画像を切断した断面を表示するようにしても良い。 
図１３は、例えば図３に示す腎盂・腎杯５１において、例えば紙面に平行に近い切断面が指示された場合の断面図Ｉｄを示す。【００５６】
また、識別画像生成処理部４５ｃは、この断面図Ｉｄにおいて画角外領域Ｒｏを例えば斜線で示すように画角内領域Ｒｉと識別して表示する。切断面により中空形状の画像を抽出して、画角内領域Ｒｉと画角外領域Ｒｏとを識別した場合には、中空形状の断面上となる曲線部分に沿って画角内領域Ｒｉと画角外領域Ｒｏとが識別されることになる。この場合には、両者の識別が分かりにくいために、図１３に示す図示例においては、切断面以外の画角内領域Ｒｉと画角外領域Ｒｏを切断面に投影した投影切断面の状態で示すようにしている。このようにすると、画角内領域Ｒｉと画角外領域Ｒｏとを識別し易くなると共に、両者の領域の大きさの程度を把握し易くなる。 
なお、投影切断面として、未観察となる画角外領域Ｒｏが分かり易いように、又は画角外領域Ｒｏを多く含むものを表示するようにしても良い。 
図１４は、画角外領域Ｒｏを投影した投影切断面として画角外領域Ｒｏを多く含むような投影切断面で画角外領域Ｒｏを表示する場合の説明図を示す。【００５７】
例えば図７に示すように画角内領域Ｒｉと画角外領域Ｒｏが抽出されて両者が識別された３次元の識別画像に対して、ユーザは、図１４に示すように投影切断面の中心線Ｌｏの位置及び方向を入力装置４９から入力し、かつ切断角ピッチΘを入力する。 
この場合、識別画像生成処理部４５ｃに設けた投影切断面画像生成処理部４５ｆは、３次元の識別画像を角度が０となる投影切断面Ａ１，角度がΘとなる投影切断面Ａ２，角度が２Θとなる投影切断面Ａ３，…，角度が（ｎ−１）×Θとなる投影切断面Ａｎを順次設定し、各投影切断面Ａｉに３次元の識別画像における画角内領域Ｒｉと画角外領域Ｒｏを各投影切断面Ａｉに垂直な方向から投影する。投影切断面画像生成処理部４５ｆを識別画像生成処理部４５ｃの外部に設けるようにしても良い。 
次に、投影切断面画像生成処理部４５ｆは、各投影切断面Ａｉ上における画角外領域Ｒｏの画素数又は面積を算出し、画素数又は面積が最大となる投影切断面Ａｋを特定する。 
そして、投影切断面画像生成処理部４５ｆは、特定された投影切断面Ａｋの画像を画角内領域Ｒｉと画角外領域Ｒｏとを識別した２次元の識別画像として表示する。【００５８】
なお、投影切断面を例えば固定し、３次元の識別画像側を上記切断角ピッチΘで順次回転して固定された投影切断面に投影された画角内領域Ｒｉと画角外領域Ｒｏとを順次表示し、画角外領域Ｒｏの画素数又は面積が最大となる回転角の投影切断面を特定した後に、その投影切断面を表示するようにしても良い。 
また、挿入部１１を管腔臓器としての腎盂・腎杯５１内に挿入して経時的に識別画像を表示する場合、図１５Ａ、図１５Ｂ及び図１５Ｃに模式的に示すように表示するようにしても良い。例えば図１５Ａに示すように挿入前の初期状態の初期表示においては腹部側から見た表側の腎盂・腎杯５１の画像全体が斜線で示す画角外領域Ｒｏとして表示する識別画像となる。その後、挿入部１１の先端部１５を深部側まで挿入して観察することにより、図１５Ｂに示すように表側の腎盂・腎杯５１の画像における殆どが画角内領域Ｒｉとなる識別画像となる。 
この状態において術者は、３次元の腎盂・腎杯５１の画像の識別画像を１８０度回転させる指示操作を行い、背中側から見た裏側の腎盂・腎杯５１の識別画像を表示させる状態にする。そして、術者は、図１５Ｃに示す裏側の腎盂・腎杯５１の識別画像における画角外領域Ｒｏを観察する。このようにして、表側及び裏側の腎盂・腎杯５１の画像における識別情報（着色）を参照して、未観察の領域を効率良く観察できるようになる。【００５９】
図１５Ｂに示すように３次元の腎盂・腎杯５１の識別画像を１８０度等、任意の角度で回転させる指示操作を行うキードード等からなる回転指示部を入力装置４９に設けるようにしても良い。また、内視鏡２の操作部１２に設けたスコープスイッチ等から３次元の腎盂・腎杯５１の識別画像を１８０度等の所定の角度で回転させることができるようにしても良い。 
なお、本発明は、実際の内視鏡の場合で説明したが、仮想内視鏡を用いた場合に対しても同様に適用することも可能となる。 
また、上述の説明においては、所定の管腔臓器として腎盂腎杯の場合で説明したが、消化管や気管支等の管腔臓器の場合に対しても適用することができる。 
なお、上述した実施形態等を部分的に組み合わせる等して構成される実施形態も本発明に属する。【００６０】
本出願は、２０１４年６月１８日に日本国に出願された特願２０１４−１２５６３４号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。
【図１】
0005977900.tif 000002
【図２】
0005977900.tif 000003
【図３】
0005977900.tif 000004
【図４】
0005977900.tif 000005
【図５Ａ】
0005977900.tif 000006
【図５Ｂ】
0005977900.tif 000007
【図６Ａ】
0005977900.tif 000008
【図６Ｂ】
0005977900.tif 000009
【図７】
0005977900.tif 000010
【図８】
0005977900.tif 000011
【図９】
0005977900.tif 000012
【図１０Ａ】
0005977900.tif 000013
【図１０Ｂ】
0005977900.tif 000014
【図１１】
0005977900.tif 000015
【図１２】
0005977900.tif 000016
【図１３】
0005977900.tif 000017
【図１４】
0005977900.tif 000018
【図１５Ａ】
0005977900.tif 000019
【図１５Ｂ】
0005977900.tif 000020
【図１５Ｃ】
0005977900.tif 000021