(57)【要約】  画像補完システム１０は、対象空間が撮像された術野画像Ｖ１を取得する術野内視鏡１６と、術野内視鏡１６とは別の視線方向から対象空間を撮像して術野画像Ｖ１を補完する補完用画像Ｖ２を取得する補完用内視鏡１７と、対象空間内に多数設定された各設定点と基準点との離間距離を計測する測距装置１２と、各内視鏡１６，１７の３次元位置を計測する３次元位置計測装置１３と、当該計測結果に基づいて、手術器具Ｓが対象空間とともに術野画像Ｖ１に撮像されることにより、手術器具Ｓの奥側に隠れた対象空間の遮蔽領域の画像情報を補完用画像Ｖ２から取得し、取得した画像情報を術野画像Ｖ１内の手術器具Ｓの画像情報に対して置換若しくは重畳させる画像処理装置１４とを備えている。
2013141155.tif 000002
【特許請求の範囲】
【請求項１】
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも３点以上設定された各設定点の３次元位置、並びに前記主撮像装置及び前記補完用撮像装置のそれぞれの３次元位置に基づき、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記主画像装置及び前記補完用撮像装置は、それぞれ移動しながら前記対象空間をほぼ同時に撮像可能に設けられ、
前記画像処理装置では、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた前記対象空間の遮蔽領域の画像情報を、逐次検出される前記各３次元位置の情報を基に前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。
【請求項２】
前記画像処理装置は、前記各３次元位置の検出結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項１記載の画像内遮蔽領域の画像補完システム。
【請求項３】
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも３点以上設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置と、
前記主撮像装置及び前記補完用撮像装置の３次元位置を計測する３次元位置計測装置と、
前記測距装置及び前記３次元位置計測装置からの計測結果に基づいて、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記画像処理装置は、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた対象空間の遮蔽領域の画像情報を前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。
【請求項４】
前記画像処理装置は、前記測距装置及び前記３次元位置計測装置の計測結果から、前記各設定点について、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主撮像装置の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記合成画像を生成する合成画像生成手段とを備えたことを特徴とする請求項３記載の画像内遮蔽領域の画像補完システム。
【請求項５】
前記補完用画像変形手段では、前記補完用画像内の前記各設定点が、前記主画像内に存在する同一の前記設定点の画面内座標に一致するように、前記補完用画像の画像情報を移動することで前記変形画像を生成することを特徴とする請求項２又は４記載の画像内遮蔽領域の画像補完システム。
【請求項６】
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行う画像処理装置であって、
前記対象空間に少なくとも３点以上設定された各設定点について、当該各設定点の３次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの３次元位置とから、前記主画像の画面座標系における画面内座標及び前記補完用画像の画面座標系における画面内座標を特定する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段とを備えたことを特徴とする画像処理装置。
【請求項７】
主撮像装置によって取得され、モニター対象となる対象空間の主画像と、補完用撮像装置によって前記主画像と別の視線方向からほぼ同時に撮像された前記対象空間の補完用画像とを合成することで、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像された際に、前記部材の少なくとも一部によって遮蔽された前記主画像内の遮蔽領域の画像情報を前記補完用画像の画像情報で補完する処理を行うコンピュータを含む画像処理装置のプログラムであって、
前記対象空間に少なくとも３点以上設定された各設定点について、当該各設定点の３次元位置と、前記主撮像装置及び前記補完用撮像装置のそれぞれの３次元位置とから、前記各設定点の前記主画像内の画面内座標及び前記補完用画像内の画面内座標を算出する設定点位置特定手段と、
前記各画面内座標に基づき、前記補完用画像を前記主画像の視線方向に変換するように、前記補完用画像の各点の画像情報を画面内で移動させた変形画像を生成する補完用画像変形手段と、
前記遮蔽領域の前記主画像内での位置を特定する遮蔽領域特定手段と、
前記遮蔽領域の画像情報を、前記変形画像内で前記遮蔽領域に相応する相応領域の画像情報に置換若しくは重畳することで、前記主画像の遮蔽領域を前記補完用画像で補完した合成画像を生成する合成画像生成手段として、前記コンピュータを機能させることを特徴とする画像処理装置のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに係り、更に詳しくは、所定の部材によって一部が遮蔽された状態で撮像された対象空間の画像情報を他の視線方向から撮像された他の画像情報で補完する画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、大きな切開を要さずに患者への負担を少なくする低侵襲手術が普及しており、この低侵襲手術として内視鏡下手術が知られている。この内視鏡下手術は、メス、鉗子、穿刺針等が先端側に設けられた棒状の手術器具と、内視鏡とが、患者の体表部分に開けた穴から体内に挿入され、手術者が手術器具を患者の体外側から操作することにより、患部の処置を行う手術である。このような内視鏡下手術は、手術者の手で手術器具を直接操作する態様の他に、ロボットアームの動作にて手術器具を動かす手術支援ロボットの支援による態様もある。【０００３】
ところが、前述の内視鏡下手術では、手術者が患部及びその周辺を直視することができず、モニター上の内視鏡映像でしか患部を視認できないため、手術者の視野が制限されるという問題がある。特に、内視鏡映像では、手術器具が映ると、当該手術器具の奥行側に存在する体内空間が手術器具によって隠されて視認することができない。このような場合は、内視鏡の姿勢を変える操作等で対処可能になる場合があるが、術中における当該操作が面倒となる。加えて、手術器具は、術中、患部に接近していることが多く、内視鏡の姿勢を変えても、依然、内視鏡映像のどこかに映ることが多いため、手術器具による遮蔽領域の存在により、視野が一層狭くなってしまうことが多く、患部付近の正確な空間把握が一層難しくなる。このため、前記遮蔽領域に、手術器具を接触させてはならない血管や神経等の危険部位が存在すると、当該危険部位に手術器具が不意に接触し、出血等の偶発症を発生させてしまう虞がある。【０００４】
ところで、特許文献１には、ＭＲＩ（磁気共鳴画像診断装置）等で撮像された三次元画像データを処理して内視鏡映像に重畳する手術支援装置が開示されている。この手術支援装置では、三次元画像内の特定領域を抽出したセグメンテーション画像データを作成し、当該セグメンテーション画像データに投影処理を施して手術支援画像を作成し、当該手術支援画像を内視鏡映像に重畳するようになっている。【０００５】
また、特許文献２には、手術中に撮像された立体内視鏡画像と、ＭＲＩ等によって手術前に撮像された画像データから得られた３次元画像との対応を取り、これら各画像内の位置合わせを行って、当該各画像を合成表示する画像処理装置が開示されている。この画像処理装置では、術具によって、立体内視鏡画像の左右何れかの画像の一部が遮られている場合に、術具の裏側に存在する組織における特徴点を幾何学的に復元し、術具の裏側に存在する組織の３次元位置を把握するようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−７０４１号公報
【特許文献２】特開平１１−３０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、前記特許文献１の手術支援装置にあっては、内視鏡映像に手術器具が映った場合、その奥行方向の遮蔽領域が自動的に特定され、当該遮蔽領域における体内空間の画像情報が得られる訳ではなく、内視鏡映像内の手術器具の存在による手術者の視野の制限という前述の問題を解決することができない。【０００８】
また、前記特許文献２の画像処理装置にあっては、立体内視鏡内で、手術器具等によって遮蔽された裏側の組織の３次元位置を特定するために、先ず、手術器具が映らない状態の立体内視鏡画像を取得し、手術中、その際の立体内視鏡の位置姿勢を変えないことが条件になる。従って、立体内視鏡の位置姿勢を変える度に、内視鏡画像に映らない場所に手術器具を待避させる操作が都度必要になり、手術をスムーズに行う上での障害となる。更に、ＭＲＩ等によって手術前に得られた３次元画像を内視鏡画像に重ね合わせるため、手術中に内視鏡画像に映る臓器等が動かされる等、内視鏡画像に撮像される体内空間の状態が変化する場合には、リアルタイムに取得される内視鏡画像と、手術前にＭＲＩ等によって取得した過去の体内空間の状態を表す３次元画像との間で、同一部分の対応を取ることができず、前記内視鏡画像に前記３次元画像を重ね合わせることができない。【０００９】
本発明は、このような課題に着目して案出されたものであり、その目的は、所定の対象空間を撮像した画像に対し、所定の部材によって一部が遮蔽された遮蔽領域が存在する場合に、対象空間の状況が変わっても、煩雑な操作を行わずに、当該遮蔽領域における対象空間の画像情報を補完することができる画像内遮蔽領域の画像補完システム、画像処理装置及びそのプログラムを提供することにある。
【課題を解決するための手段】
【００１０】
前記目的を達成するため、本発明は、主として、モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、前記対象空間に少なくとも３点以上設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置と、前記主撮像装置及び前記補完用撮像装置の３次元位置を計測する３次元位置計測装置と、前記測距装置及び前記３次元位置計測装置からの計測結果に基づいて、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、当該画像処理装置は、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた対象空間の遮蔽領域の画像情報を前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成する、という構成を採っている。
【発明の効果】
【００１１】
本発明によれば、手術器具等の部材が対象空間とともに主画像内に撮像され、対象空間の一部の画像情報が手術器具で隠された場合に、当該隠された部分における部材の奥行側の画像情報が、リアルタイムな補完用画像の画像情報により補完され、主画像に対して、前記部材をあたかも透視したかのような合成画像をリアルタイムで得ることができる。その結果、前記部材による遮蔽領域が画像処理によって解消され、当該遮蔽領域の存在による主画像内での視野の低下が改善され、当該視野を実質的に拡げることができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態に係る画像補完システムの概略システム構成図。
【図２】（Ａ）〜（Ｆ）は、術野画像Ｖ１と補完用画像Ｖ２の合成画像を取得するための手順を説明するための画像を示す図。
【図３】座標系の変換を説明するための概念図。
【図４】（Ａ）は、設定点Ｐｉの画面内移動を説明するための画像を示す図であり、（Ｂ）は、非定点Ｐｐの画面内移動を説明するために（Ａ）の一部を拡大した画像を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について図面を参照しながら説明する。
【００１４】
図１には、本実施形態に係る画像内遮蔽領域の画像補完システムの概略システム構成図が示されている。この図において、本実施形態の画像補完システム１０は、手術器具Ｓの先端に取り付けられたメスや鉗子等の処置部Ｓ１を体外側から操作して手術を行う内視鏡下手術時に用いられる内視鏡映像を補完するシステムである。
【００１５】
この画像補完システム１０は、処置対象の患部を含む臓器Ｋ及びその周辺部分からなるモニター対象の体内空間である対象空間を撮像する撮像装置１１と、対象空間内の物体に仮想的に多数設定された各設定点と所定の基準点との離間距離をそれぞれ計測する測距装置１２と、撮像装置１１の３次元位置をそれぞれ計測する３次元位置計測装置１３と、撮像装置１１で得られた画像を処理する画像処理装置１４とを備えている。
【００１６】
前記撮像装置１１は、手術者が手術の際に見る治療領域の内視鏡映像を構成する主画像となる術野画像Ｖ１（図２（Ａ）参照）を取得する単眼の術野内視鏡１６（主撮像装置）と、術野画像を補完する補完用画像Ｖ２（図２（Ｂ）参照）を取得する単眼の補完用内視鏡１７（補完用撮像装置）とからなる。術野内視鏡１６は、手術者の指示或いは操作により、所望の対象空間を撮像されるようになっている。補完用内視鏡１７は、術野内視鏡１６と別の視線方向から前記対象空間を撮像可能になっており、術野内視鏡１６の移動に追従して一体的に移動可能にしても良いし、術野内視鏡１６と相対移動可能にしても良い。但し、補完用内視鏡１７は、術野内視鏡１６で撮像される術野画像Ｖ１内に存在する手術器具Ｓによって、当該術野画像Ｖ１内で隠されてしまったその奥行側の対象空間の領域を撮像可能となるように配置される。
【００１７】
前記測距装置１２としては、例えば、特開２０１０−２２０７８７号公報等に開示された公知の構造のものが採用されており、ステレオ画像を取得可能なステレオカメラ１９と、ステレオカメラ１９で撮像された一対のステレオ画像の間で対応点を探索し、ステレオマッチング法を用いて、各対応点のステレオカメラ１９の先端からの距離を求める距離計測手段２０とを備えている。なお、測距装置１２の詳細な構造及びアルゴリズムについては、公知の技術が採用され、本発明の本質部分ではないため、詳細な説明を省略する。
【００１８】
ここで、前記ステレオカメラ１９は、補完用内視鏡１７に一体的に設けられており、補完用内視鏡１７に映る空間の殆どのステレオ画像を取得可能となっている。
【００１９】
前記距離計測手段２０では、図２（Ｃ）に模式的に示すように、補完用内視鏡１７に映る物体の表面上に、多数の設定点Ｐが自動的に設定され、当該各設定点Ｐについて、ステレオカメラ１９の先端からの距離が求められ、ステレオカメラ１９の所定点を原点としたステレオカメラ座標系における３次元座標（３次元位置）が特定（検出）される。ここで、各設定点Ｐは、特に限定されるものではなく、少なくとも３点以上存在すれば良いが、本実施形態では、補完用内視鏡１７に映る物体について、画面上の縦横所定間隔毎に多数設定される。なお、ステレオカメラ１９の何れか一方のカメラを補完用内視鏡１７と併用してもよい。
【００２０】
前記３次元位置計測装置１３は、位置計測対象となる部材にそれぞれ少なくとも３箇所ずつ取り付けられるマーカ２２と、各マーカ２２から発光された赤外線を受光する受光部２３Ａを含む本体２３とを備え、各マーカ２２の動きに合わせて当該赤外線を追跡することにより、各マーカ２２の３次元位置を検出可能な公知の構造のものが採用される。当該構造については、本発明の本質部分でないため、詳細な説明を省略する。なお、３次元位置計測装置１３としては、位置計測対象となる部材の３次元位置を検出できる限りにおいて、種々の原理や構造の装置を代替的に用いることも可能である。
【００２１】
ここで、前記マーカ２２は、手術器具Ｓ、術野内視鏡１６、及び補完用内視鏡１７のそれぞれについて、手術時に体外側に位置する後端部分に取り付けられており、それら後端部分について、本体２３で、所定点を原点とする基準座標系の３次元座標（位置）が測定される。また、手術器具Ｓ、術野内視鏡１６、及び補完用内視鏡１７が予め特定された既知の形状であるため、それら後端部分の３次元座標から、当該後端部分と相対移動しない各構成部分の３次元座標が、本体２３内の演算によって求められる。なお、術野内視鏡１６及び補完用内視鏡１７が相対移動不能に一体化されていれば、それら何れか一方のみにマーカ２２を設ければ良い。また、本実施形態では、補完用内視鏡１７と測距装置１２のステレオカメラ１９とが相対移動不能に一体的に設けられているため、３次元位置計測装置１３で補完用内視鏡１７の各構成部分の位置が求められると、ステレオカメラ１７の各構成部分の位置も自動的に特定される。これにより、測距装置１２で求めたステレオカメラ座標系における各設定点Ｐの３次元座標が、３次元位置計測装置１３の計測結果から、前記基準座標系の３次元座標に変換可能になる。
【００２２】
なお、ステレオカメラ１７が、手術器具Ｓ、術野内視鏡１６、及び補完用内視鏡１７の何れにも相対移動可能になっている場合には、ステレオカメラ１７の後端部分にもマーカ２２が取り付けられる。
【００２３】
前記画像処理装置１４は、ＣＰＵ等の演算処理装置及びメモリやハードディスク等の記憶装置等からなるコンピュータによって構成され、当該コンピュータを以下の各手段として機能させるためのプログラムがインストールされている。
【００２４】
この画像処理装置１４は、術野画像Ｖ１内に映る手術器具Ｓの奥行側に隠れた対象空間の遮蔽領域について、補完用画像Ｖ２から画像情報を取得し、当該取得した画像情報を術野画像Ｖ１の遮蔽領域の画像情報に対して置換若しくは重畳させることで、当該遮蔽領域を補完用画像で補完した合成画像を生成する処理を行うようになっている。
【００２５】
具体的に、画像処理装置１４は、測距装置１２及び３次元位置計測装置１３の計測結果から、各設定点Ｐについて、基準座標系における３次元座標（３次元位置）を特定し、術野画像Ｖ１内の画面座標系における画面内座標（２次元座標）と補完用画像Ｖ２内の画面座標系における画面内座標（２次元座標）とを求める設定点位置特定手段２５と、設定点位置特定手段２５で求めた各画面内座標に基づき、補完用画像Ｖ２内の画像情報を術野内視鏡１６の視線方向に変換するように、補完用画像における各点（ピクセル）の画像情報を画面内で移動させた変形画像Ｖ３（図２（Ｄ）参照）を生成する補完用画像変形手段２６と、術野画像Ｖ１内で、手術器具Ｓの処置部Ｓ１よりも後側となる棒状の本体部分Ｓ２が占める遮蔽領域を特定する遮蔽領域特定手段２７と、変形画像Ｖ３内で遮蔽領域に相応する相応領域（図２（Ｄ）中の破線内領域）を特定し、術野画像Ｖ１の遮蔽領域の画像情報を変形画像Ｖ３の相応領域の画像情報に置換若しくは重畳することで、術野画像Ｖ１と補完用画像Ｖ２の合成画像を生成する合成画像生成手段２８とを備えている。
【００２６】
前記画像処理装置１４における画像補完の手順について、以下に説明する。
【００２７】
先ず、設定点位置特定手段２５では、３次元位置計測装置１３の計測結果から、測距装置１２で求めたステレオカメラ座標系における各設定点Ｐの３次元座標が前記基準座標系（図３参照）の３次元座標に変換される。そして、予め記憶された以下の公知の数式により、補完用画像Ｖ２内における各設定点Ｐの画面内座標（２次元座標）が求められる。なお、３次元座標系である基準座標系は、ｚ軸方向が補完用内視鏡１７の光軸方向に一致するように設定されている。
【数１】
2013141155.tif 000003
以上の各式において、（ｘｉ，ｙｉ，ｚｉ）は、基準座標系における各設定点Ｐｉ（ｉ＝１〜ｎ）の３次元座標である。また、式（１）及び（２）において、（ｕｉ，vｉ）は、設定点Ｐｎの補完用画像Ｖ２における画面座標系の画面内座標、すなわち、画面横方向と画面縦方向の２次元座標である。更に、ｆは、術野内視鏡の焦点距離であり、ｋｕは、補完用内視鏡１７の画面横方向の画面解像度であり、ｋｖは、補完用内視鏡１７の画面横方向の画面解像度であり、（ｕ０，v０）は、補完用画像Ｖ２の画像面上で光軸の横切る点の画面横方向と画面縦方向の座標である。ここで、ｆ、ｋｕ、ｋｖ、ｕ０，v０、は、補完用内視鏡１７の仕様や配置状態に応じて特定され、予め記憶された定数である。
【００２８】
次に、基準座標系における各設定点Ｐｉの座標（ｘｉ，ｙｉ，ｚｉ）が、３次元位置計測装置１３の計測結果による術野内視鏡１６と補完用内視鏡１７との相対位置関係から、術野内視鏡１６の所定位置を基準とした３次元座標（ｘ′ｉ，ｙ′ｉ，ｚ′ｉ）に変換され、更に、上式（１）、（２）と同様の数式により、各設定点Ｐｉの術野内視鏡１６内における画面内座標（ｕ′ｉ，v′ｉ）に変換される。
【００２９】
次に、補完用画像変形手段２６では、各設定点Ｐｉの術野画像Ｖ１の画面内座標（ｕ′ｉ，v′ｉ）と、各設定点Ｐｉの補完用画像Ｖ２の画面内座標（ｕｉ，vｉ）とから、補完用画像Ｖ２内の各点の画像情報が、当該各点と同一部位が映された術野画像Ｖ１内の画面内座標に相当する位置に補完用画像Ｖ２の画面内で移動され、補完用画像Ｖ２の変形画像Ｖ３が生成される。
【００３０】
すなわち、ここでは、先ず、図４（Ａ）に示されるように、補完用画像Ｖ２の画面内座標（ｕｉ，vｉ）における各設定点Ｐｉの画像情報が、相応する各設定点Ｐｉの術野画像Ｖ１内での画面内座標（ｕ′ｉ，v′ｉ）と同一の画面内座標になるように、補完用画像Ｖ２内で移動される。そして、図４（Ｂ）に示されるように、補完用画像Ｖ２における設定点Ｐｉ（同図中白丸点）以外の残り部位となる各非定点Ｐｐ（ｐ＝１、２・・・）（同図中黒丸点：１点のみ表示）の画像情報が、加重平均により以下のように移動される。なお、図４（Ｂ）において、設定点Ｐｉについては、同図中白丸にて表されている。一方、各非定点Ｐｐについては、図面の錯綜を回避する理由で、１点の黒丸にて表されているが、実際は、設定点Ｐｉを除く画面内のピクセル部分にそれぞれ存在することになる。
【００３１】
先ず、補完用画像Ｖ２の全体よりも小さい一定範囲の仮想領域Ｔが設定され、一つの非定点Ｐｐを中心にして、仮想領域Ｔ内に存在する設定点Ｐｉが特定される。図４（Ｂ）の例では、仮想領域Ｔ内にＰ１からＰ４の４個の設定点Ｐｉが存在する。
次に、次の重み係数Ｗｉが、仮想領域Ｔ内に存在する設定点Ｐｉに対応してそれぞれ求められる。具体的には、仮想領域Ｔ内に存在する設定点Ｐｉそれぞれについて、非定点Ｐｐに対する離間距離が求められ、当該離間距離から、予め設定された演算式を用いて重み係数Ｗｉが求められる。この重み係数Ｗｉは、離間距離に応じて逆比例するように設定される。
そして、以下の式によって、各非定点Ｐｐについての移動ベクトルＴ（ｕｐ，vｐ）がそれぞれ求められる。なお、ここでは、仮想領域Ｔ内にＮ個存在する設定点Ｐｉを設定点ＰＴｊ（ｊ＝１、２、・・・、Ｎ）とし、当該各設定点ＰＴｊにつき、前述した手順によって特定された補完用画像Ｖ２内の移動ベクトルをＴ（ｕｊ，vｊ）とし、非定点Ｐｐからの離間距離に応じた前述の重み係数をＷｊとする。
【数２】
2013141155.tif 000004
その後、補完用画像Ｖ２の各非定点Ｐｐの画像情報が、それぞれ求めた移動ベクトルＴ（ｕｐ，vｐ）による移動量及び移動方向に従い、補完用画像Ｖ２の画面内で移動される。その結果、補完用画像Ｖ２内の各設定点Ｐｉ及び各非定点ＰＰの各画像情報を同一画面内で移動させ、補完用画像Ｖ２を術野内視鏡１６の視線方向に変換させた変形画像Ｖ３が生成される。
【００３２】
なお、補完用画像変形手段２６では、非定点Ｐｐにおける画像情報の移動ベクトルＴ（ｕｐ，vｐ）を加重平均により求めたが、設定点Ｐｉの位置情報からＢスプライン補完等、他の手法を用いて移動ベクトルＴ（ｕｐ，vｐ）を求めても良い。
【００３３】
次に、前記遮蔽領域特定手段２７では、次のようにして、術野画像Ｖ１内で本体部分Ｓ２が占める遮蔽領域の位置が特定される。すなわち、３次元位置計測装置１３により、手術器具Ｓ１の各部位の基準座標系における３次元座標が求められる。そして、これら各３次元座標は、設定点位置特定手段２５での説明した各式と同様の演算式を用い、術野画像Ｖ１の画面座標系における画面内座標（２次元座標）に変換され、術野画像Ｖ１における遮蔽領域の位置が特定される。なお、遮蔽領域の特定は、前述した手法に限定されるものではなく、本体部分Ｓ２に所定の色彩を付し、当該色彩に基づき、術野画像Ｖ１の画像情報を識別して遮蔽領域を特定する公知の手法を採用しても良い。
【００３４】
その後、前記合成画像生成手段２８では、以下のマスク処理を行うことで合成画像が生成される。すなわち、先ず、図２（Ｅ）に示されるように、術野画像Ｖ１内で特定された遮蔽領域を抽出したマスクが生成される。そして、生成されたマスクにより、術野画像Ｖ１内の遮蔽領域の画面内座標の範囲と一致する変形画像Ａ３（同図（Ｄ））内の画面内座標の範囲が、相応領域（同図（Ｄ）の破線内領域）として特定され、この相応領域の画像情報が抽出される。その後、当該相応領域の画像情報が、術野画像Ｖ１内の遮蔽領域の画像情報に対して重畳若しくは置換され、同図（Ｆ）に示される合成画像が生成される。
【００３５】
前記合成画像は、術野画像Ｖ１をベースに、術野画像Ｖ１に写る手術器具Ｓの本体部分Ｓ２を透過させたかの如く、本体部分Ｓ２の奥行側の画像情報が、補完用内視鏡１７からの補完用画像Ｖ２で補完された画像となる。従って、合成画像では、術野画像Ｖ１に映された手術器具Ｓのうち先端の処置部Ｓ１のみ残された状態となり、術野画像Ｖ１において、手術者が術中に必要な処置部Ｓ１の他は、体内空間を映し出すことができ、内視鏡映像の術野を実質的に拡げることができる。
【００３６】
なお、前記実施形態では、内視鏡下手術における内視鏡映像の画像処理を行う画像補完システム１０について図示説明したが、本発明はこれに限らず、内視鏡下手術を支援する手術支援ロボットの内視鏡映像の画像処理の他、例えば、原子力発電所の原子炉内での作業等、人が立ち入ることができずに直視できない作業空間について、カメラ等の撮像装置からの映像を取得しながら、ロボットアーム等の遠隔操作を行うための画像処理にも適用可能である。この場合は、前述の手術器具Ｓをロボットアーム等の予め特定された部材に代え、前述と同様のアルゴリズムを適用すれば、当該用途に沿った画像補完システムとすることができる。
【００３７】
その他、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【産業上の利用可能性】
【００３８】
本発明は、人間が直視できない空間内の画像を取得する撮像装置による視野の制限を補完するシステムとして産業上利用可能である。
【符号の説明】
【００３９】
１０  画像補完システム
１１  撮像装置
１２  測距装置
１３  ３次元位置計測装置
１４  画像処理装置
１６  術野内視鏡（主撮像装置）
１７  補完用内視鏡（補完用撮像装置）
２５  画像内位置算出手段
２６  補完用画像変形手段
２７  遮蔽領域特定手段
２８  合成画像生成手段
Ｐ  設定点
Ｓ  手術器具（部材）
Ｖ１  術野画像（主画像）
Ｖ２  補完用画像
【図１】
2013141155.tif 000005
【図２】
2013141155.tif 000006
【図３】
2013141155.tif 000007
【図４】
2013141155.tif 000008
【手続補正書】
【提出日】平成26年9月8日(2014.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
モニター対象となる対象空間が撮像された主画像を取得する主撮像装置と、
当該主撮像装置とは別の視線方向から前記対象空間を撮像することで、前記主画像を補完するための補完用画像を取得する補完用撮像装置と、
前記対象空間に少なくとも３点以上設定された各設定点の３次元位置、並びに前記主撮像装置及び前記補完用撮像装置のそれぞれの３次元位置に基づき、前記主画像の一部を前記補完用画像で補完する画像処理装置とを備え、
前記主撮像装置及び前記補完用撮像装置は、それぞれ移動しながら前記対象空間をほぼ同時に撮像可能に設けられ、
前記画像処理装置では、既知の形状を有する部材が前記対象空間とともに前記主画像に撮像されることにより、前記部材の奥側に隠れた前記対象空間の遮蔽領域の画像情報を、逐次検出される前記各３次元位置の情報を基に前記補完用画像から取得し、当該取得した画像情報を前記主画像内の前記部材の画像情報に対して置換若しくは重畳させることで、前記遮蔽領域を前記補完用画像で補完した合成画像を生成することを特徴とする画像内遮蔽領域の画像補完システム。
【国際調査報告】
2013141155.tif 000009
2013141155.tif 000010
2013141155.tif 000011
2013141155.tif 000012