(57)【要約】  ３次元（３Ｄ）構造の定量的３次元（Ｑ３Ｄ）モデルを、解剖学的構造の内部の表面下標的物体の３Ｄ可視化表現と整列するための方法が提供され、方法は、３Ｄ可視化表現内に表される３Ｄ構造の外部表面内の基準ポイントを特定するステップ、Ｑ３Ｄモデル内の同じ基準ポイントを特定するステップ、３Ｄ可視化表現内の特定された基準ポイントをＱ３Ｄモデル内の特定された基準ポイントと整列させるステップ、及び外部表面のビュー及び内部の表面下標的構造のビューを含む３Ｄ構造の可視画像表現を生成するステップ、を含む。
2017513662.tif 000002
【特許請求の範囲】
【請求項１】
手術シーンの画像を生成するためにシステムであって、
手術視野内のシーンを撮像するように配置される定量的３次元（Ｑ３Ｄ）内視鏡と、
少なくとも１つのプロセッサであって、
前記Ｑ３Ｄ内視鏡によって撮像された組織構造のＱ３Ｄモデルを決定するように、
前記組織構造の３Ｄ可視化表現を入力するように、
前記組織構造の前記３Ｄ可視化表現の前記組織構造の外側表面を、前記組織構造の前記Ｑ３Ｄモデルと整列させるために幾何学的変換を決定するように、
前記幾何学的変換に少なくとも部分的に基づいて、組み合わされた前記組織構造の前記Ｑ３Ｄモデル及び前記組織構造の前記３Ｄ可視化表現を表す可視化出力を生成するように、
構成される、少なくとも１つのプロセッサと、を有する、
システム。
【請求項２】
前記３Ｄ可視化表現は、ＭＲＩ、ＣＴ、ＰＥＴ、超音波又は蛍光画像のうちの１つであり得る、
請求項１に記載のシステム。
【請求項３】
前記３Ｄ可視化表現内に表される前記組織構造の外側表面上の複数の基準ポイントを特定し、
前記Ｑ３Ｄモデル内に表される前記組織構造の実質的に同じ複数の基準ポイントを特定し、
前記少なくとも１つのプロセッサは、さらに、
前記３Ｄ可視化表現内の特定された前記基準ポイントを、前記組織構造の前記Ｑ３Ｄモデル表現内の特定された前記基準ポイントと整列させるために、前記組織構造の前記３Ｄ可視化表現に幾何学的変換を適用するように、
構成される、
請求項１に記載のシステム。
【請求項４】
表面下標的組織構造が、前記可視化出力内にゴースト画像として見える、
請求項１に記載のシステム。
【請求項５】
前記少なくとも１つのプロセッサは、さらに、
整列された前記３Ｄ可視化表現内に前記表面下標的構造のビューを特定するように、
構成され、
前記組み合わされた前記組織構造の前記Ｑ３Ｄモデル及び前記組織構造の前記３Ｄ可視化表現を表す可視化出力を生成することは、前記表面下標的構造の特定された前記ビューを含む出力を生成することを含む、
請求項１に記載のシステム。
【請求項６】
前記ビューは、前記３Ｄ可視化表現のスライスを含む、
請求項４に記載のシステム。
【請求項７】
前記Ｑ３Ｄモデル表示情報は、前記画像において可視である詳細に関する（ｘ，ｙ，ｚ）座標の表示を含む、
請求項１に記載のシステム。
【請求項８】
前記Ｑ３Ｄモデル表示情報は、前記Ｑ３Ｄ内視鏡からの前記組織構造の外側表面上のポイント間の距離を示す情報の表示を含む、
請求項１に記載のシステム。
【請求項９】
手術シーンの画像を生成する方法であって、
組織構造を含む構造手術シーンのＱ３Ｄモデルを作るステップ、
前記組織構造の３Ｄ可視化表現を入力するステップ、
前記組織構造の前記３Ｄ可視化表現の外側表面構造を、前記組織構造の前記Ｑ３Ｄモデルと整列させるために幾何学的変換を使用するステップ、及び
前記幾何学的変換に少なくとも部分的に基づいて、前記組織構造の可視化出力表現を生成するステップ、を含む、
方法。
【請求項１０】
組み合わされた前記Ｑ３Ｄモデル及び前記３Ｄ可視化表現を生成するステップは、少なくとも部分的に、
前記３Ｄ可視化表現内に表される前記構造の前記表面内の複数の基準ポイントを特定するステップ、
前記Ｑ３Ｄモデル内の実質的に同じ複数の基準ポイントを特定するステップ、
前記組織構造の前記３Ｄ可視化表現内の特定された前記基準ポイントを、前記組織構造の前記Ｑ３Ｄモデル表現内の特定された前記基準ポイントと整列させるために、前記組織構造の前記３Ｄ可視化表現に幾何学的変換を適用するステップ、に基づく、
請求項９に記載の方法。
【請求項１１】
前記３Ｄ可視化表現は、ＭＲＩ、ＣＴ、ＰＥＴ、超音波又は蛍光画像のうちの１つであり得る、
請求項９に記載の方法。
【請求項１２】
表面下標的組織構造が、前記可視化出力内にゴースト画像として見える、
請求項９に記載の方法。
【請求項１３】
整列された前記３Ｄ可視化表現内に前記表面下標的構造のビューを特定するステップ、をさらに含み、
組み合わされた前記組織構造の前記Ｑ３Ｄモデル及び前記組織構造の前記３Ｄ可視化表現を表す可視化出力を生成するステップは、前記表面下標的構造の特定された前記ビューを含む出力を生成するステップを含む、
請求項９に記載の方法。
【請求項１４】
前記ビューは、前記３Ｄ可視化表現のスライスを含む、
請求項１３に記載の方法。
【請求項１５】
前記Ｑ３Ｄモデル表示情報は、前記画像において可視である詳細に関する（ｘ，ｙ，ｚ）座標の表示を含む、
請求項１３に記載の方法。
【請求項１６】
前記Ｑ３Ｄモデル表示情報は、前記Ｑ３Ｄ内視鏡からの前記組織構造の外側表面上のポイント間の距離を示す情報の表示を含む、
請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願）
本特許出願は、"QUANTITATIVE  THREE-DIMENSIONAL  IMAGING  OF  SURGICAL  SCENES"と題する、２０１４年３月２８日に出願された米国仮特許出願第61/971,749号、及び"ALIGNMENT  OF  Q3D  MODELS  WITH  3D  IMAGES"と題する、２０１４年１２月２３日に出願された米国仮特許出願第62/096,515号の優先権を主張し、これらはその全体が参照により本明細書に援用される。
【０００２】
本発明は、概して関連付けられる画像センサを有する手術用内視鏡検査システムに関連し、より具体的には、手術用画像に表示された物理的な構造の３次元座標を決定することに関する。
【背景技術】
【０００３】
定量的３次元（Quantitative  three-dimensional）（Ｑ３Ｄ）視覚（vison）は、実世界のシーン（scene）における標的ポイントの実際の物理的な（ｘ、ｙ、ｚ）３Ｄ座標に関する数値情報を提供する。定量的３次元視覚により、人は、実世界のシーンの３次元知覚を得ることができるだけでなく、シーンにおける物体の物理的な寸法及びシーンにおける物体間の物理的な距離に関する数値情報を得ることができる。過去には、シーンに関する３Ｄ情報を決定するために飛行時間（time-of-flight）情報又は位相情報を使用する幾つかのＱ３Ｄシステムが提案されている。他のＱ３Ｄシステムは、シーンに関する３Ｄ情報を決定するために、構造化光（structured  light）を使用していた。
【０００４】
飛行時間情報の使用は、"CMOS-compatible  three-dimensional  image  sensor  IC"と題する特許文献１に開示され、これは、ＣＭＯＳ製造技術を使用して共通ＩＣ上に作られたピクセル光検知検出器の２次元アレイを含む３次元イメージングシステムを開示している。各検出器は、物体ポイントから反射するように且つそのポイントに焦点を合わせられたピクセル検出器によって検出されるように、システム放射パルスについての飛行時間（ＴＯＦ）に正比例するクロックパルスの数を蓄積する、関連付けられる高速カウンタを有する。ＴＯＦデータは、特定のピクセルから放射光パルスを反射する物体上のポイントへの距離の直接のデジタル的尺度を提供する。第２の実施形態では、カウンタ及び高速クロック回路は排除され、代わりに、各ピクセル検出器は、電荷蓄積器及び電子シャッタを備える。シャッタは、光パルスが放射されるときに開き、その後、各ピクセル検出器が関連付けられるピクセル検出器の上に当たる戻り光子エネルギに応じて電荷を蓄積するように、閉じる。蓄積される電荷の量は、往復ＴＯＦの直接的な尺度を提供する。
【０００５】
時間遅延情報の使用は、"Apparatus  and  method  for  endoscopic  3D  data  collection"と題する特許文献２に開示され、これは、変調測定ビーム及び測定ビームを観察されることになる領域へ導くための光伝送機構を開示し、光伝送機構は、観察されることになる領域から少なくとも位相感応性画像センサへの信号ビームをイメージングするための光イメージング機構に加えて、照明レンズを含む。ミリメートル範囲での深さにおける差に対応し得る、時間遅延は、深さ及び距離情報を描く画像の生成を可能にする位相情報をもたらす。
【０００６】
視覚画像における物体の物理的な座標を決定するための構造化光の使用が、"Endoscope"と題する、特許文献３、及びC.  Schmalz他による非特許文献１に開示されている。三角測量法が、表面の地形を測定するために使用される。異なるカラースペクトルの範囲を有し得る、投影光線の形態の構造化光は、表面に入射し且つ表見から反射される。反射された光線は、表面の３Ｄ座標を決定するために反射カラースペクトル情報を使用するように構成されるカメラによって観察される。より具体的には、構造化光の使用は、典型的には、３Ｄ表面に光パターンを照らすこと、及び物理的な物体の輪郭に起因する光の変形パターンに基づいて物理的な距離を決定することを伴う。
【０００７】
イメージャアレイカメラが作られており、それは、アレイにおけるピクセルに関するシーン深さ情報を計算するために使用されることができる複数のピクセルアレイを含む。高解像度（ＨＲ）画像が、多数の低解像度（ＬＲ）画像から生成される。基準視点が選択され、ＨＲ画像が、その視点によって見られるように生成される。視差処理技術が、基準画像ピクセルに対する非基準画像に関するピクセル対応を決定するために、エイリアシングの効果を用いる。融合及び超解像が、多数のＬＲ画像からＨＲ画像を作るために用いられる。例えば、"Capturing  and  Processing  Images  using  Monolithic  Camera  Array  with  Heterogeneous  Imager"と題する、特許文献４、"Systems  and  Methods  for  Determining  Depth  from  multiple  Views  of  a  Scene  that  Include  Aliasing  using  Hypothesized  Fusion"と題する特許文献５、及びK.  Venkataraman他の非特許文献２を参照されたい。
【０００８】
図１は、幾つかの実施形態による、既知のイメージャセンサ１８０の詳細を示す例示的な図面である。画像センサ１８０は、センサ１８４の配置を含む。配置内の各センサは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタック１８６を含む。各レンズスタック１８６は、対応する焦平面１８８を有する。各レンズスタック１８６は、対応する焦平面１８８に配置されるピクセルの対応する配置の上に画像を解像する別個の光学通路を作る。ピクセルは、光センサとして機能し、多数のピクセルを持つ各焦平面１８８は、画像センサとして機能する。焦平面１８８を持つ各センサは、他のセンサ及び焦平面によって占められるセンサ配置の領域と異なるセンサ配置の領域を占める。
【０００９】
図２は、センサＳ１１乃至Ｓ３３としてラベルされたセンサを含む図１のセンサの１８４の既知の配置の単純化された平面図を示す例示的な図面である。イメージャセンサ配置１８４は、複数のセンサＳ１１乃至Ｓ３３を含むよう半導体チップ上に製造される。Ｓ１１乃至Ｓ３３のそれぞれは、複数のピクセル（例えば、０．３２メガピクセル）を含み、独立した読出し制御及びピクセルデジタル化を含む周辺回路（図示せず）に結合される。幾つかの実施形態では、センサＳ１１乃至Ｓ３３は、図２に示されるようなグリッド形式に配置される。他の実施形態では、センサは、非グリッド形式に配置される。例えば、センサは、円形パターン、ジグザグパターン、散乱パターン、又はサブピクセルオフセットを含む不規則パターンに配置されてよい。
【００１０】
図１−２のセンサ１８４の各個別のピクセルは、マイクロレンズピクセルスタックを含む。図３は、図１−２のセンサの既知のマイクロレンズピクセルスタックの例示的な図面である。ピクセルスタック８００は、マイクロレンズ８０２を含み、このマイクロレンズは、酸化物層８０４の上に位置する。典型的には、酸化物層８０４の下に、カラーフィルタ８０６があってよく、このカラーフィルタは、窒化物層８０８の上に配置され、この窒化物層は、第２の酸化物層８１０の上に配置され、この第２の酸化物層は、個々のピクセルの活性領域８１４（典型的にはフォトダイオード）を含むシリコン層８１２の上に位置する。マイクロレンズ８０２の主な役割は、その表面に入射する光を集めること及びその光を小さい活性領域８１４の上に集束させることである。ピクセル口径８１６は、マイクロレンズの広がりによって決定される。
【００１１】
上述の既知のイメージャセンサ配置アーキテクチャに関する追加的な情報は、特許文献４（２０１０年１１月２２日出願）及び特許文献５（２０１２年９月１９日出願）に提供されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】ＵＳ６，３２３，９４２
【特許文献２】ＵＳ８，２６２，５５９
【特許文献３】ＵＳ２０１２／０１９０９２３
【特許文献４】ＵＳ８，５１４,４９１
【特許文献５】ＵＳ２０１３／００７００６０
【非特許文献】
【００１３】
【非特許文献１】"An  endoscopic  3D  scanner  based  on  structured  light",  Medical  Image  Analysis,  16  (2012)  1063-1072.
【非特許文献２】"PiCam:  An  ultra-Thin  high  Performance  Monolithic  Camera  Array"
【発明の概要】
【００１４】
１つの態様では、システム及び方法が、３次元（３Ｄ）構造の表面のＱ３Ｄモデルを同じ３Ｄ構造の３Ｄ可視化表現（3D  visual  representation）と整列（位置合わせ）する（align）ことを提供し、この表現は、表面下（sub-surface）の詳細を含む。システムは、少なくとも、Ｑ３Ｄ内視鏡、Ｑ３Ｄモデルを生成するとともにアライメントを実行する、少なくとも１つのプロセッサ、又は処理サブシステム、３Ｄ可視化表現を受信するための入力部並びにＱ３Ｄモデル及び３Ｄ可視化表現のアライメントの結果を格納する、表示する、又はさらに処理若しくは走査する出力部、を有する、
【００１５】
幾つかの態様では、３Ｄ可視化表現は、３Ｄ解剖学的構造の３ＤＭＲＩ又はＣＴ画像を含み得る。３Ｄ構造の表面輪郭を示す多数の基準ポイント（fiducial  points）は、３Ｄ可視化表現の中で確認される。加えて、３Ｄ構造の同じ表面輪郭を示す多数の基準ポイントは、Ｑ３Ｄモデルの中で確認される。１又は複数の幾何学的変換が、３Ｄ可視化表現の確認された基準ポイントをＱ３Ｄモデルの確認された基準ポイントと位置合わせするために、３Ｄ構造の可視化表現じ適用される。Ｑ３Ｄ内視鏡の視野内であり且つ内部の表面下の標的構造のビュー（view）も含む３Ｄ構造の表面のビューを含む３Ｄ構造の可視化画像表現が、作られる。
【図面の簡単な説明】
【００１６】
本開示の態様は、添付の図面と併せて読むとき、以下の詳細な説明から最も良く理解される。この業界での標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことを強調しておく。実際、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小される場合がある。また、本開示は、様々な例において参照数字及び／又は文字を繰り返して使用する場合がある。この繰返しは、簡略化と明瞭化を目的として行われており、論じられる様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。
【図１】既知のイメージャセンサの詳細を示す例示的な図面である。
【図２】図１のイメージャセンサの既知のセンサアレイの簡略化された平面図を示す例示的な図面である。
【図３】図２のセンサアレイのセンサ内のピクセルの既知のマイクロレンズピクセルスタックの例示的な図面である。
【図４】幾つかの実施形態による、ビューアを通じた手術シーンの斜視図を示す、例示的な図面である。
【図５】幾つかの実施形態による、１又は複数の機械的アームを用いて低侵襲外科処置を行うための遠隔操作手術システムの例示的なブロック図である。
【図６】幾つかの実施形態による、図５のシステムのうちの患者側システムの例示的な斜視図である。
【図７Ａ】幾つかの実施形態による、第１の画像キャプチャシステムを含む第１の内視鏡の例示的な図面である。
【図７Ｂ】幾つかの実施形態による、第２の画像キャプチャシステムを含む第２の内視鏡の例示的な図面である。
【図８】幾つかの実施形態による、図７Ａの第１の画像キャプチャシステムを含む第１の内視鏡と関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。
【図９】幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。
【図１０】幾つかの実施形態による、標的を系統的に（systematically）選択するために図９のモジュールに概して対応するプロセスの特定の詳細を示す例示的なフロー図である。
【図１１】幾つかの実施形態による、多数のセンサを含むとともに、３つの例示的な物体を含む例示的な三次元の物理的なワールドシーンを包含する視野を有するよう配置される、例示的なセンサイメージャアレイの例示的な図面である。
【図１２】幾つかの実施形態による、多数のセンサ上への図１１の多数の物理的物体の投影を表す例示的な図面である。
【図１３】幾つかの実施形態による、リアルワールドシーン内からの関心領域の選択を示す例示的な図面である。
【図１４】幾つかの実施形態による、多数のセンサ内の投影画像の相対的な幾何学的オフセットに関する詳細を示す例示的な図面である。
【図１５】幾つかの実施形態による、関心の領域（ＲＯＩ）内の割り当てられた基準センサ内の投影画像と位置合わせするよう右にシフトさせられたＲＯＩ内の特定の例示のセンサ内の投影画像を示す例示的な図面である。
【図１６】幾つかの実施形態による、多数のセンサ上への選択された標的ポイントの投影を示す例示的な図面である。
【図１７】幾つかの実施形態による、図１６の多数のセンサを含むイメージャアレイの一部及び物理的な空間内の位置に配置される選択された標的ポイントＴを示す、例示的な図面である。
【図１８】幾つかの実施形態による、図１６の多数の画像センサ上への現在選択されている標的ポイントＴの投影の例示的な正面図である。
【図１９】幾つかの実施形態による、図１７を参照して上述したような多数のセンサに対する現在選択されている標的の配置を示すとともに、センサのそれぞれにおける候補ピクセルについてのｙ方向ピクセルオフセットも示す、例示的な図面である。
【図２０】幾つかの実施形態による、外科処置中にＱ３Ｄ情報を使用するための第１のプロセスを表す例示的なフロー図である。
【図２１】幾つかの実施形態による、図２０のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。
【図２２Ａ】幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。
【図２２Ｂ】幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。
【図２３】幾つかの実施形態による、外科処置中にＱ３Ｄ情報を使用するための第２のプロセスを表す例示的なフロー図である。
【図２４】幾つかの実施形態による、図２３のプロセスに従ってディスプレイスクリーンに表示されるメニュー選択を示す例示的な図面である。
【図２５】幾つかの実施形態による、３Ｄディスプレイ上の３Ｄ眺望（3D  perspective）におけるＱ３Ｄモデルを表示するプロセッサの詳細を示す例示的な図面である。
【図２６】例示の解剖学的構造の３Ｄボリュメトリック画像表現（3D  volumetric  image  representation）の例を表す例示的な図面である。
【図２７Ａ】解剖学的構造の表面構造及び解剖学的構造の表面下構造を示す３ＤＭＲＩ／ＣＴ表現の断面を示す例示的な図面である。
【図２７Ｂ】ＣＴ又はＭＲＩ技法を使用して作られた解剖学的物体の３Ｄビュー及び物体を通る関連づけられる２Ｄ画像スライスを表す例示的な図面である。
【図２８】幾つかの実施形態による、図２６の解剖学的構造の表面部分に対応する画像情報を取り込むように位置決めされたＱ３Ｄ内視鏡を示す例示的な図面である。
【図２９】幾つかの実施形態による、図２８の例示のＱ３Ｄモデルと図２６の解剖学的構造の例示の３ＤＭＲＩ／ＣＴ断面を位置合わせすることのプロセスを表す例示的な図面である。
【図３０】幾つかの実施形態による、３ＤＭＲＩ／ＣＴ表現とＱ３Ｄモデルを位置合わせするためのプロセスの詳細を示す例示的なフロー図である。
【図３１】幾つかの実施形態による、Ｑ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルに基づいて可視化表示を生成するためのプロセスを表す例示的なフロー図である。
【図３２】幾つかの実施形態による、Ｑ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルを表す例示的な図面である。
【図３３Ａ】幾つかの実施形態による、内視鏡の視野内にある解剖学的構造の３つの異なる表面領域に基づく３つの異なるＱ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルを表す例示的な図面である。
【図３３Ｂ】幾つかの実施形態による、内視鏡の視野内にある解剖学的構造の３つの異なる表面領域に基づく３つの異なるＱ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルを表す例示的な図面である。
【図３３Ｃ】幾つかの実施形態による、内視鏡の視野内にある解剖学的構造の３つの異なる表面領域に基づく３つの異なるＱ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルを表す例示的な図面である。
【発明を実施するための形態】
【００１７】
以下の記載は、任意の当業者が、画像センサの視野内の物理的構造の三次元座標を決定するために、各画像センサが他の画像センサのピクセルアレイから分離されているピクセルアレイを含む、多数の画像センサを有する手術用内視鏡検査システム作ること及び使用することを可能にするために、提示される。実施形態に対する様々な修正は当業者にすぐに明らかになるであろうとともに、本明細書で定められる包括的な原理は、発明的な主題の精神及び範囲から逸脱せずに、他の実施形態及び応用に適用され得る。さらに、以下の記載では、様々な詳細が、説明の目的のために述べられる。しかし、当業者は、発明的な主題がこれらの特定の詳細を使用せずに実施され得ることを認識するであろう。他の場合には、不必要な詳細で開示を曖昧にしないために、よく知られた機械構成部品、プロセス及びデータ構造は、ブロック図の形態で示される。同一の参照番号が、異なる図面の同じアイテムの異なる図を表すために、用いられ得る。以下に参照される図面のフロー図は、プロセスを表すために用いられる。コンピュータシステムが、これらのプロセスの幾つかを遂行するよう構成され得る。コンピュータ実装プロセスを表すフロー図の中のモジュールは、これらのモジュールを参照して記載される行為を実行するコンピュータプログラムコードに従ったコンピュータシステムの構成を表す。したがって、発明的な主題は、図示された実施形態に限定されることが意図されるものではなく、本明細書で開示される原理及び構成と一致する最も広い範囲が与えられるべきである。
【００１８】
概要
【００１９】
幾つかの実施形態によれば、センサアレイを含むイメージャが内視鏡と関連付けられる。この画像センサアレイは多数のセンサを含み、各センサはピクセルのアレイを含む。内視鏡の部分が人間の体腔内に挿入され、画像センサアレイの視野内の標的物体が光源を使用して照明される。標的物体の物理的位置及び／又は寸法が、アレイの個々のセンサ上に投影された標的物体の画像に基づいて決定される。
【００２０】
図４は、幾つかの実施形態による、ビューア３１２を通じた手術シーンの斜視図を示す例示的な図面である。２つのビューイング要素（viewing  elements）４０１Ｒ、４０１Ｌを有するビューイングシステム(viewing  system)が良好な３Ｄビューイング視点(viewing  perspective)を提供することができる。手術シーンにおける物理的構造についての物理的寸法及び／又は位置情報を表す数値が手術シーン画像の上にオーバーレイされて示されている。例えば、数値的距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”が、器具４００と標的４１０との間のシーン内に表示されて示されている。
【００２１】
遠隔操作医療システム
【００２２】
遠隔操作は、ある距離を置いた機械の操作を指す。低侵襲遠隔操作医療システムでは、外科医は、患者の体の中の手術部位を見るために、カメラを含む内視鏡を用い得る。立体視画像が取り込まれ、これは外科処置中に深さの知覚を可能にする。内視鏡に取り付けられ且つイメージャセンサアレイを含むカメラシステムが、幾つかの実施形態にしたがって、定量的三次元情報に加えて、三次元画像を生成するために使用されることができるカラー及び照明データを提供する。
【００２３】
図５は、幾つかの実施形態による、１又は複数の機械的アーム１５８を使用して低侵襲外科処置を行うための遠隔操作手術システム１００の例示的なブロック図である。システム１００の態様は、遠隔ロボット式且つ自律的な動作機能を含む。これらの機械的アームは、しばしば、器具を支持する。例えば、機械的手術アーム（例えば、中央の機械的手術アーム１５８Ｃ）が、内視鏡に関連付けられるＱ３Ｄ画像センサアレイのような、立体又は三次元手術画像キャプチャ装置１０１Ｃを備える内視鏡を支持するために使用され得る。機械的手術アーム１５８Ｃは、画像キャプチャ装置１０１Ｃを含む内視鏡を機械的アームに機械的に固定するために、無菌アダプタ、又は、クランプ、クリップ、ネジ、スロット／溝、又は、他の締結機構を含み得る。逆に、画像キャプチャ装置１０１Ｃを備える内視鏡は、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と確実に相互嵌合（interfit）するよう、機械的手術アーム１５８Ｃの物理的輪郭及び／又は構造と相補的な物理的輪郭及び／又は構造を含み得る。
【００２４】
ユーザ又はオペレータＯ（一般的に外科医）が、マスタ制御コンソール１５０で制御入力装置を操作することによって、患者Ｐに低侵襲外科処置を行う。オペレータは、立体ディスプレイ装置１６４を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができ、この立体ディスプレイ装置は、図４を参照して上述したビューア３１２を含む。コンソール１５０のコンピュータ１５１が、制御線１５９を介して遠隔操作式に制御される内視鏡手術器具１０１Ａ−１０１Ｃの動きを命令し、（患者側カートとも称される）患者側システム１５２を用いて器具の動きをもたらす。
【００２５】
患者側システム１５２は、１又は複数の機械的アーム１５８を含む。典型的には、患者側システム１５２は、対応する位置決めセットアップアーム１５６によって支持される（一般的に機械的手術アーム１５８と称される）少なくとも３つの機械的手術アーム１５８Ａ−１５８Ｃを含む。中央の機械的手術アーム１５８Ｃは、カメラの視野内の画像についてのＱ３Ｄ情報の取り込みに適した内視鏡検査カメラ１０１Ｃを支持し得る。中央の左右にある機械的手術アーム１５８Ａ及び１５８Ｂは、組織を操作する器具１０１Ａ及び１０１Ｂをそれぞれ支持し得る。
【００２６】
図６は、幾つかの実施形態による、患者側システム１５２の例示的な斜視図である。患者側システム１５２は、ベース１７２によって支持されるカートコラム１７０を有する。１又は複数の機械的挿入手術アーム／リンク１５８が、患者側システム１５２の位置決め部分の一部である１又は複数のセットアップアーム１５６にそれぞれ取り付けられる。ベース１７２上のほぼ中央位置に置かれる、カートコラム１７０は、釣合サブシステム及び制動サブシステムの構成部品を汚染から守る保護カバー１８０を含む。
【００２７】
モニタアーム１５４を除き、各機械的手術アーム１５８は、器具１０１Ａ−１０１Ｃを制御するために使用される。さらに、各機械的手術アーム１５８は、セットアップアーム１５６に結合され、このセットアップアームは、本発明の１つの実施形態において、キャリッジハウジング１９０に結合される。１又は複数の機械的手術アーム１５８は、それぞれ、図６に示されるように、それらのそれぞれのセットアップアーム１５６によって支持される。
【００２８】
機械的手術アーム１５８Ａ−１５８Ｄは、追跡システムによる初期的取得及び器具の追跡を支援するために、生の(raw)補正されていない運動学的情報を生成するよう、１又は複数の変位トランスデューサ(displacement  transducers)、向きセンサ、及び／又は位置センサ１８５をそれぞれ含み得る。器具も、本発明の幾つかの実施形態では、変位トランスデューサ、位置センサ、及び／又は向きセンサ１８６を含み得る。さらに、１又は複数の器具は、取得及び器具の追跡を支援するためにマーカ１８９を含み得る。
【００２９】
遠隔操作医療システムに関する追加の情報は、米国特許出願公開第２０１２／００２０５４７号（２０１１年９月３０日出願）において提供されている。
【００３０】
内視鏡イメージャシステム
【００３１】
図７Ａは、幾つかの実施形態による、第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡の例示的な図面である。画像キャプチャシステム１０１Ｃは、細長い部分２０２を含む内視鏡を含み、この細長い部分は、第１の端部分２０４と、第２の端部分２０６と、第１の端部分２０４の先端部分２０８とを含む。第１の端部分２０４は、人間の体腔内に挿入されるように寸法決めされる。多数の画像センサ（図示せず）を含むセンサアレイ２１０が、第１の端部分２０４の先端部分２０８で結合される。幾つかの実施形態によれば、センサアレイ２１０の各センサは、ピクセルのアレイを含む。細長い部分２０２は、物体がイメージャセンサアレイ２１０によって撮像されることができるように、先端部分２０８を体腔内の標的物体の十分に近くに配置するのに十分な長さを有する。幾つかの実施形態によれば、第２の端部分２０６は、機械的アーム（図示せず）と確実に相互嵌合するよう、概して上述されたような物理的輪郭及び／又は構造（図示せず）を含み得る。細長い部分２０２はまた、イメージャセンサアレイ２１０と情報を電子的に通信するよう、１又は複数の電子信号経路２１２を含む。光源２１４が、撮像されるべき物体を照らすために、配置される。幾つかの実施形態によれば、光源２１４は、例えば、非構造化光(unstructured  light)、白色光、カラーフィルタされた光(color  filtered  light)、又は何らかの選択された波長の光であることができる。幾つかの実施形態によれば、光源２１４は、先端２０８に配置され、他の実施形態では、それはオプションで内視鏡１０１Ｃと別個に配置される。
【００３２】
図７Ｂは、幾つかの実施形態による、第２の画像キャプチャシステム１０１Ｃ２を備える第２の内視鏡の例示的な図面である。第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡のものと本質的に同じである第２の画像キャプチャシステム１０１Ｃ２の態様は、同一の参照番号によって示され、再び記載されない。ロッドレンズのような、ライトパイプ入力への入力が、第１の端部分２０４の先端部分２０８に配置される。ライトパイプボディは、ライトパイプ入力として受け取られる画像を先端部分２０８から物理的に移動させられたイメージャセンサアレイ２１０に伝えるように、細長い部分２０２内に延びる。幾つかの実施形態では、イメージャセンサアレイ２１０は、体腔内の物体の観察中にイメージャセンサアレイ２１０が体腔の外側に配置されるよう、先端部分２０８から十分に遠くに移動させられる。
【００３３】
図８は、幾つかの実施形態による、図７Ａの第１の画像キャプチャシステム１０１Ｃを備える第１の内視鏡１０１Ｃと関連付けられる制御ブロックを示すとともに動作中のシステムを示す、例示的なブロック図である。イメージャセンサアレイ２１０によって取り込まれる画像は、データバス２１２を通じてビデオプロセッサ１０４に送られ、このビデオプロセッサは、バス１０５を介してコントローラ１０６と通信する。ビデオプロセッサ１０４は、カメラ制御ユニット（ＣＣＵ）及びビデオ信号検出器（ＶＳＤ）ボードを含み得る。ＣＣＵは、明るさ、色スキーム、ホワイトバランス等のような、イメージングセンサ２１０の様々な設定をプログラムする又は制御する。ＶＳＤは、イメージングセンサから受信されるビデオ信号を処理する。代替的には、ＣＣＵ及びＶＳＤは、１つの機能ブロック内に統合される。
【００３４】
幾つかの実施形態によれば、１又は１より多いプロセッサを含むプロセッサシステムが、プロセッサ機能を実行するように構成される。幾つかの実施形態では、プロセッサシステムは、本明細書に記載されるプロセッサ機能を実行するために協働するように構成される多数のプロセッサを含む。したがって、１又は複数の機能を実行するように構成される少なくとも１つのプロセッサへの言及は、機能が１つのプロセッサだけによって或いは協働する多数のプロセッサによって実行され得るプロセッサシステムを含む。
【００３５】
１つの実装において、プロセッサ及びストレージデバイス（図示せず）を含むコントローラ１０６は、細長い部分２０２の先端２０８に隣接するシーンにおけるポイントの物理的な定量的３Ｄ座標を計算し、３Ｄシーンを構成するようにビデオプロセッサ１０４及び３Ｄディスプレイドライバ１０９の両方を駆動させ、この３Ｄシーンはその後３Ｄディスプレイ１１０上に表示され得る。幾つかの実施形態によれば、例えば、シーン内の物体の表面輪郭の寸法の数値的な印(numerical  indicia)又は手術シーン内の物体からの距離のような、手術シーンに関するＱ３Ｄ情報が生成される。以下により完全に説明されるように、数値的なＱ３Ｄ深さ情報は、距離情報又は表面輪郭情報で手術シーンの立体視画像に注釈を付けるために使用されることができる。
【００３６】
データバス１０７及び１０８は、ビデオプロセッサ１０４、コントローラ１０６、及びディスプレイドライバ１０９の間で、情報及び制御信号を交換する。幾つかの実施形態では、これらの要素は、内視鏡のボディの内側で画像センサアレイ２１０と統合されることができる。代替的に、それらは、内視鏡の内部に及び／又は外部に分散されることができる。内視鏡は、標的１２０を含む手術シーンへの視覚化されたアクセスを提供するために、カニューレ１４０を介して身体組織１３０を貫通するように配置されて示されている。代替的には、内視鏡及び１又は複数の器具は、手術部位に達するように、単一の開口−単一の切開部又は自然開口部−を通過してもよい。標的１２０は、解剖学的標的、他の手術器具、又は患者の体の内側の手術シーンの任意の他の特徴であることができる。
【００３７】
入力システム１１２は、３Ｄ視覚表現を受信し、それをプロセッサ１０６に提供する。入力システム１１２は、３Ｄモデルを生成するシステム（図示せず）からＣＲＴ又はＭＲＩのような３Ｄモデルを受信する電子通信バス（図示せず）に結合されるストレージデバイスを含み得る。プロセッサ１０６は、例えば、Ｑ３Ｄモデルと３Ｄ視覚表現との間に意図されるアライメント（alignment）を計算するために使用されることができる。より具体的には、限定ではなく、入力システム１１２は、システム１５２と、ＭＲＩ、ＣＴ、又は超音波撮像システムのような、イメージングシステム（図示せず）との間に、イーサネット（登録商標）通信接続を構築するように構成される、プロセッサを含み得る。他のイメージングシステムが用いられてよい。Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷｉＦｉ、光学等のような、他の種類の通信接続が使用され得る。代替的には、システム１５２及びイメージングシステムは、１つのより大きいシステムに統合され得る。アライメントプロセスの結果は、外部デバイス又はシステムへの更なる操作のために提供される又は図２５に示されるように表示される、プロセッサ１０６と関連付けられるストレージデバイスにセーブされ得る。
【００３８】
シーンの画像に加えられるＱ３Ｄ情報の例
【００３９】
図４を再び参照すると、図４は、幾つかの実施形態による、図５のマスタ制御コンソール１５０のビューア３１２の斜視図を示す例示的な図面である。幾つかの実施形態によれば、三次元眺望(three-dimensional  perspective)を提供するために、ビューア３１２は、各目のための立体画像を含む。図示されるように、手術部位の左画像４００Ｌ及び右画像４００Ｒは、左視認要素４０１Ｌ及び右視認要素４０１Ｒそれぞれの中に、任意の器具４００及び標的４１０を含む。ファインダ（viewfinders）の画像４００Ｌ及び４００Ｒは、左ディスプレイ装置４０２Ｌ及び右ディスプレイ装置４０２Ｒそれぞれによって提供され得る。ディスプレイ装置４０２Ｌ，４０２Ｒは、オプションで、陰極線管（ＣＲＴ）モニタ、液晶ディスプレイ（ＬＣＤｓ）、又は他の種類の画像ディスプレイ装置（例えば、プラズマ、デジタル光投影等）のペアであり得る。ってよい。本発明の好適な実施形態では、画像は、カラーＣＲＴｓ又はカラーＬＣＤｓのような、一対のカラーディスプレイ装置４０２Ｌ、４０２Ｒによって、カラーで提供される。既存のデバイスとの後方互換性をサポートするために、立体視ディスプレイ装置４０２Ｌ及び４０２Ｒは、Ｑ３Ｄシステムと共に用いられ得る。代替的に、Ｑ３Ｄイメージングシステムは、３Ｄモニタ、３ＤＴＶ、又は３Ｄ効果眼鏡の使用を必要としないディスプレイのような自動立体視ディスプレイに接続されることができる。
【００４０】
２つのビューイング要素４０１Ｒ、４０１Ｌを有するビューイングシステムが、良好な３Ｄビューイング視点を提供することができる。Ｑ３Ｄイメージングシステムは、このビューイング視点に手術シーン中の物理的構造についての物理的寸法情報を補足する。Ｑ３Ｄ内視鏡システムと共に用いられる立体ビューア３１２は、手術シーンの立体画像の上にオーバーレイされるＱ３Ｄ情報を表示することができる。例えば、図４に示されるように、器具４００と標的４１０との間の数値的Ｑ３Ｄ距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”が、立体ビューア３１２内に表示されることができる。
【００４１】
物理的位置及び寸法情報を手術シーンの３Ｄ眺望の上にオーバーレイするために使用されることができるビデオ立体ビューイングシステムの説明は、本明細書に参照によって明示的に援用される、米国特許出願公開第２０１２／００２０５４７号（２０１１年９月３０日出願）、段落００４３−００５３及び対応する図面に提供されている。
【００４２】
定量的三次元物理的情報を処理すること
【００４３】
図９は、幾つかの実施形態による、物理的標的の定量的三次元位置を決定するためのプロセスを表す例示的なフロー図である。プロセスは、図８の実施形態の画像キャプチャシステム１０１Ｃを備える内視鏡を参照して記載される。モジュール４０１は、イメージングセンサＳｉｊからビデオデータを取得するようにコントローラ１０６を設定する。画像センサアレイ２１０は視野全体を「撮像」するが、画像センサアレイ２１０内の異なるセンサ及び異なるセンサ内の異なるピクセルが視野内の異なる物体ポイントからの画像投影によって照らされ得ることが理解されるであろう。ビデオデータは、例えば、色及び光強度データを含み得る。各センサの各ピクセルは、その上に投影される画像の色及び強度を示す１又は複数の信号を提供し得る。モジュール４０２は、物理的ワールドビュー(physical  world  view)内で選択される関心領域から標的を系統的に選択するようにコントローラを設定する。モジュール４０３は、初期（ｘ０，ｙ０、ｚ０）セットを用いて標的３Ｄ座標（ｘ、ｙ、ｚ）の計算を開始するようコントローラを設定する。次に、アルゴリズムが、標的の投影画像を受信する全てのセンサＳｉｊからの画像多様性データを用いることによって、整合性（consistency）について座標をチェックする。座標計算は、許容できる精度に達するまで、決定モジュール４０４で正確化される（refined）。決定モジュール４０４はまた、現在計算されている物理的位置が十分に正確であるかどうかを決定するようコントローラを設定する。現在計算されている位置が十分に正確でないという決定に応答して、制御は、異なる可能な物理的位置を試すためにモジュール４０３に戻る。現在計算されている位置が十分に正確であるという決定に応答して、モジュール４０５は、関心領域全体がスキャンされたかどうかを決定するようにコントローラを設定する。関心領域全体がスキャンされていないという決定に応答して、制御はモジュール４０２に戻り、異なる標的が選択される。関心領域全体がスキャンされたという決定に応答して、制御はモジュール４０６に進み、このモジュール４０６は、関心のあるイメージングボリュームの三次元モデルを組み立てるようコントローラを設定する。標的の構造の物理的位置を示す三次元情報に基づく標的の３Ｄ画像の組立ては、当業者に知られており、ここでは記載される必要はない。モジュール４０７は、更なる検討及び操作のために多数の標的について決定される物理的位置情報を用いて開発される３Ｄモデルを格納するようにコントローラを設定する。例えば、３Ｄモデルは、患者の器官の特定の寸法に対してインプラントをある大きさに形成することのような外科用途のために、後に用いられ得る。更に異なる例では、新しい手術器具１０１がロボットシステム１５２に装着されるとき、新しい器具を以前の手術シーンと関係付けるために、３Ｄモデルを呼び戻し、それをディスプレイ１１０上に表示することが必要になることがある。モジュール４０７はまた、３Ｄ視覚表現とＱ３Ｄモデルとの間のアライメントの結果を格納し得る。モジュール４０８は、定量的３Ｄビューを表示するために多数の標的について決定された物理的位置情報を用いるようにコントローラを設定する。Ｑ���Ｄビューの実施例は、図４に示す距離値“ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ”である。
【００４４】
立体視ディスプレイは三次元における見ることの錯覚を生むことが留意される。しかし、実際の３Ｄディスプレイは、ホログラフィック画像又は湾曲面の上に投影される画像のような、３Ｄ画像を提示する。典型的には、３Ｄディスプレイは、ビューイング視点を変えるよう、ビューが動くことを可能にする。
【００４５】
図１０は、幾つかの実施形態による、図９のモジュール４０２に概して対応するプロセスの特定の詳細を示す例示的なフロー図である。モジュール４０２．１は、センサアレイ２１０の中の全てのセンサから物理的なワールドシーンの画像を取り込むようにコントローラを設定する。モジュール４０２．２は、取り込まれたシーンの中から関心領域を特定するようにコントローラを設定する。モジュール４０２．３は、同じ標的の投影によって照らされる異なるセンサのピクセル位置を特定するために、関心領域内のシーン画像の間にあるようなベストマッチ（best  match）を探すようにコントローラを設定する。後に説明されるように、最良のマッチング(best  matching)は、限定ではなく、シフトされる画像と基準画像との間の二次元相互相関関数を最大化するまでセンサＳｉｊから個々の画像をシフトさせることによって達成され得る。基準画像は、例えば、センサＳ１１から受け取られるシーン画像であり得る。モジュール４０２．４は、同じ標的からの投影によって照らされる候補ピクセルを特定するようにコントローラを設定する。モジュール４０２．５は、候補ピクセルが同じ標的からの投影によって照らされているかどうかを決定するために、選択される標的についての２以上のピクセル座標（Ｎｘ，Ｎｙ）を計算するように、コントローラを設定する。決定モジュール４０２．６は、候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄピクセル座標値が示しているかどうかを決定する。多数のセンサＳｉｊで同じシーンを見ることによってもたらされる画像多様性は、様々な個々の画像Ｓｉｊ内の特定の標的と関連付けられる（Ｎｘ，Ｎｙ）を正しく特定する役割を果たす。例えば、幾つかの実施形態によれば、３つのセンサ、Ｓ１１，Ｓ１２，Ｓ１３のみが用いられる単純化されたシナリオを仮定すると、２Ｄピクセル座標の三つ組［（Ｎｘ１１，Ｎｙ１１）、（Ｎｘ１２，Ｎｙ１２）、（Ｎｘ１３，Ｎｙ１３）］が、［Ｓ１１，Ｓ１２及びＳ１３］上への同じ標的の投影に対応しない場合、（ｙ方向における投影シフトの推定である）量
【００４６】
【数１】
2017513662.tif 000003
及び
【００４７】
【数２】
2017513662.tif 000004
は、異なる値を生む。後に提示される方程式によれば、
【００４８】
【数３】
2017513662.tif 000005
及び
【００４９】
【数４】
2017513662.tif 000006
は、ピクセル座標（Ｎｘ１１，Ｎｙ１１）、（Ｎｘ１２，Ｎｙ１２）、（Ｎｘ１３，Ｎｙ１３）が同じ標的の投影から来る場合、同じでなければならない。
【００５０】
【数５】
2017513662.tif 000007
【００５１】
【数６】
2017513662.tif 000008
【００５２】
【数７】
2017513662.tif 000009
及び
【００５３】
【数８】
2017513662.tif 000010
が略等しくない場合、制御はモジュール４０２．４に戻り、センサ平面Ｓｉｊ上への標的投影のための最良の候補を正確化する。既述のように、上記はアルゴリズムの簡略化された実装に過ぎない。一般的には、図１０のモジュール４０２．６に示すように、
【００５４】
【数９】
2017513662.tif 000011
と
【００５５】
【数１０】
2017513662.tif 000012
との間の差のノルム（norm）は、モジュール４０２がその反復を完了するために、許容可能な許容差（tolerance)ε未満でなければならない。同様の制約が、ｘ軸、
【００５６】
【数１１】
2017513662.tif 000013
及び
【００５７】
【数１２】
2017513662.tif 000014
についての対応する推定について満たされなければならない。候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄピクセル座標値（Ｎｘ，Ｎｙ）が示すという決定に応答して、制御はモジュール４０３に進む。
【００５８】
各ピクセルはワールドシーンから色及び強度情報を直接取り込むことが理解されるであろう。さらに、上記プロセスにしたがって、各ピクセルは、ピクセル上に投影されるワールドビュー内の物理的物体の（ｘ，ｙ，ｚ）座標と関連付けられる。したがって、色情報、照明強度情報、及び物理的位置情報、即ち、色及び照明を投影された物理的物体の位置が、非一時的コンピュータ可読ストレージデバイス内でピクセルと関連付けられることができる。以下の表１は、この関連を例示する。
【００５９】
表１
【００６０】
【表１】
2017513662.tif 000015
【００６１】
Ｑ３Ｄ情報を決定することの例
【００６２】
投影マッチングの例
【００６３】
図１１は、幾つかの実施形態による、３つの例示的な物体を含む例示的な三次元物理的ワールドシーンを包含する視野を有するように配置されるセンサＳ１１−Ｓ３３のアレイを含む例示のセンサアレイ２１０の例示的な図面である。アレイの各センサＳｉｊは、各次元に少なくとも２つのピクセルを有するピクセルの二次元配置を含む。各センサは、レンズスタックの焦平面に配置されるピクセルの対応する配置上に画像を解像する別個の光学通路を作るレンズスタックを含む。各ピクセルは、光センサとして機能し、その多数のピクセルを備える各焦平面は、画像センサとして機能する。その焦平面を備える各センサＳ１１−Ｓ３３は、他のセンサ及び焦平面によって占められるセンサアレイの領域と異なるセンサアレイの領域を占める。適切な既知の画像センサアレイは、上述の米国特許第８，５１４，４９１号（２０１０年１１月２２日出願）及び米国特許出願公開第２０１３／００７００６０号（２０１２年９月１９日に出願）に開示されている。
【００６４】
幾つかの実施形態によれば、センサは、Ｎｘ及びＮｙ、ｘ方向及びｙ方向におけるそれらのピクセル総数によって、並びに視野角度θｘ及びθｙによって特徴付けられる。幾つかの実施形態では、ｘ軸及びｙ軸についてのセンサ特性は、同じであることが予期される。しかし、代替的な実施形態では、センサは、非対称的なｘ軸及びｙ軸特性を有する。同様に、幾つかの実施形態では、全てのセンサは、同じピクセル総数及び同じ視野角度を有する。センサは、良好に制御された方法でアレイ２１０に亘って分散される。例えば、センサは、図示された二次元格子上でδ距離だけ離れ得る。センサ配置ピッチδは、そのような格子に亘って対称的又は非対称的であり得る。
【００６５】
図１１に示される実施形態では、センサは、センサＳ１１−Ｓ１３が最上列を占め、センサＳ２１−Ｓ２３が中央列を占め、センサＳ３１−Ｓ３３が底列を占める、長方形格子に配置される。各センサは、Ｎ行のピクセル及びＮ列のピクセルを含む。光源によって生成される、破線によって示される、光線が、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体から、イメージャアレイの各センサに反射させられる。例示目的で、最上列のセンサＳ１１，Ｓ１２，Ｓ１３への光線のみが示されている。光源は、例えば、非構造化白色光又は周囲光であり得る。代替的に、光源は、可視又は赤外スペクトルのような、選択された波長で光を提供し得る、或いは、光は、例えば、選択された波長（例えば、色）又は波長の範囲（例えば、色の範囲）を提供するようフィルタをかけられる或いは分割され得る。光線は物体の各々からセンサＳ２１−Ｓ３３に同様に反射させられることが理解されるであろう。しかし、説明を単純化するために、これらの他の光線は示されていない。
【００６６】
モジュール４０１及び４０２．１によれば、センサアレイ２１０のセンサは、ワールドビューから画像を別個に取り込む。図１２は、幾つかの実施形態による、センサＳｉｊ（Ｓ１１，Ｓ１２，Ｓ１３のみが示されている）上への図１１の３つの物体の投影を表す例示的な図面である。当業者は、そのセンサに入射する反射光線が、その視野内にある物体の画像を投影することを理解するであろう。より具体的には、イメージャアレイの多数の異なる画像センサに入射する視野内の物体から反射した光線は、三次元から二次元への物体の多数の透視投影、即ち、反射光線を受ける各センサ内の異なる投影を生成する。特に、物体の投影の相対的な位置は、Ｓ１１からＳ１３に進行するときに、左から右にシフトさせられる。入射光線によって照らされる画像センサピクセルは、入射光に応答して電気信号を生成する。従って、各画像センサに関して、電気信号のパターンが、画像センサ内の画像投影の形状及び場所を示す反射光線に応答して、ピクセルによって生成される。
【００６７】
モジュール４０２．２にしたがって、関心領域がワールドシーンから選択される。図１３は、シーン内からの関心領域（ＲＯＩ）の選択を示す例示的な図面である。この例において、三角形の第１の物体、球形の第２の物体、及び長方形の第３の物体は、全て、選択される関心領域内にある。このステップは、オペレータからの入力を受け入れることによって達成されることができる、又は、指定の方法でソフトウェアによって、若しくはオペレータ入力及び自動ソフトウェア制御選択の組み合わせによって設定されるコンピュータを用いて自動的に行われることができる。例えば、幾つかの実施形態では、ワールドシーンは、人間の解剖学的構造の内腔を示し得るとともに、物体は内部の身体器官又は手術器具又はそれらの部分であり得る。外科医は、内腔内からリアルタイムの視覚的な映像（imagery）を受け取ることができるとともに、人間の解剖学的構造の組織領域及び体腔内に突出する手術器具の部分を見ることができる。外科医は、それについての位置情報が、例えば、テレストレーション（telestration）ビデオマーカのような、よく知られた技法を通じて決定されることになる、視野内のこれらの物体を特定し得る。そのようなオペレータ要求に替えて或いはそれに加えて、エッジ検出アルゴリズムのような自動化されたプロセスが、関心領域（ＲＯＩ）を特定するために使用されることができる。
【００６８】
モジュール４０２．３によれば、ベストマッチが、同じ標的物体の投影によって照らされる異なるセンサ内のピクセル位置を特定するために、関心領域内のシーン画像の間で決定される。図１４は、幾つかの実施形態による、センサＳ１１，Ｓ１２，Ｓ１３内の投影画像の相対的な幾何学的オフセットに関する追加的な詳細を示す例示的な図面である。幾つかの実施形態によれば、センサＳ１３からの画像は基準画像であると見なされ、選択されるＲＯＩ内の物体の投影は、センサＳ１３内のそれらの位置に対してセンサＳ１２内の量σ２３ピクセルだけ右にオフセットされている。同様に、選択されるＲＯＩ内の物体の投影は、センサＳ１３内のそれらの位置に対してセンサＳ１１内の量σ１３ピクセルだけ右にオフセットされている。センサＳ１２，Ｓ１１のＦＯＶビューイング軸はそれぞれセンサＳ１３のＦＯＶビューイング軸の右にオフセットされるので（このようなビューイング軸は、センサの平面に対して垂直である）、ＲＯＩからの投影画像は、センサＳ１１に対してセンサＳ１３及びＳ１１内で左にオフセットされることが理解されるであろう。
【００６９】
図１５は、幾つかの実施形態による、ＲＯＩ内のセンサＳ１３内の投影画像と整列するように右にシフトさせられたＲＯＩ内のセンサＳ１１及びＳ１２内の投影画像を示す例示的な図面である。現在の例では、センサＳ１３は、基準センサとして機能するように設計されている。他のセンサが、アライメント及び幾何学的寸法を決定用に選択され得ることが理解されるであろう。選択されるＲＯＩ内の物体の投影は、指定されるセンサ、例えば、センサＳ１３で特定され、他のセンサ内の、例えば、センサＳ１１及びＳ１２内の投影は、それらが指定されるセンサ内の投影と整列するまで、シフトさせられる。このように、選択されるＲＯＩ内の物体の対応する投影は、指定されるセンサ内の投影の位置に対するそれらのオフセットと共に、他のセンサ内で特定されることができる。
【００７０】
具体的には、例えば、３つの例示の物体の投影は、センサＳ１２内で量σ２３ピクセルだけ右にシフトさせられ、３つの例示の物体の投影は、センサＳ１３内で量σ１３ピクセルだけ右にシフトさせられる。この例示的な例では、説明を単純にするために、投影はｙ方向のみにオフセットされ、ｘ方向にはオフセットされないことが仮定されているが、同じ原理がセンサ間にあるようなｘ方向投影オフセットに当て嵌まる。さらに、この例はリニアオフセット（linear  offsets）を示しているが、当業者は、例えば、異なるセンサにおける相対的なオフセットを有する投影と整列するよう、回転のような他の変換を適用することができる。
【００７１】
幾つかの実施形態によれば、例えば、二次元（２Ｄ）相互相関技法又は主成分分析（ＰＣＡ）が、Ｓ１３内のＲＯＩ内の投影をＳ１２内のＲＯＩ内の投影と整列させ且つＳ１３内のＲＯＩ内の投影をＳ１１内のＲＯＩ内の投影と整列させることができる。一般的に、意図は、基準として指定されるセンサからの画像に対する、センサＳｉｊからの画像を最良に整合させる又は整列させることである。より具体的には、Ｓ１２内のＲＯＩ内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにＳ１３内の投影画像と相互相関を取られる（cross-correlated）。同様に、Ｓ１１内のＲＯＩ内の投影画像は、最高の相関係数が達成されるまで、シフトさせられるとともにＳ１３内のＲＯＩ内の投影画像と相互相関を取られる。したがって、ＲＯＩの投影のアライメントは、Ｓ１３内のＲＯＩの投影とＳ１２内のＲＯＩの投影との間のオフセットを決定することによって並びにＳ１３内のＲＯＩの投影とＳ１１内のＲＯＩの投影との間のオフセットを決定することによって、センサＳ１１及びＳ１２内のＲＯＩの投影の位置を特定するために、用いられる。
【００７２】
候補ピクセル選択及び正確化の例
【００７３】
モジュール４０２．４によれば、候補ピクセルが異なるセンサ内で特定され、これらは、ベストマッチプロセスに従って、同じ標的からの投影によって照らされる。いったんＲＯＩ内の物体の投影がセンサＳ１１，Ｓ１２，及びＳ１３のそれぞれで特定されると、ＲＯＩ内の個々の標的ポイントの物理的（ｘ，ｙ，ｚ）投影がイメージャアレイに対して決定されることができる。幾つかの実施形態によれば、ＲＯＩ内の多数の標的ポイントのそれぞれについて、標的ポイントからの投影によって照らされる多数のセンサのそれぞれの中の１又は複数のピクセルが特定される。それぞれのそのような標的ポイントについて、物理的（ｘ，ｙ，ｚ）標的ポイント位置が、標的ポイントからの投影によって照らされていると決定される異なるセンサ内に配置されるピクセル中の幾何学的関係に少なくとも部分的に基づいて、決定される。
【００７４】
一連の標的ポイントが、（例えば、特定のステップサイズで右から左に並びにあるステップサイズで上から下に）ＲＯＩを系統的に横断することによって自動的に選択されることができ、物理的（ｘ，ｙ，ｚ）標的ポイント位置が、各選択された標的ポイントについて決定されることができることが理解されるであろう。Ｓ１１及びＳ１２はＳ１３とベストマッチさせられるので、横断はシフトされる関心領域の内側で行われる。標的を選択することは、標的の投影によって照らされるセンサＳ１１，Ｓ１２，及びＳ１３のそれぞれのピクセルを特定することを含む。したがって、Ｓ１１，Ｓ１２，及びＳ１３のそれぞれの候補ピクセルは、選択される標的ポイントの投影によって照らされるものであるとして特定される。
【００７５】
言い換えると、標的ポイントＴを選択するために、ピクセルが、標的ポイントＴの投影によって照らされるセンサＳ１１，Ｓ１２，及びＳ１３のそれぞれの中で選択される。標的Ｔの（ｘ，ｙ，ｚ）物理的位置は、その選択の瞬間に未知であることが理解されるであろう。さらに、上述のアライメントプロセスの不正確さは、各センサのどのピクセルが選択される標的Ｔの投影によって照らされるかの決定における不正確さをもたらし得ることが理解されるであろう。したがって、図１７、１８、及び１９を参照して説明されるように、更なる決定が、現在選択されている標的Ｔの投影によって照らされるＳ１１，Ｓ１２，及びＳ１３のそれぞれのピクセルについての決定の精度について、行われる。
【００７６】
上の例とともに続けると、三角形の第１の物体が現在選択されている標的ポイントであると仮定する。図１６は、幾つかの実施形態による、センサＳ１１，Ｓ１２，及びＳ１３の上への選択される三角形の標的ポイントの投影を示す例示的な図面である。これらの投影から、標的Ｔについての２Ｄピクセル座標、［（Ｎｘ１１，Ｎｙ１１），（Ｎｘ１２，Ｎｙ１２），（Ｎｘ１３，Ｎｙ１３）］が決定される。単純化のために、図１６は、ｙ軸ピクセル座標のみを示している。これらの２Ｄピクセル座標を用いて、式（４０２．５−１）及び（４０２．５−２）が適用され、
【００７７】
【数１３】
2017513662.tif 000016
及び
【００７８】
【数１４】
2017513662.tif 000017
がモジュール４０２．５の一部として計算される。モジュール４０２．６の一部として、ノルム
【００７９】
【数１５】
2017513662.tif 000018
が計算され、許容可能な許容差εと比較される。同様に、ｘ軸ピクセル座標及び位置推定が計算され、許容可能な許容差に対して比較される。モジュール４０２．６の条件が満たされる場合、プロセスはモジュール４０３に進む。さうでなければ、モジュール４０２．４に戻り、標的候補を更に正確化する。
【００８０】
図１７を参照すると、センサＳ１１，Ｓ１２，及びＳ１３を含むイメージャアレイの一部と、物理的空間内の位置（ｘ，ｙ，ｚ）に配置された選択される三角形の第１の物体標的ポイントＴとが示されている。イメージャアレイ内のセンサは、それらの間に既知の間隔、δｉｊを有する。Ｓ１１とＳ１２との間の物理的位置間隔はδ１２であり、Ｓ１２とＳ１３との間の物理的位置間隔はδ２３である。幾つかの実施形態では、全てのセンサＳｉｊの間の間隔は、同一であり、δ、構造的仕様と等しい。センサＳｉｊはまた、既知の視野角度θを有する。
【００８１】
上述のように、幾つかの実施形態では、各センサは、長方形パターンの行列に配置されるピクセルを備える２Ｄイメージング要素として構成される。代替的には、ピクセルは、例えば、円形パターン、ジグザグパターン、分散パターン、又はサブピクセルオフセットを含む不規則パターンに配置されることができる。これらの要素の角度及びピクセル特性は同一であり得る、又は、代替的に、センサ毎に異なり得る。しかし、これらの特性は、既知であることが仮定される。説明を単純化するために、センサは同一であると仮定されるが、それらは異なっていてもよい。
【００８２】
簡単化のために、全てのセンサＳｉｊがＮ×Ｎピクセルを有すると仮定しよう。センサＳ１１からの距離ｚにおいて、センサのＮピクセル幅は、ＦＯＶ１によって示されるＳ１１のｙ次元視野に拡大する。同様に、センサＳ１２から距離ｚにおいて、センサ１２のｙ次元視野はＦＯＶ２によって示される。また、センサＳ１３から距離ｚにおいて、Ｓ１３のｙ次元視野はＦＯＶ３によって示される。長さＦＯＶ１，ＦＯＶ２，及びＦＯＶ３は、互いに重なり合い、センサＳ１１，Ｓ１２，及びＳ１３が、ある（未知の）距離ｚに物理的に位置する標的Ｔの三つのサンプリング多様性(three-way  sampling  diversity)を達成することを示す。もちろん、この実施例において仮定されるように、センサが同一に作られる場合、長さＦＯＶ１，ＦＯＶ２，及びＦＯＶ３も同一である。３つの長さＦＯＶ１，ＦＯＶ２，及びＦＯＶ３は全て、同じ大きさを有し、それらがイメージャアレイから同じ（未知の）ｚ距離にある点において同一平面上にあるが、例示の目的のために、それらは、それらが互いに隣接して重ねられるように描かれていることが理解されるであろう。
【００８３】
図１８を参照すると、画像センサＳ１１，Ｓ１２，及びＳ１３上への現在選択されている標的ポイントＴの投影の例示的な正面図が示されている。簡単化のために、センサはＮ×Ｎピクセルサイズの幾何学的に長方形のピクセルアレイを含むことが仮定される。標的Ｔ投影のｘ座標は全て等しいことも仮定される。言い換えると、Ｓ１１，Ｓ１２，及びＳ１３上への標的Ｔの投影について、ｎｘ１＝ｎｘ２＝ｎｘ３であることが仮定される。説明を簡単化するために、幾何学的な視野角度θは、垂直的にθｘ＝θｙであるように、水平的に同じである。当業者は、上記仮定のうちの何れかが変わる場合に標的Ｔのｘ，ｙ，及びｚ物理的座標を計算するために、以下に提示されるプロセスをどのように修正するかを知るであろう。
【００８４】
標的Ｔの画像は、画像センサＳ１１の平面内の幾何学的座標（ｎｘ１，ｎｙ１）でセンサＳ１１内の物理的ポイントに投影される。より具体的には、センサＳ１１上への標的ポイントＴの投影は、原点から取られる、ｙ軸に沿ったｎｙ１ピクセルに、及びｘ軸に沿ったｎｘ１ピクセルに位置する。標的Ｔの画像は、画像センサＳ１２の平面内の幾何学的座標（ｎｘ２，ｎｙ２）でセンサＳ１２内の物理的ポイントに投影される。標的Ｔの画像は、画像センサＳ１３の平面内の幾何学的座標（ｎｘ３，ｎｙ３）でセンサＳ１３内の物理的ポイントに投影される。各センサ内のピクセル位置（ｎｘｉ，ｎｙｉ）がセンサのために提供される原点（０，０）基準座標に対して決定されることが理解されるであろう。図１７又は図１９に示されるように、グローバル座標系（global  system  of  coordinates）（ｘ，ｙ，ｚ）が、標的を参照するために定められ且つ用いられる。例えば、そのような座標系の原点は、限定ではなく、センサＳ１１の幾何学的中心に配置され得る。
【００８５】
図１６及び図１８の両方を参照すると、標的の投影のｙピクセル距離が各センサで異なることを見ることができる。現在選択されている標的Ｔの投影は、Ｓ１１において原点の左へｎｙ１ピクセルに配置されている。選択される標的Ｔの投影は、Ｓ１２において原点の左へｎｙ２ピクセルに配置されている。選択される標的Ｔの投影は、Ｓ１３において原点の左へｎｙ３ピクセルに配置されている。上述のように、説明を単純化するために、標的の投影は全ての３つのセンサにおいて原点から同じｘピクセル距離に当たることが仮定される。
【００８６】
図１９を参照すると、図１７を参照して上述したようなセンサＳ１１，Ｓ１２及びＳ１３に対する現在選択されている標的Ｔの配置が示され、センサのそれぞれにおける候補ピクセルについてのｙ方向オフセットも示している。図１９の図面は、選択される標的ポイントＴの（ｘ，ｙ，ｚ）物理的座標を決定するための解析フレームワーク及び物理的構造を表している。イメージャアレイ平面からの（未知の）距離ｚにおいて、各センサについてのｙ方向視野は、ＦＯＶｉとして記される長さに亘って延びる。この長さ、ＦＯＶｉは、幾つかの実施形態では、Ｎピクセルである、センサの最大ピクセル幅に対応する。センサがｘ方向及びｙ方向に対称である視野を有するという作業仮説（working  assumption）を考えれば、長さはまたｘ軸に沿った垂直なＦＯＶｉである。
【００８７】
候補ピクセル選択が、選択される標的の物理的位置の決定における不正確をもたらし得る不確実性のレベルを有し得る相関プロセスに少なくとも部分的に基づいて行われることを思い出されたい。この結果として、標的投影候補選択の正確性の更なる確認が、幾つかの実施形態に従って、以下のように行われる。
【００８８】
標的の物理的（ｘ，ｙ）位置を決定すること及び標的投影候補選択の正確性をチェックすることの例
【００８９】
モジュール４０２．５にしたがって、２以上の二次元（Ｎｘ，Ｎｙ）座標値が、候補ピクセルが同じ標的からの投影によって実際に照らされるかどうかを決定するために、選択される標的について計算される。上で論じられた推定及び３Ｄ座標系の原点をセンサＳ１１の中心に配置することに基づいて、イメージャアレイ及び図１９中の例において現在選択されている標的Ｔは、以下の関係を有する：
【００９０】
【数１６】
2017513662.tif 000019
【００９１】
【数１７】
2017513662.tif 000020
【００９２】
【数１８】
2017513662.tif 000021
ここで、
Ｎは、イメージングセンサのピクセル寸法であり、
ｎｘ１は、ｘ方向におけるＳ１１平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎｙ１は、ｙ方向におけるＳ１１平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎｙ２は、ｘ方向におけるＳ１２平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎｘ２は、ｘ方向におけるＳ１２平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎｙ２は、ｙ方向におけるＳ１２平面の原点からのピクセルの数において表現される標的ポイントＴの位置であり、
θは、視野の角度である。
【００９３】
さらに、センサＳ１１及びＳ１３を使用して同じ計算を行い且つＳ１１とＳ１３との間の分離が２δであると仮定する場合、以下が得られる：
【００９４】
【数１９】
2017513662.tif 000022
【００９５】
【数２０】
2017513662.tif 000023
【００９６】
【数２１】
2017513662.tif 000024
ここで、
ｎｘ３は、ｘ方向におけるＳ１３平面の原点からのピクセルの数で表わされる標的ポイントＴの位置であり、
ｎｙ３は、ｙ方向におけるＳ１３平面の原点からのピクセルの数で表わされる標的ポイントＴの位置である。
【００９７】
したがって、選択される標的Ｔの物理的ｘ座標の決定は、式（３）又は（６）に基づいて決定されることができる。選択される標的Ｔの物理的ｙ座標の決定は、式（２）又は（５）に基づいて決定されることができる。選択される標的Ｔの物理的ｚ座標の決定は、方程式（１）又は（４）に基づいて決定されることができる。
【００９８】
より一般的には、モジュール４０２．６にしたがって、候補ピクセルが同じ標的からの投影によって照らされていることを計算される２Ｄ座標値が示すかどうかについての決定が行われる。標的Ｔの物理的（ｘ，ｙ，ｚ）座標のより確実な決定が、各座標についての２つの式(formulations)の使用を通じて、得られることができる。例えば、標的Ｔについてのｙ座標は、両方の式（２）及び（５）を使用して決定されることができる。２つの式を用いて計算される結果として得られるｙ座標値が、ある許容可能な許容差値(tolerance  value)、εｙより大きく異なる場合、マッチングプロセスが異なるセンサにおける投影間のオフセットを十分な精度で解明し損ね、結果として、候補ピクセルが同じ標的Ｔからの投影を受けないという点で候補ピクセルが対応しないという、決定が行なわれ得る。マッチングさせるためのｙ計算の失敗の場合、マッチングプロセスの他の繰返しが、それぞれが選択される標的Ｔに対応するセンサ内の候補ピクセルの改良された選択を行うために、実行され得る。異なるセンサ上への異なる透視投影は、例えば、視差効果に起因して異なり得るので、計算されるｙ値が等しくなる可能性は低いことが理解されるであろう。従って、許容可能な許容差値は、意図される用途に従って定められる。手術用イメージング用途のためには、０．１−０．３ｍｍのεが、典型的には、許容可能なＱ３Ｄ精度を提供する。当業者は、本発明の精神から逸脱することなしに、異なる許容可能な許容差レベルを定めてよい。
【００９９】
ｘ軸及びｙ軸の周りの仮定されるセンサ対称性を考えれば、当業者は、同種の決定が、（２）及び（５）における式と同様の式を用いるが、ｎｙｉの代わりにｎｘｉを用いて、標的Ｔのｘ座標について、行われ得ることを理解するであろう。式（３）及び（６）は、それらがｚ座標の知識を必要とするので、４０２．５及び４０２．６の部分で使用されることができない。しかし、モジュール４０２．５及び４０２．６の本質は、センサＳ１１，Ｓ１２，及びＳ１３の平面上の正しい標的投影を決定することである。この目的のために、ｘ軸及びｙ軸について調節された式（２）及び（５）が十分である。座標（ｘ，ｙ，ｚ）の完全なセットは、以下に記載されるように、モジュール４０３及び４０４の計算される部分である。
【０１００】
標的の物理的ｚ位置を決定する例
【０１０１】
図１９に示されるように、モジュール４０３及び４０４にしたがって、ｚ座標についての初期推定、ｚ０が、計算プロセスを開始するために使用される。この初期値は、医療用途に従って自動的に定められる。医療用途は、視覚化されることになる意図されるワールドビューを定める。初期値ｚ０は、内視鏡に最も近い視野の縁（edge）で開始する。図８を参照すると、手術用内視鏡を伴うＱ３Ｄ用途のために、ｚ０は、例えば、Ｑ３Ｄ内視鏡２０２の遠位端２０８から１−５ｍｍ離れ得る。このような初期推定は、組織又は手術器具をＱ３Ｄ内視鏡に極めて近接して存在させる可能性は低いので、一般的には、この用途のために十分である。次に、値ｚ０は、式（３）及び（６）に差し込まれる。標的のｘ座標がユニーク（unique）であることを考えると、ｚ０が標的の本当の且つ正しいｚ座標である場合、式（３）及び（６）は、同一の値又は許容可能なレベルの許容差、εｘ内で、略等しい値、をもたらす。
【０１０２】
【数２２】
2017513662.tif 000025
【０１０３】
（３）及び（６）が許容可能な許容差εｘの外側にある場合、繰返しが続き、ｚについての新しい推定、ｚ１が試される。幾つかの実施形態によれば、新しい推定は自動的に定められる。例えば、ｚ１＝ｚ０＋Δであり、ここでΔは、繰返しステップのサイズである。一般的には、ｋｔｈ繰返しにおいて、ｚｋ＝ｚｋ−１＋Δである。繰返しプロセスは、条件（７）が満たされるときに停止する。より小さいΔは、正しい標的座標を決定することにおける精度の増大をもたらすが、それはまた、プロセスを完了するためのより多くの計算時間、故に、増大する待ち時間を必要とする。増大する待ち時間は、手術器具動作と執刀医によるその視覚化との間の遅延をもたらすかもしれない。言い換えると、外科医は、システムを命令より遅れているように知覚する。２０−３０ｃｍの深さの手術ビューイング空間のためには、０．１−０．３ｍｍのΔが十分であり得る。もちろん、当業者は、繰返しプロセスを完了するのに必要とされる計算に対してΔのサイズをバランスさせることを知っているであろう。
【０１０４】
上記説明は、提示の理由のために単純化されており、従って、それは３つのセンサＳ１１，Ｓ１２，及びＳ１３のみを含でいた。一般的には、より多くのセンサが、Ｑ３Ｄ座標計算の精度を増大させるために使用されることができるが、繰返しの総数を減少させるためにも使用されることができる。例えば、３つよりも多いセンサ、好ましくは、３×３センサアレイが使用される場合、最急勾配(steepest  gradient)のような方法が、モジュール４０２．５及び４０３によって作られる推定誤差の方向を示すために用いられ得る。繰返しステップサイズ及び方向は、その後、３Ｄ誤差勾配表面の局所的な極限に向かう進行にマッチするように、調節され得る。
【０１０５】
Ｑ３Ｄ情報を用いる内視鏡検査手術の誘導
【０１０６】
図２０は、幾つかの実施形態による、外科処置中にＱ３Ｄ情報を用いるための第１のプロセス２０００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２０００を実行するようコンピュータ１５１を設定する。モジュール２００２は、ビューア３１２を覗くときに外科医の視野内の少なくとも２つの物体を選択するためにユーザ入力を受信ようにコンピュータを設定する。モジュール２００４は、ユーザ選択の受信に応答してコンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール２００６は、メニューへのユーザ入力が距離を表示するために受信されているかどうかを決定するようにコンピュータを設定する。ユーザ入力が距離を表示するために受信されているという決定に応答して、モジュール２００８は、外科医の視野内のビデオ画像の中に数値距離を表示するようにコンピュータを設定する。決定モジュール２０１０は、距離表示を選択するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール２００６の動作を終了させるように、コンピュータを設定する。
【０１０７】
決定モジュール２０１２は、メニューへのユーザ入力が近接警報限界を入力するために受信されたかどうかを決定するように、コンピュータを設定する。ユーザ入力が近接閾値を入力するために入力されているという決定に応答して、モジュール２０１４は、外科医の視野内の２以上の物体の間の近接をモニタするようためにＱ３Ｄ情報を使用するようにコンピュータを設定する。決定モジュール２０１６は、近接閾値を超えたかどうかを決定する。近接閾値を超えたという決定に応答して、モジュール２０１８は、警報を作動させるようにコンピュータを設定する。警報は、音、点滅する光のようなビジュアルキュー（visual  queue）、衝突を避けるための器具動作のロック、又は他の触覚フィードバックを含み得る。近接閾値を超えていないという決定に応答して、制御はモニタリングモジュール２０１４に戻る。決定モジュール２０２０は、近接閾値を入力するためにユーザ入力の受信のための指定の時間間隔の間待つように、及び「タイムアウト」間隔内にユーザ入力を受信しないことに応答して決定モジュール２０１２の動作を終了させるように、コンピュータを設定する。
【０１０８】
図２１は、幾つかの実施形態による、図２０のプロセスに従ったディスプレイスクリーン２１０２上に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２１０２は、コンピュータ１５１と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン２１０２は、ビューア３１２のビューイング要素４０１Ｒ，４０１Ｌの領域を含み得る。ユーザ入力に応答して、モジュール２００４は、第１のメニューアイテム「距離を表示する」２１０６及び第２のメニューアイテム「近接警報を設定する」２１０８を含む、メニュー２１０４の表示をもたらす。「距離を教示する」メニューアイテム２１０６を選択するユーザ入力に応答して、モジュール２００８は、２以上の物体の間のＱ３Ｄ距離の表示をもたらす。図４を再び参照すると、モジュール２００８を用いて表示された器具４００と標的との間にＱ３Ｄ距離「ｄ＿Ｉｎｓｔｒ＿Ｔｒｇｔ」の表示が示されている。「近接警報を設定する」メニューアイテム２１０８を選択するユーザ入力に応答して、ユーザが近接距離閾値の値、例えば、１センチメートルを入力することができるフィールドを含む「距離を入力する」ＵＩ入力２１１０が表示される。代替実施形態（図示せず）では、デフォルト近接閾値が全ての器具について前もって設定され得るとともに、ユーザは、例えば、図２１のメニューを用いて近接閾値を変更し得る。代替実施形態では、ユーザは、閾値の値を入力するよりもむしろデフォルト設定閾値の値を選ぶことを選択することができる。幾つかの実施形態では、ユーザは、距離を表示すること及び近接警報を設定することの両方を選択することができる。
【０１０９】
図２２Ａ−２２Ｂは、幾つかの実施形態による、図２０のプロセスに従ってユーザ入力を受信することの特定の詳細を表す例示的な図面である。図２２Ａは、テレストレーションのようなビデオマーカツールを用いて、又は図４の制御入力デバイス１６０を操作する外科医コンソールを用いて作られることができる、体組織のような、標的４１０Ｌ，４１０Ｒの例示の第１の強調領域２２０２Ｌ，２２０２Ｒを示している。図２２Ｂは、ビデオマーカツールを用いて作られることができる、器具先端４００Ｌ，４００Ｒの例示の第２の強調領域２２０６Ｌ，２２０６Ｒを示している。手術中、幾つかの実施形態によれば、ユーザは、第１の強調領域２２０２Ｌ，２２０２Ｒを作る。次に、ユーザは、ビデオマーカツールを用いて、器具先端４００Ｌ，４００Ｒの第２の強調領域を作る。アイテムが強調される順番は重要でないことが理解されるであろう。ユーザは次に、選択を入力するために、セレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）。モジュール２００２は、受信されるユーザ入力を、標的画像４１０Ｌ，４１０Ｒ及び器具画像４００Ｌ，４００Ｒの選択として解釈する。
【０１１０】
図２３は、幾つかの実施形態による、外科処置中にＱ３Ｄ情報を用いるための第２のプロセス２３００を表す例示的なフロー図である。コンピュータプログラムコードは、プロセス２３００を実行するようにコンピュータ１５１を設定する。モジュール２３０２は、ビューア３１２を覗くときに外科医の視野内の物体を選択するためにユーザ入力を受信するようにコンピュータを設定する。例えば、図２２Ａを再び参照すると、ユーザ入力は、ビデオマーカツールを用いて器具先端４００Ｌ，４００Ｒの第２の強調領域２２０６Ｌ，２２０６Ｒを作るために受信されるように、示されている。ユーザ入力（図示せず）は、器具先端４００Ｌ，４００Ｒの画像の選択を入力するためにセレクタ（図示せず）を作動させる（例えば、ＥＮＴＥＲキーを押す）ように、受信される。
【０１１１】
図２３にもう一度戻ると、ユーザ選択の受信に応答して、モジュール２３０４は、コンピュータコンソールにメニューを表示するようにコンピュータを設定する。決定モジュール２３０６は、メニューへのユーザ入力が、選択される物体の画像を回転させるために、受信されたかどうかを決定するように、コンピュータを設定する。画像を回転させるユーザ入力が受信されたという決定に応答して、モジュール２３０８は、物体の異なる三次元眺望を示すために画像を回転させるように、コンピュータを設定する。決定モジュール２３１０は、画像を回転させるためにユーザ入力の受信のための指定の時間間隔を待つように、及び「タイムアウト」間隔内にユーザ入力がないことに応答して決定モジュール２３０６の動作を終了させるように、コンピュータを設定する。
【０１１２】
図２４は、幾つかの実施形態による、図２３のプロセスに従ってディスプレイスクリーン２４０２に表示されるメニュー選択を示す例示的な図面である。ディスプレイスクリーン２４０２は、コンピュータ１５１と関連付けられるビューイングモニタを含む。代替的には、ディスプレイスクリーン２４０２は、ビューア３１２のビューイング要素４０１Ｒ，４０１Ｌの領域を含み得る。受信されるユーザ入力に応答して、モジュール２３０４は、第３のメニューアイテム「左に回転させる」２４０６及び第４のメニューアイテム「右に回転させる」２４０８を含む、メニュー２４０４の表示をもたらす。第３の又は第４のメニューアイテム２４０６，２４０８のうちの一方又は他方を選択するユーザ入力に応答して、モジュール２３０８は、図９のモジュール４０７に従って作られ且つ格納された３Ｄモデルの回転を引き起こすことを使用する。センサイメージャアレイ２１０は、制限された全体的な視野を有するので、回転の量は、数度、例えば、３０度未満に制限され得ることが理解されるであろう。
【０１１３】
３Ｄ画像表現とのＱ３Ｄモデルアライメント
【０１１４】
図２５は、幾つかの実施形態による、Ｑ３Ｄモデルの３Ｄレンダリングを作るためのプロセスの詳細を示す例示的な図面である。いったん変換Ｑ３Ｄモデルが計算されると、システムの３Ｄディスプレイ上に表示されることができる。幾つかの３Ｄビデオアルゴリズム及びハードウェア実装が、この目的のために使用されることができる。コンピュータモジュール２５０２は、６２−６５ｍｍの平均の人間の瞳孔間距離（ＩＰＤ）を与えられて、Ｑ３Ｄモデルを、右目ビュー２５０４Ｒ及び左目ビュー２５０４Ｌに分離するように、ビデオプロセッサ１０４、コントローラ１０６、及びディスプレイドライバ１０９を有する図８のシステムを設定する。このステップを達成するために、立体検査鏡及び人間のＩＰＤの既知の詳細が適用される。幾つかの実施形態によれば、モジュール２５０６は、見る人に３Ｄシーンの効果を与えるために、左目へのビデオフレーム２５０８Ｌを提供することと右目へのビデオフレーム２５０８Ｒを提供することとの間を既知のフレームレートで交互に切り替えるように、３Ｄディスプレイドライバ１０９の３Ｄビデオコントローラ１−６を設定する。図２５に記載されるアプローチは、図４−６に記載されるような遠隔操作手術システムにあるもののような、３Ｄビューイングゴーグルを用いる。しかし、他の３Ｄビデオディスプレイ機構が使用されることができる。Liptonに発行された米国特許第４，５６２，４６３号及びNagele他に発行された米国特許第６，００８，８３９号が、追加の実装の詳細を提供し、これらの特許は、それらの全体が参照によって本明細書に援用される。
【０１１５】
図２６は、例示の解剖学的構造２６０２の３次元（３Ｄ）ボリュメトリック（volumetric）画像表現２６０１の例を表す例示的な斜視図である。画像は、解剖学的構造２６０２の３Ｄ容積全体にわたる構造を表す画像情報を含む。例えば、限定ではなく、外部３Ｄ画像は、ＭＲＩ、ＣＴ、ＰＥＴ、又は超音波画像であることができる。３Ｄ画像表現は、解剖学的構造２６０２の３Ｄ表現を提供する。以下の議論を単純にするために、以下では、ＭＲＩ／ＣＴ画像を参照する。しかし、記載される技法は、例えば、ＰＥＴ又は超音波のような、他の３Ｄ画像タイプに適用可能である。３Ｄ画像表現２６０１は、２次元（２Ｄ）断面スライス２６０４（１つのみ示されている）で見られることができる。より具体的には、３Ｄ画像の断面スライス部分が、異なる角度断面で及び構造の表面からの異なる距離で、解剖学的構造の断面表現を示すように、コンピュータディスプレイスクリーンへの表示のために選択されることができる。例示的な例示の解剖学的構造２６０２は、その表面（図示された表面輪郭２６０８）における表面構造を含むとともに、例えば、外科処置における関心のある表的構造であり得る表面下構造２６０６を含む。
【０１１６】
図２７Ａは、解剖学的構造２７０２の表面構造２７０４及び解剖学的構造の表面下構造２７０６を示す３ＤＭＲＩ／ＣＴ表現の２Ｄ断面図を示す例示的な図面である。より具体的には、解剖学的構造２７０２は、表面下構造である患者の背骨、及び患者の背骨２７０８上に位置特定された他の表面下構造である腫瘍塊（tumor  mass）２７０６を含む。図２７に示されるように、３Ｄ表現内に表される構造のサイズ及び３Ｄ表現内に表される物体間の距離のような、寸法情報が容易に決定されることができる。３ＤＭＲＩ／ＣＴ表現は、コンピュータ可読ストレージデバイスに格納される。
【０１１７】
典型的には、例えば実際には、放射線科医のような医学専門家が、３ＤＭＲＩ／ＣＴ表現から多数の２Ｄ画像スライスを見ることによって候補標的構造を手動で識別する。時には、例えば、識別された標的は、他のイメージングモダリティにより確認される。例えば、超音波イメージングが、ＭＲＩ又はＣＴ画像と併せて確認するモダリティ（confirmatory  modality）としてしばしば使用される。これらの３Ｄ可視化イメージング技法は、解剖学的構造の内部の標的構造の位置及び解剖学的構造の表面構造に対するその関係に関する寸法の／定量的情報を提供する。例えば、図２７Ａは、この例では解剖学的構造の内部の標的構造である、腫瘍塊の深さを示すだけでなく、腫瘍のすぐ上の解剖学的構造の表面の輪郭も示す。以下により完全に説明されるように、外科処置の間、３ＤＭＲＩ／ＣＴ表現によって提供されるこのような表面輪郭情報は、解剖学的構造の可視表面輪郭と、解剖学的の内部にあり、したがって、見えない標的構造との間のより正確なピンポイントアライメントのために、Ｑ３Ｄ情報と関係付けられることができる。
【０１１８】
図２７Ｂは、解剖学的構造の３Ｄビュー及び、例えば、ＣＴ又はＭＲＩ技法を使用して作られらた物体を通る関連付けられる２Ｓ画像スライスを表す例示的な図面である。解剖学的構造の物体は、例えば腫瘍であり得る、内側表面下物体を含む。解剖学的構造の物体は、外部表面輪郭を有する。２Ｄ画像スライスの１又は複数は、内側表面下物体の画像スライスを含む。２Ｄ画像スライスは、２Ｄスライス及び物体の外部表面輪郭のビューの両方に見える構造のような、基準を使用して物体のＱ３Ｄ画像と整列されることができる。表面下の物体は、例えば、診察又は手術の間に位置、距離及び寸法情報を外科医に伝えるように、物理的な物体の画像に重なるゴースト画像（ghost  image）で可視にされることができる。
【０１１９】
図２８は、幾つかの実施形態による、図２６の解剖学的構造２６０２の外部表面部分２８０４に対応する画像情報を取り込むように位置決めされるＱ３Ｄ内視鏡１０１Ｃを示す例示的な図面である。表面部分２８０４に関連付けられる取り込まれたＱ３Ｄ情報は、Ｑ３Ｄ内視鏡の視野（ＦＯＶｅ）内の解剖学的構造２６０２の一部の３Ｄ表面輪郭を表す。取り込まれたＱ３Ｄ表面輪郭情報２８０４を表すＱ３Ｄモデルが、コンピュータ可読ストレージデバイス２８０８に格納される。
【０１２０】
図２９は、幾つかの実施形態による、図２８の例示のＱ３Ｄモデル２８０６と図２６の解剖学的構造２６０２の例示の３ＤＭＲＩ／ＣＴボリュメトリック画像表現２６０１を整列することのプロセスを概念的に表す例示的な図面である。解剖学的構造２６０２についての表面輪郭情報を含む、Ｑ３Ｄモデル２８０６は、３ＤＭＲＩ／ＣＴ表現２６０１の対応する表面輪郭情報部分と整列される。例えば、表面輪郭２６０８のような、断面２６０４の要素は、Ｑ３Ｄモデル２８０６からの対応する要素と整列される。幾つかの実施形態によれば、Ｑ３Ｄモデルは、内視鏡１０１Ｃからの解剖学的構造の外部表面上のポイントの距離の観点から、解剖学的構造２６０２の表面輪郭を表す。他方で、解剖学的構造２６０２の外側表面は、解剖学的構造の２Ｄスライスの外側エッジ部分２６０８の観点から、３ＤＭＲＩ／ＣＴにおいて表される。代替的には、２６０８のような、３Ｄ表面データは、３ＤＭＲＩ／ＣＴボリュメトリックモデル２６０２からそれを抽出することによって得られることができる。入力手段１１２が、断面２６０４のような、２Ｄ画像のセットとして構造２６０２の下しか表現を提供する場合、プロセッサ１０６は、幾つかの構成要素画像を１つの画像に融合させるように且つ３Ｄボリュメトリック表現２６０１を作るように、これらの画像を合成するようにプログラムされ得る。他の実施形態では、入力手段１１２は、外部イメージングシステム（ＭＲＩ、ＣＴ、ＰＥＴ、超音波等）から３Ｄボリュメトリック表現２６０１を受信する。ＭＲＩ／ＣＴ表現とのＱ３Ｄモデルのアライメントは、２つの画像表現の中に表される外部基準ポイント（図示せず）の共通グループを決定し、次に共通の外部基準ポイントにしたがって２つの画像表現を整列させることを含む。Ｑ３Ｄ−ＭＲＩ／ＣＴ組み合わせ表現が、ＭＲＩ／ＣＴ画像表現とのＱ３Ｄモデルのアライメントに基づいて作られることができる。
【０１２１】
図３０は、幾つかの実施形態による、Ｑ３Ｄモデルを３ＤＭＲＩ／ＣＴモデルと整列させるためのプロセス３０００の詳細を示す例示的なフロー図である。モジュール３００２は、Ｑ３Ｄモデルにおける基準ポイントを選択するように、図８の１０６のような、プロセッサを設定する。モジュール３００４は、３ＤＭＲＩ／ＣＴ画像における同じ基準ポイントを選択するようにプロセッサを設定する。モジュール３００６は、その選択された基準ポイントが、Ｑ３Ｄモデルについて選択されたそれらと整列するまで、３ＤＭＲＩ／ＣＴ画像表現の向きの幾何学的変換（geometric  transformation）を適用する。異なる幾何学的変換が、決定モジュール３００８が選択された基準ポイントのベストマッチが達成されたことを決定するまで、モジュール３００６を使用して決定される。モジュール３０１０は、Ｑ３Ｄモデルと３ＤＭＲＩ／ＣＴ画像表現とのベストアライメントを示す出力として提供する。
【０１２２】
例えば、図２７Ａを再び参照すると、内視鏡が、内部標的構造を囲む椎骨の可視表面輪郭Ｑ３Ｄモデルを作るために使用されるＱ３Ｄ情報を取り込むように位置決めされるように、解剖学的構造の表面に隣接して位置決めされ得る。それらの同じ椎骨の表面輪郭は、図２７Ａに示されるＭＲＩ／ＣＴ表現の２Ｄスライスに表される。基準ポイントは、２つの画像セット、すなわち、Ｑ３Ｄモデル及び３ＤＭＲＩ／ＣＴ表現の中に見える共通の椎骨の輪郭として選択され得る。例えば、幾何学的変換は、３ＤＭＲＩ／ＣＴに表される椎骨輪郭が、そのポイントにおいて２つの画像セットが整列されると決定される、Ｑ３Ｄモデルに表される椎骨輪郭とのベストマッチアライメントを達成するまで、３ＤＭＲＩ／ＣＴ画像の回転及び並進移動を含み得る。例えば、ベストマッチ（best  match）を決定することは、最大の相互相関係数（cross-correlation  factor）が達成されるまで、３ＤＭＲＩ／ＣＴ画像の２Ｄ輪郭をＱ３Ｄモデルの輪郭と相互相関を取ることを含み得る。代替的には、幾つかの実施形態によれば、ベストマッチが、Ｑ３Ｄモデル及び３ＤＭＲＩ／ＣＴ表現に表される、選択された椎骨上のポイントのペア間のユークリッド距離の合計が、最小化される又は許容閾値より下に減少するまで、３ＤＭＲＩ／ＣＴ画像の変換を繰り返すことによって、決定されることができる。
【０１２３】
図３１は、幾つかの実施形態による、Ｑ３Ｄ−ＭＲＩ／ＣＴ組合せモデルに基づいて可視化表示を生成するためのプロセス３１００を表す例示的なフロー図である。モジュール３１０２は、３ＤＭＲＩ／ＣＴ表現の整列された表面と整列する３ＤＭＲＩ／ＣＴ表現内の標的構造のビューを特定するように、コンピュータシステム、又は図８の１０６の様なプロセッサを設定する。プロセス３１００は、Ｑ３Ｄ内視鏡の眺望からＱ３Ｄモデルの３ＤＭＲＩ／ＣＴ表現とのアライメントをもたらすことが理解されるであろう。したがって、幾つかの実施形態にしたがって、モジュール３１０２は、この同じＱ３Ｄ内視鏡眺望とも整列する表面下構造のビューを特定することが理解されるであろう。モジュール３１０４は、Ｑ３Ｄモデルの可視化ビューを３ＤＭＲＩ／ＣＴ表現内の標的構造の特定されたビューと組み合わせるように、コンピュータシステムを設定する。モジュール３１０６は、組み合わされたビューを示す可視化ビューを表示するように、図２５のディスプレイシステムを設定する。代替的には、モジュール３１０４の出力は、図９のモジュール４０７によって格納され得るとともに、更なる操作のために、外部装置又はシステム１５２の他のプロセッサに提供され得る。例えば、組み合わされたＱ３Ｄ−ＭＲＩ／ＣＴモデルは、所望の臨床成果を達成するために、図６の手術器具１０１の制御を誘導するために使用され得る。組み合わされたビューは、Ｑ３Ｄ内視鏡のＦＯＶｅ内の解剖学的構造の表面輪郭及び表面下標的構造の両方を描くことが理解されるであろう。さらに、表面下表的構造と外部可視表面輪郭との間のアライメントは、組み合わされたビューにおいて正確に描かれる。
【０１２４】
図３２は、幾つかの実施形態による、Ｑ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデル３２００を表す例示的な図面である。Ｑ３Ｄ−ＭＲＩ／ＣＴ組み合わせモデルは、Ｑ３Ｄ内視鏡１０１Ｃの眺望から現在見ることができる解剖学的構造２６０２の表面部分２８０４を示すＱ３Ｄモデル２８０６からのＱ３Ｄ情報３２０２を含むとともに、Ｑ３Ｄ内視鏡１０１Ｃによって現在見ることができない内部の表面下の標的構造２６０６についての画像情報３２０４も含む。はっきりと、表面輪郭部分３２０２とＱ３Ｄ−ＭＥＩ／ＣＴ組合せモデル３２００内の表面下構造画像情報３２０４との間の関係は、表面部分２６０８部分と内部の表面下の標的構造２６０６とのアライメントの正確な表現を提供する。アライメントのこの表現を例証するために、表面輪郭部分３２０２と内視鏡１０１Ｃとその視野（ＦＯＶｅ）との間の位置関係が図３２に示されている。外部３Ｄ画像（例えば、ＭＲＩ、ＣＴ、ＰＥＴ、超音波）２６０１をＱ３Ｄモデル２８０６と組み合わせることによって、Ｑ３Ｄ−ＭＲＩ／ＣＴ組合せモデル３２００が構成される。図２９及び３２を参照すると、Ｑ３Ｄ−ＭＲＩ／ＣＴ組合せモデル３２００では、内部の表面下構造２６０６を表す画像情報３２０４は、処置中にリアルタイムで、Ｑ３Ｄ内視鏡１０１Ｃによって見える可視解剖学的詳細２８０４に対応する画像情報３２０２と整列させられる。したがって、組み合わされた表現は、Ｑ３Ｄモデルの表面輪郭情報の図３０のプロセスにしたがって選択された、選択された表面下構造表現とのマージング（merging）を含む。より具体的には、組み合わされたＱ３Ｄ−ＭＲＩ／ＣＴモデル３２００は、内視鏡１０１Ｃのビューポイントから見える詳細に関する（ｘ，ｙ，ｚ）座標の収集を含む。
【０１２５】
図３３Ａ−３３Ｃは、幾つかの実施形態による、内視鏡１０１Ｃの視野内にある解剖学的構造の３つの異なる表面領域に基づく３つの異なるＱ３Ｄ−ＭＲＩ／ＣＴ組合せモデル３２００Ａ、３２００Ｂ、及び３２００Ｃを表す例示的な図面である。内視鏡１０１Ｃの位置は、その視野ＦＯＶｅを変えるために変えられることができることが理解されるであろう。幾つかの実施形態によれば、ユーザは、現在の視野内で標的構造の位置を観察することができ、その観察された位置に基づいて、ユーザは、標的の位置をＦＯＶｅ内の所望の位置に変えるために、内視鏡の位置を変更することができる。例えば、ユーザが、標的を図３３Ｂに示されるようにＦＯＶｅ内で中心に置かれることを望むことを仮定する。この場合、図３３Ａにおける標的位置３２０４Ａを観察しているユーザは、図３３Ｂの標的位置３２０４Ｂに達するように内視鏡１０１Ｃを下方に動かすことができる。代替的には、図３３Ｃの標的位置３２０４Ｃを観察しているユーザは、図３３Ｂの標的位置３２０４Ｂに達するように内視鏡１０１Ｃを上方に動かすことができる。いったん内視鏡１０１Ｃの所望の向きが達成されると、外科医は、表面下標的３２０４に関連する臨床的ゴールにしたがって、他の器具１０１を動かすようにシステム１５２に指示することができる。例えば、表面下標的３２０４が腫瘍である場合、適用可能な器具は、腫瘍が直接見えないという事実にもかかわらず、外科医が腫瘍に到達すること及びそれを手術することを可能にするように最適に位置合わせされ且つ操作される。
【０１２６】
幾つかの実施形態によれば、ユーザは、図２５に詳細に記載されたように、３Ｄビューア１１０を使用して組み合わされたＱ３Ｄ−ＭＲＩ／ＣＴモデルを可視化することができる。言い換えると、組み合わされたＱ３Ｄ−ＭＲＩ／ＣＴモデルの可視３Ｄビューが表示され、その中では、Ｑ３Ｄ内視鏡の眺望からの表面輪郭が見えるとともに３ＤＭＲＩ／ＣＴ画像内に表される表面下標的構造も見える。ユーザはしたがって、Ｑ３Ｄ内視鏡のビュー眺望内になる可視表面輪郭と標的表面化構造との間の物理的関係をはっきりと認めることができることが理解されるであろう。上で論じられたように、ユーザにこの関係を描くことは、例えば、標的構造にアクセスするために切開部を作る最も良い位置を、外科医のようなユーザに伝えることよってのように、外科処置を実行するユーザを支援することができる。関係を描くことはまた、例えば、標的構造をより良く観察する又は標的構造にアクセスするのに必要な内視鏡又は他の手術器具の位置の調整をユーザに伝えることもできる。
【０１２７】
他の態様では、表面構造に関する、表面下構造に関する、又は表面構造と表面下構造両方に関する連続Ｑ３Ｄ情報が、表面構造、表面下構造、又は表面構造と表面下構造両方を含む前に取得されたボリュメトリックモデル（例えば、ボリュメトリックＭＲＩ／ＣＴ画像レンダリング）を連続的に更新するために使用されることができる。したがって、（例えば、組織位置移動、組織退縮等に起因して）手術環境が変化するとき、連続的に更新されるモデルが、上述のプロセスを連続的に提供することによって、組み合わされた手術前画像情報及び直近の現在のＱ３Ｄ画像から利用可能である。結果として、外科医は、手術前画像で特定された関心のある組織により精密に誘導するために、連続的に更新されるモデルへのアクセスを有する。
【０１２８】
さらに他の態様では、上述のように現在の３Ｄ情報で手術前ボリュメトリック画像モデルを連続的に更新する能力は、外科医が複雑な組織通路に沿ってより正確に誘導することを可能にする。このような通路は、１又は複数の開いた体の管腔を経由し得る、或いは、１又は複数の組織平面に沿って定められ得る。通路は、手術前画像から３Ｄレンダリングにおいて最初に特定され、次に、手術中、特定された通路は、上述のようにＱ３Ｄ情報を使用することによって連続的に更新される。
【０１２９】
３ＤＭＲＩ／ＣＴモデルとのＱ３Ｄモデルのアライメントのための上述の技法はまた、表面輪郭及び表面下構造の組合せを描く蛍光画像とのＱ３Ｄモデルのアライメントに概して当てはまる。例えば、蛍光イメージングは、Intuitive  Surgical,  Inc.によって商業化されているda  Vinci  Si（登録商標）又はXi（登録商標）surgical  systemsとともに供給されるFireFly（登録商標）製品ラインの一部で使用される。蛍光色素が解剖学的構造に導入され得る。例えば、インドシアニングリーン（ＩＣＧ）は、心臓の、循環器系の、肝臓の、及び目の疾患において（例えば、光度測定肝臓機能診断法及び蛍光眼底観察法のための）視標物質として医療で使用される蛍光色素である。ＩＣＧの蛍光スペクトルは、７５０ｎｍから９５０ｎｍの間である。ＩＣＧ色素は患者の血流の中に注入され、それはアルブミン蛋白質と結合する。腫瘍のような、特定の表面下標的は、増加した血液供給を有する。したがって、このような表面下標的は、色素が体によって除去されるまで、ＩＣＧの増加した一時的な供給を有する。励起レーザ光（例えば、８０３ｎｍ）が、図６又は７の内視鏡１０１Ｃと結び付けられ得るとともに、色素を励起するために使用され得る。色素はその後、その励起スペクトル（例えば、８３０ｎｍ）内で蛍光信号を放射する。蛍光信号は、Ｑ３Ｄ内視鏡１０１Ｃによって受信され、図８の、ＣＣＵ１０４及びプロセッサ／コントローラ１０６、両方によって処理される。ＩＣＧ供給表面下標的のＱ３Ｄモデルが、プロセッサ１０６によって作られることができ、図２５に記載されるように、３Ｄディスプレイ上に、強調された色（例えば、緑）で表示されることができる。この例では、ＩＣＧ注入は、幾つかの目的に役立つ。それは、腎臓の血液供給を可視化するのに役立ち、したがって、手術中の失血を減少させる。それは外科医が癌の組織と健康な組織との間の差をはっきりと見ることを可能にする。したがって、外科医は、癌の組織を残し、より健康な組織を助ける。腫瘍が除去されるとともに腎臓が修復された後、ＩＣＧは、外科医が腎臓への回復された血流を見ることを可能にする。蛍光モードで取得された表面下Ｑ３Ｄモデルは、白色光で手術シーンを照らすときに取得される表面Ｑ３Ｄモデルと組み合わされることができる。これを達成するために、蛍光画像の解剖学的構造の画像の、特定の表面輪郭、又は他の基準ポイントが典型的には非蛍光画像でも見えることが理解されるであろう。例えば、特に色素が濃縮されていない解剖学的構造の部分は、両方の画像において可視であり得る。上述の技法と同様に、解剖学的構造のＱ３Ｄモデルは、それによって、表面下構造と、Ｑ３Ｄ内視鏡のＦＯＶｅ内に含まれ且つ対応するＱ３Ｄモデル内に取り込まれる可視表面輪郭との間の関係の視標を提供するように、蛍光画像と整列されることができる。表面下標的３２０４は、蛍光ビューでのみ可視である。図３０及び３１に提示されたプロセスは、非蛍光Ｑ３Ｄモデルを表面下標的の蛍光Ｑ３Ｄモデルと整列させるために使用されることができる。より具体的には、蛍光ビューにおいて可視である表面輪郭基準は、Ｑ３Ｄモデルの対応する表面輪郭と整列させられる。蛍光モデルは、図３０のフロー図を参照して記載されるよう���、マッチする表面輪郭のアライメントが概して達成されるまで、幾何学的に変換される、例えば、回転及び並進移動される。ＩＣＧ以外の色素が、他の解剖学的標的を可視化するために使用されることができる。da  Vinci  Si若しくはda  Vinci  Xi  Surgical  Systems、又はFireFly蛍光イメージングシステム以外のイメージングシステムが、同様の結果を出すために同様に用いられることができる。
【０１３０】
本発明に従った実施形態の前述の記述及び図面は、本発明の原理の例示であるに過ぎない。例えば、特定のアライメント技法が上述されたが、当業者は、同等の結果を出すために異なるアライメントアルゴリズムを使用することができる。当業者はまた、同等の結果を出すために、飛行時間イメージングセンサに基づくもののような、他のタイプのＱ３Ｄ内視鏡をどのように使用するかを知っているであろう。従って、当業者は添付の請求項において定められる本発明の精神及び範囲から逸脱せずに実施形態に対する様々な修正を行い得ることが理解されるであろう。
【図１】
2017513662.tif 000026
【図２】
2017513662.tif 000027
【図３】
2017513662.tif 000028
【図４】
2017513662.tif 000029
【図５】
2017513662.tif 000030
【図６】
2017513662.tif 000031
【図７Ａ】
2017513662.tif 000032
【図７Ｂ】
2017513662.tif 000033
【図８】
2017513662.tif 000034
【図９】
2017513662.tif 000035
【図１０】
2017513662.tif 000036
【図１１】
2017513662.tif 000037
【図１２】
2017513662.tif 000038
【図１３】
2017513662.tif 000039
【図１４】
2017513662.tif 000040
【図１５】
2017513662.tif 000041
【図１６】
2017513662.tif 000042
【図１７】
2017513662.tif 000043
【図１８】
2017513662.tif 000044
【図１９】
2017513662.tif 000045
【図２０】
2017513662.tif 000046
【図２１】
2017513662.tif 000047
【図２２Ａ】
2017513662.tif 000048
【図２２Ｂ】
2017513662.tif 000049
【図２３】
2017513662.tif 000050
【図２４】
2017513662.tif 000051
【図２５】
2017513662.tif 000052
【図２６】
2017513662.tif 000053
【図２７Ａ】
2017513662.tif 000054
【図２７Ｂ】
2017513662.tif 000055
【図２８】
2017513662.tif 000056
【図２９】
2017513662.tif 000057
【図３０】
2017513662.tif 000058
【図３１】
2017513662.tif 000059
【図３２】
2017513662.tif 000060
【図３３Ａ】
2017513662.tif 000061
【図３３Ｂ】
2017513662.tif 000062
【図３３Ｃ】
2017513662.tif 000063
【国際調査報告】
2017513662.tif 000064
2017513662.tif 000065