(57)【要約】  臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせ方法が、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の２Ｄ腹腔鏡画像から導出されたランドマークの第２の座標セットとを使用して、３Ｄ表面表現において識別された３つのランドマークを２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含む。第３のランドマークは、第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含む。３Ｄ表現及び２Ｄ画像における第１、第２及び第３のランドマークの識別、第１及び第２の座標セットの導出、並びに導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。【選択図】      図１
2021529593.tif 000002
【特許請求の範囲】
【請求項１】
臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせ方法であって、
前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の２Ｄ腹腔鏡画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
前記３Ｄ表現及び前記２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
前記第１及び第２の座標セットの前記導出は自動的に行われ、
前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
ことを特徴とする方法。
【請求項２】
前記第１の座標セットは、
前記第１のランドマークのための第１の位置座標サブセットと、
前記第２のランドマークのための第２の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
を含み、前記第２の座標セットは、
前記第１のランドマークのための第４の位置座標サブセットと、
前記第２のランドマークのための第５の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
を含む、請求項１に記載の方法。
【請求項３】
前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
前記第１及び第２の座標セットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
請求項２に記載の方法。
【請求項４】
前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第１の位置と前記第２の位置との間を移動した後に前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラであり、
前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
請求項３に記載の方法。
【請求項５】
前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、後で前記第２の位置に移動する第１のカメラであり、
前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラは第２のカメラであり、
前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記第１のカメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の前記空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
請求項３に記載の方法。
【請求項６】
前記臓器の前記３Ｄ表面表現は、前記臓器の複数のＣＴスキャンから計算的に再構成される、
請求項１に記載の方法。
【請求項７】
前記再構成は、ドロネーの画像処理法を使用することを含む、
請求項６に記載の方法。
【請求項８】
前記３Ｄ表面表現の前記再構成は手術前に行われ、前記２Ｄ画像は、手術中に腹腔鏡カメラシステムを使用して取り込まれる、
請求項６に記載の方法。
【請求項９】
前記第１及び第２の座標セットを使用して前記３つのランドマークを位置合わせするステップは、
前記２Ｄ画像のうちの１つを取り込むカメラの位置及び配向の推定値を使用して、３Ｄ空間からの前記第１の座標セットを前記２Ｄ画像の前記画像平面に投影するステップと、
前記第３のランドマークを特徴付ける前記第３の位置座標サブセットの前記投影と前記第６の位置座標サブセットとの間の前記誤差を最小化しながら、前記第１及び第２の位置座標サブセットの前記投影を所定の限界値内で前記第４及び第５の位置座標サブセットにそれぞれ位置合わせするステップと、
を含む、請求項１に記載の方法。
【請求項１０】
前記臓器は肝臓である、
請求項１に記載の方法。
【請求項１１】
１又は２以上のプロセッサと、
１又は２以上の非一時的媒体に符号化されて前記１又は２以上のプロセッサによって実行され、実行時に臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせするロジックと、
を備えた装置であって、前記自動位置合わせは、
前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の第１及び第２の２Ｄ腹腔鏡画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
前記３Ｄ及び２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
前記第１及び第２の座標セットの前記導出は自動的に行われ、
前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
ことを特徴とする装置。
【請求項１２】
前記第１の座標セットは、
前記第１のランドマークのための第１の位置座標サブセットと、
前記第２のランドマークのための第２の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
を含み、前記第２の座標セットは、
前記第１のランドマークのための第４の位置座標サブセットと、
前記第２のランドマークのための第５の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
を含む、請求項１１に記載の装置。
【請求項１３】
前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
前記第１及び第２の座標セットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
請求項１２に記載の装置。
【請求項１４】
前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像も取り込み、
前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するために必要なデータが決定される、
請求項１３に記載の装置。
【請求項１５】
前記第１の２Ｄ画像を取り込む前記カメラは第１のカメラであり、
第２のカメラが、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込み、
前記第２及び第３の２Ｄ画像の立体ペアの分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要なデータを提供する、
請求項１３に記載の装置。
【請求項１６】
１又は２以上のプロセッサと、
１又は２以上の非一時的コンピュータ可読媒体に符号化されて前記１又は２以上のプロセッサによって実行され、実行時に臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせするソフトウェアと、
を備えた装置であって、前記方法は、
前記臓器の３Ｄ表面表現から導出された、前記臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、前記臓器の第１及び第２の２Ｄ画像から導出された、前記臓器の前記識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、前記３Ｄ表面表現において識別された前記３つのランドマークを前記２Ｄ画像において識別された前記３つのランドマークと位置合わせするステップを含み、
前記第３のランドマークは、前記第１及び第２のランドマークを特徴付ける２つの点間の経路を定める複数の点を含み、
前記３Ｄ及び２Ｄ画像における前記第１、第２及び第３のランドマークの前記識別は自動的に行われ、
前記第１及び第２の座標セットの前記導出は自動的に行われ、
前記導出された第１及び第２の座標セットに基づく前記位置合わせは自動的に行われる、
ことを特徴とする装置。
【請求項１７】
前記第１の座標セットは、
前記第１のランドマークのための第１の位置座標サブセットと、
前記第２のランドマークのための第２の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第３の位置座標サブセットと、
を含み、前記第２の座標セットは、
前記第１のランドマークのための第４の位置座標サブセットと、
前記第２のランドマークのための第５の位置座標サブセットと、
前記第３のランドマークを特徴付ける複数の位置座標を含む第６の位置座標サブセットと、
を含む、請求項１６に記載の装置。
【請求項１８】
前記２Ｄ画像は、第１、第２及び第３の２Ｄ画像を含み、
前記第１、第２、第３、第４、第５及び第６の位置座標サブセットは、前記第１の２Ｄ画像を取り込むカメラの第１の位置及び第１の配向に対応する第１の基準系で表され、
前記第５の位置座標サブセットは、前記第２及び第３の２Ｄ画像を取り込むカメラの第２の位置及び第２の配向に対応する第２の基準系で表される前記第２のランドマークの第７の位置座標サブセットを変換することによって導出される、
請求項１７に記載の装置。
【請求項１９】
前記第１の位置において前記第１の２Ｄ画像を取り込む前記カメラは、前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込むとともに、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像も取り込み、
前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記カメラの前記動きを３Ｄで追跡することによって、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するために必要なデータが決定される、
請求項１８に記載の装置。
【請求項２０】
前記第１の位置において前記第１の２Ｄ画像を取り込んで、その後に前記第２の位置に移動する前記カメラは第１のカメラであり、
前記第２の位置の近傍の第２のポジションにおいて前記第２の２Ｄ画像を取り込み、前記第２の位置の近傍の前記第２のポジションとは異なる第３のポジションにおいて前記第３の２Ｄ画像を取り込む前記カメラは第２のカメラであり、
前記第１の位置及び第１の配向と前記第２の位置及び第２の配向との間における前記第１のカメラの前記動きを３Ｄで追跡することによって提供されるトラッキングデータの分析と組み合わせた前記第２及び第３の２Ｄ画像の分析は、前記第１の位置及び前記第１の配向と前記第２の位置及び前記第２の配向との間の空間的３Ｄ関係の決定を可能にして、前記第７のサブセットの前記第５のサブセットへの前記変換を達成するのに必要な変換データを提供する、
請求項１８に記載の装置。
【発明の詳細な説明】
【背景技術】
【０００１】
腹腔鏡手術は、外科手術中にビデオモニタにリアルタイム画像を送信する光学イメージングシステムである腹腔鏡の使用を伴う低侵襲タイプの腹部手術である。正しい手術の実行に備えて手術前にＣＴ撮像を行い、この結果を、患者が実際に手術台に載っている時に取得される２−Ｄ腹腔鏡ビデオ画像に関連付けて使用する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【０００２】
現在の実務では、手術中にリアルタイムで取得される２−Ｄ画像と、典型的には関心臓器の３−Ｄ表現を作成するように再構成される事前に生成されたＣＴ画像とを位置合わせするタスクが、手動又は半自動のいずれかで行われる。どちらの場合にも、このことは、手術中に困難で厄介な画像処理タスクを手術自体に加えて個人又はチームのスキルに依拠して行う必要があることを意味する。手術中に頻繁に発生する臓器変形が生じた場合、この画像位置合わせの問題はさらに困難になる。
【０００３】
従って、手術前に取得されるＣＴ  ３−Ｄ画像と手術中に取得される２−Ｄビデオ画像との位置合わせを行う完全に自動的な方法を提供することが必要とされている。肝臓手術は、このような自動画像位置合わせ法が大きな価値を発揮する１つの用途にすぎない。
【課題を解決するための手段】
【０００４】
本発明の実施形態は、一般に臓器の３Ｄ及び２Ｄ画像におけるランドマークの自動位置合わせを行う方法及びシステムに関する。１つの実施形態では、方法が、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の２Ｄ腹腔鏡画像から導出された、臓器の識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、３Ｄ表面形状において識別されたランドマークを２Ｄ画像において識別されたランドマークと位置合わせするステップを含む。３Ｄ及び２Ｄ画像における第１、第２及び第３のランドマークの識別は自動的に行われ、第１及び第２の座標セットの導出は自動的に行われ、導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。
【０００５】
別の実施形態では、装置が、１又は２以上のプロセッサと、１又は２以上の非一時的媒体に符号化されて１又は２以上のプロセッサによって実行されるロジックとを含む。このロジックは、実行時に、臓器の３Ｄ及び２Ｄ画像におけるランドマークを自動的に位置合わせし、この自動位置合わせは、臓器の３Ｄ表面表現から導出された、臓器の識別された第１、第２及び第３のランドマークの第１の座標セットと、臓器の第１及び第２の２Ｄ腹腔鏡画像から導出された、臓器の識別された第１、第２及び第３のランドマークの第２の座標セットとを使用して、３Ｄ表面画像において識別されたランドマークを２Ｄ画像において識別されたランドマークと位置合わせするステップを含む。３Ｄ及び２Ｄ画像における第１、第２及び第３のランドマークの識別は自動的に行われ、第１及び第２の座標セットの導出は自動的に行われ、導出された第１及び第２の座標セットに基づく位置合わせは自動的に行われる。
【０００６】
本明細書の残りの部分及び添付図面を参照することにより、本明細書に開示する特定の実施形態の性質及び利点のさらなる理解を実現することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の１つの実施形態による位置合わせ法の概略図である。
【図２】本発明の１つの実施形態による位置合わせ法のフローチャートである。
【図３】本発明の１つの実施形態において使用される１つのタイプの３Ｄ再構成を概略的に示す図である。
【図４】本発明の１つの実施形態において使用される、基準系間におけるランドマーク座標の転換方法を概略的に示す図である。
【図５】本発明の１つの実施形態における３Ｄ表現とリアルタイム２Ｄ画像との間のランドマーク座標位置合わせ法を概略的に示す図である。
【発明を実施するための形態】
【０００８】
本明細書で説明する実施形態は、腹腔鏡手術中の外科医又は外科チームに、現在の２Ｄ腹腔鏡視点に実用的な高精度まで位置合わせされた関心臓器又は関心領域の３Ｄランドマークの２Ｄ表現を提供するものである。この臓器又は領域の３−Ｄ表現は、検討のために手術前に取得されて利用可能になったものであり、この臓器又は領域の２−Ｄ腹腔鏡画像は、手術中にリアルタイムで取得されているものであると想定する。
【０００９】
本発明は、長時間及び専門的スキルを必要とする現在の位置合わせ法を凌ぐ利点をもたらす。画像位置合わせプロセスの様々な段階で人間オペレータからのかなりの入力を必要とするのではなく、自動的に動作するコンピュータベースの処理システムによって実施されるのに特に適した、これらの段階の新たな実行方法を開発した。さらに、この方法は、現在の実務が一般に行っているように、超音波イメージングシステム及びトラッキングツールなどのさらなる特殊な設備の使用に依存するものでもない。
【００１０】
以下の説明における「自動」という単語は、対応する処理がプロセスの開始後に人間の介在を必要とすることなくソフトウェアによって実行されることを意味すると解釈されたい。
【００１１】
図１に、本発明の１つの実施形態による位置合わせ法の概観を示す。手術に先立ち、関心臓器を示す一連のＣＴ画像１０１が生成され、３Ｄ表面再構成１０２が自動的に形成される。表面再構成上には少なくとも３つのランドマークが識別され、第１及び第２のランドマークＸ1及びＸ2は点であり、第３のランドマークは、例えばＸ1及びＸ2間の隆線（ｒｉｄｇｅ）又は皺（ｆｕｒｒｏｗ）とすることができる容易に識別可能な経路Ｃに沿って位置する複数の点である。３つのランドマークの第１の座標セットが自動的に導出され、これを注釈付きの３Ｄ表面再構成１０３に示すことができる。別個に考慮される各ランドマークの座標は、対応する座標「サブセット」と呼ぶことができる。
【００１２】
手術中には、腹腔鏡カメラを含むとともに任意に１又は２以上のトラッキングセンサを含むこともできるイメージングシステム１０４を使用して、関心臓器と一般に体内の周囲物質とを示す一連の少なくとも３つの２Ｄ画像を生成する。画像内の関心臓器の区別を補助するために、臓器位置確認（ｏｒｇａｎ  ｌｏｃａｌｉｚａｔｉｏｎ）プロセス１０５を実行することができる。位置確認を行うための周知の方法は複数存在するので、本開示ではこの位置確認プロセスについてはさらに説明しない。各２Ｄ画像では、同じ３つのランドマークＸ1、Ｘ2及びＣのうちの１つ又は２つ以上が自動的に識別される。これらの３つの２Ｄ画像から、３つのランドマークの第２の座標セットが導出される。ここでも、別個に考慮される各ランドマークの座標は、対応する座標「サブセット」と呼ぶことができる。
【００１３】
その後、３Ｄ及び２Ｄ画像から導出された座標を「一致させる」意味で、第１及び第２の座標セットに対して自動的に位置合わせ計算（ｒｅｇｉｓｔｒａｔｉｏｎ  ｃａｌｃｕｌａｔｉｏｎｓ）を実行する。最終結果は、（姿勢及び配向面での）腹腔鏡カメラの主要視点（ｐｒｉｍａｒｙ  ｖｉｅｗｐｏｉｎｔ）から見た、この視点に位置合わせされた３Ｄランドマークを示す臓器の２Ｄ表現１０７である。
【００１４】
図２は、本発明の１つの実施形態による、比較的粗いステップ２１０、２２０及び２３０を示す位置合わせ法２００の高水準フローチャートである。ステップ２１０において、手術前に、３Ｄ表面表現において第１、第２及び第３のランドマークを自動的に識別して第１の座標セットを自動的に決定する。ステップ２２０において、一連の少なくとも３つの２Ｄ画像において第１、第２及び第３のランドマークを自動的に識別して第２の座標セットを自動的に決定する。図４にステップ２２０のさらなる詳細を示しており、これについては以下で説明する。ステップ２３０において、第１及び第２の座標セットを使用して、３つの２Ｄ画像のうちの主要画像が取り込まれた姿勢及び配向に対応するように３Ｄ表面表現上で自動的にランドマークを位置合わせする。図５にステップ２３０のさらなる詳細を示しており、これについては以下で説明する。
【００１５】
ステップ２１０への入力として使用される３Ｄ表面表現は、複数のＣＴ画像を使用して周知の画像処理法を用いて生成される。図３に、本発明の１つの実施形態において使用される１つのタイプの３Ｄ再構成を概略的に示す。この３Ｄ再構成は、図２の表現１０２に対応する３０３Ａ又は３０３Ｂなどの３Ｄ表面表現を出力として生じるドロネー（Ｄｅｌａｕｎａｙ）法である。
【００１６】
当業で周知のコンピュータビジョン及びグラフィック法により、３Ｄ表面表現１０２上で（少なくとも２つの点、及びこれらの間の１つの経路の）ランドマークが自動的に識別される。その後、ランドマークの第１の座標セットを自動的に生成することができる。
【００１７】
手術中には、第１の位置に主要姿勢及び配向で配置された腹腔鏡カメラが、図４に示す実施形態に見られるＸ1などの点ランドマークのうちの少なくとも１つを示す関心臓器又は関心領域の主要２Ｄ画像を取り込む。この実施形態では、第１のカメラ４０２が主要２Ｄ画像４０３を取り込み、画像内の左下隅付近に（白い円によって示す）ランドマークＸ1がはっきりと見える。この図の中心の概略表現４０４に示すように、カメラ４０２は、関心臓器に対して第１の位置に配置される。なお、画像４０３では、右上隅付近のランドマークＸ2は介在する臓器組織などによって隠れて通常は部分的に見えなくなっている。画像４０３では、ランドマークＣの一部もこのように隠れている。
【００１８】
ランドマークＸ1は、肝臓境界における高曲率の特徴を識別するコンピュータビジョン及びコンピュータグラフィック法を使用して識別され、その２Ｄ座標は、軸Ｘ、Ｙ、Ｚによって示すカメラ４０２の基準系内に自動的に生成される。
【００１９】
次に、第１のカメラ４０２を、（白い破線Ｐ１によって示す）経路に沿って実際に可能な限り第２のカメラ４０６の近くの第２の位置に動かし、光学的又は電磁的ツールトラッカー（ｔｏｏｌ  ｔｒａｃｋｅｒ）などの当業で周知のセンシング技術を使用して、２つの位置間における第１のカメラ４０２の動きを３Ｄで追跡する。
【００２０】
図示の実施形態ではステレオカメラを含む第２のカメラ４０６は、第２の基準系であるＸstereo、Ｙstereo、Ｚstereo内で動作して、図の右上の（画像を重ね合わせることによって形成される）合成画像に４０８及び４１０として示す２つの２Ｄ画像を取り込む。これらの画像４０８、４１０の各々では、第２のランドマークＸ2は見えるが、第１のランドマークＸ1は部分的に隠れていることもある。ランドマークＸ2は、Ｘ1を識別するために使用した方法と同一又は同様の方法を使用して識別され、そのＸstereo、Ｙstereo、Ｚstereo基準系における座標は自動的に生成される。
【００２１】
図示の実施形態では、画像４０８、４１０がステレオカメラによって、従って横方向にわずかに変位したポジションから撮影されるので、各画像の平面内だけでなくカメラからの深度に関してもランドマークＸ2の位置情報を決定することができる。この情報の分析及びカメラ４０２に関する追跡データの分析により、Ｘstereo、Ｙstereo、Ｚstereo基準系から第１の２Ｄ画像を撮影した時のカメラ４０２のＸ、Ｙ、Ｚ基準系へのＸ2の座標の変換を可能にする、典型的には変換行列の形のデータがもたらされる。破線Ｔ１は、第２のランドマークの座標の変換を示す。その後、Ｘ、Ｙ、Ｚ基準系におけるカメラ４０２の画像平面上に３Ｄ座標情報を投影することによってＸ2の２Ｄ座標を取得する。
【００２２】
上述したように、図４には、ランドマーク座標を１つの基準系から別の基準系に転換又は変換する方法を示す本発明の１つの実施形態を概略的に示しており、この場合、第１のランドマークを示す第１の画像を第１のカメラが第１の位置において取り込んだ後に第２の位置に移動し、そこでそれぞれが第２のランドマークを示す一対の立体画像を第２のステレオカメラが取り込む。
【００２３】
別の実施形態では、第２のカメラをそれ自体ステレオカメラではなく標準的なカメラとし、このカメラを第２及び第３の画像の取り込み間に第２の位置の近傍でわずかに移動させて各画像がわずかに異なる第２のランドマークのビューを示すようにし、これによってやはり深度データの生成を可能にすることもできる。
【００２４】
本発明のさらに別の実施形態では、第２のカメラが、第２の位置の近傍で一対の画像だけでなく３又は４以上の画像を撮影する。これらの３又は４以上の画像の各々を第２の位置の近傍のわずかに異なるポジションから取り込めば、これらの画像の分析により、場合によっては一対の画像のみを撮影した場合に提供されるよりも高精度でやはりランドマーク座標を３Ｄで生成することができる。
【００２５】
他の実施形態では、第２のカメラの代わりに第１のカメラを使用して、第１の位置における第１の主要２Ｄ画像だけでなく、第２の位置の近傍で第２及び第３の（及び任意にさらに多くの）２Ｄ画像も取り込む。
【００２６】
なお、本開示全体を通じて使用する「〜の近傍に」という用語は、対象の１又は複数のカメラのポジションが十分に近づくことにより、これらのポジションから取り込まれた画像が、当業で周知の三角測量法を適用してこれらの画像内に見える特徴の深度に関する情報を取得できるように重なり合うことを意味するものであると理解されたい。
【００２７】
図５に、本発明の１つの実施形態における、３Ｄ表現とリアルタイム２Ｄ画像との間でランドマーク座標を位置合わせする方法を概略的に示す。後述するような最適化プロセスから導出される、カメラ取り込み（ｃａｍｅｒａ  ｃａｐｔｕｒｉｎｇ）５０４（上記で使用した用語では第１の２Ｄ画像）のポジション及び配向の推定値を使用して、３Ｄ表現５０２から事前に確立されているランドマークＸ１及びＸ２のポジションをリアルタイム腹腔鏡２Ｄ画像５０４の平面上に投影する。通常は、カメラ射影行列（ｃａｍｅｒａ  ｐｒｏｊｅｃｔｉｏｎ  ｍａｔｒｉｘ）が生成され、この投影を実行する際に使用される。画像５０４には、画像５０４から直接決定されるＸ１のポジションと、上述したように第２及び第３の２Ｄ画像から確立された座標の変換によって決定されるＸ２のポジションとを示す（白い環で示す）マーカーが重ね合わされる。
【００２８】
画像５０４の右下の説明図には、ランドマークＸ１及びＸ２の投影されたポジションを示す円形ゾーンＳ１及びＳ２と、第３のランドマークの投影Ｐ（ＬC）と、最初の２つのランドマーク間の３Ｄ経路とを示す。２Ｄ腹腔鏡画像から導出された、第３のランドマークを表す破線ｌ（２Ｄ）も示す。手術前の３Ｄ表現から投影される経路とリアルタイム２Ｄ画像から決定される経路との間の誤差は、周知の数学的手法を使用して、３つの全てのランドマークの最適な位置合わせが得られるように最小化される。
【００２９】
本明細書で説明した実施形態は、３Ｄ表現と２Ｄ画像との間のランドマークの位置合わせを必要とする用途に様々な利益をもたらす。とりわけ、実施形態は、手術前の３Ｄ再構成において識別されたランドマークを手術中に取り込まれた２Ｄ腹腔鏡画像に見られるようなランドマークに自動的に位置合わせする高速で効率的な方法に関する。実施形態は、手術前及び手術中に外科チームが見る画像内のランドマークの正確な位置合わせを達成するために、比較的単純なカメラポジション追跡技術、及び周知の数学的変換を用いた画像処理しか必要としない。従って、画像方向の解釈又はさらなるイメージング及びトラッキング設備の操作に関連する不必要な妨げ又は複雑さを伴わずに外科手術中の外科チームの活動がサポートされる。
【００３０】
特定の実施形態に関して説明を行ったが、これらの特定の実施形態は例示にすぎず、限定的なものではない。例えば、手術前に行う３Ｄ再構成には、ドロネー法以外の方法を使用することもできる。３Ｄ腹腔鏡検情報は、モーション又はビジュアルオドメトリによって得られる構造から導出することもできる。いくつかの実施形態では、さらなる点又は線ランドマークを使用することもできる。
【００３１】
特定の実施形態のルーチンの実行には、Ｃ、Ｃ＋＋、Ｊａｖａ、アセンブリ言語などを含むあらゆる好適なプログラム言語を使用することができる。手続き型又はオブジェクト指向型などの異なるプログラミング法を使用することもできる。これらのルーチンは、単一の処理装置又は複数のプロセッサ上で実行することができる。ステップ、動作又は計算については特定の順序で示しているが、異なる特定の実施形態ではこの順序を変更することもできる。いくつかの特定の実施形態では、本明細書に逐次的なものとして示す複数のステップを同時に実行することもできる。
【００３２】
特定の実施形態は、命令実行システム、装置、システム又はデバイスが使用する、或いはこれらに関連するコンピュータ可読記憶媒体に実装することができる。特定の実施形態は、ソフトウェア、ハードウェア又はこれらの組み合わせにおける制御ロジックの形で実装することができる。制御ロジックは、１又は２以上のプロセッサによって実行された時に、特定の実施形態において説明した内容を実行することができる。
【００３３】
特定の実施形態は、特定用途向け集積回路、プログラマブルロジックデバイス、フィールドプログラマブルゲートアレイ、光学、化学、生物学、量子又はナノエンジニアリングシステム、コンポーネント及び機構を使用してプログラムされた汎用デジタルコンピュータを使用することによって実装することができる。一般に、特定の実施形態の機能は、当業で周知のいずれかの手段によって実現することができる。分散システム、ネットワークシステム、コンポーネント及び／又は回路を使用することもできる。データの通信又は転送は、有線、無線、又は他のいずれかの手段によるものとすることができる。
【００３４】
また、特定の用途に従って有用である時には、図面／図に示す要素のうちの１つ又は２つ以上をより分離又は統合された形で実装し、或いはいくつかの事例では除去又は動作不能とすることもできると理解されるであろう。上述した方法のいずれかをコンピュータが実行できるようにする、機械可読媒体に記憶できるプログラム又はコードを実装することも本発明の趣旨及び範囲に含まれる。
【００３５】
「プロセッサ」は、データ、信号又はその他の情報を処理するあらゆる好適なハードウェア及び／又はソフトウェアシステム、機構又はコンポーネントを含む。プロセッサは、汎用中央処理装置、複数の処理装置、機能を実現するための専用回路又はその他のシステムを有するシステムを含むことができる。処理は、地理的位置に制限される必要も、又は時間的制限を有する必要もない。例えば、プロセッサは、その機能を「リアルタイム」、「オフライン」、「バッチモード」などで実行することができる。処理の一部は、異なる（又は同じ）処理システムが異なる時点に異なる場所で実行することもできる。処理システムの例は、サーバ、クライアント、エンドユーザ装置、ルータ、スイッチ、ネットワークストレージなどを含むことができる。コンピュータは、メモリと通信するあらゆるプロセッサとすることができる。メモリは、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、磁気又は光学ディスク、或いはプロセッサが実行する命令を記憶するのに適した他の非一時的媒体などのあらゆる好適なプロセッサ可読記憶媒体とすることができる。
【００３６】
本明細書及び以下の特許請求の範囲全体を通じて使用する「１つの（英文不定冠詞）」及び「その（英文定冠詞）」は、文脈において別途明確に示していない限り複数形の照応を含む。また、本明細書及び以下の特許請求の範囲全体を通じて使用する「〜内（ｉｎ）」の意味は、文脈において別途明確に示していない限り、「〜内（ｉｎ）」及び「〜上（ｏｎ）」の意味を含む。
【００３７】
以上、本明細書では特定の実施形態について説明したが、上述した開示では修正、様々な変更及び置換の自由が意図されており、いくつかの例では、記載した範囲及び趣旨から逸脱することなく、特定の実施形態のいくつかの特徴が対応する他の特徴の使用を伴わずに使用されると理解されたい。従って、特定の状況又は材料を基本的範囲及び趣旨に適合させるように多くの修正を行うことができる。
【符号の説明】
【００３８】
１０１  ＣＴ画像
１０２  ３Ｄ表面再構成
１０３  注釈付き３Ｄ表面再構成
１０４  イメージングシステム
１０５  臓器位置確認プロセス
１０７  臓器の２Ｄ表現
【図１】
2021529593.tif 000003
【図２】
2021529593.tif 000004
【図３】
2021529593.tif 000005
【図４】
2021529593.tif 000006
【図５】
2021529593.tif 000007
【国際調査報告】
2021529593.tif 000008
2021529593.tif 000009
2021529593.tif 000010