(57)【要約】  体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム及びコンピュータプログラムが提供される。当該方法は、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するステップと、推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するステップと、前記導出した射影行列を用いて、前記３Ｄ画像からの構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするステップと、ホモグラフィ行列を決定するステップと、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、を有する。
2015506188.tif 000002
【特許請求の範囲】
【請求項１】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法であって、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定するステップと、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するステップと、
前記導出した射影行列を用いて、前記３Ｄ画像からの構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするステップと、
ホモグラフィ行列を決定するステップと、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、
を有する方法。
【請求項２】
前記構造は動脈ツリーであり、前記複数のポイント対は前記動脈ツリーの分岐である、請求項１に記載の方法。
【請求項３】
前記構造は静脈ツリーであり、前記複数のポイント対は前記静脈ツリーの分岐である、請求項１に記載の方法。
【請求項４】
前記構造は気管支ツリーであり、前記複数のポイント対は前記気管支ツリーの分岐である、請求項１に記載の方法。
【請求項５】
複数のポイント対の対応は、前記２Ｄ内視鏡画像内のツリー構造内の分岐パターンを前記３Ｄ画像からの前記ツリー構造内の対応する分岐パターンと照合することにより決定される、請求項１に記載の方法。
【請求項６】
前記ホモグラフィ行列は、前記決定されたポイント対を用いて導出される、請求項１に記載の方法。
【請求項７】
ホモグラフィ行列は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について導出される、請求項１に記載の方法。
【請求項８】
前記内視鏡画像の第１のフレームから前記内視鏡画像の第２のフレームにポイントを変換するための対応行列を決定するステップと、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するステップと、
を更に有する請求項１に記載の方法。
【請求項９】
複数の対応行列が用いられる、請求項８に記載の方法。
【請求項１０】
体積モダリティから未較正内視鏡ビデオにレンダリングされる構造オーバレイの動き補償の方法であって、
内視鏡画像のフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換する対応行列を決定するステップと、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされたオーバレイ構造をワープ処理するステップと、
を有する方法。
【請求項１１】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするシステムであって、
プロセッサと、
前記プロセッサに動作可能に関連付けられるメモリと、
前記プロセッサに動作可能に関連付けられるディスプレイと、
前記メモリに符号化されたオーバレイプログラム命令であって、前記プロセッサにより実行され、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定し、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出し、
前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングし、
ホモグラフィ行列を決定し、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理する、
オーバレイプログラム命令と、
を有するシステム。
【請求項１２】
前記オーバレイプログラム命令は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について、ホモグラフィ行列を導出する、請求項１１に記載のシステム。
【請求項１３】
前記オーバレイプログラム命令は、前記プロセッサにより実行されると、さらに、
前記内視鏡画像の第１のフレームから前記内視鏡画像の第２のフレームにポイントを変換するための対応行列を決定し、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理する、
請求項１１に記載のシステム。
【請求項１４】
複数の対応行列が用いられる、請求項１３に記載のシステム。
【請求項１５】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムであって、前記コンピュータプログラムは、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するコンピュータ実行可能命令と、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するコンピュータ実行可能命令と、
前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするコンピュータ実行可能命令と、
ホモグラフィ行列を決定するコンピュータ実行可能命令と、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、
を含むコンピュータ実行可能プログラム命令を有するコンピュータプログラム。
【請求項１６】
ホモグラフィ行列は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について導出される、請求項１５に記載のコンピュータプログラム。
【請求項１７】
前記コンピュータ実行可能プログラム命令は、
前記内視鏡画像の第１のフレームから前記内視鏡画像の第２のフレームにポイントを変換するための対応行列を決定するコンピュータ実行可能命令と、
前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、
を更に有する、請求項１５に記載のコンピュータプログラム。
【請求項１８】
複数の対応行列が用いられる、請求項１７に記載のコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の参照］
本願は、仮出願番号第６１／３８２９８０号、「Robotic  Control  of  an  Endoscope  from  Blood  Vessel  Tree  Images」、２０１０年９月１５日出願、及び共に継続中の非仮国際出願ＰＣＴ／ＩＢ２０１１／０５３９９８、２０１１年９月１３日出願に関連する。これらの出願は、参照により本願明細書に組み込まれる。
【０００２】
本発明は、医用画像化の分野に関し、より詳細には、容積測定画像化モダリティからの３次元構造を未較正内視鏡のビデオにオーバレイし及び内視鏡のビデオの体積構造の動きを補償する方法、システム及びコンピュータプログラムに関する。
【背景技術】
【０００３】
最小限の非侵襲性冠動脈バイパス形成手術では、次の２つの画像化モダリティが通常用いられる。（１）冠動脈の形状に関する情報を抽出するための（コンピュ―タ断層撮影若しくはＣＴ、又は３Ｄ  Ｘ線血管造影のような）術前３Ｄ画像化、及び（２）リアルタイム内視鏡画像化、である。冠動脈は、それらを異なる組織が覆うため、通常、内視鏡ビデオでは完全に見えない。また、内視鏡ビデオは、通常、２次元で記録される。体積３Ｄ画像は、冠動脈の完全な視覚化を３次元で提供する。しかしながら、手術は、実際には、最小限の非侵襲性冠動脈バイパス形成手術を成功裏に実行するために、内視鏡ビデオで冠動脈の位置を正確に視覚化しなければならない。動脈が内視鏡ビデオで見えない場合に動脈の位置を決定するために、動脈は、内視鏡ビデオにオーバレイされ得る。
【０００４】
しかしながら、ＣＴスキャンからののよな術前３Ｄ画像データを内視鏡ビデオにオーバレイする既存の方法は、内視鏡の較正、追加位置特定システムによる追跡、又はそれら両者を必要とする。内視鏡の較正は、正しく行われない場合に誤りやすい複雑な処置であり、したがって臨床環境ではあまり実用的ではない。内視鏡の光学的特性は、利用と共に変化し得るので、１回の較正は長期間に渡って使用できない。さらに、光学マーカのような位置特定システムは、手術中に常に利用可能ではなく、処置のために有意なコスト及び時間を追加していまう。
【０００５】
さらに、心臓及び他の手術において計画される３次元画像化は、通常、（ゲート式ＣＴのように）時系列で実行されない。したがって、構造の３Ｄ形状は、心拍及び呼吸のような生理的過程による動きを考慮しない。例えば、心臓手術では、動脈ツリー形状は、心臓周期の１段階のみについて分かる。
【発明の概要】
【課題を解決するための手段】
【０００６】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム及びコンピュータプログラムが提供される。当該方法は、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するステップと、推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するステップと、前記導出した射影行列を用いて、前記３Ｄ画像からの構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするステップと、ホモグラフィ行列を決定するステップと、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、を有する。
【０００７】
一実施形態によると、前記構造は動脈ツリーであり、前記複数のポイント対は前記動脈ツリーの分岐である。
【０００８】
一実施形態によると、前記構造は静脈ツリーであり、前記複数のポイント対は前記静脈ツリーの分岐である。
【０００９】
一実施形態によると、前記構造は気管支ツリーであり、前記複数のポイント対は前記気管支ツリーの分岐である。
【００１０】
一実施形態によると、複数のポイント対の対応は、前記２Ｄ内視鏡画像内のツリー構造内の分岐パターンを前記３Ｄ画像からの前記ツリー構造内の対応する分岐パターンと照合することにより決定される。
【００１１】
一実施形態によると、ホモグラフィ行列は、前記の決定されたポイント対を用いて導出される。
【００１２】
一実施形態によると、ホモグラフィ行列は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について導出される。
【００１３】
一実施形態によると、動き補償は、前記オーバレイ構造に提供される。対応行列は、前記内視鏡画像のあるフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換することにより、導出される。次に、レンダリングされた構造の投影は、前記構造の動きを追跡するために、前記対応行列を用いてワープ処理される。
【００１４】
一実施形態によると、時系列に渡り算出された複数の対応行列は、前記オーバレイ構造をワープ処理するために用いられる。
【００１５】
本発明の別の態様によると、オーバレイされた構造の動きを補償するための方法が提供される。体積モダリティから未較正内視鏡ビデオにレンダリングされる構造オーバレイの動き補償の方法は、内視鏡画像のフレームから前記内視鏡画像のいかなる後続フレームにポイントを変換する対応行列を決定するステップと、前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされたオーバレイ構造をワープ処理するステップと、を有する。
【００１６】
本発明の別の態様によると、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするシステムが提供される。当該システムは、プロセッサと、前記プロセッサに動作可能に関連付けられるメモリと、前記プロセッサに動作可能に関連付けられるディスプレイと、前記メモリに符号化されたオーバレイプログラム命令であって、前記プロセッサにより実行され、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定し、推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出し、前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングし、ホモグラフィ行列を決定し、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理する、オーバレイプログラム命令と、を有する。
【００１７】
一実施形態によると、前記オーバレイプログラム命令は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について、ホモグラフィ行列を導出する。
【００１８】
一実施形態によると、前記オーバレイプログラム命令は、前記プロセッサにより実行されると、前記オーバレイされた構造の動き補償も提供する。動き補償を提供するために、前記オーバレイプログラム命令は、前記内視鏡画像の第１のフレームからのポイントを前記内視鏡画像の第２のフレームに変換するための対応行列を決定し、前記オーバレイされた構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理する。
【００１９】
本発明の別の態様によると、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムが提供される。当該コンピュータプログラムは、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムであって、前記コンピュータプログラムは、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するコンピュータ実行可能命令と、推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するコンピュータ実行可能命令と、前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするコンピュータ実行可能命令と、ホモグラフィ行列を決定するコンピュータ実行可能命令と、前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、を含むコンピュータ実行可能プログラム命令を有する。
【００２０】
一実施形態によると、前記コンピュータ実行可能プログラム命令は、前記内視鏡画像の第１のフレームから前記内視鏡画像の第２のフレームにポイントを変換するための対応行列を決定するコンピュータ実行可能命令と、前記構造の動きを追跡するために、前記対応行列を用いて、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、を更に有する。
【図面の簡単な説明】
【００２１】
本発明の特徴及び利点は、好適な実施形態の以下の詳細な説明を添付の図面と関連して読むことにより一層明確に理解される。図面は以下のものを含む。
【図１】本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイするシステムのブロック図である。
【図２】本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイする方法のフロー図である。
【図３】可視動脈構造を示す心臓治療中の内視鏡画像である。
【図４】本発明の一実施形態による３Ｄ画像及び２Ｄ画像の対応点を照合する方法のフロー図である。
【図５】本発明の一実施形態による、ホモグラフィ行列でワープする前に動脈ツリー構造をオーバレイされた心臓治療中の内視鏡画像である。
【図６】本発明の一実施形態による、２Ｄ内視鏡画像上のオーバレイの動き補償の方法のフロー図である。
【図７】本発明の一実施形態による、追跡する特徴の選択を示す、心臓治療中の内視鏡画像である。
【図８】選択された特徴の動きを示す、図５の後続フレームにおける内視鏡画像である。
【発明を実施するための形態】
【００２２】
本発明は、体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法、システム、及びコンピュータプログラムを提供する。本発明の一実施形態によると、複数のポイント対の対応は、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある構造との間で決定される。３Ｄ画像から３Ｄ画像へ変換するための射影行列は、推定カメラパラメータ及び対応するポイント対を用いて得られる。内視鏡は較正されない。特に、これは、焦点距離及び光学画像の中心のようなカメラパラメータが分からないことを意味する。したがって、推定カメラパラメータは、正確なパラメータを知らずに推定される。構造の２Ｄ投影は、得られた射影行列を用いて、３Ｄ画像から２Ｄ内視鏡画像へとレンダリングされる。ホモグラフィ行列は、内視鏡画像及び構造の２Ｄ投影について決定され、レンダリングされた構造投影は、ホモグラフィ行列を用いてワープ処理される。
【００２３】
図１は、本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイするシステムのブロック図である。システムは、内視鏡１００及び処理システム２００を有する。内視鏡１００は、最小限の非侵襲性外科手術中に画像を提供するのに適するいかなる内視鏡であっても良い。さらに、内視鏡１００は、一緒に又は連続して用いられる１より多い内視鏡を有しても良い。
【００２４】
処理システム２００は、汎用コンピュータのような、医用画像を処理し及び表示するのに適するいかなるシステムであっても良い。処理システム２００は、システムバス２２０等を通じてメモリ２３０に動作可能に結合されるプロセッサ２１０を有する。理解されるべきことに、他の適切なアーキテクチャも、本発明の範囲内で可能である。プロセッサ２１０は、１又は複数のマイクロプロセッサのようないかなる適切なプロセッサであっても良い。メモリ２３０は、ＲＡＭ、ＲＯＭ、内部ハードドライブ、ディスクドライブ、ＵＳＢフラッシュドライブ、又はプログラムコードを格納するのに適するいかなる他のメモリ装置も含むがこれらに限定されないいかなる適切なメモリであっても良い。メモリ２３０は、内視鏡ビデオ画像をリアルタイムに処理し表示するために、プロセッサ２１０により実行される、符号化された内視鏡ビデオプログラム命令２３２を有する。メモリは、内視鏡プログラム命令の一部として又は内視鏡プログラム命令により呼び出し可能に、体積モダリティからの構造を内視鏡からのビデオ画像にオーバレイする符号化されたオーバレイプログラム命令２３４も有する。メモリ２３０は、動脈ツリー構造の形状表現を抽出するためにオーバレイプログラム命令２３４により動作可能な符号化された血管ツリー抽出部２３６を含む。
【００２５】
内視鏡１００からのビデオ画像は、外科手術中に外科医による閲覧のためにディスプレイ２４０に提示される。
【００２６】
動脈ツリーのような解剖学的構造の構造データ３０１は、データ記憶装置３００から読み出される。構造データ３０１は、抽出された構造の形状表現の形式であっても良い。実際には、画像を生成し動脈ツリーのような構造の表現を抽出するために、フィリップスにより販売されるBrilliance  iCTスキャナが用いられても良い。
【００２７】
プロセッサ２１０により実行されるプログラム命令２３４は、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある構造との間の複数のポイント対の対応を決定し、推定カメラパラメータ及び対応するポイント対を用いて３Ｄ画像から２Ｄ画像への変換のための射影行列を導出し、導出した射影行列を用いて、３Ｄ画像からの構造の２Ｄ投影を２Ｄ内視鏡画像上にレンダリングし、ホモグラフィ行列を決定し、ホモグラフィ行列を用いてレンダリングされた構造投影をワープ処理する。
【００２８】
図２は、本発明の一実施形態による未較正内視鏡ビデオに体積モダリティからの構造をオーバレイする方法のフロー図である。オーバレイプログラム命令２３４は、３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある構造との間で複数のポイント対の対応を決定する（ステップ３１０）。以下の記載は、冠動脈構造にある対応するポイント対の検出を説明する。しかしながら、構造は、いかなる動脈ツリー、静脈ツリー、気管支ツリー、又は分岐のような区別可能な構造のパターンを有するいかなる他の解剖学的構造であっても良い。
【００２９】
図３に示すように、実際には、動脈構造の幾つかの部分は内視鏡ビデオ画像で見えるが、一方、動脈構造の他の部分は脂肪組織層により隠される。図４に示すように、オーバレイプログラム命令２３４は、冠動脈の可視部分３７２の閾検出のような知られている画像処理動作により可視冠動脈の自動検出を実施しても良い。代替で、外科医は、ビデオディスプレイ２４０と相互作用するマウスのような入力装置を用いて、動脈構造を手動で入力しても良い。
【００３０】
血管ツリー抽出部２３６は、従来知られており、冠動脈構造の可視部分３７２の形状表現（サブグラフ）３９２を抽出するために、オーバレイプログラム命令２３４により動作される（ステップ３１２）。形状表現は、動脈構造の各分岐を表すノードと、ノード間の分岐接続とを有する。
【００３１】
オーバレイプログラム命令２３４は、術前スキャン中に３Ｄ画像化システムにより完全な冠動脈構造３７０から抽出された完全な冠動脈ツリーの形状表現（メイングラフ）３９１も受信する（ステップ３１１）。３Ｄスキャンからの完全な冠動脈ツリーの表現のように、内視鏡画像内の冠動脈構造の可視部分は、同じ患者に由来するので、抽出した３Ｄツリー表現のサブグラフである。
【００３２】
オーバレイプログラム命令２３４は、最大共通サブグラフ法、McGregor共通サブグラフ法、等のようないかなる適切なグラフ照合方法を用いて、サブグラフ３９２をメイングラフ３９１と照合する（ステップ３１３）。例えば、サブグラフ３９２のノードは、メイングラフ３９１からのノードの部分集合と照合される。次に、見えない周囲の動脈ツリーは、３Ｄ画像化から分かる。
【００３３】
オーバレイプログラム命令２３４は、推定したカメラパラメータ及び対応するポイント対を用いて、３Ｄ構造から２Ｄ画像への変換のための射影行列を導出する（ステップ３２０）。３Ｄ画像からの動脈の形状を２Ｄ内視鏡画像に投影するための射影行列を解くために、一致したノード（又は分岐）の３Ｄ座標と２Ｄ座標は、内視鏡の焦点距離及び光学中心の推定値と一緒に式に入力される。３×４射影行列Ｐの計算は、リセクショニングとして従来知られている。Ｎ個の３Ｄ構造点Ｘｉ＝［Ｘｉ，Ｙｉ，Ｚｉ］ＴとＮ個の２Ｄ画像点ｘｉ＝［ｘｉ，ｙｉ，ｚｉ］Ｔの対にされた対応について、射影行列Ｐ＝［Ｐ１ＴＰ２ＴＰ３Ｔ］を計算するために次式を用いることができる。
【００３４】
【数１】
2015506188.tif 000003
Ｎ個の点対応から、各対応について式を積み重ねることにより、２×１２行列Ａを得る。射影行列Ｐは、式Ａｐ＝０の集合を解くことにより計算される。ここで、ｐは行列Ｐのエントリを含むベクトルである。式の数値解法は、直接一次変換を用いてできる。射影行列は、内視鏡位置及び方位を定める、３つの平行移動次元及び３つの回転角を有する。
【００３５】
関心のある全ての特徴が見えることを保証するために、推定焦点距離は、使用されるいかなる内視鏡のいかなる可能な焦点距離よりも大きくなければならない。
【００３６】
射影行列が得られた後、オーバレイプログラム命令２３４は、得られた射影行列を用いて、２Ｄ内視鏡画像上に３Ｄ画像からの構造の２Ｄ投影をレンダリングする（ステップ３３０）。３Ｄ構造の各ボクセルの座標は、射影行列で乗算され、積が２Ｄ内視鏡画像上にオーバレイされる。内視鏡の焦点距離及び光学中心の推定値により、投影された構造は特別に正確ではない。投影された特徴は、推定焦点距離のために正しい尺度ではなく、推定光学中心のために正確に位置を特定されない。
【００３７】
次に、オーバレイプログラム命令２３４は、２Ｄから２Ｄへの照合を実行する（ステップ３４０）。これは、ホモグラフィ行列を決定し、該ホモグラフィ行列を用いて、レンダリングされた構造投影をワープ処理することにより、達成できる。ホモグラフィ行列を決定するために、オーバレイプログラム命令２３４は、照合したポイント対を再び用いる。今回、２Ｄ投影上の照合したポイント又はノード及び内視鏡画像からの照合したポイント又はノードの座標は、３×３ホモグラフィ行列を繰り返し求めるために用いられる。
【００３８】
次に、２Ｄ投影の各ピクセルは、投影された構造を内視鏡画像の尺度及び位置にワープ処理するために、ホモグラフィ行列で乗算される。一実施形態によると、アルファチャネルは、基礎的構造を閉鎖することなくオーバレイを可能にするために、追加され得る。
【００３９】
一実施形態によると、ホモグラフィ行列は、内視鏡画像の１より多いサブセクションの各々について求められ、各サブセクションの各々内のオーバレイされた構造の部分は、対応するホモグラフィ行列を用いて別個にワープ処理される。これは、心臓周期、呼吸、外科手術中の肺の収縮、等に起因する動きのように、内視鏡画像内の特徴の位置決めが３Ｄ画像内の位置決めと異なるとき、より正確なオーバレイを提供する。
【００４０】
前述のオーバレイ処理は、構造のオーバレイが所望される度に繰り返すことができる。代替で、正確なカメラ行列は、計算した射影行列と計算したホモグラフィ行列を乗算することにより、計算できる。正確なカメラ行列が算出されると、オーバレイは、射影行列及びホモグラフィ行列をその都度再計算することなく、正確に実行できる。
【００４１】
心臓周期、呼吸、等による構造の動き、及び内視鏡の動きは、追跡され、構造のように補償されても良い。この補償は、射影行列及びホモグラフィ行列が決定され、構造が内視鏡画像にオーバレイされると、実行できる。
【００４２】
図６本発明の一実施形態による、２Ｄ内視鏡画像上のオーバレイの動き補償の方法のフロー図である。図７に示すように、オーバレイプログラム命令２３４は、追跡すべき内視鏡画像上の特徴１−１３の選択を受信する（ステップ６１０）。これらの特徴は、マウスのような入力装置により手動で選択できる。これらの特徴は、追跡すべき特徴をディスプレイに示すために外科医が用いることができる。代替で、オーバレイプログラム命令は、例えばSURF記述子のような追跡を容易にする数学的特性を有する特徴を選択する選択アルゴリズムを含むか又は呼び出しても良い。選択された特徴は、オーバレイされる構造（例えば、動脈構造の分岐）上にある特徴、動いている構造上にある特徴（例えば、心臓の上にある脂肪の端）、又はそれらの組合せであっても良い。
【００４３】
次に、選択された特１−１３は、図８に示すように、内視鏡ビデオの連続フレーム内で追跡される（ステップ６２０）。選択された特徴は、ピラミッド型実施を有するLucas-Kanade追跡アルゴリズムのような従来知られている技術を用いて追跡されても良い。追跡ステップの結果は、先行フレーム内の特徴セット、現行フレーム内のこれらの特徴の対応する位置である。
【００４４】
任意で、オーバレイプログラム命令２３４は、誤って追跡された特徴を識別し拒否するためにフィルタを有し又は読み出しても良い（ステップ６３０）。いかなる特徴も正しく追跡されていない場合、誤って追跡された特徴を拒否することが望ましいが、必須ではない。追跡の失敗は、特徴が、その第２のフレーム内の新しい位置で、正しく検出されないことを意味する。追跡の失敗は、例えば、特徴の最新位置を決定するためにLucas-Kanadeアルゴリズムのような反復的方法が用いられる場合、収束の欠如により検出されても良い。正しく追跡されていないと決定された特徴の位置は、現行フレームではｎ無視され、残りの特徴位置のみが、オーバレイの位置及び形状を決定するために用いられる。
【００４５】
連続フレーム内で追跡された特徴の対応する位置を用いて、オーバレイプログラム命令２３４は、特徴を第１のフレームにある該特徴の位置からの第２のフレームにある該特徴の位置に変換できる３×３対応行列を計算する（ステップ６４０）。対応するポイント位置を用いた変換行列の計算のための数学的方法は、従来よく知られている。３つの点について、アフィン変換が計算される。３より多い点が用いられる場合、ホモグラフィ行列が計算される。
【００４６】
代替で、内視鏡画像の異なるサブエリアについて複数の対応行列が計算されても良い。複数の対応行列の使用は、より精細な予測及びより正確なオーバレイをもたらし得る。しかしながら、複数の対応行列の使用には計算的コストがかかる。
【００４７】
１又は複数の対応行列が計算されると、それらは、体積オーバレイを区分的に変形するために用いることができる（ステップ６５０）。変形されたオーバレイは、動きに起因する現行フレーム内の新しい位置を補償するために、オーバレイされる構造の位置を適合させる。複数の対応行列が用いられる場合、変形されたオーバレイは、鼓動している心臓による動脈構造の変形のような動きに起因する構造の形状変化を補償する。
【００４８】
本発明は、全体的にハードウェア実装、又はハードウェア及びソフトウェア要素の両者を含む実施形態の形式をとることができる。例示的な実施形態では、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むがこれらに限定されないソフトウェアで実装されても良い。
【００４９】
さらに、本発明は、コンピュータ又は任意の命令実行システム又は装置により又はそれと関連して使用するためのプログラムコードを提供するコンピュータ使用可能又はコンピュータ可読記憶媒体からアクセス可能なコンピュータプログラムの形式を取り得る。本開示の目的のために、コンピュータ使用可能又はコンピュータ可読記憶媒体は、命令実行システム、機器又は装置により若しくはそれらと関連して使用するためのプログラムを有し又は格納することが可能な任意の機器であっても良い。
【００５０】
上述の方法は、コンピュータのような機械により実行されると方法のステップを実行する機械実行可能プログラム命令を有する機械可読媒体を有するプログラムにより実現されても良い。このプログラムは、コンパクトディスク、フロッピー（登録商標）ディスク、ＵＳＢメモリ装置、等を含むがこれらに限定されない、いかなる種々の知られている機械可読媒体に格納されても良い。
【００５１】
媒体は、電子、磁気、光、電磁気、赤外線、又は半導体システム（又は装置若しくは素子）であっても良い。コンピュータ可読記憶媒体の例は、半導体若しくは固体メモリ、磁気テープ、取り外し可能コンピュータディスク、RAM（random  access  memory）、ROM（read-only  memory）、固定磁気ディスク、光ディスクを含む。光ディスクの現在の例は、コンパクトディスク、CD-ROM（compact  disk-read  only  memory）、ＣＤ−Ｒ／Ｗ（compact  disk-read/write）、ＤＶＤを含む。
【００５２】
上述の説明及び添付の図面は、本発明の説明を目的とし、限定を意味しない。本発明の範囲は、添付の特許請求の範囲の全範囲の等価な変形及び構成を包含する。
【図１】
2015506188.tif 000004
【図２】
2015506188.tif 000005
【図３】
2015506188.tif 000006
【図４】
2015506188.tif 000007
【図５】
2015506188.tif 000008
【図６】
2015506188.tif 000009
【図７】
2015506188.tif 000010
【図８】
2015506188.tif 000011
【手続補正書】
【提出日】平成26年8月21日(2014.8.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイする方法であって、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定するステップと、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するステップと、
前記導出した射影行列を用いて、前記３Ｄ画像からの構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするステップと、
ホモグラフィ行列を決定するステップと、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するステップと、
を有する方法。
【請求項２】
前記構造は動脈ツリーであり、前記複数のポイント対は前記動脈ツリーの分岐である、請求項１に記載の方法。
【請求項３】
前記構造は静脈ツリーであり、前記複数のポイント対は前記静脈ツリーの分岐である、請求項１に記載の方法。
【請求項４】
前記構造は気管支ツリーであり、前記複数のポイント対は前記気管支ツリーの分岐である、請求項１に記載の方法。
【請求項５】
複数のポイント対の対応は、前記２Ｄ内視鏡画像内のツリー構造内の分岐パターンを前記３Ｄ画像からの前記ツリー構造内の対応する分岐パターンと照合することにより決定される、請求項１に記載の方法。
【請求項６】
前記ホモグラフィ行列は、前記決定されたポイント対を用いて導出される、請求項１に記載の方法。
【請求項７】
ホモグラフィ行列は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について導出される、請求項１に記載の方法。
【請求項８】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするシステムであって、
プロセッサと、
前記プロセッサに動作可能に関連付けられるメモリと、
前記プロセッサに動作可能に関連付けられるディスプレイと、
前記メモリに符号化されたオーバレイプログラム命令であって、前記プロセッサにより実行され、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある該構造との間の複数のポイント対の対応を決定し、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出し、
前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングし、
ホモグラフィ行列を決定し、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理する、
オーバレイプログラム命令と、
を有するシステム。
【請求項９】
前記オーバレイプログラム命令は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について、ホモグラフィ行列を導出する、請求項８に記載のシステム。
【請求項１０】
体積モダリティからの構造を未較正内視鏡ビデオにオーバレイするコンピュータプログラムであって、前記コンピュータプログラムは、
３Ｄ術前画像にある構造と２Ｄ内視鏡ビデオ画像にある前記構造との間の複数のポイント対の対応を決定するコンピュータ実行可能命令と、
推定カメラパラメータ及び前記対応するポイント対を用いて前記３Ｄ画像から前記２Ｄ画像への変換のための射影行列を導出するコンピュータ実行可能命令と、
前記導出した射影行列を用いて、前記３Ｄ画像からの前記構造の２Ｄ投影を前記２Ｄ内視鏡画像上にレンダリングするコンピュータ実行可能命令と、
ホモグラフィ行列を決定するコンピュータ実行可能命令と、
前記ホモグラフィ行列を用い、前記レンダリングされた構造の投影をワープ処理するコンピュータ実行可能命令と、
を含むコンピュータ実行可能プログラム命令を有するコンピュータプログラム。
【請求項１１】
ホモグラフィ行列は、前記２Ｄ内視鏡画像の１より多い異なるサブセクションの各々について導出される、請求項１０に記載のコンピュータプログラム。
【請求項１２】
前記推定焦点距離は、前記内視鏡のいかなる可能な焦点距離よりも大きい、請求項１に記載の方法。
【請求項１３】
前記導出した射影行列及び前記決定したホモグラフィ行列を乗算することにより、正確なカメラ行列を計算するステップ、
を更に有する請求項１に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
さらに、心臓及び他の手術において計画される３次元画像化は、通常、（ゲート式ＣＴのように）時系列で実行されない。したがって、構造の３Ｄ形状は、心拍及び呼吸のような生理的過程による動きを考慮しない。例えば、心臓手術では、動脈ツリー形状は、心臓周期の１段階のみについて分かる。
Xianwang  Wang他、「Endoscopic  Video  Texture  Mapping  on  Pre-Built  ３−D  Anatomical  Objects  Without  Camera  Tracking」、IEEE  TRANSACTIONS  ON  MEDICAL  IMAGING、IEEE  SERVICE  CENTER、PISATAWAY、J、US、vol.29、no.6、1  June  2010は、２Ｄ腹腔鏡テクスチャ画像を予め構築した３Ｄ表面モデルに登録する方法に関する。この文献では、初期の２Ｄ−３Ｄのユーザにより支援される登録は、最初のビデオフレームに対して実行される。次に、後続フレームは、２Ｄ−２Ｄ登録で及び後続フレームの大部分自動テクスチャリングで、最初のフレームに登録される。また、２Ｄ−３Ｄマッピングは、ユーザの定めた対応により最小二乗法を用いて実行される。この文献（文献１）は、射影行列を導出するために推定カメラパラメータを用いない。
ＵＳ2009/324062  A1(Lim  Hwa  Sup他)、31  December  2009は、カラー画像が深さ画像に登録される画像処理システム及び方法に関する。カラー画像及び深さ画像の両者は、共に３Ｄ画像である（本段落の冒頭を参照）。さらに、この文献は、射影行列を導出するために推定カメラパラメータを用いることを開示も示唆もしていない。
【国際調査報告】
2015506188.tif 000012
2015506188.tif 000013
2015506188.tif 000014
2015506188.tif 000015
2015506188.tif 000016