(57)【特許請求の範囲】
【請求項１】
ロボットユニットと、
制御ユニットと、
を有し、前記ロボットユニットが、
解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡と、
前記解剖学的領域内で前記内視鏡を移動させるロボットと、
を有し、前記制御ユニットが、
前記解剖学的領域内に内視鏡パスを生成する内視鏡コントローラであって、前記内視鏡パスは、前記血管ツリーの術中内視鏡画像のグラフィック表現の、前記血管ツリーの術前３次元画像のグラフィック表現とのマッチングから導出される、内視鏡コントローラと、
前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるロボットコントローラと、
を有する、ロボットガイディングシステム。
【請求項２】
前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングが、
前記血管ツリーの前記術前３次元画像の幾何学的表現から導出されるメイングラフを生成し、
前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導き出されるサブグラフを生成し、
前記サブグラフを前記メイングラフとマッチングする、
ことを含む、請求項１に記載のロボットガイディングシステム。
【請求項３】
前記メイングラフは、前記血管ツリーの前記術前３次元画像内の血管ツリーの各々の分岐部を表すノードのメインセットを含み、
前記サブグラフは、前記ノードのメインセットのサブセットを含み、前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の前記血管ツリーの各々の分岐部を表す、請求項２に記載のロボットガイディングシステム。
【請求項４】
前記サブグラフの前記メイングラフとのマッチングは、前記メイングラフにおけるノードの垂直方向の順序及び水平方向の順序のうち少なくとも１つを確立することを含む、請求項３に記載のロボットガイディングシステム。
【請求項５】
前記内視鏡コントローラは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前３次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項２に記載のロボットガイディングシステム。
【請求項６】
前記内視鏡コントローラは更に、前記血管ツリーの前記術前３次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像とのオーバレイの中に、前記内視鏡パスを生成する、請求項５に記載のロボットガイディングシステム。
【請求項７】
前記サブグラフの前記メイングラフとのマッチングは、前記ノードのサブセットと前記ノードのメインセットとの複数のマッチング結果を含み、
前記複数のマッチング結果のうち１つが、前記サブグラフの前記メイングラフとの合致として選択される、請求項３に記載のロボットガイディングシステム。
【請求項８】
前記血管ツリーは冠状動脈樹である、請求項１に記載のロボットガイディングシステム。
【請求項９】
解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡、及び前記解剖学的領域内で内視鏡を移動させるロボット、のための制御ユニットであって、
前記解剖学的領域内に内視鏡パスを生成する内視鏡コントローラであって、前記内視鏡パスは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの術前３次元画像のグラフィック表現とのマッチングから導出される、内視鏡コントローラと、
前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるロボットコントローラと、
を有する、制御ユニット。
【請求項１０】
前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングが、
前記血管ツリーの前記術前３次元画像の幾何学的表現から導出されるメイングラフを生成し、
前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導き出されるサブグラフを生成し、
前記サブグラフを前記メイングラフとマッチングする、
ことを含む、請求項９に記載の制御ユニット。
【請求項１１】
前記メイングラフは、前記血管ツリーの前記術前３次元画像内の前記血管ツリーの各々の分岐部を表すノードのメインセットを含み、
前記サブグラフは、前記ノードのメインセットのサブセットを含み、前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の血管ツリーの各々の分岐部を表す、請求項１０に記載の制御ユニット。
【請求項１２】
前記サブグラフの前記メイングラフとのマッチングは、前記メイングラフのノードの垂直方向の順序及び水平方向の順序のうち少なくとも１つを確立することを含む、請求項１１に記載の制御ユニット。
【請求項１３】
前記内視鏡コントローラは、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前３次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項１０に記載の制御ユニット。
【請求項１４】
前記内視鏡コントローラは更に、前記血管ツリーの前記術前３次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像とのオーバレイの中に、前記内視鏡パスを生成する、請求項１３に記載の制御ユニット。
【請求項１５】
前記サブグラフの前記メイングラフとのマッチングは、前記ノードのサブセットと前記ノードのメインセットとの複数のマッチング結果を含み、
前記複数のマッチング結果のうち１つが、前記サブグラフの前記メイングラフとの合致として選択される、請求項１１に記載の制御ユニット。
【請求項１６】
ロボットガイディングシステムの作動方法であって、
前記システムの内視鏡が、解剖学的領域内の血管ツリーの術中内視鏡画像を生成するステップと、
前記システムの内視鏡コントローラが、前記解剖学的領域内に内視鏡パスを生成するステップであって、前記内視鏡パスは、前記血管ツリーの術中内視鏡画像のグラフィック表現の、前記血管ツリーの術前３次元画像のグラフィック表現とのマッチングから導出される、ステップと、
前記システムのロボットコントローラが、前記内視鏡パスに従って前記解剖学的領域内で前記内視鏡を移動させるよう、前記ロボットに命じるステップと、
を含む方法。
【請求項１７】
前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングが、
前記血管ツリーの前記術前３次元画像の幾何学的表現から導出されるメイングラフを生成し、
前記血管ツリーの前記術中内視鏡画像の幾何学的表現から導出されるサブグラフを生成し、
前記サブグラフを前記メイングラフとマッチングする、
ことを含む、請求項１６に記載の方法。
【請求項１８】
前記メイングラフは、前記血管ツリーの前記術前３次元画像内の血管ツリーの各々の分岐部を表すノードのメインセットを含み、
前記サブグラフは、前記ノードのメインセットのサブセットを含み、
前記サブセットは、前記血管ツリーの前記術中内視鏡画像内の血管ツリーの各々の分岐部を表す、
請求項１７に記載の方法。
【請求項１９】
前記内視鏡コントローラが、前記血管ツリーの前記術中内視鏡画像のグラフィック表現の、前記血管ツリーの前記術前３次元画像のグラフィック表現とのマッチングに従って、前記血管ツリーの前記術前３次元画像の幾何学的表現を、前記血管ツリーの前記術中内視鏡画像にオーバレイする、請求項１７に記載の方法。
【請求項２０】
前記内視鏡パスは、前記血管ツリーの前記術前３次元画像の幾何学的表現の、前記血管ツリーの前記術中内視鏡画像へのオーバレイの中に生成される、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、最小侵襲性の外科的プロシージャ（例えば、最小侵襲性の冠動脈バイパス外科手術）の間の、内視鏡のロボット制御に関する。本発明は、特に、内視鏡をロボット制御でガイドするための基礎として、術前３次元（「３Ｄ」）血管ツリー画像のグラフィック表現を、術中内視鏡血管ツリー画像のグラフィック表現とマッチングすることに関する。
【背景技術】
【０００２】
冠動脈バイパス術（Coronary artery bypass grafting、「ＣＡＢＧ」）は、閉塞した冠動脈の血管再生のための外科的プロシージャである。毎年約５０万件の手術が、米国で実施されている。従来のＣＡＢＧでは、患者の胸骨が切開され、患者の心臓が、外科医に十分に露出される。心臓の露出にもかかわらず、ある動脈は、それら動脈より上の脂肪組織層により、部分的に見えないことがある。このような動脈に関して、外科医は、心臓表面を触診し、動脈からの脈打つ血液及び動脈の狭窄を感じることができる。しかしながら、このデータは、貧弱であり、外科的な計画を外科的な現場に移すには十分でないことがある。
【０００３】
最小侵襲性のＣＡＢＧにおいて、外科医は、心臓表面を触診することができないので、従来のＣＡＢＧの上述の問題が増幅される。更に、最小侵襲性のＣＡＢＧにおいて使用される外科器具の長さは、ツールの近位端からの触覚フィードバックを妨げる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のＣＡＢＧに関する問題に対処するための１つの知られている技法は、術中の部位を、術前３Ｄ冠動脈ツリーと位置合わせすることである。具体的には、光学的に追跡されるポインタが、開かれた心臓状況で動脈の位置をデジタル化するために使用され、位置情報は、当分野で知られている反復的な最近接点（「ＩＣＰ」）アルゴリズムを使用して術前ツリーと位置合わせされる。しかしながら、この技法は、デジタル化された動脈及び術前データをマッチングする任意の関連するアプローチの場合のように、小さいポートアクセスによって課される空間制約のため、最小侵襲性のＣＡＢＧに関して実際的でない。更に、この技法は、動脈の大部分が目に見えること又は外科医によって触診されることを必要とするが、触診は、最小侵襲性のＣＡＢＧでは不可能である。
【０００５】
最小侵襲性のＣＡＢＧに関する問題に対処するための１つの知られている技法は、心臓表面が、光学的に追跡される内視鏡を使用して再構成され、同じ表面の術前コンピュータトモグラフィ（「ＣＴ」）データとマッチングされる、位置合わせ方法を実現することである。しかしながら、この技法は、表面を導出するために使用される内視鏡ビューがあまりに小さい場合、表面ベースのマッチングを提案する任意の関連するアプローチと同様に失敗することがある。更に、心臓表面は、特定の表面特徴なしに相対的に滑らかであるので、この技法のアルゴリズムは、多くの場合、アルゴリズムの準最適の極大で機能する。
【０００６】
最小侵襲性のＣＡＢＧに関する問題に対処するための別の知られている技法は、以前に標識化されたケース及びグラフベースのマッチングのデータベースを使用して、新しい患者から抽出される冠状動脈ツリーを標識化することである。しかしながら、この技法は、完全なツリーが利用可能な場合のみ機能し、その目標は、ジオメトリをマッチングすることではなく、ツリーを標識化することである。
【０００７】
術前３Ｄ画像に対するグローバルな位置付けが達成されると、最小侵襲性のＣＡＢＧの他の問題は、内視鏡の向き及びガイダンスである。位置合わせの目標は、吻合部位及び狭窄の位置特定を容易にすることである。標準の装置において、内視鏡は、アシスタントによって保持され、外科医は、２つの器具を保持する。外科医は、アシスタントに命令を出し、アシスタントは、それに応じて内視鏡を移動させる。この種の装置は、アシスタントが、一般に外科医の基準フレームで発行される外科医の命令を、アシスタントの基準フレーム及び内視鏡の基準フレームに直観的に変換する必要があるので、外科医の手−目の協調を妨げる。複数の座標系は、さまざまなハンドリング誤差を引き起こし、又は外科手術を長引かせ、又は冠動脈の誤った識別を引き起こしうる。
【０００８】
外科医が、外科医の頭部の検知される動きを通じて内視鏡を直接制御することを可能にするように設計される外科内視鏡アシスタントは、制御ループからアシスタントを除去することによって、それらの問題のいくらかを解決することができるが、外科医の基準フレームと内視鏡の基準フレームの間の変換の問題は依然として残る。
【課題を解決するための手段】
【０００９】
本発明は、術前３次元（「３Ｄ」）画像（例えば、ＣＴ画像、コーンビームＣＴ画像、３ＤＸ線画像又はＭＲＩ画像）及び術中内視鏡画像、に示される血管ツリー（例えば、動脈、毛細血管又は静脈の分岐部）のグラフィック表現をマッチングし、術前３Ｄ画像からの血管ツリーを術中内視鏡画像にオーバレイし、オーバレイを使用して、術前３Ｄ画像に規定されるロケーションへ、内視鏡を保持するロボットをガイドするする方法を提供する。
【００１０】
本発明の１つの形態は、ロボットユニット及び制御ユニットを用いるロボットガイディングシステムである。
【００１１】
ロボットガイディングシステムは、ロボットユニット及び制御ユニットを用いる。ロボットユニットは、解剖学的領域内の血管ツリーの術中内視鏡画像を生成する内視鏡と、解剖学的領域内で内視鏡を移動させるロボットと、を有する。制御ユニットは、解剖学的領域内に内視鏡パスを生成する内視鏡コントローラを有し、内視鏡パスは、血管ツリーの術中内視鏡画像のグラフィック表現を、血管ツリーの術前３次元画像のグラフィック表現とマッチングすることから導出される。制御ユニットは更に、内視鏡パスに従って解剖学的領域内で内視鏡を移動させるよう、ロボットに命令するロボットコントローラを有する。
【００１２】
本発明の第２の形態は、解剖学的領域内の血管ツリーの術中内視鏡画像を生成し、解剖学的領域内に内視鏡パスを生成することを含むロボットガイディング方法であって、内視鏡パスが、血管ツリーの術中内視鏡画像のグラフィック表現を、血管ツリーの術前３次元画像のグラフィック表現とマッチングすることから導出される。ロボットガイディング方法は更に、内視鏡パスに従って解剖学的領域内で内視鏡を移動させるようロボットに命令することを含む。
【００１３】
「術前（pre-operative）」という本明細書で用いられる語は、解剖学的領域の３次元画像を取得するために、解剖学的領域の内視鏡イメージングの前、最中、又は後に実行される任意のアクティビティを記述するものとして広義に規定される。「術中（intra-operative）」という本明細書で用いられる語は、解剖学的領域の内視鏡イメージングの間、ロボットユニット及び制御ユニットによって実行される任意のアクティビティを記述するものとして広義に規定される。解剖学的領域の内視鏡イメージングの例は、ＣＡＢＧ、気管支鏡検査、大腸内視鏡検査、腹腔鏡検査及び脳内視鏡検査を含むが、これらに限定されるものではない。
【００１４】
本発明の上述の形態及び他の形態並びに本発明のさまざまな特徴及び利点が、添付の図面を参照して理解される本発明のさまざまな実施形態の以下の詳細な説明から、更に明らかになる。詳細な説明及び図面は、単に本発明を説明するものであって制限するものではなく、本発明の範囲は、添付の請求項及びそれと等価なものによって規定される。
【図面の簡単な説明】
【００１５】
【図１】本発明による、ロボットガイディングシステムの例示の実施形態を示す図。
【図２】本発明による、ロボットガイダンス方法の例示の実施形態を表すフローチャート。
【図３】図２に示されるフローチャートの例示の外科的実現例を示す図。
【図４】本発明によるグラフマッチング方法の例示の実施形態を表すフローチャート。
【図５】本発明による血管ツリーのメイングラフの例示的な順序付けを示す図。
【図６】本発明による血管ツリーのメイングラフの例示的な順序付けを示す図。
【図７】本発明による、幾何学的表現と内視鏡画像との例示的なオーバレイ（重ね合わせ）を示す図。
【図８】本発明による、図７に示されるオーバレイの中の例示的なロボットパスを示す図。
【発明を実施するための形態】
【００１６】
図１に示されるように、ロボットガイディングシステムは、１又は複数の分岐部（すなわちブランチ）をもつ血管ツリーの内視鏡イメージングを伴う任意の内視鏡プロシージャのために、ロボットユニット１０及び制御ユニット２０を用いる。このような内視鏡プロシージャの例は、最小侵襲性の心臓手術（例えば、冠動脈バイパス術又は僧帽弁置換術）を含むが、これに限定されるものではない。
【００１７】
ロボットユニット１０は、ロボット１１、ロボット１１に堅固に取り付けられる内視鏡１２、及び内視鏡１２に取り付けられるビデオキャプチャ装置１３を有する。
【００１８】
ロボット１１は、特定の内視鏡プロシージャの必要に応じてエンドエフェクタを操るための１又は複数の関節のモータ制御を具えて構成される任意のロボット装置として、ここに広義に規定される。実際、ロボット１１は、４自由度を有することができ、例えば、剛体セグメントと連続的に接続される関節を有するシリアルロボット、並列に搭載される関節及び剛体セグメントを有するパラレルロボット（例えば、当分野で知られているStewartプラットホーム）、又はシリアル及びパラレル運動力学の混成コンビネーション、でありうる。
【００１９】
内視鏡１２は、身体の内側からイメージングを行う能力を具えて構成される任意の装置として、ここで広義に規定される。本発明の目的を達成するための内視鏡１２の例は、可撓性又は剛性の任意のタイプのスコープ（例えば、内視鏡、関節鏡、気管支鏡、コレドコスコープ、結腸内視鏡、膀胱鏡、十二指腸内視鏡、胃鏡、子宮鏡、腹腔鏡、喉頭鏡、神経内視鏡、耳鏡、プッシュ腸鏡、鼻咽頭内視鏡、Ｓ状結腸鏡、副鼻腔内視鏡、胸鏡、その他）、及び画像システムを備えるスコープと同様の装置（例えばイメージング能力をもつ入れ子式カニューレ）を含むが、これに限定されるものではない。イメージングは、局所的であり、表面画像は、ファイバ光学素子、レンズ及び小型化された（例えばＣＣＤベースの）イメージングシステムによって、光学的に取得されることができる。
【００２０】
実際、内視鏡１２は、ロボット１１のエンドエフェクタに搭載される。ロボット１１のエンドエフェクタの姿勢（pose）は、ロボット１１アクチュエータの座標系の範囲におけるエンドエフェクタの位置及び向きである。内視鏡１２が、ロボット１１のエンドエフェクタに搭載される場合、解剖学的領域内の内視鏡１２の視野の所与の姿勢は、ロボット座標系におけるロボット１１のエンドエフェクタの明確な姿勢に対応する。従って、内視鏡１２によって生成される血管ツリーの各個別の内視鏡画像は、解剖学的領域内の内視鏡１２の対応する姿勢に関係付けられることができる。
【００２１】
ビデオキャプチャ装置１３は、内視鏡１２からの術中内視鏡ビデオ信号を、術中内視鏡画像（「ＩＯＥＩ」）１４のコンピュータ可読の時間シーケンスに変換する能力を具えて構成される任意の装置として、ここに広義に規定される。実際、ビデオキャプチャ装置１３は、術中内視鏡ビデオ信号から個別のデジタル静止画フレームを取得するために、任意のタイプのフレーム取り込み器を用いることができる。
【００２２】
図１を参照して、制御ユニット２０は、ロボットコントローラ２１及び内視鏡コントローラ２２を有する。
【００２３】
ロボットコントローラ２１は、内視鏡プロシージャの必要に応じてロボット１１のエンドエフェクタの姿勢を制御するために、１又は複数のロボットアクチュエータコマンド（「ＲＡＣ」）２６をロボット１１に提供するように構成される任意のコントローラとして、ここに広義に規定される。より詳しくは、ロボットコントローラ２１は、内視鏡コントローラ２２からの内視鏡位置コマンド（「ＥＰＣ」）２５を、ロボットアクチュエータコマンド２６に変換する。例えば、内視鏡位置コマンド２５は、解剖学的領域内の内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡パスを示すことができ、それによって、ロボットコントローラ２１は、コマンド２５を、内視鏡１２を所望の３Ｄ位置へ移動させるのに必要なロボット１１の各モータ用駆動電流を含むコマンド２６に変換する。
【００２４】
内視鏡コントローラ２２は、図２に例示として示される本発明によるロボットガイダンス方法を実現するように構成される任意のコントローラとして、ここに広義に規定される。このために、内視鏡コントローラ２２は、画像処理モジュール（「ＩＰＭ」）２３を組み込むことができ、画像処理モジュール２３は、本発明の解剖学的対象の画像位置合わせを実行するように構成される任意のモジュールとして、ここに広義に規定される。具体的には、解剖学的対象の画像位置合わせは、図２に示されるフローチャート３０のステージＳ３２及びＳ３３によって例示的に実現されるような血管ツリー画像の位置合わせである。内視鏡コントローラ２２は、視覚サーボモジュール（「ＶＳＭ」）２４を更に組み込むことができ、視覚サーボモジュール（「ＶＳＭ」）２４は、解剖学的領域内の内視鏡１２の視野の所望の３Ｄ位置に至る内視鏡パスを示す内視鏡位置コマンド２５を生成するように構成される任意のモジュールとして、ここに広義に規定される。具体的には、内視鏡位置コマンド２５は、図２に示されるフローチャート３０のステージＳ３４によって例示的に実現されるように、血管ツリー画像の位置合わせから導出される。
【００２５】
フローチャート３０の説明が、内視鏡コントローラ２２の更なる理解を容易にするために、ここに与えられる。
【００２６】
図２を参照して、フローチャート３０のステージＳ３１は、術前３Ｄ画像から、血管ツリーの幾何学的表現を抽出することを含む。例えば、図３に示されるように、３Ｄイメージング装置（例えば、ＣＴ装置、Ｘ線装置、又はＭＲＩ装置）は、患者５０の左及び右冠動脈５１及び５２を示す患者５０の胸部領域の術前３Ｄ画像４２を生成するように動作される。その後、血管ツリー抽出器４３が、画像４２から冠状動脈樹の幾何学的表現４４を得るように動作され、得られた冠状動脈樹の幾何学的表現４４は、データベース４５に記憶されることができる。実際、Philipsで販売されているBrilliance iCTスキャナが、画像４２を生成し、画像４２から冠状動脈樹の３Ｄデータセットを取得するために使用されることができる。
【００２７】
図２を再び参照して、フローチャート３０のステージＳ３２は、画像処理モジュール２３が、血管ツリーの１又は複数の術中内視鏡画像１４（図１）のグラフィック表現を、血管ツリーの術前３Ｄ画像４４（図１）のグラフィック表現とマッチングすることを含む。例えば、図３に示されるように、内視鏡１２は、ビデオキャプチャ装置１３によって取得され術中内視鏡画像１４に変換される患者５０の胸部領域の術中内視鏡検査ビデオを生成し、それにより、内視鏡コントローラ２２の画像処理モジュール２３は、冠状動脈樹の術中内視鏡画像１４のグラフィック表現を、冠状動脈樹の術前３Ｄ画像４４のグラフィック表現とマッチングする。１つの例示の実施形態において、画像処理モジュール２３は、図４に示されるフローチャート６０によって例示的に表される本発明の血管ツリー画像マッチングを実行し、これは、冠状動脈樹である血管ツリーのコンテクストにおいて、ここに記述される。
【００２８】
図４を参照して、フローチャート６０のステージＳ６１は、画像処理モジュール２３が、当分野で知られている任意の表現方法に従って、冠状動脈樹の幾何学的表現から、冠状動脈樹メイングラフを生成することを含む。例えば、ステージＳ６１に示されるように、冠状動脈樹の幾何学的表現７０は、冠状動脈樹の幾何学的表現７０の各々の分岐部（例えば二分岐又は三分岐）で表現されるノードと、ノード間のブランチ接続とを有するメイングラフ７１に変換される。ステージＳ６１は、術前（例えば内視鏡外科手術の数日前又は患者５０内への内視鏡１２の導入より前の任意の時間）に実施されることができ、又はＣアーム血管撮影法若しくは他の適切なシステムによって術中に実施されることができる。
【００２９】
フローチャート６０のステージＳ６２は、画像処理モジュール２３が、当分野で知られている任意のグラフィック表現方法に従って、術中内視鏡画像１４において目に見える冠状動脈樹の一部から、冠状動脈樹サブグラフを生成することを含む。具体的には、内視鏡１２が、患者５０に導入され、画像処理モジュール２３は、術中内視鏡画像１４内の冠状動脈の構造の検出を実施する。実際、ある動脈の構造は目に見えるが、他の動脈の構造は、脂肪組織の層によって隠されることがある。従って、画像処理モジュール２３は、知られている画像処理動作によって、目に見える冠状動脈の構造の自動検出（例えば、目に見える冠状動脈の構造のはっきりした赤色による閾値検出）を実現することができ、又は外科医は、入力装置を使用して、コンピュータディスプレイ上で目に見える冠状動脈の構造の輪郭を手作業で描くことができる。動脈の構造の検出に応じて、画像処理モジュール２３は、冠状動脈樹メイングラフの生成と同様に、冠状動脈樹グラフを生成する。例えば、ステージＳ６２に示されるように、冠状動脈構造の幾何学的表現７２は、冠状動脈樹の幾何学的表現７２の各々の分岐部（例えば二分岐又は三分岐）で表現されるノードとノード間のブランチ接続とを有するグラフ７３に変換される。どちらのツリーも同じ人からのものであるので、内視鏡検査画像から導出されるグラフは、３Ｄ画像から導出されるグラフのサブグラフであることが理解される。
【００３０】
フローチャート６０のステージＳ６３は、画像処理モジュール２３が、任意の知られているグラフマッチング方法（例えば、最大共通サブグラフ又はMcGregor共通サブグラフ）に従って、サブグラフをメイングラフとマッチングすることを含む。例えば、ステージＳ６３に示されるように、サブグラフ７３のノードは、メイングラフ７１のノードのサブセットとマッチングされる。
【００３１】
実際、サブグラフ７３は、術中内視鏡画像１４内で部分的に検出されることができ、又はサブグラフ７３のあるノード／接続は、術中内視鏡画像１４から欠けていることがある。ステージＳ６２のマッチング精度を改善するために、メイングラフ７１及びサブグラフ７３の付加の順序付けが、実現されることができる。
【００３２】
一実施形態において、メイングラフ７１の垂直方向のノード順序付けは、ステージＳ６１の画像スキャニングの間、患者５０の知られている向きに基づいて実現される。具体的には、メイングラフのノードは、実線矢印によって図５に示されるように、上から下への順序を維持するように、方向的に関係付けられることができる。サブグラフ７３に関して、内視鏡１２に対する患者５０の向きは、知られていない。しかしながら、冠状動脈樹のブランチは、それらが上から下へと広がるにつれて、ブランチの直径が小さくなることが分かるので、術中内視鏡画像１４の動脈ブランチの変化する動脈サイズは、向きを示すことができる。
【００３３】
別の実施形態において、メイングラフ７０の垂直方向のノード順序付けは、ステージＳ６１の画像スキャニングの間の患者５０の知られている向きに基づいて、実現されることができる。具体的には、メイングラフノードは、破線矢印によって図６に示される左右のノード順序を維持するように、方向的に関係付けられることができる。サブグラフ７３に関して、内視鏡１２に対する患者５０の向きは、知られていない可能性が高いので、サブグラフ７３の水平方向のノード順序は、グラフィカルユーザインタフェースを通じて手術外科医又はアシスタントによって設定されることができる。
【００３４】
順序付けの使用は、グラフをマッチングする時間を低下させることができ、可能性がある合致の数を低減することができるが、グラフ間の理論的に複数の合致は、マッチングアルゴリズムによってなお得られることができる。複数の合致のこのようなケースは、フローチャート３０のステージＳ３３の間、対処される。
【００３５】
図２を再び参照して、グラフのマッチングに基づいて、フローチャートのステージＳ３３は、血管ツリーの術前３Ｄ画像４４（図１）の幾何学的表現を、血管ツリーの術中内視鏡画像１４にオーバレイすることを含む。これは、メイングラフに一意的に関連付けられる幾何学的表現を使用することによって行われる。従って、全体のジオメトリは、パースペクティブ変換を使用して、術中内視鏡画像１４に直接変換されることができる。パースペクティブ変換は、ホモグラフィマッチングのような当分野で知られているマッチングアルゴリズムを使用して、術中内視鏡画像１４及び術前３Ｄ画像４４のノードから検出されることができる。
【００３６】
例えば、図７は、術中内視鏡画像９０のノード９１−９５と合致したノードを有する冠状動脈樹の幾何学的表現８０を示している。ノード９１−９５の間の各ノードペアの間の距離は、幾何学的表現８０のスケーリングファクタを決定するために使用されることができ、それによって、幾何学的表現８０が、図示されるように術中内視鏡画像９０にオーバレイすることを可能にする。
【００３７】
実際、ステージＳ３２（図２）のグラフマッチングが、複数の結果をもたらす場合、可能性のあるすべてのオーバレイが、外科医に対し表示されることができ、それによって、外科医は、自分が最も見込みのある合致であると思うマッチング結果を、グラフィカルユーザインタフェースを通じて選択することができる。外科医が、術中内視鏡画像１４の少なくとも幾つかの構造に対する内視鏡１２の位置を知っている場合、選択は、相対的に直接的でありうる。
【００３８】
図２を再び参照して、フローチャート３０のステージＳ３４は、視覚サーボモジュール３２が、血管ツリーの術前３Ｄ画像４４（図１）の幾何学的表現の、血管ツリーの術中内視鏡画像１４（図１）へのオーバレイの中に、内視鏡パスを生成することを含む。内視鏡パスに基づいて、視覚サーボモジュール３２は、ロボットコントローラ２１に対し内視鏡位置コマンド２５を生成し、それによって、解剖学的領域内の所望の位置に、内視鏡パスに沿って内視鏡１２（図１）をガイドする。具体的には、正確なオーバレイが見つけられると、ロボット１１は、外科医が術前３Ｄ画像４４上の選択する位置へ、内視鏡１２をガイドするよう命じられることができる。外科医又はアシスタントは、血管ツリーの或るポイントを選択することができ、ロボット１１は、任意の適切なパスに沿って、所望の位置へ内視鏡１２をガイドすることができる。例えば、図８に示されるように、ロボット１１は、最短パス１０１に沿って所望の位置１００へ、又は冠状動脈パス１０２に沿って所望の位置１００へ、内視鏡１２を移動させることができる。冠状動脈パス１０２は、ロボット１１が内視鏡１２を移動させるとき外科医が目に見える動脈を観察することを可能にするので、冠状動脈パス１０２は、好適な実施形態である。更に、外科医が、マッチングが成功であったかどうかを判定することを助けることができる。冠状動脈パス１０２は、当分野で知られている方法（例えば、Dijkstra最短経路アルゴリズム）を使用して規定されることができる。
【００３９】
実際、ロボット１１の動きは、遠隔運動中心に関して非較正の視覚サーボを使用して命令されることができ、内視鏡１２の視野は、マッチングステージＳ３２の間、より大きいサブグラフを与えるように拡大されることができる。
【００４０】
図２を再び参照して、ステージＳ３２−Ｓ３４は、一度に実行されることができ、又はロボット１１が解剖学的領域内の所望の位置へ内視鏡１２を移動させる時間まで周期的に実行されることができ、又は外科医によって指示される回数実行されることができる。
【００４１】
実際、モジュール２３及び２４（図１）は、図示されるような内視鏡コントローラ２２内に組み込まれるハードウェア、ソフトウェア及び／又はファームウェアによって実現されることができる。
【００４２】
ここでの図１−図８の記述から、当業者であれば、本発明のアプリケーションから、任意のタイプの血管に対して実施される任意のタイプの内視鏡外科手術（これに限定されない）までを含む本発明の多くの利点を理解するであろう。
【００４３】
本発明は、例示的な見地、特徴及び実現に関して記述されたが、開示されるシステム及び方法は、このような例示的な見地、特徴及び／又は実現に限定されない。むしろ、ここに示される記述から当業者には容易に明らかであるように、開示されるシステム及び方法は、本発明の精神又は範囲を逸脱することなく変形、変更及び改良の余地がある。従って、本発明は、この範囲内にある変形、変更及び改善を含む。
【図１】
0005955847.tif 000002
【図２】
0005955847.tif 000003
【図３】
0005955847.tif 000004
【図４】
0005955847.tif 000005
【図５】
0005955847.tif 000006
【図６】
0005955847.tif 000007
【図７】
0005955847.tif 000008
【図８】
0005955847.tif 000009