(57)【特許請求の範囲】
【請求項１】
解剖学的領域の術中内視鏡画像を生成する内視鏡に接続されるロボットのための制御ユニットであって、前記制御ユニットは、
前記解剖学的領域内において前記内視鏡を動かすように前記ロボットに命令するように動作可能である、ロボットコントローラと、
前記解剖学的領域の前記術中内視鏡画像の内視鏡ビデオディスプレイを生成するように前記内視鏡に可動的に接続される内視鏡コントローラと、
前記ロボットコントローラと前記内視鏡コントローラとの間に可動的に分布される画像統合モジュールと
を有し、
前記内視鏡が前記解剖学的領域内において静止しているとき、前記画像統合モジュールは前記解剖学的領域の術前三次元画像を前記解剖学的領域の前記術中内視鏡画像にレジストレーションするように動作可能であり、
前記内視鏡が前記術前三次元画像及び前記術中内視鏡画像のレジストレーションに後続して前記解剖学的領域内において動いているとき、前記画像統合モジュールは前記内視鏡に対して前記ロボットの動きを較正するように動作可能である、
制御ユニットにおいて、
前記画像統合モジュールは、前記解剖学的領域の周期的な動きに同調して前記解剖学的領域の前記術前三次元画像を前記解剖学的領域の前記術中内視鏡画像にレジストレーションするように動作可能なように構成され、及び／又は前記解剖学的領域の周期的な動きに同調して前記内視鏡に対する前記ロボットの動きを較正するように動作可能なように構成される、
制御ユニット。
【請求項２】
前記内視鏡に対する前記ロボットの動き較正に後続して、前記画像統合モジュールは前記解剖学的領域内において前記内視鏡の動きをトラッキングするように動作可能である、請求項１に記載の制御ユニット。
【請求項３】
前記内視鏡に対する前記ロボットの動き較正は、前記画像統合モジュールによる前記内視鏡の前記動きのトラッキングに先行して前記画像統合モジュールによって複数回繰り返される、請求項２に記載の制御ユニット。
【請求項４】
解剖学的領域の術中内視鏡画像を生成するように動作可能な内視鏡、及び
前記解剖学的領域内において前記内視鏡を動かすように前記内視鏡に可動的に接続されるロボット
を含むロボットユニットと、
請求項１に記載のロボットのための制御ユニットと
を有する、
ロボットガイドシステム。
【請求項５】
前記内視鏡に対する前記ロボットの動き較正に後続して、前記画像統合モジュールは前記内視鏡の動きをトラッキングするように動作可能である、請求項４に記載のロボットガイドシステム。
【請求項６】
前記内視鏡に対する前記ロボットの動き較正は、前記画像統合モジュールによる前記内視鏡の前記動きのトラッキングに先行して前記画像統合モジュールによって複数回繰り返される、請求項５に記載のロボットガイドシステム。
【請求項７】
前記画像統合モジュールは前記術中内視鏡画像上に前記術前三次元画像のセグメント化される部分を重ね合わせるように動作可能である、請求項４に記載のロボットガイドシステム。
【請求項８】
前記画像統合モジュールは前記術中内視鏡画像上における少なくとも一つのポイントをトラッキングする機能として前記重ね合わせを更新するように動作可能である、請求項７に記載のロボットガイドシステム。
【請求項９】
前記画像統合モジュールは、前記内視鏡が前記解剖学的領域内において静止位置から動かされるとき、前記術中内視鏡画像上における特徴をトラッキングする機能、並びに前記術前三次元画像及び前記術中内視鏡画像のレジストレーションの機能として前記術前三次元画像と前記術中内視鏡画像との間の相対動き変換マトリックスを計算するように動作可能である、請求項４に記載のロボットガイドシステム。
【請求項１０】
前記画像統合モジュールは、前記解剖学的領域内において前の静止位置から現在の位置まで前記内視鏡の仮想位置の位置変換マトリックスを計算するように動作可能である、請求項９に記載のロボットガイドシステム。
【請求項１１】
前記画像統合モジュールは、前記内視鏡に対する前記ロボットの相対的な較正を計算するように動作可能である、請求項１０に記載のロボットガイドシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、低侵襲手術プロシージャ(例えば、低侵襲冠状動脈バイパス移植手術）の間の、内視鏡のロボット制御に関する。 本発明は特に、ロボット支援低侵襲手術プロシージャの間の術中内視鏡画像及び術前三次元（「3D」）画像の連続統合に関する。
【背景技術】
【０００２】
二つの(1)イメージングモダリティは、低侵襲冠状動脈バイパス手術の間に使用される。 第一のイメージングモダリティは、冠状動脈のジオメトリに関する情報を得るための術前3Dイメージング(例えば、コンピュータ断層撮影法（「CT」）、磁気共鳴イメージング（「MRI」）、他）である。第二のイメージングモダリティは、冠状動脈のリアルタイム視覚化のための術中内視鏡イメージングである。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
通常、ロボット支援低侵襲冠状動脈バイパス手術の場合、ロボットの動きは、ロボットの相対的な動きを報告することができる、モータ又は他のセンサ上のエンコーダ(例えば、ポテンショメータ又はロボット軸上に取り付けられる絶対的なエンコーダ）から知られ、ロボットに対する内視鏡の較正は対応する内視鏡の動きを計算するために必要とされる。 カメラ較正は、重ね合わせが内視鏡ビデオ内において正確に視覚化されるようにレンダリングカメラに適用されることが必要とされる動きの量を知るためにさらに必要とされる。二つの(2)較正は、時間を費やし、誤りの傾向がある。 それらは専用ハードウェア及び正確な測定を必要とし、訓練された専門家によって実行される必要がある。 これは延長される手術室時間、増加されるプロシージャ費用をもたらし、システムの臨床適合性を制限し得る。
【０００４】
これらの二つの(2)較正の欠点を説明するために、これらの画像モダリティは、当業者に知られるように、複数のステージにおいて一体化されてもよい。 たとえば、第一のステージは、術前3Dイメージングからの3D動脈ツリー及び術中内視鏡画像において部分的に視認され得る動脈ツリーの間の幾何学的な関係を構築する画像レジストレーションステージであってもよい。この画像レジストレーションステージは主に、バイパスが内視鏡からの視覚的フィードバック下で実行される内視鏡下冠状動脈バイパス手術に適用されることが可能であり、合成される情報を使ってロボットにより内視鏡をガイドする様々な方法を開示する。画像間の幾何学的な関係に基づいて、第二のステージは、未較正の内視鏡を使って3D術前ボリュメトリック動脈ツリーを2D内視鏡画像上に重ね合わせる術前重ね合わせステージであってもよい。これにより、外科医は、内視鏡において表示される解剖学的領域にレジストレーションされ、手術の間に使用できる術前スキャンからの重要な情報を有することが可能になる。術前重ね合わせを強化するため、第三のステージは、内視鏡ビデオにおいて表示される解剖学的構造の何れの生理的な動きも補償するために、術前3D画像から3D内視鏡画像上にボリュメトリック構造を変形させる重ね合わせを容易化する、動き補償ステージであってもよい。
【課題を解決するための手段】
【０００５】
本発明は、内視鏡が、内視鏡を保持するロボットの動きの結果として動いている場合、術前3D画像及びライブ術中内視鏡ビデオの間のレジストレーション情報を更新する問題を解決する。このことは、レジストレーションが、後にシステムがレジストレーションを更新し続けるプロシージャの始めに一度実行され得ることを保証する。
【０００６】
より具体的には、本発明は、術前3D画像及び内視鏡ビデオを連続的に合成し、ロボット支援低侵襲手術の間、3D画像の投影を2D内視鏡ビデオ上に表示する。本発明は、プロシージャの間、明示的な較正ステップが必要とされないように、内視鏡及びロボットの両方のために前記自己較正ルーチンの使用を活用する。これにより、動作時間が減らされ、ヒューマンエラーが除かれるためシステムの堅牢性が改善されるであろう。
【０００７】
本発明の一つの形態において、内視鏡、ロボット、ロボットコントローラ、内視鏡コントローラ及び画像統合モジュールを使用する、ロボットガイドシステムがもたらされる。動作において、ロボットコントローラは、解剖学的領域内において内視鏡を動かすようにロボットに命令し、内視鏡コントローラは、内視鏡によって生成される解剖学的領域の術中内視鏡画像の内視鏡ビデオディスプレイを生成する。内視鏡が解剖学的領域内において静止しているとき、画像統合モジュールは解剖学的領域の術前3D画像を解剖学的領域の術中内視鏡画像にレジストレーションする。 内視鏡が画像レジストレーションに後続して解剖学的領域内において動いているとき、画像統合モジュールは解剖学的領域内において内視鏡の動きをトラッキングすることによって後続される内視鏡に対してロボットの動きを較正する。
【０００８】
本発明の第二の形態は、静止内視鏡による解剖学的領域の術中内視鏡画像の生成及び解剖学的領域の術中内視鏡画像に対する解剖学的領域の術前3D画像の静止レジストレーションを含むロボットガイド方法である。本方法はその後、移動する内視鏡による解剖学的領域の術中内視鏡画像の生成及び解剖学的領域の術中内視鏡画像に対する解剖学的領域の術前3D画像の動きレジストレーションを含む。
【０００９】
ここで用いられる用語「術前」は、解剖学的領域の三次元画像を収集するために、解剖学的領域の内視鏡イメージングの前、その間、又はその後に実行される何れの活動も記述するように広く規定され、ここで用いられる用語「術中」は、解剖学的領域の内視鏡イメージングの間、ロボットユニット及び制御ユニットによって実行される何れの活動も記述するように広く規定される。解剖学的領域の内視鏡イメージングの例は、これに限定されるものではないが、CABG、気管支鏡法、結腸鏡検査、腹腔鏡検査及び脳内視鏡検査を含む。
【００１０】
本発明のいろいろな特徴及び利点だけでなく、本発明の前述の形態及び他の形態は、添付の図面とともに読まれる本発明のいろいろな実施例の以下の詳細な説明からさらに明らかになるであろう。 詳細な説明及び図面は、限定的というより単に例示的に本発明を説明し、本発明の範囲は、添付のクレーム及びその同等の範囲によって規定される。
【図面の簡単な説明】
【００１１】
【図１】本発明によるロボットガイドシステムの典型的な実施例を例示する。
【図２】本発明によるロボットガイダンス方法の典型的な実施例を表すフローチャートを例示する。
【図３】本発明による静止レジストレーション方法の典型的な実施例を表すフローチャートを例示する。
【図４】本発明による動きレジストレーション方法の典型的な実施例を表すフローチャートを例示する。
【図５】本発明による動作トラッキング方法の典型的な実施例を表すフローチャートを例示する。
【図６】本発明による典型的なゲート制御収集を例示する。
【図７】本発明による内視鏡ビデオにおける典型的な位置トレースを例示する。
【発明を実施するための形態】
【００１２】
図1に示されるように、ロボットガイドシステムは、何れかの内視鏡プロシージャ、特に一つ又はそれより多くの分岐（すなわち、枝）を有する血管ツリーの内視鏡イメージングを含む内視鏡プロシージャのための、制御ユニット20及びロボットユニット10を使用する。このような内視鏡プロシージャの例は、これに限定されないが、低侵襲心臓手術(例えば、冠状動脈バイパス移植又は僧帽弁置換）を含む。
【００１３】
ロボットユニット10はロボット11、ロボット11に堅く付けられる内視鏡12、及び内視鏡12に付けられるビデオキャプチャデバイス13を含む。
【００１４】
ロボット11は、特定の内視鏡プロシージャに対して所望されるようにエンドエフェクタを動かすための一つ又はそれより多くのジョイントのモータ制御により構成される何れかのロボットデバイスとしてここに広く規定される。実際、ロボット11、例えば剛体セグメントにシリアルに接続されるジョイントを有するシリアルロボット、パラレルオーダで取り付けられる剛体セグメント及びジョイントを有するパラレルロボット（例えば当業者に知られるスチュワートプラットホーム）、又はシリアル及びパラレル運動学の何れかの複合的組合せは、4つの自由度を有してもよい。
【００１５】
内視鏡12は、体の内側からイメージングする性能を備えて構成される何れかのデバイスとしてここに広く規定される。本発明のための内視鏡12の例は、これに限定されないが、何れかの種類の柔性又は硬性スコープ（例えば、内視鏡、関節鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸スコープ、胃内視鏡、子宮鏡、腹腔鏡、喉頭鏡、神経スコープ、耳鏡、プッシュ腸スコープ、鼻喉頭鏡、Ｓ字結腸鏡、上顎洞内視鏡、細径胸腔スコープ）、及び画像システムを備えるスコープに類似する何れかのデバイス（例えば、イメージングを伴う入れ子カニューレ）も含む。イメージングは局所的であり、表面画像はファイバーオプティックス、レンズ及び小型化される（例えばCCDに基づく）イメージングシステムを用いて光学的に得られてもよい。
【００１６】
実際、内視鏡12はロボット11のエンドエフェクタに取り付けられる。 ロボット11のエンドエフェクタのポーズは、ロボット11アクチュエータの座標系内におけるエンドエフェクタの位置及び方向である。 ロボット11のエンドエフェクタに取り付けられる内視鏡12の場合、解剖学的領域内における内視鏡12の視野の何れかの所定のポーズはロボット座標系内におけるロボット11のエンドエフェクタの別個のポーズに対応する。 従って、内視鏡12によって生成される血管ツリーの各々の個別の内視鏡画像は、解剖学的領域内における内視鏡12の対応するポーズに関連付けられ得る。
【００１７】
ビデオキャプチャデバイス13は、内視鏡12から術中内視鏡画像（「IOEI」）14のコンピュータ読取り可能な一時シーケンスに術中内視鏡ビデオ信号を変換する性能を備えるように構成される何れかのデバイスとしてここに広く規定される。実際、ビデオキャプチャデバイス13は、術中内視鏡ビデオ信号から個々のデジタルスチルフレームをキャプチャリングするための何れかのタイプのフレームグラバを使用してもよい。
【００１８】
更に図1を参照すると、制御ユニット20はロボットコントローラ21及び内視鏡コントローラ22を含む。
【００１９】
ロボットコントローラ21は、内視鏡プロシージャに対して所望されるようにロボット11のエンドエフェクタのポーズを制御するためにロボット11に一つ又はそれより多くのロボットアクチュエータコマンド（「RAC」）26を供給するように構成される何れかのコントローラとしてここに広く規定される。より具体的には、ロボットコントローラ21は、内視鏡コントローラ22からロボットアクチュエータコマンド26に内視鏡位置コマンド（「EPC」）25を変換する。 たとえば、内視鏡位置コマンド25は、解剖学的領域内における内視鏡12の視野の所望の3D位置に通じる内視鏡経路を示してもよく、それによってロボットコントローラ21は、内視鏡12を所望の3D位置に動かすために必要とされる、ロボット11の各々のモータのための作動電流を含むコマンド26にコマンド25を変換する。
【００２０】
内視鏡コントローラ22は、術中内視鏡画像（「IOEI」）14の内視鏡ビデオディスプレイ15を生成するように構成される何れかのコントローラとしてここに広く規定される。
【００２１】
本発明は、術前3D画像（「POI」）30に術中内視鏡画像14の連続統合のために図2に示されるようなフローチャート40を実行するためにコントローラ21及び22の間に分布される画像統合モジュール24を供給する。 フローチャート40の記載は、この場合、画像統合モジュール24の更なる理解を容易にするためにここに提供される。 実際、フローチャート40は、ロボット11が位置され、それによってロボット11の回転の中心は患者に対するエントリポイントに一致し、内視鏡12が、ライブビデオストリーム15を容易化するように患者の体に挿入されるプレステップを含み得る。
【００２２】
図2を参照すると、フローチャート40のステージS42は術中内視鏡画像40に術前3D画像30の静止レジストレーションを包含させ、フローチャート40のステージS44はステージS42の静止レジストレーションから導出される内視鏡12にロボット11の動き較正を包含させ、フローチャート40のステージS46はステージS44の動き較正から導出されるロボットの動きトラッキングを包含させる。
【００２３】
図3に示されるフローチャート50は、ステージS42の一つの実施例を表す。 フローチャート50のステージS52は、当業者に知られるように、動脈ツリー及び／又は静脈ツリーに基づいて術前3D画像30を術中内視鏡画像14にレジストレーションするモジュール24を含む。較正されない内視鏡12を考慮して、ステージS52は、4x4変換マトリックスCTTcamとして3D画像30の座標フレームにおける仮想カメラの位置を返すであろう。
【００２４】
当業者に知られるように、フローチャート50のステージS54は抽出/セグメント化される3Dボリュメトリック動脈ツリー及び／又は静脈ツリーを術中内視鏡画像14上に重ね合わせるモジュール24を含む。重ね合わせは内視鏡ビデオディスプレイ15上へ術前3D画像30の投影を示すであろう。
【００２５】
フローチャート50のステージS56は術中内視鏡画像14上におけるポイント（例えば、動脈ツリー及び／又は静脈ツリーのノード）をトラッキングし、重ね合わせ画像を更新するために当業者に知られる動き補償アルゴリズムを実行するモジュール24を含む。より具体的には、モジュール24による補償アルゴリズムの実行が、ポイントを一方の内視鏡ビューから他方の内視鏡ビューに変換する3x3マトリックスH
0006334714.tif 000002
を計算する。
【００２６】
ステージS44（図2）の一つの実施例において、図4に示されるフローチャート60は、内視鏡ビュー14のポイント（例えば、動脈ツリー及び／又は静脈ツリーのノード）の正確なトラッキングを可能にするため、ロボット動作のスローモードを含む。
【００２７】
ユーザがロボット11の第一の動きを実行した後、フローチャート60のステージS62はステージS56（図3）のホモグラフィマトリックスHを使用してステージS52（図3）の2D内視鏡ポイントを再計算し、動きの後のカメラ変換マトリックスを計算するためにステージS52を繰り返すモジュール24を含む。その後、動きの前の変換マトリックス
0006334714.tif 000003
及び動きの後の変換マトリックス
0006334714.tif 000004
を使用して、全体の相対的な動きCTTcmは
0006334714.tif 000005
のように計算される。
【００２８】
フローチャート60のステージS64は、当業者に知られるロボットエンコーダ又は他のセンサの使用から導出される、動きの前のロボットチップ位置
0006334714.tif 000006
及び動きの後のロボットチップ位置
0006334714.tif 000007
を記録するモジュール24を含む。システムの未較正特性のために、正確なチップ位置は知られないので、仮想チップ位置
0006334714.tif 000008
が使われる。 仮想チップ位置は、ゼロより大きい何れかの数又は数学的なシンボルになり得る。
【００２９】
フローチャート60のステージS66の場合、カメラに対するロボットの相対的な較正は、以下の通りに計算される。 理想的なケースにおいて、システムが較正される場合、CTTcm =CTTrmになり、新たなレジストレーションが既知のロボットの動きをカメラ位置に適用することによって計算されることができる。 本システムは較正されず、カメラ位置及びロボットチップ位置の両方が環境（例えば、手術室）における物理構成を反映していないので、これらの両者は較正マトリックス
0006334714.tif 000009
に関連付けられる。このマトリックスが、プロシージャの全ての長さの間、一定であると仮定することは無難である。この仮定は、 同じ内視鏡12（カメラの同じ焦点距離）が使われる限り保たれる。 異なる内視鏡が導入される場合、ビデオストリームは一時的に中断され、画像レジストレーションフローチャート50は新たな内視鏡に対して実行されなければならないであろう。
【００３０】
ステージS66を続けるため、
0006334714.tif 000010
が一つの位置のための剛体変換
0006334714.tif 000011
から推論される。 CTTcm及びCTTrmの両方は知られるため、Tcalibは
0006334714.tif 000012
から計算され得る。 この種の式はシルヴェスタ方程式と称され、当業者によって明示的に計算されることができる。
【００３１】
ステージS62-S66がバックグラウンドで実行された後、ポイントのトラッキングがもはや必要ないのでロボット11は通常の速さの動作に戻される。
【００３２】
ステージS46の一つの実施例（図2）において、図5に示されるフローチャート70は、ユーザが、術中内視鏡画像14においてポイントをトラッキングする必要なしでロボット11の他の動きを実行することを含む。このように、フローチャート70のステージS72は、内視鏡13のカメラの新たな位置
0006334714.tif 000013
をロボットの新たな位置
0006334714.tif 000014
から
0006334714.tif 000015
のように計算するモジュール24を含む。
【００３３】
フローチャート70のステージS74は、ステージS54（図3）によって教示される新たな重ね合わせを計算するモジュール24を含む。プロシージャの終了まで、又は新たな内視鏡のための新たなレジストレーションが必要とされるまで、ステージS72及びS74は繰り返される。
【００３４】
図2及び4に戻り、ステージS42の精度は、フローチャート60を複数回(N)繰り返すことによって改善され得る。このような繰り返しのために、ステージS66はNシルヴェスタータイプの方程式のシステムからTcalibの計算を実行するように修正される。 この数学的問題が重複定義されるため、解決策は、当業者に知られるように最適化手法（例えば、レーベンバーグ・マーカート法減衰最小自乗フィッティング）を使用して見つけられ得る。これは、N回、又は最適化アルゴリズムのフィッティングエラーが所定の精度条件より小さなエラーを返すまで、繰り返されることができる。本実施例はフローチャート60のロボットスローモーションの期間をバランシングすることによって正確な画像重ね合わせを確実にする。
【００３５】
図2-4を参照すると、ステージS42及びS44は、周期的に動く器官（例えば、心臓）を処理するように修正されてもよい。この場合、ロボット11の動きから心臓の動きを分離するため、ステージS56（図3）及びステージS62（図4）は周期的な動きの正確に同じフェーズで実行されなければならない。この実施例において、ECG信号は内視鏡画像14の収集をゲートするために使われることができる。例えば、図6はECG信号80を示す。ロボット動きが時間t1から開始され、時間t2で停止する場合、モジュール24は、心臓が時間t1と同じフェーズ（例えば、時間t3）に戻った後にのみ、ホモグラフィマッチングステージS56及びS62のために内視鏡画像14を収集するであろう。これは当業者に知られる信号マッチングアルゴリズムによって達成されることができる。
【００３６】
代わりに、ECG信号が使用できない場合、モジュール24は、図7において示される位置トレース81で例示される当業者に知られる心臓上におけるポイントの動きを監視し得る。これらの信号X及びYの形状は、当業者に知られるフォワードフィッティング法を用いてフォワード信号フィルタにフィッティングされ、心臓の動きを予測するために使用され得る。
【００３７】
ここの図1-7の説明から、当業者は、限定されないが、何れかの解剖学的領域において行われる何れかの種類の内視鏡手術に対する本発明の適用を含む本発明の多数の利点を評価するであろう。
【００３８】
本発明の好ましい実施例が図示されると共に記載されているが、本明細書に記載の実施例が図示を目的とするものであり、様々な変形及び修正がなされてもよく、同等のものが、本発明の範囲から逸脱することなく、本発明の構成要素の代わりに使用されてもよいことは当業者によって理解されるであろう。更に、本発明の範囲から逸脱することなく、本発明の教示を特定の状況に適用するために多くの変形がなされてもよい。それ故に本発明が、本発明を実施するように意図されるベストモードとして開示される特定の実施例に限定されるものではないが、本発明が特許請求の範囲内における全ての実施例を含むことは意図される。
【図１】
0006334714.tif 000016
【図２】
0006334714.tif 000017
【図３】
0006334714.tif 000018
【図４】
0006334714.tif 000019
【図５】
0006334714.tif 000020
【図６】
0006334714.tif 000021
【図７】
0006334714.tif 000022