(57)【特許請求の範囲】
【請求項１】
内視鏡画像を生成するように動作可能である内視鏡、及び
解剖学的領域内において前記内視鏡を移動させるように動作可能であるロボット
を有する、ロボットユニットと、
前記内視鏡画像内における解剖学的特徴の術中視覚化のために、前記解剖学的領域内において、内視鏡ポーズを決定するように動作可能であり、前記内視鏡ポーズは、前記解剖学的領域の術前画像内における前記解剖学的特徴の体積座標位置の所与の規定から既知の関係に基づいてもたらされる、内視鏡コントローラ、及び
前記内視鏡画像内における前記解剖学的特徴を視覚化するために、前記解剖学的領域内において、前記内視鏡ポーズに前記内視鏡を移動させるように前記ロボットに命令するように動作可能である、ロボットコントローラ
を含む、制御ユニットと
を有する、ロボット制御システム。
【請求項２】
前記内視鏡コントローラは、前記内視鏡画像における視覚化のための、前記解剖学的特徴の選択を容易化するために、前記解剖学的特徴の記述をもたらすように更に動作可能である、請求項１に記載のロボット制御システム。
【請求項３】
前記解剖学的特徴の前記記述は、前記解剖学的特徴のコード及びランドマークネームの少なくとも一つを含む、請求項２に記載のロボット制御システム。
【請求項４】
前記内視鏡コントローラは、前記解剖学的領域の前記術前画像内における前記解剖学的特徴の前記体積座標位置の規定を容易化するために、前記術前画像に登録される前記解剖学的領域のアトラスをもたらすように動作可能である、請求項１に記載のロボット制御システム。
【請求項５】
前記内視鏡ポーズは、前記解剖学的領域の前記術前画像内における前記解剖学的特徴の内視鏡ビュー方向の所与の規定から既知の関係に基づいて更にもたらされる、請求項１に記載のロボット制御システム。
【請求項６】
前記内視鏡コントローラは、前記解剖学的特徴の前記体積座標位置の規定を容易化するために、前記解剖学的領域のランドマークネームのリストをもたらすように更に動作可能である、請求項１に記載のロボット制御システム。
【請求項７】
前記内視鏡コントローラは、前記解剖学的特徴の前記体積座標位置の規定を容易化するために、前記解剖学的領域のための、自然言語外科的命令を解読するように更に動作可能である、請求項１に記載のロボット制御システム。
【請求項８】
前記内視鏡コントローラは、前記術前画像内における前記解剖学的特徴の前記体積座標位置（X、Y、Z）を前記内視鏡画像内における前記解剖学的特徴のフレーム座標位置（x、y）に変換することにより前記視覚化を行うように更に動作可能である、請求項１に記載のロボット制御システム。
【請求項９】
内視鏡画像を生成するように動作可能である内視鏡、及び解剖学的領域内において前記内視鏡を移動させるように動作可能であるロボットのための制御ユニットであって、前記制御ユニットは、
前記内視鏡画像内における解剖学的特徴の術中視覚化のために、前記解剖学的領域内において、内視鏡ポーズを決定するように動作可能であり、前記内視鏡ポーズは、前記解剖学的領域の前記術前画像内における前記解剖学的特徴の体積座標位置の所与の規定から既知の関係に基づいてもたらされる、内視鏡コントローラと、
前記内視鏡画像内における前記解剖学的特徴を視覚化するために、前記解剖学的領域内において、前記内視鏡ポーズに前記内視鏡を移動させるように前記ロボットに命令するように動作可能である、ロボットコントローラと
を含む、制御ユニット。
【請求項１０】
前記内視鏡コントローラは、前記内視鏡画像内における視覚化のための前記解剖学的特徴の選択を容易化するために、前記解剖学的特徴の記述をもたらすように更に動作可能である、請求項９に記載の制御ユニット。
【請求項１１】
前記内視鏡コントローラは、前記解剖学的領域内において、前記内視鏡ポーズの選択を容易化するために、前記術前画像に登録される前記解剖学的領域のアトラスをもたらすように更に動作可能である、請求項９に記載の制御ユニット。
【請求項１２】
前記内視鏡ポーズは、前記解剖学的領域の前記術前画像内における前記解剖学的特徴の内視鏡ビュー方向の規定から更にもたらされる、請求項９に記載の制御ユニット。
【請求項１３】
前記内視鏡コントローラは、前記解剖学的特徴の前記体積座標位置の規定を容易化するために、前記解剖学的領域のランドマークネームのリストをもたらすように更に動作可能である、請求項９に記載の制御ユニット。
【請求項１４】
前記内視鏡コントローラは、前記解剖学的特徴の前記体積座標位置の規定を容易化するために、前記解剖学的領域のための、自然言語外科的命令を解読するように更に動作可能である、請求項９に記載の制御ユニット。
【請求項１５】
前記内視鏡コントローラは、前記術前画像内における前記解剖学的特徴の前記体積座標位置（X、Y、Z）を前記内視鏡画像内における前記解剖学的特徴のフレーム座標位置（x、y）に変換することにより前記視覚化を行うように更に動作可能である、請求項９に記載の制御ユニット。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は概して、最小限の侵襲性手術（例えば、最小限の侵襲性冠状動脈バイパス移植手術）の間の、内視鏡のロボット制御に関する。本発明は、特に内視鏡画像内における解剖学的特徴を視覚化するための、解剖学的領域内における、内視鏡ポーズの決定に基づくロボット制御に関する。
【背景技術】
【０００２】
最小限の侵襲性手術は、小さなポートを通じて患者の体に挿入される、細長い器具を使って実行される。内視鏡を含む手術のために、内視鏡カメラは、手術部位の視覚化をもたらすため、ポートに挿入される。例えば、医師助手が内視鏡を制御して、手術の間に内視鏡を特定の位置に移動させるため、外科医から指示を受けるが、外科医は、手術の間に、二つの腹腔鏡器具を持つと共に手動で制御し得る。
【０００３】
特に体への入口ポートにおける、回転ポイントのまわりに内視鏡及び器具を移動させるように要求される、困難な目と手の反射的な協調関係の場合、及び手術部位のビデオ映像、医師助手、及び外科医のレファレンスの異なる位置及びフレームの場合、内視鏡の正確な、所望の位置の、医師助手に対する、外科医のコミュニケーションは困難になる可能性がある。例えば、ビデオ映像の「左」は、医師助手の手における「右下」を意味し得る。これらの困難を克服するために、自動化された装置又はロボットを使用して内視鏡を制御することが、従来技術において提案されており、手術の間、この作業から、医師助手は基本的に除かれてきた。しかしながら、外科医が両手で二つの腹腔鏡器具を制御している場合、医師がロボット内視鏡を制御することができる方法は重要であり、いくつかの提案は従来技術で説明されてきた。
【０００４】
通常、ロボットシステムをガイドするための従来の方法は、異なる入力デバイス（例えば、ヘッドモーションセンサ、ジョイスティック、又はボイスコントロール）を使用してロボットをガイドするステップ、(2)内視鏡に対して解剖学的特徴の3次元位置を決定することによって、及び内視鏡又は外科用器具をその解剖学的特徴の方に移動させることによって、ライブ（生）の内視鏡画像を使用するロボットをガイドするステップ、又は(3)ライブ画像及び記録された術中画像を使用して、他のタイプの画像からロボットをガイドするステップに基づいている。
【０００５】
更に特定されることに、従来用途において知られている、人間・ロボットインタラクション（対話）方法は、ロボットを所望の位置に移動させるために、専門ハードウェア、又はライブの、及び／又は記録された術中画像の何れかを使う。これらの方法は、ユーザが、内視鏡に対して解剖学的関心特徴の位置を知っていることを仮定し、特定の解剖学的特徴が、内視鏡ビューで見え得ることを仮定する。解剖学的特徴が、内視鏡ビュー内で妨害されるかもしれず（例えば、冠状動脈は脂肪でカバーされているかもしれず）、又は内視鏡ビューの外側にあってもよいため、このことは常に真実というわけではない。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明は、特に（例えば、内視鏡ビュー内において妨害される、又は内視鏡ビューの外側にある）内視鏡画像において部分的又は完全に見え得る解剖学的特徴のために、解剖学的領域の内視鏡画像内において解剖学的特徴の術中視覚化を容易化するため、解剖学的領域の術前画像内における解剖学的特徴の体積座標位置を画定するための方法を提供する。
【課題を解決するための手段】
【０００７】
ここで用いられる用語「視覚化する」、又はその何れかのバリエーションは、解剖学的領域内において内視鏡のロボット制御を記述するために広く規定され、それによって、解剖学的関心特徴又は一つ若しくは複数のその区分（セクション）は、それ故に、内視鏡画像内で部分的若しくは完全に見え得るか、又は、部分的若しくは完全に内視鏡画像内における解剖学的特徴、又は一つ若しくは複数のその区分の輪郭の心象を形成する外科医になお影響されやすい内視鏡画像内で見え得ることが妨害される。
【０００８】
本発明の一つの形態は、ロボットユニット及び制御ユニットを使用しているロボット制御システムである。ロボットユニットは、内視鏡画像を生成するための内視鏡、及び解剖学的領域内において内視鏡を移動させるためのロボットを含む。制御ユニットは、内視鏡画像内における解剖学的特徴の術中視覚化のために解剖学的領域内において内視鏡ポーズを決定するために、内視鏡コントローラを含み、内視鏡ポーズは、解剖学的領域の術前画像内における解剖学的特徴の体積座標位置の画定からもたらされる。制御ユニットは、ロボットに、内視鏡画像内における解剖学的特徴を視覚化するために解剖学的領域内において内視鏡ポーズに内視鏡を移動させるように命令するロボットコントローラを更に含む。
【０００９】
本発明の第二の形態は、解剖学的領域内において内視鏡を移動させるための、ロボット及び内視鏡画像を生成するための、内視鏡のためのロボット制御方法である。ロボット制御方法は、内視鏡画像内における、解剖学的特徴の術中視覚化のために、解剖学的領域内における内視鏡ポーズの決定を含み、内視鏡ポーズは、解剖学的領域の術前画像内における解剖学的特徴の体積座標位置の画定からもたらされる。ロボット制御方法は、ロボットに、内視鏡画像内における解剖学的特徴を視覚化するために解剖学的領域内において内視鏡ポーズに内視鏡を移動させるように命令することをさらに含む。
【００１０】
ここで使用される用語「術前」は、解剖学的領域の3次元（「3D」）画像を得るための、解剖学的領域の内視鏡イメージングの後、間、又は前に実行される何れの動作も記述するように、広く規定される。解剖学的領域の術前イメージングの例は、これに限定されないが、解剖学的領域の内視鏡イメージングの前、間、又は後の、コンピュータ断層撮影（「CT」）イメージング、磁気共鳴（「MR」）イメージング、X線イメージング、及び3D超音波（「3D US」）イメージングを含む。
【００１１】
ここで使用される用語「術中」は、解剖学的領域の内視鏡イメージングの間、ロボットユニット及び／又は制御ユニットによって実行される何れの動作も記述するように、広く規定される。解剖学的領域の内視鏡イメージングの例は、これに限定されないが、冠状動脈バイパス移植、気管支鏡法、大腸内視鏡検査、腹腔鏡検査、及び脳内視鏡検査を含む。
【００１２】
従来技術で知られているように、当業者は、「解剖学的領域」及び「解剖学的特徴」の意味を評価するであろう。それにもかかわらず、解剖学的領域の例は、これに限定されないが、頭、首、胸部、腹部、背中、骨盤、及び会陰を含む。また、解剖学的特徴の例は、これに限定されないが、器官/器官組織の構成要素及び領域（例えば、心臓の血管、呼吸器系の気管、脳の小脳、胆嚢の基底部、Ｓ字結腸の領域）を含む。
【００１３】
本発明のいろいろな特徴及び効果と共に、本発明の前述の形態及び他の形態は、添付図面とともに読まれる、本発明のいろいろな実施例の以下の詳細な説明からさらに明らかになるであろう。詳細な説明及び図面は、限定的であるというよりむしろただ本発明を示すだけであり、本発明の範囲が添付のクレーム及びその対応部分によって規定される。
【図面の簡単な説明】
【００１４】
【図１】本発明によるロボット制御システムの実施例を図示する。
【図２】本発明によるロボット制御方法の実施例のフローチャート表示を図示する。
【図３】図2に示されるフローチャートの外科実施例を図示する。
【図４】本発明により解剖学的特徴画定モジュールの実施例を図示する。
【図５】図2に示されるフローチャートによる内視鏡の動きの実現例を図示する。
【図６】図2に示されるフローチャートによる内視鏡の動きの他の実現例を図示する。
【発明を実施するための形態】
【００１５】
図1で示されるように、ロボットガイドシステムは、解剖学的領域の一つ又はそれより多くの解剖学的特徴の内視鏡イメージングを含む何れかの内視鏡プロシージャのためのロボットユニット10及び制御ユニット20を使用する（そのような内視鏡プロシージャの例は、これに限定されないが、最小限の侵襲性心臓手術、最小限の侵襲性診断介入（例えば、関節鏡検査）、腹腔鏡手術、自然な開口部経腔的手術、一回の切り込み腹腔鏡手術、及び肺/気管支鏡検査の手術を含む。
【００１６】
実際、内視鏡イメージングは、それ故に何れの解剖学的領域内においても何れの解剖学的特徴又は一つ若しくは複数の区分であってもよい。それにもかかわらず、本発明の理解を容易化するために、実施例は、患者の胸部領域内において、心臓の左前下行動脈の内視鏡イメージングの状況で記述されるであろう。
【００１７】
ロボットユニット10はロボット11、ロボット11に固定して付けられる内視鏡12、及び内視鏡12付けられるビデオキャプチャー装置13を含む。
【００１８】
ロボット11は、特定の内視鏡プロシージャのために所望される、エンドエフェクタを移動させるために一つ又はそれより多くのジョイントの、機械化された制御で構造的に構成される何れかのロボット装置としてここに広く規定される。実際、ロボット11は、四つの自由度、例えば固定セグメントにシリアルに接続されるジョイントを有するシリアルロボット、パラレルオーダで取り付けられる固定セグメント（例えば、従来知られているスチュワートプラットホーム）及びジョイントを有するパラレルロボット、又はシリアル及びパラレルキネマティクスの何れかの複合形組合せを持っていてもよい。
【００１９】
内視鏡12は、体の内側からイメージングする性能で構造的に構成される何れかの装置としてここに広く規定される。本発明のための内視鏡12の例は、これに限定されないが、フレキシブル、又は固定の、何れかの種類のスコープ（例えば、内視鏡、関節鏡、気管支鏡、コレドコスコープ、結腸鏡、膀胱鏡、十二指腸スコープ、胃カメラ、子宮鏡、腹腔鏡、喉頭鏡、神経スコープ、耳鏡、プッシュ腸スコープ、鼻喉頭鏡、Ｓ字結腸鏡、上顎洞内視鏡、胸腔?など）、及び画像システム（例えば、イメージングを備える、入れ子カニューレ）を備えているスコープに類似した何れの装置も含む。イメージングは局所的であり、表面画像は、ファイバーオプティックス、レンズ、及び小型化された（例えばCCDによる）イメージングシステムで光学的に得られてもよい。
【００２０】
実際、内視鏡12は、ロボット11のエンドエフェクタに取り付けられる。ロボット11のエンドエフェクタのポーズは、ロボット11アクチュエータの座標系内のエンドエフェクタの位置及び方向である。ロボット11のエンドエフェクタに取り付けられる内視鏡12の場合、解剖学的領域内における内視鏡12（すなわち、内視鏡ポーズ）の視野の何れかの所与のポーズは、ロボット座標系内でロボット11のエンドエフェクタの識別ポーズに対応する。従って、内視鏡12によって生成される解剖学的領域の、各個別の内視鏡画像は、ロボット座標系内で内視鏡12の視野の、対応するポーズにリンクされてもよい。
【００２１】
ビデオキャプチャー装置13は、内視鏡12からの内視鏡ビデオ信号を、内視鏡画像（「IOEI」）14の、コンピュータ読取り可能な、一時的なシーケンスに変換する性能で構造的に構成される、何れかの装置としてここに広く規定される。実際、ビデオキャプチャー装置13は、内視鏡ビデオ信号から、個々のディジタルスチルフレームをキャプチャリングするために、何れのタイプのフレームグラバを使用してもよい。
【００２２】
更に図1を参照して、制御ユニット20は、ロボットコントローラ21及び内視鏡コントローラ22を含む。
【００２３】
ロボットコントローラ21は、内視鏡プロシージャのために所望される、ロボット11のエンドエフェクタのポーズを制御するために、一つ又はそれより多くのロボットアクチュエータ命令（「RAC」）29をロボット11にもたらすように構造的に構成される、何れかのコントローラとして、ここに広く規定される。更に特定されることに、ロボットコントローラ21は、内視鏡コントローラ22からの内視鏡位置命令（「EPC」）28をロボットアクチュエータ命令29に変換する。例えば、内視鏡位置命令28は、解剖学的領域内において内視鏡12の視野の、所望の3次元位置をもたらす内視鏡経路（パス）を示してもよく、それによって、ロボットコントローラ21は、解剖学的領域内における内視鏡12の視野の所望の3次元位置に内視鏡12を移動させるために必要とされる、ロボット11の各々のモーターのための、作動電流を含む命令29に命令28を変換する。
【００２４】
内視鏡コントローラ22は、本発明によるロボット制御方法及び図2に示される例を実現するように構造的に構成される、何れかのコントローラとして、ここに広く規定される。このために、内視鏡コントローラ22は、解剖学的特徴画定モジュール（「AFDM」）23、画像登録モジュール（「IRM」）24、解剖学的特徴選択モジュール（「AFSM」）25、及びビジュアルサーボモジュール（「VSM」）26を含んでいてもよい。
【００２５】
解剖学的特徴画定モジュール23は、内視鏡画像14内における、一つ又は複数の解剖学的特徴の術中視覚化のための、解剖学的領域の術前画像43内における、各々のその解剖学的関心特徴のための体積座標位置（X、Y、Z）を画定するためにユーザ入力（「UI」）27を処理するように構造的に構成される、何れかのモジュールとして、ここに広く規定される。特に、フローチャート30のステージS31によって例示的に実行される、解剖学的特徴画定が図2において示される。
【００２６】
従来技術で知られているように、画像登録モジュール24は、術前画像43及び内視鏡画像14を登録するように構造的に構成される何れかのモジュールとしてここに広く規定される。特に、フローチャート30のステージS32によって例示的に実行される画像登録が図2に示される。
【００２７】
解剖学的特徴選択モジュール25は、特定の解剖学的関心特徴又は一つ若しくは複数の区分の内視鏡表示選択のユーザ入力26を処理するように構造的に構成される、何れかのモジュールとして、ここに広く規定される。特に、フローチャート30のステージS33によって例示的に実行される解剖学的特徴選択は、図2に示される。
【００２８】
再び図1の文脈において、ここに使われる用語「視覚化」は、解剖学的領域内において内視鏡12のロボット制御を記述するように広く規定され、それによって、解剖学的関心特徴又は一つ若しくは複数のその区分は、内視鏡画像14内において部分的若しくは完全に見え得るか、又は、内視鏡画像14内において部分的若しくは完全に、解剖学的特徴、又は一つ若しくは複数のその区分の輪郭の心象を形成する外科医になお影響されやすい内視鏡画像14内で見え得ることが妨害される。
【００２９】
ビジュアルサーボモジュール26は、内視鏡画像14内において、選択された一つ若しくは複数の解剖学的特徴、又は一つ若しくは複数のその区分の視覚化を容易化する解剖学的領域内において、内視鏡12を決定して、内視鏡ポーズに移動させるように構造的に構成される、何れかのモジュールとして、ここに広く規定される。特に、フローチャート30のステージS34によって例示的に実行される内視鏡ポーズ決定が図2に示される。
【００３０】
フローチャート30の記述は、この場合、内視鏡コントローラ22の更なる理解を容易化するためにここにもたらされるであろう。
【００３１】
図2を参照すると、フローチャート30のステージS31は、術前画像43を取得する解剖学的特徴画定モジュール23を含む。例えば、図3で示すように、イメージング装置41（例えば、CT装置、MRI装置、X線装置、又は3D超音波装置）は、患者50の左右の冠状動脈51及び52を図示している、患者50の胸部領域の術前画像43を生成するように操作される。解剖学的特徴画定モジュール23は、術前画像43を取得してもよく、例示的に図3に示されるように、術前画像43はイメージング装置41によって生成され、又は例示的に図3に示されるように、先行してデータベース42に記憶される。
【００３２】
解剖学的特徴画定モジュール23は、解剖学的領域内において、その各々の解剖学的関心特徴又は一つ若しくは複数のその区分のための体積座標位置を画定するために術前画像43を処理する。実際、解剖学的特徴画定モジュール23は、一つ若しくは複数の解剖学的関心特徴、又は一つ若しくは複数のその区分を画定するための何れかの技術を実行してもよい。図4において示されるように一つの実施例において、解剖学的特徴画定モジュール23は、術前画像43内における一つ又は複数の解剖学的特徴の一つ又は複数の体積座標位置を画定するための4つのモード23a-23dをもたらす。
【００３３】
図4を参照すると、体積座標位置（「VCP」）モード23aは、モジュール23のユーザによって選択される、術前画像43内において、各々の解剖学的特徴の体積座標位置を画定する。具体的には、術前画像は、Ｘ軸、Ｙ軸、及びＺ軸によって規定される3D座標系を有する。ユーザは、術前画像43内における、解剖学的関心特徴、又は一つ若しくは複数のその区分に、又はｘ軸及びｙ軸によって規定される術前画像43内における、カーソルの二次元ビュー44にカーソル矢印を移動させてもよい。カーソルの所望のポシショニング（位置決め）の時に、ユーザは、解剖学的特徴の体積座標位置（X、Y、Z）の画定を容易化する、解剖学的特徴、又は一つ若しくは複数のその区分の選択（例えば、マウスクリック）をしてもよい。更に、ユーザは、内視鏡画像における所望のビューのために解剖学的特徴を方向付けるため、術前画像43内における、カーソルの対応する二次元ビュー44及び術前画像43を回転させることができてもよい。この場合、解剖学的特徴の方向は、体積座標位置（X、Y、Z）で画定される。カーソルの動き及びユーザ選択は、選択された解剖学的特徴の他の領域のために、及び／又はさらなる解剖学的特徴のために、所望されるように、繰り返されてもよい。
【００３４】
さらに、特に、ユーザが、解剖学的特徴の異なる区分（例えば、「左前下行動脈の上区分」、「左前下行動脈の中央区分」、及び「左前下行動脈の下区分」）に関心をもつとき、ネームは、選択された一つ若しくは複数の解剖学的特徴又は一つ若しくは複数のその区分（例えば、「左前下行動脈」）にユーザによって割り当てられてもよい。
【００３５】
解剖学的特徴ランドマーク（「AFL」）モード23bは、VCPモード23aのために、術前画像43内における、各々の解剖学的特徴又は一つ若しくは複数のその区分のための、ランドマークネームの所定のリスト45aをもたらす。リスト45aにおいて選択される何れのランドマーク（例えば、ランドマーク3としての左前下行動脈）も、カーソル矢印を介して術前画像43内でハイライトされる。ユーザは、解剖学的特徴の関心部分の一つ又は複数の区分を選択するために、ハイライトされた解剖学的特徴に対してカーソル矢印を移動させてもよい。カーソルの所望のポシショニングの時に、ユーザは、VCPモード23aによって記述される解剖学的特徴又はその区分のオプションの方向、及び体積座標位置（X、Y、Z）の画定を容易化する、解剖学的関心特徴の選択（例えば、マウスクリック）をしてもよく、解剖学的特徴、特に選択された一つ又は複数の区分をネーミングしてもよい。
【００３６】
自然言語インタプリタモード（「NTLI」）23cは、自然言語を解読して、VCP 23aのための、ランドマークリスト45bを生成するために、テキストインタプリタ（「TI」）47を使用する。具体的には、テキストインタプリタ47は、それから画定プロセス及び／又は内視鏡手術の間、内視鏡12を移動させるために用いられるように記憶される、解剖学的特徴に対する外科的な計画の間に生成されるフリーテキスト命令を解読して、変換するために使用される。解剖学的記述は、明確な医学オントロジでコードに抽出される（例えば、体系化（システム化）された医療命名法（「SNOMED」）又は解剖の基礎的なモデル（「FMA」））。
【００３７】
以下は、フリーテキスト報告の例である。「EKGは非特異性のSTセグメント変化を示している。心エコー検査法は、若干の軽い肥大を備える正常な左心室を示している。診断心臓カテーテル法に関して、左前下行動脈への障害が特定されている。回旋（曲折）系において約80%の狭窄があった。後下行動脈は、約70%の狭窄を有していた。バイパス手術が推奨される。」。このレポートから、テキストインタプリタ47は、左前下行動脈、回旋系、後下行動脈などの解剖学的特徴を抽出する。さらに、オントロジから、テキストインタプリタ47は、特定された解剖学的部分の間の解剖学的関係を決定してもよい（例えば、左下行動脈及び左回旋枝動脈は、左の主幹動脈から生じる）。さらに、「後行枝」のような通常の位置マーカが抽出されてもよく、特定のランドマークに関連付けられてもよい。その後、ランドマークリスト45bが、VCPモード23aのために、解剖学的領域の術前画像43内における解剖学的特徴をハイライトするため、ランドマークリスト45aと同じ態様で使われてもよい。
【００３８】
アトラス登録（「AR」）モード23dは、術前画像43に対する、解剖学的領域のアトラスの登録を含み、それによって、アトラスの各々の解剖学的特徴は、術前画像内における、対応する解剖学的特徴に関連付けられる。従って、ユーザは、VCPモード23aに類似した、解剖学的関心特徴又は一つ若しくは複数のその区分を選択して、画定するために、解剖学的領域のアトラスを使用してもよい。例えば、（図4における心臓のピクチャとして示される）術前画像43への胸部領域のアトラス48の登録は、アトラス48の解剖学的特徴が、術前画像43（例えばアトラス48の左前下行動脈49）内において、対応する解剖学的特徴に関連付けられることを可能にする。このように、アトラス48の解剖学的特徴又はその区分の選択は、術前画像43内における体積座標位置及びオプションの方向を画定する。
【００３９】
図2に戻ると、従来技術で知られているように、フローチャート30のステージS32は、術前画像43と共に内視鏡画像14を取得して、登録する画像登録モジュール24を含む。ある実施例において、モジュール24は、内視鏡画像14の、術前画像43との、ポイントベースの（ポイントによる）登録を実行してもよい。他の実施例において、モジュール24は、内視鏡画像14及び術前画像43における解剖学的特徴（例えば、血管ツリー）のグラフィカル表示のマッチングを含む、内視鏡画像14の、術前画像43とのグラフィカルマッチング登録を実行してもよい。
【００４０】
ステージS32の完了時に、フローチャート30のステージS33は、内視鏡画像14内における解剖学的特徴又はその区分を視覚化するための、解剖学的領域内における、内視鏡12の内視鏡ポーズの、後続する決定を容易化するために、解剖学的関心特徴又はその区分のVSM 26（図1）へのユーザ入力を受信する解剖学的特徴選択モジュール25を含む。実際、モジュール25は、解剖学的特徴の体積座標位置及びオプションの方向を画定するのに用いられるモード（図4）に依存して、解剖学的領域の一つ又はそれより多くのビューをもたらしてもよい。例えば、マークされたか、又はネーミングされた解剖学的特徴又は一つ若しくは複数のその区分が、設計されたコンピュータスクリーン又は解剖学的領域の画像において示されてもよく、それによってユーザは、解剖学的特徴又はその区分（例えば、キーボード、マウス、タッチスクリーン、ボイス命令、ジェスチャなど）を選択するために、画像又はスクリーンと対話してもよい。また、例によれば、登録されたアトラスがもたらされてもよく、それによって、ユーザは、解剖学的特徴又はその区分を選択するために、アトラスと対話してもよい。さらなる例によれば、ランドマークネームのリストは、解剖学的特徴又はその区分の選択を容易化するためにもたらされてもよい。
【００４１】
更に図2を参照すると、フローチャート30のステージS34は、内視鏡画像14内における、選択された解剖学的特徴又はその区分を視覚化して、ロボットコントローラ21に対して内視鏡位置命令28を生成し、それによって、内視鏡12（図1）を所定の内視鏡ポーズにガイドするために、解剖学的領域内において、内視鏡12の内視鏡ポーズを決定する、ビジュアルサーボモジュール26を含む。
【００４２】
具体的には、ステージS32の画像登録及びステージS33の解剖学的特徴選択から、術前画像43内における、画定された体積座標位置（X、Y、Z）は、術前画像43の体積座標位置（X、Y、Z）（例えば、内視鏡画像14の中央のフレーム座標位置）において解剖学的特徴の視覚化をもたらす内視鏡画像14内における、フレーム座標位置（x、y）に対応する。更に、フレーム座標位置（x、y）は、画定された内視鏡ビュー方向に従って方向付けられてもよい。
【００４３】
内視鏡12が較正される場合（すなわち、内視鏡画像14の光学的中心及び焦点距離のような内視鏡カメラパラメータが知られている）、従来技術で知られているように、内視鏡画像14内におけるフレーム座標位置（x、y）と解剖学的領域内における内視鏡12のポーズとの関係がもたらされてもよい。内視鏡12とロボット11のジョイントとの間の空間変換が、従来技術で知られているロボット較正プロシージャから知られていることをさらに仮定して、ロボットジョイントと画像空間との間の関係が抽出されてもよい。この関係は、従来技術において、画像ヤコビ行列式（ヤコビアン）と称される。画像ヤコビ行列式から、ロボットジョイント値が計算されて、それによって、ロボット11が、計算された体積座標位置（X. Y、Z）に内視鏡12を移動させた後、解剖学的特徴は、内視鏡画像14の所望のフレーム座標位置（x、y）（例えば、画像のセンタ）において位置させられる。
【００４４】
内視鏡12が較正されない場合、及び／又はロボット11のジョイントと内視鏡12との間の変換が知られていない場合、従来技術で知られている、内視鏡画像14内における、フレーム座標位置（x、y）に従って解剖学的特徴又はその区分を視覚化するために、ロボット11の非較正ビジュアルサーボが、解剖学的領域内において、内視鏡12を決定して、ポーズに移動させるために使用されてもよい（例えば、非較正の速度最適化方法）。
【００４５】
例えば、図5を参照すると、内視鏡画像14a内における解剖学的特徴51は、脂肪によってカバーされており、ビューから妨害される。それにもかかわらず、外科医が解剖学的特徴を選ぶと、内視鏡12は、解剖学的特徴51が内視鏡画像14bの中央においてもたらされるように、半球（球に触れる）上において移動させられ得る。内視鏡12が、画像14a及び14bにおいて示されるように、解剖学的特徴51の間の距離に基づいて、固定点のまわりで回転させられることは注意されるべきである。
【００４６】
更なる例によれば、図6を参照すると、選択された解剖学的特徴52は、内視鏡画像14cのビューの外側にもたらされる。内視鏡12は、内視鏡画像14dの中央において、解剖学的特徴52に、ここでも球50上において移動させられてもよい。更に特定されることに、内視鏡画像14c内におけるポイントの間の類似した距離は、ロボット11の非較正ビジュアルサーボのための補正動きパラメータを確認するために役立ち得る。
【００４７】
図2に戻ると、ステージS33及びS34は、ロボット11が内視鏡12を、解剖学的領域内において、各々の所望のポーズに移動させた時まで、ループにおいて実行されてもよい。
【００４８】
実際、モジュール23-26（図1）は、示されるように、内視鏡コントローラ22内に組み込まれるファームウェア、ソフトウェア、及び／又はハードウェアによって実現されてもよい。
【００４９】
ロボットコントローラ21及び内視鏡コントローラ22は、単一の身体的なコントローラ内に組み込まれる論理コントローラ又は身体的に別固のコントローラであってもよい。
【００５０】
ここの図1乃至6の記載から、当業者は、限定されないが、解剖学的領域内において、特定の解剖学的特徴又はその区分の視覚化を含む内視鏡手術の何れかのタイプへの本発明の適用を含む、本発明の多数の利点を評価するであろう。
【００５１】
本発明は、例示的な局面、特徴、及び実施例に関して記述されたが、開示されたシステム及び方法は、そのような局面、特徴、及び／又は実施例に限定されない。むしろ、ここにもたらされている記載から、当業者にとって容易に明らかにされるように、開示されたシステム及び方法は、本発明の範囲から逸脱することなく、修正、変更、及び拡張に影響される。したがって、本発明は、この範囲内において、そのような修正、変更、及び拡張を明確に含む。
【図１】
0006629186.tif 000002
【図２】
0006629186.tif 000003
【図３】
0006629186.tif 000004
【図４】
0006629186.tif 000005
【図５】
0006629186.tif 000006
【図６】
0006629186.tif 000007