(57)【要約】  手術処置での追跡及び制御の為のシステム及び方法。手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備するデバイスと、可視光源と、蛍光物質の励起波長に対応する蛍光光源と、可視光源及び蛍光光源を制御し、且つ得られた可視画像及び蛍光画像の少なくとも１つを取得してデジタル化する画像獲得及び制御要素と、臓器及び手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を可視画像及び蛍光画像に適用する画像ベースの追跡モジュールとを含むシステム。
2015523102.tif 000002
【特許請求の範囲】
【請求項１】
医療処置での追跡及び制御の為のシステムであって、
手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備するように構成されたデバイスと、
可視光源と、
前記蛍光物質の励起波長に対応する蛍光光源と、
前記可視光源及び前記蛍光光源を制御するように構成され、且つ得られた可視画像及び蛍光画像の少なくとも１つを取得してデジタル化するように構成された画像獲得及び制御要素と、
前記臓器及び前記手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を前記可視画像及び蛍光画像に適用するように構成された画像ベースの追跡モジュールと
を備えるシステム。
【請求項２】
手術ロボットと、
前記画像ベースの追跡モジュールから追跡情報を受信し、外科手術を行う為に前記追跡情報に基づいて前記手術ロボットを制御するように構成されたビジュアルサーボイング制御モジュールと
を更に備える請求項１に記載のシステム。
【請求項３】
前記ビジュアルサーボイング制御モジュールによる制御の代わりに、前記手術ロボットの手動制御を可能にするように構成された手動制御モジュール
を更に備える請求項２に記載のシステム。
【請求項４】
前記ビジュアルサーボイング制御モジュールが、手動入力を受信し、外科手術を行う為に前記手動入力に基づいて前記手術ロボットを制御するように更に構成される請求項２に記載のシステム。
【請求項５】
手術ロボットと、
手動入力を受信し、前記手術ロボットのマスタスレーブ制御を実行するように構成された手動制御モジュールと
を更に備える請求項１に記載のシステム。
【請求項６】
前記可視画像及び前記蛍光画像の少なくとも１つを表示するように構成されたディスプレイ
を更に備える請求項１に記載のシステム。
【請求項７】
前記画像ベースの追跡モジュールが、更に、前記検出された蛍光マーカに基づいて前記臓器又は前記手術ツールを識別する請求項１に記載のシステム。
【請求項８】
前記画像獲得及び制御要素が、
可視光、及び前記蛍光物質によって放出される光を代替的に通すように構成された動的調整可能なフィルタと、
可視画像及び蛍光画像の少なくとも１つを取得するように構成された電荷結合素子と
を更に備える請求項１に記載のシステム。
【請求項９】
前記ディスプレイが立体視又は単眼視である請求項６に記載のシステム。
【請求項１０】
前記画像獲得及び制御要素が、立体視画像又は単眼視画像を生成する請求項１に記載のシステム。
【請求項１１】
前記立体視ディスプレイが、可視画像と、蛍光画像のカラーコード化オーバーレイとを表示するように更に構成される請求項６に記載のシステム。
【請求項１２】
前記立体視ディスプレイが、前記画像ベースの追跡モジュールによって検出された標的点をオーバーレイすることによって、拡張現実画像を表示するように更に構成される請求項６に記載のシステム。
【請求項１３】
前記画像ベースの追跡モジュールによって提供される情報に基づいて、視覚、聴覚、及び触覚フィードバックの少なくとも１つをシステムオペレータに提供するように構成される請求項１に記載のシステム。
【請求項１４】
手動モード、半自律モード、及び自律モードのそれぞれで動作するように構成される請求項１に記載のシステム。
【請求項１５】
前記画像ベースの追跡モジュールが、重要構造を指定する為に、前記検出された蛍光マーカに基づいて仮想境界を識別する請求項１に記載のシステム。
【請求項１６】
前記重要構造を保護する為に、手術ツールが境界を通過しているかどうかを判断し、前記境界を通過している場合、運動に対する制約を提供する又はアラームを提供するように構成された検出デバイス
を更に備える請求項１５に記載のシステム。
【請求項１７】
前記蛍光光源が、近赤外（ＮＩＲ）光源である請求項１に記載のシステム。
【請求項１８】
前記蛍光物質を配備する前記デバイスが、吹付け、塗布、取付け、組織注射、又は静脈注射によって前記蛍光物質を配備するように構成される請求項１に記載のシステム。
【請求項１９】
医療処置を行う為の方法であって、
手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備するステップと、
可視光源、及び前記蛍光物質の励起波長に対応する蛍光光源で、前記臓器、前記手術ツール、又はその両方を照明するステップと、
前記可視光源及び前記蛍光光源による前記照明から得られた画像を取得してデジタル化するステップと、
前記臓器及び前記手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を前記デジタル化された画像に適用するステップと
を含む方法。
【請求項２０】
前記検出された蛍光マーカに基づいて前記臓器、前記手術ツール、又はその両方を追跡することによって、追跡情報を生成するステップ
を更に含む請求項１９に記載の方法。
【請求項２１】
外科手術を行う為に前記追跡情報に基づいて手術ロボットを制御するステップ
を更に含む請求項１９に記載の方法。
【請求項２２】
手動入力を受信するステップと、
前記外科手術を行う為に前記手動入力に基づいて前記手術ロボットを制御するステップと
を更に含む請求項２１に記載の方法。
【請求項２３】
手動入力を受信するステップと、
前記手動入力に基づいて手術ロボットのマスタスレーブ制御を実行するステップと
を更に含む請求項１９に記載の方法。
【請求項２４】
前記デジタル化された画像の立体視表示又は単眼視表示を提供するステップ
を更に含む請求項１９に記載の方法。
【請求項２５】
画像を取得してデジタル化する前記ステップが、立体視画像又は単眼視画像を生成するステップを更に含む請求項１９に記載の方法。
【請求項２６】
可視画像と、蛍光画像のカラーコード化オーバーレイとを表示するステップ
を更に含む請求項２４に記載の方法。
【請求項２７】
前記画像ベースの追跡モジュールによって検出された標的点をオーバーレイすることによって、拡張現実画像を表示するステップ
を更に含む請求項２４に記載の方法。
【請求項２８】
前記追跡情報に基づいて、視覚、聴覚、又は触覚フィードバックの少なくとも１つをシステムオペレータに提供するステップ
を更に含む請求項１９に記載の方法。
【請求項２９】
前記検出された蛍光マーカに基づいて前記臓器又は前記手術ツールを識別するステップ
を更に含む請求項１９に記載の方法。
【請求項３０】
前記検出された蛍光マーカに基づいて手術処置を行うステップ
を更に含む請求項１９に記載の方法。
【請求項３１】
前記検出された蛍光マーカに基づいて仮想境界を識別することによって、重要構造を指定するステップ
を更に含む請求項１９に記載の方法。
【請求項３２】
前記重要構造を保護する為に、手術ツールが境界を通過しているかどうかを判断し、前記境界を通過している場合、運動に対する制約を提供する又はアラームを提供するステップ
を更に含む請求項３１に記載の方法。
【請求項３３】
医療処置での追跡及び制御の為のシステムであって、
手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備する為の手段と、
可視光源と、
前記蛍光物質の励起波長に対応する蛍光光源と、
前記可視光源及び前記蛍光光源を制御する為の手段と、
得られた可視画像及び蛍光画像の少なくとも１つを取得してデジタル化する為の手段と、
前記臓器及び前記手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を前記可視画像及び蛍光画像に適用する為の手段と
を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、米国特許法第１１９条（ｅ）の下で、２０１２年４月１６日出願の米国特許出願第６１／６２４，６６５号からの優先権の利益を主張する。上記特許文献の内容全体を、参照により本明細書に組み込む。
【０００２】
本発明の実施形態は、一般に、手術及び介入医療処置での追跡及び制御の為の装置及び方法に関する。
【背景技術】
【０００３】
現在、自動手術におけるロバストな画像ガイダンスの為の技術は存在しない。いわゆる「ロボット手術」として市場で入手可能なものは、実際にはロボットに支援された手術に過ぎない。なぜなら、ロボットは、知能又は自律性をごくわずかしか有さず、外科医の直接のコマンドに従うに過ぎないからである。幾つかの研究グループが、既存のセンサを用いて手術ロボットに関する制御のループを閉じることを研究しているが、生体内での操作に当てはまる特殊な条件及び考慮事項が、そのような目的を達成するのを非常に難しくしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第８，２２９，５４８  Ｂ２号明細書
【特許文献２】米国特許出願第２０１１／００８２３６９号明細書
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明の実施形態は、現在のロボット支援手術ワークフローに対する最小限の変更しか必要としないロバストな追跡技法を導入し、エフェクタ機能を用いてループを閉じることによって、少なくともこの問題に対処する。
【０００６】
以下の詳細な説明を参照し、添付図面に関連付けて考察すれば、本明細書で述べる実施形態及びそれらの付随する利点の多くがより良く理解されるので、それらのより完全な理解が容易に得られよう。
【図面の簡単な説明】
【０００７】
【図１】手術タスクがビジュアルサーボイングによって一部自動化される半自律モードでの、本発明の提案される実施形態の全体構造を示す図である。
【図２】手動又はマスタスレーブロボット支援モードでのシステムの実施形態を示す図である。
【図３】監督付き自律機能を備えるシステムの一実施形態を示す図である。
【図４】含まれる主成分（即ち、ヘモグロビン（酸素化及び脱酸素化）、水、及び蛍光色素）に関連付けられる異なるスペクトル範囲を明瞭に表す、励起光及び放出光のスペクトル範囲を示す図である。励起と放出に関して異なるスペクトル範囲を有する蛍光色素（例えばシアニン色素）を合成することができる。
【図５】想像カットの周りに配置されたマーカの一例を示す図である。
【図６】２つの例示的な蛍光剤を用いて近赤外カメラを使用して取得された画像を示す図である。
【図７】一実施形態によるＮＩＲマーカの３次元（３Ｄ）座標を抽出する為のステレオ画像生成及び三角測量を示す図である。
【図８】例示的なロボット動作アルゴリズムに関する流れ図である。
【図９】別の例示的なロボット動作アルゴリズムに関する流れ図である。
【図１０】一実施形態による方法に関する流れ図である。
【図１１】一実施形態による計算デバイスのブロック図である。
【発明を実施するための形態】
【０００８】
本開示の一実施形態によれば、医療処置での追跡及び制御の為のシステムが述べられる。本システムは、手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備するように構成されたデバイスと、可視光源と、蛍光物質の励起波長に対応する蛍光光源と、可視光源及び蛍光光源を制御するように構成され、且つ得られた可視画像及び蛍光画像の少なくとも１つを取得してデジタル化するように構成された画像獲得及び制御要素と、臓器及び手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を可視画像及び蛍光画像に適用するように構成された画像ベースの追跡モジュールとを含む。
【０００９】
本システムの別の実施形態によれば、本システムには、手術ロボットと、画像ベースの追跡モジュールから追跡情報を受信し、外科手術を行う為に追跡情報に基づいて手術ロボットを制御するように構成されたビジュアルサーボイング制御モジュールとが更に含まれる。
【００１０】
本システムの別の実施形態によれば、本システムには、手術ロボットと、画像ベースの追跡モジュールから追跡情報を受信し、外科手術を行う為に追跡情報に基づいて手術ロボットを制御するように構成されたビジュアルサーボイング制御モジュールとが更に含まれる。
【００１１】
本システムの別の実施形態によれば、本システムには、ビジュアルサーボイング制御モジュールによる制御の代わりに、手術ロボットの手動制御を可能にするように構成された手動制御モジュールが更に含まれる。
【００１２】
本システムの別の実施形態によれば、ビジュアルサーボイング制御モジュールは、手動入力を受信し、外科手術を行う為に手動入力に基づいて手術ロボットを制御するように更に構成される。
【００１３】
本システムの別の実施形態によれば、本システムには、手術ロボットと、手動入力を受信し、手術ロボットのマスタスレーブ制御を実行するように構成された手動制御モジュールとが更に含まれる。
【００１４】
本システムの別の実施形態によれば、本システムには、可視画像及び蛍光画像の少なくとも１つを表示するように構成されたディスプレイが更に含まれる。
【００１５】
本システムの別の実施形態によれば、画像ベースの追跡モジュールは、更に、検出された蛍光マーカに基づいて臓器又は手術ツールを識別する。
【００１６】
本システムの別の実施形態によれば、画像獲得及び制御要素は、可視光及び蛍光物質によって放出される光を代替的に通過させるように構成された動的調整可能なフィルタと、可視画像及び蛍光画像の少なくとも１つを取得するように構成された電荷結合素子とを更に含む。
【００１７】
本システムの別の実施形態によれば、ディスプレイは、立体視又は単眼視である。
【００１８】
本システムの別の実施形態によれば、画像獲得及び制御要素は、立体視画像又は単眼視画像を生成する。
【００１９】
本システムの別の実施形態によれば、立体視ディスプレイは、可視画像と、蛍光画像のカラーコード化オーバーレイとを表示するように更に構成される。
【００２０】
本システムの別の実施形態によれば、立体視ディスプレイは、画像ベースの追跡モジュールによって検出された標的点をオーバーレイすることによって、拡張現実画像を表示するように更に構成される。
【００２１】
本システムの別の実施形態によれば、本システムは、画像ベースの追跡モジュールによって提供される情報に基づいて、視覚、聴覚、及び触覚フィードバックの少なくとも１つをシステムオペレータに提供するように構成される。
【００２２】
本システムの別の実施形態によれば、本システムは、手動モード、半自律モード、及び自律モードのそれぞれで動作するように構成される。
【００２３】
本システムの別の実施形態によれば、画像ベースの追跡モジュールは、重要構造を指定する為に、検出された蛍光マーカに基づいて仮想境界を識別する。
【００２４】
本システムの別の実施形態によれば、本システムは、重要構造を保護する為に、手術ツールが境界を通過しているかどうかを判断し、境界を通過している場合、運動に対する制約を提供する又はアラームを提供するように構成された検出デバイスを更に含む。
【００２５】
本システムの別の実施形態によれば、蛍光光源は、近赤外（ＮＩＲ）光源である。
【００２６】
本システムの別の実施形態によれば、画像獲得及び制御要素は、２つの電荷結合素子（ＣＣＤ）を含み、一方が可視スペクトルに割り当てられ、他方がＮＩＲスペクトルに割り当てられる。
【００２７】
本システムの別の実施形態によれば、可視光源及び蛍光光源によって発生された光は、ビーム分割又はダイクロマティックプリズムによって分割される。
【００２８】
システムの別の実施形態によれば、可視光源と、蛍光光源によって発生された光とは、２つのＣＣＤへの別個の光路を提供される。
【００２９】
本開示の一実施形態によれば、医療処置を行う為の方法が述べられる。本方法は、手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備するステップと、可視光源、及び蛍光物質の励起波長に対応する蛍光光源で、臓器、手術ツール、又はその両方を照明するステップと、可視光源及び蛍光光源による照明から得られた画像を取得してデジタル化するステップと、臓器及び手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理をデジタル化された画像に適用するステップとを含む。
【００３０】
本方法の別の実施形態によれば、本方法には、検出された蛍光マーカに基づいて臓器、手術ツール、又はその両方を追跡することによって追跡情報を生成するステップが更に含まれる。
【００３１】
本方法の別の実施形態によれば、本方法には、外科手術を行う為に追跡情報に基づいて手術ロボットを制御するステップが更に含まれる。
【００３２】
本方法の別の実施形態によれば、本方法には、手動入力を受信するステップと、外科手術を行う為に手動入力に基づいて手術ロボットを制御するステップとが更に含まれる。
【００３３】
本方法の別の実施形態によれば、本方法には、手動入力を受信するステップと、手動入力に基づいて手術ロボットのマスタスレーブ制御を実行するステップとが更に含まれる。
【００３４】
本方法の別の実施形態によれば、本方法には、デジタル化された画像の立体視表示又は単眼視表示を提供するステップが更に含まれる。
【００３５】
本方法の別の実施形態によれば、画像を取得してデジタル化するステップは、立体視画像又は単眼視画像を生成するステップを更に含む。
【００３６】
本方法の別の実施形態によれば、本方法には、可視画像と、蛍光画像のカラーコード化オーバーレイとを表示するステップが更に含まれる。
【００３７】
本方法の別の実施形態によれば、本方法には、画像ベースの追跡モジュールによって検出された標的点をオーバーレイすることによって、拡張現実画像を表示するステップが更に含まれる。
【００３８】
本方法の別の実施形態によれば、本方法には、追跡情報に基づいて、視覚、聴覚、又は触覚フィードバックの少なくとも１つをシステムオペレータに提供するステップが更に含まれる。
【００３９】
本方法の別の実施形態によれば、本方法には、検出された蛍光マーカに基づいて臓器又は手術ツールを識別するステップが更に含まれる。
【００４０】
本方法の別の実施形態によれば、本方法には、検出された蛍光マーカに基づいて手術処置を実施するステップが更に含まれる。
【００４１】
本方法の別の実施形態によれば、本方法には、検出された蛍光マーカに基づいて仮想境界を識別することによって重要構造を指定するステップが更に含まれる。
【００４２】
本方法の別の実施形態によれば、本方法には、重要構造を保護する為に、手術ツールが境界を通過しているかどうかを判断し、境界を通過している場合、運動に対する制約を提供する又はアラームを提供するステップが更に含まれる。
【００４３】
本開示の一実施形態によれば、医療処置での追跡及び制御の為のシステムが述べられる。本システムは、手術対象の臓器及び手術ツールの少なくとも１つに蛍光物質を配備する為の手段と、可視光源と、蛍光物質の励起波長に対応する蛍光光源と、可視光源及び蛍光光源を制御する為の手段と、得られた可視画像及び蛍光画像の少なくとも１つを取得してデジタル化する為の手段と、臓器及び手術ツールの少なくとも１つにある蛍光マーカを検出する画像処理を可視画像及び蛍光画像に適用する為の手段とを含む。
【００４４】
開示される実施形態は、管状構造（血管、胆管、尿路等）が繋がれて閉じられる自動吻合の分野で適用され得る。吻合は、あらゆる手術における４つの主要ステップの１つであり、それらの主要ステップは、１）切開部を通るアクセス；２）露出及び解剖；３）病理の切除及び除去；並びに４）再構成及び閉止（吻合）である。現在、吻合は、縫合によって、又は吻合部位にクリップ若しくは接着剤を適用することによって行われている。吻合処置は、手動で行われることも、マスタスレーブ制御によってロボットを使用することによって行われることもあるが、どちらの技法も非常に時間がかかり、難しいものである。本発明の実施形態は、デュアルスペクトルイメージング技術を使用して検出及び追跡することができる蛍光マーカを（ミニチュアクリップ、吹付け、塗布、テープ等によって）適用することによって、外科医が吻合部位にマークすることができるようにする。更に、指定の位置で縫合／クリップ／接着剤又は溶接を適用する為に、この追跡情報を使用してビジュアルサーボイングによってロボットシステムを制御することができる。
【００４５】
本発明の実施形態は、限定はしないが、以下のものを含む幾つかの他の用途を有する。
【００４６】
手術の他のステップの自動化：露出及び解剖、並びに病理の切除及び除去を含む、手術の全ての部分の自動化。
【００４７】
自動化された腫瘍切除／アブレーション：蛍光色素を使用して腫瘍が塗布され、腫瘍を切除又はアブレーションする様にロボットシステムが案内／制御される。これは、腎部分切除や肝切除等の用途に適用することができる。
【００４８】
手動又はマスタスレーブロボット手術の支援：手動手術及びマスタスレーブ制御式のロボット手術用の外科医への視覚的ガイドとしてこの技術を使用することができる。外科医が、重要構造にマークすることができる。これにより、手術中に外科医がツール及び構造を明瞭に見ることができる。
【００４９】
表面下にある若しくは深い結節又は内臓内の病変の切除前又は切開前の生検位置特定。
【００５０】
正確な再近似、組織の方位測定、又は開放手術中の手術領域の正確な再較正の為の基準マーカ。
【００５１】
内視鏡処置中の運動追跡／メモリの為の位置マーカ。
【００５２】
この技術の実施形態の幾つかの変形形態を以下に列挙する。
【００５３】
この技術は、異なる波長で励起／光放出を行う複数の色素と共に使用することができる。これは、複数の物体を追跡する為に本来的に異なるマーカを有するように適用することができる。一実施形態では、自動吻合前に管状構造の２つの側部にマークする為に蛍光色素Ａ及びＢが使用される。
【００５４】
マーカは、内側と外側の両方で標的に適用することができる。蛍光色素は、クリップ、ステープル、接着剤によって標的に取り付けても、塗布又は吹付けによって塗布しても良い。また、色素は、特定の点にマークする為に組織に注射することも、血液を通して注射することもできる。色素は、特定の構造（腫瘍等）にマークする為に、特定のタイプの細胞と結合するように選択することができる。
【００５５】
手術ツールが重要構造に接近するのを防止する為に「進入禁止区域（ｎｏ−ｆｌｙ  ｚｏｎｅｓ）」又は「仮想固定機能（ｖｉｒｔｕａｌ  ｆｉｘｔｕｒｅｓ）」を提供する。即ち、この実施形態では、外科医は、タスク前に重要構造にマークし、マークされた境界が、デュアルモードイメージング技術を使用して追跡される。自律又は半自律タスク中に手術ツールの運動に制約を課す為に、座標が使用される。これはまた、手動タスク中にアラーム（視覚／聴覚又は触覚）を提供する為に使用することもできる。
【００５６】
イメージングシステムは単眼視で良く、追跡される点の２次元位置を提供することができ、これは、場合により、画像ベースのビジュアルサーボイングの為に使用することができる。イメージングシステムは立体視でも良く、追跡される構造の３次元位置を提供し、従って画像ベース又は位置ベースのビジュアルサーボイングの為に使用することができる。
【００５７】
この技術の実施形態は、自律又は半自律用途に適用することができる。また、可視、聴覚、又は触覚フィードバックによる手動操作の為のガイドを提供することもできる。
【００５８】
手術処置の自動化は、非常に難しい課題である。手術状況は動的に変化しており、変形し得る臓器が外科医の視界を妨げることがあり、照明の変化が、患者の体内の任意の標的及び物体をロバストに追跡することを非常に難しくする。最小侵襲性手術及び／又は開放手術用の画像ベースの追跡アルゴリズムを開発する為に幾つかの試みが成されているが、特殊な条件に依存しており、ロバストでない。従って、任意の手術ツールを制御する為、又は手術の一部を自動化する為に使用することはできない。
【００５９】
本発明の実施形態は、可視スペクトル及び近赤外（ＮＩＲ）スペクトルで撮像することができるデュアルスペクトルイメージングデバイスを使用することによってこれらの制限に対処する。外科医が、追跡すべき位置（例えばツール及び組織）に蛍光マーカを配置する。次いで、イメージングデバイスによって発生される励起光により、蛍光体がＮＩＲ光を放出し、これがイメージングデバイスによって検出される。その結果、本システムは、（ａ）蛍光色素に比べて組織の自発蛍光が限られていること、及び（ｂ）患者の体内に他のＮＩＲ源がないことにより、高い信号対雑音比（ＳＮＲ）を有する。この高いＳＮＲは、任意の追跡アルゴリズムをよりロバストで高信頼性にする。ＮＩＲ光は、可視光とは対照的に、組織内への良好な透過性を有する。これは、物体が別の臓器によって遮られた場合、裏返された場合、血液によって覆われた場合等でさえ物体を追跡できるようにする。可視画像とＮＩＲ画像の組合せを使用して、画像ベースの追跡アルゴリズムをより一層ロバストにすることができる。
【００６０】
一実施形態は、手術タスクの自動化の為のシステムを述べる。これは、手術対象の臓器及び／又は手術ツールに蛍光マーカを配備し、リアルタイムでマーカを追跡し、ビジュアルサーボイングによって手術ツールを制御することに基づく。
【００６１】
図１、図２、及び図３は、本システムに関する様々な動作モードを表す。蛍光マーカが、吹付け、塗布、取付け、又は他の技法によって臓器（例えば吻合すべき胆管の２つの側部）に配備される（１１１）。また、マーカは、インドシアニングリーン（ＩＣＧ）等の蛍光色素と生体適合性接着剤とを混合して（シアノアクリレート−ＩＣＧ混合物）、ピペットによって送給する又は吹き付ける等、幾つかの技法によって生成することができる。また、マーカは、十分な蛍光を提供する任意の要素によって生成することもできる。
【００６２】
図４は、蛍光色素のスペクトル特性を示す。励起波長と放出波長の分離は、励起光源によって引き起こされる干渉を大幅に減少させる。蛍光色素は、近赤外画像での高い信号対雑音比を実現する為に、可視光範囲を超える放出波長を有するように選択することができる。また、水４０２及びヘモグロビン４０３のピーク吸収波長から離れた蛍光放出波長４００及び励起波長４０１を有することが、より強い信号を提供し、（高い含水量を有する）軟組織及び血液の存在時に蛍光マーカを追跡することを容易にする。
【００６３】
一実施形態では、複数の構造、臓器、及びツールを追跡する助けとなるように、複数の異なるマーカが使用される。異なるマーカを使用することで、同様のマーカの数が減少されるので、追跡に関するエラーレートが減少される。マーカの区別は、マーカのサイズ若しくは体積及び／又は形状を異なるものにすることによって、及び／又は異なる波長で励起／光放出を行う色素を使用することによって実現することができる。一実施形態では、自動吻合前に管状構造の２つの側部にそれぞれマークする為に、３マイクロリットルの体積を有するマーカと、６マイクロリットルの体積を有するマーカとが使用される。別の実施形態では、７９０ｎｍで光放出する蛍光色素が、進入禁止区域に対応し、異なる波長８３０ｎｍが、構造の縁部に対応する。
【００６４】
一実施形態では、各構造（即ち、臓器、流通区域）が、構造識別番号を割り当てられる。同様に、外科医が吻合部位にある構造にマークする場合、各マーカは、一意の識別番号を自動的に割り当てられ、そのマーカが取り付けられる構造識別番号を自動的に標識付けされる。マーカが追跡される場合、各マーカのラベルは、そのマーカが属する構造及びそのオーバーレイカラーを決定する為に使用される。この追跡は、コンピュータプロセッサによって実装されるテーブル又はデータベース、及び対応するソフトウェア命令を使用して行うことができる。
【００６５】
図５は、想像カットの周りに配置されたマーカを示す。カットの上側にある第１の組のマーカ４５１は第１の色（例えば黄色）でラベルされ、カットの下側にある第２の組のマーカ４５２は第２の色（例えば緑色）でラベルされる。
【００６６】
図１〜図３は、２つの光源１０２及び１０４がシーンを照明する方式を例示する。一方の光源１０４は、可視光源であり、臓器の通常の画像を獲得することを可能にする。他方の光源１０２は、蛍光物質の励起波長に従って選択される（例えば近赤外範囲内の）狭帯域光源である。「動的調整可能なフィルタ」１０３は、リアルタイムでフィルタの特性を変えて、可視光、及び蛍光物質によって放出される光を代替的に通す。各瞬間に、フィルタ１０３は、一方のタイプの光のみを通し、他方を阻止する。広帯域ＣＣＤ１０５が、各光源から受け取った光の画像を取得する。光源１０２及び１０４と、調節可能なフィルタ１０３と、ＣＣＤ１０５での画像取得とは、画像獲得及び制御モジュール１０６によって制御及び同期される。画像獲得システムは、高いフレームレート（例えば６０Ｈｚ〜１２０Ｈｚ）で動作し、従って、異なる波長を有する２つのイメージングシステムのように動作する。別の実施形態では、ＮＩＲ光及び可視光は、ビーム分割又はダイクロマティックプリズムを使用することによって分割され、２つのＣＣＤが画像を取得し、一方が可視スペクトル用であり、他方がＮＩＲスペクトル用である。更に別の実施形態では、２つの別個のＣＣＤへの、ＮＩＲ光と可視光の両方のための別個の光路が存在する。これらの概念は全て、複数波長イメージングシステムに容易に拡張することができる。また、画像獲得及び制御モジュール１０６は、画像を取得してデジタル化し、それらを２つのより高次のモジュール１０７及び１０９に提供する。立体視ディスプレイ１０９は、獲得された可視画像を提供する。立体視ディスプレイ１０９はまた、蛍光画像をカラーコード化オーバーレイとして表示することもでき、又は画像ベースの追跡モジュール１０７によって検出された標的点をオーバーレイすることによって拡張現実画像を表示することもできる。画像ベースの追跡モジュール１０７は、ツール及び臓器を追跡する為に蛍光マーカを検出する為の画像処理アルゴリズムを適用する。追跡の為に視覚的特徴を使用することもできる。
【００６７】
また、画像ベースの追跡モジュール１０７は、ＮＩＲ画像の前処理、及び処理後の画像情報に基づく視覚的追跡を行う追跡モジュールも含む。一実施形態では、前処理アルゴリズムは、画像処理アルゴリズム、例えばセンサ雑音の効果を軽減する為の画像平滑化、画素強度値を高める為の画像ヒストグラム均等化、及びＮＩＲマーカに関するテンプレートを抽出する為の画素強度値に基づく画像セグメント化を含む。まず、視覚的追跡機能が初期化される。視覚的追跡機能の初期化は、ＮＩＲマーカの検出及びセグメント化によって始まる。セグメント化は、ＮＩＲマーカに関する２値テンプレートを得る為に、強調されたＮＩＲ画像に対して適応強度しきい値を適用することに基づく。セグメント化雑音を除去する為に、２次元（２Ｄ）メジアンフィルタ及び追加のモルフォロジベースの２項演算子（画像エロージョン及びダイレーション等の２値画像処理アルゴリズム）が２値テンプレートに適用されることもある。２値テンプレートは、視覚的追跡アルゴリズムを使用するＮＩＲマーカの視覚的追跡の為の基礎として使用することができる。前処理及びセグメント化後、ＮＩＲテンプレートは、より暗い背景上の白い斑点であり、背景は、ＮＩＲ画像内の手術野の残りの部分を表す。
【００６８】
「半自律」及び「監督付き自律」モードをそれぞれ表す図１及び図３において、外科医１００は、監督者（１００−ｓ）として手術ロボットと対話し、必要な場合にはいつでもマスタコンソールを介して制御を受け取る。半自律モード（図１）では、外科医１００はまた、手術中にビジュアルサーボイング制御装置１０８にコマンドを提供する。ビジュアルサーボイング制御装置１０８は、画像ベースの追跡モジュール１０７から追跡情報を受信し、これらを外科医１００からの手術中コマンドと組み合わせ、適切なコマンドをリアルタイムでロボットに送信して、手術ロボット１０１及び手術ツール１１０を制御して所定の目的（例えば吻合）を達成する。外科医１００は、立体視ディスプレイを見ている間に、視覚、聴覚、又は触覚フィードバック１１０を提供されることもある。
【００６９】
手動モード（図２）では、外科医は、手動で（従来の腹腔鏡手術等）又はロボットアームのマスタスレーブ制御によって手術ツールを制御する（２０１）。外科医は、立体視ディスプレイ（１０９）を介して視覚フィードバックを受信し、他の視覚、聴覚、又は触覚フィードバックを更に提供されることもあるが、制御ループは、外科医によってのみ閉じられる。
【００７０】
自律モード（図３）では、合併症を防止する為、誤ったアクションを修正する為、又は他の理由により外科医が自律制御を停止して制御を受け取る場合（１００−ｓ）以外は、制御ループは、ビジュアルサーボイングによってのみ閉じられる。
【００７１】
ロボットの運動を案内する為に、追跡される可視マーカが使用される。各可視マーカは、代表的な数値ベクトルによって表現され、これは、典型的には視覚的特徴と呼ばれる。視覚的特徴の例は、２値画像から抽出されたＮＩＲマーカの中心の座標、及び／又はそれらのより高次の画像モーメント（画素の数に関するそれらの面積等）である。
【００７２】
図６は、２つの例示的な蛍光剤を用いてＮＩＲカメラを使用して取得された画像を示す。画像６０１は、画像処理後の２値画像を示す。画像６０２は、視覚的追跡情報として使用することができるデータを示す。
【００７３】
ロボット運動は、センサ測定値を、ロボットに関するグローバル直交座標系に変換することによって行われる。一実施形態では、図７に示されるように、手術野に対するマーカ又はツールの３Ｄ座標を計算する為に、ステレオ画像内でＮＩＲ及びツールマーカが追跡される。
【００７４】
特に、図７は、ＮＩＲマーカの３次元（３Ｄ）座標を抽出する為のステレオ画像生成及び三角測量を示す。これらの３Ｄ座標は、開ループ又は閉ループアーキテクチャで、ロボット運動制御アルゴリズムによって使用される。ツール位置とマーカ位置との誤差が計算されて、望ましいツール変位を生み出す為に使用される。
【００７５】
運動制御フィードバックループがセンサ空間内で閉じている場合、較正誤差の影響が限られる。これは、監督付き自律に関して望ましい。ロボットのビジョンベースの閉ループフィードバック運動制御は、ビジュアルサーボイングと呼ばれる。制御アーキテクチャに基づくビジュアルサーボイングに対する２つの主要な手法が存在する。即ち、位置ベースのビジュアルサーボイング（ＰＢＶＳ）と、画像ベースのビジュアルサーボイング（ＩＢＶＳ）である。どちらの手法も、実現可能な選択肢である。ＰＢＶＳでは、ロボットツールの位置が推定され、推定位置と目標ツール位置とに基づいて誤差が推定される。ＩＢＶＳでは、ロボットツールが目標位置にある場合にタスク誤差がゼロであるように、画像空間内でタスク誤差を計算する為に画像特徴が直接使用される。どちらの制御手法も、誤差をゼロにする運動を生み出す。
【００７６】
ＮＩＲベースのロボット運動制御は、従来開発されていなかった中核技術である。ＮＩＲベースのイメージング（ロボット制御を有さない。フランジオーニ（Ｆｒａｎｇｉｏｎｉ）２０１２年、（特許文献１））及びＮＩＲベースのディスプレイ（モール（Ｍｏｈｒ）及びモール（Ｍｏｈｒ）、（特許文献２））に関する従来の方法及び装置は、ロボット運動制御又は任意の制御を何ら考慮できていない。適切なフィルタを備える２つのＮＩＲカメラからなるステレオイメージングシステムを用いて、適切に励起されたＮＩＲ剤をどちらのステレオ画像でも見ることができる。画像内の各ＮＩＲマーカを視覚的に追跡する為に、画像ベースの追跡モジュール１０７によって実施されるような上述したアルゴリズム等、画像処理及び視覚的追跡アルゴリズムが利用される。マーカ位置の３Ｄ推定値は、左側のＮＩＲステレオ画像７０１と右側のＮＩＲステレオ画像７０３との対で見られるように、ＮＩＲマーカ画像の三角測量によって見出される。次いで、ＮＩＲマーカの３Ｄ推定値を、ＲＧＢ画像７０２内にオーバーレイとして再投射することができる。また、ステレオ画像対からツール位置も見出される。ステレオＮＩＲシステムは、ＮＩＲ観察が可能な３Ｄ感知カメラによって置き換えることができる。
【００７７】
本明細書で述べる実施形態は、非ステレオ用途でも非常に有用である。例えば、本システムは、単眼カメラ用途向けに実装することができる。手動及びマスタスレーブモード（図２）に関しては、単眼カメラ画像で十分である。半自律モードでは、ロボットが位置決めタスクを実施する為に、標的点の深さが重要である。ステレオイメージングは、深さ情報を提供することができる。しかし、飛行時間、コノスコープ、レーザ、及び他の深さカメラ等、第２のカメラを必要としない利用可能な他の深さセンサが存在する。また、本発明は、手動及びマスタスレーブモード用の単眼カメラと協働する。半自律モードでは、本発明の実施形態は、単眼カメラ及び追加の深さセンサとも協働する。
【００７８】
図８及び図９は、システムによって実施される例示的なロボット動作アルゴリズムの２つの流れ図を示す。例えば、図８は、ロボット結紮の為のアルゴリズムを示し、図９は、ロボット縫合の為のアルゴリズムを示す。マーカ位置は、結紮３Ｄ位置（図８）及び縫合３Ｄ位置（図９）を推定する為に使用される。流れ図は、位置推定に従うロボット運動を表す。
【００７９】
図８に示されるように、ロボット動作アルゴリズムは、ステップＳ８０１で、結紮の推定を行うことから始まる。ステップＳ８０２で、結紮ずれが決定され、ロボットに通信される。ステップＳ８０３で、ロボットが移動して、縫合場所の上で浮動する。ステップＳ８０４で、接近プロセスが行われる。この接近プロセスでは、ロボットは、検出されたマーカに基づいて得られる位置情報を考慮に入れる。従って、ロボットは、ビジュアルサーボイングを使用して、ＮＩＲマーカに向けて針を案内する。ステップＳ８０５で、針がトリガされる。このトリガは、ロボットが結紮から所定の距離に近付いた時に実行することができる。ステップＳ８０６で、ロボットは、十分な糸を引っ張るようにツールを引き上げる。ステップＳ８０７で、ロボットは、十分な張力Ｆが糸で測定されるまで、ツールを更に引き上げる。このプロセスは、結紮での望まれるループの数だけ繰り返される。
【００８０】
図９は、ロボット縫合プロセスの一例である。ステップＳ９０１で、縫合３Ｄ位置トラックが推定される。ステップ９０２で、縫合ずれが決定される。ステップＳ９０３で、ロボットが移動して、縫合場所の上で浮動する。ステップＳ９０４で、ロボットは、ビジュアルサーボイングを使用して、ＮＩＲマーカによって示される場所に向けて針を進める。ステップＳ９０５で、縫合がトリガされる。ステップＳ９０６で、糸の長さの推定値が計算される。この推定値を使用して、ステップＳ９０７で、ロボットは、針を引き上げて縫合を完了する。ステップＳ９０８、Ｓ９０９で、ロボットは、糸で張力Ｆが測定されるまで針を引き上げる。張力がＦよりも大きい場合、本システムは終了する。
【００８１】
図１０は、一実施形態による全体のプロセスを示す。ステップＳ１００１で、蛍光色素マーカが手術野に配備される。色素マーカは、例えば、吹付け、塗布、取付け、組織注射、静脈注射等によって配備することができる。ステップＳ１００２で、手術野が蛍光光源及び可視光源で照明される。ステップＳ１００３で、光がカメラによって取得される。カメラによって取得された光は、可視範囲内とＩＲ範囲内の両方である。ステップＳ１００４で、画像内のマーカを識別する為に、得られた画像が前述の画像処理アルゴリズムによって処理される。ステップＳ１００５で、検出されたマーカに基づいて、マーカによってマークされているツール又は臓器が追跡される。この追跡は、詳細に前述したものであり、ツール、臓器、又は手術野内の物体の他のマーク部分の位置を、それぞれの要素に関連付けられるマーカに基づいて決定することを含む。ステップＳ１００６で、追跡に基づいて立体表示が提供される。ステップＳ１００８で、視覚、聴覚、及び触覚フィードバックが外科医に提供される。ステップＳ１００９で、追跡に基づいてロボットが制御される。
【００８２】
例えば、画像処理や視覚的追跡アルゴリズム等、開示される処理の特定の部分又は全てを、何らかの形態のコンピュータマイクロプロセッサを使用して実装することができる。当業者は、コンピュータプロセッサを、ディスクリート論理ゲート、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他のコンプレックスプログラマブル論理デバイス（ＣＰＬＤ）として実装することができることを理解されよう。ＦＰＧＡ又はＣＰＬＤの実装は、ＶＨＤＬ、Ｖｅｒｉｌｏｇ、又は任意の他のハードウェア記述言語でコード化することができ、コードは、ＦＰＧＡ又はＣＰＬＤ内部の電子メモリに直接記憶することも、独立した電子メモリに記憶することもできる。更に、電子メモリは、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、又はＦＬＡＳＨメモリ等、不揮発性でも良い。また、電子メモリは、スタティックＲＡＭ又はダイナミックＲＡＭ等、揮発性でも良く、マイクロコントローラ又はマイクロプロセッサ等のプロセッサを、電子メモリを管理する為、及びＦＰＧＡ又はＣＰＬＤと電子メモリとの間の対話を管理する為に提供することができる。
【００８３】
代替として、コンピュータプロセッサは、本明細書で述べる機能を実施するコンピュータ可読命令のセットを含むコンピュータプログラムを実行することができ、このプログラムは、上述した非一時的な電子メモリ及び／又はハードディスクドライブ、ＣＤ、ＤＶＤ、ＦＬＡＳＨドライブの任意のもの、又は任意の他の既知の記憶媒体に記憶される。更に、コンピュータ可読命令は、ユーティリティアプリケーション、バックグラウンドデーモン、又はオペレーティングシステムのコンポーネント、又はそれらの組合せとして提供することができ、それらは、インテル（Ｉｎｔｅｌ）（米国）からのゼノン（Ｘｅｎｏｎ）プロセッサ又はＡＭＤ（米国）からのオプテロン（Ｏｐｔｅｒｏｎ）プロセッサ等のプロセッサ、並びにマイクロソフト・ビスタ（Ｍｉｃｒｏｓｏｆｔ  ＶＩＳＴＡ）、ユニックス（ＵＮＩＸ）、ソラリス（Ｓｏｌａｒｉｓ）、リナックス（ＬＩＮＵＸ）、アップル（Ａｐｐｌｅ）、ＭＡＣ−ＯＳＸ、及び当業者に知られている他のオペレーティングシステム等のオペレーティングシステムと共に動作する。
【００８４】
更に、コンピュータベースのシステムを使用して、実施形態の幾つかの機能を実施することができる（図１１）。コンピュータ１０００は、情報を通信する為のバスＢ又は他の通信メカニズムと、バスＢと結合された、情報を処理する為のプロセッサ／ＣＰＵ１００４とを含む。また、コンピュータ１０００は、バスＢに結合された、プロセッサ／ＣＰＵ１００４によって実行すべき情報及び命令を記憶する為のメインメモリ／メモリユニット１００３、例えばランダムアクセスメモリ（ＲＡＭ）又は他のダイナミック記憶デバイス（例えば、ダイナミックＲＡＭ（ＤＲＡＭ）、スタティックＲＡＭ（ＳＲＡＭ）、及び同期ＤＲＡＭ（ＳＤＲＡＭ））を含む。更に、メモリユニット１００３は、ＣＰＵ１００４による命令の実行中に一時変数又は他の中間情報を記憶する為に使用することができる。また、コンピュータ１０００は、バスＢに結合された、ＣＰＵ１００４の為のスタティック情報及び命令を記憶する為の読み出し専用メモリ（ＲＯＭ）又は他のスタティック記憶デバイス（例えば、プログラマブルＲＯＭ（ＰＲＯＭ）、イレーザブルＰＲＯＭ（ＥＰＲＯＭ）、及び電気的イレーザブルＰＲＯＭ（ＥＥＰＲＯＭ））を更に含むこともある。
【００８５】
また、コンピュータ１０００は、バスＢに結合された、情報及び命令を記憶する為の１つ又は複数の記憶デバイスを制御する為のディスク制御装置、例えば、マスストレージ１００２、及びドライブデバイス１００６（例えば、フロッピーディスクドライブ、読み出し専用コンパクトディスクドライブ、読み出し／書き込みコンパクトディスクドライブ、コンパクトディスクジュークボックス、テープドライブ、及びリムーバブル光磁気ドライブ）を含むこともできる。記憶デバイスは、適切なデバイスインターフェース（例えば、スモールコンピュータシステムインターフェース（ＳＣＳＩ）、統合デバイスエレクトロニクス（ＩＤＥ）、エンハンストＩＤＥ（Ｅ−ＩＤＥ）、ダイレクトメモリアクセス（ＤＭＡ）、又はウルトラＤＭＡ）を使用してコンピュータ１０００に追加することができる。
【００８６】
また、コンピュータ１０００は、特殊目的論理デバイス（例えば特定用途向け集積回路（ＡＳＩＣ））、又は設定可能な論理デバイス（例えばシンプルプログラマブル論理デバイス（ＳＰＬＤ））、コンプレックスプログラマブル論理デバイス（ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含むこともある。
【００８７】
また、コンピュータ１０００は、バスＢに結合された、コンピュータユーザに情報を表示する為に陰極線管（ＣＲＴ）等のディスプレイを制御する為のディスプレイ制御装置を含むこともある。コンピュータシステムは、コンピュータユーザと対話し、プロセッサに情報を提供する為の、キーボードやポインティングデバイス等の入力デバイスを含む。ポインティングデバイスは、例えば、プロセッサに方向情報及びコマンド選択を通信する為、及びディスプレイ上でのカーソル運動を制御する為のマウス、トラックボール、又はポインティングスティックで良い。更に、プリンタが、コンピュータシステムによって記憶及び／又は生成されたデータの印刷されたリストを提供することができる。
【００８８】
コンピュータ１０００は、メモリユニット１００３等のメモリに含まれる１つ又は複数の命令の１つ又は複数のシーケンスをＣＰＵ１００４が実行するのに応答して、本発明の処理ステップの少なくとも一部を行う。そのような命令は、マスストレージ１００２又はリムーバブルメディア１００１等、別のコンピュータ可読媒体からメモリユニットに読み出されても良い。また、メモリユニット１００３に含まれる命令のシーケンスを実行する為に、マルチプロセッシング構成での１つ又は複数のプロセッサを採用することもできる。代替実施形態では、ハードワイヤード回路が、ソフトウェア命令の代わりに、又はソフトウェア命令と組み合わせて使用されても良い。従って、実施形態は、ハードウェア回路とソフトウェアの任意の特定の組合せに限定されない。
【００８９】
上述したように、コンピュータ１０００は、本発明の教示に従ってプログラムされた命令を保持する為、及び本明細書で述べるデータ構造、テーブル、記録、又は他のデータを格納する為の少なくとも１つのコンピュータ可読媒体１００１又はメモリを含む。コンピュータ可読媒体の例は、コンパクトディスク、ハードディスク、フロッピーディスク、テープ、光磁気ディスク、ＰＲＯＭ（ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＥＰＲＯＭ）、ＤＲＡＭ、ＳＲＡＭ、ＳＤＲＡＭ、若しくは任意の他の磁気媒体、コンパクトディスク（例えばＣＤ−ＲＯＭ）、又はコンピュータが読み出すことができる任意の他の媒体である。
【００９０】
本発明は、主処理装置１００４を制御する為、本発明を実施する為のデバイスをドライブする為、及び主処理装置１００４が人間ユーザと対話できるようにする為のソフトウェアを、コンピュータ可読媒体の任意の１つ又は組合せに記憶された状態で含む。そのようなソフトウェアは、限定はしないが、デバイスドライバ、オペレーティングシステム、開発ツール、及びアプリケーションソフトウェアを含み得る。更に、そのようなコンピュータ可読媒体は、本発明を実施する際に行われる処理の全て又は一部（処理が分散されている場合）を行う為の本発明のコンピュータプログラム製品を含む。
【００９１】
本発明の媒体上のコンピュータコード要素は、任意の解釈可能又は実行可能なコードメカニズムで良く、限定はしないが、スクリプト、解釈可能プログラム、ダイナミックリンクライブラリ（ＤＬＬ）、Ｊａｖａクラス、及び完全実行可能プログラムを含む。更に、本発明の処理の幾つかの部分は、より良い性能、信頼性、及び／又はコストの為に分散させることができる。
【００９２】
本明細書で使用される用語「コンピュータ可読媒体」は、命令実行の為にＣＰＵ１００４に命令を提供することに関与する任意の媒体を表す。コンピュータ可読媒体は、限定はしないが、不揮発性媒体及び揮発性媒体を含む多くの形態を取ることができる。不揮発性媒体は、例えば、マスストレージ１００２又はリムーバブルメディア１００１等の光ディスク、磁気ディスク、光磁気ディスクを含む。揮発性媒体は、メモリユニット１００３等のダイナミックメモリを含む。
【００９３】
様々な形態のコンピュータ可読媒体が、命令実行の為にＣＰＵ１００４への１つ又は複数の命令の１つ又は複数のシーケンスを実施することに関わっても良い。例えば、命令は、最初は、リモートコンピュータの磁気ディスクに保持されていることがある。バスＢに結合された入力は、データを受信し、バスＢにデータを置くことができる。バスＢは、データをメモリユニット１００３に搬送し、メモリユニット１００３からＣＰＵ１００４が命令を受信して実行する。メモリユニット１００３によって受信された命令は、任意選択で、ＣＰＵ１００４による実行前又は後にマスストレージ１００２に記憶されても良い。
【００９４】
また、コンピュータ１０００は、バスＢに結合された通信インターフェース１００５も含む。通信インターフェース１００４は、例えば、ローカルエリアネットワーク（ＬＡＮ）、又はインターネット等、別の通信ネットワークに接続されたネットワークへの双方向データ通信結合を提供する。例えば、通信インターフェース１００５は、任意のパケットスイッチング型のＬＡＮに接続する為のネットワークインターフェースカードで良い。別の例として、通信インターフェース１００５は、非対称デジタル加入者線（ＡＤＳＬ）カード、総合サービスデジタル網（ＩＳＤＮ）カード、又は対応するタイプの通信ラインへのデータ通信接続を提供する為のモデムで良い。また、ワイヤレスリンクを実装することもできる。任意のそのような実装形態では、通信インターフェース１００５は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気、電磁、又は光信号を送受信する。
【００９５】
ネットワークは、典型的には、１つ又は複数のネットワークを介した他のデータデバイスへのデータ通信を提供する。例えば、ネットワークは、ローカルネットワーク（例えばＬＡＮ）を介して、又は通信ネットワークを介する通信サービスを提供するサービスプロバイダによって操作される機器を介して、別のコンピュータへの接続を提供することができる。ローカルネットワーク及び通信ネットワークは、例えば、デジタルデータストリームを搬送する電気、電磁、又は光信号、及び関連の物理層（例えば、ＣＡＴ５ケーブル、同軸ケーブル、光ファイバ等）を使用する。更に、ネットワークは、個人用携帯情報端末（ＰＤＡ）ラップトップコンピュータ又はセルラ電話等、モバイルデバイスへの接続を提供することができる。
【００９６】
特定の実施形態を説明してきたが、これらの実施形態は、単に例として表されており、本発明の範囲を限定することは意図されていない。実際、本明細書で述べる新規の方法及びシステムは、様々な他の形態で具現化することができる。更に、本発明の精神から逸脱することなく、本明細書で述べる方法及びシステムの形態の様々な省略、代替、及び変更を行うことができる。本明細書で使用される場合、用語「１つの」（「ａ」及び「ａｎ」）等は、「１つ又は複数の」の意味を含む。添付の特許請求の範囲及びその均等物は、本発明の範囲及び精神に入る場合にはそのような形態又は修正形態を網羅するものと意図される。
【図１】
2015523102.tif 000003
【図２】
2015523102.tif 000004
【図３】
2015523102.tif 000005
【図４】
2015523102.tif 000006
【図５】
2015523102.tif 000007
【図６】
2015523102.tif 000008
【図７】
2015523102.tif 000009
【図８】
2015523102.tif 000010
【図９】
2015523102.tif 000011
【図１０】
2015523102.tif 000012
【図１１】
2015523102.tif 000013
【国際調査報告】
2015523102.tif 000014