(57)【特許請求の範囲】
【請求項１】
少なくとも１つのパターンタグ７７、８７、９７、１０７、１２２０、１３２０、１３３０に関する映像情報を獲得するように構成されるトラッカー５０８、６１０、１２８０、１３８０と、
前記少なくとも１つのパターンタグ上のパターンを記述する幾何学的情報を含むデータベースと、
プロセッサ２１４とメモリ２１７を有するコントローラ１２９０、１３９０であって、前記コントローラは前記トラッカー及び前記データベースと通信し、前記メモリは、前記プロセッサによって実行される際、前記トラッカーから前記映像情報を受信して処理するように構成されるソフトウェアを保存するコントローラを含み、
少なくとも１つのパターンタグは、回転方向に非対称なパターンで配列されている多数のコントラスト部を含み、前記多数のコントラスト部のうち、少なくとも１つは数学的に記述することができる曲線部を含む外周部を有し、前記メモリは、前記プロセッサによって実行される際、幾何学的情報を検索することができるように前記データベースにアクセスし、前記パターンタグの方向を識別して獲得することができるよう、前記映像情報を前記幾何学的情報と比較するように構成される他のソフトウェアを保存することを特徴とする３次元位置及び方向トラッキングシステム。
【請求項２】
前記コントローラと通信するディスプレイ２２４を有し、前記コントローラは、前記プロセッサによって実行される際、前記トラッカーから前記映像情報における前記タグの位置と、前記タグの潜在的経路と、前記タグと関連付けられた境界条件のうち、１つを表示するソフトウェアを更に含むことを特徴とする、請求項１に記載の３次元位置及び方向トラッキングシステム。
【請求項３】
前記コントローラは、前記プロセッサによって実行される際、先にスキャンされた、及び前記トラッカーからの映像情報に基づくモデルを生成するソフトウェアを更に含み、前記システムは、前記コントローラと通信するディスプレイを更に含み、前記コントローラは、前記プロセッサによって実行される際、前記ディスプレイ上の前記モデル内部に前記タグの位置を表示する他のソフトウェアを含むことを特徴とする、請求項１または請求項２に記載の３次元位置及び方向トラッキングシステム。
【請求項４】
前記少なくとも１つのコントラスト部の前記外周部は、円錐曲線、楕円、若しくは円を含むことを特徴とする、請求項１ないし請求項３のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項５】
前記少なくとも１つのパターンタグは、フレキシブル素材を含むことを特徴とする、請求項１ないし請求項４のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項６】
前記少なくとも１つのパターンタグは、実質的に平面形状を有することを特徴とする、請求項１ないし請求項５のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項７】
前記少なくとも１つのパターンタグは、トラッキングマーカーの一部として含まれることを特徴とする、請求項１ないし請求項６のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項８】
前記パターンタグは、３次元表面の一部である形状を有するトラッキングマーカーに取り付けられており、前記３次元表面は、円筒表面、リング、楕円表面、若しくは球面であることを特徴とする、請求項１ないし請求項７のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項９】
前記パターンタグはトラッキングマーカーであり、前記トラッキングマーカーは３次元表面の一部である形状を有し、前記３次元表面は、円筒表面、リング、楕円表面、若しくは球面であることを特徴とする、請求項１ないし請求項８のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【請求項１０】
回転方向に対称なパターンで配列された１つ以上のコントラスト部を有する第２パターンタグを有し、第１パターンタグと前記第２パターンタグの前記コントラスト部は共に回転方向に非対称なパターンを構成し、前記少なくとも２つのパターンタグそれぞれの少なくとも１つのコントラスト部は、数学的に記述することができる曲線部を含む外周部を有することを特徴とする、請求項１ないし請求項９のうち、いずれか１項に記載の３次元位置及び方向トラッキングシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、位置モニタリングハードウェアシステム及びソフトウェアシステムに関する。更に詳細には、本発明の分野は、手術状態をモニタリングするための手術装備及びソフトウェアである。
【背景技術】
【０００２】
視覚及び他の感覚システムが知られているが、これらのシステムは手術手順を観察及びモニタリングすることができる。現在、このような観察及びモニタリングシステムを用いてコンピュータが補助する手術が可能であり、実際、日常的に行われている。かかる手順において、コンピュータソフトウェアは、患者の臨床映像及び現在の手術手順から観察された手術映像と相互作用し、手術を行う際、外科医を案内する。例えば、１つの公知のシステムにおいて、キャリアアセンブリは患者の顎骨に対し、正確に繰り返せる位置で取り付け要素の上部に少なくとも１つの基準マーカーを有する。その基準マーカーと患者の顎骨の間の位置登録を提供するため、そのキャリアアセンブリを採択し、その位置登録を使用してドリルリングアセンブリを案内するトラッキングシステムを採択することで、人工の歯（インプラント）を移植する。このような相対的に新しいコンピュータ具現技術を備えることで、更なる改良は手術手順の効率性を一層向上させることができる。
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明は、患者の手術までに余裕がある間、例えば患者が手術を準備している間、そのシステムが手術部位をモデル化できるよう、手術計画を可能にする手術ハードウェア及びソフトウェアモニタリングシステム並びに方法の実施形態を含む。１つの実施形態において、意図されている手術手順を追跡し、手術手順において不適切な位置を表す、起こり得る境界侵害について外科医に警告するため、このモデルを使用することができる。他の実施形態において、ハードウェアは手術の間、前記モデルを参照して手術手順の観察を向上できるよう、器具の動きを追跡することができる。このような方式で手術計画及び遂行を向上させることができる追加的なツールが外科医に提供される。
【０００４】
前記システムは、特別に構成されている基準レファレンスを使用し、重要領域（Ｃｒｉｔｉｃａｌ  ａｒｅａ）に関してモニタリングシステムに方向を付与する。前記基準レファレンスは、意図された手術部位に隣接した位置に取り付けられている。例えば、歯の手術の場合、手術部位に隣接して基準レファレンスを確実に位置付けるため、副木を使用することができる。続いて、手術部位に関する今後の映像処理のため、前記基準レファレンスは、レファレンスポイント、即ち基点として使用することができる。前記基準レファレンスはスキャンで明確に認識できる基準マーカーを有しているので、手術領域の他の部分に対して識別できる。
【０００５】
本発明の実施形態は、トラッキングマーカーであり得るトラッキング装置によって患者の３次元位置を自動的にコンピューティングすることを含む。前記トラッキングマーカーは前記基準レファレンスに対し、固定された空間位置に直接取り付けたり、若しくは特有の３次元形状を有したりすることができるトラッキングポールを介して前記基準レファレンスに取り付けることができる。歯の手術の場合、トラッキングポールは基準レファレンスのベースに機械的に接続されており、前記基準レファレンスは患者の口腔内に固定されている。それぞれのトラッキングポール装置は、それ自体に若しくは適切なトラッキングマーカーに位置している特別な観察パターンと、前記コンピュータソフトウェアがその後の位置計算に関連して特別で幾何学的な形状に相応するものとして認識する、ベースへの特別な幾何学的接続を持っている。個々のトラッキングポール装置は独特な形状を持っているが、これらの装置は全て同一のベース接続構造を持っているため、いずれの基準レファレンスとも一緒に使用することができる。特別なトラッキング情報計算は使用される特別なトラッキングポールによって指示され、実際、患者の位置はそれによって計算される。従って、トラッキングポール装置は相互入れ替えても良く、位置の計算は同じままである。歯の手術の場合、かかる作用で空間において患者の頭の位置が自動的に認識される。或いは、感知器、即ちトラッカーが、基準キー及びそのトラッキングポールに対し公知の位置にあり得るので、現在のデータ映像がスキャン映像アイテムに図解され得る。
【０００６】
前記基準レファレンス及びそれぞれのトラッキングポールまたは関連したトラッキングマーカーは、放射線不透過性（ｒａｄｉｏ−ｏｐａｑｕｅ）素材で製造されるパターンを有することができるため、映像情報がソフトウェアによってスキャニングされる際、特定アイテムが認識される。通常、手術で使用されるそれぞれの器具は、それに関連したトラッキングマーカーに独特なパターンを有しているため、トラッカー情報がその器具を識別することができる。１つの実施形態において、前記ソフトウェアは、前記基準レファレンス及び／またはトラッキングポールまたはそれらに取り付けられたトラッキングマーカー上部のパターンの方向及び位置によって、座標系で手術部位のモデルを生成する。一例として、前記基準レファレンスが関連した、予め割り当てられたパターンを有している実施形態において、前記トラッカーから映像情報を解析する分析ソフトウェアが、そのパターンを認識し、前記基準レファレンスが副木に取り付けられる位置にあるよう、基点のベースの部位を選択することができる。万一、前記基準キーが関連したパターンを有していない場合であれば、基準部位が指定される。歯の場合、基準部位は歯に対し特定の空間的関係にある地点であってもよく、前記基準レファレンスの配置のため、副木の位置を自動的に指定することもできる。
【０００７】
本発明の第１側面から、手術部位に隣接した位置に着脱可能に取り付けられ、手術部位のスキャンデータに基づいて決定できる３次元位置と方向を有し、前記手術部位に関する映像情報に基づいて決定できる前記３次元位置と方向を有するように構成されている基準レファレンスと、前記映像情報を獲得するために配置されたトラッカーと、前記映像情報をスキャンデータに空間的に関連付けし、前記基準レファレンスの前記３次元位置と方向を決定するように構成されるコントローラを含む手術モニタリングシステムが提供される。本発明の１つの実施形態において、前記基準レファレンスは手術部位の一部に、堅固、かつ、着脱可能に取り付けることができる。かかる実施形態において、前記基準レファレンスは、前記手術部位の特別な部品上の同一位置に、同一の３次元方向に繰り返し取り付けることができる。
【０００８】
前記基準レファレンスは、前記スキャンデータから決定されたその位置と方向のうち、少なくとも１つを有するため、前記スキャンデータからユニークに識別できるように表示され、形状を有するもののうち、少なくとも１つである。前記手術モニタリングシステムは、前記基準レファレンスと固定された３次元空間関係にある第１トラッキングマーカーを更に含むが、第１トラッキングマーカーは、前記映像情報と前記スキャンデータに基づき、前記コントローラによって決定されたその位置及び方向のうち、少なくとも１つを有するように構成されている。前記第１トラッキングマーカーは、第１トラッキングポールによって前記基準レファレンスに着脱可能、かつ、堅固に接続できるように構成することができる。前記第１トラッキングポールは、前記映像情報から前記コントローラによってユニークに識別できる３次元構造を有することができる。前記第１トラッキングポールの３次元構造により、前記第１トラッキングポールの３次元方向は、前記映像情報から前記コントローラによって決定できるようになる。
【０００９】
第１単一ユニークな３次元方向において、前記第１トラッキングポールが前記基準レファレンス上の単一ユニークな位置に接続できるよう、前記第１トラッキングポール及び前記基準レファレンスを構成することができる。前記基準レファレンスは、第２トラッキングマーカーに取り付けられた少なくとも１つの第２トラッキングポールに第２単一ユニークな３次元方向に取り付けられるよう、構成することができる。前記第１トラッキングマーカーは、前記映像情報から前記コントローラによってユニークに識別できる３次元形状を有することができる。前記第１トラッキングマーカーは、前記映像情報から前記コントローラによってその３次元方向が決定できるようにする３次元形状を有することができる。前記第１トラッキングマーカーは、前記コントローラによってユニークに識別できるマーキングを有することができ、前記マーキングは、前記映像情報及び前記スキャンデータに基づき、前記コントローラによってその位置及び方向のうち、少なくとも１つが決定できるように構成することができる。
【００１０】
前記手術モニタリングシステムは、前記手術部位に隣接した器具に取り付けられる他のトラッキングマーカーを含むことができ、前記コントローラは、前記映像情報及び前記他のトラッキングマーカーに関する情報に基づき、前記器具の位置及び方向を決定するように構成することができる。
【００１１】
本発明の別の側面から、患者の手術部位の３次元位置及び方向を、スキャンにおける前記手術部位の位置及び方向にリアルタイムで関連付けするための方法であって、前記手術部位に隣接した患者の基準位置に基準レファレンスを着脱可能に取り付ける段階と、スキャンデータを獲得できるよう、前記基準位置に取り付けられた前記基準レファレンスを使用してスキャンを行う段階と、前記スキャンデータから前記基準レファレンスの３次元位置及び方向を決定する段階と、前記手術部位のリアルタイムの映像情報を獲得する段階と、前記映像情報から前記基準レファレンスの３次元位置及び方向をリアルタイムで決定する段階と、前記スキャンデータから決定された前記基準レファレンスの前記３次元位置及び方向に対し、前記映像情報から決定された前記基準レファレンスの前記３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを誘導する段階とを含む方法が提供される。
【００１２】
前記手術部位のリアルタイムの映像情報を獲得する段階は、前記基準レファレンスに対し、固定された３次元空間関係にある第１トラッキングマーカーを前記基準レファレンスに堅固、かつ、着脱可能に取り付ける段階を含むことができる。前記第１トラッキングマーカーは、前記映像情報に基づいて決定されるその位置及びその方向を有するよう、構成することができる。前記基準レファレンスに前記第１トラッキングマーカーを取り付ける段階は、トラッキングポールによって前記第１トラッキングマーカーを前記基準レファレンスに堅固、かつ、着脱可能に取り付ける段階を含むことができる。前記手術部位の前記リアルタイムの映像情報を獲得する段階は、前記基準レファレンスに対し、固定された３次元空間関係でトラッキングポールを前記基準レファレンスに堅固、かつ、着脱可能に取り付ける段階を含むことができ、前記トラッキングポールは、その位置及び方向が前記映像情報からユニークに決定できるようにする、はっきりと識別できる３次元形状を有することができる。
【００１３】
本発明の更に別の側面から、患者の手術部位に対し、客体の位置をリアルタイムでモニタリングする方法であって、前記手術部位に隣接した患者の基準位置に基準レファレンスを着脱可能に取り付ける段階と、スキャンデータを獲得できるよう、前記基準位置に取り付けられた前記基準レファレンスを使用してスキャンを行う段階と、前記スキャンデータから前記基準レファレンスの３次元位置及び方向を決定する段階と、前記手術部位のリアルタイムの映像情報を獲得する段階と、前記映像情報から前記基準レファレンスの前記３次元位置及び方向をリアルタイムで決定する段階と、前記スキャンデータから決定された前記基準レファレンスの３次元位置及び方向に対し、前記映像情報から決定された前記基準レファレンスの前記３次元位置及び方向をリアルタイムで表現するための空間変形マトリクスを誘導する段階と、前記映像情報から前記客体の３次元位置及び方向をリアルタイムで決定する段階と、前記客体の前記３次元位置及び方向を、前記映像情報から決定された前記基準レファレンスの前記３次元位置及び方向に関連付けする段階と、を含む方法が提供される。前記映像情報から前記客体の前記３次元位置及び方向をリアルタイムで決定する段階は、前記客体にトラッキングマーカーを堅固に取り付ける段階を含むことができる。
【００１４】
１つの代わりとなる実施形態において、トラッカー自体が基準レファレンスに取り付けられ、マーカーを有する客体の位置を公知の位置から観察することができる。
【００１５】
更に別の側面から、多数のコントラスト部を含む少なくとも１つのパターンタグと、前記少なくとも１つのパターンタグに関する映像情報を獲得するように構成されるトラッカーと、前記少なくとも１つのパターンタグ上のパターンを記述する幾何学的情報を含むデータベースと、前記トラッカーから前記映像情報を受信して処理し、前記幾何学的情報を検索できるように前記データベースにアクセスし、前記映像情報を前記幾何学的情報と比較するように構成されるコントローラとを含み、前記多数のコントラスト部は、回転方向に非対称なパターンで配列されていることを特徴とする３次元位置及び方向トラッキングシステムが提示される。前記回転方向に非対称なパターンは、識別可能なユニークなパターンであり得る。前記多数のコントラスト部のうち、少なくとも１つは数学的に記述できる曲線部を含む外周部を有することができる。前記少なくとも１つのコントラスト部の前記外周部は、楕円若しくは円を含む円錐曲線を有することができる。前記少なくとも１つのパターンタグはフレキシブルであり、実質的に平面であっても良い。前記少なくとも１つのパターンタグは、トラッキングマーカーであっても良い。
【００１６】
更に別の実施形態において、前記３次元位置及び方向トラッキングシステムは少なくとも２つのパターンタグであって、前記少なくとも２つのパターンタグのうち、第１パターンタグは多数の第１コントラスト部を含み、前記少なくとも２つのパターンタグのうち、第２パターンタグは少なくとも１つのコントラスト部を含む少なくとも２つのパターンタグと、前記少なくとも２つのパターンタグに関する映像情報を獲得するように構成されるトラッカーと、前記少なくとも２つのパターンタグ上のパターンを記述する幾何学的情報を含むデータベースと、前記トラッカーから前記映像情報を受信して処理し、前記幾何学的情報を検索できるように前記データベースにアクセスし、前記映像情報を前記幾何学的情報と比較するように構成されるコントローラとを含み、前記第１パターンタグと前記第２パターンタグのうち、少なくとも１つは回転方向に非対称なパターンで配列された１つ以上のコントラスト部を有し、前記第１パターンタグの前記コントラスト部及び前記第２パターンタグの前記コントラスト部は共に回転方向に非対称なパターンを構成することを特徴とする。前記回転方向に非対称なパターンは、識別可能なユニークなパターンであり得る。前記少なくとも２つのパターンタグそれぞれの前記少なくとも１つのコントラスト部は、数学的に記述できる曲線部を含む外周部を有することができる。前記少なくとも１つのコントラスト部の前記外周部は、楕円若しくは円を含む円錐曲線を有することができる。前記パターンタグはフレキシブルであり、実質的に平面であっても良い。前記少なくとも２つのパターンタグは共にトラッキングマーカーを構成することができる。前記パターンタグは前記トラッキングマーカーに取り付けることができ、前記トラッキングマーカーは３次元表面の一部である表面を有することができ、前記３次元表面は円筒型若しくは楕円型であっても良い。前記楕円の表面は球面であっても良い。
【００１７】
更に別の側面から、回転方向にユニークで非対称なパターンで配列された多数のコントラスト部を有する少なくとも１つのパターンタグを有するアイテムを追跡するための方法であって、トラッカーから前記アイテムに関する映像情報を獲得する段階と、前記ユニークなパターンに基づき、前記少なくとも１つのパターンタグを識別する段階と、データベースから前記少なくとも１つのパターンタグに関する幾何学的情報を獲得する段階と、前記幾何学的情報に基づき、前記映像情報内において前記少なくとも１つのパターンタグの少なくとも１つのパターンのレファレンスポイントの位置を決定する段階と、前記幾何学的情報に基づき、前記映像情報内で前記少なくとも１つのパターンタグの回転方向を決定する段階とを含む方法が提供される。前記幾何学的情報は、前記少なくとも１つのパターンタグの前記少なくとも１つのコントラスト部における前記外周部の少なくとも一部の数学的記述を含むことができる。
【００１８】
更に別の側面から、手術部位の映像情報を獲得するためのトラッカーと、映像情報を、先に獲得されたスキャンデータに空間的に関連付けするように構成されるコントローラと、前記手術部位に隣接した位置に着脱可能に取り付けるように構成される基準レファレンスと、前記基準レファレンスと固定された３次元空間関係にあり、前記トラッカーによって観察できるトラッキングマーカーであって、前記トラッキングマーカーは回転方向に非対称なパターンで配列された多数のコントラスト部を含むトラッキングマーカーと、前記回転方向に非対称なパターンに基づき、コントローラが前記基準レファレンスの３次元位置及び方向を決定できるように構成されるコントローラソフトウェアと、を含む手術モニタリングシステムが提供される。前記回転方向に非対称なパターンは、識別可能でユニークなパターンであり得る。前記コントラスト部のうち、少なくとも１つは、数学的に記述できる曲線部を含む外周部を有することができ、前記コントローラソフトウェアは、前記コントローラが前記数学的に記述できる曲線部に基づき、前記基準レファレンスの３次元位置及び方向のうち、少なくとも１つを決定できるように構成することができる。前記少なくとも１つのコントラスト部の前記外周部は、楕円若しくは円を含む円錐曲線を有することができる。前記トラッキングマーカーは３次元表面の一部である表面を有することができ、前記３次元表面は円筒型若しくは楕円型であっても良い。前記楕円の表面は球面であっても良い。
【図面の簡単な説明】
【００１９】
図面と共に後述する本発明の実施形態の説明を参照することによって、上記で言及したり、若しくは他の特徴及び目的、かかる特徴及び目的を達成するための方法は更に明確になり、本発明そのものは更に理解できるであろう。
【００２０】
【図１】本発明の実施形態が利用できるネットワークシステムの概略的な模式図である。
【図２】コンピューティングシステム（サーバまたはクライアント、または適切であれば両方共）のブロック図であって、このコンピューティングシステムは選択的な入力装置（例えばキーボード、マウス、タッチスクリーンなど）と出力装置、ハードウェア、ネットワークアクセス、１つ以上のプロセッサ並びにデータ及びモジュールのためのメモリ／ストレージを備えており、本発明の実施形態と共にコントローラ及びディスプレイとして利用することができる。
【図３Ａ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｂ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｃ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｄ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｅ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｆ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｇ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｈ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｉ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｊ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｋ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図３Ｌ】本発明の実施形態に係る手術モニタリングシステムのハードウェアの構成要素を示す図面である。
【図４Ａ】本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。
【図４Ｂ】本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。
【図４Ｃ】本発明の位置登録方法の１つの実施形態を示すフローチャート模式図である。
【図５】本発明の１つの実施形態によってトラッキングポールと歯用ドリルを備えている歯用基準キーの図面である。
【図６】本発明の他の実施形態によって基準キー、内視鏡、生検針を示す内視鏡手術部位の図面である。
【図７】本発明の１つの実施形態による、パターンタグを有するトラッキングマーカーの図面である。
【図８】本発明の他の実施形態による、２つのパターンタグを有するトラッキングマーカーの図面である。
【図９】本発明の更に他の実施形態にる、２つのパターンタグを有するトラッキングマーカーの図面である。
【図１０】本発明の更に他の実施形態による、２つのパターンタグを有するトラッキングマーカーの図面である。
【図１１】本発明の１つの実施形態にる、基準キーで座標系を設定する方法を示すフローチャート図面である。
【図１２】本発明の１つの実施形態に係る３次元位置及び方向トラッキングシステムを示す図面である。
【図１３】本発明の他の実施形態に係る３次元位置及び方向トラッキングシステムを示す図面である。
【図１４】パターンタグを有するアイテムを追跡するための方法を記述するフローチャート図面である。
【００２１】
多数の図面全体において相応する参照記号は相応する部分を示す。たとえ図面が本発明の実施形態を示していても、それらの図面は必ずしも同じ割合ではなく、本発明を更に上手く例示し、説明できるよう、ある特徴は誇張になっていることもある。フローチャートとスクリーンショットもまた、本質上、代表的であるが、本発明の実際の実施形態は、図面に示していない他の特徴及び段階を含むことができる。本明細書で開示された例示は、１つの形態で本発明の実施形態を説明する。しかし、そのような例示は、決して本発明の範囲を制限するものとして解釈されてはならない。
【発明を実施するための形態】
【００２２】
下記に開示された実施形態は、網羅的だったり、後述する詳細な説明に開示されている正確な形態に本発明を制限したりしようとする意図ではない。寧ろ、開示された実施形態における教示を本技術分野における通常の技術者が活用できるよう、実施形態が選択され、説明されている。
【００２３】
後述する詳細な説明は、英数字文字または他の情報を表すコンピュータメモリ内でデータビット上の作動に対するアルゴリズム及び記号表現で部分的に提示されている。前記ハードウェアコンポーネントは特定のスキャニング法を利用し、特定形態と相対的な方向及び大きさを備えているものに示されているが、一般的な場合、通常の技術者であれば本発明の教示内で様々な特定形態、方向及びスキャニング法が使用できることを認識することができる。コンピュータは、映像データを獲得して処理するインターフェースを含み、一般的に命令を行うプロセッサと、命令及びデータを保存するためのメモリとを含む。汎用コンピュータが、そのメモリ内に保存されている一連のマシンエンコーディングされた命令を有する場合、かかるエンコーディングされた命令に応じて作動するコンピュータは、特定形態のマシン、即ち、その一連の命令により具現化された作動を行うよう、特別に構成されているコンピュータであり得る。命令の一部は、他のマシンの作動を制御する信号を生成するため、適用することができる。よって、命令の一部はそれらの制御信号を介して作動し、コンピュータ自体から遠く離れている素材を変形させることができる。これらの説明及び表示は、データ処理分野における通常の技術者によって、彼らの作業内容をその分野における通常の技術者に最も効率よく伝達するに用いられる手段である。
【００２４】
本明細書において、そして一般的にアルゴリズムは希望する結果を誘導する、一貫性ある一連の段階として認識されている。これらの段階は物理量を物理的に処理するのに要求され、手術部位の周辺物質を表すスキャニングされたデータを観察し、測定する段階である。必ずしも必要なものではないが、通常、それら量は、保存、転送、変形、組合、比較及び他に処理できる電気的若しくは磁気的パルスまたは信号の形態を有する。時々、主に便宜的使用との理由で、それらの信号を物理的アイテムや顕示に対するレファレンスとしてビット、値、記号、文字、ディスプレイデータ、ターム、数字などで呼ぶことが便利であると判明されたが、物理的なアイテムや顕示においてそれらの信号は、映像の基礎となるデータを確保するよう、具現或いは表現されている。しかし、それら及び類似の用語は全て適切な物理量と関連しており、本明細書でそれらの量に適用される便利なラベルとして単に使用されていることに留意すべきである。
【００２５】
一部のアルゴリズムは情報を入力すると同時に希望する結果を生成するためにデータ構造を利用することができる。データ構造はデータ処理システムによるデータ管理を非常に促進させ、精巧なソフトウェアシステムを介さなければアクセスすることができない。データ構造はメモリの情報内容ではなく、寧ろメモリ内に保存された情報に対する物理的構造を付与、若しくは顕示する特定の電子的構造要素を表す。単なる抽象化を飛び越え、データ構造はメモリ内の特定の電気的または磁気的な構造要素であって、時々関連アイテムのデータモデリングの物理的特性である複雑なデータを正確に表し、同時にコンピュータの作動における効率性を増加させる。
【００２６】
更に、行われる処理作業は、通常、人間操作員によって行われる精神的動作に関連している、比較若しくは追加のような用語で時々言及される。本発明の一部分を形成する、本発明で説明した任意の作動において、人間操作員のそのような能力は全く必要でないか、若しくは殆どの場合に好ましくなく、かかる作動は機械作動である。本発明の作動を行うために有用な機械は、汎用デジタルコンピュータまたは他の類似の機器を含む。全ての場合において、コンピュータを作動する際の作動方法と、コンピュータ操作自体の方法の間の区別は認識されるべきである。本発明は、電気的または他の（例えば機械的、化学的）物理的信号を処理する際、他の希望する物理的顕示または信号を生成することができるようにコンピュータを作動させる方法及び装置に関するものである。前記コンピュータはソフトウェアモジュールで作動するが、このソフトウェアモジュールは一連の機械命令を表す媒体に保存されている信号の収集所（コレクション）であり、一連の機械命令を通じ、コンピュータプロセッサはアルゴリズム段階を具現する機械命令を行うことができる。かかる機械命令は、プロセッサがその命令を具現するように解析する実際のコンピュータコードであっても良く、代わりとして実際のコンピュータコードを獲得できるように解析される、かかる命令のハイレベルのコーディングであっても良い。ソフトウェアモジュールはまた、ハードウェアコンポーネントを含むことができるが、アルゴリズムの一部の様相は命令の結果としてではなく、回路自体によって行われる。
【００２７】
また、本発明は、それら作動を行うための装置に関する。この装置は、要求される目的のために特別に構成することができ、若しくはコンピュータ内に保存されているコンピュータプログラムによって選択的に起動したり、若しくは再構成される汎用コンピュータを含むことができる。特定のハードウェアを必要とすると明示的に示されない限り、本明細書に提示するアルゴリズムは、任意の特定コンピュータまたは他の装置と本質的に連係していない。一部の場合において、コンピュータプログラムは特定のプロトコールで構成されている信号を介し、他のプログラムまたは道具と通信したり連係したりするが、このプログラムまたは道具は、相互作用できる特定のハードウェアまたはプログラミングを必要としたり、必要としなかったりする。特に、本明細書における教示に従って記録されたプログラムが備えられている多様な汎用マシンを使用することができ、または要求される方法段階を行うために更に特化した装置を構成する方が一層好都合であると判明されるかもしれない。様々なこれらマシンのために要求される構造は、下記の説明から明らかになるであろう。
【００２８】
本発明は「客体指向」ソフトウェア、特に「客体指向」運営体制を取り扱うことができる。この「客体指向」ソフトウェアは「客体」に編成されるが、それぞれの客体はその客体に転送された「メッセージ」若しくはその客体と一緒に発生する「イベント」に応えて行われる様々な手順（方法）を記述するコンピュータ命令のブロックを含む。例えば、かかる作動は変数の処理、外部イベントによる客体の活性化、及び他の客体への１つ以上のメッセージの伝達を含む。必ずしも必要なわけではないが、物理的客体は、物理的装置から観察されたデータを収集し、ソフトウェアシステムにその観察されたデータを転送できる相応するソフトウェア客体を有する。かかる観察されたデータは単に便利であるという点で物理的客体及び／またはソフトウェア客体からアクセスすることができる。従って、後述する説明で「実際のデータ」が使用される場合、かかる「実際のデータ」は器具自体からあっても良く、または相応するソフトウェア客体若しくはモジュールからあっても良い。
【００２９】
メッセージはプロセスを行うある機能と知識を有する客体の間で転送及び受信される。メッセージはユーザーの命令に応じて発生するが、例えば、イベントを生成する「マウス」ポインターでアイコンを活性化させるユーザーによって発生する。また、メッセージはメッセージの受信に応じる客体によって発生し得る。客体のうちの１つの客体がメッセージを受信する際、その客体は受信したメッセージに相応する作動（メッセージ手順）を行い、必要に応じて、その作動の結果を返す。それぞれの客体は、客体自体の内部状態（インスタンス変数）が保存される領域を有するが、その領域で他の客体のアクセスは許容されない。客体指向システムの１つの特徴は、継承である。例えば、ディスプレイ上に「円」を描くための客体は、ディスプレイ上に「外形」を描くための他の客体から機能と知識を継承することができる。
【００３０】
プログラマーは、個別のコードブロックを記録することにより、客体指向プログラミング言語で「プログラム化する」が、それぞれのコードブロックは、その方法を定義することで客体を生成する。メッセージにより相互通信するように適応されているこれら客体のコレクションは、客体指向プログラムを含む。客体指向コンピュータプログラミングは、対話型システムのモデリングを容易にするが、このモデリングでシステムのそれぞれのコンポーネントは客体にモデリングすることができ、それぞれのコンポーネントの行為はそれに相応する客体の方法によってシミュレーションされ、コンポーネントの間の相互作用は、客体の間に転送されるメッセージによってシミュレーションされる。
【００３１】
操作員は、客体のうちの１つの客体にメッセージを転送することで、客体指向プログラムを含む相互関連した客体のコレクションを刺激することができる。メッセージを受信すると所定の機能を行うことにより、客体に反応させることができるが、所定の機能は１つ以上の他の客体に追加的なメッセージを転送することを含むことができる。その他の客体は受信したメッセージに応じ、順次に追加的な機能を行うことができるが、追加的な機能は更に多くのメッセージを転送することを含む。この方式で、メッセージと応答のシーケンスは、無限に続けられることができ、または全てのメッセージが応答され、かつ、新しいメッセージが転送されなかったときに終了することができる。客体指向言語を活用するシステムをモデリングする際、プログラマーは、モデリングされたシステムのそれぞれのコンポーネントがどうして１つの刺激に反応するかだけについて考えればよく、一部の刺激に応じて行われる作動手順については考える必要がない。かかる作動手順は、本質的にその刺激に応答する客体の間における相互作用の結果から得られ、プログラマーによって予め定められる必要はない。
【００３２】
たとえ客体指向プログラミングが、相互関連したコンポーネントシステムのシミュレーションを更に直観的になるようにすることはできるとしても、順次に構成されたプログラムの場合のように、通常、１つの客体指向プログラムによって行われる作動手順は、ソフトウェアのリストから直ちに明確になるわけではないため、客体指向プログラムの作動は時々理解し難い。また、客体指向プログラムの作動が非常に明白に顕示されることを観察して、客体指向プログラムがどのように動作するかを決めることも容易ではない。通常、観察できるコンピュータ出力を生成することは、相対的に少数の段階に過ぎないため、プログラムに応じ、コンピュータによって行われる殆どの作動は観察者に見えない。
【００３３】
後述する説明において頻繁に用いられるいくつかの用語は、本明細書の脈絡で特別な意味を有する。用語「客体」は一連のコンピュータ命令及び関連したデータに関するものであって、ユーザーにより、直接的に若しくは間接的に活性化することができる。用語「ウィンドウ環境」、「ウィンドウ実行」及び「客体指向運営体制」は、ラスタースキャンされた動画ディスプレイにおいて、有界領域（ｂｏｕｎｄｅｄ  ｒｅｇｉｏｎ）の内部のように動画ディスプレイで情報が処理され、ディスプレイされるコンピュータユーザーインターフェースを示すために用いられる。用語「ネットワーク」「近距離通信網」、「ＬＡＮ」、「広域通信網」、若しくは「ＷＡＮ」はコンピュータの間でメッセージが転送できる方式で接続されている２台以上のコンピュータを意味する。かかるコンピュータネットワークにおいて、１つ以上のコンピュータは、通常、ハードディスクドライブのような大きいストレージ装置とプリンター、若しくはモデムのような周辺装置を作動させる通信ハードウェアを備えたコンピュータである「サーバ」として作動する。「ワークステーション」という用語が用いられる他のコンピュータはユーザーインターフェースを提供し、コンピュータネットワークのユーザーは共有データファイル、共通周辺装置及びワークステーションの相互間通信のようなネットワークリソースにアクセスすることができる。ユーザーはコンピュータプログラムまたはネットワークリソースを活性化し、「プロセス」を生成するが、そのプロセスは入力変数によって決定される特定の作動特性が備えられたコンピュータプログラムの一般的な作動とその環境を全て含む。プロセスに類似しているのがエージェントであるが（たまに知能型エージェントと呼ばれる）、エージェントはユーザーの干渉なく、いくつかの周期的なスケジュールに従い、情報を収集するか、若しくはいくつかの他のサービースを行うプロセスである。一般的にエージェントは、ユーザーによって通常提供されるパラメータを使用し、ホストマシン上でまたはネットワーク上の他の一部のポイントで位置を探索し、そのエージェントの目的に関する情報を収集し、その情報を周期的にユーザーに提供する。
【００３４】
用語「デスクトップ」はそのデスクトップに関連したユーザーに、関連したセッティングを備えている客体のメニュー、若しくはディスプレイを提示する特定のユーザーインターフェースを意味する。デスクトップがネットワークリソースにアクセスする際、通常、遠隔サーバで実行できる応用プログラムが必要となるが、デスクトップは応用プログラムインターフェース、即ちＡＰＩを呼び出して、ユーザーがネットワークリソースにコマンドを提供し、任意の出力を観察できるようにする。用語「ブラウザ」は、ユーザーに必ずしも明白ではないが、デスクトップとネットワークサーバの間にメッセージを転送し、ネットワークユーザーのディスプレイ及びネットワークユーザーとの相互作用に関与するプログラムのことを指す。ブラウザは、コンピュータの汎世界的なネットワーク、即ち「ワールドワイドウェブ」、若しくは簡単に「ウェブ」でテキスト及びグラフィック情報を転送するための通信プロトコルを活用するよう設計されている。本発明に常用できるブラウザの例は、マイクロソフト社で販売しているインターネットエクスプローラー（インターネットエクスプローラーは、マイクロソフト社の商標）、オペラソフトウェアＡＳＡで作ったオペラブラウザプログラム、またはモジラファウンデーションで配布しているファイアフォックスブラウザプログラム（ファイアフォックスは、モジラファウンデーションの登録商標）を含む。後述する説明はブラウザのグラフィックユーザーインターフェースという面でその作動を詳細に説明するが、本発明は、グラフィック基盤のブラウザの多い機能を有している、テキスト基盤のインターフェース、更には音声若しくは視覚的に活性化されたインターフェースにおいても実行することができる。
【００３５】
ブラウザディスプレイ情報は、標準汎用文書記述言語（ＳＧＭＬ）若しくはハイパーテキスト文書記述言語（ＨＴＭＬ）でフォーマットされているが、この２つの言語は全てスクリプティング言語であって、特定のＡＳＣＩＩテキストコードを使用し、テキスト文書内に非視覚的コードを内蔵している。これらのフォーマットでのファイルは、インターネットのようなグローバル情報ネットワークを含む、コンピュータネットワークを渡り、容易に転送することができ、ブラウザがテキスト、映像をディスプレイできるようにし、音声及び映像の録音物を演奏できるようにする。ウェブは、その通信プロトコルと共にこれらのデータファイルフォーマットを活用し、サーバとワークステーションの間でかかる情報を転送する。ブラウザはまた、拡張性文書記述言語（ＸＭＬ）のファイル内に提供されている情報をディスプレイできるよう、プログラム化できるが、ＸＭＬファイルがあれば様々な文書型定義（ＤＴＤ）を使用することができるため、本質上、ＳＧＭＬ若しくはＨＴＭＬより汎用的である。データフォマッティング及びスタイルシートフォマッティングが別に含まれているため（フォマッティングは情報をディスプレイする方法として考えられるので、ＸＭＬファイルはデータ及び関連した方法を有する）、ＸＭＬファイルは客体に類推することができる。
【００３６】
前述で定義したように、用語「個人携帯情報端末」、または「ＰＤＡ」は、コンピューティング、電話、ファックス、電子メール及びネットワーキングの特徴が結合されている任意の携帯用モバイル機器を意味する。用語「無線広域通信網」、または「ＷＷＡＮ」は、携帯用機器とコンピュータの間でデータ転送のための媒体として機能する無線ネットワークを意味する。用語「同期化」は、有線または無線のうち、１つを経由し、例えば携帯用機器の第１機器と、例えばデスクトップコンピュータの第２機器との間における情報交換を意味する。同期化は２つの機器におけるデータが同一（少なくとも同期化時点で）であることを保障する。
【００３７】
無線広域通信網において、通信はアナログ、デジタルセルラー、または個人携帯通信サービース（ＰＣＳ）ネットワーク上の無線信号の転送を介して主に行われる。信号は、極超短波及び他の電磁気波を介しても転送することができる。現在、殆どの無線データ通信は、符号分割多重接続（ＣＤＭＡ）、時分割多重接続（ＴＤＭＡ）、世界移動通信システム（ＧＳＭ）のような２世代技術、３世代技術（ワイドバンド若しくは３Ｇ）、４世代（ブロードバンド若しくは４Ｇ）、個人デジタルセルラー（ＰＤＣ）を使用するセルラーシステムを経由したり、または高度携帯電話システム（ＡＭＰＳ）で使用されているセルラーデジタルパケットデータ（ＣＤＰＤ）のようなアナログシステムにおけるパケットデータ技術を通じて発生する。
【００３８】
用語「無線応用通信プロトコル」、即ち「ＷＡＰ」は、小型ユーザーインターフェースが備えられた携帯用機器及びモバイル機器でウェブ基盤データの伝達及び提示を容易にする汎用仕様を意味する。「モバイルソフトウェア」は、応用プログラムが移動電話またはＰＤＡのようなモバイル機器で具現できるようにするソフトウェア運営体制を指す。モバイルソフトウェアの例は、Ｊａｖａ及びＪａｖａ  ＭＥ（ＪａｖａとＪａｖａ  ＭＥはカリフォルニア州・サンタクララ所在のサンマイクロシステムズ社の商標）、ＢＲＥＷ（ＢＲＥＷはカリフォルニア州・サンディエゴ所在のクアラコム社の登録商標）、Ｗｉｎｄｏｗｓ  Ｍｏｂｉｌｅ（Ｗｉｎｄｏｗｓはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、Ｐａｌｍ  ＯＳ（Ｐａｌｍはカリフォルニア州・サニーベール所在のパーム社の登録商標）、Ｓｙｍｂｉａｎ  ＯＳ（Ｓｙｍｂｉａｎは英国・ロンドン所在のシンビアンソフトウェア株式会社の登録商標）、ＡＮＤＲＯＩＤ  ＯＳ（ＡＮＤＲＯＩＤはカリフォルニア州・マウンテンビュー所在のグーグル社の登録商標）、ｉＰｈｏｎｅ  ＯＳ（ｉＰｈｏｎｅはカリフォルニア州・クパチーノ所在のアップル社の登録商標）、及びＷｉｎｄｏｗｓ  Ｐｈｏｎｅ７がある。「モバイルアプリ」は、モバイルソフトウェアを用いて実行するように記録されたソフトウェアプログラムを指す。
【００３９】
用語「スキャン」、「基準レファレンス」、「基準位置」、「マーカー」、「トラッカー」及び「映像情報」は、本開示において特別な意味を有する。本開示の目的に関連し、「スキャン」またはその派生語は、Ｘレイ、磁気共鳴映像（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、超音波検査、コーンビームコンピュータ断層撮影（ＣＢＣＴ）または患者の定量的な空間表現を生成する任意のシステムを指す。用語「基準レファレンス」または単純に「基点」は、認識可能な固定ポイントとしてユニークに識別できるスキャン映像における客体またはレファレンスを指す。本明細書において、用語「基準位置」は、基準レファレンスが取り付けられる有用な位置を指す。「基準位置」は、普通、手術部位に隣接する。用語「マーカー」または「トラッキングマーカー」は、外科または歯の手術位置に隣接したセンサーにより認識できる客体またはレファレンスを指すが、ここでセンサーは、光センサー、無線識別装置（ＲＦＩＤ）、音声感知センサー、紫外線若しくは赤外線センサーであっても良い。用語「トラッカー」は、マーカーの位置と、手術中、リアルタイムで連続的にマーカーの方向及び動きを決定できる機器、若しくは機器システムを指す。具現可能な例として、例えばマーカーが印刷されたターゲットで構成されていれば、トラッカーは立体カメラのペアを含むことができる。本明細書において用語「映像情報」は、光学、若しくは別の方法でトラッカーによって取得される情報を説明するために用いられ、マーカーの位置と、手術中、リアルタイムで連続的にマーカーの方向及び移動を決定するため、用いることができる。
【００４０】
図１は、１つの実施形態によるコンピューティング環境１００の高水準のブロック図である。図１は、ネットワーク１１４により接続されているサーバ１１０と３つのクライアント１１２を例示している。説明を簡略、かつ、明確にできるよう、図１に３つのクライアント１１２のみが示されている。コンピューティング環境１００の実施形態は、例えばインターネットであるネットワーク１１４に接続されている数千、若しくは数万のクライアント１１２を有することができる。ユーザー（不図示）はクライアント１１２のうちの１つでソフトウェア１１６を作動させ、サーバ１１０及び関連した通信装備及びソフトウェア（不図示）を経由し、ネットワーク１１４にメッセージを送信・受信することができる。
【００４１】
図２はサーバ１１０、若しくはクライアント１１２を具現するに適切なコンピュータシステム２１０のブロック図である。コンピュータシステム２１０はバス２１２を含むが、バス２１２は、中央プロセッサ２１４、システムメモリ２１７（普通、ＲＡＭであるが、ＲＯＭ、フラッシュＲＡＭ、若しくはその他のメモリも含むことができる）、入力・出力コントローラ２１８、音声出力インターフェース２２２を経由するスピーカシステム２２０のような外部音声装置、ディスプレイアダプタ２２６を経由するディスプレイスクリーン２２４、シリアルポート２２８、２３０、（キーボードコントローラ２３３で接続される）キーボード２３２、ストレージインターフェース２３４、フロッピーディスク２３８を収容し、作動するディスクドライブ２３７、ファイバーチャネルネットワーク２９０に接続され、作動するホストバスアダプタインターフェースカード２３５Ａ、ＳＣＳＩバス２３９に接続され、作動するホストバスアダプタインターフェースカード２３５Ｂ、及び光ディスク２４２を収容し、作動する光ディスクドライブ２４０のような外部装置のコンピューティングシステム２１０の主要なサブシステムを互いに接続する。また、マウス２４６（または、他のポイント・クリック機器、シリアルポート２２８を経由してバス２１２に接続）、モデム２４７（シリアルポート２３０を経由してバス２１２に接続）、及びネットワークインターフェース２４８（バス２１２に直接接続）が含まれている。
【００４２】
バス２１２は、中央プロセッサ２１４とシステムメモリ２１７との間でデータ通信を可能にさせるが、前述した通り、システムメモリはリードオンリーメモリ（ＲＯＭ、不図示）若しくはフラッシュメモリ（不図示）、そしてランダムアクセスメモリ（ＲＡＭ、不図示）を含むことができる。一般的にＲＡＭは主メモリであって、運営体制及び応用プログラムがその中にローディングされる。ＲＯＭ若しくはフラッシュメモリは、他のソフトウェアコードの中でも基本入力・出力システム（ＢＩＯＳ）を含むことができるが、ＢＩＯＳは、周辺コンポーネントとの相互作用のような基本的なハードウェア作動を制御する。コンピュータシステム２１０に常駐する応用プログラムは、一般的にハードディスクドライブ（例えば、固定ディスク２４４）、光ディスク（例えば、光ドライブ２４０）、フロッピーディスクユニット２３７、若しくは他のストレージ媒体のようなコンピュータ可読媒体に保存され、その媒体を経由してアクセスされる。更に、ネットワークモデム２４７、若しくはネットワークインターフェース２４８、若しくは他の通信装備（不図示）を経由し、応用プログラムにアクセスする際、応用プログラムは、応用及びデータ通信技術によって変調された電子信号の形であっても良い。
【００４３】
コンピュータシステム２１０の他のストレージインターフェースと同様に、ストレージインターフェース２３４は情報の保存及び／または検索のため、固定ディスクドライブ２４４のような標準コンピュータ可読媒体に接続することができる。固定ディスクドライブ２４４は、コンピュータシステム２１０の一部であっても良く、または別個に分離され、他のインターフェースシステムを介してアクセスすることができる。モデム２４７は、電話接続、またはインターネットサービース提供者（ＩＳＰ、不図示）を経由するインターネットを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８はＰＯＰ（相互接続位置）を経由するインターネットへの直接ネットワークリンクを介し、遠隔サーバへの直接接続を提供することができる。ネットワークインターフェース２４８は無線技術を使用し、かかる接続を提供することができるが、無線技術はデジタルセルラー電話接続、セルラーデジタルパケットデータ（ＣＤＰＤ）接続、デジタル衛星データ接続、若しくは他の接続を含む。
【００４４】
図３Ａ〜Ｉのハードウェアコンポーネントを含む、他の多くの装置、若しくはサブシステム（不図示）を類似の方式で接続することができるが（例えば、文書スキャナ、デジタルカメラなど）、これらはその代替として近距離通信網、広域通信網、無線通信網、若しくは通信システムを介して関連したコンピュータリソースと通信することができる。従って、一般的に本開示においてはハードウェアコンポーネントがコンピューティングリソースに直接接続されている実施形態を議論することができるが、本技術分野の通常の技術者は、かかるハードウェアはコンピューティングリソースと遠隔で接続できることが分かる。逆に、本開示を実行するため、図２に示す全ての装置が存在する必要はない。装置及びサブシステムは、図２とは異なる方法で相互接続することができる。図２に示したようなコンピュータシステムの作動は、当業界によく知られているので、本出願では詳細に説明しない。本開示を具現できるソフトウェアのソースコード及び／またはオブジェクトコードは、１つ以上のシステムメモリ２１７、固定ディスク２４４、光ディスク２４２、若しくはフロッピーディスク２３８のようなコンピュータ可読記憶媒体に保存することができる。コンピュータシステム２１０に提供される運営体制は多様であるか、または別バージョンのＭＳ−ＤＯＳ（ＭＳ−ＤＯＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＷＩＮＤＯＷＳ（ＷＩＮＤＯＷＳはワシントン州・レドモンド所在のマイクロソフト社の登録商標）、ＯＳ／２（ＯＳ／２はニューヨーク州・アーモンク所在のＩＢＭ社の登録商標）、ＵＮＩＸ（ＵＮＩＸはイギリス・レディング所在のエックスオープン社の登録商業）、Ｌｉｎｕｘ（Ｌｉｎｕｘはオレゴン州・ポートランド所在のリーナストーバルズの登録商標）、若しくは他の公知されたり開発されたりした運営体制のうち、１つであり得る。
【００４５】
更に、本明細書で説明する信号に関し、通常の技術者であれば、信号が第１ブロックから第２ブロックに直接転送、または信号がそれらブロックの間で変調（例えば、増幅、減衰、遅延、ラッチ、バッファリング、反転、フィルターリング、若しくは他の変更）できることが分かる。前述した実施形態の信号は１つのブロックから次のブロックに転送されることが特徴とされているが、信号の情報及び／または機能の面がブロックの間で転送される限り、本開示の他の実施形態は、そのような直接転送された信号に代わって変調された信号を含むことができる。ある程度、関連した回路の物理的限界（例えば、ある程度の減衰及び遅延が必然的にあるはず）により、第２ブロックにおける信号入力は、第１ブロックからの第１信号出力に由来する第２信号として概念化することができる。従って、本明細書において用いられる第１信号に由来する第２信号は、第１信号、または回路制限若しくは第１信号の情報及び／または最終機能の面を変えない他の回路素子の通過による、第１信号に対する任意の変調を含む。
【００４６】
本発明は、手術ハードウェア及びソフトウェアモニタリングシステム及び方法に関するものであって、患者の手術までに余裕がある間、例えば、患者が手術を準備する間、このシステムが手術部位をモデル化できるよう手術計画を可能にする。前記システムは、図３Ａにおいて基準キー１０で表示されている、特別に構成されるハードウェアピースを使用し、手術の重要領域（ｃｒｉｔｉｃａｌ  ａｒｅａ）に対してモニタリングシステムのトラッキングマーカー１２を一定方向に向かせる。基準キー１０は意図された手術領域に隣接した位置に取り付けられるが、図３Ａの歯の手術領域の例示的な実施形態において、基準キー１０は歯の副木１４に取り付けられている。トラッキングマーカー１２はトラッキングポール１１によって基準キー１０に接続することができる。手術部位に関する映像情報を獲得する適切なトラッカーに基準レファレンスが直接見える実施形態において（例えば、図５及び図６を参照）、トラッキングマーカーは基準レファレンスに直接取り付けることができる。例えば、歯の手術で、手術領域の近くに基準キー１０を確実に位置付けすることができるよう、歯のトラッキングマーカー１２を使用することができる。トラッカーによってトラッキングマーカー１２から獲得されたデータの持続的な映像処理のため、前記基準キー１０はレファレンスポイント、即ち、基点として使用することができる。
【００４７】
他の実施形態において、追加のトラッキングマーカー１２は基準キー１０及びその基準キーに関連した任意のトラッキングポール１１、またはトラッキングマーカー１２とは独立したアイテムに取り付けることができる。そのため、その独立したアイテムがトラッカーによって追跡される。
【００４８】
更に他の実施形態において、手術部位に隣接したアイテム、若しくは器具のうち、少なくとも１つは本発明のモニタリングシステム７００のためのトラッカーとして機能し、前記トラッキングマーカー１２及び前記手術領域のスキャンデータに対し、任意の追加のトラッキングマーカーの方向及び位置を感知できるように取り付けられるトラッカーを選択的に有することができる。一例として、器具に取り付けられている前記トラッカーは小型デジタルカメラであっても良い。例えば、歯医者用ドリルに取り付けられても良い。前記アイテム、若しくは器具に取り付けられたトラッカーによって追跡される任意の他のマーカーは、そのトラッカーの視界の中になければならない。
【００４９】
歯の手術の例を使用すると、手術部位の初期スキャンを得るため、患者はスキャニングされる。基準キー１０の特定の形により、メモリ内に保存されており、例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７の適切なコントローラで実行されるコンピュータソフトウェアは、前記スキャンデータから手術部位内で基準キーの相対的な位置を認識することができるので、基準キー１０の位置及び方向を参照し、更なる観察を行うことができる。一部の実施形態において、前記基準レファレンスはスキャニングされた際、認識可能な識別象徴として明確なマーキングを含む。他の実施形態において、スキャンで見える身体はスキャンの分析から明確に決定できる前面、後面、上面、下面及び左／右が定義されている表面を示し、それによって基準レファレンスの位置はもちろん、その方向までも決定できるようにする非対称的な形を有しているという点で、前記基準レファレンスは、区別される形状を含んでいる。
【００５０】
更に、前記コンピュータソフトウェアは、歯、顎骨、皮膚及び歯茎組織、他の手術器具などのようにスキャンにおける客体を構成するための座標系を生成することができる。前記座標系はスキャンの映像を基点周辺の空間に関連付けし、方向と位置、両方共によってマーカーが付けられた前記器具を位置付けする。続いて、モニタリングシステムにより生成された前記モデルは、境界条件を点検するために使用することができ、トラッカーと協同してリアルタイムでその配置を適切なディスプレイ、例えば、図２のディスプレイ２２４上に表示する。
【００５１】
１つの実施形態において、前記コンピュータシステムは基準キー１０の物理的な構成に関する所定の知識を有しており、基準キー１０を位置付けするため、スキャンのスライス／セクションを点検する。基準キー１０の位置付け作業は、その独特な形状に基づいたり、または基準キー上部、若しくはトラッキングマーカー１２のような前記基準キー１０への取付物上部ではっきりと識別され、かつ、方向性を有するマーキングに基づくことができる。基準キー１０の構成において、放射線不透過性素材、若しくは高密度素材を採択した高い映像処理コントラストを通じ、基準キー１０がスキャンではっきりと見えるようにすることができる。他の実施形態において、適切な高密度、若しくは放射線不透過性インク、若しくは素材を使用して、はっきりと識別され、方向性を有するマーキング素材を生成することができる。
【００５２】
基準キー１０が識別されると、分割スキャンから前記基準キー１０の位置及び方向が決定され、基準キー１０内の１つのポイント（地点）が座標系の中央に割り当てられる。そのように選択されたポイントは任意に選択することができ、またはその選択は数々の有用な基準に基づくことができる。モデルは続いて変形マトリクスの形に誘導され、基準システムに関連付けされるが、１つの特定実施形態において、基準キー１０が手術部位の座標系に関連付けされる。その結果で生成される仮想の構築物は、意図されている手術の仮想モデリングのための手術手順計画ソフトウェアによって使用されることができ、代替手段として手術ソフトウェアのための映像支援を提供し／提供したり手術手順を行うための経路をグラフに表したりするための目的で、器具を構成するための計測ソフトウェアによって使用されることができる。
【００５３】
いくつかの実施形態において、前記モニタリングハードウェアは前記基準レファレンスへのトラッキング取付物を含む。歯の手術に関連する実施形態において、基準キー１０への前記トラッキング取付物はトラッキングマーカー１２であるが、前記トラッキングマーカー１２はトラッキングポール１１を介し、基準キー１０に取り付けられている。トラッキングマーカー１２は、特別な識別パターンを有することができる。図７〜１０を用いて更に詳細に説明する。例えば、トラッキングマーカー１２のような追跡可能な取付物と、更に関連しているトラッキングポール１１は、公知の構成を有するため、トラッキングポール１１及び／またはトラッキングマーカー１２から観察データを座標系に正確に図解することができ、それにより、手術手順の進行をモニタリングして、記録することができる。例えば、特に図３Ｊに示すように、基準キー１０は、トラッキングポール１１のインサート１７に締結されるよう特別に調整されている所定の位置にホール１５を有することができる。例えば、かかる配置において、トラッキングポール１１は小さい力で基準キー１０のホール１５内部に取り付けることができ、それにより、かかる取り付けが成功的に完了すると聴覚的な通知を与えることができる。
【００５４】
手術手順において、トラッキングポールの方向を転換することも可能である。例えば、歯の手術が口腔内の反対側の歯を扱う場合、外科医が手を取り替える場合及び／または２番目の外科医が手術の一部を行う場合、手術位置を変更するため、そのような方向転換があり得る。例えば、トラッキングポールの移動は、座標系に対する前記トラッキングポールの再登録のきっかけとなり得るため、その位置をそれに応じて調節することができる。例えば、歯の手術の実施形態の場合、取り付けられたトラッキングマーカー１２を備えたトラッキングポール１１が基準キー１０のホール１５から分離され、関連したトラッキングポールを備えた別のトラッキングマーカーが基準キー１０の代替ホールに接続されるとき、かかる再登録が自動的に開始される。更に、ソフトウェアで境界条件が具現され、観察データがその外周部領域にアクセスし／アクセスしたり入ったりする際、ユーザーに通知することができる。
【００５５】
更に他の実施形態において、前記トラッキングマーカーは特に３次元形状を有することができる。識別パターンを有する適切な３次元形状は楕円表面の一部及び円筒表面の一部を含むことができるが、それに限定されない。一般的に、適切な３次元形状は、単関数によって数学的に記述できる形状である。図３Ｋに示すように、この実施形態においてマーカー３１２として用いるに適切な１つの特別な３次元表面は、円筒表面である。円筒表面は単関数によって数学的に記述することができる。パターン３１３は回転方向に非対称であるため、円筒形状マーカー３１２を回転させてもパターン３１３そのものが空間的に繰り返されない。よって、マーカー３１２の位置及び方向がユニークに決定できるようになる。パターン３１３はマーカー３１２の任意の有用な表面一部の上部に存在することができ、マーカー３１２の円周全体を囲んで延長することができるため、マーカー３１２の位置方向に関係なく、適切なトラッカー（不図示）はその視界内に常にパターン３１３の一部を有することができるようになる。マーカー３１２は、マーカー１２の場合に既に記述したのと全く同じ方法でトラッキングポール１１と締結することができる。図３Ｋでマーカー３１２は５つのパターンのリングを含んでいるが、前記５つのパターンのリングは共にパターン３１３を構成する。他の実施形態におけるマーカー３１２は、適切に回転方向に非対称なパターン３１３を有する単一リングを含むことができるため、マーカー３１２は単一リングを有するパターン３１３であり得る。
【００５６】
回転方向に非対称なパターンを有する適切なトラッキングマーカーの他の実施形態を図７〜１０を用いて説明する。適切なパターンタグを提供できるようパターン３１３のコントラスト部は数学的に記述できる曲線部を含む外周部を有することができるという点で、図７〜１０を用いて以下に説明するコントラストの様相は、図３Ｋのパターン３１３にも適用される。これに関する更なる詳細な説明は、以下に提供する。
【００５７】
更に他の実施形態において、マーカーのための表面を有するパターンとして用いるに適切な３次元表面の一部は、楕円表面である。楕円は単関数によって記述することができるが、その中でも球面が最も単純である。図３Ｌは、パターン３２３を有する楕円表面を有するマーカー３２２を示している。マーカー３２２は、マーカー３１２若しくは図７〜１０におけるマーカーと同一の方式で用いることができる。
【００５８】
図３Ｋ及び図３Ｌにおいて、パターン３１３、３２３はそれぞれ白のバックに黒の円領域で示している。他の実施形態において、前記円コントラスト領域が白色であり、バックは黒色であっても良い。
【００５９】
本発明を活用するシステムの更に他の実施形態において、本明細書で「ハンドピース」（図５及び図６）と命名される手術器具、若しくは手術道具は、座標系内に位置して、追跡できる独特な構成を有することができ、本明細書で説明するような適切なトラッキングマーカーを有することができる。仮想の素材との潜在的な衝突を示すための境界条件を設定することができ、ハンドピースが境界条件にアクセスすると感知された際、スクリーン上に指示が現れたり、或いはアラームサウンドが鳴り得る。それだけでなく、希望する手術領域を示せるよう、ターゲットの境界条件を設定することができ、ハンドピースの経路がターゲット領域を離れる傾向にあるとき、そのハンドピースが希望経路を離れていることを示す表示が、スクリーン上に見えたり、或いはアラームサウンドが鳴り得る。
【００６０】
いくつかのハードウェアコンポーネントの代替的な実施形態が図３Ｇ〜Ｉに示されている。基準キー１０´は適切な接続部を備えた接続要素を有しており、トラッキングポール１１´が手術部位に対しトラッキングマーカー１２´を位置付けするようにする。独特な形状を有しているが、概念的に基準キー１０´は、前述の実施形態と非常に同一の方式でポール１１´及びトラッキングマーカー１２´に対するアンカーとして機能する。前記モニタリングシステムの前記ソフトウェアは、それぞれ特別に識別される基準キー、トラッキングポール、及びトラッキングマーカーの構成を有するよう予めプログラムされており、その位置計算は変更された構成パラメータによって変更されるだけである。
【００６１】
規制要件及び実質的な考慮事項により、ハードウェアコンポーネントの素材は異なっても良い。一般的にキー、若しくは基準コンポーネントは、通常、放射線不透過性素材で製造されるため、スキャンのノイズを発生しないが、スキャニングされた映像上に認識できるコントラストを生成するため、それに関連した任意の識別パターンを認識することができる。更に、一般的に患者に配置されているため、前記素材は軽量であって、患者に置かれた装置への接続に適合しなければならない。例えば、歯の手術の場合、前記基準キーの素材はプラスチック副木への接続に適合すべきであり、トラッキングポールへの接続に適合すべきである。外科手術の場合、前記基準キーの素材は患者の皮膚、若しくは他の特定組織への取り付けに適していなければならない。
【００６２】
それに限定されるものではないが、例えば、高コントラストのパターン彫刻を採択することで、前記トラッキングマーカーは鮮明に識別される。前記トラッキングマーカーの素材としては、オートクレーブ工程における損傷に耐性があり、コネクト構造への堅固で繰り返し可能、かつ迅速な接続に適合性のある素材が選択される。前記トラッキングマーカー及びそれに接続されたトラッキングポールは、異なる手術位置に対し異なる位置に収容され得る性能を有しており、前記基準キーと同様、トラッキングマーカーとトラッキングポールは、患者の上部、若しくは患者に対し安定して配置されるため、相対的に軽量でなければならない。前記トラッキングポールも同様に、オートクレーブ工程に適合性がなければならず、トラッキングポールの中で共有された形のコネクターを有しなければならない。
【００６３】
前記基準キー、トラッキングポール及びトラッキングマーカーを追跡する際に採択される前記トラッカーは、１．５ｍ２サイズの客体を非常に正確に追跡できなければならない。限定されるものではないが、一例として、前記トラッカーはステレオカメラ、若しくはステレオカメラペアである。感覚的な入力を読み取りできるよう、一般的にトラッカーは有線でコンピューティング装置に接続されるが、前記感覚的なデータをコンピューティング装置に転送できるよう、前記トラッカーは選択的に無線接続を有することができる。
【００６４】
ハンドピースのように追跡可能な器具のピースを追加に採択する実施形態において、かかる追跡可能な器具のピースに取り付けられるトラッキングマーカーはまた軽量でなければならず、９０°の間隔を持つ３つの客体アレイ内で作動できなければならない。また、高コントラストのパターン彫刻と、標準ハンドピースに対し堅固で迅速な装着メカニズムを選択的に有しなければならない。
【００６５】
本発明の別の側面において、図４Ａ〜Ｃに示すよう、手術活動を追跡するための自動登録方法が提示される。限定されるものではないが、図４Ａ及び図４Ｂは、スキャンデータから前記基準レファレンスの３次元位置及び方向を決定するための１つの方法のフローチャートである。図４Ｃは、前記トラッカーにより獲得された映像情報から適切なトラッキングマーカーの存在を確認し、前記映像情報に基づいて前記基準レファレンスの３次元位置及び方向を決定するための方法を示すフローチャートである。
【００６６】
図４Ａ及び図４Ｂに示すよう、一旦プロセスが始まると（段階４０２）、前記システムは、例えばＣＴスキャンからスキャンデータセットを獲得し（段階４０４）、前記基点及び前記特別なスキャナモデルの知識に基づいてスキャンと共に提供されるか、或いは提供されない、前記基点に関するＣＴスキャンのデフォルトハンスフィールドユニット（ＨＵ）値をチェックし（段階４０６）、もしかかる閾値が存在しなければ一般化された所定のデフォルト値が採択される（段階４０８）。続いて、前記基準キー値に関連している予測値の範囲外のハンスフィールドデータ値で分割スキャンを除去することで、前記データが処理され（段階４１０）、残っているポイントの収集が続く（段階４１２）。もし前記データが空いていれば（段階４１４）ＣＴ閾値が調整され（段階４１６）、元の値が復元され（段階４１８）、分割スキャンの分割処理が続く（段階４１０）。前記データが空いていなければ、既存データを用いてマスの中央が計算され（段階４２０）、Ｘ・Ｙ・Ｚ軸の計算が行われる（段階４２２）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点になければ（段階４２４）ユーザーに通知され（段階４２６）、プロセスが終了する（段階４２８）。もしマスの中央がＸ・Ｙ・Ｚ軸の交差点にあれば（段階４２４）そのデータポイントは設計された基準データと比較される（段階４３０）。もし累積誤差が、許容される最大誤差より大きければ（段階４３２）ユーザーに通知され（段階４３４）、このプロセスは終了する（段階４３６）。累積誤差が、許容される最大誤差より大きくなければ、Ｘ・Ｙ・Ｚ軸の交差点で座標系が定義され（段階４３８）、スキャンプロファイルはＨＵユニットに対してアップデートされる（段階４４０）。
【００６７】
図４Ｃを参照すると、適切なカメラ若しくは別のセンサーであるトラッカーから映像情報が獲得される（段階４４２）。トラッキングマーカーが映像情報内に存在するかを決定するため、前記映像情報が分析される（段階４４４）。もし存在しなければ、この手順を続けるべきかどうかがユーザーに問われる（段階４４６）。続けない場合、このプロセスは終了する（段階４４８）。このプロセスが続く場合は、前記映像情報内でトラッキングマーカーが発見されなかったことがユーザーに通知され（段階４５０）、このプロセスは映像情報を獲得する段階に戻る（段階４４２）。もし前記映像情報に基づきトラッキングマーカーが発見されたり、若しくは前述した通知により、ユーザーによってトラッキングマーカーが取り付けられたりしたら（段階４５０）、適切なデータベースから前記基準レファレンスに対する前記トラッキングマーカーのオフセット及び相対的な方向が獲得される（段階４５２）。用語「データベース」は、本明細書において形式的な多重要素、若しくは多次元データベースで構成されたか否かにかかわらず、かかる情報の任意のソース、量及び配置を説明するために用いられる。本発明のこの実施形態の単純な具現において、オフセット値と相対的な方向を含む単一データセットが十分であり、その単一データセットは、例えばユーザーによって提供されたり、またはコントローラのメモリユニット内にあるか、若しくは分離されたデータベース、若しくはメモリ内にあり得る。
【００６８】
座標系の原点を前記基準レファレンスに定義し、前記映像情報に基づいた前記基準レファレンスの３次元方向を決定できるよう、前記トラッキングマーカーのオフセット及び相対的な方向が使用され（段階４５４）、登録プロセスが終了する（段階４５８）。前記基準レファレンスの位置と方向をリアルタイムでモニタリングできるよう、このプロセスは段階４５４から繰り返され、カメラから新しい映像情報を獲得することができる（段階４４２）。ユーザーがこのプロセスを終了できるよう、適切なクエリポイントが含まれても良い。映像データから所定の形状を有したりマーキングされたりしたトラッキングマーカーの方向及び位置を決定するための詳細な方法は、本技術分野の技術者に知られているので、ここでは説明しない。前記手術部位に隣接した、トラッキングマーカーを有する任意のアイテムの動きを追跡できるよう、このように誘導された座標系が使用される。他の登録システムも考えられるが、例えば所定のオフセットではなく、既存の他の感覚的なデータを使用するか、若しくは基点が転送容量を持つようにすることがある。
【００６９】
本発明の実施形態の一例が図５に示されている。所定の歯に取り付けられ、堅固に取り付けられたトラッキングマーカー５０４を有する基準キー５０２の他にも、例えば歯用ドリルであり得るハンドピースの追加器具、若しくは道具５０６を前記モニタリングシステムのトラッカーとして機能するカメラ５０８によって観察することができる。
【００７０】
本発明の実施形態の他の例が図６に示されている。例えば、人間の腹や胸であり得る手術部位６００は、トラッキングマーカー６０４を支持できるよう、所定の位置に固定されている基準キー６０２を有することができる。内視鏡６０６は別のトラッキングマーカーを有することができ、トラッキングマーカーを有する生検針６０８は手術部位において提示されることができる。センサー６１０は、例えばカメラ、赤外線感知器、若しくはレーダーであり得る。
【００７１】
本発明の更に他の側面が図７を用いて記述されているが、図７は、図３Ａ及び図３Ｂにおけるトラッキングマーカー１２をさらに詳細に示している。前述したように、トラッキングマーカー１２は特別な識別パターンを有することができる。このような本発明の更に他の側面において、前記トラッキングマーカー１２上に全体的に「７２」で示されている前記特別なパターンの問題をさらに詳細に扱う。図７に示す第１実施形態において、前記パターン７２は多数のコントラスト部７４を含む。パターン７２は回転方向に非対称であることを更に特徴とする。その結果、パターン７２の映像は、トラッキングマーカー１２のパターン７２の平面に対して垂直な軸を中心とする回転方向をユニークに識別する。パターン７２は数学的に記述できる曲線部を含む外周部を有する少なくとも１つのコントラスト部７４を有することを更に特徴とする。図７に最も簡単な場合の円形外周部７６が示されているが、それは全体外周部を構成している。他の実施形態において、前記曲線部は全体外周部より少ない領域を構成することもできる。例えば、前記曲線は円錐曲線であっても良いが、それに限定されない。更に他の実施形態において、前記曲線は円錐曲線ではない、数学的に記述することができる曲線であっても良い。
【００７２】
本発明の前記手術部位モニタリングシステムで採択された前記トラッカーによって前記コントラストが識別されなければならないという事実だけで、このコントラストの基礎若しくは根拠が制限される。限定するものではないが、例えば前記コントラスト部７４がカットアウトになる方法によって、前記コントラスト部７４が更に暗く、若しくは更に淡いグレートーンになる方法によって、前記コントラスト部７４が別の色調若しくは彩度になる方法によって、前記コントラスト部７４が任意の色空間で他の色になる方法によって、前記コントラスト部７４が赤外線映像で他の明るさになる方法によって、または映像コントラストの任意の他の根拠によって、前記トラッキングマーカー１２上の周辺領域との対比となり得る。
【００７３】
前記トラッキングマーカー１２に一時的に若しくは永久的に取り付けられたり貼られたりする別度のパターンタグ７７上に前記パターン７２を具現することができる。逆に前記トラッキングマーカー１２自体がパターン７２を有することができるよう、前記パターンタグ７７自体が、例えばトラッキングマーカー１２のようなトラッキングマーカーであっても良い。前記パターンタグ７７は平面であっても良い。前記パターンタグ７７はフレキシブルであるため、フレキシブルに変形された後でも平面に戻ることができる。限定するものではないが、例えば前記パターンタグ７７の素材は、ポリマー、紙、若しくはポリマーと紙の混合であっても良い。他の実施形態において、前記タグ７７は寸法安定性を維持しながら、非フレキシブルに変形されることができる。以下に記述するように、それぞれのトラッキングマーカーは、各々それ自体のパターンを備えている多数のパターンタグを含むことができる。
【００７４】
数学的に記述することができる曲線部の存在により、３つの独特な利点が提供される。第１に、本発明に係る多数の実施形態において用いられたトラッカーのように、通常のトラッカーで利用できる、限られたピクセルの数や大きさに起因する問題点を悪化させる正方形、長方形、平行四辺形のような直線形状の内在的な問題点を克服する。前記ピクセルの数は限られているため、映像において正確な直線の位置を１ピクセル未満の正確度で決定することは難しい。その外周部に直線部を有するコントラスト部は、本質的にかかる限界に悩まされることになる。コントラスト部７４の外周部７６であって数学的に記述することができる曲線部を採択することにより、外周部７６の位置を更に正確に本質的に決定することができる。その概念及び方法が本技術分野において詳しく説明されているだけでなく、本技術分野の技術者にも知られているので、デジタル映像でコントラスト境界を決定する方法について本明細書では説明しない。
【００７５】
第２に、前述した外周部の位置を更に正確に決定することに加え、一旦、そのコントラスト部７４と外周部７６を示すパターン７２の映像が利用できれば、前記外周部７６の数学的に記述できるとの特性により、１つの非常に正確なコントラスト部のレファレンスポイント７８を決定することができる。図７の円を一例に挙げると、コントラスト部のレファレンスポイント７８のための有用な選択は外周部７６によって記述される円の中心であり得るが、この場合にそれはコントラスト部７４の中心である。しかし、より一般的に、かかる応用に適合なレファレンスとして円の中心ではなく、他のポイントが採択されることがある。
【００７６】
第３に、コントラスト部７４の外周部７６の一部に対する数学的記述が分かれば、他の軸を中心とするパターン７２の回転を決定することができる。そのため、前記パターン７２の外形が数学的用語で表現され、デジタルデータベースを含むが、それに限定されない任意の種類のデータベースに保存されることができる。前記モニタリングシステムの前記トラッカーは、トラッキングマーカー１２上の前記パターン７２に関する映像情報を獲得することができる。例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７の適切なコントローラを使用して前記映像情報を数学的に分析し、前記パターンの前記数学的記述に関して保存されている情報を比較することにより、トラッキングマーカー１２の３次元方向を決定することができる。もしトラッキングマーカー１２が十分に広い３次元範囲を持っていれば、トラッキングマーカー１２の３次元方向を決定する際に補助できるよう、コントラスト部の適切なパターンをトラッキングマーカー１２の他の表面にも適用することができる。
【００７７】
前記パターン７２は、ユニークなパターンとなるように選択することができる。それにより、前記トラッカーの視界内で前記パターンタグ７７若しくは前記トラッキングマーカー１２がユニークに識別できるようになる。したがって、様々なアイテム、客体、器具若しくは道具は、パターンタグを有するトラッキングマーカー、若しくは単にパターンタグだけでタグ付けされ得るため、かかるアイテム、客体、器具若しくは道具をユニークに識別して追跡し、それらの方向を決定することができる。
【００７８】
単純な円形状を有するコントラスト部を用いて本発明のかかる一般的な側面を説明したが、他の形状を有するコントラスト部を採択する他の実施形態に移る。他の実施形態において、例えば前記曲線は、楕円若しくは放物線のような他の任意の円錐曲線形状であっても良く、前記コントラスト部の全領域に拡張することができる。楕円の場合、例えば前記楕円の長半径若しくは短半径に沿って前記コントラスト部のレファレンスポイントが置かれるように選択することができる。特に、コントラスト部のレファレンスポイントのための有用な選択は、前記楕円の焦点のうち１つであり得る。コントラスト部のレファレンスポイントの他の有用な選択は、前記楕円の頂点のうち１つであり得る。これに関し、正確な数学的記述のために十分な長さを有し、様々な軸及び焦点を決定できるようにする楕円の一部のみを必要とするという点に留意しなければならない。したがって、前記コントラスト部は全体楕円でなくても良い。かかる点で、数学的に記述できる曲線の利点がある。もし放物線が選択されたら、コントラスト部のレファレンスポイントに対する有用な選択は、前記放物線の焦点、前記放物線の頂点、若しくは前記放物線の対称軸が該当放物線の準線と交差するポイントがあり得る。
【００７９】
本発明の更に他の実施形態において、前記コントラスト部の前記外周部の少なくとも一部を記述するため、円錐曲線ではない数学的に記述できる曲線を使用することができる。かかる曲線は当然、円錐曲線より更に複雑であって、適切なコントラスト部のレファレンスポイントに対し細心な注意が必要となる。本発明の更に他の実施形態において、前記コントラスト部は、前述した円錐曲線と異なる形状の混合であっても良い。１つの例を挙げると、半円であって、その外周部の一部のみが円によって記述されるが、数学的に記述される円の全ての利点を可能にする。
【００８０】
本発明の更に他の実施形態において、前記パターンは多数のコントラスト部を含むことができるが、多数のコントラスト部のうち、１つを越えるコントラスト部は数学的に記述できる曲線部を含む外周部を有する。かかる場合にパターンレファレンスポイントは、前記１つを超えるコントラスト部で誘導された結果で生成された多数のコントラスト部のレファレンスポイントに対し、相対的に表現されたポイントであり得る。限定するものではないが、例えば図７でパターンタグ７７の３つのコントラスト部のそれぞれは円であり、それぞれはコントラスト部のレファレンスポイントとしてその中心を有する。かかる場合、例えば前記パターンレファレンスポイントは、番号が表示されていない２つのコントラスト部の中心を結ぶ線の中間点であり得る。かかる目的のため、任意の他の有用なポイントを選択することができるが、コントラスト部のレファレンスポイント７８、またはパターンタグ７７の任意の角を含む。
【００８１】
図８に示す他の具現例において、トラッキングマーカーは、例えばパターンタグ８７及びパターンタグ８７´のような１つを越えるパターンタグを含むことができる。それぞれのパターンタグ８７、８７´は、全体的にそれぞれ８２、８２´で示されるパターンを有し、それぞれ回転方向に対称であるが、パターン８２、８２´の組み合わせは回転方向に非対称である。かかる特定の具現例において、前記２つのタグは同一であるが、一般的な場合に前記２つのタグは互いに対して回転しながらトラッキングマーカー上に位置している。かかる配置は１種類のパターンタグのみを必要とするとの利点を有する。例えば、手術のために手の中にただ１種類のタグのみを持っていればいいので、費用が節減でき、管理負担も下げられる。他の実施形態において、２つのパターンタグ８７、８７´は、トラッキングマーカー１２上で同一方向に隣り合って配置することができる。かかる配置は依然として回転方向に非対称なパターンを結果的に提供する。図８において、２つのパターンタグ８７、８７´は、共面方式に取り付けられている。他の実施形態において、それらは共面のものに限定されない。
【００８２】
図９に示す更に他の具現例において、２つのパターンタグ９７、９７´が採択されているが、２つのパターンタグは全て回転方向に対称である幾つかの形を有する。パターンタグ９７は、１２０°の回転方向対称のパターン９２を有する一方、パターンタグ９７´は、パターン９２とは異なる１８０°の回転方向対称のパターン９２´を有する。しかし、２つのパターンタグ９７、９７´は共に回転方向非対称を提供する。
【００８３】
図１０において、回転方向対称を有するパターンタグ１０７のパターン１０２及び回転方向非対称であるパターンタグ１０７´のパターン１０２´に基づいて更に他の具現例が提示されている。前記ジョイントパターン１０２、１０２´は、回転方向に非対称なパターンを構成する。
【００８４】
図７〜図１０において、実施例として非常に単純なパターンが用いられた。前記パターンはより複雑であり、それによって、よりユニークであるように選択することができる。それにより、パターンタグはトラッカーの視界内でユニークに識別することができる。したがって、多数のアイテム、客体、器具若しくは道具は、タグ付けられたパターンタグであり得るため、かかるアイテム、客体、器具若しくは道具をユニークに識別して追跡し、それらの方向を決定することができる。本発明に係るそれぞれの実施様態において、図８〜図１０の２つのパターンタグセットが単一のトラッキングマーカーを構成する。
【００８５】
図８〜図１０のパターン８２、８２´、９２、９２´、１０２、１０２´は、前記トラッキングマーカー１２に一時的に若しくは永久的に取り付けられたり貼られたりする別度のパターンタグ上に具現することができる。逆にパターンタグのペア８７と８７´、９７と９７´、１０７と１０７´自体が、例えばトラッキングマーカー１２のようなトラッキングマーカーであり得るので、トラッキングマーカー自体がそれぞれパターン８２と８２´、９２と９２´、及び１０２と１０２´を有する。前記パターンタグは平面であっても良い。前記パターンタグはフレキシブルであるため、フレキシブルに変形された後でも平面に戻ることができる。限定するものではないが、例えば前記パターンタグの素材は、ポリマー、紙、若しくはポリマーと紙の混合であっても良い。他の実施形態において、これらタグは寸法安定性を維持しながら、非フレキシブルに変形されることができる。
【００８６】
図４Ａ〜図４Ｃを用いて既に記述した手術活動を追跡するための自動登録方法は、図７〜図１０を用いて記述した前記パターンタグ及び前記パターンを有する図７〜図１０の前記トラッキングマーカーを採択することができる。図４Ａの方法において、前記基準レファレンスへの前記トラッキングマーカーのオフセット及び相対的方向は、方法段階４５２で適切なデータベースから獲得される。図７〜図１０の前記トラッキングマーカー、パターンタグ及びパターンが採択されると、問題となっている前記データベースに、前記トラッキングマーカー１２、前記パターンタグ７７、８７、８７´、９７、９７´、１０７、１０７´、前記パターン７２、８２、８２´、９２、９２´、１０２、１０２´及び例えば、コントラスト部７４である前記パターンタグの前記コントラスト部に関する情報が予め提供される。特に、前記情報は、例えば外周部７６である前記パターンタグの前記コントラスト部の前記外周部の曲線部に対する数学的記述を含む。この情報はまた、例えばコントラスト部のレファレンスポイント７８であるコントラスト部のレファレンスポイントの位置及び採択されるパターンタグのためのパターのンレファレンスポイントの位置を含むことができる。前記トラッキングマーカーに取り付けられた様々なパターンタグ上のパターンに関する情報及びコントラスト部のレファレンスポイントとパターンのレファレンスポイントに関連した位置に関する情報と共に、前記パターンタグの前記コントラスト部の形状や大きさ、外周部及び曲線外周部分、その他に関する情報のかかる収集を記述できるよう、本明細書において用語「幾何学的情報」が採択される。前記幾何学的情報は、与えられた任意のパターンタグ上の少なくとも１つのコントラスト部の少なくとも外周部の一部に対する数学的記述を特に含む。前記幾何学的情報はまた、前記パターンタグと前記トラッキングマーカーとの間の既知の空間的及び方向的関係を含むことができる。
【００８７】
本明細書に記述したように前記パターンタグ（例えば、パターンタグ７２）を採択する本実施形態によって手術活動を追跡するための自動登録方法は、図４Ａ〜図４Ｃの段階４０２ないし４５６を含む。図４Ｃの段階４４４で、トラッキングマーカー１２は、図７〜図１０の通り、そのユニークなパターンに基づいて既に識別された。図１１を用いて、図４Ｃの段階４５４を更に詳細に説明する。図４Ｃに示すように、座標系の原点を基準キー１０に定義し、映像情報内の基準キー１０の３次元方向を決定するためにトラッキングマーカー１２のオフセット及び相対的方向を使用する段階４５４は、図１１の次の段階を含む。このプロセスは、例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７であるコントローラがデータベースから前記トラッキングマーカー１２に関連した少なくとも１つのパターンタグ（例えば、パターンタグ７７）に関する幾何学的情報を獲得し（段階４５４２）、コントローラが前記幾何学的情報に基づいて前記映像情報内で少なくとも１つのパターンタグ７７の少なくとも１つのパターンのレファレンスポイントの位置を決定し（段階４５４４）、前記コントローラが前記幾何学的情報に基づいて前記映像情報内で前記少なくとも１つのパターンタグ（例えば、パターンタグ７７）の回転方向を決定する（段階４５４６）ことから始まる。前記幾何学的情報内で前記トラッキングマーカーに対する前記パターンのレファレンスポイントの関係は予め確立されており、基準キー１０に対する前記トラッキングマーカー１２のオフセット及び相対的方向は知られているので（図４Ｃの段階４５２を参照）、前記基準キー１０で座標系が確立される（段階４５４８）。
【００８８】
本明細書に記述した回転方向に非対称であるトラッキングマーカーの配置は、手術分野を超えて一般的なマシンビジョン及び製品トラッキングという別の分野に適用することができる。更に詳細に、トラッキングマーカー１２はトラッキングポール１１によって基準キー１０に取り付けられるものとして記述したが（例えば、図３Ｂを参照）、本発明に係る前記パターニングされたトラッキングマーカーは基点及びトラッキングポールを使用しない他の分野に適用することができ、その場合に前記パターニングされたトラッキングマーカーを有するアイテムの物理的な空間方向を決定するに有用である。一例として、食品産業における缶のような客体の円筒表面にフレキシブルなパターンタグを適用することができる。前記パターンのレファレンスポイントが知られており、前記パターンの数学的記述が知られていれば、適切なトラッカーを用いて獲得した映像情報から前記缶の位置及び前記パターンタグの曲率をそれぞれ決定することができる。
【００８９】
図１２に概略的に示す本発明に係る更に他の実施形態において、全体的に１２００で示す３次元位置及び方向トラッキングシステムは、アイテム１２１０に取り付けられた少なくとも１つのパターンタグ１２２０を含むが、前記パターンタグ１２２０は多数のコントラスト部１２２２を含む。前記システム１２００は、前記少なくとも１つのパターンタグ１２２０に関する映像情報を獲得するように構成されるトラッカー１２８０と、前記少なくとも１つのパターンタグ１２２０上のパターン１２２４を記述する幾何学的情報を含むデータベースと、例えば図２のプロセッサ２１２及びメモリ２１７であるコントローラ１２９０とを更に含む。前記コントローラ１２９０は、前記トラッカー１２８０から前記映像情報を受信して処理し、前記少なくとも１つのパターンタグ１２２０に関する幾何学的情報を検索できるように前記データベースにアクセスし、前記映像情報を前記幾何学的情報と比較するように構成される。前記多数のコントラスト部１２２２は、回転方向に非対称なパターン１２２４で配列されており、前記多数のコントラスト部１２２２のうち、少なくとも１つは数学的に記述できる曲線部を含む外周部１２２６を有する。前記少なくとも１つのコントラスト部１２２２の前記外周部１２２６は、例えば楕円若しくは円を含むが、それに限定されない円錐曲線を含むことができる。前記少なくとも１つのパターンタグ１２２０はフレキシブルであり、実質的に平面であっても良い。
【００９０】
図１３に概略的に示す本発明の更に他の実施形態において、全体的に１３００で示す３次元位置及び方向トラッキングシステムは、アイテム１３１０に取り付けられた少なくとも２つのパターンタグであって、図１３でパターンタグ１３２０で示す、前記少なくとも２つのパターンタグのうち、第１パターンタグは多数の第１コントラスト部１３２２を含み、図１３でパターンタグ１３３０で示す、前記少なくとも２つのパターンタグのうち、第２パターンタグは少なくとも１つのコントラスト部１３３２を含む少なくとも２つのパターンタグと、前記少なくとも２つのパターンタグ１３２０、１３３０に関する映像情報を獲得するように構成されるトラッカー１３８０と、前記少なくとも２つのパターンタグの外形を記述するパターンタグ情報を含むデータベースと、例えば図２のプロセッサ２１４及びメモリ２１７であるコントローラ１３９０を含む。前記コントローラ１３９０は、前記トラッカー１３８０から前記映像情報を受信して処理し、前記少なくとも２つのパターンタグ１３２０、１３３０に関する幾何学的情報を検索できるように前記データベースにアクセスし、前記映像情報を前記幾何学的情報と比較するように構成される。図１３で１３３０に示された、前記第１及び第２パターンタグのうち、少なくとも１つは回転方向に対称なパターン１３３４で配列された１つ以上のコントラスト部１３３２を有し、前記第１及び第２パターンタグ１３２０、１３３０それぞれの前記コントラスト部１３２２、１３３２は共に回転方向に非対称なパターンを構成し、前記少なくとも２つのパターンタグ１３２０、１３３０それぞれの少なくとも１つのコントラスト部１３２２、１３３２は、それぞれ数学的に記述できる曲線部を含む外周部１３２６、１３３６を有する。
【００９１】
図１２及び図１３に示す２つの実施形態に関連し、実施例として単純なパターンが用いられた。前記パターンはより複雑であり、よりユニークであるように選択することができる。それにより、パターンタグはトラッカーの視界内でユニークに識別することができる。したがって、多数のアイテム、客体、器具若しくは道具は、タグ付けられたパターンタグであり得るため、かかるアイテム、客体、器具若しくは道具をユニークに識別し、それらの方向を決定することができる。
【００９２】
図１４を用いて記述する本発明の更に別の側面において、例えば、図１２及び図１３のパターンタグ１２２０、１３２０若しくは１３３０である少なくとも１つのパターンタグを有するアイテムを追跡するための方法が提供される。前記方法は（例えば、図２のコンピュータ２１０のプロセッサ２１４及びメモリ２１７を含む）適切なコントローラ１２９０、１３９０が、例えば図１２のトラッカー１２８０若しくは図１３のトラッカー１３８０である適切なトラッカーから前記少なくとも１つのパターンタグに関する映像情報を獲得する段階１４１０を含む。前記方法は、前記コントローラ１２９０若しくは１３９０が適切なデータベースから前記少なくとも１つのパターンタグ（例えば、パターンタグ７７）に関する幾何学的情報を獲得する段階１４２０と、前記コントローラがパターンタグのユニークなパターンに基づいて前記少なくとも１つのパターンタグを識別する段階１４３０と、前記コントローラが前記幾何学的情報に基づいて前記映像情報内で前記少なくとも１つのパターンタグの前記少なくとも１つのパターンのレファレンスポイントの位置を決定する段階１４４０とを更に含み、前記幾何学的情報は、前記少なくとも１つのパターンタグの少なくとも１つのコントラスト部１２２２、１３２２、１３３２の外周部の少なくとも一部１２２６、１３２６、１３３６の数学的記述を特に含む。前記方法は、前記コントローラが前記幾何学的情報に基づいて前記映像情報内で前記少なくとも１つのパターンタグの回転方向を決定する段階１４５０を更に含む。前記少なくとも１つのパターンのレファレンスポイントを位置付けし、前記少なくとも１つのパターンタグの回転方向を決定すると、このプロセスを続けるべきかどうかがユーザーに問われる（段階１４６０）。続けない場合、このプロセスは終了する（段階１４７０）。このプロセスが続く場合は、再生された映像情報を獲得する段階に戻る（段階１４１０）。
【図１】
0005972475.tif 000002
【図２】
0005972475.tif 000003
【図３Ａ】
0005972475.tif 000004
【図３Ｂ】
0005972475.tif 000005
【図３Ｃ】
0005972475.tif 000006
【図３Ｄ】
0005972475.tif 000007
【図３Ｅ】
0005972475.tif 000008
【図３Ｆ】
0005972475.tif 000009
【図３Ｇ】
0005972475.tif 000010
【図３Ｈ】
0005972475.tif 000011
【図３Ｉ】
0005972475.tif 000012
【図３Ｊ】
0005972475.tif 000013
【図３Ｋ】
0005972475.tif 000014
【図３Ｌ】
0005972475.tif 000015
【図４Ａ】
0005972475.tif 000016
【図４Ｂ】
0005972475.tif 000017
【図４Ｃ】
0005972475.tif 000018
【図５】
0005972475.tif 000019
【図６】
0005972475.tif 000020
【図７】
0005972475.tif 000021
【図８】
0005972475.tif 000022
【図９】
0005972475.tif 000023
【図１０】
0005972475.tif 000024
【図１１】
0005972475.tif 000025
【図１２】
0005972475.tif 000026
【図１３】
0005972475.tif 000027
【図１４】
0005972475.tif 000028