(57)【要約】  患者の部分（１０）の走査画像から形成される仮想モデル（１００）を、該患者のその部分１０にマッピングするための方法および装置。プローブ（７４）がそこへ取り付けられたカメラ（７２）は、カメラ（７２）によって取り込まれるその部分（１０）のビデオ画像が、ビデオ画面（８０）上でその画面（８０）に固定されて示されている仮想モデルと一致するように見えるまで、患者の該部分（１０）を基準にして動かされる。実座標系（１１）の中の該カメラ（７２）の該位置が感知される。該画面（８０）上の該仮想モデル（１００）のビューを概念的に取り込む仮想カメラを基準にした該仮想モデル（１００）の仮想座標系（１１０）の中の該位置は、所定且つ公知である。これから、該患者の該部分（１０）を基準にした該仮想モデル（１００）の該位置がマッピングでき、該仮想モデル（１００）とほぼ一致するように該患者の該部分（１０）を該仮想座標系（１１０）の中に配置するために変形が生成できる。このような初期位置合わせプロセスの完了後、第２の精密な位置合わせプロセスが、分析中の該患者の該部分の該表面で多数の実ポイントを獲得することによって開始できる。このようなポイントは、次に、第２のさらに正確な変形を生成するために反復最近点測度を使用して処理できる。この精密位置合わせプロセスは反復でき、終了条件が満たされるまでますます多くの正確な変形が生成できる。このプロセスによって生成される最終的な変形を使用して、該仮想モデル（１００）は、該患者の該部分（１０）と実質的に正確に一致するように該実座標系（１００）の中に配置できる。【選択図】  図１
2009501609.tif 000002
【特許請求の範囲】
【請求項１】
仮想空間中の仮想３−Ｄ（三次元）座標系に配置されている仮想モデルである、オブジェクトのモデルを、実質的に実空間中の実３−Ｄ座標系内の該オブジェクトの該位置にマッピングする方法であって、
ａ）コンピュータ処理手段が該仮想モデルを示す情報にアクセスするステップと、
ｂ）該コンピュータ処理手段が、該仮想モデルの少なくとも一部分のビューであり、該仮想座標系内に固定されている仮想カメラからであるようなビューである仮想画像をビデオ表示手段に表示し、さらに、該実座標系内で可動である実際のビデオカメラによって取り込まれる該実空間の実ビデオ画像を該表示手段に表示し、該実座標系内の該カメラからある距離をおいた該オブジェクトの該実ビデオ画像が、該仮想モデルが該仮想座標系内の該仮想カメラからその同じ距離にあるときに該仮想モデルの該仮想画像と実質的に同じ大きさで該表示手段に表示されるステップと、
ｃ）該コンピュータ処理手段が、該表示手段が仮想空間中の該仮想モデルの該仮想画像を、実空間中の該オブジェクトの該実ビデオ画像と実質的に一致すると示す位置に、該カメラが該実座標系内で移動したことを示す入力を受け取るステップと、
ｄ）該コンピュータ処理手段が、該実座標系内の該カメラの該位置を感知するための感知手段と通信するステップと、
ｅ）該コンピュータ処理手段が、該仮想座標系内の該仮想カメラを基準にして該仮想モデルの該位置を示すモデル位置情報にアクセスするステップと、
ｆ）該コンピュータ処理手段が、ステップ（ｄ）で感知された該カメラの該感知位置およびステップ（ｅ）の該モデル位置情報から、該実座標系内の該オブジェクトの該位置を確定するために該入力に応答し、次に実質的に該実座標系内の該オブジェクトの該位置に、該仮想座標系内の該仮想モデルの該位置をマッピングするステップと、
を含む方法。
【請求項２】
該仮想モデルと該オブジェクトの少なくとも１つを、それらが該座標系の１つにおいて実質的に一致するように配置するために該マッピングすることを適用する、次に続くステップを含む請求項１に記載の方法。
【請求項３】
該マッピングすることが、該オブジェクトの該位置に該仮想モデルの該位置をマッピングする変形を生じることを含み、該方法が、該仮想座標系内の該仮想モデルと実質的に一致するように該仮想座標系内に該オブジェクトを配置するために該変形を適用する、次に続くステップを含む請求項１または２に記載の方法。
【請求項４】
該マッピングすることが、該オブジェクトの該位置に該仮想モデルの該位置をマッピングする変形を生じることを含み、該方法が、該実座標系内の該オブジェクトと実質的に一致するように該実座標系内に該仮想モデルを配置するために該変形を適用する、次に続くステップを含む請求項１または２に記載の方法。
【請求項５】
該仮想カメラから所定の距離となるように該仮想座標系内の該仮想カメラを基準にして該仮想モデルを配置するステップを含む前記請求項に記載の方法。
【請求項６】
該仮想モデルを配置するステップが、該仮想カメラを基準にして該仮想モデルを配向するステップをさらに含む請求項５に記載の方法。
【請求項７】
該配置するステップが、該仮想モデルの好ましいポイントを選択し、該好ましいポイントが該仮想カメラから所定の距離となるように、該仮想カメラを基準にして該仮想モデルを配置することを含む請求項５または６に記載の方法。
【請求項８】
該好ましいポイントが、該オブジェクトの該表面上の明白なポイントに実質的に一致する請求項７に記載の方法。
【請求項９】
該配向するステップが、該好ましいポイントが、好ましい方向から該仮想カメラによって見られるように該仮想モデルを配向することを含む請求項６から８のいずれか１つに記載の方法。
【請求項１０】
ユーザが、該仮想モデルの好ましいポイントを指定する請求項７から９のいずれか１つに記載の方法。
【請求項１１】
ユーザが、該好ましいポイントが該仮想カメラによって見られる好ましい方向を指定する請求項５から１０のいずれか１つに記載の方法。
【請求項１２】
該仮想モデルおよび／または該仮想カメラが、その間の距離が該所定の距離となるように自動的に配置される請求項５から１１のいずれか１つに記載の方法。
【請求項１３】
該実際のカメラによって取り込まれる該実空間の実画像、および該仮想カメラによって取り込まれたような該仮想空間の仮想画像を該ビデオ表示手段に表示する、次に続くステップを含み、該仮想カメラが、該実際のカメラが該実座標系内の該オブジェクトを基準にして配置されるのと同じように該仮想座標系内の該仮想モデルを基準にして配置されるように、該仮想カメラが該実空間中の該実際のカメラの動きとともに該仮想空間中で可動である任意の前記請求項に記載の方法。
【請求項１４】
該コンピュータ処理手段が該実座標系内の該カメラの該位置を感知するための該感知手段と通信するステップと、該コンピュータ処理手段が該オブジェクトを基準にして該実際のカメラの該位置をそこから確定するステップと、該コンピュータ処理手段が、該仮想モデルを基準にして同じ位置となるように該仮想カメラが該仮想座標系内で移動されたかのように該表示手段上に仮想画像を表示するステップとを含む請求項１３に記載の方法。
【請求項１５】
仮想空間中の仮想３−Ｄ座標系内に配置される仮想モデルである、オブジェクトのモデルを、実質的に実空間中の実３−Ｄ座標系内の該オブジェクトの該位置にマッピングするためのマッピング装置であって、該装置がコンピュータ処理手段と、ビデオカメラと、ビデオ表示手段とを含み、
該装置が、該ビデオ表示手段が該実空間の該カメラによって取り込まれる実ビデオ画像を表示するように作動し、該カメラが該実座標系内で可動であり、該コンピュータ処理手段が、該仮想モデルの少なくとも一部分のビューである仮想画像をさらに該ビデオ表示手段に表示するように作動し、該ビューが該仮想座標系内に固定される仮想カメラからであるかのように配置され、
該装置が、該実座標系内の該ビデオカメラの該位置を感知するため、およびこれを示すカメラ位置情報を該コンピュータ処理手段に通信するための感知手段をさらに含み、該コンピュータ処理手段が該仮想座標系内の該仮想カメラを基準にして該仮想モデルの該位置を示すモデル位置情報にアクセスし、該実座標系内の該オブジェクトの該位置を、該カメラ位置情報と該モデル位置情報から確認するように配置され、
該コンピュータ処理手段が、該仮想座標系内の該仮想モデルの該位置を実質的に該実座標系の該オブジェクトの該位置にマッピングすることによって、該ビデオ表示手段が、実空間中の該オブジェクトの実ビデオ画像と実質的に一致するように仮想空間中の該仮想モデルの該仮想画像を示す位置に、該カメラが該実座標系内で移動したことを示す入力に応答するように配置されるマッピング装置。
【請求項１６】
該コンピュータ処理手段が、請求項１から１４のいずれか１つに記載の方法を実施するように配置され、プログラムされる請求項１３に記載の装置。
【請求項１７】
該カメラが、それがユーザの手で保持でき、それにより該ユーザによって移動できるようなサイズと重量３０である請求項１３または１４に記載の装置。
【請求項１８】
該実際のカメラが、ガイドが該オブジェクトの該表面に接するように該実際のカメラが移動すると、該オブジェクトが、該コンピュータ処理手段に公知である該実際のカメラからの所定の距離となるように固定され、配置される該ガイドを含む請求項１５から１７のいずれか１つに記載の装置。
【請求項１９】
該ガイドが、該実際のカメラの前で５突出する細長いプローブである請求項１８に記載の装置。
【請求項２０】
該実際のカメラの仕様と配置が、該実座標系内の該カメラから距離がある該オブジェクトの該実ビデオ画像が、該モデルが該仮想座標系内の該仮想カメラからその同じ距離にあるときに該仮想モデルの該仮想画像と実質的に同じサイズであるとして該表示手段に示されるような請求項１５から１９のいずれか１つに記載の装置。
【請求項２１】
該実座標系内の該カメラから距離がある該オブジェクトの該実ビデオ画像が、該モデルが該仮想座標系内の該仮想カメラからその同じ距離にあるときに該仮想モデルの該仮想画像と実質的に同じ大きさであるとして該表示手段に示されるように、該コンピュータ処理手段が、該仮想カメラが該実際のカメラと同じ光学特性を有するようにプログラムされる請求項１５から２０のいずれか１つに記載の装置。
【請求項２２】
該装置が、該カメラが該オブジェクトの該実画像と実質的に一致すると該仮想モデルの該仮想画像を示す該位置にあることを示す入力を提供するために、該ユーザによって動作可能な入力手段を含む請求項１５から２１のいずれか１つに記載の装置。
【請求項２３】
該入力手段が、床の上に設置でき、ユーザの足で操作できるユーザ操作式スイッチを含む請求項２２に記載の装置。
【請求項２４】
空間中の３−Ｄ座標系に配置される仮想モデルである、オブジェクトのモデルを、該座標系内の該オブジェクトとより厳密に位置合わせする方法であって、該仮想モデルと該オブジェクトはすでに実質的に位置合わせされており、
ａ）コンピュータ処理手段が、実データ収集手順が開始する必要があることを示す入力を受け取るステップと、
ｂ）該コンピュータ処理手段が、該座標系内のプローブの該位置、およびそれによって該プローブがその表面と接触しているときの該オブジェクトの該表面上のポイントの該位置を確認するための感知手段と通信するステップと、
ｃ）該コンピュータ処理手段が、該座標系内の該プローブの複数の位置のそれぞれを示し、したがって該プローブがその表面と接触しているときに該オブジェクトの該表面の複数のポイントのそれぞれを示す、それぞれの実データを自動的に且つ周期的に記録するために該入力に応答するステップと、
ｄ）該コンピュータ処理手段が、該実データに該仮想モデルを実質的にマッピングする変形を計算するステップと、
ｅ）該コンピュータ処理手段が、該座標系内の該オブジェクトと該１５仮想モデルをより厳密に位置合わせするために該変形を適用するステップと、
を含む方法。
【請求項２５】
ステップ（ｃ）で、該方法が、該プローブの位置をそれぞれを示すそれぞれの実データを記録する請求項２４に記載の方法。
【請求項２６】
該コンピュータ処理手段が、該プローブの該位置が周期的に記録されるように、該それぞれの実データを自動的に記録する請求項２３または請求項２４に記載の方法。
【請求項２７】
該方法が、該コンピュータ処理手段が、該実データが記録される該プローブの該位置のもう１つまたはすべてをビデオ表示手段に表示するステップを含む請求項２４から２６のいずれか１つに記載の方法。
【請求項２８】
該方法が、該座標系内にその該相対的な位置を示すために該ビデオ表示手段に該仮想モデルの該仮想画像とともに該プローブの該位置を表示することを含む請求項２７に記載の方法。
【請求項２９】
該プローブの各位置がリアルタイムで表示される請求項２７または２８に記載の方法。
【請求項３０】
請求項１から１４のいずれか１つおよび／または請求項２４から２９のいずれか１つに記載の方法を実施するように配置され、プログラムされるコンピュータ処理手段。
【請求項３１】
コンピュータ処理手段によって、それらの手段に請求項１から１４のいずれか１つに記載の方法および／または請求項２４から２９のいずれか１つに記載の方法を運ばせるために実行可能な符号部分を含むコンピュータプログラム
【請求項３２】
コンピュータ処理手段によって、それらの手段に請求項１から１４のいずれか１つに記載の方法および／または請求項２４から２９のいずれか１つに記載の方法を実施させるために実行可能な符号部分を有するコンピュータプログラムの記録を含むレコードキャリヤ。
【請求項３３】
該レコードキャリヤがコンピュータ可読製品である請求項３２に記載のレコードキャリヤ。
【請求項３４】
該レコードキャリヤがネットワーク上で送信される信号である請求項３２に記載のレコードキャリヤ。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、シンガポールで２００５年７月２０日に出願された国際特許出願番号ＰＣＴ／ＳＧ２００５／００２４４号からの優先権を主張し、本出願日を共有するＰＣＴ／ＳＧ２００５/００２４４号の米国一部継続出願に相当する。
【０００２】
本発明は拡張現実システムに関する。特に、本発明は、仮想座標系内のオブジェクトの仮想モデルの位置を、実座標系のこのようなオブジェクトの位置にマッピングするためのシステムおよび方法に関する。
【背景技術】
【０００３】
例えば、磁気共鳴影像法（ＭＲＩ）およびコンピュータ断層撮影（ＣＡＴ）等の画像診断法により、例えば患者の体または体の部分等の現実世界のオブジェクトの三次元の（３−Ｄ）画像をコンピュータを使用してそれらの画像を表示し、操作できるようにする方法で生成することができる。例えば、患者の頭部のＭＲＩスキャンまたはＣＡＴスキャンを撮影してから、コンピュータを使用して画像診断法から頭部の三次元仮想モデルを生成し、モデルのビューを表示することが可能である。コンピュータは、別の視点から頭部を見ることができるように頭部の三次元仮想モデルを一見したところ回転するため、例えば、頭部の一部を削除し、さらに接近して脳腫瘍を表示する等、他の部分が可視となるようにモデルの部分を削除するため、および例えば軟組織等の頭部の特定の部分を、それらの部分がさらに可視になるように強調表示するために使用できる。このようにして走査されたデータから生成される仮想モデルを表示することは、例えば病状の診断と治療において、および特に外科手術の準備をし、計画をする際に等多様な応用例でかなり役に立つことがある。例えば、このような技法により、外科医は、周辺の構造に対する損傷を最小限に抑えるために、腫瘍を除去するために患者の頭部にどのポイントおよび方向から入らなければならないのかを決定できる。あるいは、例えば、このような技法は、リモートセンシングを介して取得される地形の３−Ｄモデルを使用する石油探索の計画を可能にできる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
国際公開第Ａ１−０２／１００２８４号パンフレットは、ＭＲＩスキャン、ＣＡＴスキャンまたは他の画像診断法から生じた仮想モデルを３−Ｄで表示し、操作するために使用されてよい装置の例を開示している。このような装置は、本書に説明されている発明の所有者でもある、国際公開第Ａ１−０２／１００２８４号パンフレットに説明されている発明の所有者によってＤＥＸＴＲＯＳＣＯＰＥＴＭという名前で製造販売されている。
【０００５】
ＭＲＩおよびＣＡＴイメージングから生じる仮想モデルは、外科手術自体の間に使用することもできる。例えば、その上に重ね合わされたその１つまたは複数の部分の対応する仮想モデルの表現とともに、患者の体の１つまたは複数の部分のリアルタイムビデオ画像を外科医に提供するビデオ画面を提供することが役立つ場合がある。これにより、外科医は、例えば、リアルタイムビデオ画像に対して正しく配置された仮想モデルのビューで示される表面下の構造を見ることができるようになる。それは、あたかもリアルタイムビデオ画像が「Ｘ線視覚」下で体の表面の下を見ることができるかのようである。このようにして、外科医は体の部位の改善されたビューを有することができ、その結果より正確に手術を行うことができる。
【０００６】
この技法の改善策は、本発明と共通の出願人を有する国際公開第Ａ１−２００５／０００１３９号パンフレットに説明されている。国際公開第Ａ１−２００５／０００１３９号パンフレットでは、拡張現実システムおよび方法が説明されている。そこではとりわけ、携帯プローブと統合されたカメラを含む「カメラ−プローブ」と呼ばれている例示的な装置が開示されている。３−Ｄ座標系中のカメラの位置は、追跡手段によって追跡調査可能であり、カメラが体の部位の様々なビューを、その仮想モデルの対応するビューがその上に表示された状態であるが、ビデオディスプレイ画面に表示するために移動できるような全体的配置である。
【０００７】
国際公開第Ａ１−２００５／０００１３９号に説明されているような配置が機能するためには、仮想モデルの画像とリアルタイムビデオ画像の間になんらかの種類の位置合わせを達成することが必要であることが理解されるであろう。事実上、本発明の所有者の譲渡された米国公開特許出願番号第２００５／０２１５８７９Ａ１号（「精度評価出願（Ａｃｃｕｒａｃｙ  Ｅｖａｌｕａｔｉｏｎ  ａｐｐｌｉｃａｔｉｏｎ）」は、「オーバーレイエラー」を測定することによってまさにこのような位置合わせの精度を測定するための多様な方法を説明している。この出願は、オーバーレイエラーの多様な原因を説明しており、顕著なものはコレジストレーションエラーである。したがって、米国公開特許出願番号第２００５／０２１５８７９Ａ１号の開示は、その全体として参照することにより本書に組み込まれている。
【０００８】
実際のオブジェクトとこのようなオブジェクトの仮想画像間の正確なコレジストレーションのために、コンピュータ内部の仮想座標系に存在する仮想モデルを、それがモデルであるその実際のオブジェクトにマッピングする方法が必要とされており、前記実際のオブジェクトは現実世界の実座標系に存在している。これは多くの方法で行うことができる。例えば、それは２段階のプロセスとして実施されてよい。このようなプロセスでは、実際のオブジェクトに仮想モデルを実質的にマッピング（maps）する初期の位置合わせが実施できる。次に、仮想モデルを実際のオブジェクトと完全に位置合わせすることを目的とする精密な位置合わせを実施できる。
【０００９】
このような初期位置合わせを実施する１つの方法は、「フィデューシャル」として知られている多くのマーカを患者の体に取り付けることである。ヒトの頭部の例では、小さい球体の形をしたフィデューシャルは、例えばそれらを患者の頭蓋骨にねじ込むこと等によって頭部に取り付けることができる。このようなフィデューシャルは、イメージングの前に定位置に取り付けることができ、したがってスキャンから生じる仮想モデルの中に表示できる。追跡調査装置は、次に、手術室内の実座標系内にそのフィデューシャルの実際の位置を記録するために、例えば手術室内の各フィデューシャルと接触させるプローブを追跡調査するために使用できる。この情報から、および患者の頭部が静止したままである限り、頭部の仮想モデルを実際の頭部にマッピング(maps)できる。
この初期配置技法の明確な不利点は、患者にフィデューシャルを取り付ける必要があるという点である。これは、患者にとっては不快な経験であり、フィデューシャルを取り付ける者にとっては多大な時間を必要とする手術である。
【００１０】
このような初期位置合わせを達成するための代替手法は、イメージングスキャンから生じる仮想モデル上で一連のポイントを指定することである。例えば、外科医またはＸ線技師は、体の部分の表面上のポイントに対応する仮想モデルの「解剖学的ランドマーク」と呼ばれている容易に識別できるポイントを選択するために、前記に参照されたＤＥＸＴＲＯＳＣＯＰＥＴＭ等の適切なコンピュータ装置を使用する可能性がある。これらの選択されたポイントは、前述されたフィデューシャルの役割に類似した役割を達成できる。このようなポイントを選択するユーザが、例えば、ヒトの顔の仮想モデル上で、解剖学的ランドマークとして鼻の先端および各耳たぶを選択する可能性がある。手術室内では、外科医が、仮想モデル上で選択されたポイントに対応する実際の体の部分で同じポイントを選択し、現実世界の座標系でのこれらのポイントの三次元位置をコンピュータに通信できるであろう。その結果、コンピュータが仮想モデルを実際の体の部分にマッピングすることが可能である。
【００１１】
初期位置合わせのこの代替手法の不利点は、解剖学的ランドマークとして働くための仮想モデル上のポイントの選択および患者上の対応するポイントの選択が多大な時間を必要とするという点である。仮想モデル上のポイントを選択する人物または体の上で対応するポイントを選択する人物のどちらかが間違いを犯すことも考えられる。例えば、人の鼻の先端および耳たぶの先端等のポイントを正確に決定する際にも問題がある。
【００１２】
技術で必要とされているのは、オブジェクトの仮想画像の、このようなオブジェクトの実際の位置へのコレジストレーションのための改善されたシステムおよび方法である。
【課題を解決するための手段】
【００１３】
患者の部位（１０）の走査画像から形成される仮想モデル（１００）を患者のその部位（１０）にマッピングするためのシステムおよび方法が提示されている。プローブ（７４）が取り付けられたカメラ（７２）は、カメラ（７２）によって取り込まれる部位（１０）のビデオ画像が、ビデオ画像（８０）上でその画面（８０）上で固定されて示されている仮想モデルと一致していると思えるまで、患者の部位（１０）を基準として移動される。実座標系（１１）の中のカメラ（７２）の位置が感知される。画面（８０）上の仮想モデル（１００）のビューを概念上取り込む仮想カメラを基準にした仮想モデル（１００）の仮想座標系での位置は、所定且つ公知である。このことから、患者１０の部位（１０）を基準にした仮想モデル（１００）の位置をマッピングすることができ、仮想座標系（１１０）内に患者の部位（１０）を配置し、仮想モデル（１００）とほぼ一致するために変形が生成される。このような初期位置あわせプロセスの完了後、第２の精密な位置合わせプロセスが、分析中の患者の部位の表面で多数の実際のポイントを獲得することによって開始できる。このようなポイントは、次に、第２のさらに正確な変形を生成するために反復の最近点（ICP）測度を使用して処理できる。この精密な位置合わせプロセスは、終了条件が満たされるまで繰り返すことができる。このような初期位置合わせプロセスの完了後、第２の精密な位置合わせプロセスは、分析中の患者の部位の表面で多数の実際のポイントを獲得することによって開始できる。このようなポイントは、次に、第２のさらに正確な変形を生成するために反復最近点（ICP）の測度を使用して処理できる。終了条件が満たされるまで、この精密な位置合わせプロセスは反復することができ、ますます正確な変形が生成できる。このプロセスによって生成される最終的な変形を使用して、仮想モデル（１００）は、患者の部位（１０）と実質的に正確に一致するために実座標系（１１）の中に配置できる。
【００１４】
発明の詳細な説明
本発明の例示的な実施形態では、オブジェクトのモデル、つまり仮想空間の仮想３−Ｄ座標系中に配置されている仮想モデルであるこのようなモデルは、実空間の実３−Ｄ座標系中の（実際の）オブジェクトの位置に実質的にマッピングできる。図解を容易にするためには、このようなマッピングは、本書で「位置合わせ」または「コレジストレーション」とも呼ばれる。本発明の例示的な実施形態では、精密位置合わせが後に続く初期位置合わせを実施できる。このような初期位置合わせは、多様な方法を使用して実施できる。いったん初期位置合わせが達成されると、（本書では「仮想オブジェクト」と呼ばれることもある）オブジェクトの仮想モデルを実際のオブジェクトにさらに厳密に位置合わせするために、精密位置合わせが実行できる。これを行う１つの方法は、例えば、実際のオブジェクトの表面で多くの離間したポイントを選択することである。例えば、ユーザは、（例えば、ヒトの体の部分等の）実際のオブジェクトの表面にプローブを設置し、追跡調査システムにプローブの位置を記録させることができる。これは、例えば、精密な位置合わせによりオブジェクトの仮想モデルの実際のオブジェクトへの正確なマッピングを可能にするために、実際のオブジェクトの表面上の十分な数のポイントが、記録されるまで繰り返すことができる。
【００１５】
本発明の例示的な実施形態では、このようなプロセスは、例えば以下を含むことがある。
ａ）コンピュータ処理手段が仮想モデルを示す情報にアクセスすることと、
ｂ）コンピュータ処理手段が、あたかも仮想座標系中に取り付けられた仮想カメラからであるような、仮想モデルの少なくとも部分のビューである仮想画像を表示手段上に表示し、実座標系中で可動である実際のビデオカメラによって取り込まれる実空間の実ビデオ画像も表示手段上に表示し、仮想モデルが仮想座標系中の仮想カメラから同じ距離にあるときに、実座標系中のカメラからある距離をおいたオブジェクトの実ビデオ画像が、仮想モデルの仮想画像と実質的に同じサイズであるように表示手段上に示されることと、
ｃ）コンピュータ処理手段が、実座標系中で、表示手段が仮想空間中の仮想モデルの仮想画像を実空間におけるオブジェクトの実ビデオ画像と実質的に一致するように示す位置に、カメラが移動されたことを示す入力を受け取ることと、
ｄ）コンピュータ処理手段が、実座標系中のカメラの位置を感知するための感知手段と通信することと、
ｅ）コンピュータ処理手段が、仮想座標系中の仮想カメラを基準にして仮想モデルの位置を示すモデル位置情報にアクセスすることと、
ｆ）コンピュータ処理手段が、（ｄ）で感知されたカメラの感知された位置、および（ｅ）のモデル位置情報から実座標系のオブジェクトの位置を確認するために入力に応答し、次に仮想座標系中の仮想モデルの位置を実質的に実座標系中のオブジェクトの位置にマッピングすることと、
を含む。
【００１６】
この方法は、例えば、ユーザが従来の方法でオブジェクトの３−Ｄモデルと実際のオブジェクトの間の初期位置合わせを実行できるようにする。例えば、３−Ｄモデルの仮想画像は、ビデオ表示手段に表示することができ、カメラが動かされるときにそれらの手段上で移動しないように配置することができる。しかしながら、実カメラを移動することによって、実空間のオブジェクトの実ビデオ画像は表示手段全体で移動してよい。したがって、例えばユーザは、実カメラで見られるようにオブジェクトの実ビデオ画像と一致するように表示手段で、仮想画像が表示されるまでカメラを移動できる。例えば、仮想画像がヒトの頭部である場合、ユーザは、耳または鼻等の、表示手段上に示される仮想画像の顕著で容易に認識できる特長を、カメラによって取り込まれるビデオ画像の対応する特長と位置合わせを試みてよい。これが行われると、コンピュータ処理手段への入力は、頭部を基準にして仮想画像の位置を固定できる。
【００１７】
このようなオブジェクトが、例えばヒトまたは動物の体のすべてまたは一部である、あるいは前記オブジェクトの仮想画像が、多様な目的および／または、例えば拡張現実応用例、または（例えば、１つまたは複数のオブジェクトの大量のまたは他の仮想モデルを作成する等、種々の方法で処理されてよいような）過去に取得されたイメージングデータが、同じ１つまたは複数のオブジェクトのリアルタイムイメージングデータと関連して使用される応用例のためにそれに位置合わせされることが求められる任意のオブジェクトである場合がある。
【００１８】
本発明の例示的な実施形態では、方法は、仮想モデルとオブジェクトの少なくとも１つを、それらが座標系の１つで実質的に一致するように配置することを含んでよい。好ましくは、マッピングは、仮想モデルの位置をオブジェクトの位置にマッピングする変形を生成することを含む。方法は、仮想座標系で仮想モデルと実質的に一致するために仮想座標系のオブジェクトの位置に変形を実質的に適用することを含んでよい。代わりに、方法は、実座標系のオブジェクトと実質的に一致するように実座標系に仮想モデルを配置するために変形を実質的に適用することも含むことができる。一般的に、このような変形は、
Ｐ’＝Ｍ・Ｐ
の形で作成することができ、Ｐ’は新しい姿勢であり、Ｐは古い姿勢であり、Ｍは、それが剛体の位置合わせであるため、回転と平行移動（しかしスケーリングなし）を含む４ｘ４行列である。具体的には、Ｍは例えば、Ｒ行列（３ｘ３回転行列）とＴ行列（３ｘ１平行移動行列）を含むことができる。
【００１９】
本発明の例示的な実施形態では、このような方法は、仮想カメラから所定の距離となるように仮想座標系の仮想カメラを基準にして仮想モデルを配置することを含んでよい。仮想モデルを配置することは、仮想カメラを基準にして仮想モデルを配向することも含んでよい。このような配置は、例えば、仮想モデルの好ましいポイントを選択し、好ましいポイントが仮想カメラから所定の位置になるように、仮想カメラを基準にして仮想モデルを配置することを含む場合がある。好ましくは、好ましいポイントは仮想画像の上にある。好ましくは、好ましいポイントは、オブジェクトの表面上の明確なポイントと実質的に一致する。好ましいポイントは解剖学的ランドマークであってよい。例えば、好ましいポイントは、鼻の先端、耳たぶの先端、または一方のこめかみであってよい。配向することは、例えば、好ましいポイントが、例えば好ましい方向から仮想カメラによって見ることができるように仮想モデルを配向することを含む場合がある。配置することおよび／または配向することは、このようにして、例えばコンピュータ処理手段によって自動的に実行することができるか、あるいはユーザがコンピュータ処理手段を操作することによって実施できる。本発明の例示的な実施形態では、ユーザは仮想モデルの表面で好ましいポイントを指定できる。本発明の例示的な実施形態では、ユーザは、仮想カメラによって好ましいポイントを見ることができる好ましい方向を指定できる。本発明の例示的な実施形態では、仮想モデルおよび／または仮想カメラは、その間の距離が所定の距離であるように自動的に配置できる。
【００２０】
方法は、例えば、実カメラによって取り込まれる実空間の実画像と、あたかも仮想カメラによって取り込まれたような仮想空間の仮想画像とをビデオ表示手段の上に、その後表示することを含むことがあり、仮想カメラは、実カメラが実座標系のオブジェクトを基準にして配置されるのと同様に、仮想カメラが仮想座標系の仮想モデルを基準にして配置されるように、実空間での実カメラの移動とともに仮想空間で可動である。したがって、方法は、コンピュータ処理手段が、実座標系のカメラの位置を感知するための感知手段と通信することを含んでよい。次に、コンピュータ処理手段は、例えば、オブジェクトを基準にして実カメラの位置をそこから確認することができる。その結果、コンピュータ処理手段は、例えば、仮想モデルを基準にして同じ位置になるように仮想座標系中で仮想カメラを移動することができる。
【００２１】
このようにして仮想カメラの動きを実カメラの動きと関連付けることによって、表示手段上に別の視点からオブジェクトの実画像を表示するために実カメラを移動でき、仮想カメラは、同じ視点からの仮想モデルの対応する仮想画像が表示手段でも表示されるように対応して移動される。したがって、本発明の例示的な実施形態では、手術室内の外科医は、例えば、多くの異なる方向から体の部位を見て、その実ビデオ画像上にオーバーレイされるその部位の走査画像を見るという利点を有することができる。
【００２２】
本発明の例示的な実施形態では、仮想空間の仮想３−Ｄ座標系に配置されている仮想モデルであるオブジェクトのモデルを、実質的に実空間の実３−Ｄ座標系のオブジェクトの位置にマッピングするためのマッピング装置が提供でき、装置は、コンピュータ処理手段と、ビデオカメラと、ビデオ表示手段とを含み、
装置は、ビデオ表示手段が実空間のカメラによって取り込まれる実際のビデオ画像を表示するように作動し、カメラが実座標系中で可動であり、コンピュータ処理手段が、あたかも仮想座標系中に固定されている仮想カメラからであるような、仮想モデルの少なくとも部分のビューである仮想画像をビデオ表示手段にも表示するように作動するように配置でき、
装置は、実座標系のビデオカメラの位置を感知し、これを示すカメラ位置情報をコンピュータ処理手段に通信するための感知手段をさらに含むことがあり、コンピュータ処理手段は、仮想座標系内の仮想カメラを基準にして仮想モデルの位置を示すモデル位置情報にアクセスし、実座標系のオブジェクト位置を、カメラ位置情報およびモデル位置情報から確認するように配置でき、
コンピュータ処理手段は、カメラが実座標系中で、ビデオ表示手段が、仮想座標系の仮想モデルの位置を、実質的に実座標系のオブジェクトの位置にマッピングすることによって、実空間のオブジェクトの実際のビデオ画像と実質的に一致するように仮想空間の仮想モデルの仮想画像を示す位置に移動したことを示す入力に応答するように配置できる。
【００２３】
コンピュータ処理手段は、例えば上述の方法を実施するために配置、プログラムすることができる。
【００２４】
コンピュータ処理手段は、例えば、例えば医療手術に備えて、あるいは医療手術の間に使用するために手術室内に配置するためのナビゲーションコンピュータ処理手段を含むことがある。このようなコンピュータ処理手段は、例えば、そこから仮想モデルを生成するため、およびその画像を表示し、ユーザによる操作を可能にするためにボディスキャナによって生成されるデータを受信するためにコンピュータ処理手段を計画することを含むことがある。
【００２５】
本発明の例示的な実施形態では、実カメラはそこに固定されるガイドを含み、ガイドがオブジェクトの表面に接するように実カメラが移動するときに、オブジェクトはコンピュータ処理手段にとって公知である実カメラからの所定の距離にあるように配置できる。ガイドは、例えば、実カメラの前に突出する細長いプローブである場合がある。
【００２６】
本発明の例示的な実施形態では、実カメラの仕様および配置は、オブジェクトが実カメラから所定の距離にあるときに、表示手段上のそのオブジェクトの実画像のサイズが、仮想モデルが仮想カメラから所定の距離にあるときにそれらの表示手段上に表示される仮想画像のサイズと同じであるほどである。例えば、実カメラのレンズの位置および焦点距離は、これが当てはまるように選択されてよい。
【００２７】
代わりに、あるいは加えて、コンピュータ処理手段は、仮想カメラが、仮想モデルが仮想カメラから所定の距離にあるときに表示手段に表示される仮想画像が、実カメラから所定の距離にあるオブジェクトの実画像と同じサイズに見えるように、実カメラと同じ光学特性を有するようにプログラムすることができる。
【００２８】
このようなカメラ特性は、例えば、焦点距離、画像投影の中心、およびカメラ歪み係数を含むことがある。このような特徴的な値は、例えばＯｐｅｎＧＬカメラモデル等のカメラモデルに指定（プログラム）できる。このようにする際に、カメラモデルは、このような実カメラに近似できる。
【００２９】
マッピング装置は、例えば、コンピュータ処理手段が、そのカメラによって取り込まれる画像を示す実カメラからの出力を受け取ることができるように、およびコンピュータ処理手段がビデオ表示手段上にこのような実画像を表示できるように配置できる。
【００３０】
装置は、ビデオ表示手段が仮想画像を、オブジェクトの実画像と実質的に一致するように示す位置にカメラがあることを示す入力を提供するためにユーザが操作できる入力手段を含んでよい。入力手段はユーザによって操作されるスイッチであってよい。好ましくは、入力手段は、床の上に設置でき、ユーザの足によって操作できるスイッチである。
【００３１】
本発明の例示的な実施形態では、オブジェクトのモデル、つまり空間中の３−Ｄ座標系に配置されている仮想モデルであるモデルは、前述されたように、初期の位置合わせで、実座標系の実際のオブジェクト、仮想モデル、およびすでに実質的に位置合わせされているオブジェクトとより厳密に位置合わせすることができ、方法は、
ａ）コンピュータ処理手段が、実データ収集手順が開始しなければならないことを示す入力を受け取ることと、
ｂ）コンピュータ処理手段が、実座標系のプローブの位置、それによってプローブが表面と接触しているときにオブジェクトの表面上のポイントの位置を確認するために感知手段と通信することと、
ｃ）コンピュータ処理手段が、実座標系のプローブの複数の位置のそれぞれを示し、したがってプローブがその表面と接触しているときにオブジェクトの表面上の複数のポイントのそれぞれを示す、それぞれの実データを自動的に且つ周期的に記録するために入力に応答することと、
ｄ）コンピュータ処理手段が、仮想モデルを実データに実質的にマッピングする精密変形を計算することと、
ｅ）コンピュータ処理手段が、仮想モデルを座標系のオブジェクトとより厳密な位置合わせをするために変形を適用することと、
を含む。
【００３２】
本発明の例示的な実施形態では、精密変形計算プロセスが、以下の疑似コードを使用して実現できる。
１．実データ中のポイントごとに、モデルデータの最近ポイントを検出する。
この最近ポイントは対応するポイントの組と呼ばれる。
２．特定の対応するポイントの組に対しては、変換後に、組にされた実ポイントがそれらの対応する組にされたモデルポイントに最も近くなるように変形を計算する。
（この計算は（形状の統計的な分布を分析するための技法である）ｐｒｏｃｕｒｅｓｓｅｓ分析として知られている。この種の分析に関する独創性にとんだ論文は、Ｋ．Ｓ．Ａｒｕｎ、Ｔ．Ｓ．ＨｕａｎｇおよびＳ．Ｄ．Ｂｌｏｓｔｅｉｎ、「２つの３−Ｄポイントセットの最小二乗適合（Ｌｅａｓｔ Ｓｑｕａｒｅ  Ｆｉｔｔｉｎｇ  ｏｆ  Ｔｗｏ  ３−Ｄ  Ｐｏｉｎｔ Ｓｅｔｓ）」、パターン分析および人工知能に関するＩＥＥＥ会議録（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ）、第ＰＡＭＩ−９巻、第５号、１９８７年９月、６９８ページである。）
実データ内の各ポイントを、計算された変形で変形し、このような変形は上述の変形方程式、つまりＰ’＝Ｍ・Ｐによって表され、
３．終了条件が満たされるまで、プロセス１から４を繰り返す。終了条件は、ここでは、例えば反復数がシステムによって明示される最大反復数に等しくなる、あるいは、例えば二乗平均平方根距離（ＲＭＳ誤差）が所定の最小ＲＭＳ誤差未満である、あるいは、これらの両条件の組み合わせであってよい。
【００３３】
従って、このような変形を取得することは、反復動作と見なすことができる。つまり、新しい変形は新しいオブジェクト位置に適用できる。次に、新しいオブジェクト位置は、以前の変形等を適用することによって獲得できる。本発明の例示的な実施形態では、前記（ｃ）で、方法は、例えばプローブの少なくとも５０の位置のそれぞれを示すそれぞれの実データを記録し、例えば、プローブの１００個、２００個、３００個、４００個、５００個、６００個、７００個または７５０個（あるいは間の任意の数のポイント）の位置のそれぞれを示すそれぞれの実データを記録できる。
【００３４】
本発明の例示的な実施形態では、プローブの位置を示す実データは、オブジェクト接触するために使用できるプローブの先端の位置を示す。本発明の例示的な実施形態では、コンピュータ処理手段は、プローブの位置が周期的に記録されるようにそれぞれの実データを自動的に記録する。本発明の例示的な実施形態では、方法は、コンピュータ処理手段が、実データが記録されるプローブの位置のさらに１つまたはすべてをビデオ表示手段上に表示するステップを含む。本発明の例示的な実施形態では、方法は、座標系内でのその相対的な位置を示すために仮想モデルとともにプローブの位置を表示することを含む。本発明の例示的な実施形態では、方法は、それを示すそれぞれのデータが収集されるときにプローブのそれぞれの位置を実質的に表示する。本発明の例示的な実施形態では、プローブの各位置はリアルタイムでこのように表示される。
【００３５】
本発明の例示的な実施形態では、初期位置合わせのための方法は、説明されたばかりの精密位置合わせ方法をさらに含むこともある。
【００３６】
加えて、本発明の例示的な実施形態では、マッピング装置は、このような精密位置合わせを実現するためにさらにプログラムされ、配置されてよい。
【００３７】
本発明の例示的な実施形態では、１つまたは複数の方法を実施するために配置され、プログラムされるコンピュータ処理手段が提供できる。
【００３８】
このようなコンピュータ処理手段は、パソコン、ワークステーション、あるいは当分野において公知であるような他のデータ処理装置を含むことがある。
【００３９】
本発明の例示的な実施形態では、それらの手段に前述の１つまたは複数の方法を実施させるためにコンピュータ処理手段によって実行可能である符号部分を含むコンピュータプログラムを提供できる。
【００４０】
本発明の例示的な実施形態では、それらの手段に前述の１つまたは複数の方法を実施させるためにコンピュータ処理手段によって実行可能である符号部分を有するコンピュータプログラムの記録をその中に含むレコードキャリヤが提供できる。
【００４１】
例えばこのようなレコードキャリヤは、ＣＤ−ＲＯＭまたはＤＶＤ等の光ディスク、フロッピー（登録商標）ディスク、フラッシュメモリ、メモリスティック、ポータブルメモリ等の磁気ディスクまたは記憶媒体、あるいはＥＰＲＯＭまたはＥＥＰＲＯＭ等のソリッドステート記録装置の１つまたは複数等のコンピュータ可読記録製品である場合がある。レコードキャリヤはネットワーク上で送信される信号である場合がある。このような信号は、ワイヤ上で送信される電気信号、または無線で送信される無線信号である場合がある。信号は、光ネットワークで送信される光信号である場合がある。
【００４２】
本書での仮想モデル、オブジェクト、仮想カメラおよび実カメラ等のアイテムの「位置」に対する参照は、それらのアイテムの位置と向きの両方に対する参照であることが理解される。
【００４３】
医療計画／外科手術ナビゲーション例
本発明の例示的な実施形態では、例えばＭＲＩまたは他の医療画像診断法の結果として生成できるもの等のコンピュータに記憶されている患者の仮想モデルは、手術室内で実際の患者の位置にマッピングできる。このマッピングは、仮想モデルのビューを、位置的に正しく患者のリアルタイムのビデオ画像にオーバーレイすることができ、したがって手術計画およびナビゲーション補助器具の機能を果たすことができる。このような例示的な実施形態は次に説明されている。説明は、仮想モデルが実際の患者の位置に実質的にマッピングされる初期位置合わせ手順、および、仮想モデルが患者に実質的に正確にマッピングされることが目的である精密位置合わせ手順の説明を含む。
【００４４】
本発明の例示的な実施形態に従って、図１から９は、例示的な拡張現実装置、実際のオブジェクトの例示的なビデオ画像、本発明の例示的な実施形態によるオブジェクトの例示的な仮想画像の一般化された概略図を示している。加えて、図１１から図２３は、本発明の例示的な脳外科計画／脳外科ナビゲーション実施形態の実際の実現例の実画像である。したがって、概略的な図１から９と図１１から図２３の実画像の両方とも、後続の説明に参照される。
【００４５】
図１は、概略形式で、例示的な拡張現実システム装置２０を示している。装置２０は、プラニングステーションコンピュータ４０とデータ通信しているＭＲＩスキャナ３０を含む。ＭＲＩスキャナ３０は、例えば、患者のＭＲＩスキャンを実行し、そのスキャンによって生成されるデータをプランニングステーションコンピュータ４０に送信するように配置できる。プランニングステーションコンピュータ４０は、例えばＸ線技師または神経外科医等の、プランニングステーションコンピュータ４０のオペレータが見て、操作することができるスキャンデータから患者の３−Ｄモデルを生成するように配置できる。３−Ｄモデルはコンピュータ内部だけに存在するので、それは本書では「仮想モデル」と呼ばれる。
【００４６】
同様に、図１３は、（図の右上に示されている）追跡調査システムと、（左中心に示されている）ディスプレイと、（左下の）ファントムヘッドと、初期位置合わせ手順の始まりでファントムヘッドの近くでカメラ−プローブ（国際公開第Ａ１−２００５／０００１３９号パンフレットに説明されている装置の例）を保持しているユーザとを含む例示的な実際の外科ナビゲーション装置を示している。
【００４７】
続けて図１を参照すると、装置２０は、手術室（不図示）内に配置できる手術室装置５０をさらに含むことができる。手術室装置５０は、例えば、プランニングステーションコンピュータ４０とデータ通信しているナビゲーションステーションコンピュータ６０を含むことがある。手術室装置５０は、フットスイッチ６５と、カメラプローブ７０と、追跡調査装置９０と、モニタ８０とをさらに含むことがある。フットスイッチ６５は、例えば床の上に設置し、オペレータの足で押されるときに、それに入力を提供するためにナビゲーションステーションコンピュータ６０に通信可能に接続できる。
【００４８】
カメラプローブ７０は、そこからカメラ７２の視野の中心に突出する長く薄いプローブ７４付きのビデオカメラ７２を備える。ビデオカメラ７２は、それがオペレータの手の中で無理をせずに容易に保持でき、手術室内で容易に動かすことができるようにコンパクト且つ軽量である。カメラ７２のビデオ出力は、例えばナビゲーションステーションコンピュータ６０に対する入力として接続できる。追跡調査装置９０は、例えば、公知の方法でカメラプローブ７０の位置を追跡調査するように配置でき、それを基準にしてカメラプローブ７０の位置を示すそれに関するデータを提供するためにナビゲーションステーションコンピュータ６０に接続できる。このような例示的な拡張現実装置の追加の詳細は、国際公開第Ａ１−２００５／０００１３９号パンフレットに示されている。
【００４９】
以下の例では、関心の患者の体の部位は頭部である。このような例示的な用途は、例えば、脳外科計画／脳外科ナビゲーションとなるであろう。具体的には、患者の頭部のＭＲＩスキャンが実行され、患者の頭部の３−Ｄ仮想モデルがそのスキャンから収集されるデータから構築されたと仮定される。この例では、例えばプランニングステーションコンピュータ４０の形を取るコンピュータ手段で表示できるモデルが、患者の脳の領域内の腫瘍を示しているとさらに仮定される。意図は、患者が腫瘍を取り除くことを目的として手術を受けなければならず、拡張現実システムがこのような手術を計画し、実行するために使用されるということである。手術室内での頭部の仮想モデルと実際の頭部の正確な位置合わせまたはマッピングが必要とされる。このようなマッピングは本発明の例示的な実施形態に従って行うことができる。
【００５０】
図１から図９は、一般化された概略の（立方体１０として示されている）体の部位、および（破線の立方体１００として示されている）その仮想画像を示している。以下の例では、一般的な立方体１０は頭部であると仮定され、仮想立方体１００はその頭部の仮想モデルであると仮定されている。
【００５１】
このようにして図２および図３は、頭部１０と頭部１００の仮想モデルとを示している。本発明のシステムおよび方法が、任意のオブジェクトとその仮想画像に適用することができ、応用例には関係なく現実世界のオブジェクトに対する、オブジェクトの仮想画像に位置合わせに関することが理解される。予備的な手順として、ＭＲＩスキャナ３０を使用して患者の頭部のＭＲＩスキャンが実行できる。このようなスキャンからのスキャンデータは、ＭＲＩスキャナ３０からプランニングステーションコンピュータ４０に送信できる。プランニングステーションコンピュータ４０は、例えば、プランニングステーションコンピュータ４０を使用して表示可能で、操作可能な仮想モデルを作成するためにスキャンデータを使用するプランニングソフトウェアを実行できる。例えば、プランニングステーションコンピュータがＤｅｘｔｒｏｓｃｏｐｅＴＭである場合、プランニングソフトウェアは、シンガポールのＶｏｌｕｍｅ  Ｉｎｔｅｒａｃｔｉｏｎｓ  Ｐｔｅ  Ｌｔｄによって提供されるＲａｄｉｏＤｅｘｔｅｒＴＭソフトウェアの対である場合がある。留意されるように、頭部１０が図２に示され、仮想モデル１００は図３に示されている。同じように、図１１Ａはファントム頭部の実画像であり、図１１Ｂは、ＭＲＩスキャンから作成されるその仮想画像である。
【００５２】
図４を参照して、仮想モデル１００は、例えばプランニングステーションコンピュータ４０の内部の３−D座標系１１０に配置される一連のデータポイントから構成されることがある。この座標系はプランニングステーションコンピュータ４０の中だけに存在し、今までのところは現実世界で基準のフレームを有していないので、座標系１１０は「仮想座標系」１１０と呼ばれ、「仮想空間」内にあると呼ばれる。
【００５３】
プランニングステーションコンピュータ４０と、その上で実行中のプランニングソフトウェアと対話することによって、ユーザは、例えば仮想モデル１００が仮想空間中で見られなければならない視点を選択できる。これを行うためには、ユーザは最初に仮想モデル１００の表面上でポイント１０２を選択できる。本発明の例示的な実施形態では、頭部モデルの場合の多くは、例えば鼻または耳たぶの先端等の相対的にはっきりしているポイントを選択することが役立つ。ユーザは、次に、選択されたポイントにつながる視線１０３を選択できる。視点１０２と視線１０３は、次に、プランニングソフトウェアによって仮想モデルデータとして仮想モデルが生成されるスキャンデータとともに保存できる。
【００５４】
例示的なインタフェースは、最初に、インタフェースウィンドウ内の仮想オブジェクトを基準にしてカメラの視点を調整するためにマウスを使用でき、第２に、モデル上でマウスカーソルを移動し、マウスの右ボタンをクリックすることによって、モデル上のカーソルポイントの突起であるポイントをモデルの表面で検出することができる。次に、このポイントは、ピボットポイント（後述される）として使用でき、視点は、仮想オブジェクトは結合された（ビデオと仮想）画像の中で表示されるときにどのように表示されるのかである。仮想モデルデータは、例えば、ナビゲーションステーションコンピュータ６０が利用できるようにするために保存できる。この例示的な実施形態では、仮想モデルデータは、公知の技法を使用して、例えばローカルエリアネットワーク（ＬＡＮ）、広帯域ネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）またはインターネットも介して接続されているコンピュータ４０、６０のおかげで、ナビゲーションステーションコンピュータ６０が使用できるようになる。
【００５５】
仮想画像のスキャンおよび作成後、活動が、例えば手術室に移ることがある。図５は、例示的な手術室の概略図を示している。患者は手術に備え、頭部１０が追跡調査装置９０（図５では、追跡調査装置は誤って「８０」と表示されているが、それは実際には図６から図７のように「９０」と表示されなければならない。出願に反映するように図５を補正する権利を留保する）の位置で明示されている実座標系１１１に固定されるように配置できる。手術室では、例えば外科医等のユーザは次に、プランニングコンピュータステーション４０によって保存されている仮想モデルデータにアクセスするために、ナビゲーションコンピュータステーション６０上で実行しているナビゲーションソフトウェアを操作できる。
【００５６】
続いて図５を参照すると、ナビゲーションソフトウェアは、例えば、モニタ８０上で仮想モデル１００を表示できる。仮想モデル１００は、例えば、プランニングステーションコンピュータ４０を使用して指定される視点から仮想モデルを見るために固定される仮想ビデオカメラによって、および例えばナビゲーションソフトウェアによって指定される仮想カメラからある距離をおいて見られるように表示できる。同時に、ナビゲーションソフトウェアは、例えば、ビデオカメラ７２からのリアルタイムビデオ出力を示すデータを受信し、このようにしてその出力に対応するビデオ画像をモニタ８０上で表示できる。このような結合されたディスプレイは、国際公開第Ａ１−２００５／０００１３９号パンフレット、および精度評価（Ａｃｃｕｒａｃｙ  Ｅｖａｌｕａｔｉｏｎ）出願に説明されている拡張現実結合画像である。説明を容易にするために、このような表示されているビデオ画像は「実画像」と呼ばれ、ビデオカメラ７２はこれらを仮想カメラによって生成される仮想モデル１００の「仮想」画像と明確に区別するために「実カメラ」と呼ばれる。
【００５７】
ナビゲーションソフトウェアと実カメラ７２は、仮想座標系１１０中で仮想カメラから距離ｘをおいた仮想モデルの表示画像が、実カメラ７２から現実世界で距離ｘをおいた対応するオブジェクトの実画像となるであろうと同じサイズとしてモニタ８０に示すことができるように較正できる。本発明の例示的な実施形態では、これは、仮想カメラが実カメラ７２と同じ特徴を有するように指定できるために達成できる。加えて、仮想モデルは、取得したスキャン画像および表面抽出が後に続く３−Ｄ再構成を通して実際のオブジェクトに忠実に似ることがある。
【００５８】
カメラからのオブジェクトまたはモデルの距離に関する参照は、そのカメラの焦点面からの距離とさらに適切に呼ばれてよいことが理解される。しかし、説明を明確にするために、焦点面の参照は本書では省略する。
【００５９】
さらに、ナビゲーションソフトウェアは、以前に選択されたポイント１０２が、それが取り付けられている実カメラ７２からプローブ７４の先端の距離に等しい仮想カメラからある距離をおいているかのように仮想モデルの画像を表示するように配置できる。（カメラプローブ７０のビデオカメラ７２は常に実オブジェクトからその距離であるため、これにより、仮想画像は、ある意味では実画像をエミュレートできる。）実カメラ７２は、実カメラ７２を移動すると、さまざまな実画像がモニタ８０に表示されるように現実世界では可動であるが、実カメラ７２を移動することは、仮想座標系１１０中の仮想カメラの位置に影響を及ぼさない。したがって、仮想モデル１００の画像は、実カメラ７２が移動されるかどうかに関係なくモニタ８０で静的なままとなることがある。プローブ７４は実カメラ７２に取り付けられ、カメラの視野の中心に突出するので、プローブ７２も常に可視であり、モニタ８０に示されている実画像の中心に突出している。このすべての結果として、仮想モデル１００の画像はモニタ８０上で固定された表示され、ポイント１０２（前に選択された）がプローブ７２の端部に取り付けられているかのように表示されることがある。これは、実カメラ７２が動き回り、さまざまな実画像がモニタ８０を横切って通過する場合でも残る。
【００６０】
したがって、仮想オブジェクトが実際のプローブの先端に取り付けられ、その相対的な姿勢が固定されているかのようである。ユーザがピボットポイントにプローブ先端を置き、プローブを旋回するので、仮想オブジェクトは、例えば実オブジェクトに位置合わせすることができる。
【００６１】
図５は、モニタ８０に表示され、選択されたポイント１０２がプローブ７２の先端にあるように配置される仮想モデル１００を示しており、仮想モデル１００のビューは、前述されたようにプランニングステージコンピュータ４０を使用して以前に選択されたものである。図５に示されている配置では、カメラプローブ７０は患者の（実際の）頭部からなんらかの距離がある。その結果、モニタ上の頭部１０の実画像は遠方にあるとして示されている（図５のモニタ８０の右上角に示されている）。
【００６２】
図５（図の一番右）でも可視であるのは追跡調査装置９０である（留意されたように、それは図５で「８０」として誤って表示されている）。手術室装置５０での手術中、ナビゲーションソフトウェアは、実座標系１１中のカメラプローブ７０の位置と向きを示すカメラプローブ位置データを追跡調査装置９０から受信できる。
【００６３】
プランニングコンピュータおよびナビゲーションコンピュータの分離が例示的にすぎず、さらに任意であることが留意される。スキャンデータを獲得する機能、仮想モデルを生成する機能、およびカメラプローブに関する追跡調査システムデータを使用してオブジェクトの仮想モデルと実オブジェクトの結合された画像を表示する機能は、本発明の例示的な実施形態では、既定の文脈で所望されてよいように、統合された装置または分散された装置、ハードウェア、およびソフトウェアを使用して任意の便利な方法で実現できる。ここに示されている説明は、多くの考えられる実施例の１つである。
【００６４】
初期位置合わせ
頭部の仮想モデル１００の位置が、実座標系１１の患者の実際の頭部１０の位置に実質的にマッピングできる初期位置合わせ手順を開始するために、ユーザは、例えば患者の実際の頭部１０に向かってカメラプローブ７０を移動できる。実カメラ７２（およびプローブ要素７４）を含むカメラプローブ７０が患者の実際の頭部１０に近づくにつれ、モニタ上の頭部１０の実画像が大きくなる。次に、ユーザは、例えば、プローブ７４の先端が仮想モデルの表面上で早期に選択されたポイント１０２に対応する頭部１０上のポイントに接するように、患者の頭部に向かってカメラウプローブ７０を移動できる。前記に留意されたように、便利なポイントは、患者の鼻の先端である可能性がある。
【００６５】
次にモニタ８０は、例えば、プローブ７４の先端に鼻の先端とともに配置される頭部１０の実画像を示すことができる。この配置は図６に概略で示され、類似する実際の実施例は、＋アイコンで示されているファントム頭部の仮想画像の、鼻梁の上で選択されたポイントを示す図１２に示されている。仮想モデル１００の画像がディスプレイ中でその静的な位置から移動していないであろうため、したがって仮想モデル１００の鼻の先端は頭部１０の実画像上の鼻の先端と一致するように見える。しかしながら、図６に示されているように、仮想モデル１００の残りは実画像の残りと一致しない可能性があり、ポイント１０２で一致があるにすぎない。この一致の欠如が、前記に留意されたようにオーバーレイエラーと呼ばれる。類似の状況は、（直立位置にある、図１４の中心に示されている）仮想画像図と（仮想画像からほぼ４５°右に傾けられている）実画像が、（図１２では「＋」シンボルで示される）鼻梁の上で選択されたポイントで一致するが、それ以外の場合は一致しない図１４に示されている。
【００６６】
再び図６を参照すると、頭部１０の実画像の残りを仮想モデル１００の画像と位置合わせさせるために、ユーザは、例えば、患者の鼻の先端にプローブの先端を保ちながら、カメラを動かし回ることができる。例えば、モニタ８０を見ることによって、ユーザは、自分が実画像１０を仮想画像１００と位置合わせさせているかどうかに関して視覚的なフィードバックを受け取ることができる。いったんユーザが、例えば実画像と仮想画像が実質的に位置合わせされている図７に（および同様に図１５に）示されるもののような自分が達成できる最も近い位置合わせを達成するのに成功すると、ユーザは、例えばナビゲーションステーションコンピュータ６０に信号で知らせるためにフットスイッチ６５を押すことができる。このようにして、フットスイッチ６５は、実画像１０が仮想画像１００と実質的に位置合わせされることを意味するために、例えば、ナビゲーションソフトウェアによって採取できる信号をナビゲーションステーションコンピュータ６０に送信できる。ナビゲーションソフトウェアは、この信号を受信すると、例えば、実座標系１１の中にカメラプローブ７０の位置と向きを記録できる。
【００６７】
このポイントで、ナビゲーションソフトウェアは以下を理解している。
ａ）カメラプローブ７０の現在の位置により、頭部１０の実画像がモニタ上の仮想画像１００と一致することになり、
ｂ）仮想モデルと実モデルのそれぞれがそのそれぞれのカメラから同じ距離にあるときに、仮想カメラがモニタ上に、実カメラによって取り込まれるオブジェクトの実画像と同じサイズであるようにモニタ上で見えるオブジェクトの仮想画像を示し、したがってそれが、患者の頭部１０が、このような頭部１０の仮想画像１００が仮想カメラの前に配置されるのと同様に実カメラ７２の前に配置されなければならないと結論できる配置となる。
【００６８】
さらに、ナビゲーションソフトウェアは、仮想カメラを基準にした仮想モデルの位置と向きも理解しているので、それは実カメラ７２を基準にした患者の頭部１０の位置と向きを確認することができ、それはカメラプローブ７０、従って実座標系中の実カメラの位置と向きも知っているので、それはその実座標系内の患者の頭部１０の位置と向きを計算できる。
【００６９】
実座標系中の頭部１０の位置と向きを計算すると、ナビゲーションソフトウェアは実座標系中の患者の頭部の位置に仮想座標系中の仮想画像１００の位置をマッピングできる。例えば、ナビゲーションソフトウェアは、これら２つの位置間でマッピングする数学的変換を生成するためにナビゲーションステーションコンピュータに必要な計算をさせることができる。その変換は、次に、その中の頭部の仮想モデルと実質的に位置合わせされるために仮想座標系中に患者の頭部を配置するために適用できる。
【００７０】
本発明の例示的な実施形態では、このような変換は、例えば以下のように複数変換として表現でき、
Ｐｉａ＝Ｍｉａ・Ｐｏｐ
ここではＭｉａは初期位置合わせ変形から計算することができ、Ｐｉａは初期位置合わせ後の姿勢であり、Ｐｏｐは仮想モデルの元の姿勢である。
例えば、初期位置合わせプロセスの前には、仮想モデルの位置が（１．９５、７．８１、０．００）であり、その配向行列が［１,０，０，０，１，０，０，０，１］であったと仮定する。さらに、初期位置合わせプロセス後、位置は（１９２．１２、−２２６．５０、−１７０３．０５）に変更され、その向きが
[−０．９８３１４４、−０．１７４２，０．０５５５１７９、
−０．１７８２２７，０．８４５４０６、−０．５０３５１、
０．０４０７７６３、−０．５０４９１８、−０．８６２２０４]
に変更されたと仮定すると、したがってこの例では変換行列Ｍｉａの値は以下のように示される。
[−０．９８３１４４、−０．１７４２，０．０５５５１７９，１９０．１７、
−０．１７８２２７，０．８４５４０６、−０．５０３５１、−２３４．３１、
０．０４０７７６３、−０．５０４９１８、−０．８６２２０４、−１７０３．０５、
０，０，０，１］
【００７１】
本発明の例示的な実施形態では、行列Ｍｉａが、例えば以下から計算できる。（１）仮想モデルに向かった仮想カメラの所定の初期位置、（２）仮想モデルでのピボットポイントの位置、（３）追跡調査データから公知のプローブの先端の位置、および（４）追跡調査データから公知のプローブの向き。加えて、精密な位置合わせプロセスの後、行列Ｍｉａは、例えば、Ｐｆｐ＝Ｍｒｆ・Ｐｉａから取得される行列Ｍｒｆを変換するために修正でき、ここではＭｒｆは精密位置合わせ変形であり、Ｐｆｐは最終姿勢である。
【００７２】
例えば、Ｍｒｆの実際の値は以下の通りであり、
[１，０，０，１．１９、
０，１，０、−３．３０９９４、
０，０，１、−３．３６５９９１、
０，０，０，１]
この場合、仮想モデルの最終位置は、例えば（１９３．３１、−２２９．８１、−１７０６．７１）であり、その向きは例えば以下の通りである。
[−０．９８３１４４、−０．１７４２，０．０５５５１７９、
−０．１７８２２７、０．８４５４０６、−０．５０３５１、
０．０４０７７６３、−０．５０４９１８、−０．８６２２０４]
【００７３】
本発明の例示的な実施形態では、初期位置合わせのオブジェクト変換の流れは、例えば以下の通りである場合がある。オブジェクトは、その初期姿勢（例えば、図４に関して前述されたように、プランニングソフトウェアから以前に保存されていた姿勢）から初期位置合わせ後の姿勢に位置合わせされる。ここでは、仮想モデルの座標系と実オブジェクト座標系が一致し（つまり、それらは同じ座標系を共有し）、これは例えばプログラムの中に、実座標系の起点と軸（例えば、前述された状況では、追跡調査システムの起点）が仮想モデルの起点と軸と同じであることを明示することによって起こることが留意される。
【００７４】
この初期位置合わせの間、仮想モデル上の位置合わせポイント（例えば、図４の中のピボットポイント１０２）をプローブの先端にする（位置合わせの始まりで実行される）こと等のいくつかの中間変換ステップがあり、プローブがユーザによって移動されるにつれて、その相対的な姿勢がプローブ先端を基準にして固定されるように仮想モデルも絶えず移動し（位置合わせ自体の間に起こる）、最後に位置合わせ完了時に、プローブ先端の最後の位置が仮想モデルの姿勢を決定する。（およびこの瞬間に、仮想モデルはもはやプローブ先端に取り付けられていないが、作業空間中のその現在位置に留まる。）
【００７５】
これを概念化する代替の方法は、実座標系を基準にして固定されるようになり、仮想モデル１００が頭部１０に一致するようにそれを基準にして配置され、配向される仮想座標系を考えることである。
【００７６】
初期位置合わせの後、本発明の例示的な実施形態では、ナビゲーションソフトウェアは、次に、仮想カメラを仮想空間中のその以前に固定された位置から外し、実カメラが実空間を通って移動すると、仮想空間を通って移動するためにそれが実カメラ７２と可動となるようにそれを実カメラ７２に取り付けることができる。このようにして、実カメラ７２をさまざまな視点から頭部１０に向けると、さまざまな実際のビューがモニタ８０上に表示され、それぞれはその上にオーバーレイされ、実質的にそれと位置合わせされている仮想モデルに対応するビューを備える。
【００７７】
これまで説明されてきたことで、本発明の例示的な実施形態による例示的な初期位置合わせ手順を完了する。しかしながら、このような初期位置合わせ手順から正確な位置合わせが生じるとは考えにくい。ユーザの頭部のわずかな不安定性が、頭部１０と仮想モデル１００の間の不完全な位置合わせにつながる場合がある。また、不正確な位置合わせは、前述されたように、プランニングステーションを使用して選択されたように、患者の上のまさに同じポイントにプローブ７４の先端を置くことの難しさから生じる可能性もある。本例では、鼻の先端または例えば図１２に示されているような鼻梁を表す単一の明白なポイントを配置することは困難である場合がある。したがって、初期位置合わせに続き、頭部１０と仮想モデル１００の間にいくらかのズレがあり、したがって位置合わせ誤差に起因する、不満足な程度のオーバーレイエラーがありうる。位置合わせを改善するために、本発明の例示的な実施形態では、精密位置合わせの手順が、例えば以後に実施できる。
【００７８】
一般的には、初期位置合わせプロセスの後のズレは軸の一方またはすべてで±５°から３０°（角度ズレ）、および位置ズレの５ｍｍから２０ｍｍの範囲となる場合がある。
【００７９】
精密位置合わせ
図８に関して、ユーザは、ナビゲーションソフトウェアに対して精密位置合わせが開始することを示すことによって、精密位置合わせプロセスを開始できる。次に、ユーザは、例えば、プローブ７４の先端が頭部１０の表面を横切るルートを追跡調査するようにカメラプローブ７０を移動できる。これは、ユーザが実際のファントム頭部の表面で多くのポイントを獲得する図１６にも示されている。図１６から分かるように、位置合わせは、いくらかの誤差を有しているため、図の上部では、実際のファントム頭部はファントム頭部の仮想画像をいくぶん超えて広がっている。これは、初期位置合わせプロセスから取得される数学変換を現在活用するオーバーレイに起因し、精密位置合わせはちょうど始まったばかりで、変形はまだ出力されていない。同時に、ナビゲーションソフトウェアは、例えば、追跡調査装置９０から、実座標系のカメラプローブ７０、したがってプローブ７４の先端の位置を示すデータを受け取ることができる。
【００８０】
このデータから、および初期位置合わせ手順の最後に計算された数学的変換を使用することによって、コンピュータは、仮想座標系中でカメラプローブの位置、したがってプローブの先端を計算できる。ナビゲーションソフトウェアは、例えば、仮想座標系中の頭部の表面上の一連の実際のポイントのそれぞれの位置を示す位置データを周期的に記録するように配置できる。実際のポイントを記録すると、ナビゲーションソフトウェアは、図８（実際の頭部１０の表面を横切る曲線の多数のポイント）に示されているように、それをモニタ８０で表示できる。これは、ユーザが仮想モデルに含まれ、したがってそのために仮想モデルデータがある患者の部位を横切ってプローブ７４の先端を移動するにすぎないことを保証するのに役立つことがある。プローブ７４をスキャンされた領域の外部で移動すると、これにより、仮想モデルの表面を構成する対応するポイントがない実際のポイントが記録されることになり、事実上、追加の処理で使用するために入手できる獲得ポイントを減少させる、あるいは後述されるように、システムに単にそこに存在しない対応する仮想ポイントを検索させるため、位置合わせ精度は削減される可能性がある。
【００８１】
図８で分かるように、プローブ７４の先端は、例えば、患者の体、この例では頭部１０のスキャン部分の表面上で均一に追跡調査できる。追跡調査は、ナビゲーションソフトウェアが十分な実際のポイントのために十分なデータを収集するまで続行することがある。本発明の例示的な実施形態では、ソフトウェアは、例えば７５０個の実際のポイントを収集できる。７５０番目の実ポイントのためのデータが収集された後、ナビゲーションソフトウェアは、例えばナビゲーションステーションコンピュータに音を出させる、あるいは何らかの他の表示器を始動させることによってユーザに通知し、実ポイントのためのデータを記録するのを停止できる。
【００８２】
ナビゲーションソフトウェアは、頭部１０の表面に正確にあるように（実際のポイントを仮想座標系中のポイントに変換するために、初期位置合わせから取得される数学的変換を使用して）仮想座標系中に配置される７５０個のポイントを表すデータにアクセスできることが理解される。
【００８３】
本発明の例示的な実施形態では、ナビゲーションソフトウェアは、次に仮想モデルを構成する仮想モデルデータにアクセスできる。ソフトウェアは、例えば、データの残りから患者の頭部の表面を表すデータを隔離できる。隔離されたデータから、患者の頭部の皮膚表面の曇り点表示が抽出できる。ここでは、用語「曇り点」は、仮想モデルの幾何学的な形状を明示する密集した一連の３−Ｄポイントを指す。この例では、それらは仮想モデルの表面（または皮膚）上のポイントである。
【００８４】
本発明の例示的な実施形態では、ナビゲーションソフトウェアは、ナビゲーションステーションコンピュータに反復最近点（ＩＣＰ）測度のプロセスを開始させることができる。このプロセスでは、コンピュータは、実際のポイントのそれぞれに、曇り点標記を構成するポイントの内の最も近いポイントを検出できる。
【００８５】
これは、例えば、曇り点のｋ−ｄツリー（「ｋ−ｄ」ツリーは、説明された例ｋ＝３で、ｋ次元の空間の中でポイントを編成するための空間区分化データ構造である）を構築し、次にツリーの中の適切な構造の中のポイントの距離（例えば、二乗距離）を計算し、距離の最低値（最も近いポイント）だけを保存することによって行うことができる。Ｋ−ｄツリーは、Ｂｅｎｔｌｅｙ、Ｊ．Ｌ、関連検索に使用される多次元バイナリ検索ツリー（Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  ｂｉｎａｒｙ  ｓｅａｒｃｈ  ｔｒｅｓｓ  ｕｓｅｄ  ｆｏｒ  ａｓｓｏｃｉａｔｉｖｅ  ｓｅａｒｃｈｉｎｇ）、通信ＡＣＭ（Ｃｏｍｍｕｎ．ＡＣＭ）１８、９（１９７５年９月）、５０９から５１７ページに説明されている。
【００８６】
実際のポイントのそれぞれにいったん組が確立されると、本発明の例示的な実施形態では、コンピュータがそれぞれの組の中の関連付けられた実際のポイントに、曇り点表示の組にされたポイントのそれぞれを可能な限り密接にシフトするであろう変換を計算できる。
【００８７】
コンピュータは、例えば、仮想モデルを、仮想座標系中の実際の頭部とさらに厳密に位置合わせするためにこの変換を適用できる。コンピュータは、例えば、次に曇り点表示中の最近点とそれぞれの実際のポイントを組にするこのような動作を繰り返し、新しい変換を検出し、次にその新しい変換を適用することができる。以後の反復は、例えば、仮想モデル１００の位置が最終位置に落ち着くまで実施できる。これは、例えば、数学的変換Ｍｒｆがある特定の値に収束する場合（収束は、特定の率未満である最低限の変更として定義されている）に、あるいは例えば、入力とモデル間の曇り点組の二乗距離のＲＭＳ値、つまり設定値未満であるＲＭＳ誤差値）等の別の測度を使用して決定できる。このような状況は、図９に、および同様に図１７に示されている。ソフトウェアは、次にこのような最終的な位置に仮想モデル１００を固定できる。
【００８８】
本発明の例示的な実施形態では、反復最近点（ＩＣＰ）測度のプロセスは、図１８に示されているプロセスフローを使用して実現できる。それを参照して、１８１０で、実際のデータのポイントごとに、モデル（仮想）データ内の最も近いポイントが検出できる。１８２０では、例えば、曇り点表示のポイントのそれぞれを、そのそれぞれの組の中で関連付けられていた実際のポイントに可能な限り厳密にシフトする変換が計算できる。その結果、例えば、１８３０で、コンピュータは１８２０の変換を適用し、仮想モデルを、仮想座標系中の実際のオブジェクトにより厳密に位置合わせするために移動することができ、次に実際のポイントと新しい位置にある曇り点表示中の前記実際のポイントのそれぞれ新しい最近点の間の接近測度を計算できる。１８４０で、例えばこの測度を使用して、終了条件が満たされたかどうかが決定できる。本発明の例示的な実施形態では、このような終了条件は、特定の最大許容ＲＭＳ誤差に達する、あるいは下回る誤差、あるいは例えば、到達したプロセスの反復の特定の設定数である場合がある。１８５０では、例えば、終了条件が満たされると、プロセスフローが終了できる。１８４０では、終了条件が満たされていない場合には、プロセスフローは１８１０に戻り、追加の反復が実行できる。
【００８９】
したがって、本発明の例示的な実施形態では、前述の全体的な位置合わせプロセスは、以下のアルゴリズムを使用して実現できる。
１）モデルを基準にしてカメラの視点を調整する。
２）モデル内のピボットポイントを識別する。
３）（ユーザが位置合わせを開始する）（１）で計算されたような姿勢でプローブの先端にモデルを表示する（プローブの先端を基準にしたオブジェクトの姿勢は、ここで固定される）。
４）計算された追跡調査情報に基づいてプローブの姿勢に基づいてモデルの姿勢を更新する。
５）（ユーザが位置合わせを停止する）モデルは、プローブ先端の最終的な姿勢で位置合わせする。初期位置合わせが行われ、
６）精密位置合わせを進める。
【００９０】
精密手順の反復ステップの間、実際のポイントデータを仮想モデルにもたらす位置あわせを計算する方が、仮想モデルのポイント組（前述された頭部の例では約１００，０００ポイント）を計算するよりもさらに速くなることが留意される（つまり、実際のポイントデータのポイント組（例えば７５０）を計算する方がさらに速くなる）。したがって、実際のポイントデータを仮想モデルに位置合わせさせる変換は、最初に反復位置合わせステップの間に計算できる。仮想モデルデータを実際のポイントデータ（反復精密ステップの前の、あるいは初期位置合わせステップの直後の姿勢）、したがって実際のオブジェクトにする最終的な変換は、精密ステップ前の実際のポイントデータを精密ステップ後の実際のポイントデータにする変換の逆数にすぎない。仮想モデル１００の最終的な位置が患者の頭部１０と正確に位置合わせされていない可能性がある一方、それは初期位置合わせ後よりさらに厳密な位置合わせとなり、したがって、例えば、手術または画像ベースのガイダンスまたはナビゲーションが必要とされる他の応用例の間に役立つほど十分に位置合わせされる可能性が高いであろう。
【００９１】
全体的なプロセスフロー
図１０は、本発明による例示的な実施形態での位置合わせおよびナビゲーションのための例示的なプロセスフローを示している。このようなプロセスフローが、少なくともコンピュータ、追跡調査システムおよび、例えばビデオカメラ等のリアルタイムイメージングシステムを有する拡張現実システム等で発生することが理解される。
【００９２】
図１０を参照すると、１０２０で、前述されたように、本書に説明されているような多様な方法を使用して初期位置合わせが実行できる。１０１０では、例えば、精密位置合わせを実現するために、前述されたように、例えばオブジェクトの表面上の７５０個のポイント、およびコンピュータに入力されるそれらの位置等の実際のデータが収集できる。収集された実際のデータを使用して、例えば１０３０で実際のオブジェクトの仮想モデルを表す仮想データ１０１５にアクセスして、精密位置合わせプロセスは、前述されたように実現できる。いったん精密位置合わせプロセスが１０４０で発生すると、例えば、ユーザは、精密化された位置合わせが良好に実施されることを確認できる。これは、例えば（例えばビデオカメラからの）実際の画像と多様な視点からの仮想画像の間のオーバーレイエラーを視覚的に評価することによって行うことができる。
【００９３】
精密位置合わせが良好に行われる場合、ナビゲーションが開始できる。
【００９４】
図１０の例示的なプロセスフローは、例えば、コンピュータによって実行可能な一連の命令を介して実現できる。このような実施例では、ユーザは、例えば、コンピュータがその処理を実行するために必要とされる入力を取得するために多様な行為を実行するよう指示される。このような例示的な実施例は、例えば、ナビゲーションまたは外科ナビゲーションソフトウェア等の他のソフトウェアと統合されるソフトウェアモジュールである場合があり、例えば、拡張現実システムコンピュータ、または、例えば国際公開第Ａ１−２００５／０００１３９号パンフレットに説明されるような外科ナビゲーションシステムコンピュータ等と統合できる、あるいはロードできる。さらに、このような例示的な実施例は、例えば、それによってユーザが本発明の例示的な実施形態による多様な位置合わせプロセスを実行するために例示的なシステムと対話するインタフェースを有することができる。
【００９５】
このような例示的なソフトウェア実施例が次に説明される。
【００９６】
例示的な実施例
図１９から図２３は、本発明の方法を実現する例示的なシステムのスクリーンショットである。それらは、図１１から図１７の画像を生成した例示的なシステムに対するインタフェースを示す。例示的なインタフェースは、次に説明されるように、本発明の例示的な実施形態による初期の位置合わせプロセスと精密位置合わせプロセスを通してユーザを誘導できる。
【００９７】
図１９Ａを参照すると、画面は、ユーザに例えばヒトの頭部のＭＲＩスキャンを含む仮想データをロードするように指示する。図１９Ｂを参照すると、ユーザは、次にビデオをベースにした（拡張現実で支援された）またはランドマークをベースにした（フィデューシャル）位置合わせのどちらかを選ぶように指示する。図１９Ｂでは、図１９Ｂの左側に表示される仮想画像と、図１９Ｂの右上に表示される実際のファントムが、事実上、それらに取り付けられているフィデューシャルを有することが分かる。しかしながら、本発明の例示的な実施形態に従って、位置合わせは、これらのフィデューシャルの位置を獲得することによって達成される必要はなく、したがってこの面倒なプロセスなしで済ます。示されている例示的なソフトウェアは、単に両方のオプションを提供するにすぎない。したがって、図１９Ｂの右下のユーザは、次の画面に進むために「ビデオベース」と示されるアイコンをクリックするであろう。それを行うと、ユーザは、例えば図２０Ａに示されている画面を提示される（右下の四分円で分かるように、システムは「ビデオベース」位置合わせを実現している）。また、図２０Ａの右下の四分円でも見られるように、「精密」位置合わせ選択だけではなく（強調表示される）初期の位置合わせ「位置合わせ」選択タブがある。図２０は、前述されたように、図２０の示されている実施形態の中では「位置合わせ」と称されている初期の位置合わせに関する。したがって、図２０Ａで、ユーザは、図２０Ａの左（上）ウィンドウに示されているように赤の十字ランドマーク（「＋」アイコン）にある患者（ここではファントム頭部）上にプローブ先端を置き、次に初期位置合わせを実行するために開始ボタンを押すように指示される。このプロセスは、前述された解剖学的ランドマーク初期位置合わせプロセスである。
【００９８】
図２０Ｂを参照し続けると、ユーザは、仮想画像と実画像が位置合わせされているように見えるまで、カメラプローブを回転、または移動することによって、仮想画像である「皮膚データ」を、患者の実際のファントム頭部のビデオ画像である「ビデオ画像」に位置合わせするように指示される。図２０Ｂの右上の四分円は、初期位置あわせ手順の開始時の実画像を基準にした仮想画像の初期ステータスである、図１４に示されているのと同じ画像を示すことが留意される。
【００９９】
初期位置あわせが達成された後、ユーザは図２０Ｂの右下の四分円で「ＯＫ」を押し、図２１Ａに示される画面に移される。プロセスのこのポイントで、図２１Ａの右下四分円は、「位置合わせ」選択をもはや強調表示していないが、むしろ「精密」選択を強調表示している。これは、例えばＩＣＰプロセス等の追加の処理のためにプローブを用いて多くの実際のデータポイントが収集されるのを必要とする、前述された精密位置合わせプロセスを指す。したがって、図２１Ａでは、右下の四分円に示されるように、ユーザは、患者の皮膚（ここではファントム頭部の表面）上にプローブ先端を置き、ファントムの頭部の外面でポイントの収集を開始するために「開始」ボタンを押すように指示される。図２１Ｂ（特に図の右上の四分円の中）を参照して分かるように、多くの実際のデータポイントがプローブを使用して収集され、スクリーンショットは、このようなポイントが、図２１Ｂの右下の四分円の一番したにある白と緑の進行バーで示されているように、収集されている途中の状況を示す。
【０１００】
図２２を参照すると、（特定の設定数に等しくなるような例示的なシステムによって認識できる）十分な数のポイントが収集された後、表面に基づいた位置合わせアルゴリズムが、システムが、それが「位置合わせ中である・・・」ことを示す図２２の右下の四分円に示されるように自動的に開始できる。図２２の右上の四分円で分かるように、初期位置合わせに関連付けられるなんらかのオーバーレイエラーがある。オーバーレイエラーは、それぞれ図２１Ａと図２１Ｂの右上の四分円に示されるのと依然として同じである。
【０１０１】
前述されたように、いったん位置合わせアルゴリズムが完了すると、しかしながら、多くの反復が終了条件を満たすことを要求されていることを含む、拡張現実システムは、例えば、外科ナビゲーションのため等に使用するために準備ができている。このような状況の例は、ファントムの実画像がメイン表示ウィンドウに示され、ファントム頭蓋骨の内部内容物の仮想現実画像が多様な色で示されている図２３に示されている。仮想現実オブジェクトは、図２２に示されているプロセスからの最終的な反復を使用する位置で示されている。図２３では、頭蓋骨の外面の仮想画像は図示されておらず、（ここでは、ファントム頭部の左で始まり、そのほぼ中心まで進む図に示されているようにそれぞれ球体、円筒形、立方体、および円錐として示される図２３では）唯一の仮想画像は内部オブジェクトの画像である。
【０１０２】
代替例示実施形態
本発明の代替の例示的な実施形態では、ユーザがフットスイッチ６５を押して、カメラプローブ７０が患者の頭部の上に配置され、（すべては図５を参照して）モニタ８０上の実画像がその上の仮想モデル１００の画像と実質的に位置合わせされる（初期位置合わせ）ように向けられたことを示すポイントまで前述された方法で初期位置合わせが実施できる。この代替実施形態では、ナビゲーションソフトウェアは、例えば、モニタ８０で頭部１０の実画像をフリーズするためにフットスイッチ６５からの入力に反応できる。この代替実施形態のナビゲーションソフトウェアは、前述された第１の実施形態と共通して、実カメラ７２の位置を感知し、記録できる。頭部１０の実画像がフリーズされた状態で、実カメラ７２は次に下ろすことができる。それからユーザは、例えば、モニタ８０に示される仮想モデル１００の画像が別の視点から示されるように仮想モデルを基準にして仮想カメラの位置を移動するためにナビゲーションステーションコンピュータ６０を操作できる（このような操作は、例えば、マウスまたは多様なキー操作を介してナビゲーションステーションコンピュータのインタフェースにマッピングされる適切なコマンドを使用して行うことができる）。これは、モニタ８０に示されている仮想モデル１００の画像が、頭部１０のフリーズされた実画像と厳密に位置合わせされるように実行できる。本発明の例示的な実施形態では、この代替実施形態は、頭部１０を基準にした実カメラ７２のこのような細かい動きが難しい場合があるのに対して、仮想モデルを基準にした仮想カメラの非常に細かい動きが達成されてよいという点で有利であってよい。したがって、前述された例示的な実施形態において可能であるよりも、さらに正確な初期位置あわせをこの代替実施形態で達成することが可能な場合がある。
【０１０３】
いったん良好な位置合わせが達成されると、これを示す入力が、ナビゲーションソフトウェアが次に第１の実施形態の方法で頭部１０の位置に仮想モデルの位置をマッピングすることに進むように、ナビゲーションステーションコンピュータに与えられる。
【０１０４】
本発明の例示的な実施形態では、初期の位置合わせ前述されたような第１の実施形態または代替実施形態のどちらかによって実行されるような――が、仮想モデルと、意図された以後の手順または応用例にとって良好な実画像の間の位置合わせの精度を生じさせる場合には、前述された精密位置合わせの手順が省略されてよい。
【０１０５】
図１０に関連して前記に留意されたように、例えば、このような精密位置合わせが必要とされるかどうかを判断するために、位置合わせの精度は、患者の頭部１０の周りで実カメラを移動させ、仮想モデル１００と頭部１０の実画像の間に明らかなズレがあるかどうかを確認することによって評価されてよい。
【０１０６】
国際公開第Ａ１−０２／１００２８４号パンフレットと国際公開第Ａ１−２００５／０００１３９号パンフレットのそれぞれに開示される装置は、前述された装置に相当し、それによって本発明を実現するために前記説明に従って修正されてよい。したがって、それらの２つの前記広報の内容は、これによりその全体として本書に組み込まれている。本発明は、その例示的な実施形態の１つまたは複数を参照して説明されてきたが、本発明はそれらに限定されず、添付請求項は示されている本発明の特定の形式と変形を包含するだけではなく、本発明の真の範囲から逸脱することなく当業者によって工夫されてよいようにさらに包含すると解釈されることが意図される。
【図面の簡単な説明】
【０１０７】
【図１】本発明の例示的な実施形態による例示的な装置の該略図を示す。
【図２】例示的な現実世界のオブジェクトの簡略化された図を示す。
【図３】図２のオブジェクトの例示的な仮想モデルの簡略化された図を示す。
【図４】画像のポイントが選択されている、仮想座標系中の仮想モデルの表現を示す。
【図５】本発明の例示的な実施形態による初期位置合わせ手順の始めに、手術室内に配置できる例示的な装置の部分を示す。
【図６】本発明の例示的な実施形態による初期位置合わせ手順の後の図５の装置を示す。
【図７】本発明の例示的な実施形態による初期位置合わせ手順の完了時の図５および図６の装置を示す。
【図８】本発明の例示的な実施形態による精密な位置合わせ手順の間の例示的な装置のビデオ画面とカメラプローブを示す。
【図９】本発明の例示的な実施形態による精密な位置合わせ手順の完了時のビデオ画面上でのように表示される例示的な実画像と仮想画像を示す。
【図１０】本発明の例示的な実施形態による例示的な全プロセスフローを示す。
【図１１】本発明の例示的な実施形態を描くために使用される、ヒトの頭部とその仮想画像の例示的なファントムを示す。
【図１２】本発明の例示的な実施形態による図１１Ｂの仮想画像上のポイントの選択を図解する。
【図１３】本発明の例示的な実施形態による位置合わせ手順の始めに配置される例示的な装置およびファントムを示す。
【図１４】本発明の例示的な実施形態による対応する実際のオブジェクトの例示的な仮想画像とビデオ画像の例示的な初期状態を示す。
【図１５】図１４の仮想画像とビデオ画像の完了した初期位置合わせを示す。
【図１６】本発明の例示的な実施形態による例示的な精密位置合わせ手順を示す。
【図１７】本発明の例示的な実施形態による例示的な精密位置合わせプロセスの完了後の図１４の仮想画像と実画像を示す。
【図１８】本発明の実施形態による精密位置合わせプロセスの反復最近点の測度で獲得されるデータポイントを処理するための例示的なプロセスフローである。
【図１９−２２】本発明の例示的な実施形態による画面ショットの例示的なシーケンスを示す。
【図２３】図１１Ａの例示的なファントムのビデオ画像と、例示的な精密位置合わせが本発明の例示的な実施形態に従って発生した後の例示的なファントム内部オブジェクトの仮想画像とを示す。
【図１】
2009501609.tif 000003
【図２】
2009501609.tif 000004
【図３】
2009501609.tif 000005
【図４】
2009501609.tif 000006
【図５】
2009501609.tif 000007
【図６】
2009501609.tif 000008
【図７】
2009501609.tif 000009
【図８】
2009501609.tif 000010
【図９】
2009501609.tif 000011
【図１０】
2009501609.tif 000012
【図１１】
2009501609.tif 000013
【図１２】
2009501609.tif 000014
【図１３】
2009501609.tif 000015
【図１４】
2009501609.tif 000016
【図１５】
2009501609.tif 000017
【図１６】
2009501609.tif 000018
【図１７】
2009501609.tif 000019
【図１８】
2009501609.tif 000020
【図１９】
2009501609.tif 000021
【図２０】
2009501609.tif 000022
【図２１】
2009501609.tif 000023
【図２２】
2009501609.tif 000024
【図２３】
2009501609.tif 000025
【国際調査報告】
2009501609.tif 000026
2009501609.tif 000027