(57)【要約】      （修正有）【課題】外科医の注意散漫を低減するロボット外科手術システムナビゲーションのシステムおよび方法のニーズに対処する、拡張現実ナビゲーションシステムおよびその使用方法を提供する。【解決手段】ナビゲーション情報は、処置中に外科医の自然な視野内にある仮想ディスプレイ上に提示されているかのように、拡張現実ナビゲーションシステムに表示されうる。ナビゲーション情報は、患者の解剖学的構造上に重ね合わせて表示することもできる。拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面６０８を含む頭部装着型ディスプレイ６００と、現実世界の特徴を識別するために頭部装着型ディスプレイに接続された少なくとも一つの検出器６１０と、コンピュータサブシステムとを備える。【選択図】図９
2019177134.tif 000002
【特許請求の範囲】
【請求項１】
ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムであって、前記システムが、
ユーザーの自然視野の少なくとも一部分に重ね合わせるために、ユーザーに対して表示される拡張グラフィックを表示するよう構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイと、
現実世界の特徴を識別するための少なくとも一つの検出器であって、前記少なくとも一つの検出器が前記頭部装着型ディスプレイに接続されているものと、
マーカーを有し、少なくとも一つの検出器によって検出されるように構成された手術用器具であって、前記手術用器具の少なくとも一部分および／または手術用器具の軌道の表現が前記頭部装着型ディスプレイ内に提示されるものとを備え、
前記少なくとも一つの検出器からの検出器入力信号が、前記少なくとも一つの検出器の視野に対応し、前記視野が外科手術中の患者の解剖学的構造の少なくとも一部を含み、
前記検出器入力信号が、前記現実世界の特徴のうちの一つ以上の相対位置および／または配向のそれぞれを含み、
前記手術用器具が前記ロボット外科手術システムに挿入されるか、またはそれに接続されている、拡張現実ナビゲーションシステム。
【請求項２】
現実世界の特徴を検出するためのカメラシステムが、前記頭部装着型ディスプレイに電気的に結合されている、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項３】
前記頭部装着型ディスプレイが、前記手術用器具および手術用器具の軌道の表現を、前記患者の前記解剖学的構造上に重ねて表示する、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項４】
前記頭部装着型ディスプレイの測定された動きに基づいて、動き信号を出力するために、前記頭部装着型ディスプレイに接続された動きセンサーをさらに含む、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項５】
前記ロボット外科手術システムが、アームと、前記アームの第一の端部に連結されたエンドエフェクターと、前記アームの第二の末端に連結された基部とを含み、前記アームが、前記手術用器具をユーザーによって選択された軌道に受けるように構成された前記エンドエフェクターを移動させる、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項６】
前記ロボット外科手術システムおよび前記拡張現実ナビゲーションシステムが、選択された軌道内の前記ロボットアームを制御するための触覚フィードバックシステムを含む、請求項５に記載の拡張現実ナビゲーションシステム。
【請求項７】
前記手術用器具が、前記手術用器具を前記ユーザー選択の軌道に制約する触覚フィードバックシステムとの通信を含む、請求項６に記載の拡張現実ナビゲーションシステム。
【請求項８】
前記少なくとも一つの検出器が、少なくとも４０度の最小視野を有する検出器を備える、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項９】
前記表示画面が少なくとも１２８０×７２０ピクセルの解像度を有する、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項１０】
外科手術計画の選択を作成するためのポインタツールを備え、前記ポインタツールが前記少なくとも一つの検出器によって検出されるように構成されている、請求項１に記載の前記拡張現実ナビゲーションシステム。
【請求項１１】
前記ロボット外科手術システムが、医療画像データに基づき、患者の解剖学的構造を前記拡張現実ナビゲーションシステム、および前記患者の解剖学的モデルに登録する、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項１２】
前記少なくとも一つの検出器が、ビデオカメラを備え、映像信号を前記頭部装着型ディスプレイに送信して、前記ユーザーにとって、前記ユーザーの自然な視野の少なくとも一部分に重なっているように見える拡張グラフィックを表示する、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項１３】
前記外科手術手順が、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうち少なくとも一つを含む、請求項１に記載の拡張現実ナビゲーションシステム。
【請求項１４】
ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムであって、前記システムが、
ユーザーの自然視野の少なくとも一部分に重ね合わせるために、ユーザーに対して表示される拡張グラフィックを表示するよう構成された少なくとも部分的に透明な表示画面を備えた頭部装着型ディスプレイと、
現実世界の特徴を識別するための少なくとも一つの検出器であって、前記少なくとも一つの検出器が前記頭部装着型ディスプレイに接続されているものと、
手術用器具の少なくとも一部分および／または外科手術中の手術用器具の軌道の表現を生成する、および／またはその表現へのアクセスをするプロセスと、少なくとも一つの検出器から受信した検出器入力信号内で、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、前記表現の少なくとも一部分を修正するプロセスと、修正された表現に基づき、前記表示画面上に手術用器具拡張グラフィックを表示するプロセスとを含み、前記手術用器具がロボット外科手術システムに挿入されるか、またはそれと接続される、コンピュータサブシステムとを備える、拡張現実ナビゲーションシステム。
【請求項１５】
前記コンピュータサブシステムが、複数の手術用器具軌道のそれぞれについて手術用器具拡張グラフィックをレンダリングし、前記手術用器具拡張グラフィックが、前記患者の前記解剖学的構造に重なって見えると共に、前記軌道拡張グラフィックのそれぞれが外科手術中に従うことのできる物理的な軌道を示すように、前記複数の手術用器具拡張グラフィックを前記表示画面上に表示するように構成された、請求項１４に記載の拡張現実ナビゲーションシステム。
【請求項１６】
請求項１４に記載の拡張現実ナビゲーションシステムであって、
前記コンピュータサブシステムが、前記検出された入力信号から決定された一つ以上の相対位置および／または配向に基づいて患者の解剖学的モデルを変更するように構成され、それによって更新された解剖学的モデルを形成し、かつ
前記コンピュータサブシステムが、前記更新された解剖学モデルが前記患者の前記解剖学的構造上に重ね合わされて見えるように、前記更新された解剖学モデルに対応する解剖学的モデル拡張グラフィックを前記表示画面に表示するように構成された、拡張現実ナビゲーションシステム。
【請求項１７】
請求項１４に記載の拡張現実ナビゲーションシステムであって、
前記頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するために、前記頭部装着型ディスプレイに接続された動きセンサーを備え、
前記コンピュータサブシステムが、前記動作センサーによって検知された動きに基づいて、前記手術用器具拡張グラフィックを更新するように構成されている、拡張現実ナビゲーションシステム。
【請求項１８】
前記コンピュータサブシステムが、選択された軌道を、一つ以上の計画された軌道セットから前記選択された軌道を選択するユーザー入力軌道選択信号に少なくとも部分的に基づき決定して、ロボット外科手術システムのロボットアームおよび／またはエンドエフェクターを選択された軌道に合うように自動的に移動させるように構成されている、請求項１４に記載の拡張現実ナビゲーションシステム。
【請求項１９】
前記コンピュータサブシステムが、前記ロボット外科手術システムの前記ロボットアームおよび／またはエンドエフェクターを前記軌道に沿って自動的に移動するように構成されている、請求項１８に記載の拡張現実ナビゲーションシステム。
【請求項２０】
前記コンピュータサブシステムが、前記コンピュータサブシステムが前記軌道を含み、前記ロボットアームおよび／またはエンドエフェクターに取り付けられた手術用器具の少なくとも一部分の動きが前記触覚フィードバックシステム内部に制約されるように、前記ロボットアームおよび／またはエンドエフェクターの動きを制約するように構成されている、請求項１８に記載の拡張現実ナビゲーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般的に、ロボット外科手術システムと併用するための拡張現実システムおよびその使用方法に関連する。
【背景技術】
【０００２】
ロボット外科手術システムは、処置の精密かつ正確な実施にあたり外科医を補助するために、多くの外科手術で使用されている。これらの処置は、一つ以上のインプラントの精密な配置を必要とし、低侵襲的な技術を使用して実施されうることが頻繁にある。ロボット外科手術システムは、インプラントを配置し、その間にそれらの意図されたアライメントを維持するにあたり、外科医を補助する事前にまたは術中に計画された軌道に従う。外科手術環境全体を通して配置されたナビゲーションマーカーは、ロボットを事前にまたは術中に計画された軌道に適切に配向させるために、環境（例えば、患者の解剖学的構造）をロボット外科手術システムと共に登録するために使用される。さらに、医療画像データをロボット外科手術システムに登録して、ナビゲーションで使用するための患者の解剖学的構造モデルを提供することができる。
【０００３】
外科医は処置中に、固定された表示装置（例えば、ロボット外科手術システムに取り付けられたり、またはその横に置かれたりする）を使用して、軌道の計画やモニタリングをするほか、ロボット外科手術システムおよび患者の解剖学的構造のステータスをモニタリングする。こうした固定された表示装置は、処置中にロボット外科手術システムのナビゲーションやモニタリングをするための主要機構である。これは、患者の解剖学的構造が手術部位の直接視界を塞ぐ低侵襲的処置に特に当てはまる。しかしながら、固定された表示装置には、外科医が画面上に表示されるナビゲーション情報を得るために、操作中の手術部位および／または手術用器具から目をそらすことが必要とされる。さらに、表示画面は、外科医の外科手術環境の一部についての外科医の視界を物理的に遮りかねない。
【発明の概要】
【０００４】
外科医が目をそらす必要性を低減する一方で、外科手術環境についての視界を遮らないような、ロボット外科手術システムからナビゲーション情報を表示するためのシステムおよび方法に対するニーズがある。本開示は、とりわけ、外科医の注意散漫を低減するロボット外科手術システムナビゲーションのシステムおよび方法のニーズに対処する、拡張現実ナビゲーションシステムおよびその使用方法を対象とする。本明細書に開示される拡張現実ナビゲーションシステムにより、外科医は手術部位および／または外科手術で使用中の手術用器具への集中を維持しつつ、処置に関連する広範囲にわたるナビゲーション情報を取得することができる。ナビゲーション情報には、医療画像データから得られた患者の解剖学的構造モデル、手術用器具またはロボット外科手術システムの軌道もしくは位置、または外科用インプラントの位置および配向が含まれるが、これらに限定されない。ナビゲーション情報は、ロボット外科手術システムからのナビゲーション入力データとして、拡張現実ナビゲーションシステムに送信することができる。ナビゲーション情報は、処置中に外科医の自然な視野内にある仮想ディスプレイ上に提示されているかのように、拡張現実ナビゲーションシステムに表示されうる。ナビゲーション情報は、患者の解剖学的構造上に重ね合わせて表示することもできる。ナビゲーション情報は、そうでなければ外科医の自然な視野内に見えない情報、例えば、患者の解剖学的構造によって遮られた手術用器具の軌道および／またはその部分などを含むことができる。
【０００５】
拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイと、現実世界の特徴を識別するために頭部装着型ディスプレイに接続された少なくとも一つの検出器と、コンピュータサブシステムとを備える。表示画面は、外科医にナビゲーション情報を提供する、例えばナビゲーション拡張グラフィックなどの、拡張グラフィックを表示する。ナビゲーション拡張グラフィックは、外科医の視野内に別個の表示として、または患者の解剖学的構造の上に重ね合わされて表示されうる。少なくとも一つの検出器は、現実世界の特徴を識別し、ここで実際の特徴は、例えば、画像認識方法を介して認識されるフィデューシャルおよび／または患者の解剖学的構造でもよい。このように、頭部装着型ディスプレイに取り付けられた少なくとも一つの検出器は、外科手術環境に追加の機器を必要とすることなく、外科手術中に使用される典型的なナビゲーションシステムの検出器としての役目を果たす（例えば、患者の解剖学的構造およびロボット外科手術システムを登録するために使用されうる）。コンピュータサブシステムは、例えば、軌道の計画および実行を含む処置中に、外科医にとって有用な様々なナビゲーションタスクを実行するように構成されうる。拡張現実ナビゲーションシステムを着用する外科医の頭部の動きを検出するために、動きセンサーを随意に含めて、追加的な機能および／または性能（例えば、選択入力手段またはドリフト補正など）を提供することができる。
【０００６】
特定の実施形態では、拡張現実ナビゲーションシステムは、現在のロボット外科手術システムで一般的に使用されるものなど、補助ナビゲーションサブシステムの必要性を排除する。拡張現実ナビゲーションシステム内の少なくとも一つの検出器は、ロボット外科手術システムに、また随意に、医療画像データから得られた一つ以上の患者解剖学的構造モデルに、患者を適切に登録するのに十分な数量および解像度で、現実世界の特徴（例えば、フィデューシャル）を検出する。したがって、拡張現実ナビゲーションシステムは、追加的な機器を必要としないスタンドアロンシステムとして機能する。ところが、特定の実施形態では、補助検出器は、拡張現実ナビゲーションシステムと併せて使用される。補助検出器は、より大きな登録フィールド、登録の解像度の向上、および／または冗長性を提供しうる。
【０００７】
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムを対象とし、システムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］と、コンピューティング装置のプロセッサと、非一時的コンピュータ可読媒体であって、それ上に命令が格納されている者を備える。その命令は、プロセッサによって実行される時に、プロセッサにより、少なくとも一つの検出器からの検出器入力信号（ここで検出器入力信号は少なくとも一つの検出器の視野に対応し、また視野が外科手術中の患者の解剖学的構造の少なくとも一部分を含む）を受信する処理と、プロセッサにより、検出器入力信号中にある一つ以上の現実世界の特徴のそれぞれについての相対位置および／または配向を決定する処理と、プロセッサにより、手術用器具の少なくとも一部分および／または手術用器具の軌道の描写（ここで手術用器具はロボット外科手術システムに挿入されるか、またはロボット外科手術システムに接続される）（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）を生成し、および／またはそれにアクセスする処理と、プロセッサにより、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）して、それによって更新された表現を形成する処理と、プロセッサにより、更新された表現に基づき、手術用器具拡張グラフィックをレンダリングする処理と、プロセッサにより、表示画面上（例えば、頭部装着型ディスプレイの少なくとも部分的に透明な表示画面を介して、手術用器具拡張グラフィックをユーザーの自然な視野の少なくとも一部分に重ね合わせて表示）に手術用器具拡張グラフィックを表示する処理を、プロセッサに実行させる。
【０００８】
一部の実施形態では、命令は、プロセッサにより、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックをレンダリングする処理と、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、表示画面上に、プロセッサにより、複数の手術用器具拡張グラフィックを表示させる処理を、プロセッサに実行させる。
【０００９】
一部の実施形態では、命令は、プロセッサにより、検出された入力信号から、少なくとも一つの現実世界の特徴のそれぞれについての相対位置および／または配向を決定する処理と、プロセッサにより、（例えば、回転、拡大縮小、および並進のうち少なくとも一つにより、）検出された入力信号から決定された相対位置および／または配向に基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を修正して、それによって更新された解剖学的モデル（例えば、患者の解剖学的構造に登録されるもの）を形成する処理と、プロセッサにより、更新された解剖学的モデルに少なくとも部分的に基づき、解剖学的モデル拡張グラフィックをレンダリングする処理と、プロセッサにより、更新された解剖学的モデルが患者の解剖学的構造上に重ね合わされて表示されるように、解剖学的モデル拡張グラフィックを表示画面上に表示する処理と、をプロセッサに実行させる。
【００１０】
一部の実施形態では、拡張現実ナビゲーションシステムは、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））を備え、命令は、プロセッサにより、動きセンサーによって検出された動きに基づいて、検出器入力信号内の決定された現実世界の特徴の相対位置および配向を更新する処理と、プロセッサにより、更新された相対位置および配向に基づいて、手術用器具拡張グラフィックを更新する処理と、をプロセッサに実行させる。
【００１１】
一部の実施形態では、命令は、プロセッサにより、一つ以上の計画軌道セット（例えば、一つ以上の予め設定された軌道、または動作可能に計画された軌道）から軌道を選択する、ユーザー入力軌道選択信号を受信する処理（例えば、ユーザー入力軌道選択信号がロボット外科手術システムのロボットアームおよび／またはロボットエフェクターの位置および／または配向に対応する）と、プロセッサにより、ユーザー入力軌道選択信号に少なくとも部分的に基づき、選択された軌道を決定する処理と、プロセッサにより、ロボット外科手術システムのロボットアームおよび／または終了エフェクターが選択された軌道と整列されるように自動的に移動する処理と、をプロセッサに実行させる。
【００１２】
一部の実施形態では、命令は、プロセッサにより、ロボット外科手術システムのロボットアームおよび／または終了エフェクターを、選択された軌道（例えば、患者の解剖学的構造に向かって）に沿って自動的に移動する処理をプロセッサに実行させる。
【００１３】
一部の実施形態では、命令は、プロセッサにより、選択された軌道を含む触覚オブジェクトを定義および／または更新する処理と、ロボットアームおよび／またはエンドエフェクターに挿入されたか、または取り付けられた手術用器具の少なくとも一部の動きが、触覚オブジェクト内に制約されるように、プロセッサにより、ロボットアームおよび／またはエンドエフェクターの動作を制約する処理と、をプロセッサに実行させる。
【００１４】
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。
【００１５】
一部の実施形態では、拡張現実ナビゲーションシステムは、外科手術計画の選択（例えば、軌道、および／または軌道を画定する位置および／または配向）を行うためのポインタツールを備え、ここでポインタツールは、少なくとも一つの検出器によって検出されるように構成される。
【００１６】
一部の実施形態では、命令は、ロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、蛍光透視データ）に基づく患者の解剖学的モデルを用いて、患者の解剖学的構造を登録する処理をプロセッサに実行させる。
【００１７】
一部の実施形態では、少なくとも一つの検出器はビデオカメラを備え、命令は、プロセッサにより、検出器入力信号に基づいて映像信号を生成する処理と、プロセッサにより、その映像信号を出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示する処理と、をプロセッサに実行させる。
【００１８】
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備える。一部の実施形態では、命令は、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を受信する処理［ここで一つ以上のフィデューシャルマーカーは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）により検出される（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）］と、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｖ）二次検出器によって検出された一つ以上のフィデューシャルマーカーに基づいて、自然な視野から隠された手術用器具の少なくとも一部の表現、のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）する処理と、をプロセッサに実行させる。
【００１９】
一部の実施形態では、命令は、プロセッサにより、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を受信する処理と、プロセッサにより、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）する処理と、プロセッサにより、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、拡張グラフィックを更新する、および／またはプロセッサにより、ディスプレイ画面上に、更新された拡張グラフィックを表示する処理と、をプロセッサに実行させる。
【００２０】
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
【００２１】
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムに関連し、システムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］と、コンピュータサブシステムであって、外科手術中に、手術用器具および／または手術用器具の軌道の少なくとも一部分の描写を生成し、および／またはそれへのアクセスをする、少なくとも一つの検出器から受信した検出器入力信号内にある一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を修正する、および修正された表現に基づき、表示画面上に手術用器具拡張グラフィックを表示するように構成されたコンピュータサブシステムとを備え、ここで、手術用器具は、ロボット外科手術システムに挿入されるか、または接続される（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）。
【００２２】
一部の実施形態では、コンピュータサブシステムは、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックをレンダリングする、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、プロセッサにより、複数の手術用器具拡張グラフィックを表示するように構成される。
【００２３】
一部の実施形態では、コンピュータサブシステムは、検出された入力信号から決定された相対位置および／または配向のうち少なくとも一つに基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を変更（例えば、回転、スケーリング、および並進のうち少なくとも一つにより）して、それによって、更新された解剖学的モデル（例えば、患者の解剖学的モデルに登録されたもの）を形成するよう構成されるとともに、また、更新された解剖学モデルが患者の解剖学的構造に重ね合わされて表示されるように、更新された解剖学モデルに対応する解剖学的モデル拡張グラフィックを表示画面に表示するように構成される。
【００２４】
一部の実施形態では、拡張現実ナビゲーションシステムは、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））を備え、ここでコンピュータサブシステムは、動きセンサーによって検知された動きに基づいて手術用器具拡張グラフィックを更新するよう構成される。
【００２５】
一部の実施形態では、コンピュータサブシステムは、一つ以上の計画軌道（例えば、ユーザーのロボットアームおよび／またはロボット外科手術システムのロボットアームエフェクターおよび／またはロボットアームエフェクターおよび／または配向の位置および／または配向）によって選択された軌道に少なくとも部分的に基づいて、選択軌道を決定し、選択された軌道と整列させるロボットアームおよび／またはロボット外科手術システムのエフェクターを自動的に移動させるように構成される。
【００２６】
一部の実施形態では、コンピュータサブシステムは、ロボットアームおよび／またはロボット外科手術システムのロボットアームエフェクターを（例えば、患者の解剖学的構造に向かって）軌道に沿って自動的に移動するように構成される。
【００２７】
一部の実施形態では、コンピュータサブシステムは、ロボットアームに取り付けられた手術用器具および／またはエンドエフェクターの少なくとも一部の動きが触覚オブジェクト内で制約されるように、ロボットアームおよび／またはエンドエフェクターの動きを含む触覚オブジェクトを定義するよう構成される。
【００２８】
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。一部の実施形態では、拡張現実ナビゲーションシステムは、外科手術計画の選択を行うためのポインタツールを備え、ここでポインタツールは、少なくとも一つの検出器によって検出されるように構成される。
【００２９】
一部の実施形態では、コンピュータサブシステムは、ロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、蛍光透視データ）に基づく患者の解剖学的モデルを用いて、患者の解剖学的構造を登録するよう構成される。
【００３０】
一部の実施形態では、コンピュータサブシステムは、検出器入力信号に基づいて映像信号を生成し、その映像信号を出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示するように構成される。
【００３１】
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備える。一部の実施形態では、コンピュータサブシステムは、第二の検出器（例えば、頭部装着型ディスプレイに物理的には接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を受信し、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、および（ｉｖ）第二の検出器により検出された一つ以上のフィデューシャルマーカーに基づく、自然な視野には見えない手術用器具の少なくとも一部分の表現のうち少なくとも一つを修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）するように構成される。
【００３２】
一部の実施形態では、コンピュータサブシステムは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を受信して、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するように構成され、また、コンピュータサブシステムは、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、更新された拡張グラフィックを表示画面上に表示するように構成されている。
【００３３】
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
【００３４】
一態様において、本発明は、ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムを使用する方法を対象とし、方法は、拡張現実ナビゲーションシステムを提供するステップ、および／またはそれにアクセスするステップであって、ここで拡張現実ナビゲーションシステムは、ユーザーの自然な視野の少なくとも一部分上に重ね合わせて表示される、拡張グラフィック（例えば、やや不透明の画像）（例えば、ナビゲーション拡張グラフィック）をユーザーに表示するように構成された少なくとも部分的に透明な表示画面を備えた、頭部装着型ディスプレイと、オプションとして、頭部装着型ディスプレイの測定された動きに基づいて動き信号を出力するための頭部装着型ディスプレイに接続された動きセンサー（例えば、慣性動作ユニット（ＩＭＵ））と、現実世界の特徴を識別するための少なくとも一つの検出器であって、少なくとも一つの検出器が頭部装着型ディスプレイに接続されているもの［例えば、そこで少なくとも一つの検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、およびＲＦ検出器のうち少なくとも一つを含む］［例えば、そこで現実世界の特徴はフィデューシャルおよび／または特定された患者の解剖学的構造を含む（例えば、そこで現実世界の特徴は、患者、手術用器具、およびロボット外科手術システム（例えば、ロボットアーム、ロボットアームの一部、および／またはロボットアームのエンドエフェクター）のうち少なくとも一つに接続されたフィデューシャルである）］とを備える。方法はさらに、少なくとも一つの検出器からの検出器入力信号（ここで検出器入力信号は少なくとも一つの検出器の視野に対応し、また視野が外科手術中の患者の解剖学的構造の少なくとも一部分を含む）を、（例えば、コンピュータサブシステムのプロセッサにより）受信するステップと、検出器入力信号中にある一つ以上の現実世界の特徴のそれぞれについての相対位置および／または配向を、（例えば、コンピュータサブシステムのプロセッサにより）決定するステップと、手術用器具の少なくとも一部分および／または手術用器具の軌道の描写（ここで手術用器具はロボット外科手術システムに挿入されるか、またはロボット外科手術システムに接続される）（例えば、ここで手術用器具の一部分は（例えば、患者内部にあって）ユーザーの自然な視野内には見えない）を、（例えば、コンピュータサブシステムのプロセッサにより）生成するステップ、および／またはそれにアクセスするステップと、一つ以上の現実世界の特徴の相対位置および／または配向に基づき、表現の少なくとも一部分を、（例えば、コンピュータサブシステムのプロセッサにより）修正（例えば、回転、拡大縮小、および並進のうち少なくとも一つ）して、それによって更新された表現を形成するステップと、更新された表現に基づき、手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサにより）レンダリングするステップと、表示画面上に手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサにより）表示（例えば、頭部装着型ディスプレイの少なくとも部分的に透明な表示画面を介して、手術用器具拡張グラフィックをユーザーの自然な視野の少なくとも一部分に重ね合わせて表示）するステップとを含む。
【００３５】
一部の実施形態では、方法は、複数の手術用器具の軌道（例えば、計画された手術用器具の軌道）のそれぞれについて手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングするステップと、手術用器具拡張グラフィックが患者の解剖学的構造上に重ね合わせて表示され、それぞれの軌道拡張グラフィクスが外科手術中に従うことができる物理的軌道を示すように、複数の手術用器具拡張グラフィックを、表示画面上に（例えば、コンピュータサブシステムのプロセッサによって）表示するステップとを含む。
【００３６】
一部の実施形態では、方法は、検出された入力信号から、少なくとも一つの現実世界の特徴のそれぞれについての相対位置および／または配向を、（例えば、コンピュータサブシステムのプロセッサによって）決定するプロセスと、（例えば、回転、拡大縮小、および並進のうち少なくとも一つにより、）検出された入力信号から決定された相対位置および／または配向に基づき、患者の解剖学的モデル（例えば、３Ｄモデル）を修正して、それによって更新された解剖学的モデル（例えば、患者の解剖学的構造に登録されるもの）を、（例えば、コンピュータサブシステムのプロセッサによって）形成するプロセスと、更新された解剖学的モデルに少なくとも部分的に基づき、解剖学的モデル拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングするプロセスと、更新された解剖学的モデルが患者の解剖学的構造上に重ね合わされて表示されるように、解剖学的モデル拡張グラフィックを表示画面上に、（例えば、コンピュータサブシステムのプロセッサによって）表示するプロセスとを含む。
【００３７】
一部の実施形態では、方法は、動作センサーによって検出された動きに基づいて、検出器入力信号内の決定された現実世界の特徴の相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）更新するステップと、更新された相対位置および配向に基づいて手術用器具拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）更新するステップとを含む。
【００３８】
一部の実施形態では、方法は、一つ以上の計画軌道セット（例えば、一つ以上の予め設定された軌道、または動作可能に計画された軌道）から軌道を選択する、ユーザー入力軌道選択信号を、（例えば、コンピュータサブシステムのプロセッサによって）受信するステップと（例えば、ユーザー入力軌道選択信号がロボット外科手術システムのロボットアームおよび／またはロボットエフェクターの位置および／または配向に対応する）、ユーザー入力軌道選択信号に少なくとも部分的に基づき、選択された軌道を、（例えば、コンピュータサブシステムのプロセッサによって）決定するステップと、ロボット外科手術システムのロボットアームおよび／または終了エフェクターが選択された軌道と整列されるように、（例えば、コンピュータサブシステムのプロセッサによって）自動的に移動するステップとを含む。
【００３９】
一部の実施形態では、方法は、ロボット外科手術システムのロボットアームおよび／またはエンドエフェクターを選択された軌道（例えば、患者の解剖学的構造に向かって）に沿って、（例えば、コンピュータサブシステムのプロセッサによって）自動的に移動するステップを含む。一部の実施形態では、方法は、選択された軌道を含む触覚オブジェクトを、（例えば、コンピュータサブシステムのプロセッサによって）定義および／または更新するステップと、ロボットアームおよび／またはエンドエフェクターに挿入されたか、または取り付けられた手術用器具の少なくとも一部の動きが、触覚オブジェクト内に制約されるように、プロセッサにより、ロボットアームおよび／またはエンドエフェクターの動作を制約するステップとを含む。
【００４０】
一部の実施形態では、少なくとも一つの検出器は、少なくとも４０度（例えば、対角線上で測定）の視野を有する検出器を備える。一部の実施形態では、表示画面は、少なくとも１２８０×７２０ピクセルの解像度を持つ。
【００４１】
一部の実施形態では、方法は、患者の解剖学的構造をロボット外科手術システム、拡張現実ナビゲーションシステム、および随意に医療画像データ（例えば、Ｘ線データ、ＣＴデータ、ＭＲＩデータ、透視データ）に基づいて患者の解剖学的モデルに登録するステップを含む。
【００４２】
一部の実施形態では、少なくとも一つの検出器は、ビデオカメラを備え、方法は、検出器入力信号に基づいて映像信号を、（例えば、コンピュータサブシステムのプロセッサによって）生成するステップと、その映像信号を、（例えば、コンピュータサブシステムのプロセッサによって）出力して（ｉ）モニターおよび（ｉｉ）ユーザーの自然な視野の少なくとも一部分に重ね合わされて表示されるようにユーザーに見える拡張グラフィック（例えば、やや不透明の画像）を表示するように構成された少なくとも部分的に透明な表示画面を備えた第二の頭部装着型ディスプレイのうち少なくとも一つ上に表示するステップとを含む。
【００４３】
一部の実施形態では、システムは、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーを備え、方法は、頭部装着型ディスプレイに接続された一つ以上のフィデューシャルマーカーの相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）受信する［ここで一つ以上のフィデューシャルマーカーは、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）により検出される（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）］ステップと、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｖ）二次検出器によって検出された一つ以上のフィデューシャルマーカーに基づいて、自然な視野から隠された手術用器具の少なくとも一部の表現、のうち少なくとも一つを、（例えば、コンピュータサブシステムのプロセッサによって）変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するステップとを含む。
【００４４】
一部の実施形態では、方法は、プロセッサにより、二次的な検出器（例えば、頭部装着型ディスプレイに物理的に接続されていない）（例えば、ＥＭＦ検出器、ＲＦ検出器、音響検出器、ＬｉＤＡＲ検出器、光検出器）によって検出された一つ以上の現実世界の特徴の相対位置および配向を、（例えば、コンピュータサブシステムのプロセッサによって）受信するステップと、（ｉ）解剖学的モデル、（ｉｉ）外科用インプラントの表現、（ｉｉｉ）手術用器具の軌道の表現、（ｉｉｉ）二次検出器によって検出された一つ以上の現実世界の特徴に基づいて、自然な視野面から隠された手術用器具の表現のうち少なくとも一つを、（例えば、コンピュータサブシステムのプロセッサによって）変更（例えば、回転、拡大縮小および並進のうち少なくとも一つ）するステップと、少なくとも部分的に（ｉ）、（ｉｉ）、（ｉｉｉ）、および（ｉｖ）のうち少なくとも一つの変更に基づき、拡張グラフィックを、（例えば、コンピュータサブシステムのプロセッサによって）レンダリングおよび／または更新するステップと、更新された拡張グラフィックを、ディスプレイ画面上に、（例えば、コンピュータサブシステムのプロセッサによって）表示するステップとを含む。
【００４５】
一部の実施形態では、外科手術は、脊髄外科手術、整形外科手術、整形外科外傷外科手術、および神経外科手術のうちの少なくとも一つを含む。一部の実施形態では、外科手術は低侵襲的外科手術を含む。
【００４６】
［定義］
本開示がより容易に理解されるようにするために、本明細書で使用される特定の用語は以下に定義される。以下の用語およびその他の用語についての追加的な定義は、本明細書全体を通して規定されている場合がある。
【００４７】
本出願では、「または」という用語は、別段の記載がない限り、「および／または」を意味する。本出願で使用される場合、「含む（ｃｏｍｐｒｉｓｅ）」およびその用語の変形、例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｅｓ）」という用語は、他の付加物、構成要素、整数またはステップを除外することを意図していない。本出願で使用される場合、「約」および「およそ」という用語は同等物として使用される。約／およそ／が付いているかついていないかの別なく、このアプリケーションで使用される任意の数字は、当業者によって理解される任意の通常の変動を網羅することが意図される。特定の実施形態では、「およそ」または「約」という用語は、別段の記載がない限り、またはその他の方法で文脈から明らかでない限り、表示された基準値からプラスマイナス２５％、２０％、１９％、１８％、１７％、１６％、１５％、１４％、１３％、１２％、１１％、１０％、９％、８％、７％、６％、５％、４％、３％、２％、１％、または１％未満に該当する値（基準値よりも大または小）の範囲を指す（そのような値が、可能な値の１００％を超える場合を除く）。
【００４８】
以下の説明では、本明細書に記載されるシステムおよび方法の、およびそれらに関連する、様々な要素の位置、配向、および移動方向の説明にあたり、デカルト座標系を一般的に使用する。ただし、当然のことながら、特定の座標（例えば、「ｘ、ｙ、ｚ」）およびそれらに基づく慣例（例えば「正のｘ方向」、「ｘ、ｙ、またはｚ軸」、「ｘｙ、ｘｚ、またはｙｚ−平面」など）は簡便さと明瞭化のために提示したもので、当業者によって理解されるように、その他の座標系（例えば、円柱座標、球座標）が使用されてもよく、それらは、請求項の範囲内であると考えられる。
【００４９】
ナビゲーション情報：本明細書で使用される場合、「ナビゲーション情報」という用語は、外科手術中のナビゲーションに有用な情報を意味する。特定の実施形態では、ナビゲーション（ナビゲートすること）は、一つ以上の手術用器具および／またはインプラント（またはその他の外科手術装置）のナビゲーションを含む。手術用器具は、ロボット外科手術システムに取り付けられうる。ナビゲーション情報には、（ｉ）手術用器具および／または装置（例えば、インプラント）および／または外科手術機器（例えば、手術台）の外科軌道、位置および／または配向、患者の解剖学的構造およびそのモデル、医療画像データ、ならびにロボット外科手術システムの位置および／または配向のうち一つ以上が含まれるが、これらに限定されない。本明細書で使用される場合、拡張現実ナビゲーションシステムが外科医にナビゲーション情報を表示すると記述されている場合、当然のことながら、ナビゲーションには直ちに関連しないが、外科手術に一般に関連するその他の情報もまた（例えば、類似の方法で）表示されてもよい。例えば、患者のバイタルまたは状態（例えば、患者履歴）に関する患者の健康情報、または外科手術に関連するステータス情報（例えば、進捗、指示、またはその他の情報）が（例えば、拡張現実ナビゲーションシステムの表示画面に表示される仮想ディスプレイ上に）表示されてもよい。必要に応じて、ナビゲーション情報は随意に患者の解剖学的構造に重ねて表示させることができる。
【００５０】
拡張グラフィック：本明細書で使用される場合、「拡張グラフィック」という用語は、表示画面を通して見た時にグラフィックが外科医の自然な視野に重ね合わされて見えるように、プロセッサによってレンダリングされて、拡張現実ナビゲーションシステムの表示画面上に表示されるグラフィックを意味する。特定の実施形態では、拡張グラフィックはまた、第三者オブザーバーが、外科医が何を見ているかを観察するために、遠隔モニター上に表示するためにレンダリングされてもよい（例えば、手術室の壁に取り付けられるもの）。拡張グラフィックは、自然な視野内に表示されるスタンドアロンのグラフィックでもよい（例えば、外科医の視野内に浮かんで見える仮想ディスプレイ）。拡張グラフィックによって表現される物理的オブジェクト（例えば、患者の解剖学的構造の部分）が拡張グラフィックと一致するように（例えば、ここで物理的オブジェクトまたはその一部分はそうでなければ外科医から見えない）、拡張グラフィックは、自然な視野内で一つ以上のオブジェクト（例えば、患者の解剖学的構造）上に重ね合わせて表示されうる。特定の実施形態では、拡張グラフィックは、物理的オブジェクトに隣接する３Ｄオブジェクトとして表現されてもよい（例えば、共通の配向を有するが、空間的並進によってオフセットされて）。一部の実施形態では、拡張グラフィックは、外科医の自然な視野を拡張する表示画面上の映像として表示されるように、時系列順に表示するためのいくつかのグラフィックを含む。例えば、外科医は、行いつつある処置の一部を患者の身体的構造上に重ね合わせて表示することができる。
【００５１】
医療画像データ：本明細書で使用される場合、医療画像データは、患者の少なくとも一部分を表現する画像データを指す。医療画像データは、Ｘ線技術、放射線撮影技術（蛍光透視技術（例えば、ＯアームまたはＣアームを使用して生成））、断層撮影技術（例えば、Ｘ線コンピュータ断層撮影、陽電子放射断層撮影（ＰＥＴ）、または磁気共鳴映像法（ＭＲＩ））、超音波技術、またはエラストグラフィー技術を含むが、これに限定されない任意の適切な技術を使用して生成されうる。
【００５２】
ポインタツール：本明細書で使用される場合、「ポインタツール」という用語は、望ましい位置および／または配向を示すために使用されるツールを意味する。ポインタツールは、ロボット外科手術システム、例えば、そのエンドエフェクターまたはそれに取り付けられたツールガイドに挿入されるように構成されうる。ポインタツールは、ポインティングのためにのみ使用される特別に構成された器具であってもよい。手術用器具をポインタツールとして使用してもよい。例えば、ドリルビット、ドリルガイド、ツールガイド、錐または類似の手術用器具をポインタツールとして使用してもよい。ポインタツールは、（例えば、ポインタツールの位置および配向（例えば、三角測量による）を決定するのに十分な）ツールに取り付けられた一つ以上のフィデューシャルを持ちうる。
【００５３】
現実世界の特徴：本明細書で使用される場合、「現実世界の特徴」という用語は、オブジェクトについての空間情報を決定できるように、検出器によって検出されうる物理的オブジェクトまたはその部分を意味する。空間情報は、位置および／または配向を含む。現実世界の特徴は、一つ以上の画像認識技術を使用して検出される識別された患者の解剖学的構造（例えば、解剖学的構造データベース（例えば、患者の解剖学的構造の画像データベースを参照して識別される）でもよい。現実世界の特徴は、任意の適切なフィデューシャルでもよい。基準は、例えば、外科手術機器（例えば、手術台）、患者、手術用器具、インプラント、ロボット外科手術システム、または拡張現実ナビゲーションシステム（例えば、頭部装着型ディスプレイ）に取り付けられてもよい。フィデューシャルは、ナビゲーション（例えば、追跡）中に環境中のフィデューシャルの配向を支援する複数のマーカーを含みうる。例えば、特定の実施形態では、フィデューシャルは、オブジェクトに取り付け可能な剛直保持装置に取り付けられた空間的に分離された複数のマーカー（例えば、３マーカーまたは４マーカー）を含み、ここで各マーカーは頭部装着型ディスプレイ上に配置された検出器によって検出されるように構成される（例えば、ＥＭＦ検出器の電磁場を放出もしくは変化、または光検出器用に特定の反射率を有する）。現実世界の特徴は、外科手術環境内のオブジェクトの位置および配向を決定するために使用される。本明細書に開示されるシステムを使用してこのような決定を行うために使用される技術の例は三角測量であるが、患者登録の当業者にとって、表面整合またはその他の類似の相関技術などの多数の技術が単独もしくは組み合わせて使用されうることは明らかとなる。
【００５４】
軌道：本明細書で使用される場合、「軌道」という用語は、従うことが望ましい、および／または意図される経路を意味する。軌道はモデル化されてもよく、また軌道を表現するグラフィックは、拡張現実ナビゲーションシステムの表示画面に表示されてもよい。軌道は、線形の軌道（例えば、軌道に沿った全ての点が線上にある）または非線形の軌道であってもよい。プロセッサ（例えば、ロボット外科手術システム）によって送信されるか、またはコンピュータ可読媒体上に保存される（例えば、プロセッサによる操作のための）軌道は、軌道を画定するのに十分な任意のデータによって表現されてもよい。軌道を画定するために使用されるデータの非限定的な例には、空間内の単一座標、および配向（例えば、ベクトル）、複数の座標、および関数関係（例えば、ｘ、ｙ、およびｚ変数が関与する）が含まれる。特定の実施形態では、経路は、ロボット外科手術システムを使用して（例えば、自動的に）または外科医によって手動で追跡されうる。
【００５５】
ロボット外科手術システム：本明細書で使用される場合、「ロボット外科手術システム」という用語は、外科手術手順を支援するように構成されたロボットアームを含むシステムを意味する。ロボットアームは、一つ以上の手術用器具を保持および／または操作（例えば、案内および／または移動）することによって外科手術手順を支援しうる。特定の実施形態では、ロボット外科手術システムは、能動的な非バックドライブ可能ロボットアームを含む。特定の実施形態では、ロボット外科手術システムは、受動的なバックドライブ可能ロボットアームを含む。特定の実施形態では、ロボット外科手術システムは、外科医によって直接操作されるように構成される（例えば、掴んだり操縦することによって）。特定の実施形態では、ロボットは、外科医によって遠隔操作されるように構成される（例えば、マスター／スレーブシステムと同様に）。特定の実施形態では、ロボット外科手術システムのロボットアームは、外科医がロボットアームに取り付けられた手術用器具を、画定された触覚オブジェクト（すなわち、触覚量）の外側で能動的に操縦するのを阻止することによって外科手術を支援するように構成される。特定の実施形態では、ロボット外科手術システムのロボットアームは、外科医からの入力に伴い、ロボット外科手術システムとの通信状態にある拡張現実ナビゲーションシステムを使用して手術前または手術中に計画された軌道など、軌道上に、および／または軌道に沿って自動的に移動するよう構成される。特定の実施形態では、ロボット外科手術システムおよび拡張現実ナビゲーションシステムは、共通のコンピュータサブシステムを持つ。
【図面の簡単な説明】
【００５６】
図面は本明細書において例示目的で提示されるもので、限定するためのものではない。本発明の前述およびその他の目的、態様、特徴、および利点は、添付図面と併せて記述された以下の説明を参照することによって、より明らかになり、またより適切に理解されうる。
【図１】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図２】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図３】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図４】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図５】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図６】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図７】ユーザーの頭に着用でき、本発明の一部の実施形態に従って動作する頭部装着型ディスプレイ装置を図示する。
【図８】本発明の一部の例証的実施形態による、頭部装着型ディスプレイの表示画面を通して仮想表示パネルを表示するための頭部装着型ディスプレイを含む拡張現実ナビゲーションシステムによって実施されうる動作および方法を図示したものである。
【図９】本発明の例示的実施形態による、拡張現実ナビゲーションシステムにおける頭部装着型ディスプレイに連結されたコンピュータサブシステムの電子構成要素のブロック図である。
【図１０】本発明の例示的実施形態に従い、機器の位置（手術用器具、外科医の頭部装着型ディスプレイ、および患者の解剖学的構造の部分）を追跡し、頭部装着型ディスプレイ上に表示されて、レンダリングされて患者の身体上の視覚的に整列された位置に表示される、３次元（３Ｄ）モデルを患者データから生成する、拡張現実ナビゲーションシステムの構成要素のブロック図である。
【図１１】本発明の例示的実施形態による、拡張現実外科手術システムの電子構成要素およびモジュールの別のブロック図である。
【図１２】本発明の例示的実施形態による、手術用器具および／またはその軌道のグラフィカル表現を表示するために、拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。
【図１３】本発明の例示的実施形態による、固定された十字線を用いて拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。
【図１４】本発明の例示的実施形態による、ポインタツールを用いて拡張現実ナビゲーションシステムを使用する例示的方法のブロック図である。
【図１５】本発明の例示的実施形態による、外科手術中の拡張現実ナビゲーションシステム上に表示されうるナビゲーション情報を示す。
【図１６】本発明の例示的実施形態による、追加的に拡張現実ナビゲーションシステムに表示される、ロボット外科手術システムに接続されている手術用器具を使用して予め計画されたかまたは術中に計画された軌道に沿って挿入される、そうでなければ着用者には見えない、患者の解剖学的構造およびインプラントのモデルの一部分を概略的に図示したものである。
【図１７】本発明の例示的実施形態による、本明細書に記載される方法およびシステムで使用するための例示的なネットワーク環境のブロック図である。
【図１８】本発明の例示的実施形態で使用するための例示的なコンピューティング装置および例示的な携帯型コンピューティング装置のブロック図である。
【発明を実施するための形態】
【００５７】
特許請求の範囲の本発明のシステム、装置、方法、およびプロセスは、本明細書に記載の実施形態に基づく情報を使用して開発された変形および改作を包含することが意図されている。本明細書に記載されるシステム、装置、方法、およびプロセスの改作および／または変更は、当業者によって実施されうる。
【００５８】
説明全体を通して、物品、装置、およびシステムが特定の構成要素を有する、含む、もしくは備えるものとして説明されている場合、またはプロセスおよび方法が特定のステップを有する、含む、もしくは備えるものとして説明されている場合、追加的に、列挙された構成要素から本質的になる、またはそれらから成る本発明の物品、装置、およびシステムがあること、ならびに、列挙されたプロセスステップから本質的に成る、またはそれらから成る本発明によるプロセスおよび方法があることが意図されている。
【００５９】
当然のことながら、ステップの順序や特定の行為を実施する順序は、本発明が実施可能である限り重要ではない。さらに、二つ以上のステップまたは行為は同時に実行されうる。
【００６０】
本明細書での、例えば、背景セクションでの、任意の公報への言及は、本明細書に提示されている任意の請求項に関して、その公報が先行技術としての役割を果たすことを認めるものではない。背景セクションは、明確にする目的で提示されているものであって、任意の請求項に関して先行技術の説明として意味されてはいない。見出しは読み手の便宜を図って提供されているもので、請求項に記載された主題に関して限定することを意図していない。
【００６１】
［拡張現実ナビゲーションシステムおよびその構成要素］
本明細書に開示されている拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイと、現実世界の特徴を識別するために頭部装着型ディスプレイに接続された（例えば、それ上に配置された）少なくとも一つの検出器と、コンピュータサブシステムとを備える。コンピュータサブシステムは、例えば、軌道計画および実行を含む処置中に外科医にとって有用な様々なナビゲーションタスクを実行するように構成されうる。移動センサーは、追加的な機能および／または性能を提供する（例えば、選択入力手段またはドリフト補正など）拡張現実ナビゲーションシステムを着用する外科医の頭部の動きを検出するために随意に含めることができる。本開示の特定の実施形態に従っている特定の外科手術で使用するための拡張現実ナビゲーションシステムは、米国特許公開第２０１６−０２２５１９２  Ａ１号（２０１６年８月４日公開）に記載があり、その開示はその全体を参照することにより本明細書に組み込まれる。
【００６２】
本開示の実施形態は、医療処置中に外科医、内科医、またはその他の人員によって着用されうる頭部装着型ディスプレイ（ＨＭＤ）装置を含む拡張現実外科手術システムを対象とする。本開示全体を通して、拡張現実ナビゲーションシステムが着用者、ユーザー、または外科医によって着用されていると説明されている場合、外科手術を補助している、先導している、または観察している任意のユーザーが、記載されているのと同じ方法で拡張現実ナビゲーションシステムと同等に相互作用できることが理解される。ユーザーは、外科手術との特定の関係を有する任意の特定の個人には限定されない。ＨＭＤは、着用者に局在的なリアルタイムの状況認識を提供するように構成されうる。ＨＭＤは、着用者の自然な視線および／または周辺視野（ＦＯＶ）内に位置付けられて、着用者が、頭の動き、手のジェスチャー、音声コマンド、目の制御、および／または本明細書で開示されているその他の動作を使用してナビゲーションができる、単一の仮想ディスプレイとして、または仮想ディスプレイの集合として整理して表示できる視覚的情報を提供する表示画面を含む。特定の実施形態では、外科医の自然な視野にあるように、または外科医の視野外にあるように表示画面を操作することができる（例えば、画面を跳ね上げて「使用中」の位置から「使用中」の位置にする）。
【００６３】
特定の実施形態では、外科医またはその他の人員は、ＨＭＤを着用して、患者の体内にあるが、皮膚、筋肉、器官、骨格構造などで覆われているもののグラフィカル表現を見ることができる。特定の実施形態では、ＨＭＤを使用することで、外科医が人体の標的部位を明らかにするために、切開する必要がある場所を観察することによって、切開のサイズを最小化することができる。同様に、ＨＭＤは、骨を補綴で置き換える時に、手術中に外科医が手術用器具（例えば、ロボット外科手術システムに取り付けられている）、および／または補綴の配向および移動を支援する現実世界の特徴を観察できるように使用できる。ＨＭＤは、効率、生産性、スループット、および／または精度、および／または医療処置のパフォーマンスの安全性を改善するために動作しうる。さらに、ＨＭＤは、医療処置中にかなりの角度オフセットを有する遠隔表示装置を着用者が参照する必要性を低減または除去することにより、精神的疲労を低減することができる。
【００６４】
特定の実施形態では、拡張現実ナビゲーションシステムは、１０分未満（例えば、５分未満）の初期化時間を持ち、それによって外科手術手順の遅延および干渉を最小化する。特定の実施形態では、拡張現実ナビゲーションシステムは、最低１時間、最大４時間またはそれ以上にわたって快適に機能しうる。特定の実施形態では、拡張現実ナビゲーションシステムは、外科医のルーペ（拡大鏡）と互換性がある。特定の実施形態では、拡張現実ナビゲーションシステムは、個人用処方眼鏡と互換性がある。特定の実施形態では、拡張現実ナビゲーションシステムは、対角線で測定されるとき、最小視野４０度（例えば、５０度、６０度、７０度、９０度、またはそれ以上）を提供する。一定の実施形態では、拡張現実ナビゲーションシステムは、更新されたナビゲーション情報が表示画面によって受信されるまでに５０ミリ秒未満のレイテンシー（例えば、２０ミリ秒未満レイテンシー）を提供するために、互いに結合された頭部装着型ディスプレイおよびコンピュータサブシステムを備える。特定の実施形態では、表示画面は、３０フレーム／秒以上（例えば、６０フレーム／秒または１２０フレーム／秒）のフレームレートを持ちうる。
【００６５】
本明細書に開示される拡張現実ナビゲーションシステムは、少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイを備える。少なくとも部分的に透明な表示画面を含む頭部装着型ディスプレイは、眼鏡と類似した形状因子を持ちうる。例えば、これは双眼または単眼でありうる（すなわち、一方または両方の眼の視野を拡張するために表示画面を使用できる）。特定の実施形態では、頭部装着型ディスプレイは、双眼式頭部装着型ディスプレイである。双眼配置は、着用時には両眼を少なくとも部分的に覆う一つの連続的な表示画面で成り立っていてもよく、または二つの別個の表示画面（すなわち、それぞれの眼について一つの画面）であってもよい。頭部装着型ディスプレイは、アーマチュア（一般的な眼鏡にあるもの）または一部のその他の取付け手段（例えば、ヒトの頭部に着用されるサイズおよび形状のストラップ、バンド、または取り付け具）を使用して、着用者の頭部に保持されうる。拡張グラフィックを表示するように構成された少なくとも部分的に透明な表示画面は、例えば、飛行機操縦や運動競技用のヘッドアップディスプレイで使用されるものなど、任意の適切な市販の表示画面とすることができる。表示画面は、着用者が表示画面を通して自然視野の少なくとも一部分を見ることができる一方で、画面上に表示された任意の拡張グラフィックも見ることができるように、少なくとも部分的に透明である。特定の実施形態では、表示画面は高解像度表示画面である（例えば、少なくとも１２８０×７２０の解像度を有する）。
【００６６】
本明細書に開示される拡張現実ナビゲーションサブシステムは、少なくとも一つの検出器を含む。検出器は、検出器の視野内にある現実世界の特徴についての空間情報を決定するのに適したものである。検出器は、光学カメラ（例えば、ビデオカメラ）、ＥＭＦ検出器、ＬｉＤＡＲ検出器、音響検出器、ＲＦ検出器、または類似のエネルギーセンサーとすることができる。検出器は、検出器の視野内の環境からの情報を受信し、計算サブシステムに送信される検出器入力信号を生成する。特定の実施形態では、検出器は、頭部装着型ディスプレイに配置される（例えば、取り付けられる）。特定の実施形態では、検出器は（例えば、電気的に）接続されるが、頭部装着型ディスプレイから空間的に離れている。特定の実施形態では、適切なタイプのフィデューシャルは、頭部装着型ディスプレイに接続された検出器のタイプに基づいて、外科手術中に選択および使用される。例えば、ＥＭＦ信号を出力するフィデューシャルは、頭部装着型ディスプレイに取り付けられたＥＭＦ検出器によって検出される。一つ以上のフィデューシャルは、外科手術環境内において頭部装着型ディスプレイの追跡および／または配向をするために頭部装着型ディスプレイ上に配置されうる（例えば、補助検出器または第二の拡張現実ナビゲーションシステムによって検出される）。特定の実施形態では、検出器は光学カメラであり、画像認識が、一つ以上の現実世界の特徴を決定するために、検出器入力信号に対してコンピュータサブシステムによって実行される。異なるタイプの検出器を、単一の拡張現実ナビゲーションシステム内で組み合わせて使用できる。同じタイプの２つの検出器が、頭部装着型ディスプレイ上に配置され、それ上で空間的に分離されてもよい（例えば、現実世界の特徴を三角測量するため）。特定の実施形態では、検出器は、異なるタイプの検出器で置換できるように取り外し可能である。特定の実施形態では、コンピュータサブシステムと結合された検出器は、各位置自由度について、２ｍｍ（例えば、１．５ｍｍまたは１ｍｍ以内）ＲＭＳ以内の精度での患者の登録が可能になる。特定の実施形態では、一つ以上の検出器（例えば、頭部装着型ディスプレイ上に配置される）は、期間全体（例えば、外科手術）で、外科手術環境内の一定の空間的容積（例えば、半径２フィート、半径４フィート、半径６フィート、またはそれより大きい球体積よりも大きな容積）にわたり、正確な登録を提供するように構成される。特定の実施形態では、こうした容積は、頂点が頭部装着型ディスプレイに位置する円錐によってさらに画定されうる。
【００６７】
特定の実施形態では、拡張現実ナビゲーションシステムは、動きセンサーを備える。動きセンサーは、着用者の頭部の経時的な動きを追跡できる。こうした追跡は、例えば、着用者の頭の自然な小さな動きによって発生した拡張グラフィックのジッターの平滑化、またはさらにはその除去に使用することができる。一定の実施形態では、動作センサーはまた、着用者の頭の動きを決定するための手段を提供し、頭部装着型ディスプレイの表示画面に表示された拡張グラフィックを更新するために、頭部装着型ディスプレイの新しい配向および／または位置をコンピュータサブシステムに提供する。特定の実施形態では、動きセンサーは、開ループで測定されるときに、ベースライン位置からの拡張グラフィックの位置（すなわち、拡張現実ナビゲーションシステムを患者の解剖学的構造に登録することによって決定される位置）でのドリフトが、２ｃｍ（例えば、１ｃｍ）未満となるように構成される。特定の実施形態では、拡張現実ナビゲーションシステム内の検出器と結合された動きセンサーは、時間当たりのドリフトが１ミリメートル未満に光学的に較正される（すなわち、閉ループ）。特定の実施形態では、動きセンサーは、選択をするために使用されるユーザー入力（例えば、頭部の縦または横の動き）を記録するために使用される。
【００６８】
特定の実施形態では、拡張現実ナビゲーションシステムは、マイクロホンを備える。マイクロホンは、頭部装着型ディスプレイ上に配置されうる。マイクロホンは、拡張現実ナビゲーションシステムの制御に使用するために、外科医のコマンド（すなわち、口頭コマンド）を受けるために使用されうる。例えば、口頭コマンドは、表示画面の設定やグラフィックスの選択、修正もしくは更新、またはその他の類似したタスクのためのユーザー入力の機能を果たしうる。たとえば、頭部装着型ディスプレイの表示画面に表示される仮想表示パネルを再配列するために、または仮想ディスプレイ上に表示されるナビゲーション情報を変更するために、口頭コマンドを使用することができる。同様に、重ねて表示されたグラフィックは、口頭コマンドによって修正されうる（例えば、重ねて表示されたグラフィックの輝度、色、またはデータソースを変更する）。
【００６９】
一部の実施形態では、口頭コマンドまたは動きセンサーの動きによって入力されるコマンドに加えて、あるいはその代わりに、外科医によってなされたジェスチャーが、選択の合図、または拡張現実ナビゲーションシステムの制御に使用されうる。例えば、特定の実施形態では、外科医は、スワイプ、クリック、リサイズ、リフレッシュといったタイプのジェスチャー（例えば、スマートフォンまたは他のタッチ制御装置と類似したもの）をして、拡張現実ナビゲーションシステムを制御することができる。こうしたジェスチャーは、拡張現実ナビゲーションシステムの検出器によって検出可能な方法でなされうる。例えば、画像認識タイプの手順（例えば、検出器が光学カメラである場合）を使用して、ジェスチャーを検出しうる。例えば、外科医は、ジェスチャーがフィデューシャルの動きに基づいて検出されるように、ジェスチャーをするときに、拡張現実ナビゲーションシステムによって検出可能なフィデューシャルを装着または保持してもよい。特定の実施形態では、代替的または追加的に、補助的な機械的入力（例えば、フットペダル）は、入力（例えば、選択）装置として使用されうる。
【００７０】
本明細書に開示される拡張現実ナビゲーションシステムは、コンピュータサブシステムを含む。コンピュータサブシステムは、とりわけ、拡張現実ナビゲーションシステムの表示画面に表示するための拡張グラフィックの処理（例えば、レンダリング）をする。コンピュータサブシステムは遠隔でもよい。例えば、コンピュータサブシステムは、クイックディスコネクト式のケーブルによって頭部装着型ディスプレイに接続することができる。こうしたケーブルはまた、頭部装着型ディスプレイ（例えば、表示画面）の構成要素に電力を供給することもできる。特定の実施形態では、コンピュータサブシステムは、頭部装着型ディスプレイ（例えば、電池電力を使用して動作するもの）上に部分的または全体的に配置される。特定の実施形態では、コンピュータサブシステムは、ロボット外科手術システムからのナビゲーション情報を含むナビゲーション入力データを受信するように構成される。例えば、ロボット外科手術システムに保存された軌道、および／またはロボット外科手術システムに保存された座標（例えば、ロボット外科手術システムを使用して記録されたもの）である。特定の実施形態では、コンピュータサブシステムは、拡張現実ナビゲーションシステムからの出力（軌道データ出力など）を使用してロボット外科手術システムを制御できる。
【００７１】
特定の実施形態では、コンピュータサブシステムは、手術前および／または手術中の計画（例えば、軌道計画）を支援するよう構成される。特定の実施形態では、コンピュータサブシステムは、表示画面上に表示されたポインタツールおよび／または軌道選択ガイダンス拡張グラフィック（例えば、十字線）を使用して、軌道計画を実行するよう構成される。特定の実施形態では、コンピュータサブシステムは、とりわけ、患者の解剖学的構造のモデルを保存、アクセス、および／または更新するモデルモジュールを含む（例えば、医療画像データに由来するもの）。特定の実施形態では、コンピュータサブシステムは、とりわけ、ナビゲーションに使用される基準座標系を作成、保存、アクセス、および／または更新する座標モジュールを含む。こうした基準座標系は、登録方法の実行中（例えば、外科手術手順の開始時）に定義されうる。座標モジュールは、外科手術の間に連続的または定期的に発生しうる再登録を実施するために使用されうるが、ここで登録は拡張現実ナビゲーションシステムを使用して実施されうる。
【００７２】
特定の実施形態では、拡張現実ナビゲーションシステムは、補助ナビゲーションサブシステムと協働して動作する。例えば、外科手術環境での補助検出器は、外科手術環境において現実世界の特徴の追加的な検出をするために使用されうる（頭部装着型ディスプレイ上に配置された検出器によって検出されるものに加えて）。このように、特定の実施形態では、拡張現実ナビゲーションシステムは、外科手術中にナビゲーションをするためにロボット外科手術システムと併用される既存のナビゲーションシステムと連結される。例えば、拡張現実ナビゲーションシステムによって実施される登録は、外科手術手順のナビゲーション中に拡張現実ナビゲーションシステムによって使用される登録の精度を決定するために、補助検出器によって実施される登録と比較されうる。コンピュータサブシステムは、拡張現実ナビゲーションシステムおよび補助検出器による登録の間の誤差を最小限に抑えるために、再登録を実行することができる。補助検出器が使用される時、例えば、各検出器が、そうでなければ他の検出器から混乱させられる現実世界の特徴を検出することにより、処置中の登録の精密さや追跡が改善されうる。特定の実施形態では、補助検出器は、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイ上に配置された検出器である。補助検出器は、存在する場合、頭部装着型ディスプレイに配置された一つ以上のフィデューシャルを検出（例えば、登録、ジッター補正および／またはドリフト補正を支援）するために使用されうる。
【００７３】
特定の実施形態では、二つ以上の拡張現実ナビゲーションシステムが、協働的および／または結合的に（例えば、同時に）使用される。例えば、二人の外科医がそれぞれ、外科手術中に頭部装着型ディスプレイを着用しうる。特定の実施形態では、一方の頭部装着型ディスプレイ（例えば、頭部装着型ディスプレイに取り付けられた検出器からの検出器入力データ）からのナビゲーション情報を、共通の登録を共有するために、または一方の頭部装着型ディスプレイの表示画面に他方の頭部装着型ディスプレイの検出器からのビデオ入力フィードを表示するために、他方の頭部装着型ディスプレイに提供しうる。特定の実施形態では、ビデオ入力供給は、第二の拡張現実ナビゲーションシステムに提供されるものに加えて、またはその代わりに、（例えば、同一の外科手術環境内の）他者が見れるように、（例えば、近くの壁、またはクラスルームなどの遠隔地にある）外部モニターに提供される。特定の実施形態では、各頭部装着型ディスプレイ上に配置されたフィデューシャルは、一つの外科手術環境で使用される二つの拡張現実ナビゲーションシステムの同時登録を支援する。二つ以上の拡張現実ナビゲーションシステムは、共通のコンピュータサブシステムを共有してもよい（例えば、それぞれが共通のコンピュータサブシステムに対して独自のケーブルによって接続される）。
【００７４】
模範的な拡張現実ナビゲーションシステム
図１は、本開示の一部の実施形態に従って構成された拡張現実ナビゲーションシステム１００（また「ＨＭＤ  １００」とも称される）を示す。図１を参照すると、ＨＭＤ  １００は、拡張グラフィック（例えば、ビデオおよび他の画像）を処理して、ユーザーによって表示されるために、表示画面１１０（例えば、ＬＣＤディスプレイ、表示モジュールが画像などを投影する反射型スクリーンなど）上に表示する表示モジュールに接続された半透明の表示画面１１０を含む。表示モジュールは、ＨＭＤ  １００のハウジング１１８内にあってもよく、または通信可能に接続されたコンピュータサブシステム内に収容されてもよい。
【００７５】
図示した実施形態では、ＨＭＤ  １００はヘッドバンド１２０に取り付けられ、表示画面１１０がユーザーの周辺視野内に延びるように位置付けられる。ハウジング１１８は、表示画面１１０上に情報を表示する電子構成要素を囲み、離れているが通信可能に接続されたコンピュータ機器と、および／またはハウジング１１８内に組み込まれたコンピュータ機器と組み合わせて、頭部の動きの感知および解釈、ユーザーの手またはその他のオブジェクトによってなされたジェスチャーの感知および解釈、および／または音声コマンドの感知および解釈をするために動作しうる。表示画面１１０は、ユーザーが表示装置を通して他のオブジェクトを見ている間に表示装置に表示される情報を見ることができるように、単眼透視表示装置またはステレオセットの透視表示装置を提供することができる。ヘッドバンド１２０は、ヘッドランプ、カメラ、またはユーザーの頭に着用することができる他の装置を含みうる。
【００７６】
ユーザーは、眼鏡１５０のレンズから突出して、視野を拡大するＴＴＬ（ｔｈｒｏｕｇｈ−ｔｈｅ−ｌｅｎｓ）ルーペ１５２を含む眼鏡１５０を着用した状態で図示されている。表示画面１１０は、ハウジング１１８から下向きに延び、ユーザーの視野内、またはユーザーの周辺視野内にあるＴＴＬルーペ１５２に直接隣接するようにユーザーによって配置可能である。表示画面１１０は、ユーザーが表示画面１１０を通して見える環境に重ね合わされた動画を見ることができる透視表示装置でもよい。
【００７７】
ＴＴＬルーペ１５２は、表示画面１１０がユーザーの直接的な視線方向にあるように構成されているときに、ＨＭＤ  １００に含まれない場合がある。別の方法として、ユーザーがＴＴＬルーペ１５２を通して見る方向から目の視線を上方向にわずかにずらして、代わりに表示画面１１０に表示された情報を見ることができるように、表示画面１１０はＴＴＬルーペ１５２に隣接して位置付けられてもよい。一部の実施形態では、ユーザーがＴＴＬルーペ１５２を通して、ＴＴＬルーペ１５２の視野内のオブジェクトに重ねられたグラフィカル画像を見ることができるように、表示画面１１０は、ＴＴＬルーペ１５２を通って見ることができるように、ＴＴＬルーペ１５２の一方または両方内に組み込まれてもよい。ＨＭＤ  １００は、処方眼鏡、保護眼鏡、レンズなしのフレーム、透明または保護シールドなど、任意のタイプの眼鏡フレームに取り付け可能であるように構成されうる。
【００７８】
表示画面１１０は、ハウジング１１８の場所の伸縮を提供する２アーム式摩擦ジョイント連結部１１２を通して便利な視覚的な参照を提供する位置に、ユーザーによって移動されうる。玉継ぎ手式ジョイント１１４は、連結部１１２とハウジング１１８との間に接続され、表示画面１１０の平面調整を提供する。玉継ぎ手式ジョイント１１４とハウジング１１８との間に接続されたピボットジョイント１１６は、ユーザーがハウジング１１８および接続された表示画面１１０を旋回させることを可能にする。それにより、表示画面１１０は、使用されていない時にユーザーの周辺視野外にフリップアップすることができる。
【００７９】
ＨＭＤ  １００は、慣性センサーなどの動きセンサー、またはＨＭＤ  １００を着用している間のユーザーの頭部の動きまたは静的配向の測定値を示す信号を出力するジャイロスコープ、加速度計（例えば、多軸加速度計）、および／または磁気計などの一つ以上の他のセンサーを含みうる。例えば、動きセンサーは、ヨー（すなわち、ユーザーの頭部の左または右への回転）、ピッチ（すなわち、ユーザーの頭部の上または下への回転）、および／またはロール（すなわち、ユーザーの頭部の横方向の傾き）を示す頭部の動き信号を出力してもよい。センサーは、ヘッドバンド１２０上に間隙を介してもよく、またはハウジング１１８内に囲まれてもよい。
【００８０】
ＨＭＤ  １００は、処理およびリレーのためのビデオおよび／またはその他の画像を、処置を支援する他の人員によって着用された他のＨＭＤ  １００に、他の表示装置に、および／または保存のためにビデオサーバーに出力する、ユーザーと反対の方向を向いた光学カメラ（例えば、検出器としての機能を果たす、または他の検出器に加えて）を含みうる。例えば、カメラは、ユーザーが表示画面１１０を調節してユーザーが快適に見られるよう調整した時に、ユーザーの視線と整列するように構成されうる。複数のカメラがＨＭＤ  １００に接続されている場合、カメラからのビデオストリームは、カメラから見たオブジェクトまでの距離を推定する演算関数を提供できる。演算関数は、ビデオストリーム内で観察されるオブジェクトの角度オフセットおよびカメラ間の既知の距離に基づく、オブジェクトまでの距離の三角測量を含むことができる。
【００８１】
カメラ（または別の検出器）は、ユーザーの手または他のオブジェクトによってなされたジェスチャーを感知し、ジェスチャーを複数の定義されたコマンドの一つに対応するものとして認識し、コマンドの動作をトリガーするように構成されたジェスチャー解釈モジュールに接続されうる。ＨＭＤ  １００は、受信した音声コマンドを複数の定義された音声コマンドのうちの一つに対応するものとして認識し、コマンドの動作をトリガーするように構成された音声解釈モジュールに接続されたマイクロホンを含みうる。
【００８２】
ヘッドバンド１２０は、慣性センサー、検出器（例えば、光学カメラ）、マイクロホンなどを取り外し可能に取り付けることができる複数の取付け点を有してもよい。取付け点のいくつかは、取り付けられた慣性センサー、検出器などの間で定義された物理的整列を維持するために、剛直な支持構造を持ちうる。
【００８３】
図２は、本開示の一部の実施形態に従い構成された、表示画面２１０および電子構成要素２１４（ハウジングなしで図示）を持つ別の例示的なＨＭＤ  ２００の側面図を示す。表示画面２１０は、ユーザーの視線上またはユーザーの周辺視野内のすぐ隣接するＴＴＬルーペ１５２にあるように、電子構成要素２１４から下向きに延びる。電子構成要素２１４は、電子構成要素２１４および接続された表示画面２１０が図２に示す展開された位置にフリップダウンし、またユーザーが表示画面２１０を見るのを望まない場合に図２に示す保存位置までフリップアップするように、ピボット２１２を介してヘッドバンド１２０に接続される。
【００８４】
図３は、本開示の一部の実施形態に従い構成された、別の例示的なＨＭＤ  ３００を示す。ＨＭＤ  ３００は、電子構成要素を封入するハウジング３１８から下向きに延びる保護シールド３１０の後ろに図示された表示画面を含む。表示画面および／または保護シールド３１０は、周囲輝度の範囲の対象となる一方で、表示された情報の可視性を高めるために可変コントラストを提供するコーティングを含みうる。保護シールド３１０は、可変焦点（視度）を提供しうる。保護シールド３１０は、患者に面する表示画面の外部表面を覆うために、格納された上位置から保護する下位置（図３に示すように）にフリップダウンして、および処置中に発生する流体およびその他の材料から表示画面を保護する様に機能しうる。表示画面は、ハウジング３１８の伸縮による上下の調節を提供して、ユーザーが表示画面の位置を便利な視覚的参照を提供する位置にできるようにする、２アーム式摩擦ジョイント連結部３１２によって、ユーザーによって移動されうる。玉継ぎ手式ジョイント３１６は、連結部３１２とハウジング１１８との間に接続され、表示画面の平面調整を提供する。連結部３１２は、ピボットジョイント３１４を通してヘッドバンド１２０に接続され、ユーザーがハウジング３１８および接続された表示画面をフリップアップ／ダウンできるようにする。それにより、表示画面は、使用されていない時にユーザーの視線方向外またはユーザーの周辺視野外にフリップアップすることができる。
【００８５】
図４は、本開示の一部の実施形態に従い構成された、別の例示的なＨＭＤ  ４００を示す。ＨＭＤ  ４００は、電子構成要素を封入するハウジング４１８から下向きに延びる表示画面４１０を含む。表示画面４１０およびハウジング４１８は、表示画面４１０の平面調整を提供する玉継ぎ手式ジョイント４１６に接続される。玉継ぎ手式ジョイント４１６は、ハウジング４１８および接続された表示画面４１０を上下に旋回できるようにするピボット４１４に接続され、表示画面４１０は、使用されていない時に、ユーザーの視線方向外またはユーザーの周辺視野外にフリップアップできるようになる。ピボット４１４は、ヘッドバンド１２０に接続する摺動アーム４１２に接続される。摺動アーム４１２は、表示画面４１０が目から望ましい距離となるようにユーザーが配置できるようにする伸縮式調節を提供する。
【００８６】
図５は、ハウジング４１８を取り外して、それ上に取り付けられた電子構成要素（例えば、表示画面、検出器、および随意にマイクロホンおよび動きセンサー）と動作可能に接続されたプリント回路基板（ＰＣＢ）４５０を露出させた、図４のＨＭＤ  ４００の正面図を示す。一部の電子構成要素は、表示画面４１０上に情報を表示するために使用され、一体型または遠隔にあるコンピュータ機器と組み合わせて、頭部の動きの感知および解釈、ユーザーの手、目またはその他のオブジェクトによってなされたジェスチャーの感知および解釈、および／または音声コマンドの感知および解釈をするために動作しうる。一部の実施形態では、ＰＣＢ  ４５０は、ハウジング４１８のプロファイル断面を減少させるために、垂直に対して規定されたゼロ以外の角度に傾けられる。例えば、ＰＣＢ  ４５０は、ハウジング４１８を横切ってほぼ対角線上に延びることができる。
【００８７】
図６は、ユーザーによる単眼での観察を提供する、眼鏡フレームに接続可能な単一表示画面を持つ別のＨＭＤ  ５００を図示する。図７は、双眼での観察を提供するために、眼鏡フレームの両側に接続可能な一対の表示画面を含む別のＨＭＤ  ５０２を示す。図６および７の表示画面は不透明なものとして図示されているが、代わりに、その上に表示される情報を見ながら、ユーザーが表示画面を通して見ることができるようにしてもよい。
【００８８】
図８は、特定の拡張現実ナビゲーションシステムの特定の例示的な機能性を示す。拡張現実ナビゲーションシステムにより、外科医またはその他のユーザーは、手術部位から目を離すことなく、あるいは外科手術環境を横切って、または患者に隣接した他の場所に取り付けられることのある物理的モニターを見るために遠くに焦点を合わせることなく、異なる医療情報の一つ以上の仮想ディスプレイ（図８に示す例では複数）を見ることができる。一部の実施形態では、外科医の頭部および対応するユーザーの見る視線のピッチに基づいて、仮想ディスプレイの三つの動作「モード」が選択的に起動される。三つの動作は、低（外科手術スペースで直接）、中、高（水平の目の高さ）といった三つの対応する視野角の範囲を通して、ＨＭＤ  ７５０のピッチ角を増加させることによって別々に起動されうる。特定の実施形態では、外科医の視野角は、ＨＭＤ  ７５０の動きセンサーによる頭部の動き信号出力から決定されうる。
【００８９】
フルスクリーン動作モードは、外科医が手術部位を見下げたことが（例えば、動きセンサーによって）判断された時にトリガーされることができ、これは、ピッチが第一のピッチ閾値（例えば、約−４５°）未満となった時に判定されうる。第一のピッチ閾値は、物理的ユーザーインターフェースなどを介して入力される音声コマンドに基づいて、外科医によって定義および／または調整されうる。フルスクリーン動作モードでは、拡張グラフィックを使用して、画定された一つのビデオストリーム（例えば、ＨＤＭＩ（登録商標）チャンネルを経由した主要ビデオストリーム）がＨＭＤ  ７５０の表示画面７５２を通してフルスクリーンで表示される。外科医のプレファレンス設定は、外科医が認識されると（例えば、コンピュータ機器６２０を介したログインプロセスによるなど）、外科医のプレファレンス設定が自動的に引き出されうるように、コンピュータサブシステムのメモリ６３０内に保存された環境設定ファイルに、外科医の識別子と共に保存されうる。
【００９０】
図９は、頭部装着型ディスプレイ、コンピュータ処理装置６２０、および外科手術ビデオサーバー６５０（例えば、入力データストリームを提供する）に対するデータ入力および出力を処理するためのモジュール６００を含む、本明細書で開示した拡張現実ナビゲーションシステムの特定の実施形態による、例示的なコンピュータサブシステムの電子構成要素のブロック図である。ビデオサーバー６５０は、例えば、データネットワーク６４０を介して患者データベース６４２、撮像機器６４４、およびその他の電子機器６４６に接続することができる。ＨＭＤ  ６００は、例えば、図１〜７のＨＭＤＳのいずれかに対応しうる。コンピュータ機器６２０は、ＨＭＤ  ６００とは別個に図示されているが、コンピュータ機器６２０によって実行されるように本明細書で開示されている一部またはすべての動作は、ＨＭＤ  ６００内に存在する一つ以上のプロセッサによって追加的または代替的に実施されうる。同様に、ＨＭＤ  ６００によって実施されるものとして本明細書に開示される動作の一部は、追加的または代替的に、コンピュータ機器６２０内に存在する一つ以上のプロセッサによって実施されてもよい。
【００９１】
ビデオサーバー６５０は、患者データベース６４２、撮像機器６４４、およびその他の電子機器６４６およびＨＭＤ  ６００の間で情報、ビデオストリームを受信、保存、および経路指定できる。本明細書で使用される場合、ビデオストリームは、表示装置に表示するために提供されうる任意のタイプの情報（例えば、デジタル写真）、連続した静止画像、所定のフレームレートで提供されるフレームを持つビデオを含みうる。ビデオストリームは、ナビゲーション情報を含んでもよい。撮像機器６４４は、撮像機器からの画像の組み合わせに基づいて、複数次元（例えば、３Ｄ）モデルを生成できる、内視鏡カメラ、磁気共鳴撮像機器、コンピュータ断層走査機器、三次元超音波機器、内視鏡機器、および／またはコンピュータモデリング機器を含みうる。患者データベース６４２は、患者の病歴に関連する情報を取り出すことができるように保存でき、撮像機器６４４を介して実施された以前の処置からの患者画像を保存することができる。その他の機器６４６は、例えば、血行動態信号、呼吸信号、および電気生理学的信号を含む、患者のリアルタイムモニタリングに関連する情報を提供しうる。
【００９２】
コンピュータ機器６２０は、ＨＭＤ  ６００をビデオサーバー６５０に動作可能にインターフェースをとる。コンピュータ機器６２０は、ビデオサーバー６５０から、および／または撮像機器６４４、患者データベース６４２、および／または他の装置６４６から直接的に、複数（Ｎ）のビデオストリームおよび情報（例えば、テキスト記述、音声信号など）を同時受信できるビデオキャプチャカード６２２を含む。コンピュータ機器６２０は、無線エアインターフェース（例えば、３ＧＰＰ  Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ（ＬＴＥ）、ＷＬＡＮ（ＩＥＥＥ  ８０２．１１）、ＷｉＭａｘなど）、ワイヤライン、光ファイバーケーブル、またはそれらの任意の組み合わせを含むがこれに限定されない任意の適切な通信媒体を使用して、無線および／または有線ネットワークインターフェース６２８を介して、ビデオサーバー６５０、ＨＭＤ  ６００、およびシステムのその他の装置と通信しうる。図９の例示的な実施形態では、ビデオキャプチャカード６２２は、四つのＨＤＭＩインターフェースを介して最大四つのビデオストリームを同時に受信する。一部の実施形態では、ＨＭＤ  ６００は、動きセンサー６０４および／またはジェスチャーセンサー６０２に接続されたＨＤＭＩケーブル、ＵＳＢまたはＲＳ  ４２２ケーブル、およびカメラ６１０に接続されたＵＳＢ  ３．０またはＦｉｒｅＷｉｒｅケーブルを介して、コンピュータ機器６２０に通信可能に接続される。ジェスチャーセンサー６０２は、動きセンサー６０４、検出器６１０、またはジェスチャーを検出および処理するための別個のセンサーであってもよい。マイクロホン６１２は、コンピュータ機器６２０に接続されうる。別の方法として、ビデオおよび／またはセンサーのシグナル伝達は、ネットワークインターフェース６２８などの無線エアインターフェースを通してＨＭＤ  ６００およびコンピュータ機器６２０の間で通信されうる。
【００９３】
ＨＭＤ  ６００は、ユーザーが見るために表示画面６０８上のビデオおよびその他の画像を処理および表示する表示モジュール６０６を含む。ビデオキャプチャカード６２２によって受け取られたビデオストリームは、グラフィック処理ユニット（ＧＰＵ）６３８によって処理され、表示ドライバー６１４によって調整され、表示画面６０８上に表示するために表示モジュール６０６に供給される。シンボル発生器６２４は、ビデオサーバー６５０から受信した情報（例えば、患者データベース６４２を介して）に基づいて、ＨＭＤ  ６００に供給されるビデオストリームに図式的な印および／またはテキスト情報を追加してもよい。
【００９４】
表示ドライバー６１４は、コンピュータ機器６２０またはＨＭＤ  ６００内に常駐してもよい。一部の実施形態では、表示ドライバー６１４は、ＧＰＵ  ６３８からＨＤＭＩインターフェースを介してビデオを受信し、デジタル映像信号を低電圧差動信号伝送方式（ＬＶＤＳ）として出力されるアナログ映像信号に変換して、表示モジュール６０６を表示する。表示ドライバー６１４はまた、ＬＥＤドライブ信号を介して電力および／または他のシグナル伝達を表示モジュール６０６に提供することができる。
【００９５】
ＨＭＤ  ６００は、ビデオおよび／またはその他の画像を、図９ではＨＤＭＩケーブルとして図示した無線および／または有線ネットワークインターフェース６２８を介して、処理およびリレーのためにＧＰＵ  ６３８に、保存のためにビデオサーバー６５０に、また可能性としてさらなるリレーを処置を補助する他の人員によって着用されるその他のＨＭＤＳ  ６００に出力する、着用者とは反対向きの検出器（例えば、光学カメラ）６１０、または複数の検出器６１０を含むことができる。例えば、検出器６１０は、着用者が表示画面６０８を調節して着用者が快適に見られるよう調整した時に、着用者の視線と整列するように構成されうる。特定の実施形態では、検出器６１０からの映像信号は、コンピュータ機器６２０を通して処理でき、処置中に着用者が何を見ているかを記録するためにビデオサーバー６５０に供給でき、および／または人員がどのように見ているかを観察できるように、処置を補助する人員によって着用された他のＨＭＤＳ  ６００にリアルタイムのビデオストリームとして供給できる。検出器６１０からの映像信号は、例えば、（別の着用者によって着用されるＨＭＤの）表示画面に表示される拡張グラフィックが、映像信号および一つ以上のシンボルの両方を含むように、シンボル発生器６２４によって一つ以上の指定シンボルを用いて増大されうる。一つ以上のシンボルを含む拡張グラフィックは、例えば、ビデオストリームの供給源として第一の着用者を識別してもよく、および／または患者の解剖学的構造などの観察された特徴を特定するために、着用者によってビデオストリームに追加されてもよい。
【００９６】
ＨＭＤ  ６００は、動きセンサー６０４および／またはジェスチャーセンサー６０２を含みうる。動きセンサー６０４は、ＨＭＤ  ６００の着用中のユーザーの頭の動きの測定値を示す頭部の動き信号を出力する、慣性動作ユニット（ＩＭＵ）、ジャイロスコープ、加速度計（例えば、多軸加速度計）、および／または傾斜センサーでもよい。動きセンサー６０４は、コンピュータ機器６２０によって電力供給されてもよく、またＲＳ−４２２シリアルデジタルインターフェースなどの通信インターフェースを介して頭部の動き信号を出力してもよい。例えば、動きセンサー６０４は、ヨー運動（すなわち、ユーザーの頭部の左または右への回転）、および／またはピッチ運動（すなわち、ユーザーの頭部の上または下への回転）を示す頭部の動き信号を出力してもよい。
【００９７】
動きセンサー６０４は、ソースをもたない配向センサーであってもよい。動きセンサーによる頭部の動き信号出力は、ＨＭＤ  ６００によって、および／またはコンピュータ機器６２０によって処理され、動きセンサー６０４によって導入されたドリフトエラーを補正しうる。一部の実施形態では、頭部の動き信号の一方向の基準構成要素（例えば、ヨー）は、頭部の動き信号の別の基準構成要素（例えば、ピッチ）に応答して、定義された値の閾値オフセット内とあるようにゼロに向けて補正される。例えば、頭部の動き信号におけるヨードリフトエラーは、ユーザーの目をオブジェクトと整列するために（例えば、外科医が患者の手術部位を反復的に見る時）、ユーザーが所定のピッチで見下げている間（例えば、ピッチは定義された値の閾値範囲内である）に、動き信号のヨー値をモニタリングすることに基づいて決定できる。一部の実施形態では、外科医が少なくとも閾値時間（この時間は外科医が視覚的に手術部位に集中していることを示す）だけ見下げていることを示す、頭部の動き信号のピッチ成分に応答して、コンピュータ機器６２０は、ＨＭＤ  ６００がヨー軸および計算値に沿って安定化されると仮定し、定義された時間にわたるヨー成分の測定された変化に基づき、ヨードリフトエラーを計算する。次に、頭部の動き信号が補正され、決定されたヨードリフトエラーが除去される。一部の実施形態では、コンピュータ機器６２０は、外科医の頭部がヨー軸に沿って安定化されていると仮定して、表示画面に静止画像が表示されている間、頭部の動き信号のヨー成分のドリフトを測定した後、外科医の頭部の動き信号を補正して、測定されたドリフトをヨー成分で除去する。
【００９８】
頭部の動き信号は、ＨＭＤ  ６００によって、および／またはコンピュータ機器６２０によって処理されて、動きが参照される一つ以上の方向基準成分の起源を識別しうる。例えば、ヨーが測定される起源位置は、ユーザーの目をオブジェクトと整列するために（例えば、外科医が患者の手術部位を反復的に見る）、ユーザーが所定のピッチで見下げている間の頭部の動き信号のヨー成分の平均（例えば、中央値、またはモード）に基づいて特定されうる。
【００９９】
ドリフトエラーの補正をトリガーするように定義されている、および／または運動測定の基準点として定義されている、頭部の動き信号の方向基準（例えば、ピッチまたはヨー）は、閾値時間（例えば、ドゥエル時間）にわたりＨＭＤ  ６００が実質的に一定の配向を維持することに基づいて識別されうる。例えば、外科医が、閾値時間の間に患者の手術部位を見るときに、比較的一定の頭位置が維持されている時、ドゥエル時間中の頭部の動き信号の方向基準（例えば、ピッチまたはヨー）は、仮想表示パネル（例えば、図８に図示）および／またはその他の拡張グラフィック（例えば、患者の解剖学的構造など、物理的なオブジェクトに重ね合わせて表示されるもの）を表示するための基準原点として設定するための基礎として使用されうる。一部の実施形態では、頭部の動き信号は、外科医が、毎回同じ手術部位を見下ろして、患者上の同じ場所で頭部を視線の中心に固定させている時にほぼセロであることが期待される頭部の動き信号により供給される、ヨーおよび／またはピッチの疑似測定値に基づき、時間経過に伴い蓄積されるヨードリフトおよび／またはピッチドリフトを発生させるジャイロスコープバイアスを予測するために、ＨＭＤ  ６００および／またはコンピュータ機器６２０によって処理されうる。
【０１００】
ジェスチャーセンサー６０２は、ユーザーによって行われるジェスチャーを感知できる任意のタイプのセンサーを含みうる。外科手術環境では、外科医またはその他の手術室要員からジェスチャーによる指令を受けるためのジェスチャーセンサー６０２の使用は、ユーザーがＨＭＤ  ６００またはその他の装置の非滅菌表面に触れる必要性を回避するという理由で有利でありうる。ジェスチャーセンサー６０２は、ユーザーの手、指、腕、または、動作外科手術プログラム（ＯＳＰ）６３２および／または別の構成要素によって識別可能なコマンドを定義することをユーザーが知っている経路に沿ってユーザーが移動するその他のオブジェクトを表示する信号（例えば、ＲＧＢ−Ｄビデオ）を出力する検出器６１０であってもいか、またはそれを含んでもよい。検出器６１０または別のカメラは、ユーザーからのコマンドを発生させて表示画面６０８上に何が表示されるかを制御するために、ユーザーの目のドゥエル時間、瞬き時間、および／または目の運動を識別するために、ユーザーのどちらか一方の目の方向に方向付けられてもよい。
【０１０１】
ジェスチャーセンサー６０２は代替的または追加的に、一つ以上の光電動作および／または近接センサーを含みうる。一部の実施形態では、ジェスチャーセンサー６０２は、一つ以上の赤外線エミッターと、一つ以上のフォトダイオード（例えば、その少なくとも一部分はナビゲーションのための検出器として追加的に機能しうる）のうちの一つ以上を有する。例えば、隣接する赤外線エミッターおよびフォトダイオードの対は、アレイに隣接したユーザーの手の存在を感知するため、および／またはユーザーの手がアレイを横切って移動するときの運動の方向を検知するように、ＨＭＤ  ６００のハウジングから外側を向いた方向性のアレイを形成するように、間隙を介して配置される。ユーザーは、例えば、アレイを横切って第一の方向に手をスワイプし（ハウジングに触れることなく）、プロセッサ６２６によってＯＳＰ  ６３２プロセスによって認識される第一のタイプのジェスチャーを入力する（これによりＯＳＰ  ６３２による第一のタイプの演算が発生）、アレイを横切って第一の方向とほぼ反対の第二の方向に手をスワイプし、ＯＳＰ  ６３２によって認識される第二のタイプのジェスチャーを入力する（これによりＯＳＰ  ６３２による第二のタイプの演算が発生）、アレイを横切って第一の方向とほぼ直角に第三の方向に手をスワイプし、ＯＳＰ  ６３２によって認識される第三のタイプのジェスチャーを入力する（これによりＯＳＰ  ６３２による第三のタイプの演算が発生）、以降、ＯＳＰ  ６３２による別のタイプの演算を発生させるためにユーザーによって提供される他のタイプのジェスチャーとして識別可能な他の移動方向で、同様な操作をしうる。
【０１０２】
一部の実施形態では、ジェスチャーセンサー６０２は、ユーザーの手から信号エコー反射を感知し、手の動きによって形成されるジェスチャーを識別するプロセッサ６２６に信号を出力する超音波エコー測距トランスデューサを含む。一部の実施形態では、ジェスチャーセンサー６０２は、電荷プレートとユーザーの手の間の静電結合を通してユーザーの手の存在を感知する静電容量センサーを含む。複数の容量センサーは、ジェスチャーセンサー６０２を形成するように間隙を介して、電荷プレートの配列に対するユーザーの手の移動の方向を検出するように構成されてもよい（例えば、プレートがユーザーの手への結合の増大を経験する順序を感知する）。動作のためにユーザーによって選択された異なるコマンドを表現するため、感知された異なる移動方向は、ＯＳＰ  ６３２および／またはシステムの別の構成要素によって解釈されうる。
【０１０３】
ＨＭＤ  ６００は、ユーザーからの音声コマンドを受信するように構成されたマイクロホン６１２を含みうる。ＯＳＰ  ６３２および／またはシステムの別の構成要素を実行するプロセッサ６２６は、複数の定義された音声コマンドのうちの一つに対応する受信した音声コマンドを認識し、認識された音声コマンドに対応するコマンドのトリガー動作を引き起こし、表示画面（すなわち、拡張グラフィックを介して）に表示される情報（例えば、ナビゲーション情報）を制御するように構成されうる。
【０１０４】
一部の実施形態では、検出器６１０からの映像信号は、ＨＭＤ  ６００の表示装置６０８上に表示され、プロセッサ６２６によって処理されるシンボル発生器６２４はＯＳＰ  ６３２との組み合わせで、外科医によってビデオストリームの平面内に配置されうる軌道選択ガイダンス拡張グラフィック（例えば、十字線などのレチクル）を表示しうる（例えば、マイクロホン６１２を介した音声コマンドまたはジェスチャーセンサー６０２を介してジェスチャーの認識に応答して）。このようにして、外科医は、自然な視野を手術部位に向けることができ、対象となる軌道選択ガイダンス拡張グラフィック（例えば、患者の解剖学的構造における）を操縦し、軌道選択ガイダンス拡張グラフィックによって示される対象の位置および／または配向（例えば、軌道）を表すデータのキャプチャをトリガーする。例えば、患者の解剖学的構造に登録された拡張現実ナビゲーションシステムを使用することで、軌道の計画は、軌道選択ガイダンス拡張グラフィックの配向および／または位置付け（例えば、外科医の頭部の移動または拡張グラフィックの移動による）によって、および軌道選択ガイダンス拡張グラフィックによって示される位置および／または配向を捕捉するユーザー入力を提供することによってなされうる。軌道選択ガイダンス拡張グラフィックは、表示画面上の所定位置に固定されてもよく、または移動可能であってもよい。一部の実施形態では、このような対象のポイントを決定するためにポインタツールが使用される。
【０１０５】
図１０は、患者の解剖学的構造、手術用器具８００および／または外科手術装置（例えば、外科手術手順の一部として使用されるインプラント、またはその他のオブジェクト）の位置を追跡する、位置追跡システム８１０（例えば、頭部装着型ディスプレイに取り付けられた一つ以上の検出器および、随意に、手術室内にある間隔を置いたカメラ）を含む、拡張現実外科手術システムの構成要素のブロック図である。一般に、（例えば、頭部装着型ディスプレイ上に取り付けられた）検出器によって識別できる現実世界の特徴を含む任意のオブジェクトは、本明細書に開示された実施形態による拡張現実ナビゲーションシステムを用いて追跡およびナビゲーションでの使用ができる。特定の実施形態では、コンピュータサブシステム８２０は、撮像機器８３０から患者データを使用して２次元（２Ｄ）または３次元（３Ｄ）モデルを生成する。撮像機器８３０には、Ｘ線装置、内視鏡カメラ、磁気共鳴撮像機器、コンピュータ断層走査機器、三次元超音波機器、内視鏡機器、および／または患者の標的部位の多次元（例えば、２Ｄまたは３Ｄ）モデルを生成できるコンピュータモデリング機器が含まれうるが、これらに限定されない。患者データは、撮像機器８３０からのリアルタイムフィードおよび／または保存されたデータを含むことができ、また特定の患者に特有の解剖学的データベース、またはヒトについての一般的な解剖学的データベースを含みうる。
【０１０６】
モデルは、患者モデルの現実世界の特徴の表現の仮想的位置と、現実世界の特徴の物理的位置（例えば、患者の身体上）との間の相関付け（例えば、登録）の実施を支援する、現実世界の特徴の表現を含みうる。コンピュータサブシステム８２０は、（ｉ）一つ以上の現実世界の特徴を検出することによって位置追跡システム８１０により得られたＨＭＤ  １００、手術部位８０４、手術用器具８００、および／または手術用器具８０２の現在位置と、（ｉｉ）患者モデルに含まれる現実世界の特徴表現とを使用して、患者モデルをＨＭＤ  １００の着用者の現在の透視図に変換することができる。次に、変換された患者モデルの一部またはすべてを、拡張グラフィックを使用してＨＭＤ  １００の表示画面上に表示し、例えば、外科医に対して、手術部位８０４または患者のその他の標的位置の上に、拡張グラフィカルオーバーレイを正確な配向および尺度で提供できる。
【０１０７】
コンピュータサブシステム８２０は、ＨＭＤ  １００の表示画面１１０上の患者モデル、手術用器具および／または外科手術装置を表現する拡張グラフィックとしうる。拡張グラフィックは、外科手術の少なくとも一部分の間、そうでなければ外科医が見ることができない手術用器具および／または外科手術装置の部分（例えば、患者の皮膚などの患者の解剖学的構造によって覆われる）でもよい。コンピュータサブシステム８２０は追加的に、表示された患者モード、ツールおよび／または外科手術装置の動きをアニメ化する（例えば、手術部位８０４の定義された位置または患者の体のその他の標的位置に対して計画された手順を描く）ように構成されうる。ＨＭＤ  １００は、無線トランシーバおよび／または有線ネットワークインターフェースを介して、コンピュータサブシステム８２０に通信可能に接続されうる。
【０１０８】
コンピュータサブシステム８２０は、ＨＭＤ  １００上の検出器（例えば、カメラ）からの検出器入力信号（例えば、ビデオストリーム）内のオブジェクトのパターンを、患者モデルの現実世界の特徴のパターンと比較して、対応レベルを識別しうると共に、比較対象物間の対応閾値レベルの識別に応答して患者モデルの変換を制御しうる。例えば、患者の手術中にＨＭＤ取り付けカメラによって取り込まれたリアルタイム動画は、コンピュータサブシステム８２０によって処理され、例えば、撮像機器８３０の補助検出器などの一つ以上の他のソースによって取り込まれた動画と比較されうる。パターンマッチングは、本手順に関連する外科医によって定義されるオブジェクトまたは一組のオブジェクトの性質に拘束されうる。
【０１０９】
コンピュータサブシステム８２０は、パターンマッチングに基づき（例えば、補助撮像機器からの検出器入力信号と比較して、または比較することなく）、拡張グラフィックを使用して、表示画面１１０に表示するための患者モデルの変換を制御できる。コンピュータサブシステム８２０は、患者上の対応する位置を識別するにあたり外科医を補助するために、ＨＭＤカメラからの映像内で識別されたオブジェクトと整列させた印（例えば、十字線または色マーカー）を表示画面１１０上に表示しうる。一実施形態では、コンピュータサブシステム８２０は、解剖学的オブジェクトの一つのパターンと、ビデオカメラからの動画ストリームの一つのパターンとの間の対応閾値レベルの識別に応答して、回転し拡大縮小された３次元解剖学的モデルからの、表示画面１１０上に表示された解剖学的オブジェクトの一つと整列して、図式的な印を表示画面１１０上に表示する。
【０１１０】
コンピュータサブシステム８２０は、患者データベースおよび他の電子機器から他のデータおよびビデオストリームを同様に受信することができ、これは拡張グラフィックを使用してＨＭＤ  １００の一つ以上の表示画面上に選択的に表示されうる。本明細書で使用される場合、ビデオストリームは、表示用の表示装置に提供されうる任意のタイプの情報（例えば、デジタル写真）、静止画像の配列、画定されたフレームレートに提供されるフレームを持つビデオを含みうる。コンピュータサブシステム８２０は、例えば、血行動態、呼吸器、および電気生理学的信号を含む、患者の病歴および患者のリアルタイムモニタリングによって得られたデータに関連する患者の健康情報を取得できる。こうした情報は、拡張グラフィックを使用して表示画面上に表示することができ、さらに仮想表示画面上に表示することができ、または外科手術環境内のオブジェクト（例えば、患者の解剖学的構造または外科手術機器）上に重ね合わせることができる。
【０１１１】
特定の実施形態では、コンピュータサブシステム８２０は、接続されたＨＭＤ  １００から物理的に分離（例えば、遠隔）される。一部の実施形態では、コンピュータサブシステム８２０によって実行されるものとして本明細書で開示される動作の一部またはすべては、ＨＭＤ  １００内に存在する一つ以上のプロセッサによって追加的または代替的に実施される。一部の実施形態では、ＨＭＤ  １００によって実行されるものとして本明細書で開示される動作の一部またはすべては、コンピュータサブシステム８２０内に存在する一つ以上のプロセッサによって追加的または代替的に実施される。
【０１１２】
図１１は、本開示の一部実施形態による、拡張現実外科手術システムの電子構成要素のブロック図である。図１１を参照すると、ナビゲーションシステム８１０は、例えば、手術台９０４を識別する、および／またはそれに取り付けられた現実世界の特徴、患者９０６を識別する、および／またはそれに取り付けられた現実世界の特徴（例えば、外科手術またはその他の標的部位に隣接して）、手術用器具および／または外科手術装置（例えば、インプラント）および／またはロボット外科手術システム９０８を識別する、および／またはそれに取り付けられた現実世界の特徴、随意に、ＨＭＤ  ９１０に取り付けられた実際の現実世界の特徴、のうちの少なくとも一つを追跡する少なくとも一つの検出器９０２を含みうる。一部の実施形態では、ナビゲーション（例えば、追跡）に使用される検出器は、ＨＭＤ専用に取り付けられる（すなわち、補助検出器は使用されない）。これらの実施形態では、ロボット外科手術システムおよび患者、また随意に患者モデルが登録されている体積は、少なくとも一時的にＨＭＤに取り付けられた検出器の視野内にある体積によって画定される。一部の実施形態では、ＨＭＤに取り付けられていない補助検出器が、ナビゲーションに使用される。例えば、一部の実施形態では、少なくとも一つの検出器９０２は、手術室内の定義された位置で間隙を介している複数のカメラを含み、それぞれが追跡されるオブジェクトを観察できる視野を持つ。図示した例では、カメラシステム９０２は、既知の距離および相対的な配向によって間隙を介した二組のカメラを含む。ナビゲーションシステム８１０は、例えば、限定されないが、能動的な光学的現実世界の特徴（例えば、光放射源）または受動的な光学的現実世界の特徴（例えば、光反射器）を使用しうる。ナビゲーションシステム８１０は、追加的または代替的に、電磁場または放射線に基づくナビゲーショントラッキング、超音波に基づくナビゲーショントラッキング、またはこれらに類するもの（例えば、頭部装着型ディスプレイおよび／または補助検出器のタイプに従属する検出器のタイプ）に応じて使用しうる。
【０１１３】
一部の実施形態では、ＨＭＤ  １００の位置決めデータは、ＨＭＤ  ９１０に取り付けられた現実世界の特徴の位置から決定されたナビゲーション座標系データ、および／またはＨＭＤに取り付けられた動きセンサーからの慣性座標系データを含みうる。一部の実施形態では、ナビゲーション座標系データおよび慣性座標系データは、較正モジュール９１２によって初期較正および時間経過に伴うドリフト補正について補正され、融合モジュール９１４によって組み合わされて組み合わされたＨＭＤ位置データを出力することができる。較正構成要素および融合構成要素は、コンピュータサブシステムのモジュールであってもよい。
【０１１４】
相対位置決めモジュール９１６は、追跡された現実世界の特徴９０４〜９１０のそれぞれについての相対位置および角度方向、および組み合わされたＨＭＤ位置データを識別する。相対位置決め構成要素は、コンピュータサブシステムの構成要素であってもよい。モジュール９１６は、例えば、手術台、患者、手術用器具（および／またはポインタツール）、およびＨＭＤ  １００の相対座標系を、統一（共通）座標系へ座標変換しうる。一部の実施形態では、相対位置決めモジュール９１６は、目視座標データ、患者モデル座標データ、およびツール座標データを、拡張グラフィック生成モジュール９１８および／またはロボット外科手術システムに出力する。拡張グラフィック生成モジュール９１８は、拡張現実ナビゲーションシステムのコンピュータサブシステムの一部であってもよい。目視座標データは、統一座標系に変換済みの組み合わせられたＨＭＤ位置データに基づいて生成されうる。一部の実施形態では、ＨＭＤの空間位置（例えば、ＨＭＤに取り付けられた検出器の位置など、ＨＭＤ上の位置）が、統一座標系の原点となり、さまざまな現実世界の特徴から決定される追加的な空間座標は、その位置を原点として使用して統一座標系を使用してＨＭＤに登録される。したがって、一部の実施形態では、外科手術手順全体を通してＨＭＤの移動を考慮する登録が更新され［例えば、連続的に（例えば、特定のリフレッシュレートで）］、それにより、外科手術環境の物理的空間における統合座標系の原点の位置が変更される。ＨＭＤの移動は、動きセンサーによって決定されてもよく、または固定位置の現実世界の特徴（例えば、手術台によって識別されるかまたは手術台に取り付けられた現実世界の特徴）の変化であってもよい。患者モデル座標データは、患者９０６から識別された、または患者９０６に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。ツール座標データは、手術用器具９０８から識別された、または手術用器具９０８に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。ツール座標データは、手術用器具９０８から識別された、または手術用器具９０８に取り付けられた現実世界の特徴の位置および／または配向（統一座標系に変換されたもの）に基づいて生成されうる。一部の実施形態では、ロボット外科手術システムデータおよびツール座標データは等価である（すなわち、例えば、手術用器具がロボット外科手術システムに取り付けられている時に、一つの座標系が手術用器具とロボット外科手術システムのために同時に使用される）。
【０１１５】
特定の実施形態では、拡張グラフィック生成モジュール９１８は、患者モデル（例えば、医療画像データに由来する）を、ＨＭＤ  １００の着用者の現在の透視図に変換（例えば、拡大縮小、回転、並進）する（例えば、表示画面１１０のＦＯＶ内の対応するオブジェクトにマップされる）。同様に、一部の実施形態では、例えば、ロボット外科手術システム、手術用器具、外科手術装置、または同一の軌道のモデルは、拡張グラフィック生成モジュールによって変換されてもよい。一部の実施形態では、グラフィック拡張発生モジュール９１８は、変換された患者モデルに基づいて生成された動画を、手術部位８０４またはその他の場所でのグラフィカルオーバーレイとして、着用者が現在見ており、かつ患者モデルによってモデル化された対応するオブジェクトを含む、患者の対応する位置に、動的に配向および拡大縮小がなされる仮想モデルとして、ＨＭＤ  １００の表示画面に提供しうる。
【０１１６】
例えば、一部の実施形態では、拡張グラフィック生成モジュール９１８は、変換した患者モデルの任意の部分に対応する表示画面１１０を通して外科医が（例えば、同じＨＭＤに取り付けられた検出器を使用して）見ている視野内に、患者の体の任意の部分が現在あるかどうかを決定する。一部の実施形態では、変換（例えば、拡大縮小、並進、回転）した患者モデルの一部が、外科医の視野内にある患者の体の一部に対応する時、画像生成装置９１８は、変換した患者モデルの対応する部分に基づき、表示画面１１０に表示される拡張グラフィックを生成し、一方で変形した患者モデルの部分を並進および／または回転し、変換した患者モデルの部分のサイズを拡大縮小して、例えば、患者から撮像したオブジェクト、または解剖学的データベースなどの別のソースからモデル化されたオブジェクトについての正確に拡大縮小されたグラフィカル表現を提供する。
【０１１７】
よって、例えば、一部の実施形態では、ＣＴ画像データによってモデル化された患者の骨を有する身体部分が表示画面１１０の視野内（例えば、表示画面１１０と同じＨＭＤに取り付けられた検出器の視野内）になるように外科医が頭部を回転させたとき、拡張グラフィック生成モジュール９１８は、患者の骨モデルを変換して、あたかも外科医が組織および／または器官の介在レイヤーを通して骨を見ることができるかのように、外科医の視点から骨の配向およびサイズと一致するグラフィカルオーバーレイとして表示画面１１０に表示される、骨の拡張グラフィカル表現を生成する。同様に、一部の実施形態では、手術用器具の少なくとも一部、外科手術装置の少なくとも一部、および／またはロボット外科手術システムの少なくとも一部分（例えば、患者の解剖学的構造によって覆われる）は、一部の実施形態では、拡張グラフィックを使用する外科医に対する物理的オブジェクトの配向およびサイズと一致するものとして表現されうる。
【０１１８】
ブロック９２０の例示的な例では、例えば、脚のＣＴスキャンに基づいて生成された脚骨モデルは、脚の皮膚表面上に重ねられた脚骨９２２の拡張グラフィックを見たときに、脚骨に対して正確な配向およびサイズ（例えば６自由度の位置付け）を持つように変換され、表示画面１１０上に表示される。この例では、従って外科医は、図示された脚骨モデルの表現が重ねて表示された、ＨＭＤ  １００の半透明の表示画面１１０を通して脚の皮膚表面を見る。
【０１１９】
図１１では、脚骨９２２の拡張グラフィックは、脚の皮膚表面に重ね合わせた位置に表示されるものとして図示されているが、拡張グラフィック９２２は、外科医によって制御可能な他の場所に表示されてもよい。外科医は、例えば、グラフィカル表現９２２が、脚の上方または下方の画定されたオフセット距離に表示されるように選択しうる。さらに、外科医は、表示された拡張グラフィック９２２の脚に対するサイズを制御しうる。外科医は、例えば、特定の詳細を見るために拡張グラフィック９２２を一時的に拡大した後、拡張グラフィック９２２を脚に合わせた大きさで整列した状態に戻してもよい。さらに、拡張グラフィック９２２は、手術部位の近くに浮かんで表示される仮想表示画面上に表示されて見えるように修正しうる。拡張グラフィック９２２はまた、手術用器具の一部分、外科手術装置の少なくとも一部分、ロボット外科手術システムの少なくとも一部分、および／またはそれらの任意の軌道を、患者の脚の上に重ねて、または仮想表示画面内のどちらに表示するかについても変更されうる。
【０１２０】
［外科手術における拡張現実ナビゲーションシステムの使用］
本明細書に開示される実施形態による拡張現実ナビゲーションシステムは、処置の間のナビゲーションを提供および／または支援するために、外科手術を実施する方法において使用されうる。そのため、特定の実施形態において、ナビゲーション入力データは、ロボット外科手術システムに供給されるか、ロボット外科手術システムから取得されるか、またはその両方ができる。一般的に、本明細書に開示される方法では、頭部装着型ディスプレイに装着された（例えば、取り付けられた）少なくとも一つの検出器は、少なくとも一つの検出器によって検出された現実世界の特徴に基づくナビゲーションに使用される座標系を決定するために使用される。一部の実施形態では、拡張現実ナビゲーションシステムは、そうでなければ外科医の自然な視野から見えない、手術用器具、外科手術装置、および／またはロボット外科手術システムの一部を示す拡張グラフィックを表示する。手術用器具は、ロボット外科手術システム（例えば、それに取り付けられたツールガイドを介して）に取り付けられるか、またはその中へと挿入されうる。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムからナビゲーション入力データ（例えば、ロボット外科手術システムの位置および／または配向、その上に保存されたか、それによって生成されたモデル、および／またはロボット外科手術システムによって追跡可能な一つ以上の軌道を含む）を受信する。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムが追跡可能な軌道を画定するために、ポインタツールと併せて使用される。ポインタツールは、ロボット外科手術システムに取り付けてもよく、それに挿入されてもよい。一部の実施形態では、拡張現実ナビゲーションシステムは、ロボット外科手術システムが追跡可能な軌道の決定にグラフィックを使用するために、軌道選択ガイダンスの拡張グラフィックを表示するように構成される。
【０１２１】
本明細書に開示される方法およびシステムは、ロボット外科手術システムと併用して、特定のロボット外科手術システムを使用した外科手術を実施できる。特定の実施形態では、特定の外科手術手順の部分またはすべては、ロボット外科手術システムを使用することなく実施される。例えば、外科医によって「フリーハンド」式で操作されうる一つ以上の手術用器具は、外科医によって保持されてもよく、あるいはロボット外科手術システムに接続されていない装置によって保持されてもよい。こうしたフリーハンド操作は、ロボット外科手術システムによって（例えば、自動的に）実施されるか、またはロボット外科手術システムの支援を受けて実施される任意の行為と同時に、前に、後に、またはその代わりに発生しうる。こうした場合において、本開示の一つ以上の実施形態による拡張現実ナビゲーションシステムは、任意の手術用器具またはインプラントのフリーハンド操作に関連するナビゲーション情報を表示でき、これには、こうしたインプラントまたは手術用器具の追跡および軌道計画（例えば、追加的および／または補助的なナビゲーションサブシステムを使用して、または使用せずに）などがある。当業者であれば、下記の例示的な方法において、ロボット外科手術システムに取り付けられているか、またはロボット外科手術システムに挿入されている手術用器具に対する言及がなされる場合、説明されている特定の例示的な方法で使用されている拡張現実ナビゲーションシステムでは、外科医によって保持されるツールについても、同様の機能を同様に実施することができるようにすることが可能であることが理解される。
【０１２２】
ここで図１２に示すブロックフロー図を参照すると、例示的方法１２００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１２００は、拡張現実ナビゲーションシステムが手術用器具（例えば、ロボット外科手術システムに取り付けられるか、またはロボット外科手術システムに挿入される）および／またはその軌道を表現する拡張グラフィックを表示するために使用される方法である。このような例示的方法は、例えば、ロボット外科手術システムに直接的または間接的に取り付けられた外科手術装置（例えば、インプラント）の少なくとも一部を表す拡張グラフィックを表示するようにも適応されうることが理解される。例えば、ねじなどのインプラントは、ロボット外科手術システムに取り付けられるドリルビットに取り付けられうる。装置は、一つ以上の現実世界の特徴（例えば、それに取り付けられたフィデューシャル）を含んでもよい。例示的方法１２００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
【０１２３】
ステップ１２０２では、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器が、拡張現実ナビゲーションシステムのコンピュータサブシステムによって受信される検出器入力信号を生成する。検出器入力信号は、患者の解剖学的構造（例えば、実施される外科手術に関連する）の少なくとも一部分を含む一つ以上の検出器の視野を表す（例えば、実施される外科手術に関連する）。ステップ１２０４では、検出器入力信号内の一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表される視野内での）が決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１２０６では、手術用器具のロボット外科手術システムおよび／または軌道（例えば、実際の軌道または計画軌道）に接続および／または挿入された手術用器具の少なくとも一部分の表現が生成される、および／またはそれへのアクセスがなされる。手術用器具の少なくとも一部分は、拡張現実ナビゲーションシステムを使用している外科医の自然な視野から隠されてもよい。ステップ１２０８では、表現は、ステップ１２０４で決定された一つ以上の現実世界の特徴の相対位置および／または配向によって修正（例えば、拡大縮小、並進、および／または回転）される。ステップ１２１０では、表現に対応する拡張グラフィックがレンダリングされ、拡張現実ナビゲーションシステムの頭部装着型ディスプレイの表示画面上に表示される。随意に、拡張グラフィックが、手術用器具（例えば、手術用器具全体）のより大きな部分の表現を表示して、一部のツールが非表示で、一部のツールは非表示にならないように、外科医の自然な視野から非表示ではない手術用器具の少なくとも一部分も表示されてもよい。こうした方法は、外科手術装置（例えば、インプラント）にも使用されうる。同様に、手術用器具拡張グラフィックは、物理的に存在しない（例えば、ロボット外科手術システムにまだ挿入されていない）手術用器具（またはその一部分）を示すためにも使用できる。さらに、一部の実施形態では、外科医が処置の少なくとも一部分の間に、器具が軌道に沿ってどのように移動するかを見ることができるように、手術用器具および／またはその軌道の位置を、拡張グラフィックを使用して一定期間にわたり視覚化することができる。
【０１２４】
表現の生成および／またはアクセスのステップは、対象の手術用器具に対応する一つ以上の現実世界の特徴の相対位置および／または配向を決定することを含みうる。例えば、手術用器具はそれに貼り付けられたフィデューシャルを有してもよい。表現は、コンピュータサブシステムにインポートまたはアクセスする手術用器具の保存されたモデル（例えば、ＣＡＤモデルまたはイラスト）であってもよい（例えば、ナビゲーション情報としてロボット外科手術システムによってコンピュータサブシステムに提供される）。同様に、一部の実施形態では、一つ以上の軌道をより良好に視覚化して、その結果ロボット外科手術システムをより適切にナビゲートするために、外科医が手術中に一つ以上の計画軌道を見ることができるように、そうでなければ視覚化が困難な手術用器具（患者の解剖学的構造からの干渉による）が、手術用器具拡張グラフィックとして頭部装着型ディスプレイの表示画面に表示されうる。手術用器具の軌道は、ロボット外科手術システムによってコンピュータサブシステムに提供されうる。例えば、外科医は、ロボット外科手術システムを望ましい位置および配向に移動させ、後に生成および／またはアクセスステップ１２０４で拡張現実ナビゲーションシステムに提供されることになる対応する軌道の表現を保存しうる。例示的方法１２００の表示画面上に表示される手術用器具および／または軌道の少なくとも一部分の表現は、外科医からの入力、例えば、上記で説明したジェスチャー、動きまたは信号入力を使用して選択されうる。
【０１２５】
例示的方法１２００は、オプションの１２１２ステップおよび１２１４ステップを含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１２１２では、ステップ１２１０で表示された手術用器具拡張グラフィックによって表現される軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具（例えば、ステップ１２０６で生成および／またはアクセスされる表現に対応する手術用器具）の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１２１４では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
【０１２６】
ここで図１３に示すブロックフロー図を参照すると、例示的方法１３００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１３００は、拡張現実ナビゲーションシステムが、外科手術手順に対応する一つ以上の軌道の計画および／または更新を支援する、軌道選択ガイダンス拡張グラフィック（例えば、十字線）を使用する方法である。例示的方法１３００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
【０１２７】
ステップ１３０２では、軌道選択拡張グラフィック（例えば、十字形）が、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道選択ガイダンス拡張グラフィックは、表示画面上の所定位置に固定されて表示しうる（例えば、関連付けられた頭部装着型ディスプレイの動きによって、拡張グラフィックが外科医の視野内で位置を移動しないように）。一部の実施形態では、軌道選択ガイダンス拡張グラフィックは、外科医によって配置可能（例えば、手術前、および／または手術中に）である。例えば、外科医は、拡張グラフィックが特定の場所（例えば、表示画面の中央または角）に表示されることを好むことがあり、それに応じて選択入力を使用して位置付けることができる。ステップ１３０４では、検出器入力信号が拡張現実ナビゲーションシステムの頭部装着型ディスプレイに接続された一つ以上の検出器の視野に対応する場合に、検出器入力信号の受信がなされ、ここで視野は患者の解剖学的構造の少なくとも一部分を含む。
【０１２８】
ステップ１３０６では、一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表現される視野内で）は、頭部装着型ディスプレイに接続された一つ以上の検出器からの検出器入力信号に基づいて決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１３０８では、軌道選択ガイダンス拡張グラフィックによって示される物理的位置および／または配向が決定される。例えば、外科医は、軌道選択ガイダンス拡張グラフィックが、好適な配向に沿って患者の位置が示されるように、頭部装着型ディスプレイの配置および配向をしうる（例えば、その位置が表示画面上の十字線内にあるように）。物理的位置および／または配向は、ステップ１３０８で決定された相対位置および／または配向を使用して決定される。例えば、軌道によって示される物理的位置および／または配向の座標は、登録手順中に定義された統一座標系を使用して決定されうる。ステップ１３１０では、ユーザー入力信号はコンピュータサブシステムによって受信され、ここでユーザー入力信号は、拡張現実ナビゲーションシステムを使用中の外科医による行為（例えば、ジェスチャー）によって生成され、その行為は、軌道選択ガイダンスの拡張グラフィックが望ましい位置および／または配向にある時になされる。例えば、本明細書で上記に説明した任意のユーザー入力機構を使用しうる。
【０１２９】
ステップ１３１２では、軌道がステップ１３０８で決定された物理的位置および／または配向に基づいて決定される。したがって、一部の実施形態では、ステップ１３０８は、ステップ１３１０に応答してのみ実施される。また、したがって、一部の実施形態では、ステップ１３０８は、［例えば、一定の頻度（例えば、毎秒約１回以上）］の期間にわたって連続的に実施され、またユーザー入力信号が受信されたときに決定される最新の物理的位置および／または配向に基づいて、軌道が決定される。ステップ１３１４では、軌道はロボット外科手術システムに出力される（例えば、外科手術手順の実施に使用するため）。オプションのステップ１３１６では、ステップ１３１２で決定された軌道を表す軌道拡張グラフィックが、例えば、上述の実施形態に従って（例示的方法１２００を参照）、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道拡張グラフィックは、表示画面上に表示する前に（例えば、登録および／または統一座標系を使用して）修正されてもよい。
【０１３０】
例示的方法１３００は、オプションのステップ１３１８およびステップ１３２０を含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１３１８では、ステップ１３１２で決定された軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１３２０では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
【０１３１】
患者の解剖学的構造のモデルは、例示的方法１３００の実施中に、軌道の画定にあたり外科医を支援するために、重ね合わされた拡張グラフィックとして表示されうる。複数の望ましい軌道が画定されうる。軌道選択ガイダンス拡張グラフィックは、軌道選択ガイダンス拡張グラフィックが複数の軌道のうち一つと一致して見えるように、頭部装着型ディスプレイで配向することにより、複数の画定された軌道（例えば、手術前および／または手術中に画定された軌道）のうちの一つを選択するためにも使用されうる。以前に画定された軌道も、例示的方法１３００を使用して更新でき、これには所定の軌道をロードおよび／または選択してから、例示的方法１３００に従い、軌道の位置および／または配向を改訂する。
【０１３２】
ここで図１４に示すブロックフロー図を参照すると、例示的方法１４００は、本開示の一部実施形態による、拡張現実ナビゲーションシステムを使用する方法である。例示的方法１４００は、拡張現実ナビゲーションシステムが、外科手術に対応する一つ以上の軌道を計画および／または更新するにあたって支援するポインタツールを検出する方法である。一部の実施形態では、拡張現実ナビゲーションシステムは、ポインタツールを備える。例示的方法１４００の計算ステップは、拡張現実ナビゲーションシステムのコンピュータサブシステムによって実施されてもよい。
【０１３３】
ステップ１４０２では、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器が、拡張現実ナビゲーションシステムのコンピュータサブシステムによって受信される検出器入力信号を生成する。検出器入力信号は、患者の解剖学的構造（例えば、実施される外科手術に関連する）の少なくとも一部分を含む一つ以上の検出器の視野を表す（例えば、実施される外科手術に関連する）。ステップ１４０４では、ポインタツールに対応する検出器入力信号内の一つ以上の現実世界の特徴の相対位置および／または配向（すなわち、検出器入力信号によって表される視野内での）が決定される。相対位置および／または配向は、リアルタイムで決定されてもよく、または拡張現実ナビゲーションシステムおよび外科手術環境の登録（例えば、拡張現実ナビゲーションシステムと、例えば、患者、手術用器具、およびロボット外科手術システムなどの外科手術環境内のオブジェクトとの間の登録）によって得られた統一座標系で表現された絶対位置および／または配向としてもよい。検出器入力信号は、コンピュータサブシステムによって、拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、第二の拡張現実ナビゲーションシステムの頭部装着型ディスプレイに取り付けられた一つ以上の検出器から、および／または外科手術環境全体に配置された一つ以上の補助検出器から受信されうる。ステップ１４０６では、ポインタツールの位置および／または配向は、ステップ１４０４で決定された現実世界の特徴の相対位置および／または配向に基づいて決定される。例えば、ポインタツールの物理的位置および／または配向の座標は、登録手順中に定義された統一座標系を使用して決定されうる。
【０１３４】
オプションのステップ１４０８では、外科医の自然な視野から隠されたポインタツールの一部分の表現に対応する拡張グラフィックは、頭部装着型ディスプレイの表示画面上に表示される。外科医がポインタツールの隠れた部分を正確に視覚化できるように、拡張グラフィックは患者の解剖学的構造上に重ね合わせて表示されうる。患者の解剖学的構造のモデルに対応する拡張グラフィックは、さらなるナビゲーション情報を提供するために、患者の解剖学的構造上に追加的に重ね合わせられてもよい。代替的または追加的に、仮想ディスプレイ内のモデル（例えば、医療画像データ）に対するポインタツールの位置および配向が、ポインタツールと患者の解剖学的構造との間の正しい物理的関係を正確に表現するように、ポインタツール拡張グラフィックは、配向された患者の解剖学的構造モデルに沿って仮想表示画面上に表示されうる。
【０１３５】
ステップ１４１０では、ステップ１４０６で決定されたポインタツールの位置および／または配向に少なくとも部分的に基づいて、軌道が決定および／または更新される。一部の実施形態では、ポインタツールを使用して、後で集合的に軌道（例えば、線形または非線形の軌道）を決定するために使用される空間内の複数の点を選択することができる。軌道は、手順１４１０でコンピュータサブシステムによって受信されたユーザー入力信号に応答して決定されてもよく、ここでユーザー入力信号は、拡張現実ナビゲーションシステムを使用中の外科医による行為（例えば、ジェスチャー）によって生成され、その行為は、ポインタツールが望ましい位置および／または配向にある時になされる。例えば、本明細書で上記に説明した任意のユーザー入力機構を使用しうる。一部の実施形態では、ステップ１４０２〜１４１０は、複数の軌道を画定するために１回以上繰り返される。ステップ１４１２では、軌道（または複数の軌道）はロボット外科手術システムに出力される（例えば、外科手術手順の実施に使用するため）。オプションのステップ１４１４では、ステップ１４１２で決定された軌道を表す軌道拡張グラフィックが、例えば、上述の実施形態に従って（例示的方法１２００を参照）、拡張現実ナビゲーションシステムの表示画面上に表示される。軌道拡張グラフィックは、表示画面上に表示する前に（例えば、登録および／または統一座標系を使用して）修正されてもよい。
【０１３６】
例示的方法１４００は追加的に、オプションのステップ１４１６およびステップ１４１８を含む。オプションのステップのうちいずれかまたは両方は、方法の一部であってもよい。オプションのステップ１４１６では、ステップ１４１０で決定された軌道を含む触覚オブジェクトが定義される。触覚オブジェクトは、拡張現実ナビゲーションシステム（例えば、システムの検出器によって検出された現実世界の特徴の相対位置および／または配向を使用して）によって決定され、拡張現実ナビゲーションシステムのコンピュータサブシステムによって、ロボット外科手術システムに供給されうる。次に、ロボット外科手術システムは、ロボット外科手術システムに接続または挿入された手術用器具の少なくとも一部分が触覚オブジェクトの外側には移動できないように（例えば、ロボット外科手術システムを操作する外科医に提供される触覚フィードバックにより）、その動きが制限されうる。オプションのステップ１４１８では、拡張現実ナビゲーションシステムからの出力によって、ロボット外科手術システムは、表示された軌道と自動的に整列し、および／または軌道に沿って自動的に移動するようになる。一部の実施形態では、複数の軌道の表現は同時に表示することができ、外科医は、ロボット外科手術システムを（例えば、ポインタツールを使用して）整列させるために、表現された軌道の一つを選択しうる。一部の実施形態では、表示されている軌道の表現が一つであるか、または複数であるかによらず、使用される拡張グラフィックは、軌道が患者の解剖学的構造とどう交差するかの正確な表示を外科医に与えるために、患者の解剖学的構造上に重ねて表示されうる。一部の実施形態では、手術用器具および／またはその軌道の部分は、頭部装着型ディスプレイの表示画面を通して見られる仮想表示画面上に表示される（例えば、軌道表現、手術用器具の部分、およびモデルが物理的現実と同じ相対位置および配向を持つように見えるように、患者の解剖学的構造モデルと空間的に対応して）。例えば、仮想表示画面は、図１５のパネルＡまたはパネルＢとして表示されてもよい。オーバーレイ拡張グラフィックは、図１６のスケッチに図示されているように表示されうる。
【０１３７】
単一の拡張現実ナビゲーションシステムは、とりわけ、例示的方法１２００、例示的方法１３００、および例示的方法１４００のそれぞれを実行するように構成することができる。軌道または特定のタイプの拡張グラフィックを画定する特定の方法の選択は、実施される外科手術手順に依存しうる。例えば、外科医は、同等の従来的（すなわち、ＭＩＳ）処置を実施するときに使用されるものとは異なる、特定の低侵襲手術（ＭＩＳ）処置を実施する場合、グラフィックおよび／または軌道の画定方法を好むことがある。同様に、方法およびグラフィックは、処置を実施する特定の外科医、または特定の患者に依存しうる。したがって、特定の実施形態では、拡張現実ナビゲーションシステムは、処置ごと、患者ごと、および／または外科医ごとに設定を保存できる。一部の実施形態では、患者の健康情報は、一つ以上の仮想表示画面上に表示され、一方、ナビゲーション情報は、オーバーレイされた拡張グラフィックを使用して表示され、随意に、追加的な仮想ディスプレイ上に表示される。
【０１３８】
以下は、拡張現実ナビゲーションシステムの例示的な実施形態の例示的使用の説明である。拡張現実ナビゲーションシステムが患者の医療画像データを受け取った後、拡張現実ナビゲーションシステムの表示画面上に表示されるユーザーインターフェースは、外科医が、医療画像データから得られたモデルのナビゲーションを行い、外科手術インプラントおよび／または軌道の仮想的な表現を希望に応じて位置決めできるようにすることで、外科手術の計画を可能にする。位置決めは、外科医入力（例えば、動きセンサーまたは補助入力装置を介して）を使用して起こりうる。次いで、拡張現実ナビゲーションシステムは、ロボットアームの位置、および患者に関連する一つ以上の現実世界の特徴（検出器によって検出されたように）を追跡するために使用される。全体にわたり、拡張現実ナビゲーションシステムは、その座標系を、患者の解剖学的構造およびロボット外科手術システムの座標系と同期化する（例えば、定期的または継続的な再登録による）。外科医からの入力を、例えば、動作センサーを介して受け取ると、拡張現実ナビゲーションシステムによって、ロボットアームのエフェクターが計画軌道に沿って自動的に配置され、患者の位置の移動を常に補正し、重要な解剖学的構造を回避しながら治療を可能にする。
【０１３９】
別の例示的な使用では、医療画像データに由来するモデルは、インプラント軌道を計画するために登録される。特定の実施形態では、医療画像それ自体（医療画像データに対応）が、患者の解剖学的形態のモデルとして使用される。特定の登録方法は、医療画像データを生成するために使用される撮像技術に基づいて選択されうる。撮像は手術前または手術中に行われてもよい。登録されると、外科医は、頭部装着型ディスプレイの表示画面上に表示された拡張グラフィックを使用して、外科手術インプラントのために必要な軌道および位置を決定する。計画が完了すると、外科医からの入力は、ロボット外科手術システムのロボットアームを計画軌道上に自動的に移動させることができる。複数の軌道が計画されている場合、外科医はエンドエフェクターを第一の計画軌道に近づけてもよい。別の方法として、第一の計画軌道は、ユーザー入力（例えば、動きセンサー）を使用して選択することができる。拡張現実ナビゲーションシステムは、どの計画軌道が表示画面の範囲内にあるかを示し、システムはロボットアームを選択した（例えば、近接した）計画軌道にゆっくりと移動させる。拡張グラフィックは、選択された計画軌道が達成され、動きがその軌道に沿って制限されうることを示すために使用できる。その後、外科医はロボット外科手術システムに接続された手術用器具を使用して、望ましい外科用インプラントを挿入する。ナビゲーションカメラは、リアルタイムでツールの位置を追跡し、表示画面上にモデルを、たとえば、患者の解剖学的構造に重ね合わせて見えるように表示する。
【０１４０】
特定の実施形態では、本明細書に開示されている拡張現実ナビゲーションシステムは、拡張現実視覚化および精密運動追跡（例えば、外傷、脊椎のナビゲーション、頭蓋の事前計画）の両方から恩恵を受けることができる医療専門家によって使用されうる。特定の実施形態では、本明細書に開示される拡張現実ナビゲーションシステムは、手術室または外来介入処置で実施される観血の経皮的低侵襲的手術（ＭＩＳ）処置で使用されることができ、そのすべてが何らかの形態の患者撮像を含みうる。特定の実施形態では、本明細書に開示される拡張現実ナビゲーションシステムは、外科医が、重要なナビゲーション情報のある離れた位置にあるディスプレイを見て、その情報を頭の中で外科手術スペースまたは患者内部に置き換えることを必要とする任意の処置にとって貴重なものとなる。例えば、本明細書に開示された拡張現実ナビゲーションシステムが使用される外科手術は、脊髄手術、整形外科手術、整形外傷手術、神経外科手術、最小侵襲手術またはそれらの任意の組み合わせでありうる。特定の実施形態では、拡張現実ナビゲーションシステムは、例えば、患者の解剖学的構造の解剖用死体または人工装具モデルを使用した外科手術のシミュレーションでなど、研修用に使用される。
【０１４１】
本明細書に開示されるシステムおよび方法の例示的な実施形態については、コンピューティング装置によって局所的に実施される計算を参照して上述した。ただし、ネットワーク上で実行される計算も意図されている。図１７は、本明細書に記載の方法およびシステムで使用するための例示的なネットワーク環境１７００を示す。ここで図１７を参照すると、例示的なクラウドコンピューティング環境１７００のブロック図が示され、説明されている。クラウドコンピューティング環境１７００は、一つ以上のリソースプロバイダー１７０２ａ、１７０２ｂ、１７０２ｃ（集合的に１７０２）を含みうる。各リソースプロバイダー１７０２は、コンピューティングリソースを含みうる。一部の実施では、コンピューティングリソースは、データを処理するために使用される任意のハードウェアおよび／またはソフトウェアを含みうる。例えば、コンピューティングリソースは、アルゴリズム、コンピュータプログラム、および／またはコンピュータアプリケーションを実行することができるハードウェアおよび／またはソフトウェアを含んでもよい。幾つかの実施形態では、例示的なコンピューティングリソースは、保存および取り出し能力を備えたアプリケーションサーバーおよび／またはデータベースを含んでもよい。各リソースプロバイダー１７０２は、クラウドコンピューティング環境１７００内の他の任意のリソースプロバイダー１７０２に接続されてもよい。幾つかの実施形態では、リソースプロバイダー１７０２は、コンピュータネットワーク１７０８上で接続されてもよい。各リソースプロバイダー１７０２は、コンピュータネットワーク１７０８上で、一つ以上のコンピューティング装置１７０４ａ、１７０４ｂ、１７０４ｃ（集合的に１７０４）に接続されてもよい。
【０１４２】
クラウドコンピューティング環境１７００は、リソースマネージャー１７０６を含んでもよい。リソースマネージャー１７０６は、コンピュータネットワーク１７０８上でリソースプロバイダー１７０２およびコンピューティング装置１７０４に接続されてもよい。幾つかの実施形態では、リソースマネージャー１７０６は、一つ以上のリソースプロバイダー１７０２によって一つ以上のコンピューティング装置１７０４にコンピューティングリソースの提供を容易にすることができる。リソースマネージャー１７０６は、特定のコンピューティング装置１７０４からコンピューティングリソースの要求を受信してもよい。リソースマネージャー１７０６は、コンピューティング装置１７０４によって要求されるコンピューティングリソースを提供することができる一つ以上のリソースプロバイダー１７０２を識別することができる。リソースマネージャー１７０６は、リソースプロバイダー１７０２を選択してコンピューティングリソースを提供することができる。リソースマネージャー１７０６は、リソースプロバイダー１７０２と特定のコンピューティング装置１７０４との間の接続を容易にすることができる。幾つかの実施形態では、リソースマネージャー１７０６は、特定のリソースプロバイダー１７０２と特定のコンピューティング装置１７０４との間の接続を確立することができる。幾つかの実施形態では、リソースマネージャー１７０６は、特定のコンピューティング装置１７０４を、要求されたコンピューティングリソースと共に、特定のリソースプロバイダー１７０２に転送することができる。
【０１４３】
図１８は、本開示に記載される方法およびシステムで使用することができるコンピューティング装置１８００および携帯型コンピューティング装置１８５０の実施例を示す。コンピューティング装置１８００は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレーム、およびその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。携帯型コンピューティング装置１８５０は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、およびその他の類似のコンピューティング装置など、様々な形態のモバイル装置を表すことを意図している。ここで示される構成要素、それらの接続および関係、およびそれらの機能は、例としてのみ意味され、限定することを意味するものではない。
【０１４４】
コンピューティング装置１８００は、プロセッサ１８０２、メモリ１８０４、記憶装置１８０６、メモリ１８０４および複数の高速拡張ポート１８１０へ接続する高速インターフェース１８０８、および低速拡張ポート１８１４および記憶装置１８０６に接続する低速インターフェース１８１２を含む。プロセッサ１８０２、メモリ１８０４、記憶装置１８０６、高速インターフェース１８０８、高速拡張ポート１８１０、および低速インターフェース１８１２それぞれは、さまざまなバスを使用して相互接続されており、必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。プロセッサ１８０２は、メモリ１８０４または記憶装置１８０６内に保存された命令を含むコンピューティング装置１８００内で実行する命令を処理することができ、または、高速インターフェース１８０８に結合されたディスプレイ１８１６などの外部入力／出力装置上のＧＵＩのグラフィカル情報を表示することができる。他の実施形態では、複数のプロセッサおよび／または複数のバスを、必要に応じて、複数のメモリおよびメモリのタイプと共に使用することができる。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。また、複数のコンピューティング装置が接続されてもよく、各装置は、必要な動作（例えば、サーバーバンク、ブレードサーバーのグループ、またはマルチプロセッサシステム）を提供する。したがって、本明細書で使用される場合、複数の機能が「プロセッサ」によって実施されるものとして記述されている場合、これには、その複数の機能が、任意の数のコンピューティング装置（例えば、一つ以上のコンピューティング装置）の任意の数のプロセッサ（例えば、一つ以上のプロセッサ）によって実施される実施形態が包含される。さらに、機能が「プロセッサ」によって実行されるものとして記述されている場合、これには、その機能が、任意の数のコンピューティング装置（例えば、一つ以上のコンピューティング装置）（例えば、分散コンピューティングシステム内の）の任意の数のプロセッサ（例えば、一つ以上のプロセッサ）によって実施される実施形態が包含される。
【０１４５】
メモリ１８０４は、コンピューティング装置１８００内に情報を格納する。一部の実施では、メモリ１８０４は揮発性メモリユニット（単一または複数）である。一部の実施では、メモリ１８０４は不揮発性メモリユニット（単一または複数）である。メモリ１８０４はまた、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ可読媒体であってもよい。
【０１４６】
記憶装置１８０６は、コンピューティング装置１８００のための大容量記憶を提供する能力を有する。一部の実施では、記憶装置１８０６は、フロッピーディスク装置、ハードディスク装置、光ディスク装置、またはテープ装置、フラッシュメモリまたはその他の類似のソリッドステートメモリ装置、またはストレージエリアネットワークまたは他の構成の装置を含む装置のアレイなどのコンピュータ可読媒体であってもよく、またはそれらを含んでもよい。命令は情報担体に保存されうる。命令は、一つ以上の処理装置（例えば、プロセッサ１８０２）によって実行される時、上述の方法などの一つ以上の方法を実行する。命令は、コンピュータまたは機械可読媒体（例えば、メモリ１８０４、記憶装置１８０６、またはプロセッサ１８０２上のメモリ）などの一つ以上の記憶装置によって保存されてもよい。
【０１４７】
高速インターフェース１８０８は、コンピューティング装置１８００に対する帯域幅集約的な動作を管理し、一方で低速インターフェース１８１２は帯域幅集約性の低い動作を管理する。このような機能の割り当ては一例に過ぎない。一部の実施では、高速インターフェース１８０８は、メモリ１８０４、ディスプレイ１８１６（例えば、グラフィックプロセッサまたはアクセラーを介して）、および高速拡張ポート１８１０に連結され、さまざまな拡張カード（図示せず）を受け入れうる。実施では、低速インターフェース１８１２は、記憶装置１８０６および低速拡張ポート１８１４に連結される。さまざまな通信ポート（例えば、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、イーサネット（登録商標）、無線イーサネット）を含みうる低速拡張ポート１８１４は、キーボード、ポイント装置、スキャナー、またはネットワーク装置などの一つ以上の入力／出力装置に、例えばネットワークアダプターを介してスイッチまたはルータなどのネットワーク装置に結合されてもよい。
【０１４８】
コンピューティング装置１８００は、図に示す通り、多数の異なる形態で実施されてもよい。例えば、これは、標準サーバー１８２０として、またはそのようなサーバーのグループで複数回実施されてもよい。さらに、ラップトップコンピュータ１８２２などのパーソナルコンピュータで実施されうる。また、ラックサーバーシステム１８２４の一部として実施されてもよい。あるいは、コンピューティング装置１８００からの構成要素を、携帯型コンピューティング装置１８５０などのモバイル装置（図示せず）内の他の構成要素と組み合わせてもよい。こうした装置のそれぞれは、コンピューティング装置１８００および携帯型コンピューティング装置１８５０のうちの一つ以上を含むことができ、またシステム全体は、互いに通信する複数のコンピューティング装置から構成されてもよい。
【０１４９】
携帯型コンピューティング装置１８５０は、プロセッサ１８５２、メモリ１８６４、入力／出力装置（ディスプレイ１８５４など）、通信インターフェース１８６６、およびトランシーバ１８６８を含む。携帯型コンピューティング装置１８５０には、追加的な保管を提供するために、マイクロドライブまたは他の装置などの記憶装置が提供されてもよい。プロセッサ１８５２、メモリ１８６４、ディスプレイ１８５４、通信インターフェース１８６６、およびトランシーバ１８６８のそれぞれは、様々なバスを使用して相互接続されており、複数の構成要素が必要に応じて共通のマザーボードまたはその他の方法で取り付けられてもよい。
【０１５０】
プロセッサ１８５２は、メモリ１８６４に保存された命令を含む携帯型コンピューティング装置１８５０内で命令を実行することができる。プロセッサ１８５２は、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実施されてもよい。プロセッサ１８５２は、例えば、ユーザーインターフェースの制御などの携帯型コンピューティング装置１８５０の他の構成要素、携帯型コンピューティング装置１８５０によって実行されるアプリケーション、および携帯型コンピューティング装置１８５０による無線通信を調整するために提供することができる。
【０１５１】
プロセッサ１８５２は、制御インターフェース１８５８およびディスプレイ１８５４に連結された表示インターフェース１８５６を通してユーザーと通信してもよい。ディスプレイ１８５４は、例えば、ＴＦＴ（薄膜−トランジスタ液晶表示）ディスプレイまたはＯＬＥＤ（有機発光ダイオード）ディスプレイ、またはその他の適切な表示技術であってもよい。表示インターフェース１８５６は、表示装置１８５４を駆動して、グラフィカルおよび他の情報をユーザーに提示するための適切な回路を含みうる。制御インターフェース１８５８は、ユーザーからコマンドを受信し、プロセッサ１８５２へのサブミット用に変換しうる。さらに、外部インターフェース１８６２は、携帯型コンピューティング装置１８５０の他の装置との近接エリア通信を可能にするように、プロセッサ１８５２との通信を提供してもよい。外部インターフェース１８６２は、例えば、一部の実施では有線通信用に、または他の実施では無線通信用に提供されてもよく、複数のインターフェースが使用されてもよい。
【０１５２】
メモリ１８６４は、携帯型コンピューティング装置１８５０内に情報を格納する。メモリ１８６４は、コンピュータ可読媒体または媒体、揮発性メモリユニット（単一または複数）、または不揮発性メモリユニット（単一または複数）のうちの一つ以上として実施することができる。増設メモリ１８７４はまた、例えば、ＳＩＭＭ（シングルインラインメモリモジュール）カードインタフェースを含みうる拡張インターフェース１８７２を介して携帯型コンピューティング装置１８５０に提供され、接続されてもよい。増設メモリ１８７４はまた、携帯型コンピューティング装置１８５０用に追加記憶スペースを提供する、または携帯型コンピューティング装置１８５０用にアプリケーションやその他の情報を保存できる。具体的には、増設メモリ１８７４は、上述のプロセスを実行または補充する命令を含むことができ、また安全な情報も含みうる。したがって、例えば、増設メモリ１８７４は、携帯型コンピューティング装置１８５０のセキュリティモジュールとして提供されてもよく、また携帯型コンピューティング装置１８５０の安全な使用を許可する命令でプログラムされてもよい。さらに、安全なアプリケーションは、ＳＩＭＭカードを介して、サイズの識別情報をハッキング不可能な方式で識別するなど、追加情報と共に提供しうる。
【０１５３】
メモリは、例えば、以下に考察するように、フラッシュメモリおよび／またはＮＶＲＡＭメモリ（不揮発性ランダムアクセスメモリ）を含んでもよい。一部の実施では、命令は情報担体に保存され、一つ以上の処理装置（例えば、プロセッサ１８５２）によって実行されると、上述のものなどの一つ以上の方法を実行する。命令は、コンピュータまたは機械可読媒体（例えば、メモリ１８６４、増設メモリ１８７４、またはプロセッサ１８５２上のメモリ）などの一つ以上の記憶装置によって保存されてもよい。幾つかの実施形態では、命令は、例えば、トランシーバ１８６８または外部インターフェース１８６２を介した伝播信号で受信されうる。
【０１５４】
携帯型コンピューティング装置１８５０は、必要に応じてデジタル信号処理回路を含みうる通信インターフェース１８６６を通して無線通信してもよい。通信インターフェース１８６６は、数ある中で、ＧＳＭ音声コール（汎欧州デジタル移動電話方式）、ＳＭＳ（ショート・メッセージ・サービス）、ＥＭＳ（エンハンスト・メッセージング・サービス）、またはＭＭＳメッセージング（マルチメディア・メッセージング・サービス）、ＣＤＭＡ（符号分割多元接続）、ＴＤＭＡ（時分割多重接続）、ＰＤＣ（パーソナル・デジタル・セルラー）、ＷＣＤＭＡ（広帯域符号分割多元接続）、ＣＤＭＡ２０００、またはＧＰＲＳ（汎用パケット無線システム）などの様々なモードまたはプロトコルでの通信を提供しうる。こうした通信は、例えば、無線周波数を使用してトランシーバ１８６８を通して発生しうる。さらに、ブルートゥース（登録商標）、Ｗｉ−Ｆｉ（商標）、またはその他のこうしたトランシーバ（図示せず）を使用するなど、短距離通信が発生しうる。さらに、ＧＰＳ（グローバル位置決めシステム）受信モジュール１８７０は、携帯型コンピューティング装置１８５０上で実行されるアプリケーションによって適切に使用されうる携帯型コンピューティング装置１８５０に、追加的なナビゲーションやロケーションに関連した無線データを提供しうる。
【０１５５】
携帯型コンピューティング装置１８５０はまた、ユーザーから発話情報を受信して使用可能なデジタル情報に変換しうる、音声コーデック１８６０を使用して聴覚的に通信することができる。同様に、音声コーデック１８６０は、例えば、携帯型コンピューティング装置１８５０の受話器で、スピーカーなどのユーザーに対して可聴音を生成することができる。このような音は、音声通話からの音声を含んでもよく、記録された音声（例えば、音声メッセージ、音楽ファイルなど）を含んでもよく、携帯型コンピューティング装置１８５０上で動作するアプリケーションによって生成される音も含んでもよい。
【０１５６】
携帯型コンピューティング装置１８５０は、図に示す通り、多数の異なる形態で実施されてもよい。例えば、携帯電話１８８０として実施されうる。また、スマートフォン１８８２、パーソナルデジタルアシスタント、または他の類似したモバイル装置の一部として実施されてもよい。
【０１５７】
本明細書に記載のシステムおよび技術の様々な実施は、デジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはこれらの組み合わせで実現できる。これらの様々な実施には、ストレージシステム、少なくとも一つの入力装置、および少なくとも一つの出力装置からデータおよび命令を受信し、またそれらの装置にデータおよび命令を転送するように結合された、特殊用途または汎用でありうる少なくとも一つのプログラム可能なプロセッサを含む、プログラム可能なシステム上で実行可能および／または実施可能な一つ以上のコンピュータプログラム内での実施が含まれうる。
【０１５８】
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードともいう）には、プログラム可能なプロセッサ用の機械命令が含まれており、また高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装できる。本明細書で使用される場合、機械可読媒体およびコンピュータ可読媒体は、機械可読信号として機械命令を受信する機械可読媒体を含めて、機械命令および／またはデータをプログラム可能なプロセッサに供給するために使用される、コンピュータプログラム製品、器具および／または装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブル論理装置（ＰＬＤ））を意味する。機械可読信号という用語は、機械命令および／またはデータをプログラム可能なプロセッサに供給するために使用される任意の信号を意味する。
【０１５９】
ユーザーとの相互作用をするために、本明細書に記載のシステムおよび技術は、情報をユーザーに表示するための表示装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶表示）モニター）、およびユーザーがコンピュータに入力できるようにするキーボードおよびポインティングデバイス（例えば、マウスまたはトラックボール）を有するコンピュータ上で実施可能である。他の種類の装置を使用して、ユーザーとの相互作用を提供することもでき、例えば、ユーザーに提供されるフィードバックは、任意の形態の感覚的フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、触覚的フィードバック）でもよく、またユーザーからの入力は、音響、発話、触覚入力を含む任意の形態で受信できる。
【０１６０】
本明細書に記載されるシステムおよび技術は、バックエンドコンポーネント（例えば、データサーバーとして）を含むコンピューティングシステム、またはミドルウェアコンポーネント（例えば、アプリケーションサーバー）を含むコンピューティングシステム、またはフロントエンドコンポーネント（例えば、ユーザーが本明細書に記載したシステムおよび技術の実施と相互作用できるようにするグラフィカルユーザーインターフェースまたはウェブブラウザを有するクライアントコンピュータ）を含むコンピューティングシステム、またはそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、またはフロントエンドコンポーネントの任意の組み合わせで実施できる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体（例えば、通信ネットワーク）によって相互接続されうる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、およびインターネットが含まれる。
【０１６１】
コンピューティングシステムは、クライアントおよびサーバーを含みうる。クライアントおよびサーバーは通常、互いに離れており、典型的に通信ネットワークを通して相互作用する。クライアントおよびサーバーの関係は、それぞれのコンピュータ上で実行され、かつ相互にクライアントサーバーの関係を持つコンピュータプログラムによって生じる。
【０１６２】
一部の実施形態では、本明細書に記載されるモジュールまたは計算サブシステム（例えば、位置追跡モジュールおよびユーザー入力モジュール）は、分離されてもよく、組み合わせられてもよく、または単一モジュールもしくは組み合わせたモジュールに組み込まれてもよい。図に図示されるモジュールおよびその配置は、本明細書に記載のシステムおよび方法を、それらの図中に示すソフトウェア構造に限定することは意図していない。
【０１６３】
本発明の特定の実施形態を上記に説明した。しかしながら、本発明はそれらの実施形態に限定されるものではなく、本明細書に明示的に記載されていた内容への追加および修正も本発明の範囲内に含まれていることを意図することが明示される。さらに、当然のことながら、本明細書に記載された様々な実施形態の特徴は、相互に排他的なものではなく、様々な組み合わせおよび順列での存在が可能であり、こうした組み合わせまたは順列が本明細書で明示されていない場合であっても、本発明の精神および範囲から逸脱することがない。実際に、本明細書に記載された内容の変形、変更およびその他の実施は、本発明の趣旨および範囲を逸脱することなく、当業者は思いつくであろう。そのため、本発明は、前述の説明によってのみ定義されるべきではない。
【０１６４】
ロボット外科手術システムと併用するための拡張現実ナビゲーションシステムおよびその使用方法についていくらか説明してきたが、ここで当業者には、本開示の概念を組み込む他の実施が使用されうることは明らかとなる。したがって、本開示は特定の実施に制限されるべきではなく、むしろ以下の請求項の精神および範囲によってのみ制限されるべきである。
【図１】
2019177134.tif 000003
【図２】
2019177134.tif 000004
【図３】
2019177134.tif 000005
【図４】
2019177134.tif 000006
【図５】
2019177134.tif 000007
【図６】
2019177134.tif 000008
【図７】
2019177134.tif 000009
【図８】
2019177134.tif 000010
【図９】
2019177134.tif 000011
【図１０】
2019177134.tif 000012
【図１１】
2019177134.tif 000013
【図１２】
2019177134.tif 000014
【図１３】
2019177134.tif 000015
【図１４】
2019177134.tif 000016
【図１５】
2019177134.tif 000017
【図１６】
2019177134.tif 000018
【図１７】
2019177134.tif 000019
【図１８】
2019177134.tif 000020
【外国語明細書】
2019177134000001.pdf