(57)【要約】  三次元（３Ｄ）データにより患者のリアルタイムビューを拡張すること。一実施形態において、方法は、外層および複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することと、３Ｄデータからの外層の仮想形態計測測定値を決定することと、３Ｄ空間内における患者の外層のリアルタイム位置を登録することと、患者の外層のリアルタイム形態計測測定値を決定することと、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、３Ｄデータからの外層の位置を自動的に登録して、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせすることと、拡張現実（ＡＲ）ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することとを含む。
2020516003.tif 000002
【特許請求の範囲】
【請求項１】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者のリアルタイム３Ｄビデオデータをリアルタイムで捕捉することと、前記リアルタイム３Ｄビデオデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、リアルタイムで、前記患者の外層のリアルタイム非画像実景上に投影された前記リアルタイム３Ｄビデオデータからの前記患者の内層のうちの１つを表示することとを含む、方法。
【請求項２】
投影された前記リアルタイム３Ｄビデオデータの内層は、前記患者の外層内で活動している内臓を示す、請求項１に記載の方法。
【請求項３】
実行時に請求項１に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項４】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる位置に前記患者を配置することと、
前記３Ｄデータを前記患者の異なる位置に合致するように変形させることと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記変形された３Ｄデータからの前記患者の内層のうちの１つを表示することとを含む、方法。
【請求項５】
前記配置することは、前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる向きに前記患者を配置することを含み、
前記変形させることは、前記３Ｄデータを前記患者の異なる向きに合致するように変形させることを含む、請求項４に記載の方法。
【請求項６】
実行時に請求項４に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項７】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、前記患者の複数の内層は元の色勾配を有することと、
前記患者の外層のリアルタイム非画像実景上に投影された場合により良好に見えるようにするために、前記複数の内層の色勾配を前記元の色勾配よりも明るくなるように変更することと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの患者の内層は変更された色勾配を有することとを含む、方法。
【請求項８】
前記変更された色勾配は、前記患者の複数の内層の組織特性を表しており、前記組織特性は、組織硬度、緩和度、エコー輝度、エンハンスメント量、エンハンスメント速度、密度、放射活性および水分含量のうちの１つ以上を含む、請求項７に記載の方法。
【請求項９】
実行時に請求項７に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項１０】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの患者の内層は所定体積の仮想空間的差異ボックス内に限定されていることとを含む、方法。
【請求項１１】
前記仮想空間的差異ボックスは、頂面、底面、左側面、右側面、前面および後面を備える、請求項１０に記載の方法。
【請求項１２】
実行時に請求項１０に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項１３】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
前記３Ｄデータからの患者の外層の仮想位置を自動的に登録して、前記患者の外層のリアルタイム位置と位置合わせすることと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記自動登録が正しいという数値的信頼度スコアを生成することと、
前記ＡＲヘッドセットにおいて、前記数値的信頼度スコアをユーザに対して表示することとを含む、方法。
【請求項１４】
前記数値的信頼度スコアは、前記３Ｄデータの外層が前記患者の外層に合致する信頼度を示す１〜１００の数字である、請求項１３に記載の方法。
【請求項１５】
実行時に請求項１３に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項１６】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記患者の外層のリアルタイム位置に対する対象物のリアルタイム位置を自動的に追跡することと、
前記対象物の一部が前記患者の外層を介して患者に挿入されている間に、前記ＡＲヘッドセットにおいて、前記投影された患者の内層に投影された前記対象物の仮想部分を表示することとを含む、方法。
【請求項１７】
前記対象物は、前記対象物が前記患者の外層を介して前記患者内に挿入された後であっても前記ＡＲヘッドセットのセンサが感知することができる材料から形成されており、
前記自動的に追跡することは、前記ＡＲヘッドセットのセンサが前記患者の外層のリアルタイム位置に対する前記対象物のリアルタイム位置を自動的に追跡することを含む、請求項１６に記載の方法。
【請求項１８】
実行時に請求項１６に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項１９】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想カーソルおよび／または仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットの焦点の向きが前記患者以外の他の場所にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想カーソルおよび／または仮想ユーザインタフェースを表示することと、
前記ＡＲヘッドセットの焦点の向きが患者にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、前記仮想カーソルおよび／または仮想ユーザインタフェースを非表示にすることとを含む、方法。
【請求項２０】
前記ＡＲヘッドセットが水平よりも上方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者以外の他の場所にフォーカスしていると判定され、かつ
前記ＡＲヘッドセットが水平よりも下方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者上にフォーカスしていると判定される、請求項１９に記載の方法。
【請求項２１】
実行時に請求項１９に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項２２】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
リアルタイムで、前記ＡＲヘッドセットから前記患者までの距離を決定することと、
前記仮想ユーザインタフェースが前記ＡＲヘッドセットから前記患者までのリアルタイム距離にほぼ等しい前記ＡＲヘッドセットからの焦点距離に常に配置されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することとを含む、方法。
【請求項２３】
前記ＡＲヘッドセットから前記患者までのリアルタイム距離は、前記患者の中心まで、前記患者の焦点領域の中心まで、または前記患者上において現在観察されている３Ｄデータのスライスまでのリアルタイム距離である、請求項２２に記載の方法。
【請求項２４】
実行時に請求項２２に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【請求項２５】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
前記仮想ユーザインタフェースが常に前記ＡＲヘッドセットの焦点の向きに直交して配向されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することを含む、方法。
【請求項２６】
前記ＡＲヘッドセットの焦点の向きに対する前記仮想ユーザインタフェースの直交した配向は、前記ユーザが前記患者の方に向いているか、または前記患者から離反した方に向いているときでも、前記ＡＲヘッドセットの現在の焦点の向きにかかわらず、前記仮想ユーザインタフェースを常に前記ＡＲヘッドセットを装着しているユーザに対して正面に対面させる、請求項２５に記載の方法。
【請求項２７】
実行時に請求項２５に記載の方法を１つ以上のプロセッサに実施させるように構成された１つ以上のプログラムを記憶した１つ以上の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、三次元データによる患者のリアルタイムビューの拡張に関する。
【背景技術】
【０００２】
拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ：ＡＲ）システムは、一般にユーザの実世界環境のライブビューを取り込み、映像、音声、または図形のようなコンピュータで生成した仮想要素によってそのビューを拡張する。結果として、ＡＲシステムはユーザの現状における現実の知覚を増強するように機能する。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
ＡＲシステムが直面する１つの共通の問題は、仮想要素の位置を実世界環境のライブビューと正確に位置合わせすること（ａｌｉｇｎｉｎｇ）である。この位置合わせプロセスは大抵の場合に手動で行われるか、または非解剖学的基準を手動で配置した後のみに自動的に行われる。いずれの場合も、手動プロセスは時間がかかり、煩雑であり、かつ不正確になる可能性がある。
【０００４】
ＡＲシステムが直面する別の共通の問題は、仮想要素を管理するための仮想コントロールの適切な配置である。仮想コントロールは、仮想要素と相互作用する際にユーザを支援するように意図されているが、多くの場合、ライブビュー内においてそれらをユーザに対する助けというよりはむしろ障害物にしてしまう位置に配置されている。
【０００５】
本願において権利請求される主題は、上述したもののような何らかの不都合を解決するか、または上述したもののような環境においてのみ動作する実施形態に限定されるものではない。むしろ、この背景は本願に記載するいくつかの実施形態が実施され得る技術領域の一例を示すために提供されているに過ぎない。
【課題を解決するための手段】
【０００６】
一実施形態において、患者のリアルタイムビューを三次元（３Ｄ）データによって拡張する方法は、様々な動作を含み得る。例えば、本方法は、患者の外層および患者の複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することを含み得る。本方法はまた、３Ｄデータから患者の外層の仮想形態計測測定値（ｖｉｒｔｕａｌ  ｍｏｒｐｈｏｍｅｔｒｉｃ  ｍｅａｓｕｒｅｍｅｎｔｓ）を決定することを含み得る。本方法は、３Ｄ空間内における患者の外層のリアルタイム位置を登録すること（ｒｅｇｉｓｔｅｒｉｎｇ）を含む。本方法はまた、患者の外層のリアルタイム形態計測測定値を決定することも含み得る。本方法は、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、３Ｄデータからの患者の外層の位置を自動的に登録して、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせすることをさらに含み得る。本方法はまた、拡張現実ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することを含み得る。
【０００７】
別の実施形態において、３Ｄデータにより患者のリアルタイムビューを拡張する方法は、様々な動作を含み得る。例えば、本方法は、患者の外層および患者の複数の内層を含む３Ｄデータによって患者の３Ｄデータを特定することを含み得る。本方法はまた、拡張現実ヘッドセットにおいて、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示することを含み得る。本方法は、拡張現実ヘッドセットにおいて、投影された３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することをさらに含み得る。本方法はまた、拡張現実ヘッドセットにおいて、拡張現実ヘッドセットの焦点の向きが患者にフォーカスしていないことから、リアルタイムビュー上に投影された仮想ユーザインタフェースを表示することも含み得る。本方法は、拡張現実ヘッドセットにおいて、拡張現実ヘッドセットの焦点の向きが患者にフォーカスしていることから、仮想ユーザインタフェースを非表示にすることをさらに含み得る。
【０００８】
前述の概要および以下の詳細な説明の双方は説明のためのものであり、権利請求される本発明を限定するものではないことが理解されるべきである。
添付図面の使用により、実施形態について付加的な特異性および詳細とともに記載し、説明する。
【図面の簡単な説明】
【０００９】
【図１】患者のリアルタイムビューが三次元（３Ｄ）データによって拡張され得る例示的な拡張現実（ＡＲ）環境を示す図。
【図２Ａ】第１患者を含む図１のＡＲ環境の写真。
【図２Ｂ】第１患者を含む図１のＡＲ環境の写真。
【図２Ｃ】第１患者を含む図１のＡＲ環境の写真。
【図２Ｄ】第１患者を含む図１のＡＲ環境の写真。
【図２Ｅ】第１患者を含む図１のＡＲ環境の写真。
【図２Ｆ】第１患者を含む図１のＡＲ環境の写真。
【図３】第２の患者を含む図１のＡＲ環境の写真。
【図４Ａ】第３患者を含む図１のＡＲ環境の写真。
【図４Ｂ】第３患者を含む図１のＡＲ環境の写真。
【図５】３Ｄデータにより患者のリアルタイムビューを拡張する際に用いられ得る例示的なコンピュータシステムを示す図。
【図６Ａ】３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
【図６Ｂ】３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
【図６Ｃ】３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
【図６Ｄ】３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
【図６Ｅ】３Ｄデータにより患者のリアルタイムビューを拡張する例示的な方法のフローチャート。
【発明を実施するための形態】
【００１０】
医用イメージングは患者の内部の視覚表示を作成するために用いられ得る。より具体的には、医用イメージングは、訓練、研究、診断および治療のような様々な目的で皮膚のような患者の外層によって隠された内部構造を明らかにするために用いられ得る。
【００１１】
従来の医用シメージングシステムは、患者の三次元（３Ｄ）データを作成し、次にその３Ｄデータを１つ以上の画像としてコンピュータディスプレイ上に表示し得る。実際の患者とは切り離されたコンピュータディスプレイ上において患者の画像を観察することは、訓練、研究、診断および治療に有用なこともあるが、そのような切り離された観察により、いくつかの問題が生じる場合もある。
【００１２】
例えば、外科医が患者の脳から腫瘍を除去する必要がある場合、外科医は、コンピュータディスプレイ上の患者の脳の画像を観察し得る。コンピュータディスプレイ上において腫瘍の位置を観察した後、次に、外科医はその視界をコンピュータディスプレイから手術台上の実際の患者へ移し、患者の脳内部の腫瘍の実際の患者におけるおおよその位置を特定しようと試み得る。腫瘍のおおよその位置を特定するこの方法は困難であり、過誤を生じ易い可能性がある。例えば、外科医は、実際には腫瘍が脳の右側に存在する場合に、偶発的に画像中の脳の左側が腫瘍を有していると特定してしまうことがある。この過誤は、外科医が誤って患者の頭蓋の左側において不必要な切開を行うことにつながる場合がある。
【００１３】
別の例では、医師が患者に対して膝の手術を実施する必要がある場合に、医師はコンピュータディスプレイ上の患者の膝の画像を観察し得る。コンピュータディスプレイ上の膝の問題領域を観察した後、次に医師はその視界をコンピュータディスプレイから手術台上の実際の患者へ移して、手術のために実際の患者の膝の問題領域を特定しようと試み得る。膝の問題領域を特定するこの方法は困難であり、過誤を生じ易い可能性がある。例えば、医師が、手術台上の患者がコンピュータディスプレイ上の画像と一致しないことに気付かずに、偶発的に誤った患者の画像をコンピュータディスプレイ上に引き出してしまうことがある。この過誤は、膝の問題領域は患者によって自然と異なることから、外科医が誤って不適切な位置において切開を行うことにつながる場合がある。
【００１４】
本願に開示する実施形態は、従来の画像診断システムに対して様々な利点を提供し得る。具体的には、本願に開示する実施形態は、例えば、３Ｄデータにより患者のリアルタイムビューを拡張し得る。いくつかの実施形態において、患者の３Ｄデータは実際の患者のリアルタイムビューと自動的に位置合わせされるか、または登録され、次に３Ｄデータから導出された画像は患者のリアルタイムビュー上に投影され得る。よって、これらの実施形態は、時間がかかり、煩雑であり、かつ不正確な手動の位置合わせを行うことなく、かつ／または時間がかかり、煩雑であり、かつ不正確な非解剖学的基準の手動の配置を行うことなく、医療専門家が実際の患者を見ながら、その患者の仮想内部を観察することを可能にする。訓練、研究、診断または治療において用いられる場合、これらの実施形態は、医療専門家が患者内の目標位置をより容易かつ正確に見つけることを可能にし得る。
【００１５】
例えば、上記で検討した脳外科手術の例において用いられる場合には、これらの実施形態は、外科医が腫瘍の位置について脳の右側と左側との間で混乱するのを回避し、それにより腫瘍を除去するための外科手術中に外科医が頭蓋の不適切な側において不要な切開を行うことを回避し得る。同様に上記で検討した膝手術の例において用いられる場合には、これらの実施形態は、自動位置合わせが失敗するか、または自動位置合わせは正しかったという信頼度が低いことを示すことがあり、よって患者データが現在手術台上にいる患者のものではない可能性があることを医師に警告するので、医師が誤った患者の３Ｄデータを使用することを回避し得る。
【００１６】
さらに、いくつかの実施形態において、３Ｄデータによる患者のリアルタイムビューの拡張は、患者のリアルタイムビュー上に投影される画像を変更するための仮想ユーザインタフェースおよび他の仮想コントロールの表示を含み得る。この仮想ユーザインタフェースおよびこれらの他の仮想コントロールは、患者を観察するときに医療専門家の視野を遮らないようにし、医療専門家に対する比較的一定な焦点長を維持し、かつ／または医療専門家に対面する仮想ユーザインタフェースの向きを維持するように投影され得る。このように、これらの実施形態は、医療専門家が患者のリアルタイムビューに投影された画像を迅速かつ容易に変更することを可能にし得る。
【００１７】
図面に移ると、図１は例示的な拡張現実（ＡＲ）環境１００を示している。いくつかの実施形態において、環境１００は、３Ｄ空間１０２、ユーザ１０４、患者１０６、およびネットワーク１１０上のサーバ１１２と通信し得るＡＲヘッドセット１０８を含み得る。いくつかの実施形態において、環境１００はまた、仮想ユーザインタフェース１１４、仮想空間的差異ボックス（ｖｉｒｔｕａｌ  ｓｐａｔｉａｌ  ｄｉｆｆｅｒｅｎｃｅ  ｂｏｘ）１１６、対象物１１８の仮想挿入部１１８ａ、および仮想カーソル１２２も含んでいてもよく、これらはすべて、ＡＲヘッドセット１０８によって生成され、ＡＲヘッドセット１０８を介してユーザ１０４のみに見えることを示すために破線で示されている。
【００１８】
いくつかの実施形態において、３Ｄ空間１０２は、（図１に示すような）手術台１０３を備えた手術室、オフィス、教室または研究室を含むが、これらに限定されない、いかなる３Ｄ空間であってもよい。いくつかの実施形態において、３Ｄ空間１０２は、ユーザ１０４がＡＲヘッドセット１０８を着用しながら、患者１０６を観察し得る空間であり得る。
【００１９】
いくつかの実施形態において、ユーザ１０４は、（図１に示すような）医療専門家、インストラクター、研究者、患者、または患者の介護者を含むが、これらに限定されないＡＲヘッドセット１０８のいかなるユーザであってもよい。例えば、医療専門家は、患者１０６に医療処置を実施するためにＡＲヘッドセット１０８を使用してもよい。同様に、研究者またはインストラクターが、医学研究を行っているとき、または医学生を指導しているときに、ＡＲヘッドセット１０８を使用してもよい。さらに、医療専門家が患者１０６のための提案された医療処置について説明しようと試みているときに、患者１０６の介護者または患者１０６自身がＡＲヘッドセット１０８を使用してもよい。
【００２０】
いくつかの実施形態において、患者１０６は、意識があるか、または無意識である、生きているか、または死んでいる、完全体であるか、または１つ以上の体の部分が欠損している、任意の動物であってもよい。例えば、患者１０６は、ユーザ１０４によって医療処置を受けるために無意識にされた（図１に示すような）生きているヒト成人であってもよい。別の例では、患者１０６は、研究または訓練の目的のための解剖を受けるヒト成人の遺体であってもよい。別の例では、患者１０６は、医学的状態を診断するために獣医によって診断されている意識のある動物であってもよい。別の例では、患者１０６は死亡したヒトの一肢または単一器官であってもよい。
【００２１】
いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄデータにより患者１０６のリアルタイムビューを拡張することができるＡＲヘッドセットの形態にある任意のコンピュータシステムであり得る。例えば、ＡＲヘッドセット１０８は、（図１に示すような）骨１０６ｂ、筋肉、器官、または流体を含むが、これらに限定されない患者１０６の１つ以上の内層により、患者１０６のリアルタイムビューを拡張するために、ユーザ１０４によって用いられ得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄ空間１０２内におけるユーザ１０４の現在位置にかかわらず、患者１０６のリアルタイムビューのこの拡張を実施し得る。例えば、ユーザ１０４は手術台１０３のまわりを歩き回って、３Ｄ空間１０２内の任意の角度から患者１０６を観察することがあり、その間じゅう、ＡＲヘッドセット１０８は、患者１０６および患者１０６の３Ｄデータの双方がユーザ１０４によって３Ｄ空間１０２内の任意の角度から観察され得るように、患者１０６のリアルタイムビューを患者１０６の１つ以上の内層によって連続的に拡張し得る。ＡＲヘッドセット１０８は、図６Ａ〜図６Ｅに関連して本願に開示される方法６００に従って、この３Ｄデータによる患者１０６のリアルタイムビューの拡張を実施し得る。いくつかの実施形態において、ＡＲヘッドセット１０８はマイクロソフト  ホロレンズ（Ｍｉｃｒｏｓｏｆｔ  ＨｏｌｏＬｅｎｓ（商標））の修正版であってもよい。
【００２２】
いくつかの実施形態において、ネットワーク１１０は、ＡＲヘッドセット１０８、サーバ１１２、または他のコンピュータシステムを通信可能に接続するように構成され得る。いくつかの実施形態において、ネットワーク１１０は、システムと装置との間の通信を送受信するように構成された任意の有線もしくは無線ネットワーク、または複数のネットワークの組み合わせであってもよい。いくつかの実施形態において、ネットワーク１１０としては、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）（登録商標）ネットワークのようなパーソナルエリアネットワーク（ＰＡＮ）、ＷｉＦｉネットワークのようなローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、またはストレージエリアネットワーク（ＳＵＮ）が挙げられる。いくつかの実施形態において、ネットワーク１１０はまた、セルラーネットワークのような、様々な異なる通信プロトコルでデータを送信するための電気通信ネットワークの一部に接続されていてもよいし、またはそのような電気通信ネットワークの一部を含んでいてもよい。
【００２３】
いくつかの実施形態において、サーバ１１２は、ＡＲヘッドセット１０８と接続して機能することができる任意のコンピュータシステムであってもよい。いくつかの実施形態において、サーバ１１２は、３ＤデータをＡＲヘッドセット１０８に伝送するか、またはＡＲヘッドセット１０８からデータを受信するために、ＡＲヘッドセット１０８とリアルタイムで通信するように構成され得る。加えて、サーバ１１２は、ＡＲヘッドセット１０８によって所望されるデータ記憶または処理のうちの一部またはすべてをオフロードするために用いられてもよい。
【００２４】
いくつかの実施形態において、仮想ユーザインタフェース１１４は、患者１０６の３Ｄデータからの患者１０６の投影された内層の表示を変更するための選択肢を含む、ＡＲヘッドセット１０８によって生成された任意の仮想ユーザインタフェースであり得る。例えば、仮想ユーザインタフェース１１４に含まれる選択肢としては、ＡＲヘッドセット１０８に、
（１）患者１０６の拡張されたビューの観察を停止させる選択肢、
（２）ＡＲヘッドセット１０８の能力のデモを表示させる選択肢、
（３）投影された３Ｄデータの輝度および色のような患者１０６に投影されている３Ｄデータの特性を調整させる選択肢、
（４）患者１０６との３Ｄデータの位置合わせを調整させる選択肢、
（５）仮想空間的差異ボックス１１６を表示させる選択肢、
（６）所定体積の３Ｄデータの代わりに３Ｄデータのスライスを表示させる選択肢、
（７）３Ｄデータのスライスを再配置する際などに、３Ｄデータをユーザ１０４の方向にドラッグさせる選択肢、
（８）軸方向スライス（ａｘｉａｌ  ｓｌｉｃｅｓ）、冠状スライス（ｃｏｒｏｎａｌ  ｓｌｉｃｅｓ）、矢状スライス（ｓａｇｉｔｔａｌ  ｓｌｉｃｅｓ）、および斜めスライス（ｏｂｌｉｑｕｅ  ｓｌｉｃｅｓ）を含むが、これらに限定されない３Ｄデータの異なるスライスを表示させる選択肢、
（９）ＡＲヘッドセット１０８の他の高度な機能を実施させる選択肢
が挙げられるが、これらに限定されるものではない。仮想ユーザインタフェース１１４は、ユーザ１０４にとって有用であり得る他の情報をさらに含んでいてもよい。例えば、仮想ユーザインタフェース１１４は、心拍数、血圧および呼吸数のような患者１０６のリアルタイムバイタルサインを含んでいてもよい。別の例では、仮想ユーザインタフェース１１４は、患者１０６が無意識であった時間量を示すストップウォッチを含んでいてもよい。
【００２５】
いくつかの実施形態において、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をユーザ１０４から快適な距離に、かつ／またはユーザ１０４に対して快適な向きに、表示するように構成され得る。例えば、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１にほぼ等しいＡＲヘッドセット１０８からの焦点距離Ｄ２において表示するように構成され得る。この距離は、ユーザが３Ｄ空間１０２を動き回っても、またユーザが患者１０６に近づいたり、患者１０６から遠ざかったりしても、ユーザ１０４が患者１０６と仮想ユーザインタフェース１１４との間でユーザの焦点を移すときにユーザの眼の焦点を再び合わせなければならないことを回避し得るので、ユーザにとって快適であり得る。別の例では、ＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８の焦点の向き１２０に直交するように配向された焦点の向きに表示するように構成されてもよい。この配向は、ＡＲヘッドセット１０８の現在の焦点の向き１２０にかかわらず、ユーザが３Ｄ空間１０２を動き回っても、またユーザが概して患者１０６の方に向いていたり、または患者１０６から離反した方に向いていたりしても、仮想ユーザインタフェース１１４を常にユーザ１０４に対して正面に対面させ得るので、ユーザ１０４にとって快適であり得る。
【００２６】
いくつかの実施形態において、仮想空間的差異ボックス１１６は、投影された３Ｄデータからの患者１０６の内層を所定体積の仮想空間的差異ボックス１１６内に限定するために、ＡＲヘッドセット１０８によって生成され得る。例えば、図１において、患者１０６の投影された骨１０６ｂは、仮想空間的差異ボックス１１６内に限定され得る。いくつかの実施形態において、仮想空間的差異ボックス１１６はまた、ユーザ１０４に基準枠を提供することにより、投影された３Ｄデータを操作する場合にユーザを支援し得る。例えば、この基準枠は、仮想空間的差異ボックス１１６内において３Ｄデータの軸方向スライス、冠状スライス、矢状スライスまたは斜めスライスを移動させる場合にユーザを支援し得る。スライスは二次元（２Ｄ）スライスであってもよいし、かつ／または３Ｄスライスであってもよい。３Ｄスライスとしては、解剖学的特徴の自然な曲線に従った湾曲スライスのような湾曲スライス、または高さおよび幅だけでなく深さも有するスライスが挙げられる。ユーザ１０４は、ユーザ１０４が概して仮想空間的差異ボックス１１６の線の方向にユーザの手を動かすことを求める手振りを用いて、これらのスライスを移動させてもよく、したがって仮想空間的差異ボックス１１６の表示は、これらの手の動作をユーザ１０４にとってより容易にし得る。
【００２７】
いくつかの実施形態において、対象物１１８の仮想挿入部１１８ａは、ユーザ１０４が患者１０６の外層を介して患者１０６に挿入したいと思う対象物１１８の任意の部分に対応し得る。例えば、対象物１１８としては、（図１に示すような）メス、スコープ、ドリル、プローブ、別の医療器具、またはユーザ１０４の手が挙げられる。患者１０６の外層のリアルタイム位置の登録と同様に、対象物１１８の外層の位置も登録され得る。しかしながら、環境１００内において比較的静止したままであり得る患者１０６とは異なり、対象物１１８は環境１００内において頻繁に動かされる可能性があり、そのため対象物１１８のリアルタイム位置は、患者１０６の外層の登録された位置に対して３Ｄ空間１０２内において自動的に追跡され得る。次に、ユーザ１０４が対象物１１８のいくつかの部分を患者１０６の外層内に挿入する場合、ＡＲヘッドセット１０８は、３Ｄデータからの患者１０６の投影された内層内に投影された対象物１１８の仮想挿入部１１８ａを表示し得る。このように、対象物１１８の仮想挿入部１１８ａは、対象物１１８の実際の挿入部分がユーザ１０４のリアルタイムビューから隠れている場合であっても、ユーザ１０４のリアルタイムビューに投影され得る。
【００２８】
いくつかの実施形態において、対象物１１８は、ＡＲヘッドセット１０８による対象物１１８のより正確な追跡を可能にするように特別に設計されていてもよい。例えば、対象物１１８が針を有する注射器のような比較的小さな医療器具である場合、対象物１１８はＡＲヘッドセット１０８のセンサによってより容易に感知されるように改良されていてもよい。例えば、これらの医療器具は、（例えば視覚センサによって）より容易に感知されるように、より大きな寸法にされてもよく、より容易に感知されるために（例えば、針を取り付ける注射器の先端部を球として形成することにより）特定の形状を与えられていてもよく、より容易に感知されるために（例えば、反射ストリップまたはライトストリップの追加によって）より見やすくされていてもよく、または（例えば、金属検知センサによってより容易に感知される金属から製造されることにより）より容易に感知される材料から製造されていてもよい。
【００２９】
さらに、いくつかの実施形態では、ＡＲヘッドセット１０８による対象物１１８のより正確な追跡を可能にするために、対象物１１８のハンドルのような付属部品を対象物１１８に追加してもよい。例えば、付属部品は、付属部品がＡＲヘッドセット１０８のセンサによってより容易に感知されるようにするために、上述した改良のうちのいずれを含んでいてもよく、また付属部品が対象物１１８に取り付けられることにより、対象物１１８がＡＲヘッドセット１０８のセンサによってより容易に感知されるようにする。さらに、付属部品は、対象物１１８の先端部のような患者１０６に挿入することを意図した対象物１１８の部分に取り付けられるように設計されていてもよく、その結果、ＡＲヘッドセット１０８のセンサは患者１０６の内部の付属部品を実際に感知することができる。例えば、小さな磁界を放射する付属部品が対象物１１８の先端部に取り付けられ、次にＡＲヘッドセット１０８の磁気センサが患者１０６内の付属部品の正確な位置を感知することができ、それによりユーザ１０４に対して表示される仮想挿入部１１８ａの精度の向上を助け得る。
【００３０】
いくつかの実施形態において、仮想カーソル１２２は、仮想ユーザインタフェース１１４上、別の仮想コントロール上、または３Ｄ空間１０２内の他の位置において、ＡＲヘッドセット１０８によって生成される仮想カーソルであり得る。いくつかの実施形態において、仮想カーソル１２２の位置は、ユーザ１０４の頭部の向きに対応し得るＡＲヘッドセット１０８の焦点の向き１２０に対応し得る。仮想カーソル１２２は、仮想ユーザインタフェース１１４の１つ以上の選択肢を選択するために、時にユーザの眼の瞬きのようなユーザ１０４による１つ以上の他の動作、またはＡＲヘッドセット１０８の視野内で２本の指を打ち合わせるなどのユーザ１０４の１つ以上の手振りと関連付けられて、ユーザ１０４によって用いられ得る。
【００３１】
環境１００に対して、本開示の範囲から逸脱することなく、変更、追加または省略がなされてもよい。例えば、いくつかの実施形態において、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザが、患者１０６の３Ｄデータにより拡張された患者１０６を同時に観察するために、３Ｄ空間１０２内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８を着用したユーザ１０４が患者の３Ｄデータによって拡張された複数の患者を同時に観察することを可能にするために、複数の患者が３Ｄ空間１０２内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８をそれぞれ着用した複数のユーザおよび複数の患者が３Ｄ空間内に同時に存在していてもよい。別の例では、ＡＲヘッドセット１０８からのビューの映像がＡＲヘッドセット１０８によって捕捉され、次いでネットワーク１１０上のサーバ１１２、または別のユーザによる観察のための遠隔ＡＲヘッドセットもしくは仮想現実（ＶＲ）ヘッドセットなどの遠隔地へ送信され得る。この例は、遠隔ユーザが患者１０６に対する医療処置の間にローカルユーザ１０４を誘導することを可能にする。さらに環境１００は、概してユーザ１０４が患者１０６を観察している状況にあると開示されているが、環境１００は、ユーザが樹木、岩、油田、または惑星のような任意の対象物の１つ以上の内層を観察したいと思う任意の環境としてより広く定義され得ることが理解される。
【００３２】
別の例では、ＡＲヘッドセット１０８は、加えて、または代わりに、音声コマンドを用いてユーザ１０４によって制御されてもよい。例えば、ユーザの手は患者１０６の手術または他の医療処置に従事しており、よって手振りを用いてＡＲヘッドセット１０８ヘッドセットを制御するのは不都合であるため、ユーザ１０４は音声コマンドを用いてもよい。この例では、音声コマンドは、仮想ユーザインタフェース１１４を制御するため（例えば仮想ユーザインタフェース１１４の選択肢を選択するため）、仮想空間的差異ボックス１１６を制御するため（例えば仮想空間的差異ボックス１１６を表示と非表示との間で切り替えるため、または仮想空間的差異ボックス１１６に表示された３Ｄデータのスライスを再配置するため）、または仮想カーソル１２２を制御するため（例えば患者１０６上に投影された仮想カーソル１２２を表示と非表示との間で切り替えるため）、またはいくつかのそれらの組み合わせを制御するために用いられ得る。さらに、この例において、音声コマンドは他の仮想コントロールとは独立して用いられてもよい。例えば、音声コマンドは、患者１０６上に投影された３Ｄデータの表示と非表示とを切り替えるか、またはそのような３Ｄデータの透明度のレベルを調整するために用いられてもよい。これらは、ユーザ１０４が患者１０６に対して手術を実施している間に有用であり、ユーザ１０４が投影された３Ｄデータを必要な場合のみに観察し、３Ｄデータが邪魔になる場合には投影された３Ｄデータを観察しないようにするか、または３Ｄデータをより透明にすることを可能にし得る。別の例では、仮想ユーザインタフェース１１４のようなＡＲヘッドセット１０８の制御は、ユーザ１０４に対して、選択肢を少なくとも一部は聴覚的に提示してもよい。選択肢の可聴表示は、ユーザ１０４が、実際に音声コマンドを発声する前に、最初に音声選択肢（例えば可能な音声コマンド）を聞くことができるようにし得る。選択肢の可聴表示はまた、ユーザ１０４が、現在ユーザの視野内に存在しない、かつ／または現在ＡＲヘッドセット１０８によって非表示にされている仮想コントロールと依然として相互作用できると同時に、患者１０６に対するＡＲヘッドセット１０８の焦点の向き１２０および／またはユーザ１０４の視覚焦点を維持することを可能にし得る。
【００３３】
図２Ａ〜図２Ｆは、第１患者を含む図１のＡＲ環境１００の写真である。図２Ａに開示するように、ユーザは第１患者の３Ｄデータにより第１患者のリアルタイムビューを拡張するＡＲヘッドセットを着用し得る。また図２Ａには、ユーザがＡＲヘッドセットの仮想コントロールを操作するために手振りを用いてもよいことも開示されている。図２Ｂ〜図２Ｆは、ＡＲヘッドセットを着用しているユーザの視点（ｐｅｒｓｐｅｃｔｉｖｅ）からの実景（ａｃｔｕａｌ  ｖｉｅｗ）を開示している。図２Ｂに開示するように、ユーザは、第１患者のリアルタイムビュー上に投影された患者の脳のＣＴ画像を表す３Ｄデータの軸方向スライスを得るために、手振りを用いてもよい。図２Ｃ開示するように、仮想空間的差異ボックスは、ユーザによって、第１患者の脳のＣＴ画像を表す３Ｄデータの同一の軸方向スライスを観察するために用いられ得る。図２Ｄに開示するように、ＡＲヘッドセットを着用しているユーザが第１患者のまわりを反時計回りに歩くにつれて、第１患者の脳のＣＴ画像を表す３Ｄデータの同一の軸方向スライスは３Ｄ空間内の異なる角度から観察され得る。図２Ｅおよび図２Ｆに開示するように、ユーザは軸方向スライスの観察から矢状スライスの観察へ、次に矢状スライスの観察から冠状スライスの観察にそれぞれ変更するために、仮想ユーザインタフェースの１つ以上の選択肢をそれぞれ操作し得る。
【００３４】
図３は第２患者を含む図１のＡＲ環境の写真である。特に、図３はＡＲヘッドセットを着用しているユーザの視点からの実景を開示している。図３に開示するように、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットから第２患者までのリアルタイム距離にほぼ等しいＡＲヘッドセットからの焦点距離に常に配置されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。さらに、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットの焦点の向きに常に直交して配向されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。
【００３５】
図４Ａ〜図４Ｂは、第３患者を含む図１のＡＲ環境の写真である。具体的には、図４Ａ〜図４Ｂは、ＡＲヘッドセットを着用しているユーザの視点からの実景を開示している。図４Ａと図４Ｂとを比較して開示しているように、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが第３患者にフォーカスしていない間はリアルタイムビュー上に投影された仮想ユーザインタフェースを表示するが（図４Ｂに開示）、ＡＲヘッドセットの焦点の向きが第３患者にフォーカスしている間は仮想ユーザインタフェースを非表示にするように構成され得る。このように、ＡＲヘッドセットは、仮想ユーザインタフェースが第３患者のビューを遮ることを回避し得る。いくつかの実施形態では、第３患者は一般に水平方向の視界よりも下方に配置されているため、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが水平よりも上方である場合には仮想ユーザインタフェースを表示し、ＡＲヘッドセットの焦点の向きが水平であるか、または水平よりも下方である場合には仮想ユーザインタフェースを非表示にすることによって、仮想ユーザインタフェースが第３患者のビューを遮ることを回避してもよい。これらの実施形態では、ユーザは、ＡＲヘッドセットを着用している間はいつでも単に見上げることにより、仮想ユーザインタフェースを見ることができる。
【００３６】
図２Ａ〜図４Ｂの写真に開示したように、３人の患者の３Ｄデータの投影された内層は、組織特性を表す色勾配を用いて着色されていてもよく、その色勾配は３人の患者の外層のリアルタイムビュー上に投影されたときに見えるように標準的な色勾配から変更されている。例えば、３ＤデータがＣＴスキャン画像およびＸ線像のうちの１つ以上を含んでいるいくつかの実施形態では、色勾配によって表される組織特性としては、最も軟質な組織から最も硬質な組織にわたる組織硬度が挙げられる。他の実施形態では、色勾配によって表される組織特性としては、緩和能（ｒｅｌａｘｉｖｉｔｙ）、エコー輝度（ｅｃｈｏｇｅｎｉｃｉｔｙ）、エンハンスメント量（ｅｎｈａｎｃｅｍｅｎｔ  ａｍｏｕｎｔ）、エンハンスメント速度（ｅｎｈａｎｃｅｍｅｎｔ  ｓｐｅｅｄ）、密度、放射活性および水分含量のうちの１つ以上が挙げられるが、これらに限定されるものではない。ＡＲヘッドセットを着用しているユーザが色勾配をより容易に見ることができるようにするためには、より暗い色勾配は患者上に投影されたときに患者のビューに溶け込んでしまうことがあるので、色勾配はコンピュータディスプレイ上で用いられる標準的な色勾配よりも明るい色に変更され得る。
【００３７】
図５は、３Ｄデータにより患者のビューを拡張する際に用いられ得る例示的なコンピュータシステム５００を示している。いくつかの実施形態において、コンピュータシステム５００は、この開示に記載するシステムまたは装置のうちのいずれかの一部であってもよい。例えば、コンピュータシステム５００は、ＡＲヘッドセット１０８または図１のサーバ１１２のうちのいずれかの一部であってもよい。
【００３８】
コンピュータシステム５００は、プロセッサ５０２、メモリ５０４、ファイルシステム５０６、通信ユニット５０８、オペレーティングシステム５１０、ユーザインタフェース５１２、およびＡＲモジュール５１４を備え、これらはすべて通信可能に接続され得る。いくつかの実施形態では、コンピュータシステム５００は、例えばデスクトップコンピュータ、クライアントコンピュータ、サーバコンピュータ、携帯電話、ラップトップコンピュータ、スマートフォン、スマートウォッチ、タブレットコンピュータ、携帯音楽プレーヤ、組込み型コンピュータ、ＡＲヘッドセット、ＶＲヘッドセット、または他のコンピュータシステムであってもよい。
【００３９】
一般に、プロセッサ５０２は、様々なコンピュータハードウェアまたはソフトウェアモジュールを含む任意の適切な専用もしくは汎用コンピュータ、計算主体（ｃｏｍｐｕｔｉｎｇ  ｅｎｔｉｔｙ）、または処理デバイスを含んでもよく、任意の適用可能なコンピュータ可読記憶媒体上に記憶された命令を実行するように構成され得る。例えば、プロセッサ５０２としては、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラム命令を解釈および／もしくは実行し、かつ／またはデータを処理するように構成された他のデジタルもしくはアナログ回路、または任意のそれらの組み合わせが挙げられる。いくつかの実施形態において、プロセッサ５０２は、メモリ５０４および／またはファイルシステム５０６に記憶されたプログラム命令を解釈および／もしくは実行し、かつ／またはメモリ５０４および／またはファイルシステム５０６に記憶されたデータを処理し得る。いくつかの実施形態において、プロセッサ５０２はファイルシステム５０６からプログラム命令を読み込んで（ｆｅｔｃｈ）、そのプログラム命令をメモリ５０４にロードし得る。プログラム命令がメモリ５０４にロードされた後、プロセッサ５０２はプログラム命令を実行し得る。いくつかの実施形態では、命令は、プロセッサ５０２が図６Ａ〜図６Ｅの方法６００のうちの１つ以上のブロックを実施することを含み得る。
【００４０】
メモリ５０４およびファイルシステム５０６は、コンピュータ実行可能命令またはデータ構造を保持または記憶するためのコンピュータ可読記憶媒体を含み得る。そのようなコンピュータ可読記憶媒体は、プロセッサ５０２のような汎用または専用コンピュータによってアクセスされ得る任意の入手可能な非一時的媒体であってもよい。一例として、これに限定されるものではないが、そのようなコンピュータ可読な記憶媒体としては、読み出し専用メモリ（ＲＯＭ）、電気的消去書込み可能な読み出し専用メモリ（ＥＥＰＲＯＭ）、コンパクトディスクを使った読み出し専用メモリ（ＣＤ−ＲＯＭ）もしくは他の光学ディスク記憶装置、磁気ディスク記憶装置もしくは他の磁気記憶装置、フラッシュメモリデバイス（例えばソリッドステートメモリデバイス）、または所望のプログラムコードをコンピュータ実行可能命令もしくはデータ構造の形で保持もしくは記憶するために用いられ、かつ汎用もしくは専用コンピュータによってアクセスされ得る他の記憶媒体を含む、非一時的コンピュータ可読記憶媒体が挙げられる。上記の組み合わせもコンピュータ可読記憶媒体の範囲内に含まれてもよい。コンピュータ実行可能命令としては、例えば、図６Ａ〜図６Ｅの方法６００の１つ以上のブロックのような特定の動作または動作の群をプロセッサ５０２に実施させるように構成された命令およびデータが挙げられる。これらのコンピュータ実行可能命令は、例えば、オペレーティングシステム５１０内、ＡＲモジュール５１４のような１つ以上のアプリケーション内、またはそれらのいくつかの組み合わせの中に含まれていてもよい。
【００４１】
通信ユニット５０８は、図１のネットワーク１１０のようなネットワーク上において情報を送信または受信するように構成された任意の構成要素、装置、システム、またはそれらの組み合わせを含み得る。いくつかの実施形態において、通信ユニット５０８は、他の位置にある他の装置、同一の位置にある他の装置、または同一システム内の他の構成要素とさえ通信し得る。例えば、通信ユニット５０８としては、モデム、ネットワークカード（無線または有線）、赤外線通信装置、無線通信装置（アンテナなど）、および／またはチップセット（ブルートゥース装置、８０２．６装置（例えばメトロポリタンエリアネットワーク（ＭＡＮ））、ＷｉＦｉ装置、ＷｉＭａｘ装置、セルラー通信装置など）、および／または同種のものが挙げられる。通信ユニット５０８は、本開示に記載したもののようなネットワークおよび／または他の装置もしくはシステムとデータが交換されることを可能にし得る。
【００４２】
オペレーティングシステム５１０は、コンピュータシステム５００のハードウェアおよびソフトウェア資源を管理するように構成されてもよく、またコンピュータシステム５００に共通サービスを提供するように構成されてもよい。
【００４３】
ユーザインタフェース５１２は、ユーザがコンピュータシステム５００と相互作用することを可能にするように構成された任意の装置を含み得る。例えば、ユーザインタフェース５１２は、映像、テキスト、アプリケーションユーザインタフェース、およびプロセッサ５０２によって指示されるような他のデータを示すように構成されたＬＣＤ、ＬＥＤ、またはＡＲレンズのような他の表示装置などの表示装置を含んでもよい。ユーザインタフェース５１２はさらに、マウス、トラックパッド、キーボード、タッチスクリーン、音量調節器、他のボタン、スピーカ、マイクロホン、カメラ、任意の周辺機器、または他の入力装置もしくは出力装置を含んでいてもよい。ユーザインタフェース５１２は、ユーザから入力を受信し、その入力をプロセッサ５０２に提供し得る。同様に、ユーザインタフェース５１２はユーザに出力を提示し得る。
【００４４】
ＡＲモジュール５１４は、プロセッサ５０２によって実行された場合に図６Ａ〜図６Ｅの方法６００の１つ以上のブロックのような１つ以上の方法を実施するように構成された、メモリ５０４またはファイルシステム５０６のような１つ以上の非一時的コンピュータ可読な媒体上に記憶された１つ以上のコンピュータ可読命令であってもよい。いくつかの実施形態において、ＡＲモジュール５１４は、オペレーティングシステム５１０の一部であってもよいし、またはコンピュータシステム５００のアプリケーションの一部であってもよいし、またはそれらのいくつかの組み合わせであってもよい。
【００４５】
コンピュータシステム５００に対して、本開示の範囲から逸脱することなく、変更、追加または省略がなされてもよい。例えば、コンピュータシステム５００の構成要素５０２〜５１４のうちのいずれも、図５では各々が単一の構成要素として示されているが、共同して機能し、通信可能に接続された複数の類似した構成要素を含んでいてもよい。さらに、コンピュータシステム５００は、単一のコンピュータシステムとして示されているが、例えばクラウドコンピューティング環境、マルチテナンシー環境、または仮想化環境などにおいて、ともにネットワーク化された複数の物理的または仮想コンピュータシステムを含んでもよいことが理解される。
【００４６】
図６Ａ〜図６Ｅは、３Ｄデータにより患者のビューを拡張する例示的な方法のフローチャートである。方法６００は、いくつかの実施形態において、装置またはシステムによって、例えば図１のＡＲヘッドセット１０８上および／またはサーバ１１２上で実行する図５のＡＲモジュール５１４によって、実施され得る。これらおよび他の実施形態において、方法６００は、１つ以上の非一時的コンピュータ可読媒体上に記憶された１つ以上のコンピュータ可読命令に基づいて、１つ以上のプロセッサによって実施され得る。これより方法６００について、図１、図２Ａ〜図２Ｆ、図３、図４Ａ〜図４Ｂ、図５、および図６Ａ〜図６Ｅに関連して説明する。方法６００は、以下ではＡＲヘッドセットによって実施されると記載されているが、方法６００は代わりに別のコンピュータシステムまたはコンピュータシステムの組み合わせによって実施されてもよいことが理解される。
【００４７】
ブロック６０２において、ＡＲヘッドセットは患者の３Ｄデータを特定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０２において、患者１０６の３Ｄデータを特定し得る。
【００４８】
いくつかの実施形態において、図１の患者１０６の３Ｄデータは、１つ以上の方法を用いて、患者１０６が環境１００内に存在している間にリアルタイムで、かつ／または患者１０６が環境１００に進入する前のいずれかにおいて捕捉または生成され得る。例えば、３Ｄデータのうちの一部は、患者１０６が環境１００に進入する前に得られてもよく、次にその３Ｄデータは患者１０６が環境１００内に存在している間にリアルタイムで得られる付加的な３Ｄデータによって拡張されてもよい。例えば、患者１０６の３Ｄデータとしては、ＭＲＩ画像、コンピュータ断層撮影（ＣＴ）スキャン画像、Ｘ線画像、陽電子放出断層撮影（ＰＥＴ）画像、超音波画像、蛍光画像、赤外線サーモグラフィ（ＩＲＴ）画像、または単光子放出断層撮影（ＳＰＥＣＴ）スキャン画像、またはそれらのいくつかの組み合わせが挙げられるが、これらに限定されるものではない。これらの画像のいずれも、静止画像の形態であってもよいし、またはビデオ画像の形態であってもよい。例えば、方法６００は、（図１に示したように）患者１０６の骨格系の静止Ｘ線画像を用いてもよい。別の例において、方法６００は、患者１０６の拍動心の超音波のビデオ画像を用いてもよい。別の例において、方法６００は、心臓の静止画像と拍動している心臓のリアルタイムビデオとの間で切り替えることができてもよい。
【００４９】
患者の３Ｄデータは、様々な異なる方法を用いて得られるが、いくつかの実施形態では、患者の外層および患者の複数の内層を含み得る。例えば、図１の患者１０６の外層は、図１の患者１０６の皮膚１０６ａおよび／または患者１０６が着用している衣服１０７を含み得る。別の例では、皮膚が遺体から除去されている場合には、遺体の外層は筋肉または脂肪の層のような皮膚以外の組織層であることがある。患者１０６の内層は、患者１０６の内部の骨１０６ｂ（図１に図示）、筋肉、器官、または流体を含み得るが、これらに限定されるものではない。２Ｄ画像が３Ｄ空間に投影されると２Ｄ画像は３Ｄの意味（３Ｄ  ｓｉｇｎｉｆｉｃａｎｃｅ）を有するので、３ＤデータはＸ線画像のような２Ｄ画像を含み得る。例えば、患者１０６の３Ｄデータは、皮膚１０６ａまたは患者１０６の衣服１０７上に投影され得る２ＤのＸ線画像を含んでいてもよい。３Ｄデータはまた時間要素を含んでいてもよく、これは時に４次元（４Ｄ）データと称される。例えば、３Ｄデータは、３Ｄ画像だけでなく、経時的に変化する３Ｄ画像も含むビデオを含んでいてもよい。複数の内層は、患者１０６全体に及ぶ層であってもよいし、患者１０６内に特定の部分的深さだけ及ぶ層であってよい。例えば、ミリ波パッシブ撮像装置（ｍｉｌｌｉｍｅｔｅｒ  ｗａｖｅ  ｓｃａｎｎｅｒ）から導出された３Ｄデータのようないくつかの形態の３Ｄデータは、単に患者の外衣と皮膚との間に備えられた物を明らかにするように構成されていてもよい。加えて、または代わりに、３Ｄデータは、患者１０６に特定的に対応する代わりに、事前設定解剖アトラスから導出された３Ｄデータのような、単に一般的に患者１０６に対応するデータであってもよい。３Ｄデータはまた様々な種類の３Ｄデータの組み合わせであってもよい。
【００５０】
いくつかの実施形態では、３Ｄデータが捕捉されたときに患者１０６が存在したのと同じ相対位置および／または向きで、図１の患者１０６を手術台１０３上に配置するように注意が払われ得る。代わりに、３Ｄデータが捕捉または生成されたときに患者１０６が存在したのとは異なる手術台１０３上の位置および／または向きに患者１０６が配置されている場合には、ＡＲヘッドセット１０８は、患者１０６の異なる位置および／または向きと一致するように３Ｄデータを変形させ得る。
【００５１】
ブロック６０４において、ＡＲヘッドセットは、３Ｄデータから患者の外層の仮想形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０４において、３Ｄデータから患者１０６の外層の仮想形態計測測定値を決定し得る。これらの仮想形態計測測定値の決定は、ＡＲヘッドセット１０８が３Ｄデータから患者の外層の寸法および形状を決定するために３Ｄデータを分析することを含み得る。いくつかの実施形態において、外層の仮想形態計測測定値は、外層の寸法および形状を表す外層の点群を生成することを伴い得る。例えば、外層が三角形または他の多角形形状によって表される場合、点群は多角形状の頂点のうちの一部またはすべてを含み得る。
【００５２】
ブロック６０６では、ＡＲヘッドセットは、３Ｄ空間内における患者の外層のリアルタイム位置を登録し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０６において、３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム位置を登録し得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、３Ｄ空間１０２をマップし、３Ｄ空間１０２内における患者１０６の外層のリアルタイム位置をマップするように構成された１つ以上のセンサを含み得る。これらのセンサとしては、赤外線センサ、サウンドセンサ、撮影センサ（ｐｈｏｔｏｇｒａｐｈｉｃ  ｓｅｎｓｏｒｓ）、透視センサ（ｆｌｕｏｒｏｓｃｏｐｙ  ｓｅｎｓｏｒｓ）、加速度計、ジャイロスコープまたは磁力計が挙げられるが、これらに限定されるものではない。
【００５３】
ブロック６０８において、ＡＲヘッドセットは、患者の外層のリアルタイム形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６０８において、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム形態計測測定値を決定し得る。いくつかの実施形態において、ブロック６０６における登録に用いられたセンサはまた、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイムの寸法および形状を決定するためにも用いられ得る。いくつかの実施形態において、これは、患者１０６の皮膚１０６ａおよび衣服１０７の寸法および形状を表す皮膚１０６ａおよび衣服１０７の点群を生成することを含み得る。
【００５４】
ブロック６１０において、ＡＲヘッドセットは、３Ｄデータからの患者の外層の位置を自動的に登録し、登録された３Ｄ空間内における患者の外層のリアルタイム位置と位置合わせし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１０において、３Ｄデータからの患者１０６の外層の位置を自動的に登録して、登録された３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイム位置と位置合わせし得る。いくつかの実施形態において、この自動登録（ａｕｔｏｍａｔｉｃ  ｒｅｇｉｓｔｒａｔｉｏｎ）は、点群レジストレーション（ｐｏｉｎｔ  ｓｅｔ  ｒｅｇｉｓｔｒａｔｉｏｎ）を用いて、ブロック６０４において生成された点群をブロック６０８において生成された点群と自動的に位置合わせすることを含み得る。ブロック６１０の自動登録は、３Ｄデータからの患者の外層を患者のリアルタイム外層と位置合わせする手動の方法よりも時間がかからず、煩雑ではなく、誤りを生じ難いことがある。さらに、いくつかの実施形態において、ブロック６１０は任意の非解剖学的基準を用いることなく実施され得る。これは、時間がかかり、煩雑であり、不正確な非解剖学的基準の配置を回避し得る。
【００５５】
ブロック６１２において、ＡＲヘッドセットは、患者の外層のリアルタイムビュー上に投影された３Ｄデータからの患者の内層のうちの１つを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１２において、患者１０６の皮膚１０６ａおよび衣服１０７のリアルタイムビュー上に投影された３Ｄデータからの患者１０６の骨１０６ｂを表示し得る。別の例において、患者の脳のＣＴスキャン画像が、図２Ｂおよび図２Ｃでは患者の頭部の頂部上に投影されており、または図２Ｅでは患者の頭部の側面上に投影されている。
【００５６】
ブロック６１４において、ＡＲヘッドセットは自動登録が正しいという信頼度スコアを生成し、ブロック６１６では、ＡＲヘッドセットは信頼度スコアをユーザに提示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１４において、ブロック６１２で実施した自動登録が正しいという信頼度スコアを生成し、その信頼度スコアをユーザ１０４に対して、視覚的に、聴覚的に、またはいくつかの他の提示形式で提示し得る。いくつかの実施形態において、ＡＲヘッドセット１０８は、ブロック６１２において実施された点群レジストレーションの一部として、この信頼度スコアを生成してもよい。例えば、信頼度スコアは、３Ｄデータの外層が患者１０６外層と一致する信頼度を示す０％〜１００％の間のスコアであってもよい。信頼度スコアが相対的に高い場合には、ユーザ１０４は、患者１０６上に投影されている３Ｄデータが実際に患者１０６に対応するという自信をもって、ＡＲヘッドセット１０８を用いた患者１０６に対する訓練、研究、診断または治療を進め得る。他方で、信頼度スコアが相対的に低い場合には、患者１０６上に投影されている３Ｄデータが実際に患者１０６に対応するかどうかについて当然の疑問が存在するため、ユーザ１０４は、ＡＲヘッドセット１０８を用いた患者１０６の任意の訓練、研究、診断または治療を中止し得る。
【００５７】
ブロック６１８において、ＡＲヘッドセットは、患者の外層を介して患者に対象物を挿入する前に、対象物のリアルタイム形態計測測定値を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６１８において、患者１０６の外層を介して患者１０６に対象物１１８を挿入する前に、対象物１１８のリアルタイム形態計測測定値を決定し得る。いくつかの実施形態において、ブロック６１８における決定はブロック６０８における決定に類似した方法で実施され得る。他の実施形態において、特に標準的な医療器具のような標準対象物については、ブロック６１８の決定は、標準対象物の設計資料中に見られる標準対象物の形態計測測定値にアクセスすることにより実施されてもよい。
【００５８】
ブロック６２２において、ＡＲヘッドセットは、登録された３Ｄ空間内における患者の外層の位置に対して、および登録された３Ｄデータからの患者の外層の位置に対して、３Ｄ空間内における対象物のリアルタイム位置を追跡し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２２において、３Ｄ空間１０２内における患者１０６の皮膚１０６ａおよび衣服１０７の登録された位置に対して、および３Ｄデータからの患者１０６の外層の登録された位置に対して、３Ｄ空間１０２内における対象物１１８のリアルタイム位置を追跡し得る。
【００５９】
ブロック６２４において、対象物の一部が患者の外層を介して患者に挿入されている間、ＡＲヘッドセットは、投影された３Ｄデータからの患者の内層内に投影された対象物の仮想部分を表示し得る。例えば、図１の対象物１１８の一部が患者１０６の衣服１０７を介して患者１０６に挿入されている間、ＡＲヘッドセット１０８は、投影された３Ｄデータからの患者１０６の骨１０６ｂに投影された対象物１１８の仮想挿入部１１８ｂを表示し得る。
【００６０】
ブロック６２６において、ＡＲヘッドセットは、患者のリアルタイムビュー上に投影された仮想空間的差異ボックスを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２６において、患者１０６のリアルタイムビュー上に投影された仮想空間的差異ボックス１１６を表示し得る。いくつかの実施形態において、仮想空間的差異ボックス１１６は、図１の投影された骨１０６ｂのような投影された３Ｄデータからの患者１０６の内層を所定体積の仮想空間的差異ボックス１１６内に限定し得る。
【００６１】
ブロック６２８において、ＡＲヘッドセットは、投影された３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６２８で、投影された３Ｄデータからの患者１０６の骨１０６ｂの表示を変更するための選択肢を含む仮想ユーザインタフェース１１４を生成し得る。
【００６２】
ブロック６３０において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしていない間に、リアルタイムビュー上に投影された仮想ユーザインタフェースを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３０で、ＡＲヘッドセット１０８の焦点の向きが患者１０６にフォーカスしていない間に、リアルタイムビュー上に投影された仮想ユーザインタフェース１１４を表示し得る。
【００６３】
ブロック６３２において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしている間に、仮想ユーザインタフェースを非表示にし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想ユーザインタフェース１１４を非表示にし得る。いくつかの実施形態において、ブロック６３０およびブロック６３２は、仮想ユーザインタフェース１１４が患者１０６の任意のビューを遮ることを回避し得る。
【００６４】
ブロック６３４において、ＡＲヘッドセットは、ＡＲヘッドセットから患者までのリアルタイム距離を決定し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６３４で、ヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１を決定し得る。このリアルタイム距離Ｄ１は、例えば、患者１０６の中心まで、患者１０６の焦点領域の中心まで、患者１０６上で現在観察されている３Ｄデータのスライスまで、または患者１０６上の他のいくつかの点または全般領域までのリアルタイム距離であり得る。
【００６５】
ブロック６３６において、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットから患者までのリアルタイム距離にほぼ等しいＡＲヘッドセットからの焦点距離に常に配置されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。例えば、図１のＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４がＡＲヘッドセット１０８から患者１０６までのリアルタイム距離Ｄ１にほぼ等しいＡＲヘッドセット１０８からの焦点距離Ｄ２に常に配置されるようにするために、仮想ユーザインタフェース１１４の表示をリアルタイムで更新し得る。この焦点距離Ｄ２は、ユーザ１０４が患者１０６と仮想ユーザインタフェース１１４との間でユーザの焦点を移すときにユーザの眼の焦点を変更しなければならないことを回避し得るので、ユーザ１０４にとって快適であり得る。
【００６６】
ブロック６３８において、ＡＲヘッドセットは、仮想ユーザインタフェースがＡＲヘッドセットの焦点の向きに常に直交して配向されるようにするために、仮想ユーザインタフェースの表示をリアルタイムで更新し得る。例えば、図１のＡＲヘッドセット１０８は、仮想ユーザインタフェース１１４がＡＲヘッドセット１０８の焦点の向き１２０に常に直交して配向されるようにするために、仮想ユーザインタフェース１１４の表示をリアルタイムで更新し得る。仮想ユーザインタフェース１１４がＡＲヘッドセット１０８より上方に配置されている場合には、図１に開示するように、仮想ユーザインタフェース１１４をＡＲヘッドセット１０８に直交させて配向することにより、仮想ユーザインタフェース１１４の頂部は図１に開示するようにＡＲヘッドセット１０８に向かって若干下方に傾けられ得る。この配向は、ＡＲヘッドセット１０８の現在の焦点の向き１２０に関わらず、またユーザ１０４が３Ｄ空間１０２内のどこに立っているかに関わらず、仮想ユーザインタフェース１１４を常にユーザ１０４に対して正面に対面させるので、ユーザ１０４にとって快適であり得る。
【００６７】
ブロック６４０において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしていない間に、リアルタイムビュー上および／または仮想ユーザインタフェース上に投影される仮想カーソルを表示し得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６４０で、ＡＲヘッドセット１０８の焦点の向きが患者１０６にフォーカスしていない間に、リアルタイムビュー上および／またはユーザインタフェース１１４上に投影される仮想カーソル１２２を表示し得る。
【００６８】
ブロック６４２において、ＡＲヘッドセットは、ＡＲヘッドセットの焦点の向きが患者にフォーカスしている間に、仮想カーソルを非表示にし得る。例えば、図１のＡＲヘッドセット１０８は、ブロック６４２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想カーソル１２２を非表示にし得る。いくつかの実施形態において、ブロック６４０，６４２は、仮想カーソル１２２が患者１０６の任意のビューを遮ることを回避し得る。いくつかの実施形態において、図１のＡＲヘッドセット１０８は、ブロック６４２で、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間に、仮想カーソル１２２を選択的にのみ非表示にし得る。これらの実施形態において、ＡＲヘッドセット１０８の焦点の向き１２０が患者１０６にフォーカスしている間にユーザ１０４が仮想カーソル１２２の使用を所望し得る状況、例えば、ユーザ１０４が、患者１０６のビューに注釈を付けるため、および／または投影された３Ｄデータに注釈を付けるためにアノテーションツール（ａｎｎｏｔａｔｉｏｎ  ｔｏｏｌ）を用いている場合（例えば手術中に目的の位置を追跡し続けるのを支援するために、他の３Ｄデータが非表示にされている場合であっても患者１０６上に投影されたままとなり得る、例えば十字線注釈）、またはユーザ１０４が患者１０６のビューの測定を行うため、および／または投影された３Ｄデータを測定するために測定ツールを用いている場合などが存在することがある。
【００６９】
いくつかの実施形態において、方法６００は、患者の３Ｄデータと実際の患者との間の自動位置合わせ（ａｕｔｏｍａｔｉｃ  ａｌｉｇｎｍｅｎｔ）を行ってもよい。さらに、この自動位置合わせは、非解剖学的基準を手動で位置合わせおよび／または手動で配置することなく行われ、よって従来型の手動位置合わせよりも容易かつ正確に自動位置合わせを成し遂げ得る。
【００７０】
方法６００のブロックは図６Ａ〜図６Ｅでは個別のブロックとして示されているが、様々なブロックは、所望の実施に応じて、付加的なブロックに分割されてもよく、より少数のブロックに組み合わせられてもよく、並べ替えられてもよく、拡張されてもよく、または排除されてもよい。例えば、いくつかの実施形態では、ブロック６０２〜６１２は、ブロック６１４〜６４２のうちの任意のものを実施することなく、実施されてもよい。さらに、いくつかの実施形態において、ブロック６１４〜６１６、ブロック６１８〜６２４、ブロック６２６、またはブロック６２８〜６４２のうちの任意のものに関連して、患者と３Ｄデータとの間の登録および位置合わせが自動的にではなく手動で実施される場合のように、ブロック６０４〜６１０を伴うことなく、ブロック６０２，６１２のみが実施されてもよい。さらに、いくつかの実施形態において、ブロック６２８〜６３２はブロック６３４〜６４２を伴うことなく実施されてもよい。また、いくつかの実施形態において、ブロック６２８〜６３６はブロック６３８〜６４２を伴うことなく実施されてもよく、ブロック６２８〜６３２およびブロック６３８はブロック６３４〜６３６およびブロック６４０〜６４２を伴うことなく実施されてもよく、またはブロック６２８〜６３２およびブロック６４０〜６４２はブロック６３４〜６３８を伴うことなく実施されてもよい。さらに、いくつかの実施形態において、ブロック６１４〜６４２のうちの任意のものが並行して実施されてもよい。
【００７１】
別の例において、方法６００はさらに、患者が手術用覆布に覆われる前後のいずれかにおいて自動登録の問題に対処することを含んでいてもよい。例えば、ブロック６１０は患者を手術用覆布内に覆う前に実施されてもよく、次いでブロック６１２において３Ｄデータが手術用覆布上に投影されてもよい。しかしながら、患者が手術用覆布内に覆われた後にブロック６１０が実施される場合には、方法６００は、患者の適切な外層を不明瞭にする手術用覆布の問題に対処するように変更され得る。方法６００に対するそのような変更の１つは、ＡＲヘッドセットが手術用覆布を見通す（ｐｅｎｅｔｒａｔｅ）ことができ、患者のより適切な外層を見つけることができるほど十分に透明な手術用覆布を用いることを含み得る。別のそのような変更は、手術用覆布で覆った後でも見え続け、かつブロック６１２中に気付くことができる位置に（例えば特定パターンで）患者の外層上に視覚的マーカを配置することを含み得る。その場合には、患者の大部分が比較的不透明な手術用覆布内に覆われている場合であっても、視覚的マーカが依然として目に見える限り、基準点として視覚的マーカを用いて自動再登録（ａｕｔｏｍａｔｉｃ  ｒｅ−ｒｅｇｉｓｔｒａｔｉｏｎ）を実施することができる。別のそのような変更は、視覚外マーカ（ｅｘｔｒａ−ｖｉｓｕａｌ  ｍａｒｋｅｒｓ）を外層上もしくは患者上、あるいは患者の内部において、手術用覆布で覆った後には見え続けないが、それらのマーカがブロック６１２中には見えるため、またはそれらのマーカがブロック６１２中にセンサによって感知されるために、ブロック６１２中に気付くことができる位置に（例えば特定パターンで）配置することを含む。これらの視覚外マーカは、たとえ視覚外マーカがＡＲヘッドセットに対して見えなくても、ＡＲヘッドセット内のセンサによって手術用覆布下において検知することができる材料から製造され得る。例えば、金属検知器センサが金属視覚外マーカ（例えば皮下または体腔内に挿入された金属メッシュマーカまたは金属マーカなど）を検知してもよいし、赤外線センサが赤外線検知可能な視覚外マーカを検知してもよいし、磁気検出器センサが磁界発生視覚外マーカを検知してもよいし、またはラジオ周波検出器がラジオ周波発生視覚外マーカを検知してもよい。その場合には、患者の大部分が比較的不透明な手術用覆布中に覆われている場合であっても、ＡＲヘッドセット内のセンサが手術用覆布下の視覚外マーカの位置を検知することができる限り、基準点として視覚外マーカを用いて自動再登録を実施することができる。
【００７２】
さらに、方法６００は、ＡＲシステム自体の機能を向上し、またＡＲの分野を改善し得ることが理解される。例えば、図１のＡＲヘッドセット１０８の機能は、それ自体、方法６００により、仮想形態計測測定値を用いて、かつリアルタイム形態計測測定値を用いて、また一部の場合には任意の非解剖学的基準を用いることなく、３Ｄデータからの患者１０６の外層の仮想位置を、登録された３Ｄ空間１０２内における患者１０６の外層（例えば皮膚１０６ａおよび衣服１０７）のリアルタイム位置と位置合わせするために、自動的に登録することによって向上され得る。この自動登録は、手動登録または非解剖学的基準の手動配置を用いた登録を使用する従来のＡＲシステムよりも容易かつ正確に実施され得る。
【００７３】
上記に示したように、本願に記載する実施形態は、以下でより詳細に検討するような様々なコンピュータハードウェアまたはソフトウェアモジュールを含む専用または汎用コンピュータ（例えば図５のプロセッサ５０２）の使用を含み得る。さらに上記に示したように、本願に記載する実施形態は、記憶されたコンピュータ実行可能命令またはデータ構造を保持するか、または有するためのコンピュータ可読媒体（例えば図５のメモリ５０４またはファイルシステム５０６）を用いて実施されてもよい。
【００７４】
いくつかの実施形態において、本願に記載する異なる構成要素およびモジュールは、コンピューティングシステム上で実行するオブジェクトまたはプロセスとして（例えば別々のスレッドとして）実施されてもよい。本願に記載する方法のうちのいくつかは、概して、（汎用ハードウェア上に記憶され、かつ／またはた汎用ハードウェアによって実行される）ソフトウェア内において実施されると記載されているが、特定ハードウェア実施またはソフトウェア実施と特定ハードウェア実施との組み合わせも可能であり、企図される。
【００７５】
慣例に従って、図面に示した様々な特徴は、一定の縮尺で描かれていない場合がある。本開示に示した実例は、任意の特定の装置（例えば装置、システムなど）または方法の実景であることを意図するものではなく、しかしながら単に本開示の様々な実施形態を説明するために用いられている表現の例にすぎない。従って、様々な特徴の寸法は、明瞭にするために任意で拡大または縮小されていることがある。加えて、図面のうちのいくつかは明瞭にするために単純化されていることがある。よって、図面は、所与の装置（例えばデバイス）の構成要素のすべて、または特定の方法のすべての操作を示しているとは限らない。
【００７６】
本願および特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）において使用される用語は、一般に「オープン」タームとして意図される（例えば「〜を含む（ｉｎｃｌｕｄｉｎｇ）」という語は「〜を含むが、これ（ら）に限定されるものではない（ｉｎｃｌｕｄｉｎｇ，  ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきであり、「〜を有する（ｈａｖｉｎｇ）」という語は「〜を少なくとも有する（ｈａｖｉｎｇ  ａｔ  ｌｅａｓｔ）」と解釈されるべきであり、「〜を含む（ｉｎｃｌｕｄｅｓ）」という語は「〜を含むが、これ（ら）に限定されるものではない（ｉｎｃｌｕｄｅｓ，  ｂｕｔ  ｉｓ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」と解釈されるべきである、など）。
【００７７】
更に、導入された請求項の記載事項において特定の数が意図される場合には、そのような意図は当該請求項中に明示的に記載されており、またそのような記載がない場合には、そのような意図は存在しない。例えば、理解を助けるものとして、以下の添付の特許請求の範囲は請求項の記載を導入するために「少なくとも１つの（ａｔ  ｌｅａｓｔ  ｏｎｅ）」および「１つ以上の（ｏｎｅ  ｏｒ  ｍｏｒｅ）」という導入句の使用を含むことがある。しかしながら、そのような句の使用は、「ａ」または「ａｎ」という不定冠詞による請求項の記載事項の導入が、たとえ同一の請求項内に「１つ以上の」または「少なくとも１つの」という導入句と「ａ」または「ａｎ」のような不定冠詞とが含まれる場合であっても、そのように導入された請求項の記載事項を含むいかなる特定の請求項も、そのような記載事項を１つしか含まない実施形態に限定されることを意味すると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は「少なくとも１つの」または「１つ以上の」を意味するものと解釈されるべきである）。請求項の記載事項を導入するために用いられる定冠詞の使用についても同様のことが当てはまる。
【００７８】
加えて、導入された請求項の記載事項において特定の数が明示的に記載されている場合であっても、そのような記載は、少なくとも記載された数を意味するものと解釈されるべきであることが理解される（例えば、他に修飾語のない「２つの記載事項」という単なる記載は、少なくとも２つの記載事項、または２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ、およびＣなどのうちの少なくとも１つ」または「Ａ、Ｂ、およびＣなどのうちの１つ以上」に類する表現が用いられる場合、一般に、そのような構文は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢの両方、ＡおよびＣの両方、ＢおよびＣの両方、および／またはＡ、ＢおよびＣのすべて、などを含むことが意図される。例えば、「および／または」という用語の使用は、このように解釈されることが意図される。
【００７９】
更に、２つ以上の選択的な用語を表す任意の離接語および／または離接句は、要約書、詳細な説明、特許請求の範囲、または図面のいずれの中であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、またはそれらの用語の双方を含む可能性を意図すると理解されるべきである。例えば、「ＡまたはＢ」という句は、「Ａ」もしくは「Ｂ」、または「ＡおよびＢ」の可能性を含むものと理解されるべきである。
【００８０】
加えて、「第１」、「第２」、「第３」などの用語の使用は、本願では、必ずしも要素の特定の順位または数を意味するために用いられているとは限らない。一般に、「第１」、「第２」、「第３」などの用語は、共通識別子として異なる要素を区別するために用いられる。「第１」、「第２」、「第３」などの用語が特定の順序を意味することが示されていない場合には、これらの用語は特定の順序を意味すると理解されるべきではない。更に、「第１」「第２」、「第３」などの用語が要素の特定の数を意味することが示されていない場合、これらの用語は要素の特定の数を意味すると理解されるべきではない。例えば、第１部品は第１側面を有すると記載され、かつ第２部品は第２側面を有すると記載されてもよい。第２部品に関して「第２側面」という用語を使用するのは、第２部品のそのような側面を第１部品の「第１側面」と区別するためであり、第２部品が２つの側面を有することを示すためではない。
【００８１】
説明を目的とした前記の記載は、特定の実施形態に関連して記載されている。しかしながら、上記の例示的な検討が、網羅的であること、または本発明を開示されたまさにその形態に権利要求されるように限定することは意図されていない。上記の教示を考慮して、多くの変更および変形例が可能である。実施形態は実際の応用について説明するために選択され記載されており、それにより他の当業者が企図される特定の用途に適し得るような様々な変更を伴った請求項に記載の本発明および様々な実施形態を用いることが可能となる。
【図１】
2020516003.tif 000003
【図２Ａ】
2020516003.tif 000004
【図２Ｂ】
2020516003.tif 000005
【図２Ｃ】
2020516003.tif 000006
【図２Ｄ】
2020516003.tif 000007
【図２Ｅ】
2020516003.tif 000008
【図２Ｆ】
2020516003.tif 000009
【図３】
2020516003.tif 000010
【図４Ａ】
2020516003.tif 000011
【図４Ｂ】
2020516003.tif 000012
【図５】
2020516003.tif 000013
【図６Ａ】
2020516003.tif 000014
【図６Ｂ】
2020516003.tif 000015
【図６Ｃ】
2020516003.tif 000016
【図６Ｄ】
2020516003.tif 000017
【図６Ｅ】
2020516003.tif 000018
【手続補正書】
【提出日】令和1年10月30日(2019.10.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
前記患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの前記患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの前記患者の内層は所定体積の仮想３Ｄ形状内に限定されていることとを含む、方法。
【請求項２】
前記仮想３Ｄ形状は仮想ボックスであり、
前記仮想ボックスは、頂面、底面、左側面、右側面、前面および後面を備える、請求項１に記載の方法。
【請求項３】
前記仮想３Ｄ形状は、前記仮想３Ｄ形状の線を表示することと、非表示にすることとの間で切り替えるために制御されるように構成されており、
前記仮想３Ｄ形状は、前記投影された前記３Ｄデータからの患者の内層の二次元（２Ｄ）スライスおよび／または３Ｄスライスを再配置するために制御されるように構成されている、請求項１に記載の方法。
【請求項４】
前記仮想３Ｄ形状の線は表示される、請求項１に記載の方法。
【請求項５】
前記仮想３Ｄ形状の線は非表示にされる、請求項１に記載の方法。
【請求項６】
前記患者の外層のリアルタイム位置に対する対象物のリアルタイム位置を自動的に追跡することと、
前記対象物の一部が前記患者の外層を介して患者に挿入されている間に、前記ＡＲヘッドセットにおいて、前記投影された患者の内層に投影された前記対象物の仮想部分を表示することとをさらに含む、請求項１に記載の方法。
【請求項７】
前記対象物は、前記対象物が前記患者の外層を介して患者に挿入された後であっても前記ＡＲヘッドセットのセンサが感知することができる材料から形成されており、
前記自動的に追跡することは、前記ＡＲヘッドセットのセンサが前記患者の外層のリアルタイム位置に対する前記対象物のリアルタイム位置を自動的に追跡することを含む、請求項６に記載の方法。
【請求項８】
前記患者の外層のリアルタイム非画像実景上に投影された場合により良好に見えるようにするために、前記複数の内層の元の色勾配を前記元の色勾配よりも明るくなるように変更することと、
前記ＡＲヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示し、前記投影された前記３Ｄデータからの患者の内層は変更された色勾配を有することとを含む、請求項１に記載の方法。
【請求項９】
前記変更された色勾配は、前記患者の複数の内層の組織特性を表しており、前記組織特性は、組織硬度、緩和度、エコー輝度、エンハンスメント量、エンハンスメント速度、密度、放射活性および水分含量のうちの１つ以上を含む、請求項８に記載の方法。
【請求項１０】
前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる位置に前記患者を配置することと、
前記３Ｄデータを前記患者の異なる位置に合致するように変形させることと、
前記ＡＲヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記変形された３Ｄデータからの前記患者の内層のうちの１つを表示することとをさらに含む、請求項１に記載の方法。
【請求項１１】
前記配置することは、前記患者の３Ｄデータが捕捉されたときに前記患者が存在したのとは異なる向きに前記患者を配置することを含み、
前記変形させることは、前記３Ｄデータを前記患者の異なる向きに合致するように変形させることを含む、請求項１０に記載の方法。
【請求項１２】
３Ｄ空間をマップすることと、
前記３Ｄ空間内において前記患者の外層のリアルタイム位置をマップすることによって、前記３Ｄ空間内における前記患者の外層のリアルタイム位置を登録することと、
前記患者上に視覚外マーカを配置することと、
前記３Ｄデータからの患者の外層の仮想位置を自動的に登録して、前記登録された３Ｄ空間内における前記患者の外層のリアルタイム位置と位置合わせすることと、
前記登録された前記３Ｄ空間内における前記患者の外層のリアルタイム位置に対して、前記視覚外マーカのリアルタイム位置を自動的に登録することと、
前記患者および視覚外マーカの少なくとも一部を不透明な手術用覆布によって被覆することと、
前記ＡＲヘッドセットのセンサを用いて、前記不透明な手術用覆布下の前記視覚外マーカのリアルタイム位置を感知することと、
前記３Ｄデータからの患者の外層の仮想位置を、感知した前記視覚外マーカのリアルタイム位置と位置合わせするために、自動的に再登録することとをさらに含む、請求項１に記載の方法。
【請求項１３】
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想カーソルおよび／または仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットの焦点の向きが前記患者以外の他の場所にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想カーソルおよび／または仮想ユーザインタフェースを表示することと、
前記ＡＲヘッドセットの焦点の向きが患者にフォーカスしていると判定された場合には、前記ＡＲヘッドセットにおいて、前記仮想カーソルおよび／または仮想ユーザインタフェースを非表示にすることとをさらに含む、請求項１に記載の方法。
【請求項１４】
前記ＡＲヘッドセットが水平よりも上方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者以外の他の場所にフォーカスしていると判定され、かつ、
前記ＡＲヘッドセットが水平よりも下方にある場合には、前記ＡＲヘッドセットの焦点の向きは前記患者上にフォーカスしていると判定される、請求項１３に記載の方法。
【請求項１５】
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
前記仮想ユーザインタフェースが常に前記ＡＲヘッドセットの焦点の向きに直交して配向されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することとをさらに含む、請求項１に記載の方法。
【請求項１６】
前記ＡＲヘッドセットの焦点の向きに対する前記仮想ユーザインタフェースの直交した配向は、ユーザが前記患者の方に向いているか、または前記患者から離反した方に向いているときでも、前記ＡＲヘッドセットの現在の焦点の向きにかかわらず、前記仮想ユーザインタフェースを常に前記ＡＲヘッドセットを装着しているユーザに対して正面に対面させる、請求項１５に記載の方法。
【請求項１７】
前記ＡＲヘッドセットにおいて、前記投影された前記３Ｄデータからの患者の内層の表示を変更するための選択肢を含む仮想ユーザインタフェースを生成することと、
前記ＡＲヘッドセットにおいて、リアルタイム非画像実景上に投影された前記仮想ユーザインタフェースを表示することと、
リアルタイムで、前記ＡＲヘッドセットから前記患者までの距離を決定することと、
前記仮想ユーザインタフェースが前記ＡＲヘッドセットから前記患者までのリアルタイム距離にほぼ等しい前記ＡＲヘッドセットからの焦点距離に常に配置されるようにするために、前記ＡＲヘッドセットにおいて前記仮想ユーザインタフェースの表示をリアルタイムで更新することとをさらに含む、請求項１に記載の方法。
【請求項１８】
前記ＡＲヘッドセットから前記患者までのリアルタイム距離は、前記患者の中心まで、前記患者の焦点領域の中心まで、または前記患者上において現在観察されている３Ｄデータのスライスまでのリアルタイム距離である、請求項１７に記載の方法。
【請求項１９】
前記患者のリアルタイム３Ｄビデオデータをリアルタイムで捕捉することと、前記リアルタイム３Ｄビデオデータは前記患者の外層および患者の複数の内層を含むことと、
前記ＡＲヘッドセットにおいて、リアルタイムで、前記患者の外層のリアルタイム非画像実景上に投影された前記リアルタイム３Ｄビデオデータからの前記患者の内層のうちの１つを表示することとをさらに含む、請求項１に記載の方法。
【請求項２０】
前記投影された前記リアルタイム３Ｄビデオデータの内層は、前記患者の外層内で活動している内臓を示す、請求項１９に記載の方法。
【請求項２１】
前記３Ｄデータからの患者の外層の仮想位置を自動的に登録して、前記患者の外層のリアルタイム位置と位置合わせすることと、
自動登録が正しいという数値的信頼度スコアを生成することと、
前記ＡＲヘッドセットにおいて、前記数値的信頼度スコアをユーザに対して表示することとをさらに含む、請求項１に記載の方法。
【請求項２２】
前記数値的信頼度スコアは、前記３Ｄデータの外層が前記患者の外層に合致する信頼度を示す１〜１００の数字である、請求項２１に記載の方法。
【請求項２３】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
前記患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、
前記患者の外層のリアルタイム位置に対する対象物のリアルタイム位置を自動的に追跡することと、
前記対象物の一部が前記患者の外層を介して患者に挿入されている間に、前記ＡＲヘッドセットにおいて、前記投影された患者の内層に投影された前記対象物の仮想部分を表示することとを含む、方法。
【請求項２４】
前記対象物は、前記対象物が前記患者の外層を介して患者に挿入された後であっても前記ＡＲヘッドセットのセンサが感知することができる材料から形成されており、
前記自動的に追跡することは、前記ＡＲヘッドセットのセンサが前記患者の外層のリアルタイム位置に対する前記対象物のリアルタイム位置を自動的に追跡することを含む、請求項２３に記載の方法。
【請求項２５】
三次元（３Ｄ）データにより患者のリアルタイム非画像実景を拡張する方法であって、前記方法は、
前記患者の３Ｄデータを特定することと、前記３Ｄデータは患者の外層および患者の複数の内層を含むことと、前記患者の複数の内層は元の色勾配を有することと、
前記患者の外層のリアルタイム非画像実景上に投影された場合により良好に見えるようにするために、前記複数の内層の前記元の色勾配を前記元の色勾配よりも明るくなるように変更することと、
拡張現実（ＡＲ）ヘッドセットにおいて、前記患者の外層のリアルタイム非画像実景上に投影された前記３Ｄデータからの患者の内層のうちの１つを表示することと、前記投影された前記３Ｄデータからの患者の内層は変更された色勾配を有することとを含む、方法。
【請求項２６】
前記変更された色勾配は、前記患者の複数の内層の組織特性を表しており、前記組織特性は、組織硬度、緩和度、エコー輝度、エンハンスメント量、エンハンスメント速度、密度、放射活性および水分含量のうちの１つ以上を含む、請求項２５に記載の方法。
【国際調査報告】
2020516003.tif 000019
2020516003.tif 000020
2020516003.tif 000021