(57)【要約】  形態学的対象の物理的特徴を表すデータを、形態学的対象に対して実行する手順に関連して受信する。物理的特徴のバーチャル画像でオーバーレイした前記形態学的対象のビューを、その手順の施術者に対してレンダリングし、物理的特徴を表すデータに基づいて物理的特徴のバーチャル画像を作成することと、形態学的対象の一又はそれ以上の基準点に応じてビュー内の物理的特徴のバーチャル画像をレンダリングして、バーチャル画像によって形態学的対象に対する物理的特徴のインサイチューでの可視化を可能とする。【選択図】図１
2018516718.tif 000002
【特許請求の範囲】
【請求項１】
形態学的対象に対する手順を容易にする方法において：
前記形態学的対象の物理的特徴を表すデータを受信するステップと；
前記手順の施術者に対して、前記物理的特徴のバーチャル画像でオーバーレイした前記形態学的対象のビューをレンダリングするステップであって；
前記物理的特徴を表すデータに基づいて当該物理的特徴のバーチャル画像を作成するステップと；
前記形態学的対象の一又はそれ以上の基準点に応じて前記ビュー内の前記物理的特徴のバーチャル画像をレンダリングして、当該バーチャル画像によって前記形態学的対象に対する前記物理的特徴のインサイチューでの可視化を可能とするステップとするステップと：
を具えることを特徴とする方法。
【請求項２】
請求項１に記載の方法において、前記形態学的対象の物理的特徴を表すデータを受信するステップが、磁気共鳴画像（ＭＲＩ）データ、断層撮影データ、超音波データ、Ｘ線データ、核磁気共鳴（ＮＭＲ）データ、又は写真データのうちの一又はそれ以上を受信するステップを具えることを特徴とする方法。
【請求項３】
請求項１に記載の方法において、前記物理的特徴のバーチャル画像によってオーバーレイした形態学的対象のビューをレンダリングするステップが、前記物理的特徴のバーチャル画像を一又はそれ以上のプロジェクションを介して前記形態学的対象の上に投影するステップを具えることを特徴とする方法。
【請求項４】
請求項３に記載の方法において、前記物理的特徴のバーチャル画像を前記一又はそれ以上のプロジェクションを介して前記形態学的対象の上に投影するステップが、前記物理的特徴の三次元画像を投影するステップを具えることを特徴とする方法。
【請求項５】
請求項１に記載の方法において、前記物理的特徴のバーチャル画像を前記一又はそれ以上のプロジェクションを介して前記形態学的対象の上に投影するステップが、前記形態学的対象が見える少なくとも部分的に透明なディスプレイ要素に前記バーチャル画像を表示するステップを具えることを特徴とする方法。
【請求項６】
請求項５に記載の方法において、前記少なくとも部分的に透明なディスプレイ要素が、ヘッドアップディスプレイを具えることを特徴とする方法。
【請求項７】
請求項１に記載の方法において、前記物理的特徴のバーチャル画像によってオーバーレイした前記形態学的対象のビューをレンダリングするステップが、仮想リアリティディスプレイ要素内の前記物理的特徴のバーチャル画像によってオーバーレイした前記形態学的対象のバーチャル画像を表示するステップを具えることを特徴とする方法。
【請求項８】
請求項１に記載の方法がさらに、前記施術者と前記形態学的対象間の位置における相対変化を検出するステップを具え、それに応じて、前記形態学的対象の一又はそれ以上の基準点に応じて前記ビュー内の物理的特徴のバーチャル画像を再レンダリングして、相対的な位置変化を構成することを特徴とする方法。
【請求項９】
請求項８に記載の方法において、前記相対的な位置変化を検出するステップが、前記施術者の動きと前記形態学的対象の動きの一又はそれ以上を検出するステップを具えることを特徴とする方法。
【請求項１０】
請求項１に記載の方法がさらに、前記バーチャル画像中の前記物理的特徴の一又はそれ以上の態様を強化する要求を表示するコントロール入力を受信するステップをさらに具え、このコントロール入力に応じて、前記バーチャル画像を再レンダリングして、前記物理的特徴の一又はそれ以上の態様を強化するステップとをさらに具えることを特徴とする方法。
【請求項１１】
請求項１０に記載の方法において、前記コントロール入力が前記物理的特徴に対する視点がサブマージされるべきである、あるいは前記物理的特徴内にさらにサブマージされるべきであることを特定し、再レンダリングしたバーチャル画像が、前記サブマージしたあるいはさらにサブマージした視点における物理的特徴のバーチャル詳細を具えることを特徴とする方法。
【請求項１２】
請求項１０に記載の方法において、前記コントロール入力が、前記物理的特徴のバーチャル画像の方向が変更されて、前記再レンダリングしたバーチャル画像が、前記物理的特徴の異なる斜めの視点からのバーチャル詳細を具えることを特徴とする方法。
【請求項１３】
請求項１０に記載の方法において、前記物理的特徴が、前記形態学的対象の複数の要素特徴を具え、前記コントロール入力が、要素特徴の選択した一つの配置が一又はそれ以上のその他の要素特徴に対して変化するべきである旨を特定し、前記再レンダリングしたバーチャル画像によって、前記要素特徴の選択した一つによってあらかじめ妨害されていた一又はそれ以上の前記その他の要素特徴のバーチャル詳細を具えることができることを特徴とする方法。
【請求項１４】
請求項１に記載の方法がさらに、前記形態学的対象に対する観測計器の配置を表示する情報を受信するステップと；
前記物理的特徴のバーチャル画像内の前記観測計器の少なくとも一部のバーチャル画像をレンダリングするステップと；
を具えることを特徴とする方法。
【請求項１５】
請求項１４に記載の方法がさらに、前記形態学的対象に対する前記観測計器の移動を表示する情報を受信して、前記バーチャル画像をリアルタイムで再レンダリングして、前記観測計器の動きをリアルタイムで検出するステップを具えることを特徴とする方法。
【請求項１６】
請求項１に記載の方法がさらに、一又はそれ以上のセンサを介して前記形態学的対象のリアルタイムでのバイタル統計値を受信するステップを具え、前記物理的特徴のバーチャル画像によってオーバーレイした前記形態学的対象のビューをレンダリングするステップが、前記リアルタイムでのバイタル統計値の表示によってさらにオーバーレイした前記形態学的対象のビューをレンダリングするステップを具えることを特徴とする方法。
【請求項１７】
形態学的対象に対する手順を容易にするシステムにおいて：
前記形態学的対象の物理的特徴を表すデータを受信するデータ受信インターフェースと；
前記手順の施術者に対して、前記物理的特徴のバーチャル画像によってオーバーレイした前記形態学的対象のビューをレンダリングするレンダリングエンジンであって、（ｉ）前記物理的特徴を表すデータに基づいて前記物理的特徴のバーチャル画像を生成し、（ｉｉ）前記形態学的対象上の一又はそれ以上の基準点に応じて前記ビュー内の前記物理的特徴のバーチャル画像をレンダリングして、当該バーチャル画像によって、前記形態学的対象に対する実際の物理的特徴のインサイチューでの可視化を可能とする、一又はそれ以上のプログラムしたプロセッサを具えるレンダリングエンジンと；
を具えることを特徴とするシステム。
【請求項１８】
請求項１７に記載のシステムにおいて、前記データ受信インターフェースが、コンピュータネットワークを介して一又はそれ以上のサーバコンピュータから前記物理的特徴を表すデータを受信するネットワークインターフェースを具えることを特徴とするシステム。
【請求項１９】
請求項１７に記載のシステムにおいて、当該システムがさらに、データストレージを具え、前記データ受信インターフェースが、リクエストを行い、前記データストレージから前記物理的特徴を表すデータを受信するインターフェースを具えることを特徴とするシステム。
【請求項２０】
請求項１７に記載のシステムにおいて、前記レンダリングエンジンが：
前記形態学的対象上に前記物理的特徴のバーチャル画像を投影する一又はそれ以上のプロジェクタと；
前記バーチャル画像を表示する拡張リアリティディスプレイ要素であって、少なくとも一部が透明で前記形態学的対象が当該ディスプレイ要素を介して見えるように少なくとも部分的に透明のディスプレイ要素と；
前記形態学的対象のバーチャル画像の上にオーバーレイした前記物理的特徴のバーチャル画像を表示する仮想リアリティディスプレイ要素と；
のうちの少なくとも一つを具えることを特徴とするシステム。
【請求項２１】
プログラムコードを記憶した非一時的で機械読み取り可能な媒体であって、一又はそれ以上のプロセッサで実行した時に、一又はそれ以上のプロセッサに：
形態学的対象の物理的特徴を表すデータを取得させ；
前記物理的特徴のバーチャル画像によってオーバーレイした前記形態学的対象のビューをレンダリングさせ、このレンダリングが、
（ｉ）前記物理的特徴を表すデータに基づいて前記物理的特徴のバーチャル画像を生成し、（ｉｉ）前記形態学的対象の一又はそれ以上の基準点に応じて前記ビュー内の前記物理的特徴のバーチャル画像をレンダリングして、当該バーチャル画像によって、前記形態学的対象に対して実際と物理的特徴のインサイチューでの可視化を可能にすることを含む、
ことを特徴とする媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、仮想リアリティ、拡張リアリティ、投影、あるいはその他仮想スペースにおける医療オーバーレイの提供に関する。
【０００２】
関連出願のクロスリファレンス
本出願は、２０１５年３月１日に出願された米国暫定特許出願６２／１２６，６２４の「拡張リアリティ外科手術及び医学的評価」を引用により組み込んで、この出願の優先権を主張する。
【図面の簡単な説明】
【０００３】
本明細書に開示された様々な実施例が、添付図面に限定ではなく例示により示されている。図中、同じ構成要素には同じ符号が付されている。
【図１】図１は、例示的な外科用オーバーレイシステムを示す図である。
【図２】図２は、外科用オーバーレイプログラムのフローチャートである。
【図３】図３は、例示的な腹腔鏡システムを示す図である。
【図４】図４は、腹腔鏡プログラムのフローチャートである。
【図５】図５は、二次元及び三次元要素を有する例示的なヘッドアップディスプレイ（ＨＵＤ）を示す図である。
【図６】図６は、例示的な画像及び手順を示す共通ＨＵＤディスプレイを示す図である。
【図７】図７は、追跡装置とモニターが付いた外科用メスを使用する医師の一例を示す図である。
【図８】図８は、例示的な腹腔鏡パスのディスプレイとＨＵＤカメラを示す図である。
【図９】図９は、患者に取り付けた例示的なＨＵＤ要素と、このＨＵＤに示す例示的画像を示す図である。
【図１０】図１０は、可視化するために生体構造の余計な部分を仮想的に除去した生体構造要素を表示した例示的な患者の生体構造を示す図である。
【図１１】図１１は、（システムコンポーネントを用いた）例示的な進行中の切開を示す図である。
【図１２】図１２は、明らかな症状（例えば、発疹又はその他の局所的症状）を有する仮想患者の一例を示す図である。
【図１３】図１３は、拡張リアリティを学習している学生の一例を示す図である。
【図１４】図１４は、応急処置の一例を示す図である。
【図１５】図１５は、拡張リアリティで提示された知能テストの一例を示す図である。
【図１６】図１６は、胸部の上昇と、その検出／画像捕捉の一例を示す図である。
【図１７】図１７は、ネガティブなスペース探査の一例を示す図である。
【図１８】図１８は、特徴及び／又は外周に基づくシーケンスマッチングの一例を示す図である。
【図１９】図１９は、例示的なフレーム−オフセットシステムを示す図である。
【図２０】図２０は、二次元特徴の例示的な循環テストを示す図である。
【図２１】図２１は、三次元特徴の例示的な全周テストを示す図である。
【発明を実施するための形態】
【０００４】
患者の組織、動脈及びその他の特徴を手術前及び手術中に視認し、正確に配置する方法、システム及びシステム部品が様々な実施例に開示されており、これによって、患者の特徴位置の相違による手術エラーによる死亡や失敗が低減される。多くの実施例において、撮像データが、患者の拡張リアリティ（ＡＲ）又は仮想リアリティ（ＶＲ）表示として表されており、医師、外科医、あるいはその他の施術者が手順を行う間にこれを見せて、その手順の正確さと効率を強化している。方法と装置は画像データを、限定するものではないが、保険監査人、外科でない医師、看護師、及び法律専門家を含むその他のユーザによる使用のために、画像データを対象のＡＲ又はＶＲ表示にする。
【０００５】
医療手順における拡張リアリティ（ＡＲ）パスデータと、腹腔鏡カメラのカメラ画像の両方を表示するヘッドアップディスプレイ（ＨＵＤ）を提供する方法及び装置も開示されている。多くの実施例において、カメラ画像のデバイスへの転送を伴う腹腔鏡手術と、拡張リアリティにおける腹腔鏡の位置とパスデータのオーバーレイの間に、腹腔鏡カメラの位置及び／又はキャリアチューブの位置が追跡される。
【０００６】
拡張リアリティ（ＡＲ）又は仮想リアリティ（ＶＲ）、及び磁気共鳴画像（ＭＲＩ）によって集めた患者の形態学的データの表示を用いて手術及び診断スキルを訓練し試験する様々な技術及び装置も開示されている。多くの実施例で、患者の形態学的データ（例えば、ＭＲＩ、ＣＴスキャン、Ｘ線、あるいはその他の患者のデータ源からなる）が、術者／研修生に表示され、ＡＲ又はＶＲを通じてこれを強化して、試験及び訓練用の様々な状態をシミュレートしている。
【０００７】
「治療」とは、ここでは、限定することなく、身体に行われる外科手術、診察、カイロプラクティック、理学療法、リハビリ及び／又はその他のタスクを含むものと定義される。
【０００８】
「施術者」とは、限定するものではないが、治療を行う主体を含むものと定義される。
【０００９】
「形態学的対象」、「形態学的画像」、「形態学的データ」、「形態学」及びその他の変形は、限定するものではないが、磁気共鳴映像法（ＭＲＩ）、コンピュータ断層撮像法（ＣＴ）、コンピュータ断層撮影（ＣＡＴ）、ポジトロン放出断層撮影−コンピューター断層撮影（ＰＥＴ−ＣＴ）、光コヒーレンス断層撮影（ＯＣＴ）、波長掃引型光コヒーレンス断層撮影（ＳＳ−ＯＣＴ）、光コヒーレンス断層撮影血管造影図（ＯＣＴＡ）、超音波、Ｘ線、核磁気共鳴、マンモグラフィ、血管造影、骨盤超音波、デジタル写真、カメラ写真、原子プローブ断層撮影（ＡＰＴ）、コンピュータ断層撮影イメージング分光法（ＣＴＩＳ）、共焦点レーザ操作顕微鏡法（ＬＳＣＭ）、低温電子断層撮影（Ｃｒｙｏ−ＥＴ）、電気容量断層撮影（ＥＣＴ）、電子抵抗断層撮影（ＥＲＴ）、電子インピーダンス断層撮影（ＥＩＴ）、電子断層撮影（ＥＴ）、レーザーアブレーション断層撮影（ＬＡＴ）、磁気誘導断層撮影（ＭＩＴ）、ミューオン断層撮影、角膜トポグラフィ（ビデオケラトグラフィ）、ニュートロン断層撮影、音響断層撮影、光拡散断層撮影（ＯＤＴ）、光投影断層撮影（ＯＰＴ）、光音響イメージング（ＰＡＴ）、陽電子放出型断層撮影（ＰＥＴ）、量子断層撮影、単光子放出コンピューター断層撮影（ＳＰＥＣＴ）、断層撮像法、熱音響イメージング、超音波変調光断層撮影（ＵＯＴ）、皮膚断層撮影、又は動脈造影、を含むと規定される。
【００１０】
ＡＲデバイスは、埋め込み透明ディスプレイ機構付メガネなど、実環境データ上の透明画像を表示できるコンピュータ制御ディスプレイ、あるいは重ね撮り三次元データに接続したカメラ又はその他の撮像源からの複合画像を表示できるデバイスを具えるデバイスである。
【００１１】
ＶＲデバイスは、ユーザの視覚をカバーしてバーチャル環境に入れるコンピュータ制御ディスプレイを含むデバイスである。
【００１２】
Ｉ．視覚ＡＲ／ＶＲ医療用オーバーレイ
外科用オーバーレイ
一実施例は、拡張されたあるいは仮想リアリティ手術環境における手術ターゲットとその他の患者の医療及び／又は生体構造データを表示する方法に関する。
【００１３】
手術を行う際には、ターゲット位置及び／又は患者の生体構造部分が存在する。三次元画像を表示することによって、その手術の効率を上げつつ、患者の死亡率を下げることができる。施術者は、選択的にこの表示画像を以下に述べるようにコントロールすることができる。
【００１４】
拡張リアリティにおいては、ユーザは表示画像を、物理的患者の上に載せた患者の形態の三次元モデルとして見ることができる。仮想リアリティの場合、患者の形態は患者の三次元モデルとなり、本発明で意図したアプリケーション用の患者として扱われる。投影環境においては、患者の表示を伴うプロジェクタを用いて表示画像データが対象の上に投影される。複数プロジェクタを用いて、ユーザが画像を遮断しないようにして、三次元画像を提供できるようにする。
【００１５】
このシステムは最小限、ディスプレイ装置と、医療オーバーレイソフトウエアと、患者の形態学的データと、カメラと、を具える。この最小限の実施例では、ディスプレイ装置が、カメラの画像を示し、ソフトウエアはこの画像を解釈して、患者の形態学的データを正しい位置に配置する。カメラからの画像を用いて、ソフトウエアは表示画像を以下に述べるようにアップデートする。
【００１６】
別の実施例で（図１）では、このシステムは、拡張リアリティメガネ対と、タブレットと、ディスプレイスクリーンと、仮想リアリティメガネ又はヘッドマウントディスプレイ、ＡＲ又はＶＲデバイスの動きを追跡するセンサと、医療オーバーレイソフトウエアと、カメラと音響捕捉装置と、メス、手あるいはその他の器具といった特定対象物の位置を追跡するセンサ、選択的にスピーカ、及び／又は患者の形態容データストアを具え、これはデバイスにあらかじめロードしておいてもよく、あるいはネットワークを介してオンデマンドで転送することもできる。プロジェクタをＡＲ又はＶＲディスプレイに代えて用いることもできる。
【００１７】
システムが始動すると（図２、１０１）、ユーザは実行すべき手順を選択する。選択可能な手順のリストは、その時点で用意されている患者の手順データベースからくる。データベースから取り出したこのデータは、「手順データ」と呼ばれ、限定するものではないが、患者の形態学的データ、患者情報、手順インストラクション、手順に係る時間／データ、及び／又は、手順位置を含む。
【００１８】
次いで、データベースから手順データがロードされ、データ受信インターフェースを用いてシステムを実行するのに使用されるプログラムストアに保存される（図２、１０２）。これは、限定するものではないが、ランダムアクセスメモリ（ＲＡＭ）、固相ドライブ（ＳＳＤ）、セキュアデジタルカード（ＳＤカード）、及び／又は、システムにアクセス可能なハードディスクドライブ（ＨＤＤ）でもよい。
【００１９】
選択的に、現ユーザの優先傾向をユーザ優先傾向のデータベースから取り出す（図２、１０３）。このロードした優先傾向を以下に、「施術者優先傾向」とし、これは、限定するものではないが、ディスプレイ輝度、ＨＵＤ透明度、ＨＵＤ要素位置優先傾向、音量及び／又は好ましい入力方法を含むことができる。
【００２０】
次いで、このシステムは、実行中にモニタすべきセンサ入力に接続され、及び／又は、追跡される。これらのセンサは、限定するものではないが、脈拍モニタ、血圧モニタ、酸素飽和モニタ及び／又は、限定するものではないが、無線（ＲＦ）位置表示器などのワイヤレスセンサであってもよい。センサ入力は、次いで、認証され、正しく読み込まれていることを確認する（図２、１０４）。このシステムは、ユーザに、各センサからの現在の読取値を表示し、ユーザは次いで、その値が正しいことを確認する。この認識がなければ、ユーザが特に認識プロセスを無効にしない限り、システム実行が停止される。
【００２１】
認識に続いて、システムで可視ターゲットが取得され、患者のアイデンティティが確認され、表示された画像位置、方向及び／又はスケールが認証される（図２、１０５）。
【００２２】
拡張リアリティ空間にある手術器具及びその他の物体を可視的に追跡するために、ユーザは、カメラで見ることができる位置に器具を保持し、ソフトウエアがその器具を認識するように要求する。ユーザの相互作用を介して、そのソフトウエアがその器具を正しく認識したかどうかを決定する。ユーザが、その基部が正しく認識されていることを確認すると、次いでコマンド−口頭であるいはその他のユーザインターフェース方法−を介して、認識した器具を追跡する。代替的に、追跡マーカを追跡する器具に取り付けて、カメラに示し、ユーザインターフェースを介してソフトウエアにマーカの追跡開始を表示するようにしてもよい。代替的に、あるいは追加で、一又はそれ以上の無線（ＲＦ）ベースの追跡エレメントを器具に取り付ける、あるいは器具に埋め込んで、係合させてもよく（例えば、ブルートゥースペアリング、又はその他の一方向又は双方向通信リンク）、その時点で、ソフトウエアが追跡エレメントの追跡を開始するようにしてもよい。
【００２３】
患者の確認は二つの方法で行われる。まず、患者の情報を形態学的データでエンコードする。ユーザは、形態学的情報を、ホスピタル腕輪、クリップボード、及び又はその他の患者確認の標準的方法による患者に関連する情報と比較する。形態は、正しい患者のみと合致し、したがって表示画像は、正しい患者がシステムに可視化される場合にのみ現れる。
【００２４】
表示された画像全体は、患者の位置に固定されている。ここで、表示画像の固定とは、限定するものではないが、検出した特徴及び／又は外周位置などの表示画像の位置決め特性を意味し、したがって、表示画像全体は、表示画像特性が位置決め特性に対する位置に固定されることになる。特性検出、外周検出、及び／又はポイントクラウドマッピングを共に使用して、患者の正確な三次元位置、スケール、及び方向を決定する。これらの測定基準は、プログラム実行時に連続的にアップデートされて、表示画像が常に正しく固定されるようにする。手術用タトー、あるいはその他の視覚マーカなどのマーカを使用して、形態学的モデルの正しい固定を確実なものにすることができる。
【００２５】
手順を開始する前に、ユーザは患者の周りを歩いて、表示画像が正しいサイズであり患者に整列していることを確認する。この整列が正しくない場合は、ユーザは装置にユーザ入力を行えるなんらかの方法を用いてこの整列を訂正する。
【００２６】
拡張リアリティメガネが、メガネ自体に埋め込まれた透明スクリーンである場合に、三次元表示画像をデバイス上に表示する。仮想リアリティの場合、表示された画像は、非透明ＶＲディスプレイ上に表示される。投影システムの場合は、表示された画像が、その他の装着されたいくつかのプロジェクタから患者の上に投影される。複数プロジェクタがあるため、ユーザの動きによって、投影が妨げられることがない。
【００２７】
手順を行う間に、表示画像は患者の現時点での形態を表示すべく連続して更新される（図２、ステップ１０６）。外科医が切開して生体構造の部分を開くと、表示画像がリアルタイムで更新され、患者の形態に対するより深い視界と表示画像が次第に表示される。ディスプレイのこの深部追跡動作は、ユーザがジェスチャー、ボイスコマンド、あるいはその他の形のユーザ入力を用いることにより、より優位なものとなる。ユーザは、表示された形態の部分を、組織の背後又は下を見る、あるいは斜め及び近位側から様々に組織を見る（周回、パニング、ズーミング）ために、その組織を組織から取り除くなど、個別に選択し操作することもできる。例えば、ユーザは、取り除いた部分を回転させて再配列し、異なる角度からその部分を見ることができ、同様に、ディスプレイの深さを調節してそのセグメント内部を見ることもできる。これらの表示コントロールはすべて、ジェスチャー、ボイスコマンド、スワイプ、タップ、マウスの動き、キーボードコントロールといったユーザの入力を介して有効にすることができる。ユーザは、モデルに関係するいずれの部分も、それが主形態から取り除いた部分である、主形態の一部又はその形態自体のすべてであるかどうかにかかわらず、ズームすることができる。
【００２８】
患者とシステムユーザの相対的な動き、したがって、表示画像を固定するのに使用したマーカの実際のあるいは認識されている動きは、いくつかの方法で検出することができる（図２、ステップ１０７）。このような方法の一つは、以下に説明するフレームオフセット法である。拡張リアリティ又は仮想リアリティデバイス内の位置センサ（例えば、ＡＲ／ＶＲゴーグル、ディスプレイ−シールド、あるいはその他の表示デバイス）を用いて、予備情報を提供することもできる。投影システムの場合は、プロジェクタが固定位置にあり、したがって、予備情報は入手できない。ユーザが移動すると、三次元空間内のユーザの位置がソフトウエア内で更新される。したがって、このソフトウェアが可視表示画像モデル又は仮想モデルを更新する（図２、ステップ１０８）。このモデルは、患者の位置の変化に基づいて調整することもできる（図２、ステップ１０９）。形態データの位置、方向、及び／又はスケールの移動は、データセットのポイントを変形、変更、及び／又は回転させる四元数及び／又はマトリックス動作を用いて行われる。以下に例示で説明するように、患者が動くと、形態学的データが変形して患者の調整した位置を合わせる。
【００２９】
次いで、追跡した対象の位置が三次元スペース内で決定され、画像表示用のその位置が更新されて、保存される（図２、ステップ１１１）。次いで、上述したようにユーザ入力を処理する（図２、ステップ１１２）。入力が処理され、表示画像が更新されると、表示エンジンを用いて、視界が表示される（図２、ステップ１１３）。
【００３０】
手術のオーバーレイを用いながら、外科医が避けるべき領域又は注意すべき領域として指摘されている領域にアプローチしようとすると、音響及び／又は視覚的キューが外科医に与えられる。例えば、外科医が腸管を手術しようとしており、メスが患者の腸に近づくと、視覚及び／又は音響的接近警報が表示され、外科医に腸に近づきすぎていることを知らせる。例えば、警報は、拡張リアリティ内に表示された赤い範囲としてもよい。記録された警報又は警報音を鳴らすようにしてもよい。
【００３１】
生体構造オーバーレイ
もう一つの実施例は、生体構造ディスプレイを仮想リアリティ、拡張リアリティ、あるいはその他のバーチャル空間に提供する方法及び装置に関する。
【００３２】
生体構造図、生体構造モデル、死体解剖は、生体構造を医学生に教える事実上の基準である。仮想空間に生体構造データを提供することによって、三次元で生体構造を学ぶことができる。この生体構造モデルは、ユーザに表示すべき事項を含むものであってもよい。このモデルは人に限定されるものではなく、動物及びその他の生組織の生体構造モデルを獣医学の目的に使用することもできる。このモデルはユーザと相互作用して、モデルの解剖、及び個々の要素の操作を行うことができる。モデルと特定部分の選択は、限定するものではないが、声、ジェスチャー、及びデバイス入力を含むユーザ入力の方法によって行うことができる。選択したモデルの詳細を、ユーザは視覚的にあるいは聴覚的に入手可能である。
【００３３】
拡張リアリティ又は仮想リアリティでは、三次元生体構造モデルが、実際のモデルが存在しない位置に表示される。拡張リアリティでは、このモデルはマーカー上に、あるいはその他の位置表示器の上に、あるいは、物理的対象を包含できるユーザに対する固定位置にも、選択的にオーバーレイさせることができる。このモデルは、三次元で表され、このモデルのディスプレイも以下のアウトラインにしたがって操作することができる。
【００３４】
生体構造モデルは、タブレット、メガネ、プロジェクタ又はその他の表示媒体、カメラ、カメラ及び／又はユーザの位置の移動を追跡するセンサ、選択的に、音響フィードバック及び入力用のスピーカと音響捕捉デバイス、及び、あらかじめデバイスにロードしておいたあるいはオンデマンドでネットワークによって送信されてきた患者の形態容データストアなど、拡張リアリティ装置から構成されるシステムを用いて、拡張リアリティに表示される。
【００３５】
この生体構造構成要素の詳細な説明をオープンにする能力とともに、選択的に、注釈もユーザに表示される。生体構造モデルを調べて分析する一方で、ユーザは生体構造の構成要素を操作して、主モデルから離して、三次元で詳細に調べることができる。ユーザは、また、特定部位又はモデル全体をズーミングして、より詳細に調べることもできる。ユーザは、また、モデルや、モデルの個々の部位を回転させ再度方向付けることができる。
【００３６】
ユーザは、ユーザ入力コントロールを用いて、バーチャル生体構造モデルを分析することができる。このモデルは、リアリティのあるいは仮想の外科用器具を用いて、解体することができる。仮想器具は、通常のユーザ入力法を用いて、バーチャルスペース内であらかじめ作成して例示化されている。リアリティの器具は、上述の通り、追跡して使用することができる。ユーザは、バーチャルモデルを解体するので、生体構造の個々の構成要素を見て、個々の構成要素を解体することができる。ユーザは、また、ユーザ入力法を用いて、その動作をリバースして、その動作を順次元に戻すこともできる。このモデルは、ユーザ入力によって発せられたコマンドを用いて、いつでも元の位置に戻すことができる。
【００３７】
ユーザは三次元のバーチャルモデルの周りを移動することができる。モデルは三次元スペースのある地点に固定されており、そのモデルを最初に初期化するときが選択される。モデルは、ユーザーの相互作用で移動できるが、さもなければ適所に固定されている。この位置は、以下に説明するフレームオフセット手法、並びにデバイス及び／又はカメラによって与えられる位置情報を組み合わせて決定される。拡張リアリティでは、ユーザは、その身体を仮想モデルに対して移動させることで、モデルの周りを案内することができる。仮想リアリティでは、ユーザは、ユーザ入力によって発せられたコマンドを、ヘッドトラッキングとその他の入手可能な位置追跡情報と共に用いて仮想空間を通って移動することができる。
【００３８】
腹腔鏡オーバーレイ
もう一つの実施例は、仮想リアリティ、拡張リアリティ、あるいはその他の仮想空間において、腹腔鏡情報の視覚ディスプレイを提供する方法及び装置に関する。
【００３９】
腹腔鏡手順には、外科用カメラ（腹腔鏡）と手術用ツールがある。拡張あるいは仮想リアリティで、患者にオーバーレイさせた放射線画像を表示することによって、施術者はがん細胞の成長など、外科的ターゲットをより正確にとらえ、配置することができる。腹腔鏡と手術用ツールの位置も表示することができる。腹腔鏡と手術用ツールの過去の位置も、パスデータとして示すことができる。施術者は、また、声に出して、あるいはあらかじめ決められたコマンド、ジェスチャー、又はその他のあらかじめ決められたユーザーインターフェースオプションを用いて、ノートをとることもできる。
【００４０】
腹腔鏡手術では、外科医は腹腔鏡デバイスの実際の位置を見ることができない。拡張リアリティデバイスは、腹腔鏡ヘッドの現在の位置、腹腔鏡ヘッドの過去の位置（パス）、及び／又は腹腔鏡カメラの視野を表示するＨＵＤ（以下を参照）を表示する。このデバイスは、また、上述したように形態学的データも（選択的に）表示する。
【００４１】
腹腔鏡オーバーレイ（図３）は、腹腔鏡手術セットアップ、拡張リアリティ又は仮想リアリティ装置（カメラと位置追跡を含む）、ソフトウエア、位置追跡装置、位置受信機、及び受信機と拡張リアリティ装置間のインターフェースで構成されている。位置追跡装置は、受信機と対になっており、腹腔鏡機器の端部に取り付けられている。受信機は、好ましくはワイヤレスで、拡張リアリティ装置に接続されている。腹腔鏡カメラは、（好ましくはワイヤレスで）、拡張リアリティ装置に接続されている。
【００４２】
腹腔鏡手順が開始すると、システムが連動する（図４、ステップ２０１）。次いで、送信機の試験が行われ、通信が送信機、受信機、及びソフトウエア間で正しく行われていることを認証する（図４、ステップ２０２）。次いで、三次元化した画像が表示され、送信機の初期位置、並びに腹腔鏡からの初期カメラビューが示される。
【００４３】
腹腔鏡ヘッドの位置は、システムの最新の構成要素を操作できるのと同じ速度で、定期的なインターバルで送信される（図４、ステップ２０４）。実際のまた現在の位置を追跡装置に維持するために、追跡装置と受信機は、可能な限りの頻度で急速動作する。拡張リアリティ装置は、ついで、受信機から更新した位置を、表示できる限り頻繁にリクエストする。最も新しい位置データは、表示用に拡張リアリティ装置に戻される。腹腔鏡カメラからの画像も、リクエストされる（図４、ステップ２０５）。
【００４４】
三次元化画像は、腹腔鏡追跡装置の現在及び過去の位置を用いて、カメラ画像と共に更新される（図４、ステップ２０６）。現在の位置は、過去の位置とともに、拡張リアリティにおいてユーザに表示される。これによって、ユーザは、現在位置と現在位置に到達するように取られたトラックの両方を見ることができる。カメラビューも、ＨＵＤ（以下を参照）に表示される。この手順を、手順が終了するまで繰り返す（図４、ステップ２０２）。
【００４５】
もう一つの実施例も、レーザーアイ手術における拡張リアリティを使用する方法に関する。
【００４６】
例えば、レーザーアイのリサーフィングは、眼の角膜を再形成することによって患者の視野を改善し、患者の網膜により正確に光を合焦させる手順である。
【００４７】
別の実施例は、拡張リアリティ装置と、カメラ又はその他の撮像装置、レーザ、及び／又は切断ツール（レーザ、機械、その他）から構成されている。角膜の表面をスキャンして、ＡＲにモデルを生成する。このＡＲモデルを用いて、外科医の案内を支援し、レーザを用いて角膜を再形成する。ＡＲモデルは、実際の角膜の上のオーバーレイとして、あるいはＨＵＤ（以下を参照）のディスプレイとして、表示される。
【００４８】
リアルタイム／ヘッドアップディスプレイ
医療手順を行う間に、患者の生命状態、撮像、及びその他の患者のデータが、コンサルテーション用に求められることがある。上述したデータのリアルタイムで更新するディスプレイによって、施術者は、情報をモニタするあるいは取り出す装置又は紙ソースを調べる必要なく、患者にあるいは目の前の課題に集中することができる。生命が受け入れ可能な範囲に残っていれば、アラームをトリガする範囲を設定することもできる。
【００４９】
例えば、ヘッドアップディスプレイ（ＨＵＤ）を用いて虫垂切除術を行っている外科医は、拡張リアリティに示される患者の生命状態の表示を有して、患者の血圧が安定していることを確認するために目を離す必要なく、外科医を手術手順に集中させることができるであろう。
【００５０】
ＨＵＤは、ＡＲ装置又はその他の表示媒体、及び生命兆候モニタなどのソース入力から構成されている。ＨＵＤは、自動的に、事前に、あるいはユーザの相互作用によって、表示すべきソースデータの種類を選択するように構成されている。次いで、このデータは、自動的に、事前に、あるいはユーザの相互作用によって決定された位置に表示される。ＨＵＤ要素の透明性（αチャンネル値）を調整して、ＨＵＤアイテムのより良い可視性あるいは基本的詳細を得ることもできる。
【００５１】
ソース入力がＨＵＤに接続されると、この値が定期的なインターバルで読み取られ、ＨＵＤ要素が新しい値に更新される。
【００５２】
更なる実施例は、環境に重畳させた二次元及び／又は三次元画像から構成されたヘッドアップディスプレイ（ＨＵＤ）を表示する方法及び装置に関する。
【００５３】
ヘッドアップディスプレイは、様々な目的で使用することができる。バーチャル環境では、ＨＵＤは、視認コンテキストに関係なく見ることができる定ビューワー情報を提供する。このデータは、あらかじめ設定された条件、ユーザの好み、環境要件、及び／又は、コンテキストのデータに基づいて様々な情報を示すように構成することができる。
【００５４】
例えば、患者を見ている医師は、患者の顔認識によってトリガされた患者情報を表示するＨＵＤを有することができる。さらに、各患者について、その医師はどのデータが最も見る価値があるかを設定することができ、また、ＨＵＤに表示された特定のデータが単回訪問用であるか、あるいは長期ベースであるかを得ることができる。
【００５５】
本明細書に開示した様々な実施例は、拡張又は仮想リアリティ手術オーバーレイを提供する方法に関し、この方法は、限定するものではないが、ヘッドアップディスプレイ（ＨＵＤ）、医用画像ディスプレイ、生命状態ディスプレイ、患者情報ディスプレイ、手順情報及びその他のデータを含む要素で構成されている。
【００５６】
ヘッドアップディスプレイは、二次元又は三次元画像又はモデルを用いて、表示すべきデータに関連する適応部分と共に作成される。生命状態の場合、データは、対象に接続された医療装置から流される。このデータは、次いで、ソフトウエアへ供給され、そこで、表示すべき情報に基づいて分析され、適宜表示される。酸素飽和の患者には、例えば、パーセンテージで表された生データは、ＨＵＤのディスプレイ用の積分パーセンテージ数に変換できる。
【００５７】
更なる実施例では、限定するものではないが、ＬＣＤやＣＲＴスクリーンなどの別の視認媒体をＨＵＤに置き換えることができる。このビューは、必ずしもバーチャルスペースを具えていない。
【００５８】
図５は、例示のＨＵＤ構成を示す。体温、酸素飽和度、脈拍及び血圧の４つのバイタルサインがモニタされて、左上、右上、左下及び右下のコーナにそれぞれ示されている。これらのディスプレイは、透明であり固定位置にあって、ユーザが頭を回したときに、バイタルサインがカメラに対して低位置にあるようになっている。
【００５９】
同様に、限定するものではないが、ＤＩＣＯＭ、Ｊｐｅｇ、ｐｎｇ、ｂｉｔｍａｐ、ｒａｗ、及びその他の同様のフォーマットを含む、ソフトウエアで認識されたフォーマットにおける医療画像は、ＨＵＤの一部としてオーバーレイして、施術者がこれまでのものを仮想空間で見ることができる。
【００６０】
患者情報と、生命状態も、医療データベースあるいはその他の既存のソースからロードして、同様に表示することができる。データは、手動で入力することもできる。
【００６１】
手順の指示及び情報も、あらかじめ作成したソースから入手できる。これらの手順と方法は、ボイスコントロール、ジェスチャーコントロール、又はその他の制御方法といった様々な形のユーザの相互作用を用いて、行うことができる。
【００６２】
図６は、図１と同じＨＵＤを示す図であるが、体温スタッツの左下に、ユーザにどのように手順を実行するかについての指示を与えるガイドが示されている。各ステップが完了すると、このガイドは自動的に、あるいはユーザの相互作用によって更新される。
【００６３】
更なる実施例は、拡張空間あるいは仮想リアリティ環境における手術ターゲットと、その他の関連する医療及び／又は生体構造データを表示する方法に関する。
【００６４】
ターゲット部位は、三次元仮想空間を介して選択することができる。ターゲット領域は、オーバーレイを用いている患者の施術者によって選択することもできる。また、ターゲット領域は、ペン、指、あるいはその他の位置デバイスを用いて選択することもできる。ターゲットは、限定するものではないが、ＬＣＤ又はＣＲＴスクリーンなどの従来のディスプレイに表示することもできる。手術器具から送られてきたあるいはその他の追跡法から送られてきた位置追跡情報を用いて、外科医は、その器具又は追跡装置がＣＲＴスクリーン上のターゲット位置に関連しているところを同定できる。位置を追跡した対象又は基部は、リアルワールドの対象によって妨げられていたとしても、拡張リアリティにおいてみることができる。例えば、切開を行っているメスの歯が切っている筋肉によって妨げられていても、拡張リアリティにおいてみることができる。
【００６５】
図７は、外科医が使用している位置追跡装置（左）に設けられているメスを示す。右側には、患者の形態の実物大モデルを伴ってディスプレイ装置が示されている。ディスプレイ装置のＸ印は、メスの現在位置を表しており、〇印は手術ターゲットの位置を表している。ディスプレイ装置を見ることによって、外科医は自分が切開を始めるべき正しい位置に到達する時を決定できる。
【００６６】
例えば、外科医は、患者の腹部のＭＲ画像を視認する。腹部手術のターゲット位置は、画像から同定される。患者の図形を用いて、外科医はターゲット領域に印を付ける。手術の間、この図形が患者の横のモニタに表示される。メスに取り付けた位置追跡装置が、患者に対するメスの位置をモニタ上に表示する。このメスの位置がターゲット位置に合致すると、外科医はモニタ上に位置が同じであることを見ることができる。このことは、手術を始める正しい位置が見つかったことを外科医に表示している。
【００６７】
別の例では、患者の心臓の腫瘍摘出手術を行っている外科医が、拡張リアリティにおいて患者の心臓を身体から切り離し、心臓を患者から離して移動させ、心臓と関連する腫瘍を三次元空間で調べることができる。これによって、外科医は腫瘍の位置により良くアクセスすることができ、その切除に最も適したルートを計画することができる。これによって、個々に合わせたより正確な外科手術が可能になる。このビューは、コンサルテーションやその他の使用のためにその他のユーザとネットワークを介して共有することができる。
【００６８】
別の実施例では、インストラクターがペン又はその他の器具に取り付けた位置追跡装置を、学生の知識の試験に使用している。このインストラクターは、手術手順用のターゲットをあらかじめ同定しており、学生は器具を用いてターゲットの位置を問われている。インストラクターは、一対の拡張リアリティ眼鏡を着用しており、学生の答えの実際のターゲットに対する近接度を見ることができる。この例の別のバージョンでは学生は放射線画像を見せられ、その画像から正しいターゲット位置を同定することが求められる。
【００６９】
更なる例では、物理療法士が形態学的画像を用いて、脊椎の損傷を表示している。このオーバーレイを用いて、物理療法士は、脊椎の更なる損傷あるいはダメージを起こすことなく、患者を正確に支援することができる。
【００７０】
更なる例では、三次元画像が使用されている手順の間、患者が右手を曲げている。次いで、この形態源データを更新して、曲げた腕の新しい位置を反映させる。カメラ画像を分析して、様々なポイントにおける腕を曲げた方向と角度を測定する。この方向と角度を用いて形態学的データを更新して、標準四元数及び／又はマトリックスベースの変形方法を用いて移動させた各地点についての新しい位置を反映させる。
【００７１】
別の実施例は、腹腔鏡手術用の拡張又は仮想リアリティによる外科手術オーバーレイを提供する方法に関するものであり、限定するものではないが、腹腔鏡デバイス経路のマッピング、腹腔鏡デバイス位置の表示、腹腔鏡撮像データの表示、及び／又は、一般的な、また特定の地点に関連するノートをとるシステムを具える要素から構成されている。
【００７２】
腹腔鏡は、現在ではカメラが取り付けられており、患者の内部又はその他の領域を見て、非侵襲的な手術を行うことができるようになっている。腹腔鏡の一端に送信機を装着し、ソフトウエアに接続した受信機と共に使用することによって、腹腔鏡の位置の過去の経路を追跡し、仮想空間に表示できる。送信機は、限定するものではないが、ＲＦ、ブルートゥース、あるいはＷｉＦｉなど、手術環境内で用いることのできるあらゆる周波数を用いることができる。
【００７３】
カメラからのデータを読み取ってリアルタイムで、主ディスプレイ又はＨＵＤのいずれかとして、仮想空間に表示することもできる。全手順における視界にディスプレイを有することによって、手術中の死亡率を減らすことができる。
【００７４】
図８は、腹腔鏡手術の手順を順次示している。左側に、拡張リアリティ経路と腹腔鏡装置の先端を見ることができる。右側には、腹腔鏡からのカメラビューが示されており、これを外科医又はその他のユーザのＨＵＤで見ることができる。
【００７５】
さらに、施術者は、音声認識、ジェスチャー認識、及び／又は、その他の入力形式を用いてノートを作ることができる。施術者は、あらかじめ決められたジェスチャーを用いて、注釈を付けたい位置を同定することができる。そのジェスチャーが認識されると、施術者は、取り上げたいノートを伝えることができ、これが良く知られた音声認識方法で分析され、ＨＵＤに表示するべきテキストに変換される。これらのノートは、先々の参考用に記録される。
【００７６】
例えば、虫垂切除術を行う場合、外科医は患者のモデルをレビューする。モデルと手術ルートの計画を調べる一方で、外科医は患者に、後回腸虫垂（postilieal appendix）があることを認識する。虫垂の位置に応じて、回腸への突発的なダメージのリスクを低減するべく、外科医はその回腸の注意を払うべきモデルに印をつける。
【００７７】
例えば、腹腔鏡胆嚢摘出術（胆嚢の外科的切除）では、腹腔鏡を用いて、除去する胆嚢を位置決めする。腹腔鏡からのディスプレイは、従来は手術領域近くのスクリーンに示されており、外科医は腹腔鏡の位置や経路を見ることができない。さらに、外科医は、患者を見ている間は、腹腔鏡の出力に集中できない。拡張リアリティを用いて、患者の身体内の腹腔鏡の位置と経路を患者の身体上に直接的に表示することができる。腹腔鏡からのカメラビューもＨＵＤも示すことができ、これによって外科医は患者とカメラの両方を同時に見ることができる。
【００７８】
更なる実施例は、ヘッドアップディスプレイ（ＨＵＤ）を、見ている環境に重畳したあるいは一体化した二次元又は三次元画像で構成された拡張リアリティ又は仮想リアリティで表示する方法に関する。
【００７９】
ＨＵＤを用いて、仮想空間においてユーザにデータを表示する。ＨＵＤの構成要素は、位置的にユーザのビューに、リアリティのあるいは仮想環境における位置に、あるいはこれらの組み合わせに固定することができる。例えば、患者のデータをユーザに表示するにあたって、ＨＵＤのいくつかの構成要素（心拍数、血圧）を患者の位置に固定でき、その他の要素は、放射線画像、患者情報、手術ノートなど、施術者のビューに固定することができる。
【００８０】
図９は、二つの分離したＨＵＤ構成要素を示す。一つは、患者の脈拍数であり、患者の位置に固定されて、ユーザが動く三次元空間において同じ位置にある。もう一つは、患者の名前、年齢、血液型を具えており、ビューの左下コーナに固定されている。
【００８１】
例えば、病室間を回っている医師は、患者のバイタルサインの表示用のＨＵＤを有することができる。医師がある患者の部屋から別の部屋へ移動する際に、ＨＵＤが患者の医師が現在訪れていることを更新する。
【００８２】
別の例では、麻酔中に、患者はバイタルサインが安定しており、許容範囲にあることを確実にするために、常にモニタされていなければならない。バイタルサインモニタに接続された拡張リアリティ装置を用いて、患者をモニタする者は、拡張ＨＵＤを用いて常にビュー内にバイタルサインを保持することができる。これによって、モニタがそのほかのタスクを実行することができるとともに、麻酔をされている患者のモニタを続けることができる。複数の患者のバイタルサインも、単一の拡張リアリティ装置に接続して、単一モニタで麻酔をされている複数の患者を監視することができる。
【００８３】
更なる実施例では、第１応答機（例えば、ＥＭＴ）が早期延命処置を伴うプログラミングされている仮想空間装置を使用することができる。患者のバイタルをこのデバイスに流し、症状に基づいて、第１応答機にステップバイステップで延命ステップを提供するプロトコルを開始する。
【００８４】
更なる実施例では、看護師又はオンコールの住民が患者のエマージェンシーボタンに接続された仮想空間装置を持っている。エマージェンシーボタンが押されると、患者のバイタルと位置がその装置に接続される。装置は、病院にいる患者あるいはオンコールの患者の管理で医師に接続できる。看護師、住民又は医師は、患者と及び互いに通信して患者の安全を確実なものにする正しいステップを決定する。
【００８５】
例えば、夜間に病棟を見回る看護師は、病室の外のデスクにいる。拡張リアリティで表示されているＨＵＤが、書類を作成している看護師に示される。患者がエマージェンシーボタンを押す。患者のバイタルが、即座にＨＵＤに表示され、看護師が患者が頻脈であることを見る。ＨＵＤにある患者の履歴は、頻脈あるいは関連する症状の履歴を示していないので、看護師は、拡張リアリティ装置を介してオンコールの医師の呼び出しを開始する。自宅にいる医師は、看護師の拡張リアリティ装置のカメラを通じて状況を見ることができ、病院へ駆けつける間に患者を安定させるステップを取らせることができる。
【００８６】
更なる実施例は、レーザ眼科手術における拡張リアリティを使用する方法に関する。
【００８７】
拡張リアリティオーバーレイをレーザ眼科手術手順に使用することによって、外科医がより正確になる。目をスキャンして、手術ターゲットが目の上にオーバーレイされる。以下に示すように、ターゲットを別の位置に移動させる能力、ズーム、回転、あるいはより正確な検査を行い、ノートをとる操作を含め、ターゲットを操作することができる。
【００８８】
例えば、ユーザの角膜を高解像度カメラ又はレーシック手術におけるその他の手段でスキャンする。角膜の所望の形状を、スキャンした角膜表面と比較する。差異の拡張リアリティオーバーレイを、医師が角膜を再形成する時に仮想対象を更新しながら、再形成する間対象の角膜の上に示す。これによって、医師は、手順を行う間に角膜の全部分を確実に正しく再形成することができるようになり、手術のエラーを低減できる。
【００８９】
別の実施例では、患者の目の後ろをスキャンしてマッピングし、網膜内の傷を見つける。小さな傷があり、拡張リアリティ形態学モデル内へ処理される。この形態学的モデルが患者の目に重畳されて、網膜の傷の位置を医師に正確に示す。この傷は、その後アルゴンレーザを用いて簡単かつ安全に修復できる。
【００９０】
別の実施例は、診断目的で動いている患者の放射線画像を分析する方法に関する。
【００９１】
動きの異なるポイントで撮像された放射線画像を用いて、例えば、関節の位置や可能な水分蓄積の変化を示すことができる。これは、関節炎などの症状の診断に用いることもできる。
【００９２】
ＩＩ．ＡＲ／ＶＲ−支援医療トレーニング／学習／シミュレーション／テスト
更なる実施例は、肉眼解剖学と問題解決学習（ＰＢＬ）を組み合わせる方法に関する。
【００９３】
肉眼解剖学とＰＢＬは、生体構造を教えるのに用いられる二つの異なる方法である。両方法を組み合わせることによって、学生の理解がより深まる。
【００９４】
更なる実施例は、仮想リアリティ、拡張リアリティ、あるいはその他の仮想空間における医療シミュレーションを提供する方法及び装置に関する。
【００９５】
医療及び診断トレーニングは、主に教室での学習を介して提供され、次いで、実際の患者を見ることによって学生が学習する研修期間が続く。しかしながら、外科的及び診断手順を訓練する能力は、現在のところ欠けている。仮想空間でのシミュレーションを用いて、学生は患者へのリスクを伴うことなく、インストラクタの能力を持って、あるいはモニタ、グレード及び支援を隅まで見通して、実地訓練を受けることができる。グループシミュレーションも行うことができ、複数の学生／インストラクタが一斉にみて実行することができる。これらのシミュレーションは、また、学生の試験にも利用することができ、その分野での訓練の適正を決めることができる。
【００９６】
実戦ではしばしば、外科医は最新の方法は使用しない。外科医の知識は、通常、学生時代と研修医時代を順送りにされている。外科医が特定の手順をどのように実行するかを考えるときは、インストラクタが使用した方法を学習するであろう。このインストラクタは、インストラクタが最も詳しい方法を教え、この方法が現行の方法でない場合もある。拡張リアリティ又は仮想リアリティを訓練メカニズムとして使用することで、施術者は、手順を実行する最新の技術を保持することができる。相互作用シミュレーションを通じて、外科医は、特定の手順を実行する最も新しい方法で訓練することができる。ソフトウエアは、定期的に更新することもでき、最新の方法が、確実にトレーニング用に入手可能であるため、患者の死亡率を低減することができる。
【００９７】
別の実施例は、バーチャル及び／又は拡張リアリティと接続した人工知能を用いて授業と試験を行う方法及び装置に関する。
【００９８】
学生に材料を視覚的に提示する仮想空間を用いて、人工知能アルゴリズムを適用して、その資料をユーザがすでに学んだものであるかどうかを試験し、授業の速度とスタイルをユーザの必要性と好みに合わせるように調整することができる。
【００９９】
更なる実施例は、拡張リアリティ、仮想リアリティ、又はその他の仮想空間を用いた救急処置訓練の方法及び装置に関する。
【０１００】
救急処置訓練は、人口の大部分に適用可能な通常の医療トレーニング形式である。しかしながら、従来の救急処置訓練では、ユーザは、救急処置が必要なリアリティの状況を経験することができない。仮想空間を用いることによって、救急処置状態をシミュレーションすることができ、必要な支援の実行に必要なステップにおけるガイダンスとトレーニングがユーザに与えられる。このシミュレーションは、ユーザのパフォーマンスを評価して、ユーザが救急状況で行動をとるのに優れているかどうかを決定することができる。
【０１０１】
更なる実施例は、拡張リアリティ、仮想リアリティ、又はその他の仮想空間を用いて知能指数（ＩＱ）試験を行う方法及び装置を具える。
【０１０２】
ＩＱ試験は、様々な態様の知能を巻き込んだ様々な試験を用いて行う。これらの試験は仮想空間で行われ、結果は自動的に評価されるか、あるいは評価者相互作用の点数で評価される。通常、審査者が試験中の対象をモニタして、能力を評価する。これは、しばしば、試験を受けている対象に不安を生じさせ、最良のパフォーマンスより低いパフォーマンスを生じさせることがある。仮想空間試験を用いることで、審査者は対象をモニタする必要がなくなる。
【０１０３】
更なる実施例は、人工知能と組み合わせた拡張リアリティ又は仮想リアリティを用いた教授方法である。
【０１０４】
更なる実施例はゲームであり、ユーザは、刺激を受けたどの組織を仮想の患者から除去するかを指示される。ユーザが成功裏にその組織を除去したら、ポイントを受け取る。除去できなかったら、音響又はその他のフィードバック機構でリワードされる。次いで、複数のユーザが最も高いスコアに達し、ウィナを決定する。
【０１０５】
更なる実施例は、拡張あるいは仮想リアリティ生体構造ディスプレイを提供する方法であり、限定するものではないが、生体構造の作図及びラベリングと、獣医学的解剖と、解剖シミュレーションを含む要素から構成されている。
【０１０６】
生体構造ディスプレイは、あらかじめ作成して、選択的に注釈をつけたモデルを用いて拡張あるいは仮想リアリティで行われる。これらのモデルは、三次元で表示され、ユーザと相互作用する。音声、ジェスチャー、及びその他のユーザコントロールを用いることで、ユーザは身体の個々のパーツを操作できる。ユーザは、生体構造のどの層とどの部分を表示すべきかを特定することもできる。例えば組織などの個々の部分は、より精密に検査するために主モデルから切り離して、選択された特徴について、より詳細を提供できる。
【０１０７】
図１０は、精密に検査するために除去した腎臓と拡張リアリティ生体構造モデルを示す。
【０１０８】
これらの図は、ヒト、動物あるいはあらゆる生物であってもよい。解剖用にシミュレーションを準備して、学生がコントローラ、ジェスチャー、又はその他のユーザインターフェース手段を用いて相互作用して、解剖を行って、ミスがあった場合にユーザにフィードバックするように構成することもできる。
【０１０９】
図１１は、バーチャルの死体を解剖して、下の組織を見るために表皮を除去しているユーザを示す。
【０１１０】
例えば、教室の環境では、これは、医療規則によって人気のない肉眼的な解剖の必要性をなくす。指導者と学生は、死体の使用にまつわる費用と規則の問題に対処するというよりはむしろ、従来のテキストベースの学習によるものよりも、一層実戦的に、バーチャルボディにおいて生体構造を研究することができる。もう一つの利点は、死体を使った場合明らかに不可能である、ステップを逆にすることが可能なことである。
【０１１１】
別の例では、馬の検査中に、馬の生体構造の拡張リアリティディスプレイを獣医のＨＵＤに表示して、生体構造データへの迅速なアクセスを行い、検査と治療の効率を改良するようにしている。
【０１１２】
別の実施例は、肉眼解剖と問題解決型学習（ＰＢＬ）を組み合わせる方法に関する。
【０１１３】
肉眼解剖は、死体の使用又はその他の生体構造教授法を通じての生体構造の研究であるが、ＰＢＬは学生が制約のない問題を通じて対象について学ぶ教授法である。二つの方法を組み合わせて、より全体的な理解を教えるために、制約のない問題が生体構造解剖と組み合わされている学習パラダイムを作ることができる。
【０１１４】
例えば、インストラクタは、亡くなった患者に関連する問題を提示できる。亡くなる数時間前に、質問に対する答えを毎回受け取っているにもかかわらず、患者は同じ問題を何度も繰り返した。学生は、解剖用のバーチャルボディを用いて死因を決定することができ、この場合はインスリンを分泌する膵臓の腫瘍であった。
【０１１５】
別の実施例は、拡張あるいは仮想リアリティ医療シミュレーションを提供する方法に関し、これは、限定するものではないが、診断シミュレーション、手術シミュレーション、治療シミュレーション、患者の撮像に基づく手術のプレビュー、及び教育などの目的でのグループシミュレーション、を含む要素から構成されている。
【０１１６】
医療シミュレーションは、患者のリスクを伴うことなく、施術者のトレーニングと試験に有用である。実際の患者から得た、あるいは３ｄモデリングプログラム又はその他のコンピュータで作成した手段を用いて構築したデータを用いて、患者が仮想空間に作られる。
【０１１７】
バーチャル患者は、ソフトウエアによって自動的に選択された、あるいは、例えばインストラクタによるユーザ相互作用を用いて、症状を持つことができる。ユーザは、バーチャル患者と相互作用して、その症状を診断する。バーチャル診断試験を患者に行って、正確に患者が表示している症状となる。
【０１１８】
図１２は、眼に見える発疹がある患者を示す。この患者は、ユーザによって調べられて診察されるべきである。
【０１１９】
ユーザは診断を含めシミュレーションとして、あるいは個別に手術又は医療手順を行うこともできる。バーチャル患者は、本物の患者のように応答し、選択的に合併症を、自動であるいは対話形式で導入することができる。
【０１２０】
外科的プレビューも、本物の患者からの撮像データを用いて行うことができる。これらの画像は、シミュレーションで使用可能なモデルに導入され、手術手順は実際の患者の生体構造を用いてシミュレートされる。
【０１２１】
例えば、シミュレーションは、医師のオフィスで仮想患者を用いて開始できるであろう。ユーザは、仮想患者に質問を診断に適した診断試験を決める。この例では、患者は腎臓結石により下背部に痛みがある。これを診断するために、医師は腹部ＭＲＩを指図する。このシミュレーションでは、試験の結果を即座に入手できるようにする。ＭＲＩを用いて、ユーザは腎臓結石を正確に診断して、患者に手術の予定を立てることができる。シミュレーションは、次いで、手術環境に移り、ユーザはシミュレートした手術を行って、患者を治療することができる。
【０１２２】
別の例では、試験を受けている施術者が、スキルの実証試験の対象となることができる。例えば、外科医は、実証試験ではなく書面試験によって承認される。仮想リアリティで手順を行うことによって、候補者の能力をリアリティ的なシナリオで評価することができる。この手順は、候補者を採点して、候補者が試験されているスキルを実行するのに的確であるか否かを決めるインストラクタあるいはその他の資格のあるものによってモニタされる。代替的に、合格又は不合格の程度を変化させる基準を設けて、シミュレーションのプログラムによって評価し、候補者及び／又はインストラクタに提示するようにしてもよい。
【０１２３】
別の例では、ペースメーカを患者に取り付ける準備をしている外科医が、患者の放射線データを仮想リアリティで検討している。患者のモデルは、バーチャル手術台の上に構築され配置されている。外科医は、実際の手術を行う前に、実際の患者の放射線データを用いて、バーチャル手術器具で患者にペースメーカを取り付けることができる。これによって、外科医は患者の生理学的異常に対して準備をすることができ、また、効率の良い手順を実行できる。
【０１２４】
更なる実施例は、生体構造的使用、外科診察、その他の手段のための三次元的に印刷した死体モデルを作成する手段である。上述した放射線データからの方法を用いて作成した三次元モデルを使って、三次元印刷に適したモデルを作成する。このモデルは生体構造の学習、外科診療、及びその他の通常の使用に、死体の代わりに用いるのに十分に詳細で正確である。これによって、技術の習得と学習に用いることができる外科的修復の前に欠陥のある組織の印刷が可能である。これによって、リアリティの及びバーチャルでの設定における肉眼による解剖と組み合わせた学習に基づいて問題を考慮することができる。
【０１２５】
動物及びその他の有機体の三次元モデルも作成することができ、獣医及びその他の訓練用に、日常的でなく研究が困難な種について解剖及び生体構造的学習を行うことが可能である。この方法の更なる利点は、対象を実際に殺す必要がないことである。このことは、特に、解剖は不可能であるが、放射線画像の回収ができる絶滅種に有益である。
【０１２６】
例えば、腫瘍のある患者からの放射線データは、クラスルーム用の三次元死体モデルの作成に使用される。各死体は、症状と放射線レポートのセットに関連している。学生は、問題を正しく認識しなければならず、死体に外科的手順を実行して腫瘍を除去する。
【０１２７】
別の例では、原因不明で人間が死に、その家族は検死解剖を希望していないが、警察はそのものの死に疑問を持っている。ＭＲＩで死体をスキャンすると、三次元死体モデルを作ることができ、家族の希望を侵害することなく、検視を行うことができる。
【０１２８】
更なる実施例は、人工知能と組み合わせて拡張又は仮想リアリティを用いて、学生に試験し、材料を教授する方法に関する。
【０１２９】
学生は、様々な方法で学習する。人工知能や仮想空間を用いて、あらかじめプログラムされた材料を、関連する態様で学生に提示することができる。主題材料に関しての学生の知識を連続的に試験することで、特定の学生に最も有効な方法を決めて、授業を進めることができる。
【０１３０】
図１３は、拡張リアリティに表示された学生への多項選択形式の質問を示す。
【０１３１】
仮想空間を、あらかじめプログラムされた材料の試験に使用することができる。学生は、プログラムに規定された質問に答える、あるいは課題を実行する、さもなければ仮想空間と相互作用することが求められる。応答の是非に基づいて、評価が割り当てられ、改善すべき領域を認識することができる。
【０１３２】
例えば、学習障害のある子供を仮想又は拡張リアリティの学習環境に導入する。犬、猫、及び魚についての情報が異なる態様で与えられる。犬は、視覚的キューを用いて教えられる。猫は、聴覚的方法を用いて教えられる。魚は、接触して操作可能な対話式ディスプレイを用いて教えられる。子供を試験して、材料のどの部分を最もよく学習したかを決める。これを多数のトピックスについて繰り返して、正確さを改善し、子供が対象領域の前知識を持っているケースを数えるとともに、学習プロファイルを作成して特定の子共に適用する。適用した方法論を用いて新しい材料を与え、テストを用いて学習モデルを連続的に更新する。
【０１３３】
別の例では、発音と読みを試験するように作られた一連の単語を用いて、失語症を診断することができる。各単語が拡張又は仮想リアリティに提示され、ユーザはその言葉を声に出して読むことを求められる。言語認識を用いて、その単語が正しく繰り返されたかどうかを判断する。正しく繰り返された単語の数に基づいて、失語症に関する追加のスクリーニングが必要かどうかの評価を行うことができる。テキストは、異なる装置を用いて別のユーザによって遠隔でモニタすることもできる。これによって、対象が試験中にモニタされているという不安を持つことなく試験を行うことができ、対象者により良い実行を支援できる。
【０１３４】
別の例では、学生に、２１の質問からなるテストを行う。７つの質問が言葉で学生に与えられ、７つの質問が学生に視覚で与えられ、７つの質問は学生にバーチャル対象と対話することを求める。試験の結果は、全ての等級について、また、各個人の学習タイプにおける等級について分析される。学生のプロファイルが作られ、その学生のスコアが特定のスタイルで行われた質問に対してより高いかどうかを決定する。好ましいスタイルが決まると、好ましいフォーマットでより頻繁に材料を与えて、学生の学習を支援する。
【０１３５】
別の例では、学習障害を持つ子供をバーチャル又は拡張リアリティ学習環境に導入する。犬、猫及び魚に関する情報を異なる態様で与える。犬は視覚的キューを用いて教える。猫は、聴覚的方法を用いて教える。魚は、接触して操作できる対話式ディスプレイを用いて教える。子供にテストを行って、資料のどの部分を最もよく学習したかを決める。これを多数のトピックスについて繰り返し、正確さを改善するとともに、子供が対象領域の前知識を持っているケースを数えて、学習プロファイルを作成し、特定の子供に適用する。次いで、適用した方法論を用いて、新しい材料を与え、テストを用いて、学習モデルを連続的に更新する。
【０１３６】
更なる実施例は、拡張又は仮想リアリティ装置を用いたヒアリングテストを実行する手段である。このテストは、まずユーザに音を聞いた時を表示するように指示することによって実行される。ついで、通常の人間の可聴範囲を十分に下回る周波数で開始した音を、ユーザがその音を聞き取れると表示するまでだんだん大きくしてゆく。音が聞こえたら、音の増大を減らして、ある音が鳴ってユーザがそれを聞くことを表示しなくなるまで周波数を低減する。これを、ユーザが聞ける最小周波数が見つかるまで繰り返す。次いで、通常の人間の可聴範囲を十分に上回る周波数で開始する高周波数範囲でユーザに試験を行う。この周波数を、ユーザがその音を聞けることを表示するまで下げてゆく。この増大を減らして、ユーザがその音を聞けなくなるまで周波数を上げる。これを、ユーザが聞くことのできる最も高い周波数が見つかるまで繰り返す。
【０１３７】
例えば、聴覚障害であると考えらえる子供を、バーチャル環境において、バイタルモニタに接続する。次いで、この子供に様々な音を聞かせ、バイタルサインをモニタする。子供の音に対する応答が、音を聞くことが出来ることを表しており、非言語自閉症など症状の診断の支援に使用することができる。
【０１３８】
別の例では、老齢の女性が聞き取りが困難であろうと考えられる。彼女にテストを行うことによって、可聴範囲を認証することができ、彼女が補聴器を必要としているかどうかを決めることができる。
【０１３９】
別の例では、救急処置におけるユーザの訓練目的の、拡張又は仮想リアリティシミュレーション方法に関する。
【０１４０】
救急処置訓練は、あらかじめプログラムされたシミュレーションを用いて仮想空間で行うことができる。ユーザは、仮想空間で、三次元モデルと対話を行い、そのシミュレーションを稼働しているコンピュータによって、あるいは実際のインストラクタによって指示が与えられる。インストラクタ、及びその他のユーザは、選択的に、トレーニングユーザとして同時にその仮想空間を見ることができる。シミュレーションによりフィードバックが提供される。シミュレーションは、ユーザの試験と評価にも使用することができる。
【０１４１】
図１４は、止血帯を受け取った患者の拡張リアリティデモンストレーションを示す。このデモンストレーションは、バーチャルインストラクタによって与えられ、その後、ユーザがその手順を繰り返すように求められる。
【０１４２】
例えば、学生がグループで救急処置における止血帯の当て方を学習している。仮想リアリティプログラムは、バーチャルインストラクタを具えており、止血帯の巻き方を学生グループにデモンストレーションしている。デモンストレーションが終了した後、各学生は各自のバーチャル患者に止血帯を試すことができる。学生にトラブルがあると、プログラムから支援を要求することができる。学生が止血帯を当て終わると、プログラムがその能力レベルを評価し、救急処置コースに対する等級を振り分ける。
【０１４３】
別の例は、拡張又は仮想リアリティを用いた知能指数テストを行う方法に関する。
【０１４４】
ＩＱテストは、審査官の存在のもとで通常行われ、これが対象者を神経質にしてしまい、パフォーマンスに影響を及ぼすことがある。仮想空間でこのテストを管理することによって、ユーザは、見られているという心の動揺がない状態でテストを受けられる。テストの管理者は、選択的に、ユーザを見ることなく、仮想空間でプロセスを観察することができる。
【０１４５】
テストは、書面／身体試験で使用されるであろうものと同じ試験問題を用いて行われるが、すべての材料は仮想空間で問われ、回答される。これによっても、空間的推論などの領域において、より進んだ試験を行うことができる。
【０１４６】
図１５は、拡張リアリティにおけるＩＱテスト用の問題を示す。
【０１４７】
例えば、空間的推論試験は、一連の形状が三次元ホールを正しく埋めるかとの質問を含む。拡張リアリティでは、ユーザは、その方向とサイズを操作して、三次元でその形状を調べることができる。これによって、ユーザは答えを選択する前に問題点に対して可能性のある解決をより良く分析することができる。
【０１４８】
別の実施例は、拡張又は仮想リアリティを人工知能と組み合わせて用いて、学生に教授する方法に関する。
【０１４９】
拡張又は仮想リアリティを人工知能と組み合わせることによって、主題を教授するのに強化された学習システムを作ることができる。三つの主方法である聴覚、触覚、視覚をもって、様々な人が様々な方法で学習する。人工知能と、教授するべき情報のデータバンクを使用することによって、学生の最適な学習スタイルを測定使用して、教える材料を確実により良く理解することができる。
【０１５０】
学生を定期的に評価することによって、学生が完全に学んでいない領域をその材料で調べることができ、その領域に追加の教授を行って集中することができる。上述した方法の様々なバランスの教授の組み合わせを用いて、全領域にあるいは様々な領域に学生の最良の学習スタイルを確立することができ、学生にその教授法を適用することによって、学習と記憶力を強化する。
【０１５１】
例えば、文書でのインストラクションから非常に良く学習する学生は、科学的実験をどのように行うかを教えられる。実験法の様々な部分が、聴覚、触覚、視覚といった様々な教授法を用いて学生に与えられる。プログラムは、学生が視覚的に与えられたときに最も良くインストラクションを追跡できることを記憶し、インストラクションの大部分を視覚的態様で提示し始める。
【０１５２】
ＩＩＩ．生理学的／解剖学的マッピング、モデリング、及び位置マーキング
更なる実施例は、人体のスキャニング法、マッピング法、及び分析方法及び装置に関する。
【０１５３】
カメラ又はその他の視覚記録装置を用いて、対象をスキャンして、二次元又は三次元モデルにマッピングすることができる。このモデルは、施術者が対象領域又は関係する領域を認識するのに使用することができる。このモデルは、また、来院する間の領域をモニタするのにも使用することができる。モデルを自動的に又はユーザの相互作用によって分析して、メラノーマ、発疹、乾癬、及びその他の目に見える症状といった、症状の存在を確かめることができる。
【０１５４】
二次元マッピングの場合、対象にカメラを向ける。次いで、この対象を３６０°回転させて、対象が回転した時の画像を記録する。記録した画像は、まず、一のフレームから次のフレームへ同じデータを比較して、背景を除去する処理を行う。同じデータは破棄して、対象のみを残す。特性検出を用いて、画像をつなぎ合わせ、対象の二次元モデルを形成する。
【０１５５】
三次元マッピングの場合は、カメラを対象に向ける。次いで、この対象を３６０°回転させて、対象が回転した時の画像を記録する。記録した画像は、まず、一のフレームから次のフレームへ同じデータを比較して、背景を除去する処理を行う。同じデータは破棄して、対象のみを残す。上述した通り、二次元モデルを作成する。続いて、このデータからポイントクラウドを生成して、対象の三次元モデルを作成する。次いで、ポイントクラウドを二次元モデル（皮膚）とオーバーレイさせて、対象の三次元モデルとする。
【０１５６】
モデルを作成すると、既知の症状について二次元モデル（皮膚）の分析を行う。ユーザのレビュー用に対象となる領域にマークを付ける。このデータも、将来の来訪時の比較のために保存しておく。
【０１５７】
更なる実施例は、対象の身体位置に基づいた磁気共鳴撮像のパルスシーケンスのタイミングを計る方法及び装置に関するものであり、呼吸又は心拍動などの律動運動において同じ地点で確実に画像を撮像するための方法及び装置である。
【０１５８】
従来の磁気共鳴撮像装置を用いた磁気共鳴撮像（ＭＲＩ）は、患者の動きに関連する撮像の問題がある。ボケた画像と画像アーチファクトは、患者がＭＲＩ検査中に動いてしまうときに見られる共通の問題である。患者の身体の位置をモニタすることによって、患者が正しい位置にあるときにのみ画像を撮影するように撮像シーケンスのタイミングを図ることができる。
【０１５９】
例えば、センサ又はカメラを用いて、患者の胸部の高さをモニタし、胸部が最後の画像と同じ高さにあるときのみ画像を撮像するように撮像シーケンスをトリガする。この技術を用いて、患者の胸部のすべての画像が、胸部が同じ位置にあるときに撮像される。
【０１６０】
別の実施例は、ガドリニウムマーカーを用いた拡張リアリティにおける位置的配置を強化する方法に関する。
【０１６１】
別の実施例は、仮想リアリティ、拡張リアリティ、あるいはその他の仮想空間における三次元対象物の可視化を制御する方法及び装置に関する。
【０１６２】
コンピュータに保存された三次元対象物は、多くのデータポイントでなる。視覚化を修正することによって、対象物の視覚表示を変えて、ユーザが様々な方法で視覚化した対象物を見ることができるようになる。
【０１６３】
例えば、ＭＲＩデータから作成した三次元モデルは、モデルの外側層に隠れている大量の情報を含んでいる。視覚化の修正と、データの外側層の除去によって、モデルの内側部分（脳など）を可視化することができる。
【０１６４】
別の実施例は、拡張リアリティ、仮想リアリティ、あるいはその他の仮想空間における医療撮像データを可視化する方法及び装置に関する。
【０１６５】
医療撮像データは、三次元仮想空間におけるディスプレイに適したフォーマットに変換できる。次いで、このデータを仮想リアリティ、拡張リアリティ、又はその他の仮想空間を介して表示することができる。
【０１６６】
拡張リアリティにおける位置的配置は、一次的には視覚手段、特徴検出、及びその他の本明細書に記載した方法を介して決めることができる。
【０１６７】
更なる実施例は画像分離距離を決めるステップと、失われた画像を同定するステップと、ソース画像を整列させて失われた画像データを構築するステップと、その画像を合わせて三次元モデルを形成するステップと、を具える三次元画像モデルを構築する方法及び装置に関する。
【０１６８】
更なる実施例はヒトの身体をマッピングして分析する方法に関するものであり、身体をスキャニングするステップと、表面データを保存するステップと、メラノーマ、ほくろ、発疹、その他の皮膚症状及び目立った特徴といった重要な特徴にマーキングする（自動的に、あるいはヒト対話形式で）ステップと、から構成されている。
【０１６９】
対象、又は対象領域は、カメラ又はその他の撮像装置を用いてスキャンすることができる。次いで、表面データを保存して、現在及び将来の使用に備えて分析することができる。表面の特性を分析することによって、通常の状態を診断することができ、治療効果を決定できる。病気にかかっている領域のサイズ、カラー、及びその他のメトリックスを測定して比較することで、以前の来訪時と現在の来訪時との間の直接的な比較を行うことができる。この比較は、提供されている治療効果の明らかな見解を与える。これらの比較は、限定するものではないが、施術者、並びに、例えば保険会社によって使用され、所定の治療に対して患者に払い戻しを続けるべきであるかどうかが決定される。
【０１７０】
例えば、患者の視覚的な記録は、拡張リアリティメガネで撮像され、自動的にあるいはユーザのインストラクションによってなされた診断の視覚的オーバーレイと共に保存される。次いで、この記録は患者ファイル用の視覚的報告書として、また、患者のアポイント前のレビューに使用することができる。この記録は、また、スペシャリストへの照会の一部として使用することができる（ＡＲ／ＶＲのすべてのコンテンツを含む）。この記録は、さらに、スペシャリストへの照会の一部として使用することができる。この視覚的記録は、病院設備において、患者の治療の異なる段階における再検査の必要性を防止するために使用することができる。したがって、元の検査の記録を調査できる。
【０１７１】
別の実施例では、皮膚炎の患者を初診でスキャンすることができる。皮膚科医が、処方薬を用いて皮膚炎を治療する場合、来訪ごとにスキャンを比較して、治療の効果を確認することができる。ソフトウエアが、患部のサイズと形が変わったかどうかを、ソフトウエアが自動的に判定できる。
【０１７２】
別の実施例は、例えば、胸部の高さを用いて、患者の身体位置に基づいて、撮像シーケンスのタイミングを決めて、呼吸プロセスの間に同じ位置で画像が撮影され、より安定した画像を確実に提供するようにした方法に関する。
【０１７３】
従来の撮像シーケンスでは、患者が動くことによって、撮像シーケンスの欠損や、アーチファクト、ぼけた画像、及び／又はその他の好ましくない異常が生じることがある。例えば、カメラ、光度計、あるいはその他の位置センサなどのセンサを使用することで、撮像シーケンスで患者が正しい位置にあるときのみ画像を撮像するように、タイミングを決めることができる。
【０１７４】
例えば、患者の胸部にＭＲスキャンを行うにあたっては、カメラを用いて、ＭＲプラットフォームからの患者の胸部の高さをモニタすることができる。患者の胸部が特定の高さにあるとき、撮像シーケンスを開始する。患者の胸部が正しい高さにない場合は、シーケンスを止めて、次に胸部位置が正しくなる時を待つ。
【０１７５】
図１６は、ＭＲＩの機械の中にいる患者を示す。カメラ又はその他の撮像装置で追跡されたラインである撮像ラインが画像中に示されており、そこで画像を撮影する。患者の胸部がそのラインのレベルにないときは、撮像を行わない。
【０１７６】
別の実施例は、仮想リアリティ、拡張リアリティ、又はその他の仮想空間に表示された三次元対象物の視覚化を制御する方法であって、視覚化に必要な変化を決定するステップと、三次元対象物を更新するステップとを具える。仮想リアリティ、拡張リアリティ、又はその他の仮想空間に表示された三次元対象物の視覚化を制御する装置は、視覚化に必要な変化を決定する手段と、三次元対象物を更新する手段とを具える。この手順は、システムによって自動的に行われるか、あるいは、オペレータによって対話形式で誘導するようにしてもよい。アプリケーションは、限定するものではないが、仮想リアリティ、拡張リアリティ、及び三次元印刷を具える。
【０１７７】
仮想空間における視覚化は、本発明によれば様々な方法で制御することができる。本発明の一実施例では、モデルの表示深さを自動的にあるいはユーザの相互作用によって制御し、初めは見ることができなかったモデルの部分を表示する。このモデルは、高密度装填（すべての情報を含む）してもよく、制限された深さのみの周辺情報からなる、「中空」モデルであってもよい。この周辺情報は、消極的なスペース探査を用いて計算できる。ユーザがより深く見たいモデルの一部を表す場合は、モデルの外側部分を隠して、下にあるデータを表示する。
【０１７８】
消極的なスペース探査は、エンプティを選択して、通常、（０，０，０）［ｘ、ｙ、ｚ座標］である、モデルの直交座標空間のエッジにある点から開始することによって行われる。例えば、最小カラー値スレッシュホールドなどの、座標が診察パラメータを、満足しない近接する各座標を診察リストに加える。診察パラメータを満足するポイントにくると、このポイントが対象の周辺アレイに加えられ、深さが一座標より大きい場合は、その角度の深さカウンタをデクリメントする。診察パラメータを満足する座標は、診察リストに加えない。
【０１７９】
図１７は、二次元のネガティブ空間診査の一例を示す。左上コーナのポイント（０，０）から診査を開始する。診査領域（説明を参照）にポイントを加え、非ゼロ（白色）値について、隣接するポイントを試験した。円の左上外周に沿って、（画像、説明を参照）、非ゼロポイントを見つけた（外周、説明を参照）。これらのポイントは、非ゼロサーチパラメータを満足しており、外周アレイに加えられる。従って、この図面に記載された時間内のポイントについて、外周アレイは、ポイント（８，３）、（８，４）、（７，４）、（６，４）、（６，５）、（６，６）、（５，６）、及び（５，７）を含んでいる。
【０１８０】
中空モデルを更新する場合、完全モデルからのデータを用いて、新しい深さ位置で表示するべきデータを決定する。例えば、ｘ面に沿った初期深さがゼロであり、ユーザがその深さを１０になるように更新した場合、ｘの値が１０より小さい現存モデルのすべての座標が、モデルから破棄される。次いで、完全モデルからのデータが、モデルのｘ＝１０の面に沿って加えられる。さらに、所定の深さへのデータを加えてもよい。例えば、そのモデルに使用する深さが３であれば、１０≦ｘ≦１３の範囲にあるデータが可視モデルに加えられるであろう。
【０１８１】
別の実施例は、拡張リアリティ、仮想リアリティ、又はその他のバーチャル環境において医療用撮像データを可視化する方法に関し、この方法は、対象を配置するステップと、対象の位置を測定するステップと、対象の方向を測定するステップと、医療用撮像データを三次元画像にするステップと、を具える。医療用撮像データを拡張リアリティ、仮想リアリティ、又はその他のバーチャル環境においてで可視化する装置は、対象物を配置する手段と、対象の位置を決定する手段と、対象の方向を測定する手段と、医療用撮像データを三次元画像にする手段と、を具える。このプロセスは、システムによって自動的に、あるいは、オペレータによる対話式の案内によって行うことができる。アプリケーションには、限定するものではないが、手術手順目的の可視化、医療試験目的の可視化、手術トレーニング目的の可視化、医療トレーニング目的の可視化、理学療法目的の可視化、レーザ手術目的の可視化、及び物理的診断目的の可視化がある。
【０１８２】
対象の配置は、様々な方法で行うことができる。本発明の一実施例では、対象領域の特徴をターゲットで検出した特徴と比較する。複数のマッチングした特徴が、自動的にあるいはユーザ又はプログラムのスペックを介して決定された閾値より多いと、ターゲットが対象と合致したものとみなし、合致した位置を見出す。別の実施例では、ターゲットの外周形状を画像内で検出したエッジと比較することができる。複数の合致した外周ポイントが自動的に決定されるか、あるいはユーザ又はプログラムにより特定された閾値を超えると、ターゲットは対象と合致したものとみなし、合致した位置を見出す。この手順は、例えば、あらかじめコンパイルされた特徴セット又は異なる角度についての特徴あるいは外周データ、及びターゲットのスケールを用いて三次元に適用することができる。さらに、ターゲットの回転とスケールを、特徴又は外周を比較している間、リアルタイムで測定することができる。
【０１８３】
図１８は、画像内に配置され、合致したターゲットの対象（左下コーナ、白い背景）を示す。ターゲット対象上の白いＸマークが特徴を表している。これらの特徴は、対象の画像内の特徴に合致しており、ポジティブな認識を見出している。ターゲット対象の外周値も対象の画像と比較され、この合致を見出す及び／又は強化している。合致している領域は、それを囲む黒い矩形で示した。
【０１８４】
対象内のサーチ領域がさらに小さくなって、より迅速なプロセスでターゲットの検出が行われる。本発明の一実施例は、変更した画像内のポイントを決定するのにＸＯＲ法（あるいは、排他的に）を使用して、対象内の物体の動き表示する。これらの動きのポイントを使用して対象内のターゲットのサーチを案内し、検査の必要なデータポイント数を少なくする。これらのポイントは、選択的に、特徴及び／又は周辺データの代替として使用できる。
【０１８５】
ＸＯＲベースの画像を測定するには、フレーム間にオフセットが必要である。フレーム間のオフセットを測定するには、現在の対象画像を、以前に撮影した対象画像と比較する。複数のポイントが自動的に、ユーザによって、あるいはプログラムの一部として選択される。これらのポイントは、ビューフレーム内の固定位置にある。以前の画像のデータを現在の画像のデータと比較することによって、オフセットを検出できる。一のポイントが、開始点として選択される。あらかじめ決めておくか、自動的に決めるか、ユーザによって選択された領域は、以前の画像の値に合致するようにサーチされる。比較を行うこの値は、例えば、単一ポイント値である。この値は、ガウス分布、又はその他の計算手段の総和である。現在の画像にこの値が見つかり、所定範囲内で以前の画像の値に合致したら、オフセットを記録する。この範囲内のその他のオフセットも、記録される。オフセットが見つからない場合は、ポイントが見つかるまで、あるいは、可能性のあるオフセットが見つからなかった場合、合致が見つかるまで、あるいは、オフセットの連続合致が見つかるまで（下記を参照）別のポイントを選択する。
【０１８６】
図１９は、フレームオフセットの計算用のフローチャートである。このフローは、左上コーナの「スタート」で開始する。これがシーケンスの第１フレームであれば（例えば、カメラで捕捉した第１画像）、単純に前のフレームを記録して、シーケンスを終了する。これがいずれかのシーケンスフレームであれば、前フレームを保存して、現フレームに足す。次いで、複数の基準点（Ｎ）をあらかじめ決められた座標であるいはその他の選択手段で選択する。これらの基準点は、前フレームから値を取り出すのに使用される。この値は、後の使用のために保存する。次いで、現フレームの基準座標における値を前のフレームから取り出した値と比較する。十分多数の値が合致しない場合は、座標の変化が生じる。まず、変化値を試験して、これらの値が閾値を超えていないことを確かめる。超えている場合は、シーケンスが止まり、合致が見いだされない。超えていなければ、変換及び／又は回転値をロジック態様で調整し、閾値範囲内の値を試験する。比較サイクルと調整は、変換値閾値を超えて、シーケンスが合致することなく終わるまで、あるいは十分多数の値が合致して回転と変換値を記録するまで続く。記録した変換及び回転値を用いて、前フレームと現フレームをＸＯＲオペレーションで組み合わせて、オリジナルフレームとして同じサイズの新しいフレームを作成する。所定の閾値を超えるＸＯＲ’ｄのフレーム内の座標を見つけることによって、対象と画像のその他の動く構成要素の位置を見ることができるようになる。
【０１８７】
可能なポイントのリストが出来上がると、残りのｎ個のポイントは各々同じオフセットと比較される。これらのポイントは、画像の中心に基づいて回転し、試験される。特定のオフセットと回転で、十分なポイントが合致すると、見つけるべき合致が決定される。この時点で、ターゲット画像中のすべてのピクセル値が、対象画像を伴うＯＸＲ’ｄであり、決定したオフセットと回転によって変更される。閾値を超えなかったポイント（ユーザによって、自動的に決まる、あるいは、あらかじめ決められている）は取り除く。この合成画像が、対象領域内の対象の位置と動きにハイライトを当てる。
【０１８８】
ある特徴は、サークル上の固定距離に十分な数の連続ポイントが最小閾値基準に合致しているかどうかを決定する。例えば、最小数の連続ポイントが１６であると決定され、合致条件が１０より多い値であれば、サークル上のある列の最小の１６ポイント（可変又は固定距離ベースで計算した）は、１０より大きな値を有していなければならない。この条件が満たされれば、この試験の中心ポイントはある特徴であると考えらえる。
【０１８９】
図２０は、二つの異なるポイントで二次元で行った特徴試験を示す。１２の最小数の連続ポイントを用いて、左側（左円の中心）のポイントはパスしない。白でないポイントを含む円の上に連続して１２より少ないポイントがある。右側のポイント（右の円の中心）はパスする。このポイントを囲む円の上に連続する１３のポイントがある。
【０１９０】
平面又は球のいずれかを用いて三次元で特徴マッチングを行うことができる。平面の場合、上述した円は、三次元平面で計算される。Ｘ−Ｙ面、Ｘ−Ｚ面、Ｙ−Ｚ面である。特徴がすべての面について基準に合致すると、マッチングが存在すると決定される。
【０１９１】
図２１は、特徴試験の三次元モデルを示す。この円の外側周囲にリングとして示されている平面円は、その特徴が有効であるかどうかを決定するために各軸上で使用される円を表している。試験は、各面、ＸＹ、ＸＺ、及びＹＺで行われ、特徴試験が３つの面すべてで成功すれば、中央における特徴、この図においては原点の黒い点が、有効であることが決定する。
【０１９２】
ターゲットの位置は、すぐに見るための２Ｄ座標データ、及び動きに対する基準としての３Ｄ座標データとして保存される。合致したターゲットの回転及びスケールを用いて、対象視界内の合致した領域の上に正確にターゲットを三次元表示することができる。三次元の位置を保存することによって、対象を連続フレームで迅速に試験することができ、ユーザとターゲットが動いた時の位置を確認することができる。
【０１９３】
別の実施例は、ガドリニウムマーカを用いて拡張リアリティにおける位置を強調する方法に関する。
【０１９４】
ガドリニウムは、ＭＲ撮像でコントラストを強調するのに通常使用される物質である。ガドリニウムをキャリアと混合することによって、ＭＲスキャンの前に、表面が被覆される。これによって、仮想空間用のターゲット検出に適した被覆表面の高コントラスト画像が得られる。
【０１９５】
例えば、脳内の損傷を探すために患者にＭＲスキャンを行っている。キャリアに注入したガドリニウムは、ＭＲスキャンを行う前に患者の顔面に広がり、患者の顔面に強いコントラストを作る。患者の顔面からのこの強調されたコントラストを用いて、患者のデジタル画像を作成し、顔認識を用いて、患者と、その後の手術中に患者の頭部にわたるＭＲスキャンの三次元モデルの位置を認識することができる。
【０１９６】
別の実施例では、最終ＭＲ画像で見ることができて、キャリブレーションに使用できるガドリニウムを注入したキャリアを対象の上に描き、マーカとして用いる。
【０１９７】
別の実施例は、画像分割距離を決定するステップと、欠損画像を認識するステップと、ソース画像を整列させて欠損画像データを構築するステップと、これらの画像を足し合わせて三次元モデルを形成するステップと、を具える三次元モデル構築方法である。
【０１９８】
ＤＩＣＯＭフォーマットで提供された画像は、スライス間の分割距離を表示するデータを含む。このデータは、必要なスライス数を決定するのに使用される。このデータがないときは、画像のより小さい幅及び高さ寸法を用いて、深さが決まり、矩形モデルを作る。この値はまた、モデルを正しい深さに調整するためにユーザの入力によって上書きするあるいは設定することができる。
【０１９９】
次いで、欠落画像を認識する。画像ファイルのナンバリング、画像ファイルのコンテンツ、及び画像ファイルの有効性を含むいくつかのファクタを見ることによって自動認識が行われる。シーケンス内の画像ファイルは、順次ナンバリングされる。ナンバーのシーケンスを分析し、そのシーケンス中の欠落したナンバーを欠落画像としてフラッグを立てる。画像のコンテンツを分析し、十分なデータが欠落している画像（例えば、ほとんど又は完全にブランクの画像）を欠落画像としてフラッグを当てる。無効画像ファイルは、使用されているタイプの有効画像として開かないファイルである。三次元画像の自動生成は、フラッグの付いた画像を欠落画像として扱う。代替的に、あるいは共に、ユーザは欠落画像、並びに欠落しているとしてフラグが追加された画像を視認して変更することができる。
【０２００】
次いで、必要なフレーム間で画像を整列させる。調整した両画像から周辺のポイントが整列していない場合は、画像が整列していないと決定される。したがって、３つのシーケンシャル画像が、形状のスケールと変更を調整した画像の同じ領域を占める周辺部を有する場合は、その画像は整列させたものと判断される。中心の画像が、調整画像から整列していない場合は、その画像は、画像間の特徴を比較して整列させることによってインラインに調整される。この整列は、全画像を使用するものであり、周辺のみではない。
【０２０１】
最終モデルは、欠損画像の補間によって生成される。必要な最終画像数が決定され、存在する画像対間に追加するべき画像数が決まる。複数のパスが行われ、必要な画像を追加する。各パスにおいて、画像内に存在するデータを現在の画像対間に補間することによって、一の画像が追加される。したがって、５つの画像を含むシーケンスでは、一回のパスの後９画像となる。第２パスの後は、１６画像になる。これを所望の画像数となるかそれを超えるまで続ける。
【０２０２】
以下の非包括的方法、システム、及びシステム構成要素が開示されている。
・拡張又は仮想リアリティの外科的オーバーレイを提供する方法であって、これは、限定するものではないが、ヘッドアップディスプレイ（ＨＵＤ）、医療撮像ディスプレイ、バイタル統計ディスプレイ、患者情報ディスプレイ、手順情報、及びその他のデータを含む要素から構成されている。
・拡張又は仮想リアリティ手術環境において手術ターゲットとその他の関連する医学的及び／又は生体構造データを表示する方法。
・腹腔鏡手順に関する拡張又は仮想リアリティ手術オーバーレイを提供する方法であって、限定するものではないが、腹腔鏡装置の経路をマッピングするステップと、腹腔鏡装置の位置の表示と、腹腔鏡撮像データの表示と、一般的な及び関連する特定のポイントについてノートをとるシステムを含む要素から構成されている。
・拡張又は仮想リアリティ生体構造ディスプレイを提供する方法であって、限定するものではないが、生体構造の作図及びラベリングを行うステップと、獣医学的解剖と、解剖シミュレーションとを含む要素から構成されている。
・肉眼解剖と問題解決型学習（ＰＢＬ）を組み合わせる方法。
・拡張又は仮想リアリティ医療シミュレーションを提供する方法であって、限定するものではないが、診断シミュレーションと、手術シミュレーションと、手順シミュレーションと、患者の撮像に基づいた手術のプレビューと、教授などの目的でのグループシミュレーションを含む要素から構成されている。
・見ている環境に重畳するあるいは一体化する二次元又は三次元画像からなる拡張又は仮想リアリティにおいて、ヘッドアップディスプレイ（ＨＵＤ）を表示する方法。
・学生を試験し、材料を享受する目的で人工知能と組み合わせた拡張又は仮想リアリティを使用する方法。
・救急処置でユーザを訓練する目的での、拡張又は仮想リアリティのシミュレーション方法。
・拡張又は仮想リアリティを用いて知能テストを行う方法。
・仮想リアリティ、拡張リアリティ、又はその他の仮想空間に表示された三次元対象の可視化を制御する方法であって、可視化における必須の変化を決定するステップと、三次元対象を更新するステップとを具える。仮想リアリティ、拡張リアリティ、又はその他の仮想空間の可視化を制御する方法であって、可視化における必須の変化を決定する手段と、三次元対象を更新する手段を具える。このプロセスは、自動で、あるいはシステムによって実行することができ、あるいはオペレータによる対話形式で案内することもできる。アプリケーションには、限定するものではないが、仮想リアリティ、拡張リアリティ、及び三次元印刷がある。
・拡張リアリティ、仮想リアリティ、又はその他のバーチャル環境における医療用画像データを可視化する方法であって、対象を位置づけするステップと、対象の位置を決定するステップと、対象の方向を決定するステップと、医療用画像データをレンダリングするステップとを具える。拡張リアリティ、仮想リアリティ、又はその他のバーチャル環境における医療用画像データを可視化する装置であって、対象を位置づけする手段と、対象の位置を決定する手段と、対象の方向を決定する手段と、医療用画像データをレンダリングする手段とを具える。このプロセスは、システムによって自動的に行う、あるいは、オペレータによって対話形式で案内することができる。アプリケーションは、限定するものではないが、外科手術の目的の可視化、医療テストの目的の可視化、手術トレーニングの目的の可視化、医療トレーニングの目的の可視化、物理療法目的の可視化、レーザ手術目的の可視化、物理的診断目的の可視化、がある。
・ガドリニウムマーカを用いて拡張リアリティにおける位置を強化する方法。
・三次元モデルを構築する方法及び装置であって、画像分割距離を決定するステップと、欠損画像を認識するステップと、ソース画像を整列させて、欠損画像データを構築するステップと、これらの画像を合わせて三次元モデルを形成するステップ。
・人工知能と組み合わせた拡張又は仮想リアリティを用いて学生に教授する方法。
【０２０３】
本明細書に開示した様々な方法論及び／又はこれを構築し管理するユーザーインターフェースはいずれも、一又はそれ以上のシーケンスインストラクション（正しいインストラクションの実行に必要な関連データを含む）を機械で実行することによって実装することができる。このようなインストラクションは、一又はそれ以上のコンピュータで読み取り可能な媒体に記録して、特定目的あるいは汎用コンピュータシステム、あるいは民生電子装置、又は上述した様々なシステムコンポーネント、デバイス、およびアプライアンス（例えば、図１に示すプログラムされたプロセッサ）といった、アプライアンス内の、一又はそれ以上のプロセッサ内で後に取り出して実行できる。このようなインストラクションとデータが入っているコンピュータで読み取り可能な媒体には、限定するものではないが、様々な持続性形式の不揮発性ストレージ媒体（例えば、光、磁気、又は半導体ストレージ媒体）とこのようなインストラクションとデータを、無線、光、又は有線信号伝達媒体又はこれらの組み合わせを介して伝送するのに使用できるキャリア波と、がある。このようなインストラクションとデータのキャリア波による伝送の例には、限定するものではないが、インターネット上での伝送（アップロード、ダウンロード、電子メールなど）、及び／又は、一又はそれ以上のデータ伝送プロトコル（例えば、ＨＴＴＰ、ＦＴＰ、ＳＭＴＰなど）を介したその他のコンピュータネットワークがある。
【０２０４】
上述の記載及び添付図面において、特定の用語及び符号を用いて、開示した実施例の完全な理解を提供している。いくつかの場合、この用語及び符号は、これらの実施例を実施するのに不要な特定の詳細を含んでいる。例えば、特定の寸法、構成要素（カメラ、プロジェクション、センサ、その他）の数、構成回路、あるいは装置などのいずれも、代替の実施例で述べたものと異なっていてもよい。さらに、システムコンポーネント又は機能ブロック間のリンク又はその他の相互接続は、バスとして、あるいは単信号線として示すことができる。各バスは、代替的に単信号線でもよく、各単信号線は代替的にバスでもよい。信号及び信号送信リンクが示され、説明されているが、シングルエンドであっても、差動式であってもよい。用語「接続されて」は、ここでは、直接接続と、一又はそれ以上の中間回路又は構造を介しての接続を表すように使用されている。デバイス「プログラミング」は、例えば、限定することなく、制御値を、ホストインストラクション（及び、デバイスの操作態様及び／又はデバイスコンフィグレーションの確立）に応じて、あるいは、一度だけのプログラミング操作（例えば、装置製造中にコンフィグレーション回路内にヒューズを飛ばす）を介して、及び／又は、一又はそれ以上の選択されたピン又はデバイスのその他のコンタクト構造を基準電圧ラインに接続して（ストラッピングともいう）特定のデバイスコンフィグレーション又はそのデバイスの操作態様を確立することによって、レジスタ又はその他のストレージ回路にローディングすることを含む。用語「例示的」及び「実施例」は、優先あるいは必要ではなく、一例を表すのに使用されている。また、用語「してもよい」、「できる」は、交換可能に使用されており、選択的な（容認できる）主題を記載するものである。用語の欠落は、所定の特徴又は技術が要求されているとの意味であると解釈するべきではない。
【０２０５】
本開示の幅広い精神及び範囲から外れることなく、ここに記載した実施例に、様々な変形及び変更を加えることができる。例えば、いずれかの実施例の特徴又は態様は、その他の実施例と組み合わせて、あるいはその同等の特徴又は態様に代えて適用することができる。したがって、明細書及び図面は、制限するというより説明と考えるべきである。
【図１】
2018516718.tif 000003
【図２】
2018516718.tif 000004
【図３】
2018516718.tif 000005
【図４】
2018516718.tif 000006
【図５】
2018516718.tif 000007
【図６】
2018516718.tif 000008
【図７】
2018516718.tif 000009
【図８】
2018516718.tif 000010
【図９】
2018516718.tif 000011
【図１０】
2018516718.tif 000012
【図１１】
2018516718.tif 000013
【図１２】
2018516718.tif 000014
【図１３】
2018516718.tif 000015
【図１４】
2018516718.tif 000016
【図１５】
2018516718.tif 000017
【図１６】
2018516718.tif 000018
【図１７】
2018516718.tif 000019
【図１８】
2018516718.tif 000020
【図１９】
2018516718.tif 000021
【図２０】
2018516718.tif 000022
【図２１】
2018516718.tif 000023
【国際調査報告】
2018516718.tif 000024
2018516718.tif 000025
2018516718.tif 000026
2018516718.tif 000027
2018516718.tif 000028