(57)【要約】仮想画像生成システムおよびそれを動作させる方法が提供される。３次元場面の左合成画像および右合成画像は、第１の視点に対する第１の左焦点中心および第１の右焦点中心からそれぞれレンダリングされる。第１の左および第１の右焦点中心は、エンドユーザの眼球間距離より大きい距離を互いから間隔を置かれる。合成画像および右合成画像は、第１の視点と異なる第２の視点に対する第２の左焦点中心および第２の右焦点中心に対してそれぞれワープさせられる。第２の左および右焦点中心は、エンドユーザの眼球間距離と等しい距離を互いから間隔を置かれる。フレームは、左および右ワープ合成画像から構築され、エンドユーザに表示される。
2019512798.tif 000002
【特許請求の範囲】
【請求項１】
仮想画像生成システムを動作させる方法であって、前記方法は、
第１の視点に対する第１の左焦点中心および第１の右焦点中心から３次元場面の左合成画像および右合成画像をそれぞれレンダリングすることであって、前記第１の左および第１の右焦点中心は、エンドユーザの眼球間距離より大きい距離を互いから間隔を置かれている、ことと、
前記第１の視点と異なる第２の視点に対する第２の左焦点中心および第２の右焦点中心に前記左合成画像および前記右合成画像をそれぞれワープさせることであって、前記第２の左および右焦点中心は、前記エンドユーザの前記眼球間距離と等しい距離を互いから間隔を置かれている、ことと、
フレームを前記左および右ワープ合成画像から構築することと、
前記フレームを前記エンドユーザに表示することと
を含む、方法。
【請求項２】
前記左および右合成画像は、３次元でレンダリングされ、２次元でワープさせられる、請求項１に記載の方法。
【請求項３】
前記左合成画像および右合成画像のために、左深度データおよび右深度データをそれぞれ生成することをさらに含み、前記左合成画像および前記右合成画像は、前記左深度データおよび前記右深度データを使用して、それぞれワープさせられる、請求項１に記載の方法。
【請求項４】
前記左合成画像および前記右合成画像は、前記３次元場面内の第１の注視点に基づいてレンダリングされ、前記左合成画像および前記右合成画像は、前記３次元場面内の第２の注視点に基づいてワープさせられる、請求項３に記載の方法。
【請求項５】
前記ユーザの前記眼球間距離を検出することをさらに含む、請求項１に記載の方法。
【請求項６】
前記第１の視点の推定値を予測すること、および前記第２の視点を検出することをさらに含む、請求項１に記載の方法。
【請求項７】
前記第１および第２の視点の各々を検出することをさらに含む、請求項１に記載の方法。
【請求項８】
前記３次元場面は、前記第１の視点に対する前記第２の左および右焦点中心から見えず、前記第２の視点に対する前記第２の左および右焦点中心から見える仮想オブジェクトの少なくとも一部を含む、請求項１に記載の方法。
【請求項９】
眼球間距離を有するエンドユーザによる使用のための仮想画像生成システムであって、前記仮想画像生成システムは、
３次元場面を記憶しているメモリと、
第１の視点に対する第１の左焦点中心および第１の右焦点中心から前記３次元場面の左合成画像および右合成画像をそれぞれレンダリングするために構成されている制御サブシステムであって、前記第１の左および第１の右焦点中心は、前記エンドユーザの前記眼球間距離より大きい距離を互いから間隔を置かれており、前記制御サブシステムは、前記第１の視点と異なる第２の視点に対する第２の左焦点中心および第２の右焦点中心に前記左合成画像および前記右合成画像をそれぞれワープさせるためにさらに構成され、前記第２の左および右焦点中心は、前記エンドユーザの眼球間距離と等しい距離を互いから間隔を置かれており、前記制御サブシステムは、フレームを前記左および右ワープ合成画像から構築するためにさらに構成されている、制御サブシステムと、
前記フレームを前記エンドユーザに表示するために構成されているディスプレイシステムと
を備えている、仮想画像生成システム。
【請求項１０】
前記ディスプレイシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、請求項９に記載の仮想画像生成システム。
【請求項１１】
前記ディスプレイシステムは、投影サブシステムと、部分的透明ディスプレイ表面とを含み、前記投影サブシステムは、前記フレームを前記部分的透明ディスプレイ表面上に投影するために構成され、前記部分的透明ディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置するために構成されている、請求項９に記載の仮想画像生成システム。
【請求項１２】
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイシステムを支持する、請求項９に記載の仮想画像生成システム。
【請求項１３】
前記制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備えている、請求項９に記載の仮想画像生成システム。
【請求項１４】
前記左および右合成画像は、３次元でレンダリングされ、２次元でワープさせられる、請求項９に記載の仮想画像生成システム。
【請求項１５】
前記制御サブシステムは、前記左合成画像および右合成画像のための左深度データおよび右深度データをそれぞれ生成するためにさらに構成され、前記左合成画像および前記右合成画像は、前記左深度データおよび前記右深度データを使用して、それぞれワープさせられる、請求項９に記載の仮想画像生成システム。
【請求項１６】
前記左合成画像および前記右合成画像は、前記３次元場面内の第１の注視点に基づいてレンダリングされ、前記左合成画像および前記右合成画像は、前記３次元場面内の第２の注視点に基づいてワープさせられる、請求項１５に記載の仮想画像生成システム。
【請求項１７】
前記ユーザの前記眼球間距離を検出するために構成されている１つ以上のセンサをさらに備えている、請求項９に記載の仮想画像生成システム。
【請求項１８】
前記第１の視点の推定値を予測すること、および前記第２の視点を検出することを行うために構成されている患者向きモジュールをさらに備えている、請求項９に記載の仮想画像生成システム。
【請求項１９】
前記第１および第２の視点の各々を検出するために構成されている患者向きモジュールをさらに備えている、請求項９に記載の仮想画像生成システム。
【請求項２０】
前記３次元場面は、前記第１の視点に対する前記第２の左および右焦点中心から見えず、前記第２の視点に対する前記第２の左および右焦点中心から見える仮想オブジェクトの少なくとも一部を含む、請求項９に記載の仮想画像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の引用）
本願は、米国仮特許出願第６２／３０８，４１８号（２０１６年３月１５日出願、名称「ＷＩＤＥ  ＢＡＳＥＬＩＮＥ  ＳＴＥＲＥＯ  ＦＯＲ  ＬＯＷ−ＬＡＴＥＮＣＹ  ＲＥＮＤＥＲＩＮＧ」、代理人事件番号ＭＬ．３００３２．００）からの優先権を主張する。上記出願の内容は、その全体が参照により本明細書に明示的に引用される。
【０００２】
（発明の分野）
本発明は、概して、１人以上のユーザのための双方向仮想または拡張現実環境を促進するように構成されるシステムおよび方法に関する。
【背景技術】
【０００３】
現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実であるように見える様式で、もしくはそのように知覚され得る様式でユーザに提示される。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。
【０００４】
例えば、図１を参照すると、拡張現実場面４が、描写されており、ＡＲ技術のユーザは、人々、木々、背景における建物を特徴とする実世界公園状設定６と、コンクリートプラットフォーム８とを見る。これらのアイテムに加え、ＡＲ技術のユーザは、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とを「見ている」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論からいうと、ヒトの視知覚系は、非常に複雑であり、他の仮想または実世界画像要素間における仮想画像要素の快適で、自然のような感覚で、かつ豊かな提示を促進するＶＲまたはＡＲ技術の生成は、困難である。
【０００５】
ＶＲおよびＡＲディスプレイシステムは、視認者またはユーザの頭部姿勢に関する情報（すなわち、ユーザの頭部の向きおよび／または場所）から利益を享受し得る。
【０００６】
例えば、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイもしくはスマートグラス）は、ユーザの頭部に少なくとも緩く装着され、したがって、ユーザの頭部が移動すると移動する。ユーザの頭部の運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部の姿勢の変化を考慮するように更新されることができる。
【０００７】
例として、頭部装着型ディスプレイを装着しているユーザが、３次元（３Ｄ）オブジェクトの仮想表現をディスプレイ上で視認し、３Ｄオブジェクトが現れるエリアの周囲を歩く場合、その３Ｄオブジェクトは、各視点のために再レンダリングされ、ユーザに、実空間を占有するオブジェクトの周囲を歩いているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間内に提示するために使用される場合（例えば、豊かな仮想世界）、ユーザの動的に変化する頭部の場所および向きに合致する場面を再レンダリングし、仮想空間で増加した没入感を提供するために、頭部の姿勢の測定値を使用することができる。
【０００８】
ＡＲ（すなわち、実および仮想要素の同時視認）を可能にする頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される１つのそのような構成では、カメラが、実際の場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重ね、非透明ディスプレイが、複合画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、ユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見ることにより、環境内の実オブジェクトからの光を直接視認することができる。多くの場合、「結合器」と称される透明要素は、実世界のユーザのビューの上にディスプレイからの光を重ねる。
【０００９】
ビデオおよび光学シースルーディスプレイの両方において、頭部姿勢の検出は、ディスプレイシステムが、仮想オブジェクトが実世界内の空間を占有するように見えるように仮想オブジェクトをレンダリングすることを可能にすることができる。ユーザの頭部が実世界内で動き回るとき、仮想オブジェクトは、仮想オブジェクトが実世界に対して安定したままであるように見えるように、頭部姿勢の関数として再レンダリングされる。少なくともＡＲ用途に対して、仮想オブジェクトの物理的オブジェクトに対する空間関係における設置（例えば、２または３次元において物理的オブジェクトに空間的に近接して現れるように提示される）は、些細な問題ではない。例えば、頭部移動は、周囲環境のビュー内における仮想オブジェクトの設置をかなり複雑にし得る。これは、ビューが周囲環境の画像として捕捉され、次いで、エンドユーザに投影または表示されるかどうか、または、エンドユーザが周囲環境のビューを直接知覚するかどうかにかかわらず該当する。例えば、頭部移動は、エンドユーザの視野を変化させる可能性が高く、それは、種々の仮想オブジェクトがエンドユーザの視野内に表示される場所に対する更新を要求する可能性が高いであろう。加えて、頭部移動は、多種多様な範囲および速度内で生じ得る。頭部移動速度は、異なる頭部移動間においてだけではなく、単一頭部移動の範囲内で、またはそれにわたって変動し得る。例えば、頭部移動速度は、最初に、開始点から増加し得（例えば、線形または非線形に）、終了点に到達するにつれて減少し、頭部移動の開始点と終了点との間のある場所において最大速度を取得し得る。高速頭部移動は、均一および／または平滑運動としてエンドユーザに現れる画像をレンダリングするための特定のディスプレイまたは投影技術の能力を超えさえし得る。
【００１０】
頭部追跡正確度と、待ち時間（すなわち、ユーザがその頭部を移動させる時間と、画像が更新され、ユーザに表示される時間との間の経過時間）とは、ＶＲおよびＡＲシステムに対して問題となっている。特に、ユーザの視野の実質的部分を仮想要素で充填するディスプレイシステムに対して、頭部追跡の正確度が高く、頭部運動の最初の検出からディスプレイによってユーザの視覚系に送達される光の更新までの全体的システム待ち時間が非常に短いことが、重要である。待ち時間が長い場合、システムは、ユーザの前庭と視覚系との間の不整合をもたらし、乗り物酔いまたはシミュレータ酔いを生成し得る。光学シースルーディスプレイの場合、実世界のユーザのビューは、本質的に、ゼロ待ち時間を有する一方、仮想オブジェクトのそのビューは、頭部追跡レート、処理時間、レンダリング時間、およびディスプレイフレームレートに依存する待ち時間を有する。システム待ち時間が長い場合、仮想オブジェクトの見掛け場所は、高速頭部運動の間、不安定であるように見えるであろう。
【００１１】
頭部装着型ディスプレイシステムに加え、他のディスプレイシステムも、正確かつ短待ち時間の頭部姿勢検出から利益を享受し得る。これらは、ディスプレイが、ユーザの身体上に装着されず、例えば、壁または他の表面上に搭載される頭部追跡ディスプレイシステムを含む。頭部追跡ディスプレイは、場面上で窓のように作用し、ユーザがその頭部を「窓」に対して移動させるとき、場面は、ユーザの変化する視点に合致するように再レンダリングされる。他のシステムは、頭部装着型投影システムを含み、頭部装着型ディスプレイは、光を実世界上に投影する。
【００１２】
頭部追跡正確度および待ち時間に対処するアプローチは、例えば、ビューストロビングまたはフラッシングもしくは他の技法を介して、実際のフレームレートまたは有効フレームレートを増加させることを含み得る。予測的頭部追跡が、待ち時間を短縮させるために採用され得る。予測的頭部追跡は、特定のエンドユーザに対する履歴データまたは属性を含む多種多様な要因またはアプローチのいずれかに依拠し得る。ディスプレイまたは提示のブランキングも、効果的に採用される：例えば、高速頭部移動中のブラッキング。
【００１３】
使用されるディスプレイシステムのタイプにかかわらず、３Ｄオブジェクトは、レンダリングが表示されるとき、その時の現在の視点または予測される視点からレンダリングされる。待ち時間を最小に保つために、レンダリングされる画像は、走査されるディスプレイにおいて「ビームを追尾する」ように最後の瞬間に調節される。これは、典型的には、画像をワープ（ｗａｒｐ）させることによって達成される。すなわち、画像は、ユーザがその頭部を移動させる時間と、画像が更新された時間との間の待ち時間を減少させるように時間ワープさせられる。例えば、画像が、６０フレーム／秒（ＦＰＳ）でのみユーザに提示され得ると仮定すると、時間ワープを利用しない画像レンダリングプロセスは、前の画像がレンダリングされ、ユーザに提示された直後にユーザの頭部の位置を決定し、次いで、その頭部位置に基づいて、次の画像をレンダリングし、ユーザに表示し得る。システムが、６０フレーム／秒（ＦＰＳ）で画像をユーザに提示する場合、各画像は、頭部位置が決定された時間から、ユーザに提示される時間まで、１６．７ｍｓ秒もかかり得る、それは、容認不可能である。時間ワープを利用する画像レンダリングプロセスは、ユーザの実際または推定された頭部位置に以前にレンダリングされた画像をワープさせることによって画像がユーザに提示される前の可能な最後の瞬間に、頭部位置を決定または推定するであろう。
【００１４】
典型的には、画像は、典型的には、視差を使用してワープさせられる。すなわち、視認者により近いオブジェクトは、視点が変化するとき（すなわち、ユーザの頭部が移動するとき）、視認者からより離れたオブジェクトより高速で移動するので、ワーププロセスは、２次元歪曲ワープを画像に対して実施するために３次元データを利用する。特定の視点にレンダリングされる場面の画像は、異なる特定の視点からの同一場面の３次元データの全てを含まないこともある（例えば、レンダリングされる画像内の別のオブジェクトの背後に完全に隠される１つのオブジェクトは、異なる視点では、部分的にのみ隠されることも、全く隠されないこともある）ので、視差ワーププロセスは、異なる深度のオブジェクトの異なる変位に起因して、結果として生じる画像内に穴を導入し得る。
【００１５】
したがって、仮想現実または拡張現実環境内にレンダリングされたワープ画像における穴の頻度およびサイズを低減させる必要がある。
【発明の概要】
【課題を解決するための手段】
【００１６】
本発明の実施形態は、１人以上のユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。
【００１７】
本発明の一側面によると、仮想画像生成システムを動作させる方法が、提供される。方法は、第１の視点に対する第１の左焦点中心および第１の右焦点中心から３次元場面の左合成画像および右合成画像をそれぞれレンダリングすることを含む。第１の左および第１の右焦点中心は、エンドユーザの眼球間距離より大きい距離を互いから間隔を置かれる。方法は、第１の視点と異なる第２の視点に対する第２の左焦点中心および第２の右焦点中心に、左合成画像および右合成画像をそれぞれワープさせることをさらに含む。第２の左および右焦点中心は、エンドユーザの眼球間距離と等しい距離を互いから間隔を置かれる。方法は、フレームを左および右ワープ合成画像から構築することと、フレームをエンドユーザに表示することとをさらに含む。
【００１８】
一実施形態では、左および右合成画像は、３次元でレンダリングされ、２次元でワープさせられる。方法は、左合成画像および右合成画像のための左深度データおよび右深度データをそれぞれ生成することを含み得、その場合、左合成画像および右合成画像は、左深度データおよび右深度データを使用して、それぞれワープさせられ得る。一実施形態では、左合成画像および右合成画像は、３次元場面内の第１の注視点に基づいてレンダリングされ、左合成画像および右合成画像は、３次元場面内の第２の注視点に基づいてワープさせられる。３次元場面は、第１の視点に対する第２の左および右焦点中心から見えず、第１の視点に対する第２の左および右焦点中心から見える仮想オブジェクトの少なくとも一部を含み得る。一実施形態では、第１の視点の推定値は、予測され、第２の視点は、検出される。別の実施形態では、第１および第２の視点の各々は、検出される。
【００１９】
本発明の別の側面によると、眼球間距離を有するエンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、３次元場面を記憶しているメモリを備えている。仮想画像生成システムは、第１の視点に対する第１の左焦点中心および第１の右焦点中心から３次元場面の左合成画像および右合成画像をそれぞれレンダリングするためにさらに構成されている制御サブシステム（例えば、グラフィカル処理ユニット（ＧＰＵ）を備えているもの）を備えている。第１の左および第１の右焦点中心は、エンドユーザの眼球間距離より大きい距離を互いから間隔を置かれる。
【００２０】
制御サブシステムは、第１の視点と異なる第２の視点に対する第２の左焦点中心および第２の右焦点中心に、左合成画像および右合成画像をそれぞれ、ワープさせるためにさらに構成される。第２の左および右焦点中心は、エンドユーザの眼球間距離と等しい距離を互いから間隔を置かれる。仮想画像生成システムは、随意に、ユーザの眼球間距離を検出するために構成されている１つ以上のセンサをさらに備え得る。仮想画像生成システムは、第１の視点の推定値を予測し、第２の視点を検出するために、または代替として、第１および第２の視点の各々を検出するために構成されている患者向きモジュールをさらに備え得る。
【００２１】
一実施形態では、左および右合成画像は、３次元でレンダリングされ、２次元でワープさせられる。制御サブシステムは、左合成画像および右合成画像のための左深度データおよび右深度データをそれぞれ生成するためにさらに構成され得、その場合、左合成画像および右合成画像は、左深度データおよび右深度データを使用して、それぞれワープさせられ得る。別の実施形態では、左合成画像および右合成画像は、３次元場面内の第１の注視点に基づいてレンダリングされ、左合成画像および右合成画像は、３次元場面内の第２の注視点に基づいてワープさせられる。３次元場面は、第１の視点に対する第２の左および右焦点中心から見えず、第１の視点に対する第２の左および右焦点中心から見える仮想オブジェクトの少なくとも一部を含み得る。一実施形態では、第１の視点は、予測され、第２の視点は、検出される。
【００２２】
制御サブシステムは、フレームを左および右ワープ合成画像から構築するためにさらに構成される。仮想画像生成サブシステムは、フレームをエンドユーザに表示するために構成されているディスプレイシステムをさらに備えている。ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるために構成され得る。一実施形態では、ディスプレイシステムは、投影サブシステムと、部分的透明ディスプレイ表面とを含み、その場合、投影サブシステムは、フレームを部分的透明ディスプレイ表面上に投影するために構成され得、部分的透明ディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置するために構成され得る。仮想画像生成システムは、エンドユーザによって装着されるために構成されているフレーム構造をさらに備え得、その場合、フレーム構造は、ディスプレイシステムを支持し得る。
【００２３】
本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。
【図面の簡単な説明】
【００２４】
図面は、本発明の好ましい実施形態の設計および有用性を図示し、類似要素は、共通参照番号によって参照される。本発明の前述および他の利点ならびに目的が得られる方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるべきではないことを理解した上で、本発明は、付随の図面の使用を通して追加の具体性および詳細とともに説明ならびに記載されるであろう。
【図１】図１は、従来技術の拡張現実生成デバイスによってエンドユーザに表示され得る３次元拡張現実場面の写真である。
【図２】図２は、本発明の一実施形態に従って構築された仮想画像生成システムのブロック図である。
【図３】図３は、図２の仮想画像生成システムによって生成される例示的フレームの平面図である。
【図４Ａ】図４Ａは、図２の仮想画像生成システムを装着するために使用され得る１つの技法の図である。
【図４Ｂ】図４Ｂは、図２の仮想画像生成システムを装着するために使用され得る別の技法の図である。
【図４Ｃ】図４Ｃは、図２の仮想画像生成システムを装着するために使用され得るさらに別の１つの技法の図である。
【図４Ｄ】図４Ｄは、図２の仮想画像生成システムを装着するために使用され得るさらに別の１つの技法の図である。
【図５】図５は、エンドユーザの頭部が移動した後の同じ左および右焦点中心に対してワープさせられた３次元仮想オブジェクトのビューと比較した、エンドユーザの眼球間距離と整列させられた左および右焦点中心からレンダリングされるときの３次元仮想オブジェクトのベースラインビューを図示する略図である。
【図６】図６は、エンドユーザの頭部が移動した後のエンドユーザの眼球間距離と整列させられた左および右焦点中心に対してワープさせられた３次元仮想オブジェクトのビューと比較した、エンドユーザの眼球間距離より大きい距離を間隔を置かれる左および右焦点中心からレンダリングされるときの３次元仮想オブジェクトのベースラインビューを図示する略図である。
【図７】図７は、図２の仮想画像生成システムを動作させ、画像をレンダリングおよびワープさせる１つの方法を図示するフロー図である。
【図８】図８は、図２の仮想画像生成システムを動作させ、画像をレンダリングおよびワープさせる別の方法を図示するフロー図である。
【発明を実施するための形態】
【００２５】
続く説明は、仮想現実および／または拡張現実システムにおいて使用されるべきディスプレイシステムおよび方法に関する。しかしながら、本発明は、仮想現実における用途に有用であるが、本発明は、その最も広範な側面では、そのように限定されないこともあることを理解されたい。
【００２６】
図２を参照して、本発明に従って構築される仮想画像生成システム１００の一実施形態が、ここで説明されるであろう。仮想画像生成システム１００は、拡張現実システムとして動作させられ、拡張現実システムは、エンドユーザ５０の視野内の物理的オブジェクトと混合された仮想オブジェクトの画像を提供し得る。仮想画像生成システム１００を動作させるときの２つの基本アプローチが存在する。第１のアプローチは、１つ以上の撮像機（例えば、カメラ）を採用し、周囲環境の画像を捕捉する。仮想画像生成システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合する。第２のアプローチは、１つ以上の少なくとも部分的に透明な表面を採用し、それを通して周囲環境が見られ、その上に仮想画像生成システム１００が、仮想オブジェクトの画像を生成する。
【００２７】
仮想画像生成システム１００および本明細書に教示される種々の技法は、拡張現実および仮想画像生成システム以外の用途でも採用され得る。例えば、種々の技法は、任意の投影またはディスプレイシステムに適用され得る。例えば、本明細書に説明される種々の技法は、移動が、頭部ではなく、エンドユーザの手によって行われ得るピコプロジェクタに適用され得る。したがって、多くの場合、拡張現実システムまたは仮想現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。
【００２８】
少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内のそれぞれの物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。仮想オブジェクトは、本明細書では、仮想タグまたはタグもしくはコールアウトとも称され、多種多様な形態、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造のいずれかをとり得る。仮想オブジェクトの非限定的例として、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計装オブジェクト、または物理的オブジェクトの仮想視覚表現が挙げられ得る。
【００２９】
この目的を達成するために、仮想画像生成システム１００は、エンドユーザ５０によって装着されるフレーム構造１０２と、フレーム構造１０２によって支持されるディスプレイシステム１０４であって、ディスプレイシステム１０４は、エンドユーザ５０の眼５２の正面に位置付けられる、ディスプレイシステム１０４と、スピーカ１０６とを備え、スピーカ１０６は、エンドユーザ５０の外耳道に隣接して位置付けられる（随意に、別のスピーカ（図示せず）がエンドユーザ５０の他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）、フレーム構造１０２によって支持される。ディスプレイシステム１０４は、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴う、物理的現実に対する拡張として快適に知覚されることが可能であり得る光ベースの放射パターンを提示し、かつ２次元コンテンツを提示可能であり得るように設計される。ディスプレイシステム１０４は、一続きのフレームを高周波数で提示し、単一コヒーレント場面の知覚を提供する。
【００３０】
図示される実施形態では、ディスプレイシステム１０４は、投影サブシステム１０８と、部分的に透明なディスプレイ表面１１０とを備え、ディスプレイ表面１１０上に投影サブシステム１０８が画像を投影する。ディスプレイ表面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。図示される実施形態では、投影サブシステム１０８は、１つ以上の光ファイバ１１２（例えば、単一モード光ファイバ）を含み、それらの各々は、光が受け取られる一端１１２ａと、光が部分的に透明なディスプレイ表面１１０に提供される別の端部１１２ｂとを有する。投影サブシステム１０８はまた、光を生成し（例えば、異なる色の光を定義されたパターンで放出し）、光を光ファイバ１１２の他端１１２ａに通信可能に結合する１つ以上の光源１１４も含み得る。光源１１４は、ピクセル情報またはデータのそれぞれのフレーム内に規定された定義されたピクセルパターンに従って、赤色、緑色、および青色のコヒーレントなコリメートされた光をそれぞれ生成するように動作可能な多種多様な形態の任意のものをとることができる（例えば、ＲＧＢレーザの組（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード））。レーザ光は、高色飽和を提供し、非常にエネルギー効率的である。
【００３１】
ディスプレイシステム１０４は、制御信号に応答して所定のパターンで光ファイバ１１２を走査する走査デバイス１１６をさらに備え得る。例えば、図３を参照すると、ピクセル情報またはデータのフレーム１１８は、１つの図示される実施形態に従って、画像、例えば、１つ以上の仮想オブジェクトの画像を提示するためのピクセル情報またはデータを規定する。フレーム１１８は、水平行または列１２２ａ−１２２ｎに分割されるセル１２０ａ−１２０ｍとともに図式的に図示される。フレーム１１８の各セル１２０は、セル１２０が対応するそれぞれのピクセルのための複数の色の各々のための値、および／または強度を規定し得る。例えば、フレーム１１８は、ピクセルの各々のために、赤色１２４ａのための１つ以上の値、緑色１２４ｂのための１つ以上の値、および青色１２４ｃのための１つ以上の値を規定し得る。値１２４は、各色のためのバイナリ表現、例えば、各色のためのそれぞれの４ビット数として規定され得る。フレーム１１８の各セル１２０は、加えて、振幅を規定する値１２４ｄを含み得る。ディスプレイシステム１０４の例を説明するさらなる詳細は、米国仮特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に提供される。
【００３２】
図２に戻って参照すると、仮想画像生成システム１００は、エンドユーザ５０の頭部５４の位置および移動ならびに／またはエンドユーザ５０の眼の位置および眼間距離を検出するために、フレーム構造１０２に搭載される１つ以上のセンサ（図示せず）をさらに備えている。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ）を含み得る。
【００３３】
例えば、一実施形態では、仮想画像生成システム１００は、１つ以上の慣性変換器を含む頭部装着型変換器システム１２６を備え、１つ以上の慣性変換器は、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉する。そのようなものは、エンドユーザ５０の頭部の移動についての情報を感知、測定、または収集するために使用され得る。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速、および／または位置を検出するために使用され得る。仮想画像生成システム１００は、前向きカメラ１２８を備え得る。これは、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る。これは、その環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の距離および向きを示す情報を捕捉するために使用され得る。頭部装着型であるとき、前向きカメラ１２８は、特に、エンドユーザ５０が位置する環境およびその環境内の特定のオブジェクトに対するエンドユーザ５０の頭部５４の距離および向きを示す情報を捕捉するために好適である。これは、例えば、頭部の移動、頭部の移動の速度、および／または加速を検出するために採用され得る。これは、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の向きに基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用され得る。向きは、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出され得る。
【００３４】
仮想画像生成システム１００は、患者向き検出モジュール１３０をさらに備えている。患者向きモジュール１３０は、エンドユーザ５０の頭部５４の瞬間位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測する。一実施形態では、患者向きモジュール１３０は、エンドユーザ５０の焦点におけるシフトを予測することに基づいて、頭部５４の位置を予測する。例えば、患者向きモジュール１３０は、少なくとも、エンドユーザ５０の注意を示す入力に基づいて、仮想オブジェクトを選択し、エンドユーザ５０の基準のフレームに対して、エンドユーザ５０の視野内の仮想オブジェクトの出現の場所を決定し得る。別の例として、患者向きモジュール１３０は、推定された速度および／または推定された速度変化もしくは推定された加速を採用し、エンドユーザ５０の頭部５４の位置を予測し得る。さらに別の例として、患者向きモジュール１３０は、エンドユーザ５０の履歴属性を採用し、エンドユーザ５０の頭部５４の位置を予測し得る。エンドユーザ５０の頭部位置の予測を説明するさらなる詳細は、米国特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）（参照することによって前述で本明細書に組み込まれている）に記載されている。
【００３５】
仮想画像生成システム１００は、多種多様な形態のいずれかをとり得る制御サブシステムをさらに備えている。制御サブシステムは、いくつかのコントローラ、例えば１つ以上のマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、他の集積回路コントローラ、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡＳ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。
【００３６】
図示される実施形態では、仮想画像生成システム１００は、中央処理ユニット（ＣＰＵ）１３２と、グラフィック処理ユニット（ＧＰＵ）１３４と、１つ以上のフレームバッファ１３６とを備えている。ＣＰＵ１３２は、全体的動作を制御する一方、ＧＰＵ１３４は、遠隔データリポジトリ１５０内に記憶される３次元データからフレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１３６内に記憶する。図示されないが、１つ以上の追加の集積回路が、フレームのフレームバッファ１３６の中への読み込みおよび／またはそこからの読み取りならびにディスプレイシステム１０４の走査デバイスの動作を制御し得る。フレームバッファ１４６の中への読み込みおよび／またはそこからの読み取りは、動的アドレス指定を採用し得、例えば、フレームは、オーバーレンダリングされる。仮想画像生成システム１００は、読み取り専用メモリ（ＲＯＭ）１３８と、ランダムアクセスメモリ（ＲＡＭ）１４０とをさらに備えている。仮想画像生成システム１００は、３次元データベース１４２をさらに備え、そこからＧＰＵ１３４は、フレームをレンダリングするための１つ以上の場面の３次元データにアクセスすることができる。
【００３７】
仮想画像生成システム１００の種々の処理コンポーネントは、分散型システム内に物理的に含まれ得る。例えば、図４Ａ−４Ｄに図示されるように、仮想画像生成システム１００は、有線導線または無線接続性１４６等によって、ディスプレイシステム１０４およびセンサに動作可能に結合されるローカル処理およびデータモジュール１４４を備えている。ローカル処理およびデータモジュール１４４は、フレーム構造１０２に固定して取り付けられる構成（図２Ａ）、ヘルメットもしくは帽子５６に固定して取り付けられる構成（図２Ｂ）、ヘッドホン内に埋設される構成、エンドユーザ５０の胴体５８に除去可能に取り付けられる構成（図２Ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰６０に除去可能に取り付けられる構成（図２Ｄ）等、種々の構成で搭載され得る。仮想画像生成システム１００は、有線導線または無線接続性１５０、１５２等によって、ローカル処理およびデータモジュール１４４に動作可能に結合される、遠隔処理モジュール１４８および遠隔データリポジトリ１５０をさらに備え、それによって、これらの遠隔モジュール１４８、１５０は、互いに動作可能に結合され、ローカル処理およびデータモジュール１４４に対してリソースとして利用可能である。
【００３８】
ローカル処理およびデータモジュール１４４は、電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備え得、両方とも、データの処理、キャッシュ、および記憶を補助するために利用され得、データは、センサから捕捉され、および／または、おそらく、そのような処理または読み出し後、ディスプレイシステム１０４への通過のために、遠隔処理モジュール１４８、および／または遠隔データリポジトリ１５０を使用して取得され、および／または処理される。遠隔処理モジュール１４８は、データおよび／または画像情報を分析ならびに処理するように構成される１つ以上の比較的に強力なプロセッサまたはコントローラを備え得る。遠隔データリポジトリ１５０は、比較的に大規模なデジタルデータ記憶設備を備え得、それは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であり得る。一実施形態では、全データが、記憶され、全計算が、ローカル処理およびデータモジュール１４４において行われ、任意の遠隔モジュールからの完全に自律的使用を可能にする。
【００３９】
前述の種々のコンポーネント間の結合１４６、１５２、１５４は、有線もしくは光学通信を提供するための１つ以上の有線インターフェースもしくはポート、または無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つ以上の無線インターフェースもしくはポートを含み得る。いくつかの実装では、全ての通信は、有線であり得る一方、他の実装では、全ての通信は、無線であり得る。なおもさらなる実装では、有線および無線通信の選択肢は、図４Ａ−４Ｄに図示されるものと異なり得る。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
【００４０】
図示される実施形態では、患者向きモジュール１３０は、ローカル処理およびデータモジュール１４４内に含まれる一方、ＣＰＵ１３２およびＧＰＵ１３４は、遠隔処理モジュール１４８内に含まれるが、代替実施形態では、ＣＰＵ１３２、ＧＰＵ１２４、またはその一部は、ローカル処理およびデータモジュール１４４内に含まれ得る。３Ｄデータベース１４２は、遠隔データリポジトリ１５０に関連付けられることができる。
【００４１】
本発明に重要なこととして、ＧＰＵ１３４は、ローカル処理およびデータモジュール１４４を介して変換器システム１２６から取得されるエンドユーザ５０の頭部位置および頭部移動に基づいて、待ち時間（すなわち、エンドユーザ５０がその頭部を移動させる時間と、フレームが更新され、エンドユーザ５０に表示される時間との間の経過時間）を最小化しながら、また、ワープさせられた画像の穴の頻度およびサイズを低減させる様式において、フレームをレンダリングおよびワープさせる。
【００４２】
特に、図５を参照すると、エンドユーザ５０は、中心Ｖ（ｘ、ｙ、ｚ）＝（０、０、０）に対して眼球焦点中心を位置ＰＬ（ｘ、ｙ、ｚ）＝（−ｄ、０、０）およびＰＲ（ｘ、ｙ、ｚ）＝（ｄ、０、０）に有すると想定し、ｘ、ｙ、およびｚは、３次元場面７０が存在する、３次元空間内の座標である。そして、エンドユーザ５０の公称眼球間距離は、２ｄであろう。従来技術では、左および右眼５２ａ、５２ｂが、注視点ＰＬＡに向けられると仮定し、３次元場面７０の合成画像ＩＬ（ｕ、ｖ）および深度バッファＤＬ（ｕ、ｖ）は、焦点ＰＬ（ｘ、ｙ、ｚ）から構築されることができ、３次元場面７０の合成画像ＩＲ（ｕ、ｖ）および深度バッファＤＲ（ｕ、ｖ）は、焦点ＰＲ（ｘ、ｙ、ｚ）から構築されることができ、ｕおよびｖは、合成画像内のピクセルの座標である。中心が位置Ｖから位置Ｖ’に変化するように、エンドユーザ５０の頭部位置が変化すると仮定し、左眼５２ａが、ここで新しい焦点ＰＬ’（ｘ、ｙ、ｚ）に位置し、右眼５２ｂが、新しい焦点ＰＲ’（ｘ、ｙ、ｚ）に位置し、ここで異なる注視点ＰＬＡ’に向けられる。従来技術では、新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）のための３次元場面７０の新しい合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）を作成するために、合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、深度バッファＤＬ（ｕ、ｖ）およびＤＲ（ｕ、ｖ）、古い注視点および新しい注視点ＰＬＡ’、ＰＬＡを使用する従来の様式における視差を使用して、２次元でワープさせられる。
【００４３】
画像点は、それらの深度に応じて、異なる量移動するので、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から不見える３次元場面７０内の点は、新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）から可視であり得る。これらの点（非閉塞点）は、それらが「穴」を新しくワープ合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）内に作成するので、問題である。それらの穴を充填する全ての既存の方法は、計算上高価であり、および／または潜在的にアーチファクトを作成する。例えば、図５に図示される、３次元場面７０内の球体７２等の凸面オブジェクトを検討する。球体７２の比較的に小部分７２ａは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から見える一方、球体７２の比較的に大部分７２ｂは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から不可視のままである。しかしながら、球体７２の異なる部分７２ｃは、新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）から可視であり、その一部７２ｄは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から不可視の球体７２の比較的に大部分７２ｂ内に含まれる。すなわち、球体７２の部分７２ｄは、眼が古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）に移動させられると、非閉塞状態である。
【００４４】
図６を参照すると、本発明の一実施形態では、左および右眼５２ａ、５２ｂが、注視点ＰＬＡに向けられると仮定すると、３次元場面７０の合成画像ＩＬ（ｕ、ｖ）および深度バッファＤＬ（ｕ、ｖ）が、最初に、中心Ｖ（ｘ、ｙ、ｚ）＝（０、０、０）に対して焦点ＷＬ（ｘ、ｙ、ｚ）から構築され、３次元場面７０の合成画像ＩＲ（ｕ、ｖ）および深度バッファＤＲ（ｕ、ｖ）が、最初に、焦点ＷＲ（ｘ、ｙ、ｚ）から構築される。
【００４５】
焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）は、エンドユーザ５０の眼球間距離より大きいより広いレンダリング距離（例示的ケースでは、２ｄを上回る）を互いから間隔を置かれる。例えば、焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）は、以下の方程式に従って選択されることができる。
［１］ＷＬ（ｘ、ｙ、ｚ）＝ＰＲ（ｘ、ｙ、ｚ）＋ｋ（ＰＬ（ｘ、ｙ、ｚ）−ＰＲ（ｘ、ｙ、ｚ））
［２］ＷＲ（ｘ、ｙ、ｚ）＝ＰＬ（ｘ、ｙ、ｚ）＋ｋ（ＰＲ（ｘ、ｙ、ｚ）−ＰＬ（ｘ、ｙ、ｚ））
式中、ｋ＞１であり、焦点ＷＬ（ｘ、ｙ、ｚ）とＷＲ（ｘ、ｙ、ｚ）との間の間隔をエンドユーザ５０の眼球間距離より大きいように設定する。焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）のための値は、合成画像内の穴のサイズおよび数を最小化することと、合成画像の全体的品質との間で妥協するように選択され得る。すなわち、合成画像内の穴のサイズおよび数は、焦点ＷＬ（ｘ、ｙ、ｚ）とＷＲ（ｘ、ｙ、ｚ）との間の距離が増加するにつれて減少するであろう。しかしながら、合成画像の全体的品質は、焦点ＷＬ（ｘ、ｙ、ｚ）とＷＲ（ｘ、ｙ、ｚ）との間の距離が増加するにつれて減少するであろう。
【００４６】
再び、中心が位置Ｖから位置Ｖ’に変化するように、エンドユーザ５０の頭部位置が変化すると仮定すると、左眼５２ａは、ここで新しい焦点ＷＬ’（ｘ、ｙ、ｚ）に位置し、右眼５２ｂは、ここで新しい焦点ＷＲ’（ｘ、ｙ、ｚ）に位置し、ここで異なる注視点ＰＬＡ’に向けられる。新しい焦点ＷＬ’（ｘ、ｙ、ｚ）およびＷＲ’（ｘ、ｙ、ｚ）のための３次元場面７０の新しい合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）を作成するために、合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、深度バッファＤＬ（ｕ、ｖ）およびＤＲ（ｕ、ｖ）、古い注視点および新しい注視点ＰＬＡ’、ＰＬＡを使用する従来の様式における視差を使用して２次元でワープさせられる。
【００４７】
重要なこととして、球体７２のより大きい部分７２ｅは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から見える球体７２の部分７２ａと比較して、古い焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）から見える一方、球体７２のより小さい部分７２ｆは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から不可視の球体７２の部分７２ｂと比較して、古い焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）から不可視のままである。したがって、焦点ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）から可視の球体点の場所は、焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）からの球体点の場所より大きいい。その結果、凸面点を見るとき、新しい焦点ＷＬ’（ｘ、ｙ、ｚ）およびＷＲ’（ｘ、ｙ、ｚ）のための３次元場面７０の新しい画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）を算出するために使用される２次元画像ワープ後、より少ないおよびより小さい穴が存在することが予期されるであろう。例えば、球体７２の異なる部分７２ｇは、新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）から可視であり、その一部７２ｈは、古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から不可視の球体７２の比較的に大部分７２ｆ内に含まれる。すなわち、球体７２の部分７２ｄと比較して球体７２のより小さい部分７２ｈは、眼が古い焦点ＰＬ（ｘ、ｙ、ｚ）およびＰＲ（ｘ、ｙ、ｚ）から新しい焦点ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）に移動させられると、非閉塞状態である。
【００４８】
ここで図７を参照すると、仮想画像生成システム１００を動作させ、ＡＲ画像フレームをエンドユーザ５０に表示する１つの方法２００が、説明されるであろう。最初に、ＣＰＵ１３２は、エンドユーザ５０の眼球間距離（すなわち、焦点ＰＬ（ｘ、ｙ、ｚ）とＰＲ（ｘ、ｙ、ｚ）との間の差異）を決定する（ステップ２０２）。エンドユーザ５０の眼球間距離は、フレーム構造１０２に搭載される後向きカメラ等によって検出され得る。代替として、エンドユーザ５０の眼球間距離は、仮想画像生成システム１００に手動で打ち込まれ得る。
【００４９】
次に、ＣＰＵ１３２は、より広いレンダリング間隔（すなわち、焦点ＷＬ（ｘ、ｙ、ｚ）とＷＲ（ｘ、ｙ、ｚ）との間の差異）を選択する（ステップ２０４）。例えば、より広いレンダリング間隔は、仮想画像生成システム１００に手動で打ち込まれ得る。より広いレンダリング間隔は、方程式［１］および［２］に従って選択され得る。
【００５０】
図７に図示される方法では、フレームは、待ち時間、すなわち、エンドユーザ５０がその頭部を移動させる時間と、フレームが更新され、エンドユーザ５０に表示される時間との間の経過時間を最小化するために、３次元場面７０の画像がレンダリングされ得るレートを上回るレートでエンドユーザ５０に表示される。例えば、フレームがレンダリングされる最大レートが、１５ｍｓ毎に１回である場合、フレームは、５ｍｓ毎に１回、エンドユーザ５０に表示され得る。この場合、レンダリングされる各画像のために、３つのフレームが、エンドユーザ５０に表示されることができる。
【００５１】
故に、ＣＰＵ１３２は、患者向きモジュール１３０に、関連付けられた頭部装着される変換器システム１２６および前向きカメラ１２８を使用して、フレームがエンドユーザ５０に表示されるべき次の時間におけるエンドユーザ５０の頭部５４の推定された位置、したがって、推定された中心Ｖを予測するように命令する（ステップ２０６）。頭部５４の位置の予測は、頭部５４の直前の検出された実際の位置と、エンドユーザ５０の速度、加速、および履歴属性等の他のパラメータとから導出され得る。ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、推定された中心Ｖ（ステップ２０８）に対してより広い左および右焦点中心ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）から、それぞれ、３次元場面７０の左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をレンダリングするように命令する。好ましい方法では、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、３次元でレンダリングされ、３次元場面７０内の注視点ＰＬＡに基づいて、レンダリングされ得る。ＣＰＵ１３２は、次いで、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をメモリ内に記憶する（ステップ２１０）。ステップ２０６−２１０は、頭部５４の各推定された位置における左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）を連続してレンダリングし、記憶するために繰り返される。
【００５２】
ＧＰＵ１３４が、これらの画像をレンダリングおよび記憶すると、ＣＰＵ１３２は、次のフレームをエンドユーザ５０に表示すべき時間であるかどうかを決定する（ステップ２１２）。該当する場合、ＣＰＵ１３２は、患者向きモジュール１３０に、関連付けられた頭部装着型変換器システム１２６および前向きカメラ１２８を使用して、実際のエンドユーザ５０の頭部５４の位置、したがって、実際の視点Ｖ’を検出するように命令する（ステップ２１４）。
【００５３】
ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、より広い左および右焦点中心ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）でレンダリングされた直近の完全な左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をメモリから読み出し、（ステップ２１６）、読み出された左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）を実際の視点Ｖ’に対してより狭い左および右焦点中心ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）に対してそれぞれワープさせる（ステップ２１８）ように命令する。好ましい方法では、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、２次元でワープさせられ、３次元場面内の異なる注視点ＰＬＡ’に基づいてレンダリングされ得る。左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）のレンダリング中に生成された左深度データおよび右深度データを使用してワープさせられ得る。ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、フレームを左および右ワープ合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）から構築するように命令し（ステップ２２０）、次いで、ディスプレイシステム１０４に、フレームをエンドユーザ５０に表示するように命令する（ステップ２２２）。ＣＰＵ１３２は、ステップ２１２に戻り、周期的に、次のフレームをエンドユーザ５０に表示する時間かどうかを決定する。
【００５４】
ここで図８を参照すると、仮想画像生成システム１００を動作させ、ＡＲ画像フレームをエンドユーザ５０に表示する別の方法３００が、説明されるであろう。方法３００は、概して、エンドユーザ５０がその頭部５４を移動させるときのみ、フレームが３次元場面７０の画像を上回るレートで表示されるという点において、方法２００と異なる。例えば、フレームがレンダリングされる最大レートが、１５ｍｓ毎に１回である場合、フレームは、エンドユーザ５０の頭部５４が安定しているときは、１５ｍｓ毎に１回、エンドユーザ５０に表示され得、エンドユーザ５０の頭部５４が移動しているときは、５ｍｓ毎に１回、エンドユーザ５０に表示され得る。
【００５５】
この目的を達成するために、ＣＰＵ１３２は、エンドユーザの眼球間距離５０を決定し（ステップ３０２）、より広いレンダリング間隔を選択し（ステップ３０４）、それは、方法２００のステップ２０２および２０４に関して上記に説明される様式において遂行されることができる。次に、ＣＰＵ１３２は、患者向きモジュール１３０に、関連付けられた頭部装着される変換器システム１２６および前向きカメラ１２８を使用して、実際のエンドユーザ５０の頭部５４の位置、したがって、ベースライン中心Ｖを検出するように命令する（ステップ３０６）。ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、ベースライン中心Ｖに対してより広い左および右焦点中心ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）から３次元場面７０の左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をレンダリングするように命令する（ステップ３０８）。好ましい方法では、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、３次元でレンダリングされ、３次元場面７０内の注視点ＰＬＡに基づいてレンダリングされ得る。ＣＰＵ１３２は、次いで、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をメモリ内に記憶する（ステップ３１０）。ステップ３０６−３１０は、繰り返され、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）を連続してレンダリングおよび記憶する。
【００５６】
ＧＰＵ１３４が、これらの画像をレンダリングおよび記憶すると、ＣＰＵ１３２は、患者向きモジュール１３０に、関連付けられた頭部装着される変換器システム１２６および前向きカメラ１２８を使用して、エンドユーザ５０の頭部５４の実際および予期される移動が生じているかどうかを決定するように命令する（ステップ３１２）。実際または予期される移動が生じている場合、ＣＰＵ１３２は、患者向きモジュール１３０に、関連付けられた頭部装着される変換器システム１２６および前向きカメラ１２８を使用して、新しいエンドユーザ５０の頭部５４の位置、したがって、新しい中心Ｖ’を検出するように命令する（ステップ３１４）。
【００５７】
次に、ＣＰＵ１３２は、ベースライン中心Ｖと新しい視点Ｖ’との間の実質的差異が存在するかどうかを決定する（ステップ３１６）。ベースライン中心Ｖと新しい視点Ｖ’との間の実質的差異が存在する場合、ＣＰＵ１３２は、ＧＰＵ１３４に、より広い左および右焦点中心ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）にレンダリングされた直近の完全な左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）を読み出し（ステップ３１８）、読み出された左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）を実際の視点Ｖ’に対するより狭い左および右焦点中心ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）に対してワープさせる（ステップ３２０）ように命令する。好ましい方法では、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、２次元でワープさせられ、３次元場面内の異なる注視点ＰＬＡ’に基づいてレンダリングされ得る。左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）のレンダリング中に生成された左深度データおよび右深度データを使用してワープさせられ得る。ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、フレームを左および右ワープ合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）から構築するように命令し（ステップ３２０）、次いで、ディスプレイシステム１０４に、フレームをエンドユーザ５０に表示するように命令する（ステップ３２４）。
【００５８】
ステップ３１２において、ユーザ５０の頭部５４の実際または予期される移動が生じていないことが決定された場合、またはステップ３１６において、ベースライン中心Ｖと新しい中心Ｖ’との間の実質的差異が存在しないことが決定された場合、ＣＰＵ１３２は、次のフレームをエンドユーザ５０に表示する時間かどうかを決定する（ステップ２２６）。該当する場合、ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、より広い左および右焦点中心ＷＬ（ｘ、ｙ、ｚ）およびＷＲ（ｘ、ｙ、ｚ）にレンダリングされた直近の完全な左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をメモリから読み出し（ステップ３２８）、読み出された左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）をベースライン中心Ｖに対するより狭い左および右焦点中心ＰＬ’（ｘ、ｙ、ｚ）およびＰＲ’（ｘ、ｙ、ｚ）に対してワープさせる（ステップ３３０）ように命令する。好ましい方法では、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、２次元でワープさせられ、３次元場面内の異なる注視点ＰＬＡ’に基づいてレンダリングされ得る。左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）は、左および右合成画像ＩＬ（ｕ、ｖ）およびＩＲ（ｕ、ｖ）のレンダリング中に生成された左深度データおよび右深度データを使用してワープさせられ得る。ＣＰＵ１３２は、次いで、ＧＰＵ１３４に、フレームを左および右ワープ合成画像ＩＬ’（ｕ、ｖ）およびＩＲ’（ｕ、ｖ）から構築するように命令し（ステップ３２２）、次いで、ディスプレイシステム１０４に、フレームをエンドユーザ５０に表示するように命令する（ステップ３２４）。ＣＰＵ１３２は、ステップ３２６に戻り、エンドユーザ５０の頭部５４の実際または予期される移動が移動させられたかどうかを決定する。
【００５９】
前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広範な精神および範囲から逸脱することなく、本明細書に成され得ることが明白であろう。例えば、前述のプロセスフローは、特定の順序のプロセスアクションを参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼすことなく変更され得る。明細書および図面は、故に、限定的意味ではなく、例証と見なされるものとする。
【図１】
2019512798.tif 000003
【図２】
2019512798.tif 000004
【図３】
2019512798.tif 000005
【図４Ａ】
2019512798.tif 000006
【図４Ｂ】
2019512798.tif 000007
【図４Ｃ】
2019512798.tif 000008
【図４Ｄ】
2019512798.tif 000009
【図５】
2019512798.tif 000010
【図６】
2019512798.tif 000011
【図７】
2019512798.tif 000012
【図８】
2019512798.tif 000013
【国際調査報告】
2019512798.tif 000014