(57)【要約】拡張現実システムは、それを通してユーザが実世界を視認し得、複合現実体験の仮想コンテンツコンポーネントを表示するために画像状変調光をユーザの眼の中に結合する役割を果たす、左および右透明接眼レンズを含む。本システムはさらに、左および右スピーカと、仮想オブジェクトのユーザ空間操作のための設備とを含む。本システムは、ユーザによって空間的に操作される１つ以上の仮想オブジェクトに固定される仮想音源位置を有する、空間化されたオーディオを生成する。したがって、本システムは、複合現実体験の仮想コンポーネントのより現実的な視覚および聴覚提示を提供する。
2020515959.tif 000002
【特許請求の範囲】
【請求項１】
拡張現実システムであって、
ハンドヘルドコントローラと、
ウェアラブルヘッドギヤユニットであって、
仮想オブジェクトの左眼画像を表示するための左眼ディスプレイであって、前記左眼ディスプレイは、それを通して実世界環境が可視である左側光透過型接眼レンズを含む、左眼ディスプレイと、
前記仮想オブジェクトの右眼画像を表示するための右眼ディスプレイであって、前記右眼ディスプレイは、それを通して前記実世界環境が可視である右側光透過型接眼レンズを含む、右眼ディスプレイと、
左側スピーカと、
右側スピーカと、
第１の追跡コンポーネントであって、前記第１の追跡コンポーネントは、少なくとも、前記ウェアラブルヘッドギヤユニットに対する前記ハンドヘルドコントローラの位置を追跡するために構成される、第１の追跡コンポーネントと
を含む、ウェアラブルヘッドギヤユニットと、
回路であって、前記回路は、前記左眼ディスプレイ、前記右眼ディスプレイ、前記左側スピーカ、前記右側スピーカ、および前記第１の追跡コンポーネントに結合され、前記回路は、
少なくとも、前記ウェアラブルヘッドギヤユニットに対する前記ハンドヘルドコントローラの位置を示す信号を受信することと、
信号を前記左眼ディスプレイおよび前記右眼ディスプレイに出力し、前記ハンドヘルドコントローラに対して実質的に固定される位置で仮想オブジェクトを表示することと、
空間化されたオーディオを出力することであって、前記空間化されたオーディオは、左スピーカに出力される左チャネルオーディオ信号と、右スピーカに出力される右スピーカオーディオ信号とを含み、前記空間化されたオーディオは、前記ハンドヘルドコントローラに対して実質的に固定される少なくとも１つの仮想音源場所を有する、ことと
を行うように構成される、回路と
を備える、拡張現実システム。
【請求項２】
前記ハンドヘルドコントローラに対して実質的に固定される少なくとも１つの仮想音源場所を有する空間化されたオーディオを出力する際に、前記回路は、前記仮想オブジェクトによって占有される位置に実質的に固定される少なくとも１つの仮想音源場所を有する空間化されたオーディオを出力するように構成される、請求項１に記載の拡張現実システム。
【請求項３】
前記仮想オブジェクトによって占有される前記位置は、前記ハンドヘルドコントローラから変位される、請求項２に記載の拡張現実システム。
【請求項４】
前記追跡コンポーネントはさらに、ウェアラブルヘッドギヤユニットに対する前記ハンドヘルドコントローラの配向を追跡するために構成され、前記回路は、前記ウェアラブルヘッドギヤに対する前記ハンドヘルドコントローラの配向を示す信号を受信するように構成される、請求項１に記載の拡張現実システム。
【請求項５】
前記仮想オブジェクトによって占有される前記位置は、前記ハンドヘルドコントローラから変位される、請求項４に記載の拡張現実システム。
【請求項６】
前記回路は、少なくとも１つの頭部関連伝達関数を用いてモノオーディオ信号を処理することによって、前記左側オーディオ信号および前記右側オーディオ信号を生成するように構成される、請求項１に記載の拡張現実システム。
【請求項７】
前記実世界に対する前記ウェアラブルヘッドギヤユニットの位置および配向を追跡するために構成される第２の追跡コンポーネントをさらに備え、
前記回路は、前記第２の追跡コンポーネントに結合され、
前記回路はさらに、前記実世界に対する前記ウェアラブルヘッドギヤユニットの位置および配向を示す信号を受信するように構成される、請求項１に記載の拡張現実システム。
【請求項８】
拡張現実システムであって、
ウェアラブルヘッドギヤユニットであって、
仮想オブジェクトの左眼画像を表示するための左眼ディスプレイであって、前記左眼ディスプレイは、それを通して実世界環境が可視である左側光透過型接眼レンズを含む、左眼ディスプレイと、
前記仮想オブジェクトの右眼画像を表示するための右眼ディスプレイであって、前記右眼ディスプレイは、それを通して前記実世界環境が可視である右側光透過型接眼レンズを含む、右眼ディスプレイと、
左側スピーカと、
右側スピーカと、
少なくともユーザの手の位置を追跡するために構成される手追跡機械視覚サブシステムと
を含む、ウェアラブルヘッドギヤユニットと、
回路であって、前記回路は、前記左眼ディスプレイ、前記右眼ディスプレイ、前記左側スピーカ、前記右側スピーカ、および前記手追跡機械視覚サブシステムに結合され、前記回路は、
少なくとも前記ウェアラブルヘッドギヤユニットに対する前記ユーザの手の位置を示す信号を前記手追跡機械視覚サブシステムから受信することと、
信号を前記左眼ディスプレイおよび前記右眼ディスプレイに出力し、前記ユーザの手に少なくとも一時的に結合される位置で仮想オブジェクトを表示することと、
空間化されたオーディオを出力することであって、前記空間化されたオーディオは、左スピーカに出力される左チャネルオーディオ信号と、右スピーカに出力される右スピーカオーディオ信号とを含み、前記空間化されたオーディオは、前記ユーザの手に対して実質的に固定される少なくとも１つの仮想音源場所を有する、ことと
を行うように構成される、回路と
を備える、拡張現実システム。
【請求項９】
前記手追跡機械視覚システムはさらに、前記ユーザの手のジェスチャを追跡し、前記ユーザの手のジェスチャの変化に応答して、前記仮想オブジェクトの少なくとも１つの運動パラメータを調節するように構成される、請求項８に記載の拡張現実システム。
【請求項１０】
前記回路は、少なくとも１つの頭部関連伝達関数を用いてモノオーディオ信号を処理することによって、前記左側オーディオ信号および前記右側オーディオ信号を生成するように構成される、請求項８に記載の拡張現実システム。
【請求項１１】
拡張現実システムであって、
ウェアラブルヘッドギヤユニットであって、
仮想オブジェクトの左眼画像を表示するための左眼ディスプレイであって、前記左眼ディスプレイは、それを通して実世界環境が可視である左側光透過型接眼レンズを含む、左眼ディスプレイと、
前記仮想オブジェクトの右眼画像を表示するための右眼ディスプレイであって、前記右眼ディスプレイは、それを通して前記実世界環境が可視である右側光透過型接眼レンズを含む、右眼ディスプレイと、
左側スピーカと、
右側スピーカと
を含む、ウェアラブルヘッドギヤユニットと、
ユーザ入力を受信するための少なくとも１つの設備と、
回路であって、前記回路は、前記左眼ディスプレイ、前記右眼ディスプレイ、前記左側スピーカ、前記右側スピーカ、およびユーザ入力を受信するための前記少なくとも１つの設備に結合され、前記回路は、
信号を前記左眼ディスプレイおよび前記右眼ディスプレイに出力し、仮想オブジェクトを表示することと、
空間化されたオーディオを出力することであって、前記空間化されたオーディオは、左スピーカに出力される左チャネルオーディオ信号と、右スピーカに出力される右スピーカオーディオ信号とを含み、前記空間化されたオーディオは、前記仮想オブジェクトに対して実質的に固定される少なくとも１つの仮想音源場所を有する、ことと、
ユーザ入力を受信するための前記少なくとも１つの設備を通して、ユーザ入力を受信し、ユーザ入力を受信するための前記少なくとも１つの設備を通して、前記ユーザ入力を受信することに応答して、前記仮想オブジェクトの場所を変化させ、前記少なくとも１つの仮想音源位置の場所を変化させることと
を行うように構成される、回路と
を備える、拡張現実システム。
【請求項１２】
ユーザ入力を受信するための前記少なくとも１つの設備は、手追跡機械視覚サブシステムを備える、請求項１１に記載の拡張現実システム。
【請求項１３】
ユーザ入力を受信するための前記少なくとも１つの設備は、ハンドヘルドコントローラを備える、請求項１２に記載の拡張現実システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（優先権主張）
本願は、２００７年３月２８日に出願された米国仮特許出願第６２／４７７９７６号に対する優先権を主張するものである。
本発明は、拡張現実システムに関する。
【背景技術】
【０００２】
ディスプレイ技術の開発における有意な進歩は、幻灯機、フィルムベースの映画、テレビ、およびパーソナルコンピュータおよびモバイルデバイスで実装される現代のデジタルビデオディスプレイ技術を含む。近年、仮想現実ヘッドギヤが、導入されている。そのような仮想現実ヘッドギヤは、ユーザがディスプレイに焦点を合わせることを可能にするように、ユーザの眼およびディスプレイとユーザの眼との間に介在するレンズの近くに、かつその前に位置付けられる、一対のディスプレイを含む。そのような仮想現実ヘッドギヤを使用するとき、ユーザは、仮想世界に完全に没頭し、実世界から実質的に切り離される。仮想現実システムの長期化した使用は、仮想環境の感覚の現実性の欠陥に起因し得る、「仮想現実病」を誘発し得る。例えば、実世界におけるユーザの動態に依存する、前庭系を介して受容される感覚刺激は、仮想世界における運動の感覚刺激と衝突し得る。ヒト知覚系は、異種、視覚、聴覚、触覚、味覚、嗅覚、および前庭刺激の統合に高度に同調され、矛盾する感覚は、ヒト生理系を、原因となる活動へのさらなる従事を阻止する低機能（仮想現実病）状態に遷移させ得る、感覚不和を引き起こすと考えられる。
【０００３】
仮想コンテンツが本物であった場合に達成されるであろう感覚知覚へのより高い忠実度を達成する、仮想コンテンツの提示を提供することが望ましいであろう。
【発明の概要】
【課題を解決するための手段】
【０００４】
本明細書に開示される主題の一側面は、左透明接眼レンズを含む左眼ディスプレイと、右透明接眼レンズを含む右眼ディスプレイとを含む、ヘッドギヤを含む拡張現実システムを提供するステップを含む。透明接眼レンズは、仮想コンテンツの画像をユーザの視野の中に結合する一方で、同時に、ユーザが実世界で見て、地に足がついた状態である（例えば、配向され、平衡を保たれることの快適な感覚を有する）ことを可能にするために、使用される。ヘッドギヤはまた、左スピーカと、右スピーカとを含む。本システムはまた、ハンドヘルドコントローラも含む。ヘッドギヤに対してハンドヘルドコントローラの相対的平行移動オフセットおよび配向を可能にする追跡サブシステムもまた、システムの中に含まれる。本システムはまた、左眼ディスプレイ、右眼ディスプレイ、左スピーカ、右スピーカ、および追跡システムに結合される、少なくとも１つのプロセッサも含む。少なくとも１つのプロセッサは、ヘッドギヤ、ハンドヘルドコントローラ、および／または別個のユニットの中に含まれ得る。少なくとも１つのプロセッサは、少なくともヘッドギヤと、ハンドヘルドコントローラとを含む、システムを動作させる。第１のタイプの仮想オブジェクトの左および右立体画像は、それぞれ、左透明接眼レンズおよび右透明接眼レンズを通して投影される。ある場合には、左および右ディスプレイは、仮想オブジェクトまでの距離に基づいて、ユーザの眼に到達する光の波面の曲率が改変されることを可能にするように構成されてもよい。左および右ディスプレイによって提供される波面曲率は、限定された数の値が利用可能である、または連続的に可変であり得るように、量子化されてもよい。第１のタイプの仮想オブジェクトは、ハンドヘルドコントローラに対して実質的に固定されて維持される。仮想オブジェクトがハンドヘルドコントローラに固定されるため、ハンドヘルドコントローラを移動させることによって、ユーザは、第１のタイプの仮想オブジェクトを移動させ、透明接眼レンズを通して、第１のタイプの仮想オブジェクトが実世界に対して移動することを見ることができる。第１のタイプの仮想オブジェクトは、音声を発する。音声は、仮想オブジェクトによって占有される空間内の点から発せられる。音声が発せられる空間内の点は、ハンドヘルドコントローラの設備を通したユーザの制御下で仮想オブジェクトとともに移動する。空間内の点が移動されると、ユーザの頭部に対する空間内の点の座標の適切な頭部関連伝達関数（ＨＲＴＦ）が、オブジェクトによって発せられる音声を処理するために使用され、ＨＲＴＦのステレオ出力は、左および右スピーカを通して出力される。このようにして、ユーザは、ユーザが仮想オブジェクトを移動させた位置から発しているかのように音声を出すように実質的に現実的に空間化される、音声を聞く。
【０００５】
上記に説明される側面の代替として、ハンドヘルドコントローラは、使用されない。むしろ、カメラを含む、（拡張現実システムの）機械視覚サブシステムは、ユーザの手を追跡し、空間化された音声を発する仮想オブジェクトは、少なくとも一時的にユーザの手に固定される。拡張現実システムはまた、仮想オブジェクトがユーザの手から分断されることを指図する、あるジェスチャ（例えば、投げる運動）を認識するように構成されることもできる。そのような分断後、空間化されたオーディオは、仮想オブジェクトの移動位置から発せられ続けるであろう。
【０００６】
本明細書に開示される主題の付加的側面は、第２のタイプの仮想オブジェクトを伴い、その運動は、拡張現実システムのユーザが位置する実世界環境に固定される慣性運動において画定される。第２のタイプの仮想オブジェクトの空間化された音声は、第２のタイプの仮想オブジェクトによって占有される仮想音源点を有する。第２のタイプの仮想オブジェクトは、例えば、ある程度の事前プログラムされた質量が課された、ニュートンの運動の法則に従い得る。特別な用途に関して、質量に加えて、電荷または磁気双極子モーメントもまた、電荷または磁気双極子モーメントを有する付加的な実際または仮想オブジェクトと適切に相互作用させられ得るように、オブジェクトに割り当てられてもよい。ユーザは、システムで実装される手ジェスチャ認識の作用を介して、自分の手を使用して第２のタイプの仮想オブジェクトと相互作用することができる。例えば、ユーザは、システムが認識するようにプログラムされる、事前に取り決められた手のジェスチャを用いて、第２の仮想オブジェクトを押動または握持し得る。第２のタイプの仮想オブジェクトを押動することによって、ユーザは、速度を第２の仮想オブジェクトに付与することができ、これは、次いで、ニュートンの法則に従って継続し、続いて、ユーザによるさらなる操作を受け、および／または他の仮想オブジェクトまたは実際のオブジェクトと相互作用してもよい。例えば、仮想オブジェクトは、仮想ボールであり得、ユーザは、仮想ボールおよび実際の壁を使用して、ハンドボールの試合を行っていてもよい。実際の壁は、壁の仮想表現も含む、複合現実オブジェクトの一部であってもよい。仮想ボールは、空中を高速で移動するオブジェクトの音声に対応する、「シュッ」という音を発してもよい。シュッという音は、空間化され、仮想ボールによって占有される仮想音源を有する。仮想ボールによって占有される仮想音源位置を伴う第２の空間化された跳ね返る音声は、仮想ボールが実際の壁コンポーネントと、その関連付けられる仮想壁表現コンポーネントとを含む、拡張現実壁から跳ね返るときに、発せられてもよい。第２のタイプの仮想オブジェクトが動いているとき、ユーザの環境に固定される慣性基準系に対して（例えば、ニュートンの第１法則により）その運動を維持するために、ユーザがヘッドギヤとともに自分の頭部を回転させる場合でさえも、ユーザの頭部の運動が、追跡されなければならず、接眼レンズを通して表示される第２のタイプの仮想オブジェクトの画像の改変が、ユーザの頭部の運動を補償するために実施されなければならない。改変の性質は、さらなる解説をもたらす。画像は、ユーザの頭部とともにヘッドギヤの回転による影響を受けない状態で、（慣性基準系内の任意の意図された運動を含む）局所環境に関係している慣性基準系で画定されるような第２のタイプの仮想オブジェクトの座標を維持するように改変される。
【図面の簡単な説明】
【０００７】
図面は、類似要素が共通参照番号によって参照される、本発明の好ましい実施形態の設計および有用性を図示する。本発明の上記に記載されるおよび他の利点が取得される方法をさらに理解するために、上記に簡潔に説明される本発明のより具体的な説明は、付随する図面に図示される、その具体的実施形態を参照することによって提供されるであろう。これらの図面が本発明の典型的実施形態のみを描写し、その範囲の限定と見なされないことを理解すると、本発明は、付随する図面の使用を通して付加的具体性および詳細を伴って説明および解説されるであろう。
【０００８】
【図１】図１は、本発明のある実施形態による、拡張現実システムを示す。
【０００９】
【図２】図２は、ユーザの頭部上に位置付けられた図１に示されるシステムのウェアラブルヘッドギヤの上面図である。
【００１０】
【図３】図３は、図２−３に示されるウェアラブルヘッドギヤの正面図である。
【００１１】
【図４】図４は、右接眼レンズの上部からの真横向きの図および図１−３に示される拡張現実ヘッドギヤの右源画像状変調光の概略図である。
【００１２】
【図５】図５は、本発明のある実施形態による、図１−３に示されるシステムのブロック図である。
【００１３】
【図６】図６は、本発明のある実施形態による、図１−５に示されるシステムで相対座標を追跡するために使用され得る、３つの直交ソレノイドの伝送側セットとともに３つの直交ソレノイドの受信側セットを含む、電磁追跡システムのあるコンポーネントを示す。
【００１４】
【図７】図７は、本発明の実施形態による、図１−６に示されるシステムを動作させる方法のフローチャートである。
【００１５】
【図８】図８は、図７および図１４に示される方法で使用され得る、空間化されたオーディオを生成する方法のフローチャートである。
【００１６】
【図９】図９は、本発明の実施形態による、仮想コンテンツと関連付けられるオーディオ信号の現実性を増進するために使用される、環境情報を収集するために光学センサを使用する方法のフローチャートである。
【００１７】
【図１０】図１０は、本発明の実施形態による、図７および図１４に示される方法において空間化されたオーディオを生成するように、図９に示される方法によって収集された環境情報を使用する方法のフローチャートである。
【００１８】
【図１１】図１１−１２は、図１−１０を参照して上記に説明されるシステムを使用し、ユーザが図１に示されるようなコントローラを用いて操作している、第１の仮想オブジェクトから生じているようにシミュレートされる、空間化されたオーディオを体験する、ユーザを描写する。
【図１２】図１１−１２は、図１−１０を参照して上記に説明されるシステムを使用し、ユーザが図１に示されるようなコントローラを用いて操作している、第１の仮想オブジェクトから生じているようにシミュレートされる、空間化されたオーディオを体験する、ユーザを描写する。
【００１９】
【図１３】図１３は、図１−１０を参照して上記に説明されるシステムを使用し、ユーザが図１に示されるようなコントローラを用いて操作している、第２の仮想オブジェクトから生じる、空間化されたオーディオを体験する、ユーザを描写する。
【００２０】
【図１４】図１４は、本発明の別の実施形態による、拡張現実システムを動作させる方法のフローチャートである。
【００２１】
【図１５】図１５は、図１４に示される方法に従って動作している拡張現実システムを使用するユーザを描写する。
【００２２】
【図１６】図１６は、人物の２つの耳への環境音の結合を図式的に表す。
【発明を実施するための形態】
【００２３】
図１は、本発明のある実施形態による、拡張現実システム１００を示す。図１に示されるように、システム１００は、拡張現実ヘッドギヤ１０２と、ハンドヘルドコントローラ１０４と、補助ユニット１０６とを含む。拡張現実ヘッドギヤ１０２は、左（ユーザの左）透明導波管セット接眼レンズ（本明細書の下記では「左接眼レンズ」）１０８と、右透明導波管セット接眼レンズ（本明細書の下記では「右接眼レンズ」）１１０とを含む。各接眼レンズ１０８、１１０は、画像状変調光のフローを制御するための表面回折光学要素を含む。特に、左接眼レンズ１０８は、左内部結合格子セット１１２（そのうちの第１のものが図１および図３で可視である）と、左直交瞳拡張（ＯＰＥ）格子セット１１４（そのうちの第１のものが図１および図３で可視である）と、左射出（出力）瞳拡張（ＥＰＥ）格子セット１１６（そのうちの第１のものが図１および図３で可視である）とを含む。同様に、右接眼レンズ１１０は、右内部結合格子セット１１８と、右ＯＰＥ格子セット１２０と、右ＥＰＥ格子セット１２２とを含む。画像状変調光は、内部結合格子１１２、１１８、ＯＰＥ１１４、１２０、およびＥＰＥ１１６、１２２を介して、ユーザの眼に移送される。代替として、内部結合格子セット１１２、１１８、ＯＰＥ格子セット１１４、１２０、およびＥＰＥ格子セット１１６、１２２の代わりに、接眼レンズ１０８、１１０は、ユーザの眼への画像状変調光の結合を制御するための屈折および反射特徴を含む。
【００２４】
左画像状変調光源１２４は、左内部結合格子セット１１２を通して左接眼レンズ１０８の中に光学的に結合され、右画像状変調光源１２６は、右内部結合格子セット１１８を通して右接眼レンズ１１０の中に光学的に結合される。画像状変調光源１２４、１２６は、例えば、光ファイバスキャナ、例えば、デジタル光処理（ＤＬＰ）チップまたはシリコン上液晶（ＬＣｏＳ）変調器等の電子光変調器を含む、プロジェクタ、または例えば、側面につき１つ以上のレンズを使用して内部結合格子セット１１２、１１８の中に結合される、マイクロ発光ダイオード（μＬＥＤ）またはマイクロ有機発光ダイオード（μＯＬＥＤ）パネル等の発光ディスプレイの形態をとることができる。入力結合格子セット１１２、１１８は、画像状変調光源１２４、１２６からの光を、接眼レンズ１０８、１１０の全内部反射（ＴＩＲ）のための臨界角を上回る角度に偏向させる。ＯＰＥ格子セット１１４、１２０は、ＴＩＲによって伝搬する光を、ＥＰＥ格子セット１１６、１２２に向かって下方に増分的に偏向させる。ＥＰＥ格子セット１１６、１２２は、光を、ユーザの眼の瞳を含むユーザの顔に向かって、外に増分的に結合する。左画像状変調光源１２４と組み合わせた左接眼レンズ１０８は、左ディスプレイを構成し、右画像状変調光源１２６と組み合わせた右接眼レンズ１１０は、右ディスプレイを構成する。
【００２５】
補助ユニット１０６は、エネルギーを提供し、システム１００を動作させるためのバッテリ（５２６、図５）を含むことができ、プログラムを実行してシステム１００を動作させるためのプロセッサ（５１６、図５）を含むことができる。示されるように、補助ユニット１０６は、補助ユニット１０６をユーザのベルトに取り付けるために有用であるクリップ１２８を含む。代替として、補助ユニット１０６は、異なる形状因子を有することができる。
【００２６】
拡張現実ヘッドギヤ１０２はまた、左テンプルアーム１３０と、右テンプルアーム１３２とを含む。左テンプルアーム１３０は、左テンプルスピーカポート１３４を含み、右テンプルアーム１３２は、右テンプルスピーカポート１３６を含む。直交コイル電磁受信機１３８は、左テンプル部品の中に収容されるが、ヘッドギヤ１０２の中の他の場所に位置し得る。慣性測定ユニット（ＩＭＵ）１４０は、右テンプルアーム１３２の中に収容されるが、ヘッドギヤ１０２の中の他の場所に位置し得る。ヘッドギヤ１０２はまた、左深度（例えば、飛行時間）カメラ１４２と、右深度カメラ１４４とを含む。深度カメラ１４２、１４４は、より広い視野をともに被覆するように、異なる方向に好適に配向される。
【００２７】
ハンドヘルドコントローラ１０４は、グリップ部分１４６と、複数のボタン１５０を含む上部１４８とを含む。ボタン１５０はまた、運動ハンドヘルドコントローラ１０４の６自由度（３つの平行移動度および３つの回転度）を追跡するための光学追跡標的として使用されてもよい。加えて、下記でさらに議論されるように、ハンドヘルドコントローラ１０４は、ヘッドギヤ１０２に対するハンドヘルドコントローラ１０４の６つの運動度を追跡するための付加的コンポーネントを含むことができる。補助ユニット１０６は、例えば、電線および光ファイバを含み得る、マルチ導管ケーブル１５２を通してヘッドギヤ１０２に結合される。補助ユニット１０６とヘッドギヤ１０２との間の無線接続もまた、使用されることができる。
【００２８】
図２は、ユーザの頭部２０２上に位置付けられた図１に示されるシステム１００のウェアラブルヘッドギヤ１０２の上面図である。ユーザの左眼２０４は、左接眼レンズ１０８を通して見るように位置付けられ、ユーザの右眼２０６は、右接眼レンズ１１０を通して見るように位置付けられる。左スピーカポート１３４は、ユーザの左耳２０８の隣に位置付けられ、右スピーカポート１３６は、ユーザの右耳２１０の隣に位置付けられる。図３は、図２−３に示されるウェアラブルヘッドギヤの正面図である。
【００２９】
ある実施形態によると、左接眼レンズ１０８および右接眼レンズ１１０はそれぞれ、複数の導波管のスタック４０２（図４）を含む。例えば、各接眼レンズ１０８、１１０は、複数の（例えば、赤色、青色、および緑色）色チャネルのそれぞれ専用の個々の導波管を含むことができる。加えて、各接眼レンズ１０８、１１０は、導波管の複数のセットを含むことができ、各セットは、異なる（例えば、赤色、青色、および緑色）色チャネルを取り扱うための個々の導波管を含み、セットは、異なる波面曲率を放射光に付与するように構成されることによって区別される。波面曲率は、典型的には、波面曲率の逆数に対応する距離だけユーザの前に離間される仮想オブジェクト位置に対応するように、ユーザの眼に向かって発散しているであろう（凸状である）。図１および３に示されるように、ＥＰＥ格子セット１２２の中のＥＰＥ格子は、湾曲格子溝を含む。湾曲格子溝は、各ＥＰＥを横断して出射光のポインティングベクトルを改変することによって、上記に説明される波面曲率を付与する役割を果たす。
【００３０】
立体的に調節された左および右眼画像は、表示されたコンテンツが３次元であるという知覚に寄与するために、画像状光変調器１２４、１２６および接眼レンズ１０８、１１０を通してユーザに出力される。仮想オブジェクトが立体左および右画像によって示される距離に合致するように表示される、波面曲率に最良に合致する画像を出力する、導波管を選択することは、３次元画像の現実性を増加させることを補助し、左眼画像および右眼画像との間の差異およびヒトの眼の自律遠近調節（オブジェクト距離依存性焦点）に起因する、深度知覚合図の間の感覚衝突を回避することに役立つ。拡張現実システム１００の動作のいかなる特定の理論によっても拘束されることを所望するわけではないが、以前の仮想および拡張現実システムに存在するような感覚衝突は、仮想現実病の１つの原因であり得ると考えられる。
【００３１】
図４は、右接眼レンズ１１０の上部からの真横向きの図および図１−３に示される拡張現実ヘッドギヤ１０２の右源画像状変調光１２６の概略図である。示されていないが、左接眼レンズ１０８の構造は、右接眼レンズ１１０の構造の鏡像である。図４に示されるように、導波管のスタック４０２は、３つの導波管の第１のサブセット４０４と、３つの導波管の第２のサブセット４０６とを含む。導波管の２つのサブセット４０４、４０６は、異なる格子線曲率を有し、異なる波面曲率を出射光に付与する、異なるＥＰＥ格子（図４に示されていない）を有することによって、区別される。導波管のサブセット４０４、４０６のそれぞれの内側で、各導波管は、異なるスペクトルチャネル（例えば、赤色、緑色、および青色スペクトルチャネルのうちの１つ）をユーザの右眼２０６に結合するために使用されることができる。
【００３２】
図５は、本発明のある実施形態による、図１−３に示されるシステム１００のブロック図である。図５に示されるように、ハンドヘルドコントローラ１０４（「トーテム」としても公知である）は、トーテム・ヘッドギヤ６自由度（６ＤＯＦ）トーテムサブシステム５０２を含み、拡張現実ヘッドギヤ１０２は、トーテム・ヘッドギヤ６ＤＯＦヘッドギヤサブシステム５０４を含む。６ＤＯＦトーテムサブシステム５０２および６ＤＯＦヘッドギヤサブシステム５０４は、協働し、拡張現実ヘッドギヤ１０２に対するハンドヘルドコントローラ１０４の６つの座標を決定する。６つの座標は、３つの平行移動オフセットと、回転（配向）座標のための３自由度とを含む。６自由度は、ヘッドギヤ１０２に固定される座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系でＸ、Ｙ、およびＺオフセットとして表されてもよい。そして、回転自由度は、一連のヨー、ピッチ、およびロール回転として、またはクォータニオン配向として表されてもよい。１つのアプローチによると、６ＤＯＦヘッドギヤシステム５０４、ヘッドギヤ１０２の中に含まれる深度カメラ１４２、１４４（代替として、非深度カメラ）、および例えば、上記で説明されるようなボタン１５０の形態、またはハンドヘルドコントローラ１０４の中に含まれる専用印の形態の光学標的が、６ＤＯＦ追跡に使用される。代替として、ハンドヘルドコントローラ１０４は、カメラを含むことができ、ヘッドギヤ１０２は、光学標的を含むことができ、ともに光学追跡に使用される。下記でより完全に議論される別のアプローチによると、ヘッドギヤ１０２およびハンドヘルドコントローラ１０４はそれぞれ、信号を無線で送信および受信するために使用される、３つの直交して配向されたソレノイドのセットを含む。受信に使用されるコイルのそれぞれで受信される信号の相対規模を測定することによって、拡張現実ヘッドギヤ１０２に対するハンドヘルドコントローラ１０４の６ＤＯＦが、決定されてもよい。３つの直交コイルの２つのセットの間の相対位置および配向を決定するための種々の技法は、運動追跡の技術分野内で公知であり、ヘッドギヤ１０２に対する手コントローラ１０４の相対位置および配向を追跡するために使用されてもよい。加えて、６ＤＯＦトーテムサブシステム５０２は、向上された正確度、および／またはハンドヘルドコントローラ１０４の高速移動についてのより適時な情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
【００３３】
拡張現実システム１００における仮想コンテンツの錯覚をより完全に認識するために、ユーザが、仮想コンテンツを生成している拡張現実ヘッドギヤ１０２とともに、歩行し、その頭部を枢動させ得るという事実にもかかわらず、各仮想オブジェクトの運動または静止ステータスがユーザの環境に固定される慣性基準系において画定されることが、有用である。例えば、仮想人物が、ユーザの前の実際の椅子に着席している場合、仮想人物は、ユーザがその頭部を左に１０°回転させるときに着席したままであり、突然、椅子に隣接する空間の中に椅子から外へ偏移されるべきではない。同様に、仮想人物が、実際の部屋を横断して安定した速度で歩いている場合、仮想人物の安定した歩行は、（仮想人物が異なる様式で反応するように具体的にプログラムされない限り）ユーザが仮想人物に向かって歩いているにもかかわらず、維持されるべきである。環境固定慣性基準系に対して画定されるような仮想オブジェクト運動を維持するために、拡張現実ヘッドギヤは、局所環境に対するユーザの頭部配向（「頭部姿勢」と称される）および位置（例えば、ユーザが位置する部屋内の位置）を追跡する。ユーザの頭部姿勢および位置は、同時位置特定およびマッピング（ＳＬＡＭ）および視覚走行距離計測手順を使用して、深度カメラ１４２、１４４からの画像を処理して決定されることができる。図５に示されるように、深度カメラ１４２、１４４は、ＳＬＡＭ／視覚走行距離計測ブロック５０６に結合される。ＳＬＡＭ／視覚走行距離計測ブロック５０６実装は、例えば、電子回路の形態である、プログラムされたプロセッサを含むことができる。ユーザの頭部姿勢および場所についての付加的情報源が、ヘッドギヤ慣性測定ユニット（ＩＭＵ）５０８から取得される。ＩＭＵ５０８からの情報は、向上された正確度、および／またはユーザの頭部姿勢および位置の高速調節についてのより適時な情報を提供するように、ＳＬＡＭ／視覚走行距離計測ブロック５０６からの情報と統合されることができる。
【００３４】
６ＤＯＦトーテムサブシステム５０２および６ＤＯＦヘッドギヤサブシステム５０４によって決定されるようなハンドヘルドコントローラ１０４の座標は、仮想コンテンツの６ＤＯＦを画定するための座標系としても使用される、ユーザの環境に固定される座標系に変換されることができる。
【００３５】
深度カメラ１４２、１４４はまた、手ジェスチャ追跡装置５１０に結合され、３Ｄ画像をそれに供給する。手ジェスチャ追跡装置５１０は、深度カメラ１４２、１４４から受信される３Ｄ画像を、手ジェスチャ追跡装置５１０によって認識可能である複数の手ジェスチャのそれぞれを表す記憶されたパターンに合致させるように構成される。
【００３６】
ヘッドギヤ１０２はまた、ヘッドギヤ１０２が使用中であるときに、左スピーカポート１３４を通してユーザの左耳２０８に音響的に結合される左スピーカ５１２と、右スピーカポート１３６を通してユーザの右耳２０６に音響的に結合される右スピーカ５１４とを含む。
【００３７】
補助ユニット１０６は、ヘッドギヤの６ＤＯＦヘッドギヤサブシステム５０４、ＩＭＵ５０８、ＳＬＡＭ／視覚走行距離計測ブロック５０６、および手ジェスチャ追跡装置５１０に結合され、そこからデータを受信する、プロセッサ５１６（または代替として複数のプロセッサ）を含む。プロセッサ５１６は、電子回路の形態をとることができる。プロセッサ５１６はまた、６ＤＯＦトーテムシステム５０２に結合され、制御信号をそれに送信することもできる。プロセッサ５１６は、ハンドヘルドコントローラ１０４がテザリングされていない可能性があるため、無線で６ＤＯＦトーテムシステムに結合されてもよい。プロセッサ５１６は、６ＤＯＦトーテムサブシステム５０２または６ＤＯＦヘッドギヤサブシステム５０４から、ヘッドギヤ１０２へのハンドヘルドコントローラ１０４の相対配向に関する６ＤＯＦ情報を受信することができる。
【００３８】
補助ユニット１０６内で、プロセッサ５１６は、オーディオ視覚コンテンツメモリ５１８、グラフィカル処理ユニット（ＧＰＵ）場面レンダラ５２０、およびデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置５２２に結合される。オーディオ視覚コンテンツメモリ５１８、グラフィカル処理ユニット（ＧＰＵ）場面レンダラ５２０、およびデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置５２２は、電子回路の形態をとってもよい。ＤＳＰオーディオ空間化装置５２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ５２４に結合される。ＧＰＵ場面レンダラ５２０は、左画像状変調光源１２４に結合される左チャネル出力と、右画像状変調光源１２６に結合される右チャネル出力とを含む。ＧＰＵ場面レンダラ５２０は、立体画像データを画像状変調光源１２４、１２６に出力する。ＤＳＰオーディオ空間化装置５２２は、それぞれ、左スピーカ５１２および右スピーカ５１４に結合され、左および右チャネルオーディオをそれに出力する。オーディオ空間化装置５２２は、システム１００のユーザから放音仮想コンテンツへの方向に関してプロセッサ５１６から受信される情報に応答し、その移動は、ハンドヘルドコントローラ１０４を介して、またはユーザの手を用いて、ユーザによって制御される。上記の仮想コンテンツへの方向に基づいて、オーディオ空間化装置５２２は、対応するまたは近い方向を伴う１つ以上のＨＲＴＦにアクセスする。一例として、ヘッドギヤ１０２に対する画定された球面角座標をそれぞれ有する、仮想スピーカのセットが、画定されることができ、ベクトルベースの振幅計画（ＶＰＡＢ）が、次いで、仮想スピーカのセットのサブセットと関連付けられる、放音仮想コンテンツと関連付けられるオーディオストリームの複数のコピー毎に重み付け係数を適用することを決定するために、使用されることができる。仮想スピーカのセットがそれぞれ、ある球面角座標を有する限り、それぞれは、事前決定された左および右ＨＲＴＦと適切に関連付けられる。オーディオ空間化装置５２２は、仮想コンテンツの現実性を向上させるために、アクセスまたは生成されたＨＲＴＦを仮想コンテンツのオーディオコンポーネントに適用する。
【００３９】
補助ユニット１０６はまた、そのコンポーネントに給電し、また、電力を拡張現実ヘッドギヤ１０２に供給するためのバッテリ５２６も含む。
【００４０】
図６は、本発明のある実施形態による、図１−５に示されるシステムで相対座標を追跡するために使用され得る、３つの直交ソレノイドの伝送側セット６０４とともに３つの直交ソレノイドの受信側セット６０２を含む、電磁追跡システム６００のあるコンポーネントを示す。一例として、３つの直交ソレノイドの伝送側セット６０４は、６ＤＯＦトーテムサブシステム５０２の中に含まれることができ、３つの直交ソレノイドの受信側セット６０２は、６ＤＯＦヘッドギヤサブシステム５０４の中に含まれることができる。３つの直交ソレノイドの伝送側セット６０４は、区別可能な（例えば、明確に異なる周波数、または例えば、明確に異なる変調）信号を用いて３つの直交ソレノイドの伝送側セット６０４のそれぞれを駆動する、伝送機６０６に結合される。３つの直交ソレノイドの受信セット６０２は、受信機６０８に結合される。受信機は、３つの直交ソレノイドの受信側セット６０２のそれぞれによって受信される、前述の区別可能な信号のそれぞれの振幅を検出するように構成される。受信ソレノイド６０２と伝送ソレノイド６０４との間の相互結合は、電磁理論によって与えられる。振幅に基づいて、伝送側直交ソレノイド６０４と直交ソレノイドの受信側セット６０２との間の相対変位および配向オフセットが、プロセッサ５１６によって決定される。
【００４１】
図７は、本発明の実施形態による、図１−６に示されるシステム１００を動作させる方法７００のフローチャートである。ブロック７０２は、一連の時間にわたって繰り返されるループの上部を表す。一連の時間は、ここでは、そして、他の実施形態の場合、規則的間隔である場合とそうではない場合がある。例えば、方法７００の部分は、外部事象によってトリガされてもよい。ブロック７０４では、ヘッドギヤ１０２に対するハンドヘルドコントローラ１０４の現在の位置が、検出される。ブロック７０６では、ヘッドギヤ１０２に対するハンドヘルドコントローラ１０４の現在の配向が、検出される。ブロック７０４および７０６は、例えば、トーテム６ＤＯＦサブシステム５０２およびヘッドギヤ６ＤＯＦサブシステム５０４を使用して、実施されることができる。
【００４２】
ブロック７０８では、ヘッドギヤ１０２から表示されるであろう（初期化の場合）、または現在表示されている、仮想オブジェクトの距離が、決定される。ヘッドギヤ１０２とハンドヘルドコントローラ１０４との間の変位ベクトルおよび相対配向は、トーテム６ＤＯＦサブシステム５０２およびヘッドギヤ６ＤＯＦサブシステム５０４を使用して、決定されることができ、ハンドヘルドコントローラ１０４と仮想オブジェクトとの間の変位および相対配向は、仮想オブジェクトとヘッドギヤ１０２との間の距離が変位ベクトル和を評価することによって決定され得るように、システム１００によって決定される。ブロック７１０では、仮想オブジェクトが表示される、光の波面の曲率は、ブロック７０８で決定されるような仮想オブジェクトまでの距離に最良に合致するように選択される。図４を参照して上記で議論されるように、接眼レンズ１０８、１１０の導波管４０４、４０６の複数のサブセットはそれぞれ、異なる発散波面曲率を、仮想オブジェクトの画像をユーザに表示するために接眼レンズから放射される光に付与するために、格子溝の異なる曲率を伴うＥＰＥ１１６、１２０を有することができる。正しい波面曲率を仮想オブジェクトの距離に合致または近似させることは、仮想コンテンツの現実性を増進することに役立ち、仮想現実病を回避することに寄与すると考えられる。
【００４３】
ブロック７１２では、仮想オブジェクトが、ハンドヘルドコントローラ１０４の（ブロック７０４、７０６で決定されるような）少なくとも１つの位置および／または回転座標に実質的に固定される少なくとも１つの回転または位置自由度を伴って、画像状変調光源１２４、１２６および接眼レンズ１０８、１１０を介して表示されるが、随意に、有益に、光は、ブロック７１０で決定されるような波面曲率を有する。ある場合には、ハンドヘルドコントローラ１０４に対する仮想オブジェクトの平行移動自由度の全ては、実質的に固定される。システム待ち時間は、ハンドヘルドコントローラ１０４を追跡するための仮想オブジェクトの移動のある程度の遅延につながり得る。ある実施形態では、意図的弾性（例えば、減衰を伴うある力の法則による）が、ハンドヘルドコントローラ１０４および仮想オブジェクトの位置の間に提供されてもよい。デカルト座標系において固定されたＸ、Ｙ、およびＺ座標を有する、ある場合において、仮想オブジェクトを用いてハンドヘルドコントローラ１０４にロックされた仮想デカルト座標系を考慮することが有用である。仮想オブジェクトは、例えば、レーザ剣の刃、または魔法の杖、ガラガラ、または任意の数の他の物を備えてもよい。ある実施形態では、仮想オブジェクトは、ハンドヘルドコントローラ１０４に固定される座標系で実質的に固定されるが、ハンドヘルドコントローラ１０４に固定される座標系で画定される、あるベクトルによって、ハンドヘルドコントローラから変位されてもよい。レーザ剣は、次いで、複合現実オブジェクトの実際のコンポーネントである、剣のハンドルとしての役割を果たす、ハンドヘルドコントローラ１０４を用いて複合現実オブジェクトとして実装されており、剣の刃は、複合現実オブジェクトの仮想コンポーネントである。ブロック７１４では、空間化されたオーディオが、左および右スピーカ５１２、５１４および左および右スピーカポート１３４、１３６を通して出力される。ブロック７１４で出力される空間化されたオーディオは、ハンドヘルドコントローラ１０４に固定される少なくとも１つの座標を用いてブロック７１２で表示される、仮想オブジェクトの位置に固定される、仮想音源位置を有する。
【００４４】
空間化されたオーディオの簡潔な解説が、順序付けられている。図１６を参照すると、音声が実際の音源１６０２によって発せされるとき、両耳間時間遅延（音声が人物の左耳１６０６および右耳１６０８に到達するときの間の差異）、両耳間移送遅延、および音波１６１０の到来角の関数としての耳の周波数応答の差異に起因して、人物は、ある程度の正確度で、音声が到来した方向を検出することができる。到来角は、人物の頭部１６０４に対して画定される座標系１６１２に対して測定されることができる。例えば、極角は、垂直Ｚ軸に対して測定されることができ、方位角は、左および右耳を通過するＸ軸に対して測定されることができる。人物の２つの耳に到達する音声信号の差異は、測定またはシミュレートされ、頭部関連伝達関数（ＨＲＴＦ）として記憶されることができる。頭部関連伝達関数（ＨＲＴＦ）は、表され、周波数ドメインまたは時間ドメイン内の信号に適用されることができる。ＨＲＴＦは、左耳ＨＲＴＦコンポーネントと、右耳ＨＲＴＦコンポーネントとを含む。ＨＲＴＦは、多くの到来角毎および複数の距離毎に周波数応答を含む。例えば、ＨＲＴＦは、５°増分で離間される仰角毎および５°増分で離間される方位角毎、および距離のセット（例えば、１０ｃｍ、４０ｃｍ、１ｍ、２ｍ、３ｍ、および６ｍ）毎に、記憶されてもよい。ＨＲＴＦが測定および記憶されたものの間の角度および距離に関して、ＶＰＡＢまたは補間が、使用されてもよい、またはＨＲＴＦ情報が利用可能である最近傍角度および距離が、代用されてもよい。モノ（単一チャネル）オーディオ録音（または同期化音声）が、特定の角度に関してＨＲＴＦの左および右部分を通過させられ、ユーザの頭部に対する特定の球面座標（角度および距離）における音声の発生をシミュレートするために、左スピーカ５１２および右スピーカ５１４を通して再生されてもよい。仮想オブジェクトの座標に基づいて選択されるＨＲＴＦを適用することは、システム１００によって生成される拡張現実世界で仮想オブジェクトの現実性を増進する役割を果たす。ヘッドギヤ１０２がユーザの頭部に固定されるため、角座標および距離の観点からの正しいＨＲＴＦは、ブロック７０４、７０６で決定されるようなヘッドギヤ１０２とハンドヘルドコントローラ１０４との間の位置および角度オフセット、およびブロック７１２で課せられる仮想オブジェクトとハンドヘルドコントローラ１０４との間の座標オフセットの検出に基づいて推測され得る、表示された仮想オブジェクトとヘッドギヤ１０２との間の相対座標に基づく。
【００４５】
一実装では、仮想スピーカ位置のセットが、ヘッドギヤ１０２に対して画定されることができる。仮想スピーカ位置の角座標は、ヘッドギヤ１０２を装着する人物の耳の中間に中心合わせされる、球面座標系における方位および極角の観点から画定されることができる。仮想スピーカは、４π立体角空間内で均一または不均一に分配されることができる。例えば、より多くのスピーカが、立体角空間を二等分する水平面により近く（すなわち、赤道領域により近く）設置されてもよい。非限定的実施例として、仮想スピーカの数は、１５〜３０の範囲内であってもよい。各特定の仮想スピーカの角座標が固定される限り、各仮想スピーカは、その角座標に基づいて特定の仮想スピーカに関して選択される、左および右ＨＲＴＦのセットと関連付けられることができる。仮想音源の角座標がユーザ制御下で自由に変動され得る限り、仮想音源の角座標は、概して、仮想スピーカのセットのうちのいずれの角座標にも正確に合致しないであろう。しかしながら、ベクトルベースの振幅計画（ＶＢＡＰ）が、仮想スピーカの角座標を含む角度部分領域を画定する、仮想スピーカのサブセット（例えば、３つまたは４つ）を選択し、仮想スピーカのサブセットの角座標への仮想音源の角座標の近接性に基づいて、振幅をサブセットのそれぞれに分配することによって、利用可能な仮想スピーカの角座標の間で効果的に補間するために使用されてもよい。仮想スピーカのサブセットのそれぞれと関連付けられる左および右ＨＲＴＦは、次いで、仮想音源オーディオストリームの振幅拡張バージョンに適用されることができ、左および右ＨＲＴＦの出力は、ヘッドギヤ１０２の左５１２および右５１４スピーカに適用される前に、サブセットにわたって別個に合計されることができる。
【００４６】
加えて、封入空間内で、音声は、表面（例えば、壁、床、天井、テーブル面）から跳ね返されてもよく、反射音は、反射を伴わずに直接ユーザに到達する音声に加えて、ユーザに到達してもよい。反射音は、空間の音響雰囲気に寄与する。図９を参照して下記でさらに説明されるように、実際の音声を反射するであろう実世界表面（例えば、壁、天井）は、システム１００によって識別されることができ、左および右スピーカポート１３４、１３６を通して比較的に低音量で出力され、故に、有意な反射を生じないであろう仮想音声は、仮想オブジェクトによって発せられるそのような音声が、システム１００が使用されている空間内に存在する実際のアナログによって発せられたかのように、そのような反射を含むように合成的に改変されることができる。
【００４７】
図８は、図７および図１４に示される方法で使用され得る、空間化されたオーディオを生成する方法８００のフローチャートである。方法８００は、図８に示される方法８００のブロック７１４を実装するために使用されることができる。方法８００の初期ブロック８０２は、方法７００のブロック７１２の後に続く。ブロック８０２では、ヘッドギヤ１０２に対して（ハンドヘルドコントローラを介して、またはユーザの手を用いて）ユーザによって制御されている仮想オブジェクトの球面座標が、決定される。ユーザによって装着されているヘッドギヤ１０２は、ユーザの頭部に実質的に固定されることに留意されたい。ブロックでは、仮想オブジェクトの球面座標に対応する少なくとも１つのＨＲＴＦが、記憶されたＨＲＴＦ情報にアクセスすることによって取得される。ブロックでは、ユーザによって制御されている仮想オブジェクトの音声が、ブロック８０４で取得されるＨＲＴＦを通して処理される。ブロック８０８では、ブロック８０６でＨＲＴＦによって処理されるオーディオが、左および右スピーカ５１２、５１４にフィードされ、左および右スピーカポート１３４、１３６を通してユーザに出力される。方法７００のブロック７０４は、ブロック８０８の後に続く。
【００４８】
図９は、仮想コンテンツと関連付けられるオーディオ信号の現実性を増進するために使用される、環境情報を収集するために光学センサを使用する方法９００のフローチャートである。ブロック９０２は、一連の時間にわたって繰り返すループの上部である。ブロック９０４では、ヘッドギヤ１０２が使用されている、環境の１つまたは複数の画像が、捕捉される。上記に示されるように、ヘッドギヤ１０２は、左および右深度カメラ１４２、１４４を含む。ブロック９０４で収集される画像は、したがって、表面を認識するために使用され得る深度情報を含むことができるが、非深度カメラが使用される代替物では、システム１００も表面を認識し得ないというわけではない。ブロック９０６では、１つまたは複数の画像が、環境および環境内のユーザの位置についてのＳＬＡＭデータを更新するために使用される。ブロック９０６に示されていないが、環境内のユーザの位置の視覚走行距離計測インジケーションもまた、使用されてもよい。ブロック９０８では、ＳＬＡＭデータおよび／または画像が、環境内で、表面、例えば、壁、床、天井、テーブル面等を認識するように処理される。表面を認識する経過中に、点群の中の３Ｄ点は、平面に最小二乗の意味で適合されてもよい。ブロック９１０では、例えば、ディープニューラルネットワーク（ＤＮＮ）を採用する機械視覚が、ヘッドギヤ１０２の環境内で表面のタイプを認識するために使用される。例えば、システム１００は、堅木対カーペットを敷いた床を判別し、平坦な壁とテクスチャ加工された壁を判別することができ、その表面はそれぞれ、異なる音響性質、例えば、異なる反射係数を有する。
【００４９】
図１０は、図７および図１４に示される方法において空間化されたオーディオを生成するように、図９に示される方法によって収集された環境情報を使用する方法１０００のフローチャートである。方法１０００は、方法７００または方法１４００のブロック７１４を実装するために使用されることができる。ブロック１００２では、仮想音源（ブロック７１２または１４０８に表示される放音仮想オブジェクト）の第１のＮ次反射像の位置が、ブロック９０８で認識された環境表面に基づいて決定される。反射の順序は、仮想音声が環境内のユーザの位置までの途中で跳ね返るものとしてシミュレートされる、表面の数を示す。仮想音源の一次反射は、仮想音源と特定の環境表面との間の距離の２倍に等しい量だけ各特定の環境表面に対して垂直に仮想音源から変位される。各Ｋ次反射は、特定の環境表面内の（Ｋ−１）次反射の反射である。故に、各Ｋ次反射は、Ｋ次反射を形成する特定の環境表面に対して垂直にその「親」（Ｋ−１）次反射から変位される。非限定的実施例として、Ｎは、２または３または４に設定されてもよい。
【００５０】
図１１は、ハンドヘルドコントローラ１０４を振りかざす、図式的に図示される単純な部屋１１０４の中のユーザ１１０２を示す。この場合、ハンドヘルドコントローラ１０４は、複合現実の剣１１０６の実際のコンポーネントのハンドルとしての役割を果たす。複合現実の剣１１０６はまた、図７を参照して上記に説明される方法７００に従って、システム１００によってハンドヘルドコントローラ１０４（剣のハンドルとしての役割を果たす）に固定されて維持される、剣１１０６の刃１１０８の形態の仮想コンポーネントも含む。ハンドヘルドコントローラ１０４に固定される局所座標系１１１０を考慮することが有用である。この場合、仮想の剣の刃１１０８は、ハンドヘルドコントローラ１０４に固定されるシステム１００によって維持され、ハンドヘルドコントローラ１０４に固定される局所座標系１１１０のＺ軸と平行である。本実施例では、仮想音源１１１２は、仮想の剣の刃１０８の先端１１１４に固定される。仮想音源１１１２の第１の一次像１１１６は、単純な部屋１１０４の後壁１１１８の後ろに位置し、仮想音源１１１２から距離２＊ｄ１だけ後壁１１１８と垂直に変位され、ｄ１は、仮想音源１１１２と後壁１１１８との間の距離である。第１の一次像１１１６と関連付けられる反射音の経路長は、第１の一次像１１１６からヘッドギヤ１０２までの距離に等しい。仮想音源の第２の一次像１１２０は、側壁１１２２の後ろに位置する。左側壁１１２２内の第１の一次像１１１６の反射である、第１二次像１１２４は、側壁１１２２の後ろに位置する。
【００５１】
ブロック１００４を再び参照すると、音響吸収が、特定の音源像を作成することに関与する表面毎にブロック９１０で決定された表面タイプに基づいて、最大Ｎ次反射像の各特定の音源像に適用される。例えば、一次像に関して、仮想音源が、実世界表面からの単一の仮想反射のみを伴う一方で、二次像は、２つの実世界表面からの２つの仮想反射を伴う。
【００５２】
ブロック１００６では、仮想音源の球面座標（ユーザによって制御されている仮想オブジェクト上の点）および仮想音源の第１のＮ次反射像の球面座標が、決定される。第１のＮ次反射像の球面座標は、ブロック１００２で決定される第１のＮ次反射像の位置に基づいて、決定される。
【００５３】
ブロック１００８では、仮想音源に関して、（最大Ｎ次の）仮想音源の反射毎に、１つ以上のＨＲＴＦが、仮想音源の（ヘッドギヤ１０２に対する）球面座標または仮想音源の特定の反射に基づいて、選択される。続いて、ブロック１００８では、各特定の選択されたＨＲＴＦが、特定の音源が選択された仮想音源または反射に適用される。仮想スピーカのセットを画定すること、およびＶＢＡＰを使用することを伴う、上記に説明される方法はまた、仮想音源の反射を空間化するために使用されてもよい。仮想音源の直接伝搬および反射は、場合によっては、指向または反射された伝搬経路に基づく遅延を伴ってユーザに出力される前に遅延されてもよい。
【００５４】
ブロック１０１０では、時間遅延および１／Ｒ２拡散損失が、仮想音源またはその画像とヘッドギヤ１０２との間の伝搬経路長Ｒに基づいて、仮想音源のそれぞれからの音声および最大Ｎ次像のそれぞれからの音声に適用される。時間遅延は、経路長Ｒおよび音速に基づく。ブロック１００４−１０１０を実施する順序は、図１０に示されるものに対して変更されてもよい。
【００５５】
仮想音源および仮想音源の画像毎のＨＲＴＦは、左耳オーディオストリームと、右耳オーディオストリームとを含む。仮想音源に関して、画像毎に、左および右耳オーディオストリームは両方とも、前述の伝搬経路長に基づいて、ブロック１０１０で遅延および減衰される。ブロック１０１０後に、ブロック１０１２では、仮想音源およびその画像のためのＨＲＴＦ出力の左部分が、組み合わせられ、同様に、仮想音源およびその画像のためのＨＲＴＦ出力の右部分が、組み合わせられる。続いて、ブロック１０１２では、結果として生じる複合左オーディオストリームが、左スピーカ５１２および左スピーカポート１３４を通して出力され、結果として生じる複合右オーディオストリームが、右スピーカ５１４および右スピーカポート１３６を通して出力される。以降のプロセス１０００は、ユーザの複合（拡張）現実の仮想現実コンポーネントの増進した現実性につながる。
【００５６】
図１２では、ユーザ１１０２は、仮想音源１１１２が固定される仮想の剣の刃１１０８の先端１１１４がユーザの頭部の後ろにあるように、ハンドヘルドコントローラ１０４をユーザの頭部の側面まで移動させ、ハンドヘルドコントローラ１０４を後方に傾転させている。故に、仮想音源１１１２の第１の一次像１１１６および第２の一次像１１２０の位置もまた、位置を変化させた。図１２では、右側壁１２０４内の仮想音源１１１２の仮想反射である、第３の一次像１２０２が、示される。そのような位置では、仮想の剣の刃は、ユーザの視野外にあり得るが、ユーザは、依然として、刃１１０８の先端１１１４に固定される仮想音源１１１２から空間化されたオーディオを聞くことによって、剣の刃の場所を感知することができる。ブロック１００２−１００６の再実行に応じて、仮想の剣の刃１１０８の先端１１１４に固定される仮想音源１１１２と関連付けられる、空間化されたオーディオは、仮想音源１１１２の新しい位置に基づいて調節される。
【００５７】
錐台が、画像状光変調器１２４、１２６および接眼レンズ１０８、１１０を通して出力されるコンテンツを定義して選択するように、ＧＰＵで使用するために数学的に画定されてもよい。錐台の角度境界は、画像状変調光源１２４、１２６および接眼レンズ１０８、１１０によって提供される視野（ＦＯＶ）に対応する。そのような錐台は、ヘッドギヤＩＭＵ５０８およびＳＬＡＭ／視覚走行距離計測ブロック５０６を使用して決定されるユーザの頭部姿勢に基づいて、共通実世界および仮想コンテンツ座標系である配向において配向されてもよい。トーテム・ヘッドギヤ６ＤｏＦサブシステム５０２、５０４によって提供される情報は、ハンドヘルドコントローラ１０４の操作によってユーザによって操作されている放音仮想オブジェクトが、前述の錐台から外へ移動するときを決定するために、使用されてもよい。放音仮想オブジェクトが錐台外であるとき、放音仮想コンテンツオブジェクトの視覚レンダリングは、停止されることができるが、放音仮想オブジェクトの空間化されたオーディオの放出は、継続されることができる。
【００５８】
図１３は、図１−１０を参照して上記に説明されるシステム１００を使用し、ユーザ１３０２がハンドヘルドコントローラ１０４を用いて操作している、仮想の魔法の杖１３０４の形態の第２の仮想オブジェクトから生じる、空間化されたオーディオを体験する、ユーザ１３０２を描写する。図１３に示されるようなハンドヘルドコントローラ１０４の形状は、図１に示されるものと異なる。仮想音源１３０６は、仮想の魔法の杖１３０４の遠位先端１３０８（ハンドヘルドコントローラ１０４から変位される）に固定される。適切に選定された魔法の杖の音声が、使用されてもよい。
【００５９】
図１４は、本発明の別の実施形態による、拡張現実システムを動作させる方法１４００のフローチャートである。方法１４００のブロックのうちのあるものは、図７に示される方法７００と共通し、図７から採用される参照番号を有する。ブロック１４０２は、一連の時間にわたって繰り返されるループの開始を表す。一連の時間は、周期的または非周期的であり得る。ブロック１４０４では、ヘッドギヤ１０２に対するユーザの手の位置が、検出される。左および／または右深度カメラ１４２、１４４は、ヘッドギヤ１０２に対するユーザの手の位置を検出するために使用されることができる。ユーザの手の検出は、左および／または右深度カメラ１４２、１４４を通して取得される画像に適用されるパターン認識を使用して、達成されることができる。深度カメラ１４２、１４４は、プロセッサ５１６と組み合わせて、下記に説明されるブロック１４０４および１４０６を実行する目的のために手追跡機械視覚サブシステムとしての役割を果たす。深度および／または色が、ユーザの手を背景と区別するために、グレースケール画像に加えて使用されてもよい。
【００６０】
ブロック１４０６では、手姿勢（手ジェスチャ）が、判別される。特定の手ジェスチャが、左および／または右深度カメラを通して取得される画像に適用されるパターン認識を使用することによって、判別されることができる。そのようなパターン認識は、手、特に、ジェスチャの複数の標識画像を用いた訓練に基づくことができる。
【００６１】
ブロック１４０８では、表示される仮想オブジェクトとユーザの手との間のオフセットが、設定される。オフセットは、ある規則、例えば、拡張現実ゲーム規則に従って変動するように固定またはプログラムされてもよい。オフセットは、少なくとも１つの平行移動度（例えば、Ｘ、Ｙ、および／またはＺオフセット）および／または少なくとも１つの回転オフセット度（例えば、ヨー、ピッチ、および／またはロールオフセット）を含むことができる。ユーザの手に対する仮想オブジェクトのオフセットを決定する目的のために、規定配向においてユーザの手に固定される仮想座標系が、使用されてもよい。例えば、仮想デカルト座標系のＸ−Ｙ面が、ユーザの手の掌と同一平面上に設定されてもよい。精密な初期整合は、重要ではない場合がある。時間の関数としてユーザの掌の配向の変化を追跡することは、初期整合の精度と比較して、システム１００ではより影響力が強いであろう。ある場合には、仮想オブジェクト位置は、仮想オブジェクトを保持するユーザを模倣するようにユーザの手に近接して設定されることができる。
【００６２】
ブロック１４１０では、ヘッドギヤ１０２から表示される仮想オブジェクトまでの距離が、決定される。距離は、ブロック１４０４で決定されるようなヘッドギヤ１０２からユーザの手までのベクトル変位を、ブロック１４０８で決定されるようなユーザの手と表示される仮想オブジェクトとの間のベクトル変位に追加することによって、決定されてもよい。
【００６３】
ブロック７１０では、仮想オブジェクトを表示する際に使用される光の曲率が、仮想オブジェクトまでの距離に基づいて選択される。
【００６４】
ブロック１４１２では、仮想オブジェクトが、ユーザの手に対して固定される運動の少なくとも１つの自由度を伴って表示される。少なくとも１つの自由度は、ブロック１４０８で設定されるオフセットに対応する。
【００６５】
ブロック７１４では、表示された仮想オブジェクト上の位置に固定された仮想音源位置を伴う、空間化されたオーディオが、左および右スピーカ５１２、５１４および左および右スピーカポート１３４、１３６を通して出力される。図７、８、９、１０、および１４を参照して上記に説明される拡張現実システム１００を動作させる方法は、プロセッサ５１６（図５）の制御下でユーザアクションに応答して実施されてもよい。
【００６６】
図１５は、図１４に示される方法に従って動作する拡張現実システム１００を使用するユーザ１５０２を描写する。ユーザ１５０２は、仮想音源１５０８が固定される、火の玉の形態の仮想オブジェクト１５０６をその手１５０４に保持している。システム１００は、左および／または右深度カメラ１４２、１４４およびプロセッサ５１６上で起動するパターン認識ソフトウェアを使用して、ユーザの手１５０４を検出し、ユーザの手１５０４のジェスチャ（例えば、手を開くジェスチャ、投げるジェスチャ）を決定することができる。システム１００は、次いで、ＧＰＵ場面レンダラ５２０、左および右画像状光変調器１２４、１２６、および左および右接眼レンズ１０８、１１０を使用し、ユーザの手１５０４の中の仮想オブジェクト１５０６を表示することができる。投げる運動を検出することに応答して、システム１００は、速度を仮想オブジェクト１５０６に付与することができ、速度は、その内側にユーザ１５０２が位置する環境（例えば、部屋１１０４）に固定される慣性基準系で定義される。より一般的には、ある実施形態では、少なくとも１つの運動パラメータ（例えば、位置、速度、および／または加速度）が、ユーザの手のジェスチャを検出することに応答して変化される。仮想オブジェクトの運動は、ユーザの移動にかかわらず維持されることができる（但し、仮想オブジェクトは、ユーザの視野に再び戻り得る任意の所与の瞬間に、ユーザの視野を越えて通過し得る）。システム１００はさらに、実際の物理的な壁の仮想表現から仮想オブジェクトを跳ね返すようにプログラムされることができる。常に、仮想音源１５０８は、仮想オブジェクト１５０６に固定され、ユーザは、音声によって、および視覚によって、仮想オブジェクトの場所を検出することができる。ゲーム用途では、仮想オブジェクト１５０６は、ユーザを回避するようにプログラムされることができる。実世界オブジェクトの仮想表現は、深度カメラまたはステレオカメラ、または動いている間に場面を捕捉するカメラ（そのうちのいずれかが図１のカメラ１４２、１４４で具現化され得る）から取得される３Ｄ点群データを使用し、次いで、３Ｄ点群データを原型に適合させることによって、生成されることができる。例えば、複雑な幾何学形状の３Ｄメッシュ表現が、使用されてもよい、または壁の場合、最小二乗回帰が、３Ｄ点群データを平面に適合させるために使用されることができる。３Ｄ点群のサブセットは、そのようなサブセットが、最小二乗の意味でサブセットに適合する平面の事前決定された距離内にある場合に、壁に対応するものとして識別されることができる。そのような平面は、実際の壁の仮想代理としての役割を果たし、壁からの仮想オブジェクトの跳ね返りを算出するため、かつ図１１−１２に描写されるような壁からの仮想音波の音響反射を算出するために、使用されてもよい。本発明の種々の例示的実施形態が、本明細書に説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、均等物が、本発明の真の精神および範囲から逸脱することなく、代用されてもよい。加えて、多くの修正が、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを、本発明の目的、精神、または範囲に適合させるように行われてもよい。さらに、当業者によって理解されるであろうように、本明細書に説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることを意図している。
【００６７】
本発明は、対象デバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するために、取得する、アクセスする、接近する、位置付ける、設定する、アクティブ化する、電源を入れる、または別様に作用することを要求する。本明細書に記載される方法は、論理的に可能である記載された事象の任意の順番で、および事象の記載された順番で実施されてもよい。
【００６８】
加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるように説明または指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物（本明細書に記載されるか、またはある程度簡単にするために含まれていないかにかかわらず）が代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。
【００６９】
また、説明される本発明の変形例の任意の随意の特徴が、独立して、または本明細書に説明される特徴のうちのいずれか１つ以上のものと組み合わせて、記載および請求され得ることが考慮される。単数形のアイテムの言及は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、特に規定がない限り、複数形の指示対象を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本記述は、請求項の要素の記載と関連して、「単に」、「のみ」、および同等物等の排他的用語の使用、または「否定的」限定の使用のために、先行詞としての役割を果たすことを意図している。
【００７０】
本発明の範疇は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。
【図１】
2020515959.tif 000003
【図２】
2020515959.tif 000004
【図３】
2020515959.tif 000005
【図４】
2020515959.tif 000006
【図５】
2020515959.tif 000007
【図６】
2020515959.tif 000008
【図７】
2020515959.tif 000009
【図８】
2020515959.tif 000010
【図９】
2020515959.tif 000011
【図１０】
2020515959.tif 000012
【図１１】
2020515959.tif 000013
【図１２】
2020515959.tif 000014
【図１３】
2020515959.tif 000015
【図１４】
2020515959.tif 000016
【図１５】
2020515959.tif 000017
【図１６】
2020515959.tif 000018
【国際調査報告】
2020515959.tif 000019