(57)【要約】バーチャルリアリティヘッドセットは、３次元（３Ｄ）バーチャルシーンを表示し、ユーザが見ているバーチャルシーン内の場所に基づいて、バーチャルリアリティヘッドセットに含まれる光学ブロックの焦点距離を動的に調節するための可変焦点素子を含む。ヘッドセットは、ユーザの眼をトラッキングして注視線を近似し、注視線の交点としてバーチャルシーンのフレームについて焦点面を決定する。可変焦点素子は、光学ブロックの焦点距離を調整し、よって、光学ブロックは、焦点面に焦点を合わせ、これは、輻輳および調節の変化として快適ゾーンにユーザの眼を保つ。焦点面に基づいて、バーチャルリアリティヘッドセットは、焦点面よりもユーザの視野においてより深いバーチャルシーン内の面に、フィールドブラーの奥行きなどの奥行きキューを提供し得る。
2019507363.tif 000002
【特許請求の範囲】
【請求項１】
バーチャルリアリティ（ＶＲ）ヘッドセットであって、
少なくとも１つのプロセッサと、
前記バーチャルリアリティヘッドセットを装着しているユーザにバーチャルシーンを表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
撮像素子を含むアイトラッキングシステムであって、前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定するように構成された前記アイトラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての輻輳奥行きを決定することを行わせる、前記メモリと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備えるバーチャルリアリティヘッドセット。
【請求項２】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項３】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項４】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項３に記載のバーチャルリアリティヘッドセット。
【請求項５】
前記メモリは、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、前記決定すること、
前記フレームについての前記光学ブロックの状態に基づいて、前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令をさらに含む、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項６】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムをさらに備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての前記輻輳奥行きを決定することを行わせる前記複数の命令は、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定させ、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成させる、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項７】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項６に記載のバーチャルリアリティヘッドセット。
【請求項８】
ヘッドセットであって、
少なくとも１つのプロセッサと、
バーチャルシーンを表示するように構成された電子ディスプレイと、
前記電子ディスプレイから前記ヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
ユーザの各眼についての眼の位置と、前記ユーザの各眼についての注視線と、前記注視線の交点に対応する輻輳奥行きとを決定するように構成されたアイトラッキングシステムと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備えるヘッドセット。
【請求項９】
前記ヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記ヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、を行わせる、前記メモリと、をさらに備える請求項８に記載のヘッドセット。
【請求項１０】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項９に記載のヘッドセット。
【請求項１１】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイとの間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項８に記載のヘッドセット。
【請求項１２】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項８に記載のヘッドセット。
【請求項１３】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項１２に記載のヘッドセット。
【請求項１４】
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、前記決定すること、
前記フレームについての前記光学ブロックの状態に基づいて、前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令を含むメモリをさらに備える請求項８に記載のヘッドセット。
【請求項１５】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
各眼の決定された眼の位置について、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つを決定することをさらに行わせる前記複数の命令を含み、
前記光学ブロックの各状態は、前記光学ブロックの焦点距離、および、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つに関連し、
各歪み補正マップはさらに、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つによってもたらされる光学誤差について補正する、請求項１４に記載のヘッドセット。
【請求項１６】
方法であって、
バーチャルシーンを提示している電子ディスプレイ素子から光学ブロックを介してバーチャルリアリティヘッドセットの射出瞳に光を向ける前記バーチャルリアリティヘッドセットを介して、ユーザに前記バーチャルシーンを表示すること、
前記バーチャルリアリティヘッドセットに含まれるアイトラッキングシステムによって撮像された前記ユーザの各眼の画像を介して前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定すること、
前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼についての眼の位置とに基づいて前記ユーザについての輻輳奥行きを決定すること、
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの前記射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を備える方法。
【請求項１７】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることを含む、請求項１６に記載の方法。
【請求項１８】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックに含まれる１つ以上のレンズの形状を変化させることを含む、請求項１６に記載の方法。
【請求項１９】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
前記バーチャルリアリティヘッドセットの位置および向きを決定すること、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、
フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を含む、請求項１６に記載の方法。
【請求項２０】
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられる、前記決定すること、
前記フレームについての前記光学ブロックの状態に基づいて、前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差を補正するために、前記バーチャルシーンのフレームについて歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、をさらに備える請求項１６に記載の方法。
【請求項２１】
バーチャルリアリティ（ＶＲ）ヘッドセットであって
少なくとも１つのプロセッサと、
前記バーチャルリアリティヘッドセットを装着しているユーザにバーチャルシーンを表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
撮像素子を含むアイトラッキングシステムであって、前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定するように構成されたアイトラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての輻輳奥行きを決定することを行わせる、前記メモリと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備えるバーチャルリアリティヘッドセット。
【請求項２２】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているとともに、
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状もしくは光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているか、または
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているか、もしくは、
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状もしくは光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されており、
好ましくは、前記光学ブロックのレンズの形状または光路長を変化させることは、形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用すること、を含む、請求項２１に記載のバーチャルリアリティヘッドセット。
【請求項２３】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、前記決定すること、
前記フレームについての前記光学ブロックの状態に基づいて、前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて歪み補正マップを決定すること、
前記フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンの前記フレームを表示すること、をさらに行わせる複数の命令を含む、請求項２１または２２に記載のバーチャルリアリティヘッドセット。
【請求項２４】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムをさらに備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての前記輻輳奥行きを決定することを行わせる前記複数の命令は、
前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの部分を決定させ、
前記ユーザが見ている前記バーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成させ、
好ましくは、前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項２１〜２３のいずれか一項に記載のバーチャルリアリティヘッドセット。
【請求項２５】
ヘッドセットであって、
少なくとも１つのプロセッサと、
バーチャルシーンを表示するように構成された電子ディスプレイと、
前記電子ディスプレイからバーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
ユーザの各眼についての眼の位置と、前記ユーザの各眼についての注視線と、前記注視線の交点に対応する輻輳奥行きとを決定するように構成されたアイトラッキングシステムと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備えるヘッドセット。
【請求項２６】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムと、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、を行わせる複数の命令を含むメモリと、をさらに備え、
好ましくは、前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項２５に記載のヘッドセット。
【請求項２７】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイとの間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているとともに、
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状もしくは光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているか、または
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイとの間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されているか、もしくは、
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状もしくは光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成されており、
好ましくは、前記光学ブロックのレンズの形状または光路長を変化させることは、形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用すること、を含む、請求項２５または２６に記載のヘッドセット。
【請求項２８】
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、前記決定すること、
前記フレームについての前記光学ブロックの状態に基づいて、前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンの前記フレームについて歪み補正マップを決定すること、
前記フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令を含むメモリをさらに備え、
好ましくは、前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
各眼の決定された眼の位置について、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つを決定することをさらに行わせる前記複数の命令を含み、
前記光学ブロックの各状態は、前記光学ブロックの焦点距離、および、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つに関連し、
各歪み補正マップはさらに、各眼と前記光学ブロックとの間の距離または光学ブロックに対する各眼の位置のうちの少なくとも１つによってもたらされる光学誤差について補正する、請求項２５〜２７のいずれか一項に記載のヘッドセット。
【請求項２９】
方法であって、
バーチャルシーンを提示している電子ディスプレイ素子から光学ブロックを介してバーチャルリアリティヘッドセットの射出瞳に光を向ける前記バーチャルリアリティヘッドセットを介して、ユーザに前記バーチャルシーンを表示すること、
前記バーチャルリアリティヘッドセットに含まれるアイトラッキングシステムによって撮像された前記ユーザの各眼の画像を介して前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定すること、
前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼の前記眼の位置とに基づいて前記ユーザについての輻輳奥行きを決定すること、
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を備える方法。
【請求項３０】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることを含む、請求項２９に記載の方法。
【請求項３１】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックに含まれる１つ以上のレンズの形状を変化させることを含む、請求項２９または３０に記載の方法。
【請求項３２】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
前記バーチャルリアリティヘッドセットの位置および向きを決定すること、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、
フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を含む、請求項２９〜３１のいずれか一項に記載の方法。
【請求項３３】
前記バーチャルシーンのフレームについて、前記バーチャルシーンの１つ以上の以前に提示されたフレームにおける前記光学ブロックの状態に基づいて前記光学ブロックの状態を決定することであって、前記光学ブロックの各状態は、前記光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられる、前記決定すること、
前記フレームについての光学ブロックの状態に基づいて、前記フレームについての光学ブロックの決定された状態によってもたらされる光学誤差を補正するために、前記バーチャルシーンのフレームについて歪み補正マップを決定すること、
前記フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、をさらに備える請求項２９〜３２のいずれか一項に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、電子ディスプレイからの画像をエンハンスすることに関し、具体的には、画像をエンハンスするために光学系の焦点距離を変化させることに関する。
【背景技術】
【０００２】
バーチャルリアリティ（ＶＲ）ヘッドセットは、仮想環境をシミュレートするために使用されることができる。例えば、立体画像は、奥行きの錯覚をシミュレートするためにヘッドセット内の電子ディスプレイ上に表示されることができ、複数のヘッドトラッキングセンサ（head tracking sensors）は、ユーザが仮想環境のどの部分を見ているかを推定するために使用されることができる。このようなシミュレーションは、しかし、既存のヘッドセットが正しくレンダリングできないこと、あるいは別様には輻輳調節矛盾について補償できないことから生じる視覚疲労および吐き気を引き起こす可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
バーチャルリアリティヘッドセットは、ユーザが見るバーチャルリアリティヘッドセットによって提示されるバーチャルシーン内の場所に基づいて自動的にその焦点を調整する。３次元（３Ｄ）バーチャルシーンは、バーチャルリアリティヘッドセットの電子ディスプレイ素子（例えば、スクリーン）上に提示され、電子ディスプレイ素子からユーザの眼へと画像光を向ける光学ブロックの焦点距離は、ユーザが見ているバーチャルシーン内の場所または物体に基づいて、可変焦点素子（例えば、光学ブロック内のレンズ系と電子ディスプレイ素子との間の距離を機械的に変化させる素子、光学ブロック内のレンズ系における１つ以上のレンズの形状を変化させる素子等）を使用して調整される。例えば、バーチャルリアリティヘッドセットは、ユーザの眼をトラッキングして注視線を近似し、注視線の交点の推定点として輻輳奥行き（vergence depth）を含む注視点を決定する。バーチャルシーンの特定フレームについての物体または焦点面を特定する注視点は、バーチャルリアリティヘッドセットによってユーザに提示される。
【０００４】
注視線はしばしば交差せず、ユーザの眼の場所または位置に基づく近似であり、注視線から推定された注視点の輻輳奥行きは、バーチャルリアリティヘッドセットにより提示されるバーチャルシーンについてのジオメトリデータを使用してさらに洗練またはフィルタリングされ得る。ユーザの頭および眼の位置に基づいて、バーチャルリアリティヘッドセットは、バーチャルリアリティヘッドセットにより提示される、ユーザが見ているバーチャルシーン内の場所または物体を特定する。ユーザが見ているバーチャルシーン内の場所または物体とバーチャルシーンについてのジオメトリデータ（すなわち、バーチャルシーン内の物体間の仮想距離）とに基づいて、バーチャルリアリティヘッドセットは、推定された輻輳奥行きおよび注視点を補正する。
【０００５】
様々な実施形態では、可変焦点素子は、輻輳および調節の変化として快適ゾーンにユーザの眼を保つために注視点についての補正された推定輻輳奥行きで光学ブロックの焦点を合わせるよう光学ブロックの焦点距離を調整する。さらに、補正された推定輻輳奥行きで物体または焦点面が与えられると、バーチャルリアリティヘッドセットは、奥行きキューを提供するためにバーチャルシーンをレンダリングするときに物体または焦点面に基づいてフィールドブラー（field blur）の奥行きを動的に追加し得る。
【０００６】
本発明による実施形態は、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の請求項で特に開示され、ある請求項のカテゴリ、例えば方法、で述べられた任意の特徴は、別の請求項のカテゴリ、例えばシステム、でも同様に請求されることができる。添付の請求項の従属性または後方参照は、形式上の理由でのみ選択されている。しかし、任意の先行請求項への意図的な後方参照から生じる任意の主題（特に多項従属）は同様に請求されることができるので、添付の請求項で選ばれた従属性に関係なく、請求項およびその特徴の任意の組合せが開示され、請求されることができる。請求することのできる主題は、添付の請求項に記載される特徴の組合せだけでなく、請求項の特徴の任意の他の組合せも含み、請求項で述べられる各特徴は請求項の任意の他の特徴または他の特徴の組合せと組み合わせることができる。さらに、本明細書で記述または示される実施形態および特徴のいずれも、個別の請求項で、および／または、本明細書で記述もしくは示される任意の実施形態もしくは特徴または添付の請求項の特徴のいずれかとの任意の組合せで請求することができる。
【０００７】
本発明による実施形態では、バーチャルリアリティ（ＶＲ）ヘッドセットは、
少なくとも１つのプロセッサと、
ＶＲヘッドセットを装着しているユーザにバーチャルシーンを表示するように構成された電子ディスプレイ素子と、
電子ディスプレイ素子からＶＲヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
撮像素子を含むアイトラッキングシステムであって、ユーザの各眼に関する眼の位置とユーザの各眼についての注視線とを決定するように構成されたアイトラッキングシステムと、
少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
ユーザの各眼についての注視線の推定交点に基づいてユーザについての輻輳奥行きを決定することを行わせる命令を含むメモリと、
輻輳奥行きに少なくとも部分的に基づいて光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、
を備える。
【０００８】
可変焦点作動ブロックは、光学ブロックと電子ディスプレイ素子との間の距離を変化させることにより、光学ブロックの焦点距離を変化させるように構成され得る。
可変焦点作動ブロックは、光学ブロックに含まれるレンズの形状または光路長を変化させることにより、光学ブロックの焦点距離を変化させるように構成され得る。
【０００９】
光学ブロックのレンズの形状または光路長を変化させることは、形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマン（Ａｌｖａｒｅｚ−Ｌｏｈｍａｎｎ）レンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含み得る。
【００１０】
メモリは、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
バーチャルシーンのフレームについて、バーチャルシーンの１つ以上の以前に提示されたフレームにおける光学ブロックの状態に基づいて光学ブロックの状態を決定することであって、光学ブロックの各状態は、光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、決定することと、
フレームについての光学ブロックの状態に基づいて、フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、バーチャルシーンのフレームについて歪み補正マップを決定することと、
フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、バーチャルシーンのフレームについて歪み補正マップの対象となる電子ディスプレイ素子上のバーチャルシーンのフレームを表示することと、
を行わせる命令をさらに含み得る。
【００１１】
本発明による実施形態では、ＶＲヘッドセットは、ＶＲヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムをさらに備え、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、ユーザの各眼についての注視線の推定交点に基づいてユーザについての輻輳奥行きを決定することを行わせる命令は、少なくとも１つのプロセッサに、
ＶＲヘッドセットの位置および向きに基づいて、ユーザが見ているバーチャルシーンの部分を決定させ、
ユーザが見ているバーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成させ得る。
【００１２】
可変焦点作動ブロックは、フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、光学ブロックの焦点距離を変化させるように構成され得る。
本発明による実施形態では、ヘッドセットは、
少なくとも１つのプロセッサと、
バーチャルシーンを表示するように構成された電子ディスプレイと、
電子ディスプレイからＶＲヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
ユーザの各眼についての眼の位置と、ユーザの各眼についての注視線と、注視線の交点に対応する輻輳奥行きとを決定するように構成されたアイトラッキングシステムと、
輻輳奥行きに少なくとも部分的に基づいて光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、
を備え得る。
【００１３】
本発明による実施形態では、ヘッドセットは、
ＶＲヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムと、
少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
ＶＲヘッドセットの位置および向きに基づいて、ユーザが見ているバーチャルシーンの部分を決定することと、
ユーザが見ているバーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成することと、
を行わせる命令を含むメモリと、
をさらに備え得る。
【００１４】
可変焦点作動ブロックは、フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、光学ブロックの焦点距離を変化させるように構成され得る。
可変焦点作動ブロックは、光学ブロックと電子ディスプレイとの間の距離を変化させることにより、光学ブロックの焦点距離を変化させるように構成され得る。
【００１５】
可変焦点作動ブロックは、光学ブロックに含まれるレンズの形状または光路長を変化させることにより、光学ブロックの焦点距離を変化させるように構成され得る。
光学ブロックのレンズの形状または光路長を変化させることは、形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含み得る。
【００１６】
本発明による実施形態では、ヘッドセットは、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
バーチャルシーンのフレームについて、バーチャルシーンの１つ以上の以前に提示されたフレームにおける光学ブロックの状態に基づいて光学ブロックの状態を決定することであって、光学ブロックの各状態は、光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられている、決定することと、
フレームについての光学ブロックの状態に基づいて、フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、バーチャルシーンのフレームについて歪み補正マップを決定させ、
フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、バーチャルシーンのフレームについて歪み補正マップの対象となる電子ディスプレイ素子上のバーチャルシーンのフレームを表示することと、
を行わせる命令を含むメモリをさらに備え得る。
【００１７】
メモリは、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、
各眼の決定された眼の位置について、各眼と光学ブロックとの間の距離または光学ブロックに対する各眼の位置のうちの少なくとも１つを決定することをさらに行わせ得る命令を含み、
光学ブロックの各状態は、光学ブロックの焦点距離、および、各眼と光学ブロックとの間の距離または光学ブロックに対する各眼の位置のうちの少なくとも１つに関連し、
各歪み補正マップはさらに、各眼と光学ブロックとの間の距離または光学ブロックに対する各眼の位置のうちの少なくとも１つによってもたらされる光学誤差について補正する。
【００１８】
本発明による実施形態では、方法は、
バーチャルシーンを提示している電子ディスプレイ素子から光学ブロックを介してバーチャルリアリティヘッドセットの射出瞳に光を向けるバーチャルリアリティヘッドセットを介して、ユーザにバーチャルシーンを表示することと、
バーチャルリアリティヘッドセットに含まれるアイトラッキングシステムによって撮像されたユーザの各眼の画像を介してユーザの各眼についての眼の位置とユーザの各眼についての注視線とを決定することと、
ユーザの各眼についての注視線の推定交点とユーザの各眼についての眼の位置とに基づいてユーザについての輻輳奥行きを決定することと、
ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて電子ディスプレイ素子からバーチャルリアリティヘッドセットの射出瞳に光を向ける光学ブロックの焦点距離を調整することと、
を備え得る。
【００１９】
ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて電子ディスプレイ素子からバーチャルリアリティヘッドセットの射出瞳に光を向ける光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう光学ブロックと電子ディスプレイ素子との間の距離を変化させること
を備え得る。
【００２０】
ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて電子ディスプレイ素子からバーチャルリアリティヘッドセットの射出瞳に光を向ける光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう光学ブロックに含まれる１つ以上のレンズの形状を変化させること
を備え得る。
【００２１】
ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて電子ディスプレイ素子からバーチャルリアリティヘッドセットの射出瞳に光を向ける光学ブロックの焦点距離を調整することは、
バーチャルリアリティヘッドセットの位置および向きを決定することと、
ＶＲヘッドセットの位置および向きに基づいて、ユーザが見ているバーチャルシーンの部分を決定することと、
ユーザが見ているバーチャルシーンの部分内の距離を特定するシーンジオメトリデータに対する輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成することと、
フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて電子ディスプレイ素子からバーチャルリアリティヘッドセットの射出瞳に光を向ける光学ブロックの焦点距離を調整することと、
を備え得る。
【００２２】
本発明による実施形態では、方法は、
バーチャルシーンのフレームについて、バーチャルシーンの１つ以上の以前に提示されたフレームにおける光学ブロックの状態に基づいて光学ブロックの状態を決定することであって、光学ブロックの各状態は、光学ブロックの状態によってもたらされる光学誤差について補正する歪み補正マップに関連付けられる、決定することと、
フレームについての光学ブロックの状態に基づいて、フレームについての光学ブロックの決定された状態によってもたらされる光学誤差を補正するために、バーチャルシーンのフレームについて歪み補正マップを決定することと、
フレームについての光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、バーチャルシーンのフレームについて歪み補正マップの対象となる電子ディスプレイ素子上のバーチャルシーンのフレームを表示することと、
をさらに備え得る。
【００２３】
本発明によるさらなる実施形態では、１つ以上のコンピュータ可読非一時的記憶媒体は、本発明による方法または上述のいずれかの実施形態を実行するために実行されると動作可能であるソフトウェアを具現化する。
【００２４】
本発明によるさらなる実施形態では、システムは、１つ以上のプロセッサと、プロセッサに結合されて、プロセッサによって実行可能な命令を備える少なくとも１つのメモリとを備え、プロセッサは、本発明による方法または上述のいずれかの実施形態を実行するために命令が実行されると動作可能である。
【００２５】
本発明によるさらなる実施形態では、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品は、本発明による方法または上述のいずれかの実施形態を実行するためにデータ処理システム上で実行されると動作可能である。
【図面の簡単な説明】
【００２６】
【図１】少なくとも１つの実施形態による、例示のバーチャルリアリティシステムを示す。
【図２】少なくとも１つの実施形態による、バーチャルリアリティヘッドセットの図を示す。
【図３】少なくとも１つの実施形態による、バーチャルリアリティヘッドセットを示す。
【図４】少なくとも１つの実施形態による、バーチャルリアリティヘッドセットの光学ブロックの焦点距離を調整することにより、輻輳調節矛盾を緩和するための例示的なプロセスを示す。
【図５】少なくとも１つの実施形態による、眼の位置をトラッキングするためのカメラを含むバーチャルリアリティヘッドセットの断面を示す。
【図６】少なくとも１つの実施形態による、シーンジオメトリに基づいて輻輳奥行きをフィルタリングするための例示的なプロセスを示す。
【図７Ａ】現実の世界での輻輳と眼の焦点距離との関係を示す。
【図７Ｂ】３次元ディスプレイにおける輻輳と眼の焦点距離との間の矛盾を示す。
【図８Ａ】少なくとも１つの実施形態による、可変焦点素子を使用してディスプレイスクリーンと光学ブロックとの間の距離を変化させることによって、バーチャルリアリティヘッドセットの光学ブロックの焦点距離を調整するための例示的なプロセスを示す。
【図８Ｂ】少なくとも１つの実施形態による、可変焦点素子を使用してディスプレイスクリーンと光学ブロックとの間の距離を変化させることによって、バーチャルリアリティヘッドセットの光学ブロックの焦点距離を調整するための例示的なプロセスを示す。
【図９Ａ】少なくとも１つの実施形態による、可変焦点素子を使用してバーチャルリアリティヘッドセットの光学ブロックの形状または光路長を変化させることにより、焦点距離を調整するための例示的なプロセスを示す。
【図９Ｂ】少なくとも１つの実施形態による、可変焦点素子を使用してバーチャルリアリティヘッドセットの光学ブロックの形状または光路長を変化させることにより、焦点距離を調整するための例示的なプロセスを示す。
【発明を実施するための形態】
【００２７】
図面は、例示のみの目的のために、本開示の実施形態を示す。当業者は、本明細書に例示の構造および方法の代替実施形態が、本明細書に記載の開示の原理またはうたわれる利点から逸脱することなく採用され得ることを、以下の説明から容易に認識するであろう。
【００２８】
図１は、バーチャルリアリティ（ＶＲ）コンソール１５０が動作するＶＲシステム環境である。この例では、ＶＲシステム環境は、ＶＲコンソール１５０に各々結合されている、ＶＲヘッドセット１００、撮像デバイス１６０およびＶＲ入力インタフェース１７０を含む。図１は、単一のＶＲヘッドセット１００、単一の撮像デバイス１６０および単一のＶＲ入力インタフェース１７０を示すが、他の実施形態では、任意数のこれらの構成要素がシステムに含まれ得る。例えば、各々が関連ＶＲ入力インタフェース１７０を有するとともに１つ以上の撮像デバイス１６０により監視される複数のＶＲヘッドセット１００が存在し、各ＶＲヘッドセット１００、ＶＲ入力インタフェース１７０および撮像デバイス１６０は、ＶＲコンソール１５０と通信する。代替構成では、異なる構成要素および追加の構成要素の両方または一方も、ＶＲシステム環境に含まれ得る。
【００２９】
ＶＲヘッドセット１００は、ユーザにコンテンツを提示するヘッドマウントディスプレイ（HMD : Head-Mounted Display）である。例示的なコンテンツは、画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。オーディオコンテンツは、ＶＲヘッドセット１００、ＶＲコンソール１５０またはその両方からオーディオ情報を受信する、ＶＲヘッドセット１００の外部の別個のデバイス（例えば、スピーカおよびヘッドホンの両方もしくは一方）を介して提示され得る。ＶＲヘッドセット１００は、電子ディスプレイ１０２、光学ブロック１０４、可変焦点作動ブロック１０６、焦点予測モジュール１０８、アイトラッキングモジュール（eye tracking module）１１０、輻輳処理モジュール１１２、１つ以上のロケータ（locator）１１４、内部計測ユニット（IMU : internal measurement unit）１１６、ヘッドトラッキングセンサ１１８およびシーンレンダリングモジュール（scene rendering module）１２０を含む。
【００３０】
光学ブロック１０４は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ等の１つ以上の光学素子を用いて、電子ディスプレイ１０２からユーザが見るための射出瞳に光を向け、異なる光学素子の組合せを含み得る。いくつかの実施形態では、光学ブロック１０４内の１つ以上の光学素子は、反射防止コーティング等の１つ以上のコーティングを有し得る。光学ブロック１０４による画像光（image light）の拡大により、より大きなディスプレイよりも、電子ディスプレイ１０２を物理的に小さくし、重量を少なくし、少ない電力消費とすることが可能となる。また、画像光の拡大は、表示コンテンツの視野を増加させ得る。例えば、表示コンテンツの視野は、表示コンテンツがユーザの視野のほぼすべて（例えば、斜め方向１５０度）、また、いくつかの場合にはすべて、を使用して提示されるというものである。
【００３１】
光学ブロック１０４は、１つ以上の光学誤差を補正するように構成され得る。光学誤差の例としては、バレル歪み、ピンクッション歪み、軸上色収差、横色収差、球面収差、コマ収差、像面湾曲、非点収差等が挙げられる。いくつかの実施形態では、表示のために電子ディスプレイ１０２に提供されるコンテンツは予め歪まされ、光学ブロック１０４は、コンテンツに基づいて生成された電子ディスプレイ１０２からの画像光を光学ブロック１０４が受け取るときに歪みを補正する。
【００３２】
可変焦点作動ブロック１０６は、ＶＲヘッドセット１００の焦点距離（または光学的倍率）を変化させるための光学ブロック１０４に、輻輳調節の変化として快適ゾーンにユーザの眼を保たせる可変焦点素子を含む。１つの実施形態では、可変焦点作動ブロック１０６は、電子ディスプレイ１０２または光学ブロック１０４（または両方）を移動させることにより、電子ディスプレイ１０２と光学ブロック１０４との間の距離を物理的に変化させる。あるいは、可変焦点作動ブロック１０６は、１つ以上のレンズの１つ以上の特性を調整することによって、光学ブロック１０４の焦点距離を変化させる。可変焦点作動ブロックによって調整されるレンズの特性の例としては、光路長、レンズ媒質の屈折率、レンズの形状等が挙げられる。例えば、可変焦点作動ブロック１０６は、形状変化ポリマーレンズ、液体レンズを伴うエレクトロウェッティング法、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、または、位相限定空間光変調器（ＳＬＭ）、または、任意の他の適切な構成要素を使用して、１つ以上のレンズの焦点距離を変化させる。さらに、互いに対して２つのレンズを移動または平行移動させることも、ＶＲヘッドセット１００の焦点距離を変化させるために使用され得る。このように、可変焦点作動ブロック１０６は、電子ディスプレイ１０２および光学ブロック１０４または電子ディスプレイ１０２もしくは光学ブロック１０４をトラック上で移動させるアクチュエータまたはモータを含み、それらの間の距離を変化させ、または、光学ブロック１０４に含まれる１つ以上のレンズの特性を変化させるためのアクチュエータおよび他の構成要素または機構を含み得る。様々な実施形態において、可変焦点作動ブロック１０６を光学ブロック１０４から分離し、または、光学ブロック１０４に統合し得る。
【００３３】
光学ブロック１０４の各状態は、（さらに後述するように）ＶＲヘッドセット１１０の焦点距離に、または、焦点距離と光学ブロック１０４に対する眼の位置との組合せに対応する。動作において、光学ブロック１０４は、光学ブロック１０４の１０００個の状態に対応する約１０００個の焦点距離の細かさについて約５μｍの位置精度で約５ｍｍの範囲で移動し得る。任意数の状態を設けることができるが、しかし、限定数の状態とすることにより人間の眼の感度を調節し、これにより、いくつかの実施形態ではより少ない焦点距離を含むことができる。例えば、第１の状態は、理論的無限メートル（０ジオプトリ）の焦点距離に対応し、第２の状態は、２．０メートル（０．５ジオプトリ）の焦点距離に対応し、第３の状態は、１．０メートル（１ジオプトリ）の焦点距離に対応し、第４の状態は、０．５メートル（１ジオプトリ）の焦点距離に対応し、第５の状態は、０．３３３メートル（３ジオプトリ）の焦点距離に対応し、第６の状態は、０．２５０メートル（４ジオプトリ）の焦点距離に対応する。可変焦点作動ブロック１０６は、このように、光学ブロック１０４の状態を設定して変化させ、所望の焦点距離を達成する。
【００３４】
焦点予測モジュール１０８は、光学ブロック１０４の状態をトラッキングするロジックを含むエンコーダであり、光学ブロック１０４の１つ以上の将来の状態または場所を予測する。例えば、焦点予測モジュール１０８は、光学ブロック１０４の以前の状態に対応する履歴情報を蓄積し、以前の状態に基づいて光学ブロック１０４の将来の状態を予測する。ＶＲヘッドセット１００によるバーチャルシーンのレンダリングが光学ブロック１０４の状態に基づいて調整されるので、予測された状態により、以下でさらに説明するシーンレンダリングモジュール１２０が、特定フレームについてバーチャルシーンに適用するための調整を決定することができる。したがって、焦点予測モジュール１０８は、フレームについての光学ブロック１０４の予測された状態を示す情報を、シーンレンダリングモジュール１２０に通信する。シーンレンダリングモジュール１２０により実行される光学ブロック１０４の異なる状態についての調整は、さらに後述される。
【００３５】
アイトラッキングモジュール１１０は、ＶＲヘッドセット１００のユーザの眼の位置と眼の動きとをトラッキングする。ＶＲヘッドセット１００内のカメラまたは他の光学センサは、ユーザの眼の画像情報を撮像し、アイトラッキングモジュール１１０は、撮像された情報を使用して、瞳孔間距離、眼間距離、ねじりおよび回転（すなわち、ロール、ピッチ、ヨー）の大きさを含む各眼のＶＲヘッドセット１００に対する３次元（３Ｄ）位置（例えば、歪み調整目的のために）、ならびに各眼についての注視方向を決定する。１つの例では、赤外光が、ＶＲヘッドセット１００内に放出され、各眼から反射される。反射光がカメラによって受光または検出され、各眼によって反射された赤外光の変化から眼球回転を抽出するために分析される。ユーザの眼をトラッキングするための多くの方法が、アイトラッキングモジュール１１０により使用されることができる。したがって、アイトラッキングモジュール１１０は、各眼の６つの自由度（すなわち、３Ｄ位置、ロール、ピッチ、ヨー）にまでトラッキングし、トラッキングされた量の少なくとも一部分が、注視点（すなわち、ユーザが見ているバーチャルシーン内の３Ｄ場所または位置）を推定するためにユーザの両眼から組み合わされ得る。例えば、アイトラッキングモジュール１１０は、過去の測定値からの情報、ユーザの頭の位置を特定する測定値、および、電子ディスプレイ素子１０２によって提示されたシーンを記述する３Ｄ情報を統合する。したがって、ユーザの眼の位置および向きについての情報は、ＶＲヘッドセット１００により提示された、ユーザが見ているバーチャルシーンにおける注視点を決定するために使用される。
【００３６】
さらに、瞳孔と光学ブロック１０４との間の距離は、異なる方向を見るために眼が移動するにつれて変化する。見ている方向の変化に伴って変化する、瞳孔と光学ブロック１０４との間の距離は、「瞳スイム（pupil swim）」と称され、瞳孔と光学ブロック１０４との間の距離として異なる場所に光を集束させた結果としてユーザによって知覚される歪みに寄与する。したがって、光学ブロック１０４に対する異なる眼の位置および瞳孔距離の歪みを測定すること、ならびに、異なる位置および距離について歪み補正を生成することにより、ユーザの眼の３Ｄ位置をトラッキングし、所与の時点でのユーザの各眼の３Ｄ位置に対応する歪み補正を適用することによって、「瞳スイム」による歪みの緩和が可能となる。したがって、ユーザの各眼の３Ｄ位置が分かることにより、各眼の３Ｄ位置に歪み補正を適用することによって、眼の瞳孔と光学ブロック１０４との間の距離における変化により生じる歪みの緩和が可能となる。
【００３７】
輻輳処理モジュール１１２は、アイトラッキングモジュール１１０によって決定される注視点または注視線の推定交点に基づいて、ユーザの注視の輻輳奥行きを決定する。輻輳は、単一の両眼視を維持するための反対方向への両眼の同時移動または回転であり、これは、自然にかつ自動的に人間の眼によって行われる。したがって、ユーザの眼が輻輳している場所は、ユーザが見ているところであり、典型的にはユーザの眼が焦点を合わせている場所でもある。例えば、輻輳処理モジュール１１２は、注視線の交点に関連付けられたユーザからの距離または奥行きを推定するために注視線を三角測量する。そして、注視線の交点に関連付けられた奥行きは、調節距離の近似値として使用することができ、これは、ユーザの眼が向けられている場所の、ユーザからの距離を特定する。したがって、輻輳距離により、ユーザの眼が焦点を合わせるべき場所、および、（眼が焦点を合わせる）ユーザの眼からの奥行きの決定が可能となり、それによって、バーチャルシーンへの調整をレンダリングするための、物体または焦点面などの情報が提供される。
【００３８】
いくつかの実施形態では、決定された輻輳奥行きで眼についての調節を提供するのではなく、調節は、シャック‐ハルトマン（Shack-Hartmann）波面センサなどの波面センサによって直接、決定され、したがって、光学ブロック１０４の状態は、輻輳または調節奥行きと各眼の３Ｄ位置との関数であり、よって、光学ブロック１０４は、シーンを見ているユーザのために、電子ディスプレイ素子１０２によって提示されたシーン内の物体に焦点を合わせる。さらに、輻輳調節情報は、光学ブロック１０４を焦点に合わせ、フィールドブラーの合成奥行きをレンダリングするために組み合わせられ得る。
【００３９】
ロケータ１１４は、互いに対しておよびＶＲヘッドセット１００上の特定の基準点に対してＶＲヘッドセット１００上の特定の位置に配置された物体である。ロケータ１１４は、発光ダイオード（ＬＥＤ）、コーナーキューブリフレクタ、反射型マーカ、ＶＲヘッドセット１００が動作する環境に対してコントラストをもたらすある種類の光源、または、それらの何らかの組合せであり得る。アクティブロケータ１１４（すなわち、ＬＥＤまたは他の種類の発光デバイス）は、可視光域（約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）域（約７５０ｎｍ〜１ｍｍ）、紫外域（１０ｎｍ〜３８０ｎｍ）、電磁スペクトルの何らかの他の部分、または、それらの何らかの組合せの光を放出し得る。
【００４０】
ロケータ１１４は、ＶＲヘッドセット１００の外側表面の下に配置することができ、これは、ロケータ１１４によって放出もしくは反射された光の波長に対して透明であるか、または、ロケータ１１４によって放出もしくは反射された光の波長を実質的に減衰しないように十分に薄い。さらに、ＶＲヘッドセット１００の外側表面または他の部分は、光の波長の可視光域で不透明であることができる。したがって、ロケータ１１４は、ＶＲヘッドセット１００の外側表面下においてＩＲ域の光を放出し、ＶＲヘッドセット１００の外側表面は、ＩＲ域で透明であるが、可視域では不透明である。
【００４１】
ＩＭＵ１１６は、１つ以上のヘッドトラッキングセンサ１１８から受信した測定信号に基づいて高速較正データを生成する電子デバイスであり、これは、ＶＲヘッドセット１００の動きに応答して、１つ以上の測定信号を生成する。ヘッドトラッキングセンサ１１８の例には、加速度計、ジャイロスコープ、磁力計、動きを検出し、ＩＭＵ１１６に関連する誤差を補正するのに適した他のセンサ、または、それらの何らかの組合せが含まれる。ヘッドトラッキングセンサ１１８は、ＩＭＵ１１６の外部、ＩＭＵ１１６の内部、または、それらの何らかの組合せにて配置され得る。
【００４２】
ヘッドトラッキングセンサ１１８からの測定信号に基づいて、ＩＭＵ１１６は、ＶＲヘッドセット１００の初期位置に対するＶＲヘッドセット１００の推定位置を示す高速較正データを生成する。例えば、ヘッドトラッキングセンサ１１８は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計、および、回転運動（例えば、ピッチ、ヨー、およびロール）を測定するための複数のジャイロスコープを含む。ＩＭＵ１１６は、例えば、測定信号を迅速にサンプリングし、サンプリングされたデータからＶＲヘッドセット１００の推定位置を算出することができる。例えば、ＩＭＵ１１６は、速度ベクトルを推定するために経時的に加速度計から受信した測定信号を積分し、ＶＲヘッドセット１００上の基準点の推定位置を決定するために経時的に速度ベクトルを積分する。基準点は、ＶＲヘッドセット１００の位置を記述するために使用され得る点である。基準点は、概して空間内の点として定義され得るが、様々な実施形態において、基準点は、ＶＲヘッドセット１００内の点（例えば、ＩＭＵ１３０の中心）として定義される。あるいは、ＩＭＵ１１６は、サンプリングされた測定信号をＶＲコンソール１５０に提供し、これが高速較正データを決定する。
【００４３】
ＩＭＵ１１６は、さらにＶＲコンソール１５０から１つ以上の較正パラメータを受信することができる。以下でさらに説明するように、１つ以上の較正パラメータは、ＶＲヘッドセット１００のトラッキングを維持するために使用される。受信した較正パラメータに基づいて、ＩＭＵ１１６は、１つ以上のＩＭＵパラメータ（例えば、サンプルレート）を調整し得る。いくつかの実施形態では、特定の較正パラメータは、ＩＭＵ１１６に、基準点の次の較正位置に対応させるために基準点の初期位置を更新させる。基準点の次の較正位置として基準点の初期位置を更新することは、推定位置を決定することに関連した累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも称され、基準点の推定位置を経時的に基準点の実際の位置から「ドリフト」させる。
【００４４】
シーンレンダリングモジュール１２０は、ＶＲエンジン１５６からバーチャルシーンについてのコンテンツを受信し、電子ディスプレイ１０２上に表示するためのコンテンツを提供する。さらに、シーンレンダリングモジュール１２０は、焦点予測モジュール１０８、輻輳処理モジュール１１２、ＩＭＵ１１６およびヘッドトラッキングセンサ１１８からの情報に基づいてコンテンツを調整することができる。例えば、ＶＲエンジン１５６からコンテンツを受信すると、シーンレンダリングモジュール１２０は、バーチャルシーンのレンダリングに補正または予歪みを加えることにより、焦点予測モジュール１０８から受信した光学ブロック１０４の予測された状態（すなわち、目の位置および焦点距離）に基づいてコンテンツを調整し、光学ブロック１０４の予測された状態により生じる歪みについて補償または補正する。シーンレンダリングモジュール１２０は、ユーザの注視、輻輳処理モジュール１１２から受信した輻輳奥行き（または調節奥行き）、または、ユーザの眼の測定された特性（例えば、眼の３Ｄ位置等）に基づいてフィールドブラーの奥行きを追加し得る。また、シーンレンダリングモジュール１２０は、さらに以下に説明するように、１つ以上のトラッキングモジュール１５４、ヘッドトラッキングセンサ１１８またはＩＭＵ１１６に基づいて、電子ディスプレイ１０２上に表示されるべきコンテンツの部分を決定する。
【００４５】
撮像デバイス１６０は、ＶＲコンソール１５０から受信した較正パラメータに従って低速較正データを生成する。低速較正データは、撮像デバイス１６０により検出可能なロケータ１１４の観察位置を示す１つ以上の画像を含む。撮像デバイス１６０は、１つ以上のカメラ、１つ以上のビデオカメラ、１つ以上のロケータ１１４を含み画像を撮像可能な他のデバイス、または、それらの何らかの組合せを含み得る。また、撮像デバイス１６０は、（例えば信号対雑音比を増加させるための）１つ以上のフィルタを含み得る。撮像デバイス１６０は、撮像デバイス１６０の視野内のロケータ１１４から放出または反射された光を検出するように構成される。ロケータ１１４が受動素子（例えば、再帰反射器）を含む実施形態では、撮像デバイス１６０は、ロケータ１１４の一部または全部を照明する光源を含み、これは、光を撮像デバイス１６０内の光源に向けて逆反射する。低速較正データは、撮像デバイス１６０からＶＲコンソール１５０に通信され、撮像デバイス１６０は、ＶＲコンソール１５０から１つ以上の較正パラメータを受信し、１つ以上の撮像パラメータ（例えば、焦点距離、焦点、フレームレート、ＩＳＯ、センサ温度、シャッタ速度、アパーチャ等）を調整する。
【００４６】
ＶＲ入力インタフェース１７０は、ユーザがＶＲコンソール１５０にアクション要求を送信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了するため、または、アプリケーション内の特定のアクションを実行するためのものであり得る。ＶＲ入力インタフェース１７０は、１つ以上の入力デバイスを含み得る。例示の入力デバイスは、キーボード、マウス、ゲームコントローラ、または、アクション要求を受信し、受信したアクション要求をＶＲコンソール１５０に通信するための任意の他の適切なデバイスを含む。ＶＲ入力インタフェース１７０によって受信されたアクション要求は、ＶＲコンソール１５０に通信され、このＶＲコンソール１５０は、そのアクション要求に対応するアクションを実行する。いくつかの実施形態では、ＶＲ入力インタフェース１７０は、ＶＲコンソール１５０から受信した命令に従って、ユーザに触覚フィードバックを提供し得る。例えば、触覚フィードバックは、アクション要求を受信したときにＶＲ入力インタフェース１７０によって提供されるか、または、ＶＲコンソール１５０は、ＶＲコンソール１５０がアクションを実行するときにＶＲ入力インタフェース１７０に触覚フィードバックの生成を行わせる命令をＶＲ入力インタフェース１７０に通信する。
【００４７】
ＶＲコンソール１５０は、撮像デバイス１６０、ＶＲヘッドセット１００またはＶＲ入力インタフェース１７０から受信した情報に従って、ユーザに提示するためのコンテンツをＶＲヘッドセット１００へ提供する。図１に示す例では、ＶＲコンソール１５０は、アプリケーションストア１５２、トラッキングモジュール１５４およびバーチャルリアリティ（ＶＲ）エンジン１５６を含む。ＶＲコンソール１５０のいくつかの実施形態は、図１に関連して記載されたものとは異なる、または、追加のモジュールを有する。同様に、以下でさらに説明される機能は、ここで説明されているものとは異なる方法でＶＲコンソール１５０の構成要素間で分散され得る。
【００４８】
アプリケーションストア１５２は、ＶＲコンソール１５０による実行のための１つ以上のアプリケーションを格納する。アプリケーションは、プロセッサによって実行されたとき、ユーザに提示するためのコンテンツの生成を行わせる命令群である。アプリケーションによって生成されたコンテンツは、ＶＲヘッドセット１００またはＶＲインタフェースデバイス１７０の動きを介してユーザから受信した入力に応答し得る。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーションまたは他の適切なアプリケーションが含まれる。
【００４９】
トラッキングモジュール１５４は、１つ以上の較正パラメータを用いてＶＲシステムを較正し、ＶＲヘッドセット１００の位置を決定する際に誤差を低減するために１つ以上の較正パラメータを調整し得る。例えば、トラッキングモジュール１５４は、観察されたロケータ１１４についてのＶＲヘッドセット１００上のより正確な位置を得るために、撮像デバイス１６０の焦点を調整する。また、トラッキングモジュール１５４によって実行される較正もまた、ＩＭＵ１１６から受信した情報を考慮に入れる。また、ＶＲヘッドセット１００のトラッキングが失われる（例えば、撮像デバイス１６０が少なくともロケータ１１４の閾値数の視線を失う）場合、トラッキングモジュール１５４は、ＶＲシステム構成要素の一部または全部を再較正する。
【００５０】
さらに、トラッキングモジュール１５４は、撮像デバイス１６０からの低速較正情報を使用してＶＲヘッドセット１００の動きをトラッキングし、低速較正情報とＶＲヘッドセット１００のモデルとから観察されたロケータを使用してＶＲヘッドセット１００上の基準点の位置を決定する。トラッキングモジュール１５４はまた、ＶＲヘッドセット１００上のＩＭＵ１１６からの高速較正情報からの位置情報を使用して、ＶＲヘッドセット１００上の基準点の位置を決定する。さらに、トラッキングモジュール１５４は、高速較正情報の一部、低速較正情報またはその何らかの組合せを使用して、ＶＲヘッドセット１００の将来位置を予測してＶＲエンジン１５６に提供する。
【００５１】
ＶＲエンジン１５６は、ＶＲシステム内のアプリケーションを実行し、トラッキングモジュール１５４からＶＲヘッドセット１００について、位置情報、加速度情報、速度情報、予測将来位置またはその何らかの組合せを受信する。受信した情報に基づいて、ＶＲエンジン１５６は、バーチャルシーンなどの、ユーザに提示するためにＶＲヘッドセット１００に提供するためのコンテンツを決定する。例えば、受信された情報が、ユーザが左を見たことを示す場合、ＶＲエンジン１５６は、仮想環境内のユーザの動きをミラーリングまたはトラッキングするＶＲヘッドセット１００用のコンテンツを生成する。また、ＶＲエンジン１５６は、ＶＲ入力インタフェース１７０から受信したアクション要求に応答してＶＲコンソール１５０上で実行されるアプリケーション内のアクションを実行し、アクションが実行されたというフィードバックをユーザに提供する。提供されたフィードバックは、ＶＲヘッドセット１００を介した視覚もしくは聴覚フィードバックまたはＶＲインタフェース１７０を介した触覚フィードバックであり得る。
【００５２】
図２は、少なくとも１つの実施形態によるＶＲヘッドセット１００の図である。この例では、ＶＲヘッドセット１００は、ユーザの頭を取り囲む前部剛体およびバンドを含む。前部剛体は、電子ディスプレイ１０２に対応する１つ以上の電子ディスプレイ素子、ＩＭＵ１１６、ヘッドトラッキングセンサ１１８および複数のロケータ１１４を含む。この例では、ヘッドトラッキングセンサ１１８は、ＩＭＵ１１６内に配置されている。
【００５３】
複数のロケータ１１４は、互いに対してかつ基準点２００に対して前部剛体上の固定位置に配置されている。この例では、基準点２００は、ＩＭＵ１１６の中心に配置されている。複数のロケータ１１４の各々は、撮像デバイス１６０によって検出可能な光を放出する。複数のロケータ１１４、または複数のロケータ１１４の一部分は、図２に示すように前部剛体の前側、上側、下側、右側および左側に配置される。図３は、光学ブロック１０４の外側レンズが見えるＶＲヘッドセット３００内をのぞき込む背面斜視図を示す。この例では、複数のロケータ１１４が見え、上述したように、撮像デバイス１６０により検出するためにＶＲヘッドセット３００の表面に提供される。
【００５４】
焦点調整方法
図４は、バーチャルリアリティ（ＶＲ）ヘッドセット１００の光学ブロック１０４の焦点距離を調整することにより、輻輳調節矛盾を緩和するためのプロセス４００の実施形態を示す。上述のように、可変焦点システムは、ＶＲヘッドセット１００を装着しているユーザに提示する画像に焦点を合わせるために、その焦点を動的に変更し、この変更は、ユーザの眼を輻輳調節の変化として快適ゾーンに保つ。また、アイトラッキングを可変焦点システムの可変焦点と組み合わせることにより、ＶＲヘッドセット１００によって提示される画像に奥行きキューとしてブラー（blurring）が導入されることを可能にする。
【００５５】
したがって、図４に示す実施形態では、ＶＲヘッドセット１００の位置、向きおよび／または動きは、図１に関連して上述したように、ロケータ１１４、ＩＭＵ１１６、ヘッドトラッキングセンサ１１８、撮像デバイス１６０およびトラッキングモジュール１５４の組合せによって決定される（４０２）。ＶＲヘッドセット１００によって提示されるバーチャルシーンの部分は、ＶＲヘッドセット１００の様々な位置および向きにマッピングされる。したがって、ユーザが現在見ているバーチャルシーンの部分は、ＶＲヘッドセット１００の位置、向きおよび動きに基づいて決定される（４０４）。ユーザが見ているバーチャルシーンの部分を決定（４０４）した後、ＶＲシステムは、ユーザが見ている決定された部分内の場所または物体を決定し、それに応じてその位置または物体について焦点を調整し得る。
【００５６】
ユーザが見ているバーチャルシーンの決定された部分内の場所または物体を決定するために、ＶＲヘッドセット１００は、ユーザの眼の位置および場所をトラッキングする。したがって、ＶＲヘッドセット１００は、ユーザの各眼について眼の位置を決定する（４０６）。例えば、ＶＲヘッドセット１００は、各眼の３Ｄ位置、ロール、ピッチおよびヨーのうちの少なくとも一部分をトラッキングし、各眼の３Ｄ注視点を推定するためにこれらの量を使用する。さらに、過去の眼の位置からの情報、ユーザの頭の位置を記述する情報、および、ユーザに提示されるシーンを記述する情報はまた、様々な実施形態において、眼の３Ｄ注視点を推定するために使用され得る。例えば、図５は、各眼５００の位置をトラッキングするためのカメラ５０２を含むＶＲヘッドセット１００の実施形態の断面を示す。この例では、カメラ５０２は、ユーザの眼の画像を撮像し、アイトラッキングモジュール１１０は、撮像した画像に基づいて、各眼５００と、ユーザが見ている注視点または場所に対応する注視線５０４とについての出力を決定する。
【００５７】
図４および図５を参照すると、ユーザについての注視点の輻輳奥行き（ｄＶ）５０８は、注視線５０４の推定交点に基づいて決定される（４１０）。図５に示すように、注視線５０４は、ｄＶ５０８で収束または交差し、そこには、物体５０６が配置されている。バーチャルシーン内の仮想距離がＶＲシステムに既知であるので、輻輳奥行き５０８は、バーチャルシーンについてのより正確な輻輳奥行きを決定するためにフィルタリングまたは検証されることができる。例えば、輻輳奥行き５０８は、注視線５０４の交点の近似であり、これは、ユーザの眼５００の位置に基づく近似そのものである。注視線５０４は、必ずしも正確に交差するようには現れない。したがって、バーチャルシーン内の仮想距離は、フィルタリングされた輻輳奥行きを生成するために、バーチャルシーンの部分についての輻輳奥行きと比較される（４１２）。
【００５８】
図６は、シーンジオメトリ（scene geometry）に基づいて、輻輳奥行きまたは注視点の場所をフィルタリングするための例示的なプロセスを示す。図６の例は、物体６０６は、バーチャルシーン６００の床の上に示され、バーチャルシーン６００内の唯一の物体である。さらに、バーチャルシーン６００についてのジオメトリが知られている。例えば、ユーザが仮想環境内に実際に存在するかのようにその環境とユーザが相互作用することを可能にする仮想環境を提供するために、そのジオメトリに対応する環境の寸法は、正確にＶＲシステムに知られている。したがって、バーチャルシーン６００の特定のフレームについて、ユーザと壁との間の距離、ユーザと物体６０６との間の距離、および、物体６０６と壁との間の距離は、既知の値である。これらの既知の値は、決定された輻輳奥行きの精度を可能にする。
【００５９】
図６の例では、注視線６０２は、最初に輻輳奥行きｄ１（線６０４）で輻輳され、これは、輻輳処理モジュール１１２によって決定される推定された輻輳奥行きに対応する。輻輳処理モジュール１１２は、推定された輻輳奥行きの精度を検証するためにシーンレンダリングモジュール１２０からバーチャルシーン６００内の物体間の距離を記述するシーンジオメトリデータを含むバーチャルシーン６００についてのデータを受信する。シーンジオメトリデータは、この例では、バーチャルシーン６００が距離ｄ２（線６０８）でユーザから物体６０６を含むことを示す。輻輳処理モジュール１１２は、距離ｄ１をｄ２と比較し、それらが等しいかどうかを決定する。図６の例では、距離ｄ１とｄ２とは等しくはないが、その差は閾値距離未満であり、推定された輻輳奥行き（ｄ１）がわずかに不正確であり、輻輳奥行きがより正確にはｄ２であることを示す。輻輳処理モジュール１１２がバーチャルシーン６００内に他の物体がないことを示す情報を取得するため、輻輳処理モジュール１１２は、推定された輻輳奥行きｄ１を、フィルタリングされた輻輳奥行きｄ２にフィルタリングまたは調整する。
【００６０】
より正確な輻輳奥行きまたは注視点を決定することにより、バーチャルシーンがユーザの物体または焦点面をより正確に決定することが可能となり、シーンレンダリングモジュール１２０は、バーチャルシーン内で適切な奥行きおよび物体の両方または一方にフィールドブラーの奥行きを追加することができ、または別様に、より現実的に見えるようにバーチャルシーンを修正することができる。さらに、図６中のバーチャルシーン６００に複数の物体が含まれる場合、輻輳処理モジュール１１２は、物体の少なくとも一部分に関連する距離と推定された輻輳奥行きとを比較する。１つの例では、物体までの距離と推定された輻輳奥行きとの間の最小の差は、フィルタリングされた輻輳奥行きであると決定されるが、しかし、フィルタリングされた輻輳奥行きを指定する物体を特定する他の方法が、様々な実施形態で使用され得る。
【００６１】
図４に戻ると、光学ブロック１０４の状態は、バーチャルシーンの以前のフレームの提示中に光学ブロック１０４の状態に基づいて、バーチャルシーンのフレームについて決定される（４１４）。例えば、焦点予測モジュール１０８は、バーチャルシーンの様々なフレームについて光学ブロック１０４の状態をトラッキングし、バーチャルシーンの後続のフレームについて光学ブロック１０４の将来の状態を予測する。光学ブロック１０４の予測された状態（例えば、光学ブロック１０４の予測された場所）により、シーンレンダリングモジュール１１４が、バーチャルシーンのフレームに適用する調整を決定することができ、よって、光学ブロック１０４の予測された状態により生じる歪みが、フレームを歪ませるのではなく、適用された調整を補正またはキャンセルする。このように、光学ブロック１０４の状態に基づいて、歪み補正は、バーチャルシーンのフレームへの適用について光学ブロック１０４の状態によりもたらされる光学誤差を補正するために決定される（４１６）。
【００６２】
図７Ａは、人間の眼が現実の世界で輻輳および調節をどのように経験するかの例を示す。輻輳は、単一の両眼視を取得または維持するための反対方向への両眼の同時移動または回転であり、眼の調節につながっている。通常の条件下では、異なる距離にある物体を見るために眼の焦点を変化させると、自動的に輻輳および調節が生じる。図７Ａの例では、ユーザが現実の物体７００Ａを見ている（つまり、ユーザの眼は現実の物体７００Ａ上で輻輳され、ユーザの眼からの注視線は現実の物体７００Ａで交差する）。図７Ａ中の矢印で示すように、現実の物体７００Ａはユーザのより近くに移動されるので、各眼７０２は、内側に回転し、現実の物体７００Ａの上で輻輳されたままとなる。現実の物体７００Ａがより近づくにつれて、眼７０２は、その状態（shape）を変更することにより眼７０２の倍率または焦点距離を低減することによって、より近い距離について「調節」しなければならない。したがって、現実の世界における通常条件下で、輻輳奥行き（ｄＶ）は、焦点距離（ｄｆ）に等しい。
【００６３】
しかし、図７Ｂは、いくつかの３次元ディスプレイで起こることがある例示の輻輳調節矛盾を示す。この例では、ユーザは、３Ｄ電子スクリーン７０４上に表示される仮想物体７００Ｂを見ているが、しかし、ユーザの眼が仮想物体７００Ｂ上で輻輳され、ユーザの眼からの注視線は仮想物体７００Ｂで交差し、これは、３Ｄ電子スクリーン７０４よりもユーザの眼から大きい距離である。仮想物体７００Ｂがユーザにより近くに見えるよう３Ｄ電子ディスプレイ７０４上にレンダリングされるので、各眼７０２が再び内向きに回転して仮想物体７００Ｂ上で輻輳されたままとなるが、各眼の倍率または焦点距離が低減されず、したがって、ユーザの眼は、図７Ａに示すように調節しない。したがって、より近い輻輳奥行きについて調節するために倍率または焦点距離を低減させる代わりに、眼７０２は、３Ｄ電子ディスプレイ７０４と関連する距離で調節を維持する。したがって、輻輳奥行き（ｄＶ）はしばしば、３Ｄ電子ディスプレイ上に表示された物体についての、人間の眼についての焦点距離（ｄｆ）と等しくない。輻輳奥行きと焦点距離との間のこの不一致は、「輻輳調節矛盾（vergence-accommodation conflict）」と称される。両方ではなく輻輳または調節の一方のみを経験するユーザは、最終的にはある程度の疲労および吐き気を経験し、これは、バーチャルリアリティシステムのクリエイターにとって望ましくない。３Ｄ電子スクリーンについての輻輳の変化は、輻輳奥行き（または予測された輻輳奥行き）に基づいて光学ブロックの倍率を動的に調整するＶＲヘッドセットによって調節され得る。
【００６４】
したがって、図４を再び参照すると、光学ブロック１０４の焦点距離（または倍率）は、生成されフィルタリングされた輻輳奥行きについての調節を提供するためにバーチャルシーンの提示されたフレームについて調整される（４１８）。図８Ａおよび図８Ｂは、可変焦点素子８０２を使用して電子ディスプレイ１０２と光学ブロック１０４との間の距離を変化させることによって光学ブロック１０４の焦点距離を調整するための例示的なプロセスを示す。図８Ａおよび図８Ｂの例では、可変焦点作動ブロック１０６は、アクチュエータまたはモータなどの可変焦点素子８０２およびトラック８０４を含むが、光学ブロック１０４、電子ディスプレイ１０２またはその両方がトラック８０４に沿って移動することを可能にする他の構成要素も含み得、光学ブロック１０４の光学倍率を動的に調整する。
【００６５】
図８Ａは、バーチャルシーンのフレームｎについての焦点調整を提供するＶＲヘッドセット１００の例を示す。この例では、バーチャルシーンは、ユーザ８００の注視が向けられる（すなわち、輻輳される）電子ディスプレイ１０２上に表示された物体８０６を含む。物体８０６の仮想画像は、射出瞳８１０から電子ディスプレイ１０２の後ろに仮想距離ｄｉで位置している。図８Ａの例では、光学ブロック１０４は位置ｐｉにあり、これは、物体８０６を快適に見られるようにするために、距離ｄｉについての調節を提供する。
【００６６】
図８Ｂは、バーチャルシーンの後続のフレームｎ＋１についての焦点調整を提供するＶＲヘッドセット１００を示す。この例では、ユーザ８００は、物体８０８を見るために視線を再配置したところであり、すなわち、物体８０８は、バーチャルシーン内でユーザ８００に向かって素早く移動したところである。結果として、物体８０８の仮想画像は、電子ディスプレイ１０２の近くに配置されている。（図８Ａの物体８０６よりも近い）電子ディスプレイ１０２に近い物体８０８の場所に応じて、ユーザ８００の眼は、物体８０８上で輻輳するよう内側に回転し、輻輳処理モジュール１１２にフレームｎ＋１について新たな輻輳奥行きを決定させ、可変焦点作動ブロック１０６に新たな輻輳奥行きを提供させる。新たな輻輳奥行きに基づいて、可変焦点素子８０２は、光学ブロック１０４を位置ｐｉから新しい位置ｐｆに移動させ、より近い物体８０８について新しい輻輳奥行きｄｆでユーザ８００を調節する。
【００６７】
１つの例では、光学ブロック１０４の各状態は、焦点距離と眼の位置との組合せに対応し、輻輳奥行きの範囲について調節を提供し、光学ブロック１０４の特定の位置に関連付けられている。したがって、輻輳奥行きは、光学ブロック１０４の位置にマッピングされ得、ルックアップテーブルに格納され得る。したがって、輻輳奥行きが輻輳処理モジュール１１２から受信された場合、可変焦点作動ブロック１０６は、ルックアップテーブルに基づいて、受信した輻輳奥行きに応じた位置に光学ブロック１０４を自動的に移動する。
【００６８】
多くの場合、バーチャルリアリティシステムは、現実の世界の環境を綿密にシミュレートする、または、バーチャルリアリティシステムによって作成された錯覚の中にユーザを没入させるコンテンツをユーザに提供する仮想環境をユーザに提示することを目指している。現実的または魅惑的な仮想環境をユーザに提供するために、バーチャルリアリティシステムは、ユーザには感知できない効率でともに動作するよう、本明細書で議論する複数のシステムおよび方法を実装する。例えば、遷移遅延は、バーチャルリアリティシステムではユーザエクスペリエンス（user experiencing）にとって特に代償が大きい。ユーザの脳が既に期待しているものに追いつくために、ＶＲヘッドセットが提示したバーチャルシーンをユーザが待っている場合は、錯覚が壊れていてユーザが吐き気を催し得るか、または、錯覚が壊れているかもしくはユーザが吐き気を催し得る。しかし、処理速度および市販のアクチュエータは現在、人間の眼がそのレンズの形状を変化させて、レンズの新しい形状が何に焦点を合わせているのかを人間の脳が登録するための協調動作よりも速い。これにより、開示されたシステムおよび方法は、高品質の仮想環境をユーザに提供することができる。
【００６９】
図８Ａおよび図８Ｂに戻って参照すると、ユーザに遅延を知覚させることなく追加計算を実行する時間も残しながら新しい輻輳奥行きについての調節を提供するために、可変焦点素子８０２が光学ブロック１０４を移動させる速さは、人間の眼が調節を実行する速度によって制限される。例えば、人間の眼の調節が、１０ジオプトリ／秒のピーク速度、１００ジオプトリ／秒２のピーク加速度を有し、電子ディスプレイ１０２と光学ブロック１０４との間の距離の変化が約０．５ジオプトリ／ｍｍで仮想画像を移動させると仮定すると、可変焦点素子８０２は、電子ディスプレイ１０２に対する光学ブロック１０４の再配置をユーザに知覚させないために、１０／０．５＝２０ｍｍ／秒の最小速度および加速度１００／０．５＝２００ｍｍ／秒２の最小加速度で動作する。上記の値を満たす市販のアクチュエータは、存在する。
【００７０】
図９Ａおよび図９Ｂは、光学ブロック１０４内の１つ以上のレンズの形状を変化させることにより可変焦点素子で光学ブロック１０４の焦点距離を調節するための代替の例示的なプロセスを示す。図８Ａおよび図８Ｂの例と同様に、図９Ａは、ユーザ９００の注視が向けられる（例えば、輻輳される）電子ディスプレイ１０２上に表示された物体９０２を含むバーチャルシーンのフレームｎについて焦点を提供するＶＲヘッドセット１００の例を示す。物体９０２の仮想画像は同様に、射出瞳８１０から電子ディスプレイ１０２の後ろに仮想距離ｄ１で位置している。図９Ａの例では、可変焦点作動ブロック１０６は、光学ブロック１０４の１つ以上のレンズの形状を変化させ、物体９０２を快適に見られるようにするために、距離ｄｉについての調節をレンズ形状Ｓ１で提供する。
【００７１】
図９Ｂは、光学ブロック１０４の１つ以上のレンズの形状を変化させることにより、バーチャルシーンの後続のフレームｎ＋１について焦点を提供するＶＲヘッドセット１００を示す。この例では、物体９０２は、バーチャルシーン内でユーザ９００に向かって距離ｄ１からｄ２へ移動したところであり、輻輳の変化を引き起こし、調節における相補的な調整が必要となる。したがって、輻輳処理モジュール１０６は、フレームｎ＋１について新たな輻輳奥行きを決定して、可変焦点作動ブロック１０６に新たな輻輳奥行きを提供し、これは、形状Ｓ１から新たなレンズ形状Ｓ２へ光学ブロック１０４の１つ以上のレンズの形状を変化させ、新しい、より近くの輻輳奥行きｄ２でユーザ９００を調節する。
【００７２】
上記のように、光学ブロック１０４の異なる状態は、様々な焦点距離に対応し、輻輳奥行きの範囲について調節を提供し、レンズ形状または焦点距離に影響を与える他の調節可能な特性に関連している。したがって、輻輳奥行きは、レンズ形状または特性にマッピングされることができ、ルックアップテーブルに格納されることができる。したがって、輻輳奥行きを輻輳処理モジュール１１２から受信した場合、可変焦点作動ブロック１０６は、ルックアップテーブルから輻輳奥行きに対応したレンズ形状を特定し、新しい輻輳奥行きに対応する特定されたレンズ形状に光学ブロック１０４中の１つ以上のレンズの形状を変化させる。図１に関連して上述したように、可変焦点作動ブロック１０６は、光学ブロック１０４の１つ以上のレンズの焦点距離に影響を与える形状または他の特性を変化させるために、１つ以上の構成要素を含み得る。１つ以上のレンズの形状または焦点距離に影響を与える他の特性を変化させるための構成要素の例は、形状変化ポリマーレンズ、エレクトロウェッティングを伴う液体レンズ、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）および他の適切な構成要素を含む。
【００７３】
図４に戻ると、フィールドブラーの奥行きは、バーチャルシーンについて決定される（４２０）。フィールドブラーの奥行きを決定する（４２０）ために、ユーザの注視が向けられる、ＶＲヘッドセット１００によりユーザに提示されるシーン内の点が決定され、光学ブロック１０４は、ユーザの注視が向けられるシーン内の点の焦点がユーザにとって合っている状態に構成される。そして、フィールドブラーの奥行きは、ユーザの注視が向けられているシーン内の点に対して決定される（４２０）。１つの例では、フィルタリングされた輻輳奥行きに対応するシーンジオメトリ内の奥行き（例えば、バーチャルシーン内の距離）は、バーチャルシーンのフレームについての焦点面として決定される。したがって、ユーザの眼からの焦点面の距離よりも大きいかまたは小さいバーチャルシーン内の距離を伴う仮想環境の物体または特徴は、合成ブラーでレンダリングされ得る。別の例では、フィールドブラーの奥行きは、フィルタリングされた輻輳奥行きに対応する奥行きでユーザの注視の焦点が合わされたシーン内の物体（すなわち「焦点物体」）に基づいて決定される。したがって、焦点面ではなく、焦点物体は、他の物体が焦点物体としてシーン内で同様の奥行きを持っている場合でも、フィールドブラーの奥行きでレンダリングされたシーン内の他の物体を特定するための基準点を提供する。
【００７４】
ブラーは、焦点面（または焦点物体）からの物体もしくは特徴の距離に基づいて物体もしくは特徴に適用されるブラーのレベルとしてプログレッシブ（progressive）であり、または、ブラーの概して均一なレベルが、バーチャルシーン内の物体もしくは特徴に適用され得る。フィールドブラーの奥行きは、両眼視の自然な結果であるので、バーチャルシーン内にフィールドブラーの奥行きを含ませることは、期待される奥行きキューをユーザに提供することによりバーチャルシーンの錯覚をさらに進めることとなり、これは、バーチャルシーンでのユーザエクスペリエンスを向上させ得る。さらに、ブラーは、ユーザの眼の測定された特性に少なくとも部分的に基づき得る。例えば、ユーザの眼の波面収差を、波面収差計によって測定することができ、測定された波面収差に少なくとも部分的に基づいてフィールドブラーの奥行きが得られる。ユーザの眼の波面収差の例には、眼鏡、コンタクトレンズまたは屈折矯正手術によって典型的には補正されない高次の収差が含まれ得る。フィールドブラーの奥行きを決定する際にユーザの眼の特性を考慮することにより、シーンを見るときのユーザの快適性を向上させ得る。
【００７５】
ユーザが見ているバーチャルシーンの部分に対応するバーチャルシーンのフレームは、光学ブロック１０４の決定された状態により生じる光学誤差を補正するための歪み補正と、フィルタリングされた輻輳奥行きに基づくフィールドブラーの奥行きとを伴って、電子ディスプレイ１０２上に表示される（４２２）。さらに、可変焦点作動ブロック１０６は、光学ブロック１０４の焦点を変更しており、バーチャルシーンの部分における、ユーザの眼が輻輳された場所に焦点および調節を提供する。様々な実施形態において、プロセス４００は、追加のステップを含み得るか、または、図４に関連して記載された順序とは異なる順序でステップを実行し得る。
【００７６】
様々な実施形態では、可変焦点作動ブロック１０６の動作は、ユーザの視力の特性に少なくとも部分的に基づく。例えば、光学ブロック１０４、可変焦点作動ブロック１０６およびシーンレンダリングモジュール１２０は、シーンがユーザに提示される場合、ユーザの視力の１つ以上の特性を補償する。可変焦点作動ブロック１０６によって補償または別様に考慮され得るユーザの視力の特性の例として、屈折異常（例えば、眼鏡処方）と調節範囲（例えば、老眼、近視、遠視または乱視）が挙げられる。例えば、ユーザが＋１Ｄ球面度数の屈折異常を有する場合、光学ブロック１０４は、ユーザの屈折異常を補正して焦点を維持する状態に構成され、および、ユーザが見ているシーン内の物体の焦点を維持する。さらに、可変焦点作動ブロック１０６およびシーンレンダリングモジュール１２０は、フィールドブラーの奥行きを決定する（４２０）際にユーザの特定の調節範囲（補正を伴う、近くから遠くへの距離）を考慮し得る。例えば、老眼があるユーザは、調節範囲が減少しているので、可変焦点作動ブロック１０６は、限られた数の焦点距離を考慮するかまたは別様にユーザの調節範囲を考慮する、光学ブロック１０４の限定された数の状態を提供し得る。調節範囲と屈折異常は、ユーザによって指定され得るか、または、ユーザがＶＲシステム環境の１つ以上の構成要素からのアクセスを許可したユーザのデジタル医療記録などの、ユーザに関連した情報から取得され得る。あるいは、レンズアセンブリまたは他の構成要素が、ＶＲヘッドセット１００に結合され、眼鏡の代わりにＶＲヘッドセット１００を使用しつつユーザの視力を補正する。レンズアセンブリがＶＲヘッドセット１００に結合されている場合、レンズアセンブリは、光学ブロック１０４の状態間の相関関係および様々な歪み補正を調整するために別個に較正され得る。さらに、可変焦点作動ブロック１０６は、非点収差を補償するためにＶＲヘッドセット１００の円柱レンズ度および軸を調整し、ならびに、ＶＲヘッドセット１００の球面度数を調整し得る。例えば、可変焦点作動ブロック１０６は、回転する２つのシリンドリカルレンズを互いに回転させ、ＶＲヘッドセット１００の円柱レンズ度を調整する。
【００７７】
ＶＲヘッドセット１００によるシーンの表示は、ユーザの眼にシーンを提示する電子ディスプレイ素子１０２からの画像光を向けるＶＲヘッドセット１００に含まれる光学ブロック１０４の光学誤差によってもたらされる歪みを緩和するように修正される。歪み補正は、シーンに予歪み（pre-distort）を与えるようシーンに適用され、光学ブロック１０４により生じる歪みは、修正されたシーンからの光が光学ブロック１０４を通過するとき予歪みを補償する。したがって、ユーザが見ているシーンは歪まない。したがって、歪み補正は、光学ブロック１０４に対する異なる眼の位置または光学ブロック１０４の異なる焦点距離により生じる歪みの、異なるレベルおよびタイプを考慮する。したがって、光学ブロック１０４に対する異なる潜在的な眼の位置に対応し、かつ光学ブロック１０４の潜在的な焦点距離における歪みが、光が光学ブロックを通過した後の電子ディスプレイ素子からの光の波面（すなわち、同位相の点の伝播）を測定することによって決定される。光学ブロック１０４に対する異なる眼の位置および光学ブロック１０４の異なる状態は、光学ブロック１０４を通って導かれる光における異なる程度の光学誤差を生じさせる。この光学誤差は、ＶＲヘッドセット１００に含まれる電子ディスプレイ素子１０２からの光を歪ませ、これは、ユーザへのバーチャルシーンの提示を損ない得る。したがって、歪み補正マップは、光学ブロック１０４の異なる状態について波面の測定値に基づいて生成され、光学ブロック１０４の異なる状態によってもたらされる光学誤差を補正し、これは、光学ブロック１０４により生じる異なる焦点距離を考慮する。
【００７８】
追加構成情報
実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または、開示された正確な形態に特許権を限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。
【００７９】
本明細書で使用される言語は、主として読みやすさおよび説明を目的として選択されており、本発明の主題を線引きまたは画定するように選択されていない可能性がある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ、これに基づいて本願について発行される任意の特許請求の範囲によって限定されるものである。したがって、実施形態の開示は、特許権の範囲を例示することを意図しているが、特許権の範囲を限定するものではない。
【図１】
2019507363.tif 000003
【図２】
2019507363.tif 000004
【図３】
2019507363.tif 000005
【図４】
2019507363.tif 000006
【図５】
2019507363.tif 000007
【図６】
2019507363.tif 000008
【図７Ａ】
2019507363.tif 000009
【図７Ｂ】
2019507363.tif 000010
【図８Ａ】
2019507363.tif 000011
【図８Ｂ】
2019507363.tif 000012
【図９Ａ】
2019507363.tif 000013
【図９Ｂ】
2019507363.tif 000014
【手続補正書】
【提出日】平成30年8月22日(2018.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
バーチャルリアリティ（ＶＲ）ヘッドセットであって、
少なくとも１つのプロセッサと、
前記バーチャルリアリティヘッドセットを装着しているユーザにバーチャルシーンを表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
撮像素子を含むアイトラッキングシステムであって、前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定するように構成された前記アイトラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての輻輳奥行きを決定することを行わせる、前記メモリと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備え、
前記メモリは、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、
前記光学ブロックに固有であり、決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、
前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差と
の異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令をさらに含む、バーチャルリアリティヘッドセット。
【請求項２】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項３】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項４】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項３に記載のバーチャルリアリティヘッドセット。
【請求項５】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムをさらに備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての前記輻輳奥行きを決定することを行わせる前記複数の命令は、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定させ、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成させる、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項６】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項５に記載のバーチャルリアリティヘッドセット。
【請求項７】
バーチャルリアリティヘッドセットであって、
少なくとも１つのプロセッサと、
バーチャルシーンを表示するように構成された電子ディスプレイと、
前記電子ディスプレイから前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
ユーザの各眼についての眼の位置と、前記ユーザの各眼についての注視線と、前記注視線の交点に対応する輻輳奥行きとを決定するように構成されたアイトラッキングシステムと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、
前記光学ブロックに固有であり、決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、
前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差と
の異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令を含むメモリをさらに備えるバーチャルリアリティヘッドセット。
【請求項８】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、を行わせる、前記メモリと、をさらに備える請求項７に記載のバーチャルリアリティヘッドセット。
【請求項９】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項８に記載のバーチャルリアリティヘッドセット。
【請求項１０】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイとの間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項７に記載のバーチャルリアリティヘッドセット。
【請求項１１】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項７に記載のバーチャルリアリティヘッドセット。
【請求項１２】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項１１に記載のバーチャルリアリティヘッドセット。
【請求項１３】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
各眼の決定された眼の位置について、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つを決定することをさらに行わせる前記複数の命令を含み、
前記光学ブロックの各状態は、前記光学ブロックの焦点距離、および、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つに関連し、
各歪み補正マップはさらに、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つによってもたらされる光学誤差について補正する、請求項１２に記載のバーチャルリアリティヘッドセット。
【請求項１４】
方法であって、
バーチャルシーンを提示している電子ディスプレイ素子から光学ブロックを介してバーチャルリアリティヘッドセットの射出瞳に光を向ける前記バーチャルリアリティヘッドセットを介して、ユーザに前記バーチャルシーンを表示すること、
前記バーチャルリアリティヘッドセットに含まれるアイトラッキングシステムによって撮像された前記ユーザの各眼の画像を介して前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定すること、
前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼についての眼の位置とに基づいて前記ユーザについての輻輳奥行きを決定することであって、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、
前記光学ブロックに固有であり、決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、
前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差と
の異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、に少なくとも部分的に基づいて、
前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼についての眼の位置とに基づいて前記ユーザについての輻輳奥行きを決定すること、
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの前記射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を備える方法。
【請求項１５】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることを含む、請求項１４に記載の方法。
【請求項１６】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックに含まれる１つ以上のレンズの形状を変化させることを含む、請求項１５に記載の方法。
【請求項１７】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
前記バーチャルリアリティヘッドセットの位置および向きを決定すること、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、
フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を含む、請求項１５に記載の方法。
【手続補正書】
【提出日】平成31年1月23日(2019.1.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
バーチャルリアリティ（ＶＲ）ヘッドセットであって、
少なくとも１つのプロセッサと、
前記バーチャルリアリティヘッドセットを装着しているユーザにバーチャルシーンを表示するように構成された電子ディスプレイ素子と、
前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
撮像素子を含むアイトラッキングシステムであって、前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定するように構成された前記アイトラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての輻輳奥行きを決定することを行わせる、前記メモリと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備え、
前記メモリは、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、（１）前記光学ブロックに固有であり且つ決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、（２）前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差との異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令をさらに含む、バーチャルリアリティヘッドセット。
【請求項２】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項３】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項４】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項３に記載のバーチャルリアリティヘッドセット。
【請求項５】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムをさらに備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、前記ユーザの各眼についての前記注視線の推定交点に基づいて前記ユーザについての前記輻輳奥行きを決定することを行わせる前記複数の命令は、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定させ、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成させる、請求項１に記載のバーチャルリアリティヘッドセット。
【請求項６】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項５に記載のバーチャルリアリティヘッドセット。
【請求項７】
バーチャルリアリティヘッドセットであって、
少なくとも１つのプロセッサと、
バーチャルシーンを表示するように構成された電子ディスプレイと、
前記電子ディスプレイから前記バーチャルリアリティヘッドセットの射出瞳に光を向けるように構成された光学ブロックと、
ユーザの各眼についての眼の位置と、前記ユーザの各眼についての注視線と、前記注視線の交点に対応する輻輳奥行きとを決定するように構成されたアイトラッキングシステムと、
前記輻輳奥行きに少なくとも部分的に基づいて前記光学ブロックの焦点距離を変化させるように構成された可変焦点作動ブロックと、を備え、
前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、（１）前記光学ブロックに固有であり且つ決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、（２）前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差との異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、を行わせる複数の命令を含むメモリをさらに備えるバーチャルリアリティヘッドセット。
【請求項８】
前記バーチャルリアリティヘッドセットの位置および向きを決定するように構成された１つ以上の位置センサを含むヘッド位置トラッキングシステムと、
複数の命令を含むメモリであって、前記複数の命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、を行わせる、前記メモリと、をさらに備える請求項７に記載のバーチャルリアリティヘッドセット。
【請求項９】
前記可変焦点作動ブロックは、前記フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて、前記光学ブロックの焦点距離を変化させるように構成された、請求項８に記載のバーチャルリアリティヘッドセット。
【請求項１０】
前記可変焦点作動ブロックは、前記光学ブロックと前記電子ディスプレイとの間の距離を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項７に記載のバーチャルリアリティヘッドセット。
【請求項１１】
前記可変焦点作動ブロックは、前記光学ブロックに含まれるレンズの形状または光路長を変化させることにより、前記光学ブロックの焦点距離を変化させるように構成された、請求項７に記載のバーチャルリアリティヘッドセット。
【請求項１２】
前記光学ブロックのレンズの形状または光路長を変化させることは、
形状変化ポリマーレンズ、液体レンズおよびエレクトロウェッティング、アルバレス‐ローマンレンズ、変形可能膜ミラー、液晶（電気活性）レンズ、位相限定空間光変調器（ＳＬＭ）およびそれらの任意の組合せからなる群から選択される少なくとも１つを使用することを含む、請求項１１に記載のバーチャルリアリティヘッドセット。
【請求項１３】
前記メモリは、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、
各眼の決定された眼の位置について、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つを決定することをさらに行わせる前記複数の命令を含み、
前記光学ブロックの各状態は、前記光学ブロックの焦点距離、および、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つに関連し、
各歪み補正マップはさらに、各眼と前記光学ブロックとの間の距離または前記光学ブロックに対する各眼の位置のうちの少なくとも１つによってもたらされる光学誤差について補正する、請求項１２に記載のバーチャルリアリティヘッドセット。
【請求項１４】
方法であって、
バーチャルシーンを提示している電子ディスプレイ素子から光学ブロックを介してバーチャルリアリティヘッドセットの射出瞳に光を向ける前記バーチャルリアリティヘッドセットを介して、ユーザに前記バーチャルシーンを表示すること、
前記バーチャルリアリティヘッドセットに含まれるアイトラッキングシステムによって撮像された前記ユーザの各眼の画像を介して前記ユーザの各眼についての眼の位置と前記ユーザの各眼についての注視線とを決定すること、
前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼についての眼の位置とに基づく前記ユーザについての輻輳奥行きを決定することであって、
前記バーチャルシーンのフレームについて、前記光学ブロックの状態を決定することであって、前記光学ブロックの状態は、決定された輻輳奥行きに対する焦点距離と、前記光学ブロックに対する前記ユーザの眼の決定された眼の位置との組み合わせに対応し、前記光学ブロックの各状態は、複数の歪み補正マップのうちの１つの歪み補正マップに関連付けられ、各歪み補正マップは、（１）前記光学ブロックに固有であり且つ決定された輻輳奥行きに対する焦点距離に関連付けられた第１の光学誤差と、（２）前記光学ブロックに対する前記ユーザの眼の決定された眼の位置に関連付けられた第２の光学的誤差との異なる組合せについて補正する、前記光学ブロックの状態を決定すること、
前記フレームについて、前記光学ブロックの状態に基づいて、前記バーチャルシーンのフレームについて前記歪み補正マップを決定すること、
前記フレームについての前記光学ブロックの決定された状態によってもたらされる光学誤差について補正するために、前記バーチャルシーンのフレームについて前記歪み補正マップの対象となる前記電子ディスプレイ素子上の前記バーチャルシーンのフレームを表示すること、
に基づいて、前記ユーザの各眼についての前記注視線の推定交点と前記ユーザの各眼についての眼の位置とに基づく前記ユーザについての輻輳奥行きを決定すること、
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの前記射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を備える方法。
【請求項１５】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックと前記電子ディスプレイ素子との間の距離を変化させることを含む、請求項１４に記載の方法。
【請求項１６】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
決定された輻輳奥行きを調節するよう前記光学ブロックに含まれる１つ以上のレンズの形状を変化させることを含む、請求項１５に記載の方法。
【請求項１７】
前記ユーザについての決定された輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整することは、
前記バーチャルリアリティヘッドセットの位置および向きを決定すること、
前記バーチャルリアリティヘッドセットの位置および向きに基づいて、前記ユーザが見ている前記バーチャルシーンの一部分を決定すること、
前記ユーザが見ている前記バーチャルシーンの一部分における複数の距離を特定するシーンジオメトリデータに対する前記輻輳奥行きの比較に基づいて、フィルタリングされた輻輳奥行きを生成すること、
フィルタリングされた輻輳奥行きに少なくとも部分的に基づいて前記電子ディスプレイ素子から前記バーチャルリアリティヘッドセットの射出瞳に光を向ける前記光学ブロックの焦点距離を調整すること、を含む、請求項１５に記載の方法。
【国際調査報告】
2019507363.tif 000015
2019507363.tif 000016
2019507363.tif 000017