(57)【要約】仮想現実装置は仮想現実表示スクリーンを含む。更に、仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、仮想現実装置はプロセッサを含む。仮想現実装置は、プロセッサによって実行される場合に、仮想現実装置に、仮想現実表示によって表示されている仮想現実イメージの輝度に基づき１つ以上の目の１つ以上の瞳孔寸法を推定させる命令の組を有するメモリを更に含む。仮想現実装置は、更に、推定された１つ以上の瞳孔寸法に基づき焦点面を決定させられる。
2019510991.tif 000002
【特許請求の範囲】
【請求項１】
仮想現実装置（１０２）であって、
仮想現実表示スクリーン（２０３）と、
仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システム（２０４）と、
プロセッサ（４０１）と、
命令の組を有するメモリ（４０３）と
を有し、
前記命令の組は、前記プロセッサ（４０１）によって実行される場合に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させ、
前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定させ、
前記焦点面（２０６）に基づき合成被写界深度を生成させ、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させる、
仮想現実装置（１０２）。
【請求項２】
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、
請求項１に記載の仮想現実装置（１０２）。
【請求項３】
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除かせる、
請求項１に記載の仮想現実装置（１０２）。
【請求項４】
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
請求項１に記載の仮想現実装置（１０２）。
【請求項５】
前記視標追跡システム（２０４）は、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡する、
請求項１に記載の仮想現実装置（１０２）。
【請求項６】
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
請求項１に記載の仮想現実装置（１０２）。
【請求項７】
当該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを更に有する
請求項１に記載の仮想現実装置（１０２）。
【請求項８】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
請求項１に記載の仮想現実装置（１０２）。
【請求項９】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
請求項１に記載の仮想現実装置（１０２）。
【請求項１０】
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージのパノラマビューを供給させる、
請求項１に記載の仮想現実装置（１０２）。
【請求項１１】
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法。
【請求項１２】
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
請求項１１に記載の方法。
【請求項１３】
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
請求項１１に記載の方法。
【請求項１４】
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
請求項１１に記載の方法。
【請求項１５】
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
請求項１１に記載の方法。
【請求項１６】
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
請求項１１に記載の方法。
【請求項１７】
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
請求項１１に記載の方法。
【請求項１８】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
請求項１１に記載の方法。
【請求項１９】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
請求項１１に記載の方法。
【請求項２０】
前記仮想現実イメージのパノラマビューを供給することを更に有する
請求項１１に記載の方法。
【請求項２１】
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体。
【請求項２２】
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２３】
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２４】
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２５】
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２６】
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２７】
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２８】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項２９】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
請求項２１に記載の非一時的なコンピュータ可読媒体。
【請求項３０】
前記仮想現実イメージのパノラマビューを供給することを更に有する
請求項２１に記載の非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、コンピューティング・システムの分野に概して関係がある。より具体的には、本開示は仮想現実システムに関係がある。
【背景技術】
【０００２】
仮想現実（“ＶＲ”）（virtual  reality）システムは、現実世界環境におけるユーザの現実の所在をシミュレートする。シミュレーションは、様々な感覚的経験、例えば、視界、音響、触覚、におい、などをユーザに与えることによって、人工的に生成される。
【０００３】
いくつかの現在のＶＲシステムは、立体表示デバイスを介して実施されている。立体表示デバイスは、立体視、すなわち、第１の画像をユーザの第１の目に、第２の画像をユーザの第２の目に提示して、２Ｄ画像から３Ｄ画像を人工的に生成すること、を介して、画像における奥行きの錯覚を提供する。
【０００４】
ＶＲメガネは、立体視を利用するＶＲシステムの一例である。例えば、ＶＲメガネは、ユーザの両目の直接的な周辺視野をカバーするヘッドマウント型表示スクリーンを通常は含む。ＶＲメガネは、同じ３Ｄシーンの２つの画像を表示する。次いで、それら２つの画像は、３Ｄシーンを現実的な方法でレンダリングする対応する量のパララックスを伴ってコンピュータ・グラフィクス・システムによって合成される。パララックスは、２つの異なる視線（lines  of  sight）から見られるオブジェクトの知覚されたポジションの差である。３Ｄシーンの現実的なレンダリングは、通常、近くのオブジェクトについてはより大きいパララックスを、遠くのオブジェクトについてはより小さいパララックスを有している。いくつかのＶＲシステムはまた、ＶＲメガネによる表示のために画像を捕捉するよう立体画像捕捉リグを利用することがある。立体画像捕捉リグは、ＶＲシステムを利用するビューアーが、ＶＲシステムによって供給される仮想環境において異なるオブジェクトを見回すよう、ＶＲシステムを利用するときに頭を回転することができるように、３６０°パノラマとして画像を捕捉する。
【発明の概要】
【０００５】
仮想現実装置は仮想現実表示スクリーンを含む。更に、当該仮想現実装置は、仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システムを含む。その上、当該仮想現実装置はプロセッサを含む。当該仮想現実装置は、前記プロセッサによって実行される場合に、当該仮想現実装置に、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させる命令の組を有するメモリを更に含む。当該仮想現実装置は、更に、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定させられる。更に、当該仮想現実装置は、前記焦点面に基づき合成被写界深度を生成させられる。その上、当該仮想現実装置は、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させられる。
【０００６】
更に、プロセスは、視標追跡システムにより、仮想現実装置の仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する。その上、当該プロセスは、プロセッサにより、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定する。当該プロセスはまた、前記プロセッサにより、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定する。更に、当該プロセスは、前記プロセッサにより、前記焦点面に基づき合成被写界深度を生成する。その上、当該プロセスは、前記プロセッサにより、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用する。
【図面の簡単な説明】
【０００７】
本開示の上記の特徴は、添付の図面と関連して検討される以下の記載を参照して、より明らかになるだろう。図面において、同じ参照符号は、同じ要素を表す。
【０００８】
【図１】ユーザがＶＲ環境を見るようヘッドマウント型ＶＲデバイスを利用するＶＲ構成を表す。
【０００９】
【図２】図１に表されているユーザによって見られるヘッドマウント型ＶＲデバイスの内部コンポーネントの上面図を表す。
【００１０】
【図３】異なる焦点面及び対応する被写界深度（“ＤｏＦ”）（depth  of  field）を有しているヘッドマウント型ＶＲデバイスの内部コンポーネントの上面図を表す。
【００１１】
【図４】図２及び図３に表されている適応焦点面システムの内部コンポーネントを表す。
【００１２】
【図５】輝度に基づき正面点を適応させるよう適応焦点面システムによって利用されるプロセスを表す。
【発明を実施するための形態】
【００１３】
適応焦点面を有してＶＲをレンダリングするための構成が提供される。従前のＶＲシステムは、３Ｄ世界ジオメトリがコンピュータ・グラフィクス・パイプラインを用いて輝かされレンダリングされた合成３Ｄシーンとの関連でパララックスを生成することができたが、そのようなＶＲシステムは、通常、全てのオブジェクトを焦点が合って表示した。換言すれば、全ての仮想オブジェクトは、ユーザが焦点を合わせられているオブジェクトの前景及び背景において焦点が合ったままであった。そのような環境は、ヒトの視覚系がパララックスに加えて焦点面に依存するということで、非現実的な見掛けを有している。換言すれば、現実的な環境は、ユーザに明らかに見える特定の奥行きでの焦点面においてオブジェクトを有し、一方で、前景又は背景にある面におけるオブジェクトは、一定量のブラーを有している。
【００１４】
様々なシステムは、ユーザの目を追跡し瞳孔拡張を測定して、明らかに表示すべき注目のオブジェクト及びブラーを適用すべき他のオブジェクトを決定することによって、仮想環境の部分にブラーを適用するよう試みてきたが、そのようなシステムは、通常、複雑な画像処理を利用する。例えば、そのようなシステムは、大きい瞳孔拡張の結果起こる低ＤｏＦをシミュレートするように更なるブラーを適用するよう瞳が拡張されるかどうか、すなわち、奥行きがはっきりと焦点が合っているように焦点が合っているオブジェクトの前及び後ろの奥行きを決定するよう、あるいは、小さい瞳孔拡張の高ＤｏＦをシミュレートするようにより少ないブラーを適用するよう瞳が収縮されるかどうかを決定するよう、瞳の画像を解析する。換言すれば、ＤｏＦは、焦点が合って見えるべきシーン内の最も近いオブジェクトから最も遠いオブジェクトまでの間の距離を測り、一方で、その距離の外にあるオブジェクトは、一定量のブラーを有するべきである。対照的に、適応焦点面を有してＶＲをレンダリングするための構成は、仮想シーンの輝度に基づきユーザの瞳の直径を推定する。結果として、ＶＲシステムの計算効率、例えば、処理スピードは、瞳孔直径推定が瞳孔拡張の画像処理よりも効率的であるということで、改善される。更に、適応焦点面を有してＶＲをレンダリングするための構成は、複雑な画像解析のための装置が、従来のＶＲシステムと対照的に、適応焦点面を有してＶＲをレンダリングするための構成には不要であるということで、従来のＶＲシステムのコストを削減する。
【００１５】
適応焦点面を有してＶＲをレンダリングするための構成はまた、従来のＶＲシステムよりも正確である。例えば、実際の屋外シーンにおけるユーザの瞳は、シーン内の全てのオブジェクトの焦点が合っているように、収縮されうる。ＶＲ環境において同様のシーンを見るときに、ユーザは表示輝度を下げることがある。これは、現実世界のシーンの輝度に相応しない瞳孔拡張を生じさせる可能性がある。従来のＶＲシステムは、たとえユーザが仮想環境において明るく輝かされたシーンを見ていたとしても、測定された瞳孔拡張に基づき、前景及び背景のオブジェクトにブラーを適用した。換言すれば、ユーザは、仮想シーン内の全てのオブジェクトを焦点が合って見えると期待していたかもしれないが、従来のＶＲシステムが測定された瞳孔拡張をブラー適用のために利用した結果として、特定の前景及び背景のオブジェクトに関してブラーを見ることがある。対照的に、適応焦点面を有してＶＲをレンダリングするための構成は、シーンの輝度がブラー適用のための基準として利用されるので、ブラー適用のために更なる正確さを与えることによって従来のＶＲシステムを改良する。例えば、適応焦点面を有してＶＲをレンダリングするための構成は、ユーザが表示輝度を低減させた太陽に照らされたＶＲシーンに等しくブラーを適用しない。これは、太陽に照らされたＶＲシーンがユーザによって変更されていないからである。
【００１６】
図１は、ユーザ１０１がＶＲ環境を見るためにヘッドマウント型ＶＲデバイス１０２を利用するＶＲ構成１００を表す。ユーザ１０１は、ヘッドマウント型ＶＲデバイス１０２内に位置付けられた、図２に表されているＶＲ表示スクリーン２０３を見る。様々な実施形態で、ＶＲ環境は、現実世界イメージの捕捉された立体画像を有している。立体画像は、合成イメージとしてＶＲ環境においてレンダリングされる。ユーザ１０１は、様々なモダリティ、例えば、頭部旋回、ヘッドマウント型ＶＲデバイスに位置付けられたマイクロホンにボイス入力を供給すること、ヘッドマウント型ＶＲデバイス１０２に位置付けられたアクチュエータにタッチ入力を供給すること、ヘッドマウント型ＶＲデバイス１０２の近くに位置するアクチュエータにタッチ入力を供給すること、などを介して、ＶＲ環境をナビゲートし得る。様々な頭部取付デバイス、例えば、ストラップ構成が、ユーザ１０１の頭へのＶＲデバイス１０２の頭部取り付けを達成するために利用されてよい。ＶＲ構成１００は、ヘッドマウント型ＶＲデバイス１０２を利用するものとして表されているが、ＶＲシステムの様々な他の実施形態は、ユーザから離れて位置付けられて、ＶＲ表示スクリーンに対するユーザの追跡された頭部の動きに基づきＶＲ環境を変更するＶＲ表示スクリーンを含む。従って、ＶＲ構成１００は、特定のＶＲシステムに制限されない。
【００１７】
図２は、図１で表されているユーザ１０１によって見られるヘッドマウント型ＶＲデバイス１０２の内部コンポーネントの上面図を表す。ユーザ１０１は、ＶＲ環境における様々なオブジェクト２０７〜２１１を知覚するよう表示スクリーン２０３を見る。例えば、ユーザ１０１の左眼２０１及び右眼２０２は、注目のオブジェクト２０７をじっと見る。視標追跡システム２０４（例えば、１つ以上の画像捕捉デバイス）は、注目のオブジェクト２０７を決定するよう目２０１及び２０２の注視を捕捉する。視標追跡システム２０４は、捕捉された視標追跡データを適応焦点面システム２０５へ供給する。
【００１８】
様々な実施形態において、視標追跡システム２０４は、目２０１及び２０２の夫々についてカメラ座標系（例えば、ｘ座標及びｙ座標）を有してよい。世界ジオメトリは、目２０１及び２０２の夫々が世界ジオメトリの原点にあると見なされるように、目２０１及び２０２の夫々についてのカメラ座標系に従って表され得る。視標追跡システム２０４は、ＶＲ表示スクリーン２０３における（ｘ，ｙ）ピクセル座標に関して目２０１及び２０２の夫々のビュー方向を推定する。
【００１９】
適応焦点面システム２０５は、目２０１及び２０２についての焦点面２０６を推定するよう、捕捉された視標追跡データのビュー方向を利用する。様々な実施形態において、適応焦点面システム２０５は、目２０１及び２０２が注目のオブジェクト２０７の同じ点をじっと見ているということに基づいて、焦点面２０６を単一の焦点面２０６として推定する。様々な他の実施形態において、適応焦点面システム２０５は、目２０１及び２０２がＶＲ環境におけるオブジェクトの異なる点又は異なるオブジェクトをじっと見ているということに基づいて、目２０１及び２０２の夫々についての異なる焦点面を推定する。
【００２０】
適応焦点面システム２０５は、次いで、ＶＲ表示スクリーン２０３の輝度に基づき目２０１及び２０２の瞳孔拡張を推定する。例えば、適応焦点面システム２０５は、ＶＲ表示スクリーン２０３が低輝度を有しているイメージを出す場合には、目２０１及び２０２の大きい瞳孔拡張を推定し得る。そのような瞳孔収縮は、最小限の明暗を有している現実世界のシーンの瞳孔拡張と相互に関連がある。他の例として、適応焦点面システム２０５は、ＶＲ表示スクリーン２０３が高い輝度を有しているイメージを出す場合には、目２０１及び２０２の小さい瞳孔拡張を発生させ得る。そのような瞳孔拡張は、瞳孔拡張が現実世界のシーンにおけるオブジェクトを知覚するには不要であるように、最適な明暗又はほぼ最適な明暗を有しているその現実世界のシーンの瞳孔収縮と相互に関連がある。
【００２１】
適応焦点面システム２０５は、推定された焦点面２０６に基づき合成ＤｏＦを生成する。適応焦点面システム２０５は、合成ＤｏＦ内のオブジェクトのピクセルが明りょうであることを可能にする、又はそのように変更し、一方、適応焦点面システム２０５は、ブラーが未だ適用されていない場合には、合成ＤｏＦの外にあるオブジェクトにブラーを適用する。例えば、注目のオブジェクト２０７がユーザ１０１によって明らかに見られて知覚されるよう意図される場合に、注目のオブジェクト２０７のピクセルは変更されないか、あるいは、適応焦点面システム２０５によって、如何なるブラーも除去するよう変更される。その上、合成ＤｏＦ内の前景オブジェクト及び／又は背景オブジェクトも、ユーザ１０１によって明らかに見られて知覚されるよう意図される。従って、適応焦点面システム２０５は、そのようなオブジェクトのピクセルが如何なるブラーもなしで見られることを可能にするか、又はそのように変更する。
【００２２】
図２に表されているＤｏＦの例は、ＶＲ表示スクリーン２０３によって発せられた低輝度に基づく大きな瞳孔拡張の推定から生じる低いＤｏＦである。例えば、ＤｏＦは、ＶＲ表示スクリーン２０３の全体に満たない最短距離だけ注目のオブジェクト２０７から前及び後ろに延在するものとして表される。結果として、適応焦点面システム２０５は、ＤｏＦ内に存在している前景オブジェクト２０９及び背景オブジェクト２０８にブラーを適用せず、ＤｏＦの外にある前景オブジェクト２１０及び背景オブジェクト２１１にブラーを適用する。
【００２３】
様々な実施形態において、輝度は、ＶＲ表示スクリーン２０３によって表示されるＶＲ環境が合成イメージであることから、予め決定されている。換言すれば、特定のシーンの輝度は、たとえユーザが明るさのような様々な入力を調整するとしても、変化しない。例えば、輝度シーン値は、適応焦点面システム２０５へ、例えば、ストリーミング、ダウンロード、などを介して供給されるビデオフレーム内に符号化されてよい。それにより、適応焦点面システム２０５は、特定のシーンに関連した所定の輝度を決定する。様々な実施形態において、適応焦点面システム２０５は、特定のＶＲシーンに関連するＶＲ表示スクリーン２０３によって表示されるコードを解析すること、ＶＲ表示スクリーン２０３から受信されるメタデータを解析すること、特定の画像に関連すると予め決定されるシーンを決定するよう画像解析を行うこと、などによって、特定のシーンを決定してよい。
【００２４】
ブラーデータは、適応焦点面システム２０５によって決定される。適応焦点面システム２０５は、そのようなデータを、レンダリングのために、ＶＲ表示スクリーン２０３へ送ってよい。換言すれば、適応焦点面システム２０５は、合成ＤｏＦの外にある特定のオブジェクト又はオブジェクトの部分にブラー効果をかけるよう表示データを変更してよい。ＶＲ表示スクリーン２０３は、次いで、変更されたデータをレンダリングしてよい。
【００２５】
適応焦点面システム２０５は単一のシステムとして表されているが、様々な実施形態において、複数のシステムが、適応焦点面システム２０５の機能性を実行するために利用されてよい。例えば、第１のシステムは、輝度に基づき瞳孔寸法を推定してよく、第２のシステムは、瞳孔寸法の推定に基づき焦点面を決定するか又は既存の焦点面を適応させてよく、第３のシステムは、焦点面に基づき合成ＤｏＦを生成してよく、第４のシステムは、合成ＤｏＦに基づきブラー適用を実行してよい。異なる機能性を実行するために利用されるシステムの数は他にもいくつであってもよい。
【００２６】
適応焦点面システム２０５は、様々な瞳孔サイズ推定に焦点面を適応させる。図３は、異なる焦点面３０１及び対応するＤｏＦを有しているヘッドマウント型ＶＲデバイス１０２の内部コンポーネントの上面図を表す。一例として、図３の適応焦点面システム２０５は、目２０１及び２０２の小さい瞳孔拡張、すなわち、ＶＲ表示スクリーン２０３から発せられた最適な又はほぼ最適な輝度から生じる瞳孔収縮を推定する。結果として、適応焦点面システム２０５は、全てのオブジェクト２０７〜２１１がＶＲ表示スクリーン２０３によって明りょうにレンダリングされるような高いＤｏＦを計算する。
【００２７】
図４は、図２及び図３で表されている適応焦点面システム２０５の内部コンポーネントを表す。適応焦点面システム２０５は、プロセッサ４０１と、様々な入出力（Ｉ／Ｏ）デバイス４０２、例えば、オーディオ／ビデオ出力及びオーディオ／ビデオ入力、テープ・ドライブ、フロッピー（登録商標）・ドライブ、ハードディスク・ドライブ若しくはコンパクトディスク・ドライブを含むがそれらに限られない記憶デバイス、受信器、送信器、スピーカ、ディスプレイ、画像捕捉センサ、例えば、デジタル静止カメラ若しくはデジタルビデオカメラで使用されるもの、クロック、出力ポート、ユーザ入力デバイス、例えば、キーボード、キーパッド、マウス、及び同様のもの、又は発話コマンドを捕捉するマイクロホンと、メモリ４０３、例えば、ランダム・アクセス・メモリ（“ＲＡＭ”）（random  access  memory）及び／又はリード・オンリー・メモリ（“ＲＯＭ”）（read  only  memory）と、データ記憶デバイス４０４と、合成ＤｏＦ生成コード４０５とを有する。
【００２８】
プロセッサ４０１は、具体的に、ＶＲシーンのどの部分がブラー効果をかけられるか又はかけられないかを決定するために利用される合成ＤｏＦを生成するように合成ＤｏＦ生成コード４０５を実行するよう構成される。瞳孔拡張を決定するために計算負荷の重い画像処理を利用した従来のコンピューティング・システムと対照的に、プロセッサ４０１は、輝度に基づく瞳孔拡張のより計算効率の良い推定を利用する。従って、プロセッサ４０１は、現実的なＶＲ景観をレンダリングするようブラー適用の処理スピードを改善することによって、コンピュータの機能を改善する。
【００２９】
更に、プロセッサ４０１は、画像処理を介して瞳孔拡張を決定することによるよりも正確な合成ＤｏＦを生成するよう輝度値を利用することによって、コンピュータの精度を改善する。換言すれば、プロセッサ４０１は、どのような瞳孔拡張が、ユーザ１０１によって調整されているかもしれず且つ瞳孔拡張に対して影響を有している可能性がある特定の明るさレベルよりもむしろ、所定の同姓イメージの特定の輝度値に基づくべきであるかを決定する。よって、合成イメージの輝度の使用は、明るさ調整のような他の制約によって影響を及ぼされる可能性がある瞳孔拡張と比べて、合成ＤｏＦを生成するためのより正確な決定因子である。
【００３０】
図５は、輝度に基づき焦点面を適応させるよう適応焦点面システム２０５によって利用されるプロセス５００を表す。処理ブロック５０１で、プロセス５００は、視標追跡システム２０４により、仮想現実装置１０２の仮想現実表示２０３において注目のオブジェクト２０７を決定するようユーザ１０１の１つ以上の目２０１及び２０２の注視方向を追跡する。その上、処理ブロック５０２で、プロセス５００は、プロセッサ４０１により、仮想現実表示２０３によって表示されている仮想現実イメージの輝度に基づき、１つ以上の目２０１及び２０２の１つ以上の瞳孔寸法を推定する。処理ブロック５０３で、プロセス５００はまた、プロセッサ４０１により、推定された１つ以上の瞳孔寸法に基づき焦点面２０６を決定する。更に、処理ブロック５０４で、プロセス５００は、プロセッサ４０１により、焦点面２０６に基づき合成ＤｏＦを生成する。その上、処理ブロック５０５で、プロセス５００は、プロセッサ４０１により、仮想現実表示２０３の１つ以上のピクセルが合成被写界深度の外にあることに基づき、それらの１つ以上のピクセルにブラー効果を適用する。
【００３１】
本願で記載されるプロセスは、図４に表されているプロセッサ４０１によって実装されてよい。そのようなプロセッサは、プロセスを実行するよう、コンパイルされたアセンブリ又はマシンレベルのいずれかで、命令を実行する。それらの命令は、プロセスに対応する図の記載に従って当業者によって記述され、そして、コンピュータ可読記憶デバイスのようなコンピュータ可読媒体において記憶又は送信され得る。命令はまた、ソースコード又は何らかの他の既知のコンピュータ支援設計ツールを用いて作成されてよい。コンピュータ可読媒体は、それらの命令を運ぶことが可能な如何なる媒体であってもよく、ＣＤ−ＲＯＭ、ＤＶＤ、磁気又は他の光ディスク、テープ、シリコン・メモリ、例えば、ローカルで若しくは遠隔でネットワークを通じた有線若しくは無線伝送によるリムーバブル、非リムーバブル、揮発性若しくは不揮発性、パケット化された若しくはパケット化されていないデータを含む。コンピュータは、本願では、上述されたような一般的な多目的又は単一目的のプロセッサを有している如何なるデバイスも含むよう意図される。
【００３２】
本願で記載される構成は、ＶＲシステムを対象としているが、そのような構成は、拡張現実（“ＡＲ”）（augmented  reality）システムとの関連でも利用されてよい。ＡＲシステムは、通常、表示システム、例えば、メガネのような、現実世界のイメージの上に仮想イメージをオーバーレイするヘッドマウント型システムを利用する。結果として、ユーザは、仮想イメージがオーバーレイされた現実世界の景観を見ることができる。本願のために提供された構成は、仮想イメージがより現実的に見えるように、仮想イメージの輝度値から生成された瞳孔拡張推定に基づきその仮想イメージの焦点面を調整するために利用されてよい。
【００３３】
“及び／又は（and/or）”及び“〜のうちの少なくとも１つ（at  least  one  of）”の使用（例えば、“Ａ及び／又はＢ”及び“Ａ及びＢのうちの少なくとも１つ”の場合）は、最初に挙げられているオプション（Ａ）のみの選択、又は２番目に挙げられているオプション（Ｂ）のみの選択、又は両方のオプション（Ａ及びＢ）の選択を包含するよう意図される。更なる例として、“Ａ、Ｂ、及び／又はＣ”及び“Ａ、Ｂ、及びＣのうちの少なくとも１つ”の場合に、そのような言い回しは、最初に挙げられているオプション（Ａ）のみの選択、又は２番目に挙げられているオプション（Ｂ）のみの選択、又は３番目に挙げられているオプション（Ｃ）のみの選択、又は最初と２番目に挙げられているオプション（Ａ及びＢ）のみの選択、又は最初と３番目に挙げられているオプション（Ａ及びＣ）のみの選択、又は２番目と３番目に挙げられているオプション（Ｂ及びＣ）のみの選択、又は３つ全てのオプション（Ａ及びＢ及びＣ）の選択を包含するよう意図される。これは、挙げられているアイテムの数だけ拡張され得る。
【００３４】
本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品は、他のタイプのプロセス、システム、装置、及びコンピュータ・プログラム製品においても適用されてよいことが理解される。当業者に明らかなように、本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品の実施形態の様々な適応及び変更は、目下のプロセス及びシステムの適用範囲及び精神から外れることなしに構成されてよい。従って、添付の特許請求の範囲の適用範囲の中で、目下のプロセス、システム、装置、及びコンピュータ・プログラム製品は、本願で具体的に記載されている以外にも実施されてよいことが理解されるべきである。
【図１】
2019510991.tif 000003
【図２】
2019510991.tif 000004
【図３】
2019510991.tif 000005
【図４】
2019510991.tif 000006
【図５】
2019510991.tif 000007
【手続補正書】
【提出日】平成30年7月3日(2018.7.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
仮想現実装置であって、
仮想現実表示スクリーンと、
仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システムと、
プロセッサと、
命令の組を有するメモリと
を有し、
前記命令の組は、前記プロセッサによって実行される場合に、当該仮想現実装置に、
前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させ、
前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定させ、
前記焦点面に基づき合成被写界深度を生成させ、
前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させる、
仮想現実装置。
【請求項２】
前記プロセッサは、更に、当該仮想現実装置に、
前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、
請求項１に記載の仮想現実装置。
【請求項３】
前記プロセッサは、更に、当該仮想現実装置に、
前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除かせる、
請求項１に記載の仮想現実装置。
【請求項４】
前記視標追跡システムは、１つ以上の画像捕捉デバイスを有する、
請求項１に記載の仮想現実装置。
【請求項５】
当該仮想現実装置をユーザの頭部に取り付ける取付デバイスを更に有する
請求項１に記載の仮想現実装置。
【請求項６】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクトの前にある前景オブジェクトに対応する、
請求項１に記載の仮想現実装置。
【請求項７】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクトの後ろにある背景オブジェクトに対応する、
請求項１に記載の仮想現実装置。
【請求項８】
視標追跡システムにより、仮想現実装置の仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサにより、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサにより、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定することと、
前記プロセッサにより、前記焦点面に基づき合成被写界深度を生成することと、
前記プロセッサにより、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法。
【請求項９】
前記プロセッサにより、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
請求項８に記載の方法。
【請求項１０】
前記プロセッサにより、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
請求項８に記載の方法。
【請求項１１】
前記視標追跡システムは、１つ以上の画像捕捉デバイスを有する、
請求項８に記載の方法。
【請求項１２】
前記仮想現実装置は、該仮想現実装置をユーザの頭部に取り付ける取付デバイスを有する、
請求項８に記載の方法。
【請求項１３】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクトの前にある前景オブジェクトに対応する、
請求項８に記載の方法。
【請求項１４】
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクトの後ろにある背景オブジェクトに対応する、
請求項８に記載の方法。
【請求項１５】
視標追跡システムにより、仮想現実装置の仮想現実表示において注目のオブジェクトを決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサにより、前記仮想現実表示によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサにより、前記推定された１つ以上の瞳孔寸法に基づき焦点面を決定することと、
前記プロセッサにより、前記焦点面に基づき合成被写界深度を生成することと、
前記プロセッサにより、前記仮想現実表示の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品は、他のタイプのプロセス、システム、装置、及びコンピュータ・プログラム製品においても適用されてよいことが理解される。当業者に明らかなように、本願で記載されているプロセス、システム、装置、及びコンピュータ・プログラム製品の実施形態の様々な適応及び変更は、目下のプロセス及びシステムの適用範囲及び精神から外れることなしに構成されてよい。従って、添付の特許請求の範囲の適用範囲の中で、目下のプロセス、システム、装置、及びコンピュータ・プログラム製品は、本願で具体的に記載されている以外にも実施されてよいことが理解されるべきである。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
仮想現実装置（１０２）であって、
仮想現実表示スクリーン（２０３）と、
仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡する視標追跡システム（２０４）と、
プロセッサ（４０１）と、
命令の組を有するメモリ（４０３）と
を有し、
前記命令の組は、前記プロセッサ（４０１）によって実行される場合に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定させ、
前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定させ、
前記焦点面（２０６）に基づき合成被写界深度を生成させ、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用させる、
仮想現実装置（１０２）。
（付記２）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定させる、
付記１に記載の仮想現実装置（１０２）。
（付記３）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除かせる、
付記１に記載の仮想現実装置（１０２）。
（付記４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記１に記載の仮想現実装置（１０２）。
（付記５）
前記視標追跡システム（２０４）は、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡する、
付記１に記載の仮想現実装置（１０２）。
（付記６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記１に記載の仮想現実装置（１０２）。
（付記７）
当該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを更に有する
付記１に記載の仮想現実装置（１０２）。
（付記８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記１に記載の仮想現実装置（１０２）。
（付記９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記１に記載の仮想現実装置（１０２）。
（付記１０）
前記プロセッサ（４０１）は、更に、当該仮想現実装置（１０２）に、
前記仮想現実イメージのパノラマビューを供給させる、
付記１に記載の仮想現実装置（１０２）。
（付記１１）
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法。
（付記１２）
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
付記１１に記載の方法。
（付記１３）
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
付記１１に記載の方法。
（付記１４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記１１に記載の方法。
（付記１５）
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
付記１１に記載の方法。
（付記１６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記１１に記載の方法。
（付記１７）
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
付記１１に記載の方法。
（付記１８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記１１に記載の方法。
（付記１９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記１１に記載の方法。
（付記２０）
前記仮想現実イメージのパノラマビューを供給することを更に有する
付記１１に記載の方法。
（付記２１）
視標追跡システム（２０４）により、仮想現実装置（１０２）の仮想現実表示（２０３）において注目のオブジェクト（２０７）を決定するようユーザの１つ以上の目の注視方向を追跡することと、
プロセッサ（４０１）により、前記仮想現実表示（２０３）によって表示されている仮想現実イメージの輝度に基づき前記１つ以上の目の１つ以上の瞳孔寸法を推定することと、
前記プロセッサ（４０１）により、前記推定された１つ以上の瞳孔寸法に基づき焦点面（２０６）を決定することと、
前記プロセッサ（４０１）により、前記焦点面（２０６）に基づき合成被写界深度を生成することと、
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の外にあることに基づき該１つ以上のピクセルにブラー効果を適用することと
を有する方法を実施するためのコンピュータ実行可能プログラム命令を記憶している非一時的なコンピュータ可読媒体。
（付記２２）
前記プロセッサ（４０１）により、前記仮想現実イメージに関連するフレームデータを解析することによって該仮想現実イメージの輝度を決定することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２３）
前記プロセッサ（４０１）により、前記仮想現実表示（２０３）の１つ以上のピクセルが前記合成被写界深度の中にあることに基づき該１つ以上のピクセルから前のブラー効果を取り除くことを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２４）
前記視標追跡システム（２０４）は、１つ以上の画像捕捉デバイスを有する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２５）
前記視標追跡システム（２０４）により、前記仮想現実表示（２０３）においてピクセル座標により前記注視方向を追跡することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２６）
前記仮想現実イメージは、現実世界の景色の捕捉された立体イメージである、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２７）
前記仮想現実装置（１０２）は、該仮想現実装置（１０２）をユーザの頭部に取り付ける取付デバイスを有する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２８）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の前にある前景オブジェクト（２１０）に対応する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記２９）
前記合成被写界深度の外にある１つ以上のピクセルは、前記合成被写界深度の外にあり且つ注目のオブジェクト（２０７）の後ろにある背景オブジェクト（２１１）に対応する、
付記２１に記載の非一時的なコンピュータ可読媒体。
（付記３０）
前記仮想現実イメージのパノラマビューを供給することを更に有する
付記２１に記載の非一時的なコンピュータ可読媒体。
【国際調査報告】
2019510991.tif 000008
2019510991.tif 000009
2019510991.tif 000010