(57)【要約】  記載されたシステムおよび方法は、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、表示画像を生成し、可変の計算量を用いて、画素の位置に基づいて、表示画像の複数の画素を生成することを備える。表示画像の生成は、第１ブレンド技術を用いて、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群の各画素を決定することと、第１ブレンド技術とは異なる第２ブレンド技術を用いて、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群の各画素を決定することとを備え、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
2018537748.tif 000002
【特許請求の範囲】
【請求項１】
ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するためのコンピュータで実行される方法であって、前記方法は、
複数のカメラから複数の画像を収集するステップと、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを備え、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、当該生成するステップは、
第１計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定するステップと、
第１計算量よりも低い第２計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定するステップとを含み、前記方法は、
前記表示画像を前記ディスプレイに表示するステップを備える、コンピュータで実行される方法。
【請求項２】
前記第１計算量および前記第２計算量は、
前記表示画像の少なくとも一部の画素を決定するために使用される複数のブレンド技術から１つのブレンド技術を選択することと、
前記表示画像の少なくとも一部の画素を決定するために使用される前記複数の収集された画像の解像度を調整することと、
前記表示画像の少なくとも一部の画素を決定するために使用される前記複数の収集された画像の数を調整することとのうちの１つ以上に基づいて、決定または変更され得る、請求項１に記載のコンピュータで実行される方法。
【請求項３】
前記中央画素部を決定するステップは、第１ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することを備え、
前記外側画素部を決定するステップは、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することを備える、請求項１および２のいずれか１項に記載のコンピュータで実行される方法。
【請求項４】
前記第１ブレンド技術は、前記複数の収集された画像の１つ以上の画素の加重平均化を用いて、前記中央画素部の各画素を決定することを備え、前記加重平均化を行う時に、前記収集された画像の一部の画素は、前記収集された画像の他の画素よりも重く加重され、
前記第２ブレンド技術は、前記複数の収集された画像の１つ以上の画素の直線平均化を用いて、前記外側画素部の各画素を決定することを備え、前記加重平均化は、前記直線平均化よりも計算上複雑である、請求項３に記載のコンピュータで実行される方法。
【請求項５】
前記生成するステップは、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成することを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１〜４のいずれか１項に記載のコンピュータで実行される方法。
【請求項６】
請求項１に記載の方法に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、左側画像および右側画像の各々を生成するステップと、
前記左側画像および前記右側画像を前記ディスプレイに表示するステップとを備える、請求項１〜５のいずれか１項に記載のコンピュータで実行される方法。
【請求項７】
前記表示するステップは、前記表示画像を仮想現実ヘッドセットのディスプレイに表示することを含む、請求項１〜６のいずれか１項に記載のコンピュータで実行される方法。
【請求項８】
装置であって、
複数のカメラから収集された複数の画像を格納するように構成されたメモリと、
ライトフィールドレンダリングモジュールとを備え、
前記ライトフィールドレンダリングモジュールは、
収集された複数の画像を受け取り、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するように構成され、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、前記表示画像の生成は、
第１計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することと、
第１計算量よりも低い第２計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することとを含み、前記装置は、
前記表示画像を表示するように構成されたディスプレイを備える、装置。
【請求項９】
前記装置は、ヘッドマウントディスプレイ（ＨＭＤ）の一部として提供される、請求項８に記載の装置。
【請求項１０】
前記装置は、仮想現実ヘッドセットまたは仮想現実システムの一部として提供される、請求項８および９のいずれか１項に記載の装置。
【請求項１１】
ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するためのコンピュータで実行される方法であって、前記方法は、
複数のカメラから複数の画像を収集するステップと、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成するステップとを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを備え、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、当該生成するステップは、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度であり、前記方法は、
前記表示画像を前記ディスプレイに表示するステップを備える、コンピュータで実行される方法。
【請求項１２】
前記中央画素部を決定することは、第１ブレンド技術を用いて、前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することを備え、
前記外側画素部を決定することは、第２ブレンド技術を用いて、前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することを含み、前記第１ブレンド技術は、前記第２ブレンド技術よりも計算上高価である、請求項１１に記載の方法。
【請求項１３】
ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成し、画素の位置に基づいて、前記表示画像の複数の画素を生成するステップと、
前記表示画像をディスプレイに表示するステップとを備える、コンピュータで実行される方法。
【請求項１４】
前記生成するステップは、
第１ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第１画素群を決定することと、
第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第２画素群を決定することとを備える、請求項１３に記載のコンピュータで実行される方法。
【請求項１５】
前記第１画素群は、前記ディスプレイの中心付近の中央画素部を含み、
前記第２画素群は、前記中央画素部外側の外側画素部を含む、請求項１４に記載のコンピュータで実行される方法。
【請求項１６】
前記第１ブレンド技術は、前記複数の収集された画像の１つ以上の画素の加重平均化を用いて、前記中央画素部の各画素を決定することを備え、前記加重平均化を行う時に、前記収集された画像の一部の画素は、前記収集された画像の他の画素よりも重く加重され、
前記第２ブレンド技術は、前記複数の収集された画像の１つ以上の画素の直線平均化を用いて、前記外側画素部の各画素を決定することを備え、前記加重平均化は、前記直線平均化よりも計算上複雑である、請求項１４〜１５のいずれか１項に記載のコンピュータで実行される方法。
【請求項１７】
前記表示画像は、第１画素群と第２画素群とを含み、
前記生成するステップは、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成することを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第１画素群の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第２画素群の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１４〜１６のいずれか１項に記載のコンピュータで実行される方法。
【請求項１８】
前記表示画像は、第１画素群と第２画素群とを含み、
前記生成するステップは、
第１ブレンド技術を用いて、前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第１画素群の各画素を決定することと、
第１ブレンド技術とは異なる第２ブレンド技術を用いて、前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第２画素群の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１４〜１７のいずれか１項に記載のコンピュータで実行される方法。
【請求項１９】
前記生成するステップは、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を各々使用する左側表示画像および右側表示画像を生成し、画素の位置に基づいて、前記左側表示画像および右側表示画像の複数の画素を生成することを備え、
前記表示するステップは、前記表示画像をディスプレイに表示することを備える、請求項１４〜１８のいずれか１項に記載のコンピュータで実行される方法。
【請求項２０】
前記表示ステップは、前記表示画像を仮想現実ヘッドセットのディスプレイに表示することを含む、請求項１３〜１９のいずれか１項に記載のコンピュータで実行される方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願との相互参照
本願は、２０１５年１２月１６日に出願され、「可変の計算量を用いた画像のライトフィールドレンダリング」と題された米国仮特許出願第６２／２６８３９７号の優先権を主張する、２０１６年１２月１５日に出願され、「可変の計算量を用いた画像のライトフィールドレンダリング」と題された米国非仮特許出願第１５／３８０９４８号の継続出願であり、当該出願の優先権を主張する。これらの出願の全体は、参照により本明細書に援用される。
【０００２】
また、本願は、２０１５年１２月１６日に出願された米国仮特許出願第６２／２６８３９７号の優先権を主張し、当該出願の全体が参照により本明細書に援用される。
【０００３】
技術分野
本明細書は、一般的に、画像のライトフィールドレンダリング（light field rendering）に関する。具体的に、本明細書は、可変の計算量を用いた画像のライトフィールドレンダリングに関する。
【背景技術】
【０００４】
背景
ライトフィールドは、ある点の所定の方向の輝度として説明することができる。したがって、例えば、ライトフィールドの表現において、輝度は、遮眼子（occluder）のない空間領域における位置および方向の関数である。自由空間において、ライトフィールドは、４Ｄ関数である。複数の画像は、４Ｄライトフィールドの一部として収集することができる。
【発明の概要】
【課題を解決するための手段】
【０００５】
概要
例示的な実現形態によれば、コンピュータで実行される方法コンピュータで実行される方法は、複数のカメラから複数の画像を収集するステップと、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを備え、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。生成するステップは、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することと、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することとを含む。方法は、表示画像をディスプレイに表示するステップを備える。
【０００６】
例示的な実現形態によれば、装置は、複数のカメラから収集された複数の画像を格納するように構成されたメモリと、ライトフィールドレンダリングモジュールとを備える。ライトフィールドレンダリングモジュールは、収集された複数の画像を受け取り、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するように構成され、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。表示画像の生成は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することと、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することとを含む。装置は、表示画像を表示するように構成されたディスプレイを備える。
【０００７】
例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を格納する少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、複数のカメラから複数の画像を収集させ、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成させ、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含み、表示画像の生成は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することと、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することとを含み、装置に表示画像をディスプレイに表示させる。
【０００８】
例示的な実現形態によれば、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するためのコンピュータで実行される方法が提供される。この方法は、複数のカメラから複数の画像を収集するステップと、複数の収集された画像の各々をプレフィルタリングし、複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成することを備え、複数のミップマップ画像の各々は、収集された１つの画像を表し、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを含む。ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。生成するステップは、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定することと、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定することとを備え、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。この方法は、表示画像をディスプレイに表示するステップを備える。
【０００９】
例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を格納する少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、複数のカメラから複数の画像を収集させ、複数の収集された画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成し、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成させる。ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。表示画像の生成は、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定することと、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定することとを含む。第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。装置に表示画像をディスプレイに表示させる。
【００１０】
例示的な実現形態によれば、コンピュータで実行される方法は、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成し、画素の位置に基づいて、表示画像の複数の画素を生成するステップと、表示画像をディスプレイに表示するステップを備える。
【００１１】
別の例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を含む少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成させ、画素の位置に基づいて、表示画像の複数の画素を生成させ、表示画像をディスプレイに表示させる。
【００１２】
別の例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を含む少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成させ、画素の位置に基づいて、表示画像の複数の画素を生成させる。表示画像の生成は、第１ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第１画素群を決定することと、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第２画素群を決定するステップとを含む。第２解像度のミップマップ画像は、第１解像度のミップマップ画像とは異なる解像度である。装置に表示画像をディスプレイに表示させる。
【００１３】
１つ以上の実現形態の詳細は、添付の図面および以下の説明に記載されている。他の特徴は、説明および図面ならびに特許請求の範囲から明らかになるであろう。
【００１４】
様々な図面において、同様の参照符号は、同様の要素を示す。
【図面の簡単な説明】
【００１５】
【図１】例示的な実現形態に従って、ライトフィールドの有向ラインを示す図である。
【図２Ａ】例示的な実現形態に従って、ディスプレイを示す図である。
【図２Ｂ】例示的な実現形態に従って、左半分および右半分を含むディスプレイを示す図である。
【図３】例示的な実現形態に従って、複数のカメラからライトフィールドの画像を取得した後、ライトフィールドレンダリングを用いて、表示画像を生成するための例示的なシステムを示すブロック図である。
【図４】例示的な実現形態に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するために使用される動作を示すフローチャートである。
【図５】例示的な実現形態に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するための方法を示すフローチャートである。
【図６】例示的な実現形態に従って、表示画像を生成するための方法を示すフローチャートである。
【図７】本明細書に記載の技術を実施するために使用できるコンピュータ装置およびモバイルコンピュータ装置の例を示す図である。
【発明を実施するための形態】
【００１６】
詳細な説明
ライトフィールドは、ある点の所定の方向の輝度として説明することができる。したがって、例えば、ライトフィールドの表現において、輝度は、オクルーダのない空間領域において、位置および方向の関数である。自由空間において、ライトフィールドは、４Ｄ関数である。４Ｄライトフィールドの一部として、複数の画像／写真を収集することができる。例えば、ライトフィールドからスライス画像または２Ｄ画像を抽出し、リサンプリングすることによって、ライトフィールドの既存の画像セットから、新しい画像（または新しい写真）を生成することができる。４Ｄライトフィールドは、パラメータ化されたラインの集合を含むことができる。全てのラインの空間が無限大かもしれないが、有限ラインの部分集合だけが必要である。例示的な実現形態によれば、より多くのラインは、より高い解像度／より多くの細部を示す。
【００１７】
一例示的な実現形態において、４Ｄライトフィールドのラインは、任意の位置における２つの平面との交点によってパラメータ化することができる。図１は、例示的な実現形態に従って、ライトフィールドの有向ラインを示す図である。有向ライン（またはライトスラブ）Ｌ（ａ，ｂ，ｃ，ｄ）は、ａｂ平面上の点と、ｃｄ平面上の点とを連接することによって定義することができる。この表現は、ライトスラブと呼ばれてもよい。１つの平面、例えばｃｄ平面は、無限遠に配置されてもよい。これによって、点（例えば、線の原点）および方向を用いて、ラインをパラメータ化することができるため、有利であり得る。ライトフィールドは、複数のカメラを用いて、複数の画像（例えば、対象物の画像）を生成し、収集（または格納）することによって、生成されてもよい。したがって、ライトフィールドは、画像の集合を含むことができる。次に、４Ｄライトフィールドの２Ｄスライスをリサンプリングすることによって、例えば、１）各画像の光線／ラインのラインパラメータ（ａ，ｂ，ｃ，ｄ）を計算すること、および２）これらのラインパラメータにおける輝度をリサンプリングすることによって、新しい２Ｄ画像または写真を得ることができる。
【００１８】
新しい画素（画素値）を計算した後、これらの新しい画素（画素値）をディスプレイ上に表示するために、かなりの量の計算能力および時間を必要とする。一例として、ディスプレイは、例えば約２００万画素を有することができ、ディスプレイは、例えば、７５回／秒で、すなわち、７５Ｈｚのスクリーン／ディスプレイリフレッシュレートで、リフレッシュすることができる。これらの例示的な数字は、単に例示であり、任意のディスプレイサイズ（またはディスプレイ当たりの任意数の画素）および任意のリフレッシュレートを使用することができる。ディスプレイリフレッシュレートが７５Ｈｚである場合、コンピュータまたはコンピューティングシステムは、平均的に１／７５秒ごとに、最新画素（または画素値）を決定し、これらの画素を表示することを意味する。場合によって、画素の更新およびディスプレイのリフレッシュを実行しているシステムの計算能力およびメモリなどに応じて、これらのディスプレイリフレッシュ動作は、多くのコンピュータまたはコンピュータシステムに多大な負担を与える可能性がある。
【００１９】
画素（または画像素子）という用語は、ディスプレイ上に形成された画像素子を含むことができ、画素の輝度（または明るさ）および／または色彩または他の画素特性を特定することができる画素値（例えば、マルチビット値）を含むこともできる。したがって、例えば、本明細書に使用されるように、最新画素の決定は、画素の最新画素値の決定を意味するまたはそれを含むことができる。
【００２０】
しかしながら、少なくとも一部の場合において、人間の目の解像度の変化を利用して、ディスプレイを更新および／またはリフレッシュするための計算負荷および／または計算量を低減することができる。人間の目において、網膜は、目の後部内面の約６５％を覆う感光層である。桿体（rod）および錐体（cone）と呼ばれる網膜内の感光細胞は、入射光エネルギーを、視神経によって脳に運ばれる信号に変換する。網膜の中央には、中心窩（fovea）または網膜中心窩（fovea centralis）と呼ばれる小さな凹点がある。この凹点は、目の最も鋭い視覚中心であり、殆どの色彩の知覚場所である。したがって、目の最も鋭く、最も鮮明な色彩の視覚は、光が中心窩と呼ばれる網膜上の小さな凹点に合焦したときに発生する。この領域は、錐体を独占的に含む。これらの錐体は、網膜の他の部分よりも小さくまたはより密接に詰められる。目が（例えば）約２００°の視野からデータを受け取るが、その視野の殆どの部分の視力が弱い。高解像度の画像を形成するためには、光が中心窩に当てる必要があり、鋭い（または高解像度）視野角を（例えば）約１５°に制限する必要がある。人間の目の様々な特性を説明するために使用された数値は、例示であり、変化してもよい。
【００２１】
したがって、例示的な実現形態によれば、ライトフィールドレンダリングを用いて、（ライトフィールドの）複数の画像に基づいて表示画像を生成することができ、表示画像の１つ以上の画素に対して可変の計算量を使用することができる。例えば、ライトフィールドレンダリングを用いて、（ライトフィールドの）複数の画像に基づいて表示画像を生成することができ、ディスプレイ内の１つ以上の画素の位置に基づいて（または表示画像内の１つ以上の画素の位置に基づいて）、表示画像の１つ以上の画素に対して可変の計算量（または可変の計算作業量）を使用することができる。計算量および／または計算負荷は、例えば、表示画像の表示画素を決定するために使用される技術の複雑度（例えば、使用され得る様々な画素ブレンド技術の複雑度）、表示画像の画素を生成または表示するために使用される１つ以上の画像および／または複数の画像の解像度、ライトフィールドレンダリングを用いて表示画像の画素を生成するために必要とされる多くの計算、および／または、表示画像の画素を決定するために必要とされるメモリおよび／またはメモリトランザクション（例えば、メモリの読み出しおよび／または書き込み）の量のうち、１つ以上を指すことができる。
【００２２】
例示的な実施態様によれば、表示画像またはディスプレイの中心または中央部の近くまたは付近の表示画像の画素（画素値）が目の中心窩または網膜中心窩内に位置する可能性が高いため、これらの画素（画素値）を決定または生成するために、比較的高い計算量または比較的高い計算負荷を使用する必要がある。したがって、例えば、目の中心窩または網膜中心窩内の画素が好ましくはより高い色彩解像度を有するべきであり、表示画像のそのような画素を決定または生成するために、より多くの計算量またはより多くの計算負荷を保証するまたは与える必要がある。一方、表示画像またはディスプレイの中心または中央部から閾値（ｘ）を超えて離れた表示画像の画素、例えば、ディスプレイの外周の近くまたは付近の画素または表示画像の外周の近くの画素が目の中心窩の外側に位置する可能性が高いため、これらの画素を決定または生成するために、低い計算量または低い計算負荷を使用することができる。したがって、例えば、低い計算量または低い計算負荷を用いて、表示画像の外周の近くまたは付近の画素（もしくはディスプレイの外周の近くまたは付近の画素）を決定または生成することができる。その理由は、中心窩の外側に位置する画素に対する目の解像度は、高解像度画像（または高解像度の色彩または画素）と低解像度画像とを区別できないからである。したがって、画像を生成またはレンダリングするときの計算負荷を節約するおよび／または計算量を低減するため、および／またはディスプレイリフレッシュを実行するための速度を増加するために、より低い計算量またはより低い計算負荷を用いて、目の中心窩の外側の画素、例えば、少なくとも表示画像またはディスプレイの外周の近くまたは付近の画素を含み得る、画像の中心から閾値距離の外側に位置する１つ以上の画素を決定または生成することができる。
【００２３】
図２Ａは、例示的な実現形態に従って、ディスプレイ２００を示す図である。例えば、ディスプレイ２００は、モバイル装置上に設けられてもよく、および／またはヘッドマウントディスプレイ（ＨＭＤ）または他の装置内に設けられてもよい。ディスプレイ２００は、任意種類のディスプレイ、例えば、ＬＥＤ（発光ダイオード）ディスプレイ、ＬＣＤ（液晶ディスプレイ）ディスプレイまたは他の種類のディスプレイであってもよい。ディスプレイ２００は、その上面に表示された画像（図示せず）を含むことができる。この画像は、例えば、ライトフィールドレンダリングを用いて生成されてもよい。ディスプレイ上に表示された画像は、ディスプレイの中心に位置し、ディスプレイ２００の全ての画素を使用してもよく、またはディスプレイの中心からオフセットされ（例えば、片側にシフトされ）、および／またはディスプレイ２００の一部の画素のみを使用してもよい。表示画像がディスプレイ上の中心に位置すると仮定して、表示画像の画素の相対位置を説明するが、表示画像は、必ずしもディスプレイ上の中心に位置する必要がない。
【００２４】
図２Ａに示すように、ディスプレイ２００は、（例えば、表示画像の中心であり得る）中心２０６と、（表示画像の外周または外縁に対応し得る）ディスプレイ２００の外周２１０または外縁とを含むことができる。画素の位置に基づいて、ディスプレイ２００の画素を複数の群（または部分）に分類することができ、異なる計算量または計算負荷を用いて、各群内の最新画素を生成することができる。
【００２５】
例えば、図２Ａに示すように、ディスプレイ２００は、少なくとも２つの画素群を含むことができる。少なくとも２つの画素群は、１）ディスプレイ２００の中心２０６の近くまたは付近の画素、例えば、ディスプレイ２００の中心２０６から閾値距離（ｚ）以内（例えば、中心２０６から１５０画素以内または１．５インチ以内）の画素を含むことができる中央（画素）部２０４と、２）中央部２０４の外側に位置する画素および／または中心２０６から例えば閾値距離ｚを超える箇所に位置する画素を含むことができる外側（画素）部２０８とを含む。例示的な実現形態において、外側部２０８の画素は、ディスプレイ２００の外周（または外縁）２２０の近くまたは付近（または画像の外周または外縁の近くまたは付近）の画素を含むことができる。図２Ａは、ディスプレイ２００の２つの画素群（中央部２０４および外側部２０８）のみを示しているが、ディスプレイ２００の画素（または表示画像の画素）を任意数の群、例えば、３つ、４つまたは５つ以上の群に分類することができ、異なる計算量を用いて、例えば、画素または画素群の位置に基づいて、各群の画素を生成することができる。例示的な実現形態によれば、より高い計算量を用いて、中央部２０４内の画素を生成することができ、漸進的に低い計算量を用いて、中心２０６（または中央部２０４）から漸進的に遠くなる画素群を生成することができる。
【００２６】
したがって、例示的な実現形態によれば、これによって、例えば、より多くの計算資源／計算量を用いて、ユーザの目に見られているときに目の中心窩内または近くの画素を生成することができ、より少ない計算資源／計算量を用いて、ユーザの目に見られているときに中心窩の外側に位置すると考えられる画素を生成することができる。このようにして、少なくとも一部の場合において、例えば、より低い計算量／より低い計算負荷を用いて、一般的に目の中心窩の外側に位置すると予想されるディスプレイ２００内（または画像内）の画素域または画素を生成することができるため、ライトフィールドレンダリングを使用するときに全体的な計算作業量を削減することができる一方、計算量または計算作業量の削減または低減が人間の目によって殆ど察知できない。
【００２７】
この例において、例えば、ユーザの目がディスプレイの中心２０６および／または中央部２０４（または少なくともその付近）を見ていると仮定することができる。したがって、この場合、例えばディスプレイ２００の中心２０６の付近の画素、すなわち、中央部２０４の画素は、中心窩内に位置する可能性が高い。しかしながら、目が中心２０６または中心２０６の近くに位置しているディスプレイ２００上の点を見ている可能性がある。したがって、別の例示的な実現形態において、ヘッドマウントディスプレイ（ＨＭＤ）装置に設けるまたは取り付けることができるカメラまたは他の眼球運動検出器などの視線追跡装置または視線追跡システムを用いて、視線の移動を追跡し、目が見えているディスプレイ２００または画像上の点を検出することができる。これによって、レンダリングを実行しているＨＭＤ装置または他のシステムは、より高い計算量またはより高い計算負荷を自動的に調整または選択して、目が見ているディスプレイ領域の周囲または近くの画素を生成することができ、より低い計算量またはより低い計算負荷を用いて、目が見ている領域の外側の画素を生成することができる。このことは、例えば、ディスプレイ２００の中心および中央部からオフセットされている可能性のある中心２０６および中央部２０４を、ユーザの目が見ている中心および中央部２０４にシフトすることによって達成することができる。他の技術を使用することもできる。一般的に、ユーザがディスプレイの中心または中央部を見ていると仮定するが、ユーザの目が中心を見ていないと検出された場合、他の技術を用いて、ディスプレイの中心／中央部を調整することができる。
【００２８】
図２Ｂは、例示的な実現形態に従って、左半分２２５−Ｌおよび右半分２２５−Ｒを含むディスプレイ２２０を示す図である。したがって、一例として、図２Ｂのディスプレイ２２０は、２つの別個のディスプレイ半分（左半分および右半分）を含むことができ、または２つの半分に分割された１つのディスプレイを含むことができる。例示的な実現形態によれば、ＨＭＤ装置または他の装置において、ディスプレイ２２０の左半分２２５−Ｌは、例えば、左眼に左側画像（図示せず）を表示することができ、右半分２２５−Ｒは、右眼に右側画像（図示せず）を表示することができる。図２Ａと同様に、図２Ｂにおいて、左半分２２５−Ｌは、１）左半分２２５−Ｌの中心（または左側画像の中心）２４０−Ｌの近くまたは付近の画素を含む中央（画素）部２３０−Ｌ、および２）中央部２３０−Ｌの外側の画素を含む外側部２４５−Ｌを含む。外側部２４５−Ｌは、ディスプレイ２２０の左半分２２５−Ｌの周辺または外縁（または左側画像の周辺または外縁）２５０−Ｌの近くまたは付近の画素を含むことができる。
【００２９】
同様に、図２Ｂにおいて、ディスプレイ２２０の右半分２２５−Ｒは、１）右半分２２５−Ｒの中心（または左側画像の中心）２４０−Ｒの近くまたは付近の画素を含む中央部２３０−Ｒ、および２）中央部２３０−Ｒの外側の画素を含む外側部２４５−Ｒを含む。外側部２４５−Ｒは、ディスプレイ２３０の右半分２２５−Ｒの周辺または外縁（または右側画像の周辺または外縁）２５０−Ｒの近くまたは付近の画素を含むことができる。本明細書でより詳細に説明するように、例示的な実現形態によれば、ライトフィールドレンダリングを用いて、表示画像を生成することができ、この場合、異なる計算量を用いて、中央部の画素および外側部の画素を決定することができる。例えば、より多くの計算資源を用いて、目の中心窩内に位置する可能性が高い表示画像の画素（例えば、中央部に位置する画素）を生成することができ、より少ない計算資源を用いて、中心窩の外側に位置する可能性のある画素（例えば、外側部に位置する画素）を生成することができる。
【００３０】
図３は、例示的な実現形態に従って、複数のカメラからライトフィールドの画像を取得した後、ライトフィールドレンダリングを用いて、表示画像を生成するための例示的なシステム３００を示すブロック図である。システム３００は、仮想現実（ＶＲ）環境に使用することができ、他の環境またはアプリケーションにも使用することができる。例えば、一例として、ヘッドマウントディスプレイ（ＨＭＤ）装置３１０の左右両眼に立体画像を形成するために、ライトフィールドレンダリングを用いて、ライトフィールドの複数の画像に基づいて、ＶＲ対象物の正確な画像を生成することができる。例示的なシステム３００において、複数のカメラ３３９を含むカメラリグ（camera rig）３０２を用いて、複数の画像を取得し、分析および処理のために、これらの画像を直接にまたはネットワーク３０４を介して画像処理システム３０６に送信することができる。画像処理システム３０６は、複数のモジュール（例えば、ロジックまたはソフトウェアモジュール）を含むことができ、サーバ３０７または他のコンピュータまたはコンピューティング装置上で動作することができる。複数のカメラから得られた複数の画像は、例えば、ライトフィールドであってもよい。システム３００のいくつかの実現形態において、モバイル装置３０８は、カメラリグ３０２として機能し、ネットワーク３０４を介して、画像を送信することができる。代替的に、一組のカメラの各々は、異なる位置または視点から、対象物の複数の画像または写真を取得し、送信することができる。非限定的な例において、（一例として）１６個のカメラからなるカメラ組の場合、各カメラが対象物の１６個の異なる画像または写真を取得することができるため、合計でライトフィールドの２５６個の異なる画像／写真を送信することができる。これらの数字は、単なる例示である。
【００３１】
画像を取得または収集し、メモリに格納すると、画像処理システム３０６は、画像に対して多くの演算処理を行い、最初に収集された画像と処理された画像とを、例えば、ヘッドマウントディスプレイ（ＨＭＤ）装置３１０、モバイル装置３０８またはコンピューティング装置３１２に送信することができる。ＨＭＤ装置３１０は、プロセッサ、メモリ、入出力、ディスプレイ、およびＨＭＤアプリケーション３４０を含むことができる。ＨＭＤアプリケーション３４０は、いくつかのモジュール（ソフトウェアまたはロジックモジュール）を含む。１つの例示的な実現形態において、ＨＭＤ装置３１０は、モバイル装置３０８にホストされる（または動作する）ことができる。この場合、モバイル装置３０８のプロセッサ、メモリおよびディスプレイなどは、ＨＭＤ装置３１０に接続されてもよく（またはＨＭＤ装置３１０の一部であってもよく）、ＨＭＤ装置３１０によって利用され、ＨＭＤアプリケーション３４０を実行し、ＨＭＤアプリケーション３４０のモジュールに関連する様々な機能または動作を行うことができる。別の例示的な実現形態において、ＨＭＤ装置３１０は、自身のプロセッサ、メモリ、入出力装置およびディスプレイを備えてもよい。
【００３２】
画像処理システム３０６は、受信または収集された１つ以上の画像の分析および／または処理を実行することができる。画像収集およびライトフィールド生成モジュール３１４は、複数のカメラの各々から、複数の画像を受信または収集することができる。これらのライトフィールドのオリジナル画像は、例えば、サーバ３０７に格納されてもよい。
【００３３】
画像プレフィルタリングモジュール３１６は、１つ以上のカメラ３３９から収集された画像の各画像または１つ以上の画像に対して、プレフィルタリングを行うことができる。例示的な実現形態によれば、画像プレフィルタリングモジュール３１６によって行われた画像プレフィルタリングは、収集された画像の各画像または１つ以上の画像を平滑化および／またはプレブラーリングすることによって、収集された画像の低解像度バージョン（表現）を生成することができる。収集されたオリジナル画像を表す１つ以上の低解像度画像を生成する、各収集画像のプレフィルタリングリング動作またはプレブラーリング動作または平滑化動作を達成するために、収集された各画像のミップマップを生成することができる。ミップマップは、予め演算処理された一連のテクスチャまたは一組のミップマップ画像を含み、各ミップマップ画像は、オリジナル画像を表す漸進的に低い解像度の画像である。ミップマップ画像を使用することによって、画像のエイリアシング（aliasing）および急激な変化を減らすことができ、より平滑な画像を得ることができる。したがって、一例として、オリジナル画像が１６×１６（１６画素×１６画素）である場合、画像プレフィルタリングモジュール３１６は、一組のミップマップ画像を生成することができ、各ミップマップ画像は、１６×１６のオリジナル画像を表す漸進的に低い解像度の画像である。したがって、例えば、画像プレフィルタリングモジュール３１６は、１６×１６のオリジナル画像の低解像度表現である８×８ミップマップ画像を生成することができる。例えば、１６×１６のオリジナル画像の２×２画素（合計４画素）の異なるセット（またはタイル）を平均化することによって、８×８画素のミップマップ画像を得ることができる。このようにして、２５６ビットのオリジナル画像に比べて、８×８ミップマップ画像のサイズは、６４ビットである。一例において、例えば、赤成分、緑成分および青成分の各々を１バイトで表すと、３バイトで各画素を表すことができる。同様に、画像プレフィルタリングモジュール３１６は、例えば、異なる４ビットの２×２タイルの８×８ミップマップ画像を平均化することにより、１ビットの４×４ミップマップ画像を取得することによって、オリジナル画像を表す低解像度の４×４ミップマップ画像を生成または決定することができる。同様の方法で、所定の画像の２×２ミップマップ画像および１×１ミップマップ画像を生成または決定することによって、１６×１６のオリジナル画像を表す漸進的に低い解像度のミップマップ画像のセット（この例では、８×８、４×４、２×２および１×１）を提供することができる。収集された各画像を表す一組のミップマップ画像３１５は、例えば、サーバ３０７などのメモリに格納されてもよい。
【００３４】
また、図３を参照して、ＨＭＤ装置３１０は、仮想現実コンテンツを表示することができる仮想現実ヘッドセット、眼鏡、接眼レンズまたは他の装着型装置を表すことができる。動作中、ＨＭＤ装置３１０は、受信した画像および／または処理した画像をユーザに再生することができるＶＲアプリケーション３４２を含むＨＭＤアプリケーション３４０（およびその１つ以上のモジュールまたは全てのモジュール）を実行することができる。いくつかの実現形態において、ＨＭＤアプリケーション３４０の１つ以上のモジュール、例えば、ＶＲアプリケーション３４２は、装置３０７、３０８および３１２のうちの１つ以上によってホストされてもよい。一例において、ＨＭＤ装置３１０は、カメラリグ１０２によって取得されたシーンのビデオ再生を行うことができ、または（画像処理システム３０６によって処理された）複数の収集された画像に基づいて、４Ｄライトフィールドの新しい２Ｄ画像を生成することができる。
【００３５】
したがって、ＨＭＤ装置３１０は、複数のカメラから複数の画像を受信することができる（受信した画像は、処理またはプレフィルタリングリングされ、サーバ３０７に格納された画像／ミップマップ画像を含んでもよい）。ＨＭＤ装置３１０は、例えば、ライトフィールドレンダリングを用いて、（ライトフィールドの全ての画像の部分セットであってもよく、および／または１つ以上のミップマップ画像を含んでもよい）複数の画像に基づいて、可変の計算量を使用する表示画像を生成し、ディスプレイまたは表示画像内の１つ以上の画素の位置に基づいて、表示画像の画素を決定することができる。その後、ＨＭＤ装置３１０は、ＨＭＤ装置３１０のディスプレイ上に表示画像を表示することができる。
【００３６】
ＨＭＤアプリケーション３４０は、以下で簡単に説明される多数のソフトウェア（またはロジック）モジュールを含むことができる。ＶＲアプリケーション３４２は、受信したおよび／または処理した画像、例えば、ライトフィールドからレンダリングされた２Ｄ画像を再生するまたはユーザに出力することができる。計算量決定モジュール３４４は、計算量または計算作業量を決定するまたはディスプレイ内の各画素に適用することができる。例えば、モジュール３４４は、ディスプレイ内の各画素が中央部２０４に位置するかまたは外側部２０８に位置するかを決定することができる。次に、計算量決定モジュール３４４は、画素が位置する場所または部分、例えば、当該画素が中央部２０４に位置するかまたは外側部２０８に位置するかに基づいて、ライトフィールドに基づいたレンダリングまたは生成された画像の一部として、１つ以上の計算パラメータを決定するまたは各画素に適用することができる。したがって、モジュール３４４は、例えば、表示画像の１つ以上の画素を決定するために使用されるブレンドアルゴリズムまたは複数のブレンドアルゴリズムのブレンド技術を選択すること、表示画像を生成するために使用される複数の画像の各画像の解像度を調整するまたは特定の解像度を選択すること、および／または表示画像の画素を決定するために使用される多くの収集された画像を調整または選択することによって、各表示画素の決定に使用される多くの計算パラメータを選択または適用することができる。ディスプレイ上に表示された画素の位置に応じて、他の計算パラメータまたは特徴を選択または変更することによって、表示画像の画素を決定するための計算量を増加することができ、または表示画像の画素を決定するための計算量を低減することができる。
【００３７】
ブレンドアルゴリズム３４６は、表示画像の表示画素を決定または生成する時に、複数の画像または処理された画像の１つ以上の画素を混合するために使用され得る１つ以上のブレンドアルゴリズムを含むことができる。これらのブレンドアルゴリズム３４６は、異なるまたは様々な計算量を有することができる。例えば、第１ブレンドアルゴリズムまたはブレンド技術は、表示画像の画素を決定するために、複数の画像または複数の処理された画像の複数の画素または１つ以上の画素の平均化または直線平均化を含むことができる。別の例として、第２混合アルゴリズムは、表示画像の表示画素を決定するために、複数の画像または複数の処理された画像の画素または１つ以上の画素の加重平均化を含むことができる。この例において、加重平均化に比べて、直線平均化の計算量がより低いと考えられる。その理由は、加重平均化は、最初に、ブレンドまたは平均化される各画素または画素群の重みを決定する必要があるが、直線平均化は、必ずしも重みを含む必要がないからである。一例として、ユーザに近い画像または処理された画像により大きな重みを適用することができ、ユーザから離れた画像の画素により小さな重みを適用することができる。したがって、加重平均化アルゴリズムは、例えば直線平均化に比べて、計算上より複雑であると考えられる。
【００３８】
いくつかの例示的な実現形態において、視線追跡モジュール３５０を使用することができる。視線追跡モジュール３５０は、例えば、カメラまたは他の視線方向検出器を用いて、眼球運動を追跡または認識し、目が見ている位置を判断することができる。例えば、目がＨＭＤ装置３１０のディスプレイの中心２０６または中央部２０４もしくはその付近を見ているか否かを判断することができる。例えば、ユーザの目が中心および／または中央部もしくはその付近を見ていない場合、中心および／または中央部を目が見ている位置またはその付近に位置するように左右または上下に調整する必要がある。これによって、中心または中央部２０４の高解像度（高計算量）の画素は、一般的に中心窩に入り、（より低い計算量またはより低い計算作業量を用いて決定された）外側部の画素は、一般的に中心窩の外側に入ると予想される。したがって、１つの例示的な実現形態において、目がディスプレイの中心または中央部を見ていない場合に、視線追跡モジュール３５０は、例えば、目が見ている位置に応じて、中心２０６および／または中央部２０４の調整または移動を行う（または実行する）ことによって、中心２０６および／または中央部２０４を目が見ている位置にほぼ一致または一致させることができる。
【００３９】
画像プレフィルタリングモジュール３１６は、画像処理システム３０６内におよび／またはＨＭＤアプリケーション３４０内に設けられてもよい。したがって、例示的な実現形態によれば、画像プレフィルタリングモジュール３１６は、１つ以上のカメラ３３９から収集された画像の各々の画像または１つ以上の画像に対して、プレフィルタリングリング処理を行うことができる。画像プレフィルタモジュール３１６は、例えば、最初に収集された画像を表す一連の漸進的に低い解像度のミップマップ画像を生成することができる。これらのミップマップ画像３１５は、オリジナル画像と共に、例えばサーバ３０７などのメモリに格納することができる。１つの例示的な実現形態において、画像プレフィルタモジュール３１６によって行われたプレフィルタリング処理は、サーバ３０７または他のコンピュータ上で動作している画像処理システム３０６にオフロードすることができる。別の例示的な実現形態において、画像プレフィルタリングモジュール３１６によって行われたプレフィルタリング処理は、例えばＨＭＤアプリケーション３４０などのＨＭＤ装置３１０によって行われてもよい。したがって、例示的な実現形態に従って、画像プレフィルタリングモジュール３１６は、画像処理システム３０６またはＨＭＤアプリケーション３４０／ＨＭＤ装置３１０に設けられてもよく、またはその両方に設けられてもよい。
【００４０】
例示的な実現形態によれば、画像レンダリングモジュール３４８（図３）は、例えば、ライトフィールドレンダリングを用いて、複数の画像に基づいて、ディスプレイに出力するための表示画像を生成することができる。表示画像の生成の一部として、画像レンダリングモジュール３４８は、第１計算量を用いて、画素の中央部（例えば、図２Ａの中央部２０４）の画素を決定し、第２計算量を用いて、画素の外側部（例えば、外側部２０８、図２Ａ）の画素を決定することができる。このようにして、例えば、より高い計算量／計算作業量を用いて、中央部または中心窩の内側に位置する画素を決定することができ、より低い計算量／計算作業量を用いて、中央部または中心窩の外側に位置する画素を決定することができる。様々な技術を用いて、計算量を変更または変化することによって、例えば、複数の画像の画素を混合するための異なるブレンドアルゴリズム／技術を選択することによって、表示画像の画素を得るために画素を混合するための収集されたオリジナル画像を表す異なる解像度の画像（例えば、異なる解像度のミップマップ画像。高解像度のミップマップ画像を使用する場合、低解像度のミップマップ画像を使用することに比べて計算上より複雑である）を選択することによって、および／または異なる数の混合する画像（例えば、より多くの画像が計算上より複雑である）を選択することによって、異なる位置の表示画素を決定することができる。
【００４１】
また、低解像度のミップマップ画像を使用することによる更なる利点は、画像または処理した画像を転送するために使用されるコンピュータ／コンピューティング装置の帯域幅および潜在的なネットワークの帯域幅を含む帯域幅を減らし、画像または処理した画像を保存するために使用されるメモリ（例えば、ＲＡＭ、フラッシュドライブまたはハードドライブの記憶容量）を減らすことである。計算量決定モジュール３４４は、ディスプレイの特定の画素または画素部を決定または生成するために適用すべき計算量を、画像レンダリングモジュール３４８に通知することができる。例えば、計算量決定モジュール３４４は、第１ブレンドアルゴリズムを用いて、４つの第１解像度（例えば、１６ビット）のミップマップ画像の画素をブレンドすることに基づいて、中央部２０４（図２Ａ）内の画素を決定すべきであること、および３つの画像（例えば、より少ない画像）用の第２ブレンドアルゴリズム（例えば、より少ない計算量）を用いて、３つの第２解像度（例えば、８ビット）のミップマップ画像の画素をブレンドすることに基づいて、外側部２０８（図２Ａ）内の画素を決定すべきであることを画像レンダリングモジュール３４８に通知することができる。例えば、（提案として）、最初に収集された／受信された画像をそれぞれ表す４つの１６ビットミップマップ画像からの画素（または複数の画素）を加重平均化することによって、中央部２０４（例えば、中心窩の視野）内の画素を決定することができ、（例えば、提案として）、３つの８ビットミップマップ画像を直線的に平均化することによって、外側部２０８（例えば、中心窩の外側）の画素を決定することができる。これは、単なる例示であり、他の技術を使用することもできる。
【実施例１】
【００４２】
図４は、例示的な実現形態に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するために使用される動作を示すフローチャートである。動作４１０は、複数のカメラから複数の画像を収集するステップを含む。動作４２０は、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップを含む。ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。生成動作４２０は、動作４３０および４４０を含むことができる。動作４３０は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定するステップを含む。動作４４０は、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定するステップを含む。動作４５０は、表示画像をディスプレイに表示するステップを備える。
【実施例２】
【００４３】
実施例１の方法の例示的な実現形態によれば、第１計算量および第２計算量は、表示画像の少なくとも一部の画素を決定するために使用される複数のブレンド技術から１つのブレンド技術を選択することと、表示画像の少なくとも一部の画素を決定するために使用される複数の収集された画像の解像度を調整することと、表示画像の少なくとも一部の画素を決定するために使用される複数の収集された画像の数を調整することとのうちの１つ以上に基づいて、決定または変更され得る。
【実施例３】
【００４４】
実施例１〜２のいずれかの方法の例示的な実現形態によれば、中央画素部を決定するステップは、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することを含むことができ、外側画素部を決定するステップは、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することを備えることができる。
【実施例４】
【００４５】
実施例１〜３のいずれかの方法の例示的な実現形態によれば、第１ブレンド技術は、複数の収集された画像の１つ以上の画素の加重平均化を用いて、中央画素部の各画素を決定することを備え、加重平均化を行う時に、収集された画像の一部の画素は、収集された画像の他の画素よりも重く加重され、第２ブレンド技術は、複数の収集された画像の１つ以上の画素の直線平均化を用いて、外側画素部の各画素を決定することを備え、加重平均化は、直線平均化よりも計算上複雑である。
【実施例５】
【００４６】
実施例１〜４のいずれかの方法の例示的な実現形態によれば、生成するステップは、複数の収集された画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成することと、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定することと、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定することとを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【実施例６】
【００４７】
実施例１〜５のいずれかの方法の例示的な実現形態によれば、方法は、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、左側画像および右側画像の各々を生成するステップと、左側画像および右側画像をディスプレイに表示するステップとを備える。
【実施例７】
【００４８】
実施例１〜６のいずれかの方法の例示的な実現形態によれば、表示するステップは、表示画像を仮想現実ヘッドセットのディスプレイに表示することを含む。
【実施例８】
【００４９】
例示的な実現形態によれば、装置は、複数のカメラから収集された複数の画像を格納するように構成されたメモリと、ライトフィールドレンダリングモジュールとを備える。ライトフィールドレンダリングモジュールは、収集された複数の画像を受け取り、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するように構成され、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。表示画像の生成は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することと、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することとを含む。装置は、表示画像を表示するように構成されたディスプレイを備える。
【実施例９】
【００５０】
実施例８の装置の例示的な実現形態によれば、装置は、ヘッドマウントディスプレイ（ＨＭＤ）の一部として提供される。
【実施例１０】
【００５１】
実施例８〜９のいずれかの装置の例示的な実現形態によれば、装置は、仮想現実ヘッドセットまたは仮想現実システムの一部として提供される。
【実施例１１】
【００５２】
例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を格納する少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、複数のカメラから複数の画像を収集させ、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成させる。ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含み、表示画像の生成は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することと、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することとを含む。装置に表示画像をディスプレイに表示させる。
【実施例１２】
【００５３】
装置は、複数のカメラから複数の画像を収集する手段と、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成する手段とを含み、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。生成手段は、第１計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定する手段と、第１計算量よりも低い第２計算量を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定するステップとを含む。装置は、表示画像をディスプレイに表示する手段を含む。
【実施例１３】
【００５４】
実施例１２の装置の例示的な実現形態によれば、第１計算量および第２計算量は、表示画像の少なくとも一部の画素を決定するために使用される複数のブレンド技術から１つのブレンド技術を選択する手段と、表示画像の少なくとも一部の画素を決定するために使用される複数の収集された画像の解像度を調整する手段と、表示画像の少なくとも一部の画素を決定するために使用される複数の収集された画像の数を調整する手段とのうちの１つ以上に基づいて、決定または変更され得る。
【実施例１４】
【００５５】
実施例１２〜１３のいずれかの装置の例示的な実現形態によれば、中央画素部を決定する手段は、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定する手段を含み、外側画素部を決定する手段は、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定する手段を含む。
【実施例１５】
【００５６】
実施例１２〜１４のいずれかの装置の例示的な実現形態によれば、第１ブレンド技術は、複数の収集された画像の１つ以上の画素の加重平均化を用いて、中央画素部の各画素を決定することを備え、加重平均化を行う時に、収集された画像の一部の画素は、収集された画像の他の画素よりも重く加重される。第２ブレンド技術は、複数の収集された画像の１つ以上の画素の直線平均化を用いて、外側画素部の各画素を決定することを備え、加重平均化は、直線平均化よりも計算上複雑である。
【実施例１６】
【００５７】
実施例１２〜１５のいずれかの装置の例示的な実現形態によれば、生成手段は、複数の収集された画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成する手段と、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定する手段と、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定する手段とを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【実施例１７】
【００５８】
実施例１２〜１６のいずれかの装置の例示的な実現形態によれば、装置は、請求項１に記載の方法に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、左側画像および右側画像の各々を生成する手段と、左側画像および右側画像をディスプレイに表示する手段とを含む。
【実施例１８】
【００５９】
実施例１２〜１７のいずれかの装置の例示的な実現形態によれば、表示手段は、表示画像を仮想現実ヘッドセットのディスプレイ上に表示する手段を含むことができる。
【実施例１９】
【００６０】
図５は、例示的な実現形態に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するための方法を示すフローチャートである。動作５１０は、複数のカメラから複数の画像を収集することを含む。動作５２０は、複数の収集画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成することを含む。動作５３０は、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成することを含み、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。生成動作５３０は、動作５４０および動作５５０を含む。動作５４０は、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定することを含む。動作５５０は、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定することを備え、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。動作５６０は、表示画像をディスプレイ上に表示することを含む。
【実施例２０】
【００６１】
実施例１９の方法の例示的な実現形態によれば、中央画素部を決定することは、第１ブレンド技術を用いて、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定することを備え、外側画素部を決定することは、第２ブレンド技術を用いて、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することを含み、第１ブレンド技術は、第２ブレンド技術よりも計算上高価である。
【実施例２１】
【００６２】
装置は、少なくとも１つのプロセッサと、コンピュータ命令を格納する少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、複数のカメラから複数の画像を収集させ、複数の収集された画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成させ、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成させる。ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。表示画像の生成は、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定することと、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定することとを含む。第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。装置に表示画像をディスプレイに表示させる。
【実施例２２】
【００６３】
例示的な実現形態によれば、装置は、複数のカメラから複数の画像を収集する手段と、複数の収集画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成する手段と、ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成する手段とを含み、ディスプレイは、ディスプレイの中心付近の中央画素部と、中央画素部外側の外側画素部とを含む。当該生成手段は、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部の各画素を決定する手段と、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部の各画素を決定する手段とを含み、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。装置は、表示画像をディスプレイに表示する手段を含む。
【実施例２３】
【００６４】
実施例２２の装置の例示的な実現形態によれば、中央画素部を決定する手段は、第１ブレンド技術を用いて、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の中央画素部を決定する手段を含むことができ、外側画素部を決定することは、第２ブレンド技術を用いて、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の外側画素部を決定することを備えることができ、第１ブレンド技術は、第２ブレンド技術よりも計算上高価である。
【実施例２４】
【００６５】
図６は、例示的な実現形態に従って、表示画像を生成するための方法を示すフローチャートである。動作６１０は、ライトフィールドレンダリングを用いて、複数の画像に基づいて、表示画像を生成することを含み、ライトフィールドレンダリングは、可変の計算量を用いて、画素の位置に基づいて、表示画像の複数の画素を生成する。動作６２０は、表示画像をディスプレイ上に表示することを含む。
【実施例２５】
【００６６】
実施例２４の方法の例示的な実現形態によれば、生成することは、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群を決定することと、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群を決定することとを備える。
【実施例２６】
【００６７】
実施例２４〜２５のいずれかの方法の例示的な実現形態によれば、第１画素群は、ディスプレイの中心付近の中央画素部を含み、第２画素群は、中央画素部外側の外側画素部を含む。
【実施例２７】
【００６８】
実施例２４〜２６のいずれかの方法の例示的な実現形態によれば、第１ブレンド技術は、複数の収集された画像の１つ以上の画素の加重平均化を用いて、中央画素部の各画素を決定することを含むことができ、加重平均化を行う時に、収集された画像の一部の画素は、収集された画像の他の画素よりも重く加重される。第２ブレンド技術は、複数の収集された画像の１つ以上の画素の直線平均化を用いて、外側画素部の各画素を決定することを含むことができ、加重平均化は、直線平均化よりも計算上複雑である。
【実施例２８】
【００６９】
実施例２４〜２７のいずれかの方法の例示的な実現形態によれば、表示画像は、第１画素群と第２画素群とを含むことができ、生成することは、複数の収集画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成することと、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群の各画素を決定することと、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群の各画素を決定することとを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【実施例２９】
【００７０】
実施例２４〜２８のいずれかの方法の例示的な実現形態によれば、表示画像は、第１画素群と第２画素群とを含むことができ、生成することは、第１ブレンド技術を用いて、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群の各画素を決定することと、第１ブレンド技術とは異なる第２ブレンド技術を用いて、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群の各画素を決定することとを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【実施例３０】
【００７１】
例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を格納する少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成させ、画素の位置に基づいて、表示画像の複数の画素を生成させ、表示画像をディスプレイに表示させる。
【実施例３１】
【００７２】
実施例３０の装置の例示的な実現形態によれば、さらに装置に、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群を決定させ、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群を決定させる。
【実施例３２】
【００７３】
実施例３０〜３１のいずれかの装置の例示的な実現形態によれば、第１画素群は、ディスプレイの中心付近の中央画素部を含み、第２画素群は、中央画素部外側の外側画素部を含む。
【実施例３３】
【００７４】
実施例３０〜３２のいずれかの装置の例示的な実現形態によれば、装置に生成させることは、装置に、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を各々使用する左側表示画像および右側表示画像を生成させ、画素の位置に基づいて、左側表示画像および右側表示画像の複数の画素を生成させることを含み、装置に表示を実行させることは、表示画像をディスプレイに表示させることを含む。
【実施例３４】
【００７５】
実施例３０〜３３のいずれかの装置の例示的な実現形態によれば、装置に表示させることは、装置に仮想現実ヘッドセットのディスプレイ上に表示画像を表示させることを含む。
【実施例３５】
【００７６】
例示的な実現形態によれば、装置は、少なくとも１つのプロセッサと、コンピュータ命令を含む少なくとも１つのメモリとを含み、これらのコンピュータ命令は、少なくとも１つのプロセッサによって実行されると、装置に、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成させ、画素の位置に基づいて、表示画像の複数の画素を生成させる。表示画像の生成は、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群を決定することと、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群を決定するステップとを含む。第２解像度のミップマップ画像は、第１解像度のミップマップ画像とは異なる解像度である。装置に表示画像をディスプレイに表示させる。
【実施例３６】
【００７７】
例示的な実現形態によれば、装置は、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成し、画素の位置に基づいて、表示画像の複数の画素を生成する手段と、表示画像をディスプレイに表示する手段とを含む。
【実施例３７】
【００７８】
実施例３６の装置の実施例によれば、生成手段は、第１ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群を決定する手段と、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群を決定する手段とを含むことができる。
【実施例３８】
【００７９】
実施例３６〜３７のいずれかの装置の例示的な実現形態によれば、第１画素群は、ディスプレイの中心付近の中央画素部を含むことができ、第２画素群は、中央画素部外側の外側画素部を含むことができる。
【実施例３９】
【００８０】
実施例３６〜３８のいずれかの装置の例示的な実現形態によれば、第１ブレンド技術は、複数の収集された画像の１つ以上の画素の加重平均化を用いて、中央画素部の各画素を決定することを含むことができ、加重平均化を行う時に、収集された画像の一部の画素は、収集された画像の他の画素よりも重く加重される。第２ブレンド技術は、複数の収集された画像の１つ以上の画素の直線平均化を用いて、外側画素部の各画素を決定することを含むことができ、加重平均化は、直線平均化よりも計算上複雑である。
【実施例４０】
【００８１】
実施例３６〜３９のいずれかの装置の例示的な実現形態によれば、表示画像は、第１画素群と第２画素群とを含むことができ、生成手段は、複数の収集画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成する手段と、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群の各画素を決定する手段と、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群の各画素を決定する手段とを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【実施例４１】
【００８２】
実施例３６〜４０のいずれかの装置の例示的な実現形態によれば、表示画像は、第１画素群と第２画素群とを含むことができ、生成手段は、複数の収集画像の各々をプレフィルタリングすることによって、収集された複数の画像の各々を表す複数の漸進的に低い解像度のミップマップ画像を生成する手段と、複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第１画素群の各画素を決定する手段と、複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、表示画像の第２画素群の各画素を決定する手段とを含むことができ、第２解像度のミップマップ画像は、第１解像度のミップマップ画像よりも低解像度である。
【００８３】
例示的な実現形態によれば、表示画像は、第１画素部と第２画素部とを含むことができる。例示的な実現形態によれば、第１画素部は、中央部であってもよい。中央部という用語は、表示画像を見ている人間の目の中心窩に入る可能性が高い表示画像の画素に対応する画素の集合に対応してもよい。（「非中央部」または「外側部」と呼ぶことができる）第２画素部は、表示画像を見ている人間の目の中心窩に入る可能性が低い表示画像の画素群または領域に対応してもよい。第１画素群と第２画素群とまたは第１領域と第２領域とは、例えば、画像の第１領域および画像の第２領域を画定し、画像の第１領域が完全にまたは少なくとも部分的に画像の第２領域内に位置するように画像の第２領域が画像の第１領域を囲むことによって、区別されてもよい。第１領域と第２領域とは、第１領域が第２領域内に位置し且つ第２領域によってが完全にまたは少なくとも部分的に囲まれるように、所定のパターンに従って任意の形状に形成されてもよい。中心窩が一般的にユーザの視野の中央領域に対応するため、このように第１領域（中央領域）および第２領域（非中心領域）を分かることによって、第１領域の画素は、第２領域の画素よりも中心窩に入る可能性が高い。言い換えれば、第１領域の画素が第２領域の画素よりも中心窩に対応する可能性が高くなるように、第１領域を選択する。
【００８４】
これを実現する１つの可能なまたは例示的な実施例は、画像の中央部（または中央領域または中央部分）に対応する第１領域と、画像の残りの部分に対応する第２領域とを定義することである。ユーザが画像の中央部に注視する可能性が高いと仮定する場合、このような分割は、第１領域を中心窩に入れるという目標を達成する可能性が高い。しかしながら、第１領域および第２領域の他の分割も可能である。例えば、第１領域は、所定の形状（正方形、円形または他の任意の形状）を有する領域であってもよく、その中心が視線追跡器によって決定されたユーザの視点と一致するように選択される。視線追跡器は、視野の中心をユーザが注視している視点として決定するため、視点の周囲に位置する第１領域を選択すると、ユーザが表示画像を観察するときに、表示画像の第１領域が第２領域よりも中心窩に入る可能性が高くなる。例示的な実現形態によれば、第１領域および第２領域を分離すると、異なる計算量を使用する方法を用いて、画像の第１部分および第２部分を決定またはレンダリングすることができる。したがって、例示的な実現形態によれば、より高い計算量を用いて、中心窩に対応する第１領域の画素を決定またはレンダリングし、より低い計算量を用いて、第２領域の画素をレンダリングする。この例示的な実現形態によれば、これによって、第２領域よりも第１領域の画像の品質をより高くすることができる。第２領域の画素が中心窩に入らない可能性が高いため、察知可能な画質を低下せず、全体的な計算量を削減することができ、計算資源を節約し、レンダリング速度を向上させる。さらなる例示的な実現形態において、第１部分の画素を決定またはレンダリングする時に使用した解像度よりも小さい解像度を用いて、第２部分の画素を決定またはレンダリングすることができる。これによって、第２部分の画素の決定は、第１部分の画素の決定またはレンダリングよりも少ない計算量（したがって、より少ない計算資源）を必要とする。
【００８５】
図７は、本明細書に記載の技術を実施するために使用できる汎用コンピュータ装置７００および汎用モバイルコンピュータ装置７５０の一例を示す図である。コンピューティング装置７００は、ラップトップ、デスクトップ、ワークステーション、ＰＤＡ（Personal Digital Assistant）、サーバ、ブレードサーバ、メインフレームおよび他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すように意図されている。コンピューティング装置７５０は、ＰＤＡ、携帯電話、スマートフォンおよび他の類似するコンピューティング装置などの様々な形態のモバイル装置を表すように意図されている。図示された構成要素、それらの接続および関係並びにそれらの機能は、例示的なものに過ぎず、本明細書に記載および／または請求される発明の実施を限定するものではない。
【００８６】
コンピューティング装置７００は、プロセッサ７０２と、メモリ７０４と、記憶装置７０６と、メモリ７０４および高速拡張ポート７１０を連結する高速インターフェイス７０８と、低速バス７１４および記憶装置７０６を連結する低速インターフェイス７１２とを含む。要素７０２、７０４、７０６、７０８、７１０および７１２は、様々なバスを使用して相互に接続され、共通のマザーボード上に実装されてもよく、または適切な他の方法で実装されてもよい。プロセッサ７０２は、メモリ７０４または記憶装置７０６に記憶された命令を含むコンピューティング装置７００内に実行される命令を処理することによって、外部入力／出力装置のＧＵＩに、例えば高速インターフェイス７０８に接続されたディスプレイ７１６にグラフィック情報を表示することができる。他の実施態様において、複数のプロセッサおよび／または複数のバスは、複数のメモリおよび複数種類のメモリと共に、適切に使用されることができる。また、各装置が（例えば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとして）必要な動作の一部を実行するように、複数のコンピューティング装置７００を接続することができる。
【００８７】
メモリ７０４は、コンピューティング装置７００に情報を格納する。一実現形態において、メモリ７０４は、揮発性メモリユニットである。別の実現形態において、メモリ７０４は、不揮発性メモリユニットである。メモリ７０４は、別の形態のコンピュータ可読媒体、例えば、磁気ディスクまたは光ディスクであってもよい。
【００８８】
記憶装置７０６は、コンピューティング装置７００に大容量の記憶を提供することができる。一実現形態において、記憶装置７０６は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光学ディスク装置、テープディスク装置、フラッシュメモリまたは他の同様の固体メモリ装置、または記憶エリアネットワークまたは他の構成内の装置を含むアレイ記憶装置などのコンピュータ可読媒体を含むことができる。コンピュータプログラム製品は、情報担体に有形的に具体化することができる。また、コンピュータプログラム製品は、命令を含むことができる。これらの命令は、実行されると、上述したような１つ以上の方法を実行することができる。情報担体は、例えば、メモリ７０４、記憶装置７０６、またはプロセッサ７０２上のメモリなどのコンピュータ可読媒体または機械可読媒体である。
【００８９】
高速コントローラ７０８は、コンピューティング装置７００の高速の帯域幅集約動作を管理し、低速コントローラ７１２は、低速の帯域幅集約動作を管理する。このような機能の割り当ては、例示に過ぎない。一実現形態において、高速コントローラ７０８は、メモリ７０４、（例えば、グラフィックプロセッサまたはアクセラレータを介して）ディスプレイ７１６、および様々な拡張カード（図示せず）を挿入できる高速拡張ポート７１０に連結される。この実現形態において、低速コントローラ７１２は、記憶装置７０６および低速拡張ポート７１４に連結される。様々な通信ポート（例えば、ＵＳＢ、ブルートゥース（登録商標）、イーサネット（登録商標）、無線イーサネット）を含み得る低速拡張ポートは、例えば、キーボード、ポインティング装置、スキャナなどの１つ以上の入出力装置に連結されてもよく、またはネットワークアダプタを介して、スイッチまたはルータなどのネットワーキング装置に連結されてもよい。
【００９０】
図示のように、コンピューティング装置７００は、いくつかの異なる形態で実装されることができる。例えば、コンピューティング装置７００は、標準サーバ７２０として実装されてもよく、または標準サーバの群内に複数回実装されてもよい。また、コンピューティング装置７００は、サーバラックシステム７２４の一部として実装されてもよい。さらに、コンピューティング装置７００は、ラップトップコンピュータ７２２のようなパーソナルコンピュータに実装されてもよい。代替的には、コンピューティング装置７００の要素は、装置７５０などのモバイル装置（図示せず）内の他の要素と組み合わてもよい。このような装置の各々は、１つ以上のコンピューティング装置７００、７５０を含むことができ、システムの全体は、互いに通信できる複数のコンピューティング装置７００、７５０から構成されることができる。
【００９１】
コンピューティング装置７５０は、プロセッサ７５２、メモリ７６４、ディスプレイ７５４などの入出力装置、通信インターフェイス７６６、およびトランシーバ７６８を含む。装置７５０は、追加の記憶を提供するために、マイクロドライブまたは他の素子などの記憶装置を備えることもできる。要素７５０、７５２、７６４、７５４、７６６および７６８は、様々なバスを介して相互に接続され、一部の要素は、共通のマザーボード上に実装されてもよく、または適切な他の方法で実装されてもよい。
【００９２】
プロセッサ７５２は、メモリ７６４に格納された命令を含むコンピューティング装置７５０内の命令を実行することができる。このプロセッサは、互いに独立している複数のアナログプロセッサおよびデジタルプロセッサを備えるチップのチップセットとして実装されてもよい。このプロセッサは、装置７５０の他の要素の協調、例えば、ユーザインターフェイスの制御、装置７５０によるアプリケーションの実行、および装置７５０による無線通信を提供することができる。
【００９３】
プロセッサ７５２は、制御インターフェイス７５８およびディスプレイ７５４に結合されたディスプレイインターフェイス７５６を介してユーザと通信することができる。ディスプレイ７５４は、例えば、ＴＦＴ  ＬＣＤ（薄膜トランジスタ液晶ディスプレイ）またはＯＬＥＤ（有機発光ダイオードディスプレイ）、または他の適切なディスプレイ技術を使用することができる。表示インターフェイス７５６は、グラフィック情報および他の情報をユーザに表示するために、ディスプレイ７５４を駆動する適切な回路を含むことができる。制御インターフェイス７５８は、ユーザからの指令を受信し、変換してからプロセッサ７５２に提供することができる。また、プロセッサ７５２と通信するように外部インターフェイス７６２を設けることによって、装置７５０は、他の装置と近距離通信を行うことができる。外部インターフェイス７６２は、例えば、いくつかの実現形態において有線通信を提供することができ、他の実現形態において無線通信を提供することができる。複数のインターフェイスを使用することもできる。
【００９４】
メモリ７６４は、コンピューティング装置７５０に情報を格納する。メモリ７６４は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットのうち、１つ以上として実装することができる。拡張メモリ７７４は、例えば、ＳＩＭＭ（Single In Line Memory Module）カードインターフェイスを含む拡張インターフェイス７７２を介して、装置７５０に提供され、接続されてもよい。具体的には、拡張メモリ７７４は、上述したプロセスを実行するまたは補足するための命令を格納することができ、セキュリティ情報を格納することもできる。したがって、拡張メモリ７７４は、例えば、装置７５０のセキュリティモジュールとして提供されてもよく、装置７５０の安全使用を可能にする命令でプログラムされてもよい。さらに、ＳＩＭＭカードを介して、追加情報と共に、セキュリティアプリケーションを配置することができる。例えば、ハッキングできない方法で、ＳＩＭＭカード上に識別情報を配置することができる。
【００９５】
以下に説明するように、メモリは、例えば、フラッシュメモリおよび／またはＮＶＲＡＭメモリを含むことができる。一実現形態において、コンピュータプログラム製品は、情報担体に有形的に具体化される。コンピュータプログラム製品は、命令を含み、これらの命令は、実行されると、上述したような１つ以上の方法を実行する。情報担体は、例えば、メモリ７６４、拡張メモリ７７４、またはプロセッサ７５２上のメモリなどのコンピュータ可読媒体または機械可読媒体であり、トランシーバ７６８または外部インターフェイス７６２を介して受信動作を実行してもよい。
【００９６】
装置７５０は、必要に応じてデジタル信号処理回路を含む通信インターフェイス７６６を介して無線通信を行うことができる。通信インターフェイス７６６は、とりわけ、ＧＳＭ（登録商標）通話、ＳＭＳ、ＥＭＳ、またはＭＭＳメッセージング、ＣＤＭＡ、ＴＤＭＡ、ＰＤＣ、ＷＣＤＭＡ（登録商標）、ＣＤＭＡ２０００、またはＧＰＲＳなどの様々なモードまたはプロトコルに基づいて、通信を提供することができる。このような通信は、例えば、高周波トランシーバ７６８を介して行われてもよい。また、ブルートゥース（登録商標）、ＷｉＦｉ（登録商標）、または他のトランシーバ（図示せず）を用いて、短距離通信を行うことができる。さらに、ＧＰＳ（全地球測位システム）受信モジュール７７０は、追加のナビゲーション関連無線データおよび位置関連無線データを装置７５０に提供することができる。これらの無線データは、装置７５０上で動作するアプリケーションに適宜に使用される。
【００９７】
装また、装置７５０は、音声コーデック７６０を使用して音声通信を行うことができる。音声コーデック７６０は、ユーザから受信した音声情報を使用可能なデジタル情報に変換することができる。同様に、音声コーデック７６０は、例えば、装置７５０の送受話器内のスピーカを介して、ユーザに可聴な音声を生成することができる。このような音声は、音声電話からの音声を含むことができ、記録された音声（例えば、音声メッセージ、音楽ファイル）を含むことができ、装置７５０上で動作するアプリケーションによって生成された音声を含むこともできる。
【００９８】
図示のように、コンピューティング装置７５０は、いくつかの異なる形態で実装されることができる。例えば、コンピューティング装置７５０は、携帯電話７８０として実装されてもよく、スマートフォン７８２、ＰＤＡまたは他の類似するモバイル装置の一部として実装されてもよい。
【００９９】
本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはそれらの組み合わせで実現することができる。これらの様々な実装は、プログラム可能なシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムにおける実装を含むことができる。このプログラム可能なシステムは、記憶システムからデータおよび命令を受信し、データおよび命令を記憶システムに送信するように記憶システムに連結された少なくとも１つのプログラム可能な専用または汎用のプロセッサ、少なくとも１つの入力要素、および少なくとも１つの出力装置を含む。
【０１００】
（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）これらのコンピュータプログラムは、プログラム可能なプロセッサ用の機械命令を含み、高度な手続き型プログラミング言語および／または高度な目標物指向プログラミング言語で実装することができ、および／またはアセンブリ言語／機械言語で実装することができる。「機械可読媒体」という用語は、本明細書に使用された場合、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用された機械可読信号としての機械命令を受け取る機械可読媒体を含む任意のコンピュータプログラム製品、機械および／または装置（例えば、磁気ディスク、光学ディスク、メモリ、プログラム可能な論理装置（ＰＬＤ））を指す。「機械可読信号」という用語は、機械命令および／またはデータをプログラム可能なプロセッサに提供するために使用された任意の信号を指す。
【０１０１】
ユーザとの情報交換を行うために、本明細書に記載のシステムおよび技術は、ディスプレイ素子（例えば、ＣＲＴ（ブラウン管）モニタまたはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードと、ポインティング装置（例えば、マウスまたはトラックボール）とを含むコンピュータ上で実装することができる。ディスプレイ素子は、情報を表示することができ、ユーザは、キーボードとポインティング装置とを用いて、コンピュータに入力を提供することができる。他の種類の装置を使用して、ユーザと情報交換を行うこともできる。例えば、ユーザに与えるフィードバックは、任意の形の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、ユーザから受け入れる入力は、音響入力、音声入力、または触覚入力を含む任意の形態であってもよい。
【０１０２】
本明細書に記載のシステムおよび技術は、バックエンド要素（例えば、データサーバ）を含むコンピューティングシステム、またはミドルウェア要素（例えば、アプリケーションサーバ）を含むコンピューティングシステム、またはフロントエンド要素（例えば、ユーザが本明細書に記載のシステムおよび技術の実装と情報交換を行うことができるグラフィカルユーザインターフェイスまたはウェブブラウザを含むクライアントコンピュータ）を含むコンピューティングシステム、またはバックエンド要素、ミドルウェア要素およびフロントエンド要素の任意の組み合わせを含むコンピューティングシステムに実装されてもよい。これらのシステム要素は、任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットを含む。
【０１０３】
コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントとサーバとは、一般的に互いに遠隔であり、一般的に通信ネットワークを介して情報交換を行う。クライアントとサーバとの関係は、各々のコンピュータ上で動作しており、互いにクライアント−サーバ関係を有するコンピュータプログラムに依存する。
【０１０４】
複数の実施形態を説明したことにも拘わらず、本発明の精神および範囲から離脱することなく、様々な変更をなし得ることが理解されるであろう。
【０１０５】
また、望ましい結果を達成するために、図示の論理フローは、示された特定の順序でまたは逐次に行う必要がない。図示のフローに他のステップを追加してもよく、または図示のフローから他のステップを省いてもよい。記載のシステムに他の要素を追加してもよく、システムから他の要素を除去してもよい。したがって、他の実施形態は、添付の特許請求の範囲内に含まれる。
【図１】
2018537748.tif 000003
【図２Ａ】
2018537748.tif 000004
【図２Ｂ】
2018537748.tif 000005
【図３】
2018537748.tif 000006
【図４】
2018537748.tif 000007
【図５】
2018537748.tif 000008
【図６】
2018537748.tif 000009
【図７】
2018537748.tif 000010
【手続補正書】
【提出日】平成30年7月26日(2018.7.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するためのコンピュータで実行される方法であって、前記方法は、
複数のカメラから複数の画像を収集するステップと、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを備え、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、当該生成するステップは、
第１計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定するステップと、
第１計算量よりも低い第２計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定するステップとを含み、前記方法は、
前記表示画像を前記ディスプレイに表示するステップを備える、コンピュータで実行される方法。
【請求項２】
前記第１計算量および前記第２計算量は、
前記表示画像の少なくとも一部の画素を決定するために使用される複数のブレンド技術から１つのブレンド技術を選択することと、
前記表示画像の少なくとも一部の画素を決定するために使用される前記複数の収集された画像の解像度を調整することと、
前記表示画像の少なくとも一部の画素を決定するために使用される前記複数の収集された画像の数を調整することとのうちの１つ以上に基づいて、決定または変更され得る、請求項１に記載のコンピュータで実行される方法。
【請求項３】
前記中央画素部を決定するステップは、第１ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することを備え、
前記外側画素部を決定するステップは、第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することを備える、請求項１および２のいずれか１項に記載のコンピュータで実行される方法。
【請求項４】
前記第１ブレンド技術は、前記複数の収集された画像の１つ以上の画素の加重平均化を用いて、前記中央画素部の各画素を決定することを備え、前記加重平均化を行う時に、前記収集された画像の一部の画素は、前記収集された画像の他の画素よりも重く加重され、
前記第２ブレンド技術は、前記複数の収集された画像の１つ以上の画素の直線平均化を用いて、前記外側画素部の各画素を決定することを備え、前記加重平均化は、前記直線平均化よりも計算上複雑である、請求項３に記載のコンピュータで実行される方法。
【請求項５】
前記生成するステップは、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成することを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１〜４のいずれか１項に記載のコンピュータで実行される方法。
【請求項６】
請求項１に記載の方法に従って、ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、左側画像および右側画像の各々を生成するステップと、
前記左側画像および前記右側画像を前記ディスプレイに表示するステップとを備える、請求項１〜５のいずれか１項に記載のコンピュータで実行される方法。
【請求項７】
前記表示するステップは、前記表示画像を仮想現実ヘッドセットのディスプレイに表示することを含む、請求項１〜６のいずれか１項に記載のコンピュータで実行される方法。
【請求項８】
前記コンピュータによって実行されるプログラムであって、前記プロセッサは、前記コンピュータに、請求項１〜７のいずれか１項に記載の方法を実行させる、プログラム。
【請求項９】
装置であって、
複数のカメラから収集された複数の画像を格納するように構成されたメモリと、
ライトフィールドレンダリングモジュールとを備え、
前記ライトフィールドレンダリングモジュールは、
収集された複数の画像を受け取り、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するように構成され、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、前記表示画像の生成は、
第１計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することと、
第１計算量よりも低い第２計算量を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することとを含み、前記装置は、
前記表示画像を表示するように構成されたディスプレイを備える、装置。
【請求項１０】
前記装置は、ヘッドマウントディスプレイ（ＨＭＤ）の一部として提供される、請求項９に記載の装置。
【請求項１１】
前記装置は、仮想現実ヘッドセットまたは仮想現実システムの一部として提供される、請求項９および１０のいずれか１項に記載の装置。
【請求項１２】
ライトフィールドレンダリングを用いて、複数の画像に基づいておよび可変の計算量を使用することによって、画像を生成するためのコンピュータで実行される方法であって、前記方法は、
複数のカメラから複数の画像を収集するステップと、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成するステップとを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
ライトフィールドレンダリングを用いて、複数の収集された画像に基づいて、ディスプレイに出力するための表示画像を生成するステップとを備え、前記ディスプレイは、前記ディスプレイの中心付近の中央画素部と、前記中央画素部外側の外側画素部とを含み、当該生成するステップは、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度であり、前記方法は、
前記表示画像を前記ディスプレイに表示するステップを備える、コンピュータで実行される方法。
【請求項１３】
前記中央画素部を決定することは、第１ブレンド技術を用いて、前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記中央画素部を決定することを備え、
前記外側画素部を決定することは、第２ブレンド技術を用いて、前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記外側画素部を決定することを含み、前記第１ブレンド技術は、前記第２ブレンド技術よりも計算上高価である、請求項１２に記載の方法。
【請求項１４】
前記コンピュータによって実行されるプログラムであって、前記プロセッサは、前記コンピュータに、請求項１２または１３に記載の方法を実行させる、プログラム。
【請求項１５】
ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を使用する表示画像を生成し、画素の位置に基づいて、前記表示画像の複数の画素を生成するステップと、
前記表示画像をディスプレイに表示するステップとを備える、コンピュータで実行される方法。
【請求項１６】
前記生成するステップは、
第１ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第１画素群を決定することと、
第１ブレンド技術よりも計算上複雑ではない第２ブレンド技術を用いて、前記複数の収集された画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の第２画素群を決定することとを備える、請求項１５に記載のコンピュータで実行される方法。
【請求項１７】
前記第１画素群は、前記ディスプレイの中心付近の中央画素部を含み、
前記第２画素群は、前記中央画素部外側の外側画素部を含む、請求項１６に記載のコンピュータで実行される方法。
【請求項１８】
前記第１ブレンド技術は、前記複数の収集された画像の１つ以上の画素の加重平均化を用いて、前記中央画素部の各画素を決定することを備え、前記加重平均化を行う時に、前記収集された画像の一部の画素は、前記収集された画像の他の画素よりも重く加重され、
前記第２ブレンド技術は、前記複数の収集された画像の１つ以上の画素の直線平均化を用いて、前記外側画素部の各画素を決定することを備え、前記加重平均化は、前記直線平均化よりも計算上複雑である、請求項１６〜１７のいずれか１項に記載のコンピュータで実行される方法。
【請求項１９】
前記表示画像は、第１画素群と第２画素群とを含み、
前記生成するステップは、
前記複数の収集された画像の各々をプレフィルタリングし、前記複数の収集された画像の各々のために、徐々に低解像度となる複数のミップマップ画像を生成することを備え、前記複数のミップマップ画像の各々は、収集された１つの画像を表し、
前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第１画素群の各画素を決定することと、
前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第２画素群の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１６〜１８のいずれか１項に記載のコンピュータで実行される方法。
【請求項２０】
前記表示画像は、第１画素群と第２画素群とを含み、
前記生成するステップは、
第１ブレンド技術を用いて、前記複数の収集された画像の各々を表す第１解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第１画素群の各画素を決定することと、
第１ブレンド技術とは異なる第２ブレンド技術を用いて、前記複数の収集された画像の各々を表す第２解像度のミップマップ画像の１つ以上の画素をブレンドすることに基づいて、前記表示画像の前記第２画素群の各画素を決定することとを備え、前記第２解像度のミップマップ画像は、前記第１解像度のミップマップ画像よりも低解像度である、請求項１６〜１９のいずれか１項に記載のコンピュータで実行される方法。
【請求項２１】
前記生成するステップは、ライトフィールドレンダリングを用いて、複数の画像に基づいて、可変の計算量を各々使用する左側表示画像および右側表示画像を生成し、画素の位置に基づいて、前記左側表示画像および右側表示画像の複数の画素を生成することを備え、
前記表示するステップは、前記表示画像をディスプレイに表示することを備える、請求項１６〜２０のいずれか１項に記載のコンピュータで実行される方法。
【請求項２２】
前記表示ステップは、前記表示画像を仮想現実ヘッドセットのディスプレイに表示することを含む、請求項１５〜２１のいずれか１項に記載のコンピュータで実行される方法。
【請求項２３】
前記コンピュータによって実行されるプログラムであって、前記プロセッサは、前記コンピュータに、請求項１５または２２に記載の方法を実行させる、プログラム。
【国際調査報告】
2018537748.tif 000011
2018537748.tif 000012