(57)【特許請求の範囲】
【請求項１】
画像を視るよう配置されたレンズを有するディスプレイと、
画像入力ソースと通信し、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする画像マッピングモジュールと、
前記画像マッピングモジュールと通信し、前記受信画像中の複数の動径歪みを補償して動径修正済み画像を出力する動径収差補償モジュールと、
前記画像マッピングモジュールと通信し、前記受信画像の複数の異なる色チャネルに対してそれぞれ色歪みを補償して色修正済み画像を出力する色収差補償モジュールと、
前記動径収差補償モジュールおよび前記色収差補償モジュールと通信し、前記受信画像中の複数の歪みを低減するべく前記動径修正済み画像と前記色修正済み画像とを適応的にブレンディングして修正済み合成画像とし、前記ディスプレイを介して視られるよう前記修正済み合成画像を出力するブレンディングモジュールと
を備え、前記複数の歪みメッシュは、赤色チャネル、緑色チャネル、および青色チャネルを含む前記複数の異なる色チャネルのそれぞれに対する歪みメッシュを含み、前記色歪みを補償するために、前記緑色チャネルの前記歪みメッシュは、レンズ歪み中心からの新たな距離として基準または既定の測定値を与えることによりマッピングされ、前記赤色チャネルおよび前記青色チャネルの前記歪みメッシュは、前記緑色チャネルに対する前記新たな距離に基づいてスケールすることによりマッピングされる、歪み低減システム。
【請求項２】
前記修正済み合成画像は、低減された複数の歪みを含む、請求項１に記載の歪み低減システム。
【請求項３】
前記複数の歪みメッシュの各々は、樽形に歪んでいる、請求項１または２に記載の歪み低減システム。
【請求項４】
前記複数の歪みメッシュの各々は、三角形グリッドを含む、請求項３に記載の歪み低減システム。
【請求項５】
前記赤色チャネルおよび前記青色チャネルの前記歪みメッシュは、前記レンズ歪み中心からの距離の２乗を用いてスケールすることによりマッピングされる、請求項１から４のいずれか一項に記載の歪み低減システム。
【請求項６】
前記赤色チャネルおよび前記青色チャネルの前記歪みメッシュは、複数の色収差を補償するための複数のレンズ固有のパラメータを用いてスケールすることによりマッピングされる、請求項１から５のいずれか一項に記載の歪み低減システム。
【請求項７】
受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする画像マッピングモジュールと、
前記受信画像中の複数の動径歪みを補償して動径修正済み画像を出力する動径収差補償モジュールと、
前記受信画像の複数の異なる色チャネルに対してそれぞれ色歪みを補償して色修正済み画像を出力する色収差補償モジュールと、
前記受信画像中の複数の歪みを低減するべく前記動径修正済み画像と前記色修正済み画像とを適応的にブレンディングして修正済み合成画像とし、レンズを有するディスプレイを介して視られるよう前記修正済み合成画像を出力するブレンディングモジュールと
を備え、前記複数の歪みメッシュは、赤色チャネル、緑色チャネル、および青色チャネルを含む前記複数の異なる色チャネルのそれぞれに対する歪みメッシュを含み、前記色歪みを補償するために、前記緑色チャネルの前記歪みメッシュは、レンズ歪み中心からの新たな距離として基準または既定の測定値を与えることによりマッピングされ、前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、前記緑色チャネルに対する前記新たな距離に基づいてスケールすることによりマッピングされる、歪み低減装置。
【請求項８】
前記修正済み合成画像は、低減された複数の歪みを含む、請求項７に記載の歪み低減装置。
【請求項９】
前記複数の歪みメッシュの各々は、樽形に歪んでいる、請求項７または８に記載の歪み低減装置。
【請求項１０】
前記複数の歪みメッシュの各々は、三角形グリッドを含む、請求項９に記載の歪み低減装置。
【請求項１１】
前記赤色チャネルおよび前記青色チャネルの前記歪みメッシュは、前記レンズ歪み中心からの距離の２乗を用いてスケールすることによりマッピングされる、請求項７から１０のいずれか一項に記載の歪み低減装置。
【請求項１２】
前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、複数の色収差を補償するための複数のレンズ固有のパラメータを用いてスケールすることによりマッピングされる、請求項７から１１のいずれか一項に記載の歪み低減装置。
【請求項１３】
受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする段階と、
前記受信画像中の複数の動径歪みを補償して動径修正済み画像を出力する段階と、
前記受信画像の複数の異なる色チャネルに対してそれぞれ色歪みを補償して色修正済み画像を出力する段階と、
前記受信画像中の複数の歪みを低減するべく前記動径修正済み画像と前記色修正済み画像とを適応的にブレンディングして修正済み合成画像とする段階と、
レンズを有するディスプレイを介して視られるよう前記修正済み合成画像を出力する段階と
を備え、前記複数の歪みメッシュは、赤色チャネル、緑色チャネル、および青色チャネルを含む前記複数の異なる色チャネルのそれぞれに対する歪みメッシュを含み、前記色歪みを補償するために、前記緑色チャネルの歪みメッシュは、レンズ歪み中心からの新たな距離として基準または既定の測定値を与えることによりマッピングされ、前記赤色チャネルおよび前記青色チャネルの前記歪みメッシュは、前記緑色チャネルに対する前記新たな距離に基づいてスケールすることによりマッピングされる、歪み低減方法。
【請求項１４】
前記修正済み合成画像は、低減された複数の歪みを含む、請求項１３に記載の歪み低減方法。
【請求項１５】
前記複数の歪みメッシュの各々は、樽形に歪んでいる、請求項１３または１４に記載の歪み低減方法。
【請求項１６】
前記複数の歪みメッシュの各々は、三角形グリッドを含む、請求項１５に記載の歪み低減方法。
【請求項１７】
前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、レンズ歪み中心からの距離の２乗を用いてスケールすることによりマッピングされる、請求項１３から１６のいずれか一項に記載の歪み低減方法。
【請求項１８】
前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、複数の色収差を補償するための複数のレンズ固有のパラメータを用いてスケールすることによりマッピングされる、請求項１３から１７のいずれか一項に記載の歪み低減方法。
【請求項１９】
実行される場合、コンピュータに、
受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする手順と、
前記受信画像中の複数の動径歪みを補償して動径修正済み画像を出力する手順と、
前記受信画像の複数の異なる色チャネルに対してそれぞれ色歪みを補償して色修正済み画像を出力する手順と、
前記受信画像中の複数の歪みを低減するべく前記動径修正済み画像と前記色修正済み画像とを適応的にブレンディングして修正済み合成画像とする手順と、
レンズを有するディスプレイを介して視られるよう前記修正済み合成画像を出力する手順と
を実行させ、前記複数の歪みメッシュは、赤色チャネル、緑色チャネル、および青色チャネルを含む前記複数の異なる色チャネルのそれぞれに対する歪みメッシュを含み、前記色歪みを補償するために、前記緑色チャネルの歪みメッシュは、レンズ歪み中心からの新たな距離として基準または既定の測定値を与えることによりマッピングされ、前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、前記緑色チャネルに対する前記新たな距離に基づいてスケールすることによりマッピングされる、コンピュータプログラム。
【請求項２０】
前記修正済み合成画像は、低減された複数の歪みを含む、請求項１９に記載のコンピュータプログラム。
【請求項２１】
前記複数の歪みメッシュの各々は、樽形に歪んでいる、請求項１９または２０に記載のコンピュータプログラム。
【請求項２２】
前記複数の歪みメッシュの各々は、三角形グリッドを含む、請求項２１に記載のコンピュータプログラム。
【請求項２３】
前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、レンズ歪み中心からの距離の２乗を用いてスケールすることによりマッピングされる、請求項１９から２２のいずれか一項に記載のコンピュータプログラム。
【請求項２４】
前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、複数の色収差を補償するための複数のレンズ固有のパラメータを用いてスケールすることによりマッピングされる、請求項１９から２３のいずれか一項に記載のコンピュータプログラム。
【請求項２５】
受信画像を複数の歪みメッシュのうちの１または複数へとマッピングするための手段と、
前記受信画像中の複数の動径歪みを補償して動径修正済み画像を出力するための手段と、
前記受信画像の複数の異なる色チャネルに対してそれぞれ色歪みを補償して色修正済み画像を出力するための手段と、
前記受信画像中の複数の歪みを低減するべく前記動径修正済み画像と前記色修正済み画像とを適応的にブレンディングして修正済み合成画像とし、レンズを有するディスプレイを介して視られるよう前記修正済み合成画像を出力するための手段と
を備え、前記複数の歪みメッシュは、赤色チャネル、緑色チャネル、および青色チャネルを含む前記複数の異なる色チャネルのそれぞれに対する歪みメッシュを含み、前記色歪みを補償するために、前記緑色チャネルの歪みメッシュは、レンズ歪み中心からの新たな距離として基準または既定の測定値を与えることによりマッピングされ、前記赤色チャネルおよび前記青色チャネルの歪みメッシュは、前記緑色チャネルに対する前記新たな距離に基づいてスケールすることによりマッピングされる、歪み低減装置。
【請求項２６】
請求項１９から２４のいずれか一項に記載のコンピュータプログラムを格納する、コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］  本出願は、２０１４年６月２６日に出願された米国特許出願第１４／３１６，３２２号に対する優先権の利益を主張する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（ＨＭＤ）は、ユーザまたはビューアに、ビューアの両眼の前方に装着されたディスプレイによって追加的な情報を提供するのに使用され得る。ＨＭＤは多くの場合、例えば３次元（３Ｄ）ゲーム、拡張現実アプリケーションなどにおいて、ビューアの視野を埋めることによりユーザに没入感のある体験を提供するのに使用され得る。比較的低コストで没入感を実現するべく、ディスプレイパネルを各眼の前方に近距離で配置してよい。
【０００３】
広角の光学機器（レンズ）は、ディスプレイにフォーカスし、広い視野を可能とするのに使用され得る。安価で軽く、低品質のレンズは、動径歪みおよび色収差などの画像の空間的歪みおよび色歪みをもたらし得る。これらのレンズにより生じる動径歪みは通常、ピンクッション歪みを含む。結果として、表示される画像は、歪みを相殺すべくプリワーピングされ得る。プリワーピングは通常、ピクセルシェーダを用いて後処理ステップにおいて実行され得る。しかしながら、ピクセルシェーダにより利用される離散的なリサンプリングは、画像品質の低下をもたらし得る。さらに、一部のグラフィクスアーキテクチャは、ピクセルシェーダの使用をサポートしていないことがある。
【図面の簡単な説明】
【０００４】
本開示の複数の実施形態の様々な新規な態様が、以下の実施可能な明細書および添付の特許請求の範囲を所与とすれば、また以下の図面を参照することにより、当業者に明らかとなるであろう。
【図１】一実施形態による歪み補償システムの例のブロック図である。
【図２Ａ】一実施形態によるレンズおよび関連する色収差の例の図示である。
【図２Ｂ】一実施形態によるレンズおよび関連する色収差の例の図示である。
【図３Ａ】一実施形態による１フェーズにおける歪みメッシュの例の図示である。
【図３Ｂ】一実施形態による１フェーズにおける歪みメッシュの例の図示である。
【図３Ｃ】一実施形態による１フェーズにおける歪みメッシュの例の図示である。
【図４】一実施形態による歪み補償方法の例のフローチャートである。
【図５】一実施形態によるシステムの例のブロック図である。
【発明を実施するための形態】
【０００５】
図１は、本開示の一実施形態によるシステム１００の例のブロック図を示す。システム１００は、画像を視るおよび／またはキャプチャするための１または複数の光学レンズ１２０を有する、例えばヘッドマウントディスプレイ（ＨＭＤ）１１０などのウェアラブルディスプレイを含み得る。ＨＭＤ１１０は、ユーザにより着用されて、３次元（３Ｄ）のゲーム（例えばビデオゲーム、代替現実ゲームおよび拡張現実ゲーム）および他の類似のアプリケーションに特に好適であり得る、没入感のある視体験を提供し得る。標準的なＨＭＤ１１０を示すが、この図示は説明のみを目的とするものであることに留意すべきである。本開示から逸脱することなく、例えば、アクションスポーツのアイウェア（例えばゴーグル類またはメガネ類）、ビデオ録画メガネ類およびアイウェア、ヘッドマウントカメラなどを含む他のディスプレイを使用してもよい。レンズ１２０は、３Ｄのゲームおよび類似のアプリケーションに特に好適な広角レンズであってよい。しかしながらレンズ１２０は、光学的品質に応じて、レンズ１２０を介して視られる画像中に動径歪みおよび色歪みを含む歪みをもたらし得る。
【０００６】
少なくともいくつかの実施形態において、システム１００は任意選択的に、ＨＤオーディオ・ビデオ（ＡＶ）ソース１０２（例えばブルーレイディスク、デジタルバーサタイルディスク／ＤＶＤ、またはストリーミングビデオデバイス）、およびハイディフィニション（ＨＤ）ディスプレイ１０４（例えばＨＤＭＩ（登録商標）と互換性のあるテレビ／ＴＶ、ＨＤＴＶ、またはスマートＴＶ）も含み得る。ＡＶソース１０２により、画像がＨＭＤ１１０を介して再生および視られることが可能になり得る。いくつかの実施形態において、ＡＶソース１０２は、例えばＨＤＭＩ（登録商標）入力を介して、画像がＨＤディスプレイ１０４上で表示されることを可能にし、それにより画像がＨＭＤ１１０を介して視られることが可能となる。いくつかの実施形態において、ＡＶソース１０２および／またはＨＤディスプレイ１０４は、ＨＭＤ１１０と直接通信し得る。
【０００７】
図示されるシステム１００は、レンズ１２０と通信する歪み補償システム１３０を含む。いくつかの実施形態において、歪み補償システム１３０は、例えばＡＶソース１０２および／またはレンズ１２０などの入力ソースからの入力画像１０３を受信する。図示される歪み補償システム１３０は、受信された入力画像中の歪みを低減するための処理を実行するシステムプロセッサ１３５およびロジックモジュール１４０を含む。いくつかの実施形態において、歪み補償システム１３０は、ＨＭＤ１１０内に完全にまたは部分的に組み込まれ得る。少なくともいくつかの実施形態において、ロジックモジュール１４０は、画像マッピングモジュール１５０、動径収差補償（ＲＡＣ）モジュール１６０、色収差補償（ＣＡＣ）モジュール１７０、ブレンディングモジュール１８０、およびフレームバッファ１９５を有するメモリ１９０を含む。
【０００８】
少なくとも１つの実施形態において、歪み補償システム１３０は、例えばＡＶソース１０２などの画像ソースからキャプチャされた入力画像を受信し、ロジックモジュール１４０に、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする処理と、受信画像中の動径歪みおよび色収差を補償（例えば修正）する処理と、複数の修正済み画像をブレンディングする処理と、ブレンディング済み／修正済み画像をＨＭＤ１１０に出力する処理とを実行させ、それにより、低減された歪みを有する修正済み画像がユーザにより視られることが可能となる。ロジックモジュール１４０は、画像マッピング技術、動径歪みおよび色歪みに関する技術、および画像ブレンディング技術を含み得、これらは、本明細書において説明される動径歪みおよび色歪みの補償を実行するのに好適な、例えばロジック命令セット、構成可能なロジックまたは固定機能ハードウェアロジックを介して実装され得る。
【０００９】
少なくとも１つの実施形態において、画像マッピングモジュール１５０は１または複数の入力画像を受信し、複数の歪みメッシュのうちの１または複数へと受信画像をマッピングする。システム１００のＲＡＣモジュール１６０は、受信画像中の動径収差を修正または補償し得る。ＲＡＣモジュール１６０は、受信画像のシャープネスを維持するべく、例えばバイキュービックテクスチャ補間を利用して、元の画像信号に対するより良好な近似を生成し得る。バイキュービック補間は、動径歪みを相殺または修正し、動径修正済み画像を出力するよう設計された樽形歪みを含み得る。図示されるＣＡＣモジュール１７０は、受信画像中の色収差を修正または補償する。例えば、ＣＡＣモジュール１７０は、異なる複数の色チャネル（例えば赤色チャネル、緑色チャネル、および青色チャネル）の各々について独立して、色収差を修正し得る。ＣＡＣモジュール１７０はまた、可視光スペクトル全体ではなく３つの色チャネル（すなわち赤、緑、青）について検討することにより、色収差を最小化し得る。ＣＡＣモジュール１７０は、色収差の度合いを制御するべく、色チャネルに応じて複数のレンズ固有のパラメータを適用し得る。ＣＡＣモジュール１７０は、この修正を実行する際、各色チャネルについて別々に個々の修正済み画像（例えば色修正済み画像）をレンダリングし得る。次にブレンディングモジュール１８０は、得られた個々の修正済み画像をブレンディングして、ブレンディング済みの修正済み（すなわち、合成された）画像を生じ得る。ブレンディング済みの修正済み画像はＨＭＤ１１０に出力され得、したがってブレンディング済みの修正済み画像は、レンズ１２０を介して視られる際に低減された動径歪みおよび色収差を含む。ＲＡＣモジュール１６０、ＣＡＣモジュール１７０、およびブレンディングモジュール１８０の出力は、メモリ１９０に格納され得る。メモリ１９０は、個別にレンダリングされた複数の修正済み画像および複数のブレンディング済みの修正済み画像を格納する、フレームバッファ１９５などのビデオ互換性ストレージを含み得る。
【００１０】
場合により「フリンジ」、「カラーフリンジ」、「パープルフリンジ」などと呼ばれる色収差は、光学レンズ、特に低品質な広角レンズに通有の問題であり得る。色収差は通常、レンズが全ての波長の色を同一の焦平面にフォーカスすることが不可能な場合、および／または複数の波長の色が焦平面内の異なる複数の点にフォーカスされる場合に発生する。色収差は、レンズ内部の分散により引き起こされやすい。ここで、様々な色の光は、レンズを通過する間に異なる速度で進む。この効果は、特に高コントラスト条件において、画像がぼやけて見え、または画像が被写体の周辺に複数の色ぶち（例えば赤、緑、青、黄、紫、マゼンタ）を含む原因となる。「理想的な」レンズは、単一の焦点にすべての波長の光をフォーカスし得、「最小錯乱円」で最も良好に焦点が合う。
【００１１】
図２Ａ〜２Ｂは、本開示の一実施形態によるレンズおよび関連する色収差の例を図示する。図２Ａは、色収差を有さない「理想的な」レンズ２２０を図示し、レンズ２２０は光軸２３０および最良焦平面２３５を有する。図示されるレンズ２２０は、高品質なものであり、レンズを通過する光の色収差、歪みまたは分散を生じない。したがって、レンズ２２０により、レンズを通過する異なる光線Ｒ、Ｇ、Ｂが同一の焦点２３５にフォーカスされることが可能となる。一方、図２Ｂは、横色収差を生成する通常の低品質レンズ２４０を図示する。場合により「横の（ｔｒａｎｓｖｅｒｓｅ）」色収差とも呼ばれる横色収差は、異なる波長（すなわち、色）の光Ｒ、Ｇ、Ｂが光軸２５０に対して一定の角度でレンズ２４０を通過し、同一の焦平面２５５に沿った異なる点にフォーカスする場合に発生する。横色収差は、画像の中心には現れず、高コントラスト領域の画像の縁部または隅角部の方でのみ視認しやすくなる。ブルーフリンジおよびパープルフリンジは通常、一部の魚眼レンズ、広角レンズ、および低品質レンズにおいて現れる。
【００１２】
図３Ａ〜３Ｃは、本開示の一実施形態の様々なフェーズにおける歪みメッシュの例を図示する。図３Ａは、レンズ内の空間的な（すなわち、動径方向の）歪みにより生じるピンクッション効果またはピンクッション歪み３１０を図示する。光学系における空間的歪みは、レンズの形状および材料品質の両方に起因し得る。ピンクッション歪みは、ディスプレイパネル上に提示される画像を対応する樽形歪みでプリワーピングすることにより、相殺または修正され得る。図３Ｂは、ピンクッション歪み３１０（図３Ａ）を相殺または修正するべく適用され得る樽形歪み３２０を図示する。図３Ｃは、画像３４０に適用される三角形グリッド３３５を含む樽形歪み３３０を図示する。三角形グリッド３３５は、画像３４０などの画像中の歪みをより正確に修正することを可能とする複数の三角形のグリッドまたはネットワークを含む。樽形歪み３３０および三角形グリッド３３５は、特定の挙動を近似し得、画像をリサンプリングすることにより、または複数の頂点を変位させた歪みメッシュへと画像をマッピングすることにより、画像に適用することができる。
【００１３】
図４は、一実施形態による歪み補償方法の例のフローチャートである。方法４００は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、ファームウェア、フラッシュメモリなどのようなメモリの機械もしくはコンピュータ可読記憶媒体に格納されたロジック命令セットとして実行可能なソフトウェアに、例えばプログラマブルロジックアレイ（ＰＬＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、複合プログラマブルロジックデバイス（ＣＰＬＤ）などの構成可能なロジックに、例えば特定用途向け集積回路（ＡＳＩＣ）、相補型金属酸化膜半導体（ＣＭＯＳ）もしくはトランジスタトランジスタロジック（ＴＴＬ）技術などの回路技術を用いた固定機能ロジックハードウェアに、またはそれらの任意の組み合わせで実装され得る。例えば、方法４００に示される動作を実行するコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む１または複数のプログラミング言語の任意の組み合わせで記述され得る。
【００１４】
図示される処理ブロック４０２は、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングするものである。歪みメッシュは、受信画像中の動径歪みおよび色歪みを補償するべく生成され得る。図示される処理ブロック４０４は、受信画像中の動径歪みを補償し、動径修正済み画像を出力するものである。図示されるブロック４０６は、受信画像中の色歪みを補償し、色修正済み画像を出力するものである。歪みメッシュはまた、歪みの度合いを制御するべく、複数のレンズ固有のパラメータを適用し得る。歪みメッシュは、各色チャネル（すなわち赤、緑、青）について個別に生成され得、画像は各色チャネルについて独立して修正され得る。図示される処理ブロック４０８は、複数の独立した歪みメッシュを適応的にブレンディングして修正済み合成画像とし、受信画像中の歪み誤差を低減するものである。適応的ブレンディングとは、個々の歪みメッシュを足し合わせて修正済み合成画像を生成する処理を指し得る。修正済み合成画像は、単一の画像を得るべく、個々の歪みメッシュの修正済み画像を適応的にブレンディングすることにより、例えば、重ね合わせて結合させることにより生じ得る。図示される処理ブロック４１０は、修正済み合成画像を、修正済み画像を視るためのレンズを有するディスプレイへと任意選択的に出力するものであり、それにより（処理後における）修正済み画像は、レンズを介して視られた際に、（処理前に比べ）低減された歪みを有する。
【００１５】
光学系における空間的歪みは、レンズの形状、品質および材料に起因し得る。この歪み（およびその修正）は、以下の式１に関して以下に示されるテイラー級数に関して表され得る。図２Ｂおよび２Ｃに示されるような樽形歪みについて把握するには、比較的少ない項で十分である。少なくとも１つの実施形態において、ピンクッション歪みなどの動径歪みを修正または補償するのに適切かつ好適な、本開示による樽形歪み（光軸からの変位を含む）は、以下の式１により計算され得る。ｒｎｅｗ＝ｒ（ｋ０＋ｋ１ｒ２＋ｋ２ｒ４＋ｋ３ｒ６）（１）であって、式中、ｒｎｅｗ＝レンズ歪み中心（光軸）からの新たな距離、ｒ＝レンズ歪み中心（光軸）からの距離、ｋ＝動径歪みの度合いを制御するレンズ固有のパラメータ、である。
【００１６】
レンズ固有のパラメータは、レンズの形状、光学的品質および材料に関連し、通常、レンズ製造業者から得られる。
【００１７】
カラーフリンジ現象は、異なる波長の光がレンズを通って異なる屈折をしたときに発生する。この色収差は、画像の赤色チャネル、緑色チャネル、および青色チャネルを別々にリサンプリングまたはマッピングすることにより修正され得る。少なくとも１つの実施形態において、本開示による、色収差を修正または補償するのに適切かつ好適なリサンプリングおよび／またはマッピングは、以下の式２により計算され得る。ｒＲＧＢｎｅｗ＝［ｒＲｎｅｗ（ｃ０＋ｃ１ｒ２），ｒＧｎｅｗ，ｒＢｎｅｗ（ｃ２＋ｃ３ｒ２）］（２）であって、式中、ｒＲＧＢｎｅｗ＝レンズ歪み中心（光軸）からの新たな距離、ｒ＝各色チャネルについてのレンズ歪み中心（光軸）からの距離、ｃ＝色収差の度合いを制御するレンズ固有のパラメータ、である。
【００１８】
レンズ固有のパラメータは、レンズの形状、光学的品質および材料に関連し、通常、レンズ製造業者から得られる。図２Ｂに示されるように、色収差によるカラーフリンジに関して、緑の光線が赤と青との間にあるので、ｒＧｎｅｗは基準または既定の測定値を与える。赤色のｒＲｎｅｗ、および青色のｒＢｎｅｗは、緑色のｒＧｎｅｗに基づき、複数のレンズ固有のパラメータおよび半径の二乗を用いてスケールされ得、レンズ歪み中心からの新たな距離ｒＲＧＢｎｅｗを与える。
【００１９】
少なくとも１つの実施形態において、空間的歪みおよび色歪みの修正は、本開示に従って式１および２に基づき、像空間または物空間において実行され得る。個別にレンダリングされた複数の画像は、本開示に従って以下の式３により適応的にブレンディングされ得る。Ｃｏ＝ｌ＊Ｃｓ＋ｌ＊Ｃｄ（３）であって、式中、Ｃｏ＝出力色、Ｃｓ＝ソース色、Ｃｄ＝目的色、である。
【００２０】
ブレンディング処理を実行する際、システム１００のブレンディングモジュール１８０（図１）により、個別にレンダリングされた複数の修正済み画像をメモリ１９０のフレームバッファ１９５（図１）に残すことが可能となり得る。したがって、新たな個別にレンダリングされた複数の修正済み画像は、フレームバッファ１９５（図１）に格納された複数の修正済み画像の上に足され得る。フレームバッファのレイアウトが３×８ビットであると仮定すると、これは色値が各チャネルについて０から２５５の間であり得ることを示す。
【００２１】
本開示による適応的ブレンディングのためのレンダリング中の単一のピクセルの表現の例が、以下のように提供される。  １．歪みメッシュのレンダリングの開始時、ピクセルは、赤、緑、青についての値が（０，０，０）で黒である。  ２．次いで赤の歪みメッシュをレンダリングしてよい。ピクセルの赤値が例えば５０であると仮定すると、フレームバッファピクセル値は（５０，０，０）となる。  ３．次いで緑の歪みメッシュをレンダリングしてよい。ピクセルの緑値が例えば１００であると仮定すると、赤のピクセル値（５０，０，０）は、新たな緑値（０，１００，０）に加算されて新たなフレームバッファピクセル値（５０，１００，０）を生じる。  ４．次いで青の歪みメッシュをレンダリングしてよい。ピクセルの青値が例えば２５５であると仮定すると、前のピクセル値（５０，１００，０）を青のピクセル値（０，０，２５５）に加算して新たなフレームバッファピクセル値（５０，１００，２５５）を生じる。  ５．ピクセル値の最終色は（５０，１００，２５５）となる。最終色は、表示のために出力される。
【００２２】
少なくとも１つの実施形態において、上述の適応的ブレンディング処理により、システムが、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングすること、および複数の歪みメッシュのうちの１または複数を使用して受信画像中の動径歪みおよび色歪みを補償することが可能となる。次いで歪みメッシュは、個別にレンダリングされた複数の歪みメッシュを足すよう適応的にブレンディングされ、低減された歪み誤差（動径歪みと色歪みの両方）を有する１つの修正済み合成画像となり得る。修正済み合成画像は、修正済み合成画像を視るための広角または魚眼レンズを有するディスプレイに出力され得、それにより修正済み合成画像には、レンズを介して視られる際の動径歪みおよび色収差が実質的になくなる。
【００２３】
図５は、システム６６を示す。システム６６は、コンピューティング機能（例えばビデオゲームコンソール、デスクトップコンピュータ、ラップトップ、タブレットコンピュータ、コンバーチブル型タブレット、携帯情報端末／ＰＤＡ）、通信機能（例えばワイヤレススマートフォン）、撮像機能、メディア再生機能（例えばスマートテレビ／ＴＶ）、ウェアラブル機能（例えば衣類、アイウェア、帽子類、装身具）またはそれらの任意の組み合わせ（例えばモバイルインターネットデバイス／ＭＩＤ）を有するプラットフォームの一部であってよい。図示される例において、システム６６は、システム６６に電力を供給するバッテリ６８、およびシステムメモリ７４と通信し得る統合メモリコントローラ（ＩＭＣ）７２を有するプロセッサ７０を含む。例えば、システムメモリ７４は、例えばデュアルインラインメモリモジュール（ＤＩＭＭ）、スモールアウトラインＤＩＭＭ（ＳＯＤＩＭＭ）などのような１または複数のメモリモジュールとして構成されるダイナミックランダムアクセスメモリ（ＤＲＡＭ）を含み得る。
【００２４】
図示されるシステム６６はまた、場合によりチップセットのサウスブリッジと呼ばれる入出力（ＩＯ）モジュール７６を含み、これはホストデバイスとして機能し、例えば、ディスプレイ８４（例えばＨＤディスプレイ、有機発光ダイオード／ＯＬＥＤディスプレイ、液晶ディスプレイ／ＬＣＤなど）、周辺機器８６（例えばＡＶプレーヤ、ブルーレイプレーヤ、ＤＶＤプレーヤ、カメラ）、ヘッドマウントディスプレイ（ＨＭＤ）の１または複数のレンズ７８（例えば光学レンズ）、および大容量ストレージ８０（例えばハードディスクドライブ／ＨＤＤ、光ディスク、フラッシュメモリなど）と通信し得る。プロセッサ７０は、１または複数の歪み修正処理（不図示）を実行し得る。図示されるプロセッサ７０はまた、１または複数の画像を周辺機器８６から受信し、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングし、歪みメッシュを使用して画像中の色収差および動径歪みを補償し、画像中の歪みを低減するべく歪みメッシュを適応的にブレンディングして修正済み画像とし、修正済み画像をディスプレイ８４および／またはレンズ７８に出力するよう構成されたロジック８２を実行し得る。修正済み画像は、レンズ７８を通して視られた際の画像中の歪みを低減する。したがって、図示されるロジック８２は、既に説明されたロジックモジュール（図１）と同様に機能し得る。［追記および例］
【００２５】
例１は、レンズを介して視られる画像中の複数の歪みを低減するための歪み低減システムを含み得る。システムは、ディスプレイ、画像マッピングモジュール、動径歪み補償モジュール、色収差補償モジュール、およびブレンディングモジュールを含み得る。画像マッピングモジュールは、画像ソースと通信して受信画像を複数の歪みメッシュのうちの１または複数へとマッピングし得る。動径収差補償モジュールは、画像マッピングモジュールと通信して受信画像中の複数の動径歪みを補償し、動径修正済み画像を出力し得る。色収差補償モジュールは、画像マッピングモジュールと通信して受信画像中の複数の色歪みを補償し、色修正済み画像を出力し得る。ブレンディングモジュールは、動径収差補償モジュールおよび色収差補償モジュールと通信して、受信画像中の複数の歪みを低減するべく動径修正済み画像と色修正済み画像とを適応的にブレンディングして修正済み合成画像とし、ディスプレイを介して視られるよう修正済み合成画像を出力し得る。
【００２６】
例２は、例１のシステムを含み得、修正済み合成画像は低減された複数の歪みを含む。
【００２７】
例３は、例１または２のいずれか１つのシステムを含み得、複数の歪みメッシュの各々は樽形に歪んでいる。
【００２８】
例４は、例３のシステムを含み得、複数の歪みメッシュの各々は三角形グリッドを含む。
【００２９】
例５は、例１のシステムを含み得、複数の歪みメッシュの各々は、赤色チャネル、緑色チャネル、または青色チャネルに対応する。
【００３０】
例６は、例５のシステムを含み得、複数の色チャネルの各々は、複数の色収差を補償するための複数のレンズ固有のパラメータを含む。
【００３１】
例７は、レンズを介して視られる画像中の複数の歪みを低減するための歪み低減装置を含み得る。装置は、画像マッピングモジュール、動径歪み補償モジュール、色収差補償モジュール、およびブレンディングモジュールを含み得る。画像マッピングモジュールは、画像ソースと通信して受信画像を複数の歪みメッシュのうちの１または複数へとマッピングし得る。動径収差補償モジュールは、画像マッピングモジュールと通信して受信画像中の複数の動径歪みを補償し、動径修正済み画像を出力し得る。色収差補償モジュールは、画像マッピングモジュールと通信して受信画像中の複数の色歪みを補償し、色修正済み画像を出力し得る。ブレンディングモジュールは、動径収差補償モジュールおよび色収差補償モジュールと通信して、受信画像中の複数の歪みを低減するべく動径修正済み画像と色修正済み画像とを適応的にブレンディングして修正済み合成画像とし、レンズを有するディスプレイを介して視られるよう修正済み合成画像を出力し得る。
【００３２】
例８は、例７の装置を含み得、修正済み合成画像は低減された複数の歪みを含む。
【００３３】
例９は、例７または８のいずれか１つの装置を含み得、複数の歪みメッシュの各々は樽形に歪んでいる。
【００３４】
例１０は、例９の装置を含み得、複数の歪みメッシュの各々は、三角形グリッドを含む。
【００３５】
例１１は、例７の装置を含み得、複数の歪みメッシュの各々は、赤色チャネル、緑色チャネル、または青色チャネルに対応する。
【００３６】
例１２は、例１１の装置を含み得、複数の色チャネルの各々は、複数の色収差を補償するための複数のレンズ固有のパラメータを含む。
【００３７】
例１３は、レンズを介して視られる画像中の複数の歪みを低減するための方法を含み得る。方法は、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングする段階を含み得る。方法はまた、受信画像中の複数の動径歪みを補償して動径修正済み画像を出力する段階と、受信画像中の複数の色歪みを補償して色修正済み画像を出力する段階とを含み得る。方法はさらに、受信画像中の複数の歪みを低減するべく動径修正済み画像と色修正済み画像とを適応的にブレンディングして修正済み合成画像とする段階と、レンズを有するディスプレイを介して視られるよう修正済み合成画像を出力する段階とを含み得る。
【００３８】
例１４は、例１３の方法を含み得、修正済み合成画像は、低減された複数の歪みを含む。
【００３９】
例１５は、例１３または１４のいずれか１つの方法を含み得、複数の歪みメッシュの各々は、樽形に歪んでいる。
【００４０】
例１６は、例１５の方法を含み得、複数の歪みメッシュの各々は、三角形グリッドを含む。
【００４１】
例１７は、例１６の方法を含み得、複数の歪みメッシュの各々は、赤色チャネル、緑色チャネル、または青色チャネルに対応する。
【００４２】
例１８は、例１７の方法を含み得、複数の色チャネルの各々は、複数の色収差を補償するための複数のレンズ固有のパラメータを含む。
【００４３】
例１９は、画像中の複数の歪みを低減するための非一時的コンピュータ可読記憶媒体を含み得る。媒体は、プロセッサにより実行される場合、コンピュータに、受信画像を複数の歪みメッシュのうちの１または複数へとマッピングさせ得る命令セットを含む。媒体はまた、コンピュータに、受信画像中の複数の動径歪みを補償して動径修正済み画像を出力することと、受信画像中の複数の色歪みを補償して色修正済み画像を出力することと、受信画像中の複数の歪みを低減するべく動径修正済み画像と色修正済み画像とを適応的にブレンディングして修正済み合成画像とすることと、レンズを有するディスプレイを介して視られるよう修正済み合成画像を出力することとを実行させ得る複数の命令を含む。
【００４４】
例２０は、例１９のシステムを含み得、修正済み合成画像は、低減された複数の歪みを含む。
【００４５】
例２１は、例１９または２０のいずれか１つのシステムを含み得、複数の歪みメッシュの各々は、樽形に歪んでいる。
【００４６】
例２２は、例２１のシステムを含み得、複数の歪みメッシュの各々は、三角形グリッドを含む。
【００４７】
例２３は、例１９のシステムを含み得、複数の歪みメッシュの各々は、赤色チャネル、緑色チャネル、または青色チャネルに対応する。
【００４８】
例２４は、例２３のシステムを含み得、複数の色チャネルの各々は、複数の色収差を補償するための複数のレンズ固有のパラメータを含む。
【００４９】
例２５は、レンズを介して視られる画像中の複数の歪みを低減するための歪み低減装置を含み得る。装置は、受信画像を複数の歪みメッシュへとマッピングするための手段と、受信画像中の複数の動径歪みを補償して動径修正済み画像を出力するための手段と、受信画像中の複数の色歪みを補償して色修正済み画像を出力するための手段と、補償された複数の動径歪みと補償された複数の色歪みとを適応的にブレンディングして修正済み画像を出力するための手段とを含み得る。適応的にブレンディングする手段は、受信画像中の複数の歪みを低減するべく動径修正済み画像と色修正済み画像とをブレンディングして修正済み合成画像とし、レンズを有するディスプレイを介して視られるよう修正済み合成画像を出力し得る。
【００５０】
例２６は、例２５のシステムを含み得、修正済み合成画像は、低減された複数の歪みを含む。
【００５１】
例２７は、例２５または２６のいずれか１つのシステムを含み得、複数の歪みメッシュの各々は、樽形に歪んでいる。
【００５２】
例２８は、例２７のシステムを含み得、複数の歪みメッシュの各々は、三角形グリッドを含む。
【００５３】
例２９は、例２５のシステムを含み得、複数の歪みメッシュの各々は、赤色チャネル、緑色チャネル、または青色チャネルに対応する。
【００５４】
例３０は、例２９のシステムを含み得、複数の色チャネルの各々は、複数の色収差を補償するための複数のレンズ固有のパラメータを含む。
【００５５】
様々な実施形態は、複数のハードウェア要素、複数のソフトウェア要素、またはそれら両方の組み合わせを用いて実装され得る。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、レジスタ、コンデンサ、インダクタなど）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ、チップセットなどを含み得る。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、プロシージャ、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、記号、またはそれらの任意の組み合わせを含み得る。実施形態がハードウェア要素を用いて実装されるか、および／またはソフトウェア要素を用いて実装されるかについての決定は、所望の計算レート、電力レベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、データバス速度、および他の設計または性能制約などの任意の数の要因によって異なり得る。
【００５６】
少なくとも１つの実施形態の１または複数の態様は、プロセッサ内の様々なロジックを表現する、非一時的機械可読記憶媒体に格納された代表的な命令により実装され得る。これは機械により読み込まれると、本明細書に記載される技術を実行するためのロジックを機械に製造させる。「ＩＰコア」として知られるそのような代表物は、有形の非一時的機械可読記憶媒体に格納され得、実際にロジックまたはプロセッサを作成する製造機械にロードするべく、様々な顧客または製造施設に供給され得る。
【００５７】
実施形態は、あらゆるタイプの半導体集積回路（「ＩＣ」）チップと共に使用するのに適用可能である。これらのＩＣチップの例としては、プロセッサ、コントローラ、チップセットコンポーネント、プログラマブルロジックアレイ（ＰＬＡ）、メモリチップ、ネットワークチップなどが挙げられるが、これらに限定されない。さらに、一部の図面において、信号導体線を線で表す。一部はより多くの成分信号経路を示すべく異なり得、成分信号経路の数を示すべく数の符号を有し得、および／または、主な情報フローの方向を示すべく１または複数の端部に矢印を有し得る。しかしながら、これは限定的に解釈されるべきではない。むしろそのような追加された詳細は、回路をより容易に理解するよう促すべく、１または複数の例示的な実施形態に関して用いられ得る。表されている任意の信号線は、追加的な情報を有するか否かに関わらず、複数の方向に移動し得、任意の好適なタイプの信号スキーム、例えば、差動対で実装されるデジタルもしくはアナログ線、光ファイバ線、および／またはシングルエンド線で実装され得る、１または複数の信号を実際に備え得る。
【００５８】
例示的な寸法／モデル／値／範囲が提示されていることがあるが、実施形態はそれらに限定されない。製造技術（例えば、フォトリソグラフィ）が時の経過と共に発達するにつれ、より小さい寸法のデバイスが製造可能となることが予期されている。さらに、ＩＣチップおよび他のコンポーネントへの周知の電源／接地接続は、図示および説明を簡略化するために、また実施形態の特定の態様を不明瞭にしないよう、図中に示され得るかまたは示され得ない。さらに、実施形態が不明瞭になることを避けるべく、また、そのようなブロック図の配置の実装に関する詳細が、実施形態の実装されるプラットフォームに大いに依存する、すなわち、そのような詳細は十分に当業者の理解の範囲内にあるべきであるということを考慮して、配置はブロック図の形式で示され得る。特定の詳細（例えば、回路）が、例示的な実施形態を説明すべく明記されるが、実施形態がこれら特定の詳細なしでまたはそれらの変形例で実施可能であることは、当業者には明らかなはずである。したがって説明は、限定的なものではなく例示的なものとしてみなされるべきである。
【００５９】
一部の実施形態は、例えば、機械により実行される場合、機械にそれら実施形態による方法および／または動作を実行させ得る命令または命令セットを格納し得る、機械可読または有形コンピュータ可読記憶媒体もしくは物品を用いて実装され得る。そのような機械は例えば、任意の好適な処理プラットフォーム、コンピューティングプラットフォーム、コンピューティングデバイス、処理デバイス、コンピューティングシステム、処理システム、コンピュータ、プロセッサなどを含み得、ハードウェアおよび／またはソフトウェアの任意の好適な組み合わせを用いて実装され得る。機械可読記憶媒体または物品は例えば、任意の好適なタイプのメモリユニット、メモリデバイス、メモリ物品、メモリ媒体、記憶デバイス、記憶物品、記憶媒体および／または記憶ユニット、例えば、メモリ、着脱可能または着脱不能媒体、消去可能または消去不能媒体、書き込み可能または書き換え可能媒体、デジタルまたはアナログ媒体、ハードディスク、フロッピー（登録商標）ディスク、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、コンパクトディスクレコーダブル（ＣＤ−Ｒ）、コンパクトディスクリライタブル（ＣＤ−ＲＷ）、光ディスク、磁気媒体、光磁気媒体、着脱可能メモリカードまたはディスク、様々なタイプのデジタルバーサタイルディスク（ＤＶＤ）、テープ、カセットなどを含み得る。命令は、任意の好適な高級、低級、オブジェクト指向、ビジュアル、コンパイラ型および／またはインタプリタ型プログラミング言語を用いて実装される、ソースコード、コンパイラ型コード、インタプリタ型コード、実行可能コード、静的コード、動的コード、暗号化コードなどのような任意の好適なタイプのコードを含み得る。
【００６０】
特に別途明記されない限り、「処理」、「コンピューティング」、「計算」、「決定」などの用語は、コンピューティングシステムのレジスタおよび／またはメモリ内の物理量（例えば、電子のもの）として表されるデータを操作し、および／またはこのデータを、コンピューティングシステムのメモリ、レジスタまたは他のそのような情報記憶デバイス、伝送デバイスもしくは表示デバイス内の物理量として同様に表される他のデータに変換するコンピュータもしくはコンピューティングシステム、または類似の電子コンピューティングデバイスの動作および／または処理を指すと理解してよい。実施形態は、この文脈に限定されない。
【００６１】
本明細書において、用語「結合される」は、対象のコンポーネント間の、直接的または間接的のいずれのタイプの関係を指すのにも用いられ得、電気的、機械的、流体的、光学的、電磁的、電気機械的または他の接続に適用し得る。さらに、用語「第１」、「第２」などは、説明を容易にすることのみを目的として本明細書で用いられ得、別途示されない限り、特定の時間的または時系列的な意義を有するものではない。
【００６２】
当業者は上記の説明から、実施形態の広範な技術が、様々な形態で実装され得ることを理解されよう。したがって、本件の実施形態をその特定例に関して説明したが、図面、明細書、および以下の特許請求の範囲を検討すれば、当業者には他の変更形態が明らかとなるであろうことから、実施形態の本来の範囲はそのように限定されるべきではない。
【図１】
0006431551.tif 000002
【図２Ａ】
0006431551.tif 000003
【図２Ｂ】
0006431551.tif 000004
【図３Ａ】
0006431551.tif 000005
【図３Ｂ】
0006431551.tif 000006
【図３Ｃ】
0006431551.tif 000007
【図４】
0006431551.tif 000008
【図５】
0006431551.tif 000009