(57)【要約】  ＨＭＤ１０は、有機発光ダイオード（ＯＬＥＤ）を含む表示部３６と、表示部３６に表示された画像を拡大してユーザに提示するレンズとを含む。ＰＣ４０は、仮想空間の画像を生成する。ＰＣ４０は、生成した仮想空間の画像をずらした画像を、レンズにより生じる歪みに応じて補正することにより、ＨＭＤ１０の表示部３６に表示させる画像を生成する。
2019229906.tif 000002
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイに表示させる画像を生成する装置であって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部と、前記表示部に表示された画像を拡大してユーザに提示するレンズとを含むものであり、
仮想空間の画像を生成する第１生成部と、
前記第１生成部により生成された画像をずらした画像を、前記レンズにより生じる歪みに応じて補正することにより、前記表示部に表示させる画像を生成する第２生成部と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記第２生成部は、前記第１生成部により生成された画像をずらす幅を所定のタイミングで変化させることを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記第２生成部は、前記第１生成部により生成された画像を１画素未満の幅でずらした画像を補正することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記第２生成部は、前記レンズにより生じる歪みに応じて予め定められた、前記第１生成部により生成された画像内の位置と、前記表示部に表示させる表示画像内の位置との対応関係にしたがって、前記第１生成部により生成された画像内の或る位置の画素値を、前記或る位置からずらす方向に移動した位置に対応する表示画像内の位置の画素値に設定することを特徴とする請求項１から３のいずれかに記載の画像生成装置。
【請求項５】
ヘッドマウントディスプレイに画像を表示させるシステムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、
仮想空間の画像を生成する第１処理部と、
仮想空間の画像を前記表示部に表示させる第２処理部と、
を備え、
前記第２処理部は、（１）前記ヘッドマウントディスプレイの動作状態、（２）前記ヘッドマウントディスプレイに表示された画像、（３）前記ヘッドマウントディスプレイを使用するユーザの状態のうち少なくとも１つに関する条件が満たされたか否かに応じて、前記第１処理部により生成された画像を画像生成時にずらすことにより前記表示部に表示させる画像を生成し、または、前記第１処理部により生成された画像を画像表示時にずらした態様で前記表示部に表示させることを特徴とする画像表示システム。
【請求項６】
前記ヘッドマウントディスプレイは、前記表示部に表示された画像を拡大してユーザに提示するレンズを含み、
前記第２処理部は、前記第１処理部により生成された画像をずらした画像を、前記レンズにより生じる歪みに応じて補正することにより、前記表示部に表示させる画像を生成することを特徴とする請求項５に記載の画像表示システム。
【請求項７】
ヘッドマウントディスプレイに画像を表示させるシステムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、
前記ヘッドマウントディスプレイを装着したユーザの視線方向を検出する検出部と、
仮想空間の画像を生成する第１処理部と、
仮想空間の画像を前記表示部に表示させる第２処理部と、
を備え、
前記第２処理部は、前記検出部により検出されたユーザの視線方向に応じて、前記第１処理部により生成された画像を、前記有機発光ダイオードの劣化を抑制する態様に画像生成時に補正し、または、前記第１処理部により生成された画像を、画像表示時に前記有機発光ダイオードの劣化を抑制する態様で前記表示部に表示させることを特徴とする画像表示システム。
【請求項８】
前記検出部は、前記ユーザの視線方向に応じて、ユーザに視認されていない前記表示部の領域をさらに検出し、
前記第２処理部は、前記第１処理部により生成された画像における、ユーザに視認されていない前記表示部の領域に表示される部分を、前記有機発光ダイオードの劣化を抑制する態様に画像生成時に補正し、または、前記部分を、画像表示時に前記有機発光ダイオードの劣化を抑制する態様で前記表示部に表示させることを特徴とする請求項７に記載の画像表示システム。
【請求項９】
ヘッドマウントディスプレイに表示させる画像を生成する方法であって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部と、前記表示部に表示された画像を拡大してユーザに提示するレンズとを含むものであり、
仮想空間の画像を生成する第１ステップと、
前記第１ステップで生成された画像をずらした画像を、前記レンズにより生じる歪みに応じて補正することにより、前記表示部に表示させる画像を生成する第２ステップと、
をコンピュータが実行することを特徴とする画像生成方法。
【請求項１０】
ヘッドマウントディスプレイに表示させる画像を生成するコンピュータプログラムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部と、前記表示部に表示された画像を拡大してユーザに提示するレンズとを含むものであり、
仮想空間の画像を生成する第１生成機能と、
前記第１生成機能により生成された画像をずらした画像を、前記レンズにより生じる歪みに応じて補正することにより、前記表示部に表示させる画像を生成する第２生成機能と、
をコンピュータに実現させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、データ処理技術に関し、特に画像生成装置、画像表示システム、画像生成方法およびコンピュータプログラムに関する。
【背景技術】
【０００２】
ヘッドマウントディスプレイ（以下「ＨＭＤ」とも呼ぶ。）はユーザの頭部に装着されて仮想現実（ＶＲ）の世界をユーザに提供する。最近ではユーザがＨＭＤに表示された画面を見ながらゲームをプレイできるアプリケーションも登場している。テレビなどの従来型の据え置き型のディスプレイでは画面外側にもユーザの視野範囲が広がるため、ユーザが画面に集中できないことがあり、また、ゲームへの没入感を欠くことがある。その点、ＨＭＤを装着すると、ＨＭＤに表示される映像しかユーザは見ないため、映像世界への没入感が高まり、ゲームのエンタテインメント性を一層高める効果がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２２００３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＨＭＤでは、画像の表示素子として、軽量かつ応答速度に優れた有機発光ダイオード（Organic Light Emitting Diode、以下「ＯＬＥＤ」とも呼ぶ。）が用いられることが多い。一方、ＯＬＥＤには、経年劣化が大きいという欠点がある。例えば、長時間、明るく光らせた部分が特異的に劣化することがあり、また、いわゆる焼き付きが発生することがある。【０００５】
本発明は、上記課題に鑑みてなされたものであり、１つの目的は、ヘッドマウントディスプレイにおける表示素子の劣化を抑制する技術を提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様の画像生成装置は、ヘッドマウントディスプレイに表示させる画像を生成する装置であって、ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部と、表示部に表示された画像を拡大してユーザに提示するレンズとを含むものであり、仮想空間の画像を生成する第１生成部と、第１生成部により生成された画像をずらした画像を、レンズにより生じる歪みに応じて補正することにより、表示部に表示させる画像を生成する第２生成部と、を備える。【０００７】
本発明の別の態様は、画像表示システムである。この画像表示システムは、ヘッドマウントディスプレイに画像を表示させるシステムであって、ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、仮想空間の画像を生成する第１処理部と、仮想空間の画像を表示部に表示させる第２処理部と、を備える。第２処理部は、（１）ヘッドマウントディスプレイの動作状態、（２）ヘッドマウントディスプレイに表示された画像、（３）ヘッドマウントディスプレイを使用するユーザの状態のうち少なくとも１つに関する条件が満たされたか否かに応じて、第１処理部により生成された画像をずらすことにより表示部に表示させる画像を生成し、または、第１処理部により生成された画像をずらした態様で表示部に表示させる。【０００８】
本発明のさらに別の態様もまた、画像表示システムである。この画像表示システムは、ヘッドマウントディスプレイに画像を表示させるシステムであって、ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、ヘッドマウントディスプレイを装着したユーザの視線方向を検出する検出部と、仮想空間の画像を生成する第１処理部と、仮想空間の画像を表示部に表示させる第２処理部と、を備える。第２処理部は、検出部により検出されたユーザの視線方向に応じて、第１処理部により生成された画像を、有機発光ダイオードの劣化を抑制する態様に補正し、または、第１処理部により生成された画像を、有機発光ダイオードの劣化を抑制する態様で表示部に表示させる。【０００９】
本発明のさらに別の態様は、画像生成方法である。この方法は、ヘッドマウントディスプレイに表示させる画像を生成する方法であって、ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部と、表示部に表示された画像を拡大してユーザに提示するレンズとを含むものであり、仮想空間の画像を生成する第１ステップと、第１ステップで生成された画像をずらした画像を、レンズにより生じる歪みに応じて補正することにより、表示部に表示させる画像を生成する第２ステップと、をコンピュータが実行する。【００１０】
なお、以上の構成要素の任意の組合せ、本発明の表現を、装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１１】
本発明によれば、ヘッドマウントディスプレイにおける表示素子の劣化を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】ＨＭＤの構成を模式的に示す図である。
【図２】図２（ａ）は、元画像の例を示す図であり、図２（ｂ）は、補正画像の例を示す図である。
【図３】補正処理の例を示す図である。
【図４】問題を説明する図である。
【図５】第１実施例のエンタテインメントシステムの構成を示す図である。
【図６】第２実施例のエンタテインメントシステムの構成を示す図である。
【図７】第３実施例のエンタテインメントシステムの構成を示す図である。
【図８】図２（ｂ）で示したＨＭＤ１０の表示領域を示す図である。
【図９】図８に対応した輝度調整時の表示態様を模式的に示す図である。
【発明を実施するための形態】
【００１３】
（第１実施例）
図１は、ＨＭＤ１０の構成を模式的に示す。ＨＭＤ１０は、ＯＬＥＤパネル１２で総称される左ＯＬＥＤパネル１２ａと右ＯＬＥＤパネル１２ｂ、レンズ１４で総称される左レンズ１４ａと右レンズ１４ｂを備える。ＯＬＥＤパネル１２は、有機ＥＬパネルとも言え、
表示素子（発光素子）として多数のＯＬＥＤが配設される。左ＯＬＥＤパネル１２ａは、ユーザの左目に提示する画像（以下「左目用画像」）を表示する画面を含み、右ＯＬＥＤパネル１２ｂは、ユーザの右目に提示する画像（以下「右目用画像」）を表示する画面を含む。
【００１４】
左レンズ１４ａおよび右レンズ１４ｂは、例えば凸レンズである。左レンズ１４ａは、左ＯＬＥＤパネル１２ａに表示された左目用画像を拡大してユーザの左目に提示する。右レンズ１４ｂは、右ＯＬＥＤパネル１２ｂに表示された右目用画像を拡大してユーザの右目に提示する。これにより、大きな視野角をユーザに提供する。また、左目用画像と右目用画像の間には視差が設けられ、左目用画像と右目用画像を同時に見るユーザに立体感を提供する。このように、ＨＭＤ１０は、ユーザに立体映像を提示する。
【００１５】
ＨＭＤ１０の製造コストを低減するため、レンズ１４には、比較的安価なレンズが用いられ、色収差がある。また、光がレンズ１４を通過する位置、および、光の色によって歪みの量が異なる。例えば、レンズの端になるほど歪みは大きくなり、また、赤、緑、青ごとに歪みの量が異なる。そのため、仮想空間の本来の様子を示す元画像に対して、レンズの歪みを打ち消すための補正（以下「逆歪み補正」とも呼ぶ。）を加えた画像（以下「補正画像」とも呼ぶ。）を、ＨＭＤ１０のＯＬＥＤパネル１２に表示させることが行われている。
【００１６】
図２（ａ）は、元画像の例を示し、図２（ｂ）は、補正画像の例を示す。元画像２０は、ユーザに視認させるべき仮想空間の本来の様子を示す画像であり、ユーザの左目に提示すべき左元画像２０ａと、ユーザの右目に提示すべき右元画像２０ｂを含む。補正画像２２は、左レンズ１４ａにより生じる歪みに合わせて左元画像２０ａを補正した左補正画像２２ａと、右レンズ１４ｂにより生じる歪みに合わせて右元画像２０ｂを補正した右補正画像２２ｂを含む。左補正画像２２ａは、上記の左目用画像に対応し、右補正画像２２ｂは、上記の右目用画像に対応する。
【００１７】
左ＯＬＥＤパネル１２ａに表示された左補正画像２２ａを、ユーザが左レンズ１４ａを通して見ると、ユーザの目には左元画像２０ａのように映る。また、右ＯＬＥＤパネル１２ｂに表示された右補正画像２２ｂを、ユーザが右レンズ１４ｂを通して見ると、ユーザの目には右元画像２０ｂのように映る。以下、特に断らない限り、元画像２０に関する処理は、左元画像２０ａおよび右元画像２０ｂに関する処理を含む。また、補正画像２２に関する処理は、左補正画像２２ａおよび右補正画像２２ｂに関する処理を含む。
【００１８】
図３は、補正処理の例を示す。例えば、補正処理は、元画像２０を格子状に区切った複数の領域（「ポリゴン」とも呼ばれる。）に分割し、それら複数の領域を任意の矩形に変形することにより補正画像２２を生成する。画像生成装置（ＧＰＵ（Graphics Processing Unit）等）は、テクスチャを貼り付けたポリゴンの各頂点座標を変化させて補正画像２２を描画する。なお、各頂点座標を変化させた場合、ポリゴンに貼り付いたテクスチャに対して公知の変形処理を実行する。
【００１９】
元画像２０の各位置は補正画像２２の各位置に予め対応付けられてもよく、元画像２０の座標を入力として受け付け、対応する補正画像２２の座標を出力する関数が設けられてもよい。画像生成装置は、例えば、元画像２０の頂点Ｖ００の画素値を、対応する補正画像２２のＶ００’の画素値に設定する。また、元画像２０の頂点Ｖ０１の画素値を、対応する補正画像２２のＶ０１’の画素値に設定する。また、元画像２０の頂点Ｖ１０の画素値を、対応する補正画像２２のＶ１０’の画素値に設定する。なお、レンズ１４では、色ごとに歪みが異なるため、実際には、元画像２０の色ごとに（例えば赤成分、緑成分、青成分ごとに）補正処理を行ってもよい。
【００２０】
補正処理では、元画像２０の領域ごとに拡大または縮小が発生することがあり、また、頂点が１画素未満の幅で移動することがあるが、その場合、バイリニアフィルタ等の公知技術で補間してもよい。例えば、並んだ３つの画素の輝度値が「０、１、０」の場合を考える。２倍に拡大する場合、画像生成装置は、隣接する画素の輝度値の平均値を求めることにより、５画素の輝度値の並びを「０、０．５、１、０．５、０」と設定してもよい。また、３倍に拡大する場合、加重平均を求めることにより、７画素の輝度値の並びを「０、０．３３、０．６６、１、０．６６、０．３３、０」と設定してもよい。
【００２１】
元画像２０の頂点を移動させる場合の処理を示す。１画素移動させる場合、３倍に拡大した結果に対して、位相を３ずらしてから３個に１個の輝度値を抽出してもよい。この場合、輝度値の並びは「１、０、Ｎ／Ａ」となる。また、２／３画素移動させる場合、３倍に拡大した結果に対して、位相を２ずらしてから３個に１個の輝度値を抽出してもよい。この場合、輝度値の並びは「０．６６、０．３３、０」となる。また、１／３画素移動させる場合、３倍に拡大した結果に対して、位相を１ずらしてから３個に１個の輝度値を抽出してもよい。この場合、輝度値の並びは「０．３３、０．６６、０」となる。
【００２２】
ところで、ＨＭＤ１０における表示素子（発光素子とも言える）であるＯＬＥＤは、経年劣化が大きいという欠点を持つ。例えば、長時間、明るく光らせた部分が特異的に劣化することがあり、また、いわゆる焼き付きが発生することがある。近年、ＯＬＥＤの劣化を抑制するために、「ウォブリング」と呼ばれる技術が採用されることがある。例えば、ＯＬＥＤテレビ（有機ＥＬテレビとも呼ばれる）では、ウォブリングとして、画像の表示位置を１画素単位でずらすことが行われることがある。
【００２３】
しかし、従来のウォブリングのように、ＨＭＤ１０のＯＬＥＤパネル１２に画像を表示する際に、その画像の表示位置をずらすと、問題が生じうる。図４は、問題を説明する図である。ＯＬＥＤパネル１２から出た光がレンズ１４のどの部分を通るかによって歪み方は異なるが、ＯＬＥＤパネル１２に表示される補正画像２２は、このことを前提として元画像２０を逆歪み補正したものである。図４の補正画像２２は、赤・緑・青のそれぞれの逆歪み補正の結果を示している。図４の補正画像２２では、図２０の白の線の成分である青の線、緑の線、赤の線が左から順に並んでいる。補正画像２２を表示したＯＬＥＤパネル１２から出た光がレンズ１４により歪む結果、ユーザには、白の線を示す画像２４（すなわち元画像２０と同じ内容）が視認される。
【００２４】
従来のウォブリングでは、補正画像２２の表示位置をずらし、すなわち、青の線、緑の線、赤の線の表示位置が補正画像２２とは異なる画像２６を表示することになる。画像２６を表示するＯＬＥＤパネル１２から出た光（赤、緑、青）が通るレンズ１４の場所は、補正画像２２を表示するＯＬＥＤパネル１２から出た光（赤、緑、青）が通るレンズ１４の場所とは異なる。この結果、レンズ１４を通した見え方が元画像２０とは異なるものになる。例えば、ユーザには、画像２８のように視認されてしまう。画像２８では、青の線、緑の線、赤の線が完全には重ならず、色ずれが生じている。
【００２５】
そこで、第１実施例の画像生成装置（後述のＰＣ４０）は、補正画像２２を生成する際に、補正前の元画像２０を微小に（例えば１画素分）ずらす。そして画像生成装置は、元画像２０をずらした結果に対して逆歪み補正を行い補正画像２２を生成する。この補正画像２２をレンズを通して見ると、ユーザには、元画像２０を微小にずらした画像として視認される。すなわち、第１実施例の構成では、補正画像２２における明るさのピーク位置をずらし、特定の位置のＯＬＥＤのみ極端に劣化することを防止できるとともに、画質の低下（例えば図４の画像２８で示した色ずれ）を抑制することができる。
【００２６】
図５は、第１実施例のエンタテインメントシステム１００の構成を示す。エンタテインメントシステム１００は、ＨＭＤ１０とＰＣ４０を備える。ＰＣ４０は、ＨＭＤ１０に表示させる画像を生成する画像生成装置としての機能を含む情報処理装置である。画像生成装置としての情報処理装置は、ＰＣ４０に限らず、ゲーム装置、スマートフォン、タブレット端末等であってもよい。
【００２７】
第１実施例では、ＰＣ４０が、ＯＬＥＤの劣化を抑制するための画像生成処理を実行するため、ＨＭＤ１０にはウォブリングに関する機能は不要である。すなわち、第１実施例のＨＭＤ１０は、ＯＬＥＤを表示素子として用いる公知のＨＭＤであってよい。ＨＭＤ１０とＰＣ４０は、ＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）により接続されてもよい。
【００２８】
図５は、ＨＭＤ１０の機能ブロックを示すブロック図を含む。ＨＭＤ１０は、画像取得部３０、画像記憶部３２、表示制御部３４、表示部３６を備える。本明細書のブロック図で示す各ブロックは、ハードウェア的にはコンピュータのＣＰＵやメモリをはじめとする素子や電子回路、機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組合せによっていろいろなかたちで実現できることは、当業者に理解されるところである。
【００２９】
ＨＭＤ１０のストレージは、画像取得部３０および表示制御部３４に対応する複数のモジュールを含むコンピュータプログラム（例えば画像表示ソフトウェア）を記憶してもよい。ＨＭＤ１０のＣＰＵまたはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、画像取得部３０および表示制御部３４の機能を発揮してもよい。
【００３０】
表示部３６は、ＯＬＥＤパネル１２を含む。画像取得部３０は、ＰＣ４０から送信された画像（第１実施例では補正画像２２）のデータを受け付ける。画像取得部３０は、受け付けた補正画像２２のデータを画像記憶部３２へ格納する。表示制御部３４は、画像記憶部３２に記憶された補正画像のデータをＯＬＥＤパネル１２に表示させる。
【００３１】
図５は、ＰＣ４０の機能ブロックを示すブロック図を含む。ＰＣ４０は、元画像生成部４２、補正画像生成部４４、送信部４６を備える。ＰＣ４０のストレージは、これら複数の機能ブロックに対応する複数のモジュールを含むコンピュータプログラム（例えばＶＲゲーム等の画像生成アプリケーション）を記憶してもよい。ＰＣ４０のＣＰＵまたはＧＰＵは、そのコンピュータプログラムをメインメモリへ読み出して実行することにより、上記複数の機能ブロックの機能を発揮してもよい。
【００３２】
元画像生成部４２は、第１生成部として、ゲームの進行状況等に応じて、ユーザに提示すべき仮想空間の様子を示す元画像２０を生成する。補正画像生成部４４は、第２生成部として、元画像生成部４２により生成された元画像２０をずらした画像を、レンズ１４により生じる歪みに応じて補正（逆歪み補正）することにより、ＨＭＤ１０のＯＬＥＤパネル１２に表示させる補正画像２２を生成する。送信部４６は、補正画像生成部４４により生成された補正画像２２のデータをＨＭＤ１０へ送信して、ＨＭＤ１０のＯＬＥＤパネル１２に補正画像２２を表示させる。
【００３３】
補正画像生成部４４は、元画像２０をずらす幅（ずらす量）を所定のタイミングで変化させる。或るタイミングでのずらす幅は１画素であってもよく、補正画像生成部４４は、ずらす幅をフレームごとに変えてもよい。ずらす方向は、予め定められた１方向または複数方向のいずれかであってもよく、補正画像２２生成時にランダムに決定してもよい。上記タイミングは、画像数を基準とするタイミングでもよく、例えば所定枚数の補正画像２２を生成した場合でもよい。また、上記タイミングは、時間を基準とするタイミングでもよく、例えば予め定められた時間が経過した場合でもよい。
【００３４】
また、補正画像生成部４４は、（１）元画像２０をずらさずに（ずらす幅＝０）、元画像２０を逆歪み補正することにより補正画像２２を生成する処理と、（２）元画像２０を所定方向に１画素分ずらした結果を逆歪み補正することにより補正画像２２を生成する処理とを交互に繰り返してもよい。言い換えれば、補正画像生成部４４は、（１）の処理と（２）の処理を、元画像２０が入力される都度、すなわち、補正画像２２を生成する都度切り替えてもよい。
【００３５】
また、補正画像生成部４４は、第１の生成タイミングで生成された元画像２０を逆歪み補正することにより、第１の表示タイミングで表示される表示画像を生成してもよい。補正画像生成部４４は、第１の生成タイミングとは異なる第２の生成タイミングで生成された画像をずらした画像を逆歪み補正することにより、第１の表示タイミングとは異なる第２の表示タイミングで表示される表示画像を生成してもよい。さらにまた、補正画像生成部４４は、元画像２０を補正することと、元画像２０をずらした画像を補正することとを周期的に切り替えてもよい。
【００３６】
第１実施例の補正画像生成部４４は、レンズ１４により生じる歪みに応じて予め定められた、元画像２０内の位置と、補正画像２２内の位置との対応関係にしたがって、元画像２０内の或る位置の画素値を、その或る位置からずらす方向に移動した位置に対応する補正画像２２内の位置の画素値に設定する。図３に関連して一部既述したが、元画像２０をずらさない場合、補正画像生成部４４は、公知の処理として、上記対応関係を定めた関数に元画像２０の移動元座標を入力し、関数の出力として補正画像２２の移動先座標を取得してもよい。そして、元画像２０の移動元座標の画素値を、補正画像２２の移動先座標の画素値に設定してもよい。
【００３７】
一方、元画像２０をずらす場合、補正画像生成部４４は、上記対応関係を定めた関数に、元画像２０の移動元座標に対して所定方向へずらす幅を指定するオフセットを付加した値を入力し、（移動元座標＋オフセット）の座標値に対応する補正画像２２の移動先座標を関数の出力として取得してもよい。そして、元画像２０の移動元座標の画素値を、補正画像２２の移動先座標の画素値に設定してもよい。これにより、元画像２０を所定方向へずらした画像に対応する補正画像２２を生成ことができる。この構成によると、元画像２０の移動元座標にオフセットを付加するだけであるため、計算量の増加を抑制でき、言い換えれば、計算量の増加をほぼ０とすることができる。
【００３８】
また、補正画像生成部４４は、元画像２０を任意の幅でずらしてよく、ずらす幅は１画素の整数倍の長さでなくてもよい。図３に関連して一部既述したように、補正画像生成部４４は、バイリニアフィルタ等の公知技術により、元画像２０を１画素未満の幅でずらした画像を逆歪み補正することにより補正画像２２を生成してもよい。ずらす幅を短くすると、ＨＭＤ１０のＯＬＥＤの劣化を抑制する効果は低くなるが、ＯＬＥＤパネル１２の解像度（すなわち画素密度）が低い場合でもユーザに違和感を抱かせにくくなる。
【００３９】
第１実施例のエンタテインメントシステム１００によると、補正画像２２における明るさのピーク位置が変化するため、ＯＬＥＤパネル１２の特定の場所（特定のＯＬＥＤ）に劣化が集中することを防止できる。言い換えれば、レンズ１４の収差歪みに応じて補正する前の元画像２０を縦横にずらすことで、ＯＬＥＤパネル１２の特定位置に固定的に画像が表示される（特定位置の輝度が高い状態が継続する）ことを抑制し、特定位置のＯＬＥＤが特異的に劣化してしまうことを防止できる。また、第１実施例のエンタテインメントシステム１００によると、補正画像２２の表示位置をずらしたことによる画質の低下（色ずれ等）を防止できる。
【００４０】
以上、本発明を第１実施例をもとに説明した。この第１実施例は例示であり、構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００４１】
（第２実施例）
第２実施例では、ＨＭＤ１０のＯＬＥＤの劣化を抑制するための別の構成を説明する。図６は、第２実施例のエンタテインメントシステム１００の構成を示す。第２実施例のエンタテインメントシステム１００の構成要素のうち、第１実施例のエンタテインメントシステム１００の構成要素と同一または対応するものには、第１実施例と同じ符号を付している。また、第１実施例で説明済みの内容は、再度の説明を適宜省略する。
【００４２】
第２実施例のＰＣ４０は、第１実施例のＰＣ４０と同様に、元画像生成部４２、補正画像生成部４４、送信部４６を備える。元画像生成部４２は、第１処理部として、元画像２０を生成し、補正画像生成部４４は、レンズによる歪みに応じて元画像２０を補正した補正画像２２を生成する。ただし、第２実施例の補正画像生成部４４は、元画像２０をずらさずに、元画像２０を逆歪み補正した補正画像２２を生成する。後述するように、画像表示装置側（ＨＭＤ１０）でずらすためである。送信部４６は、補正画像２２をＨＭＤ１０へ送信する。
【００４３】
第２実施例のＨＭＤ１０は、第１実施例の機能ブロックに加えて、検出部５０と判定部５２をさらに備える。検出部５０は、公知の手法により、（１）ＨＭＤ１０の動作状態、（２）ＨＭＤ１０に表示された画像、（３）ＨＭＤ１０を使用するユーザの状態のうち少なくとも１つを検出する。実施例では（１）〜（３）のすべてを検出する。
【００４４】
例えば、（１）ＨＭＤ１０の動作状態に関して、検出部５０は、ＨＭＤ１０の電源部（不図示）と連携して、ＨＭＤ１０の電源がオンからオフに切り替えられた場合、または、ＨＭＤ１０の電源がオフからオンに切り替えられた場合、そのことを検出してもよい。また、（２）ＨＭＤ１０に表示された画像に関して、検出部５０は、表示制御部３４と連携して、画像全体の平均輝度値が所定値以下の画像が表示された場合（例えば真っ黒の画像が表示された場合、言い換えれば、画面が真っ暗になった場合）、そのことを検出してもよい。
【００４５】
また、（３）ＨＭＤ１０を使用するユーザの状態に関して、検出部５０は、ＨＭＤ１０に設けられたセンサ（不図示）による検知結果、および／または、ＨＭＤ１０を撮像するカメラ（不図示）による撮像画像に基づいて、ユーザがＨＭＤ１０を未装着の場合、そのことを検出する。また、検出部５０は、ＨＭＤ１０を装着したユーザが頭部を大きく揺らしている場合、言い換えれば、ＨＭＤ１０の姿勢（ユーザの頭部の姿勢）の変化量が所定の閾値以上の場合、そのことを検出する。
【００４６】
判定部５２は、検出部５０による検出結果に応じて、ＨＭＤ１０の動作状態に関する第１画像変位条件、ＨＭＤ１０に表示された画像に関する第２画像変位条件、ＨＭＤ１０を使用するユーザの状態に関する第３画像変位条件のそれぞれが満たされたか否かを判定する。判定部５２は、第１画像変位条件、第２画像変位条件、第３画像変位条件のうち少なくとも１つが満たされた場合、画像変位処理（すなわちウォブリング処理）の実行を決定する。
【００４７】
具体的には、判定部５２は、ＨＭＤ１０の電源がオンからオフに切り替えられた場合、または、ＨＭＤ１０の電源がオフからオンに切り替えられた場合、第１画像変位条件が満たされたと判定する。また、判定部５２は、画像全体の平均輝度値が所定値以下の画像が表示された場合、第２画像変位条件が満たされたと判定する。また、判定部５２は、ユーザがＨＭＤ１０を未装着の場合、第３画像変位条件が満たされたと判定する。また、判定部５２は、ＨＭＤ１０の姿勢の変化量が所定の閾値以上の場合、第３画像変位条件が満たされたと判定する。
【００４８】
表示制御部３４は、判定部５２により画像変位処理の実行が決定されなければ、画像記憶部３２に記憶された画像（すなわちＰＣ４０により生成された補正画像２２）を本来の表示位置に表示させる。例えば、画像記憶部３２に記憶された画像は、各画素の座標と画素値（例えば赤、緑、青それぞれの成分値）を含んでもよい。表示制御部３４は、或る画素の座標に対応する位置のＯＬＥＤを、その画素の画素値に応じた態様で発光させてもよい。
【００４９】
一方、判定部５２により画像変位処理の実行が決定された場合、表示制御部３４は、第２処理部として、画像記憶部３２に記憶された画像（次に表示すべき補正画像２２）を、画像表示時に、ずらした態様でＯＬＥＤパネル１２に表示させる。表示制御部３４は、判定部５２により画像変位処理の実行が決定された時点以降に表示させる補正画像２２に対して、公知のウォブリング処理を実行してもよい。例えば、表示制御部３４は、補正画像２２を本来の表示位置から縦または横に１画素ずらした位置に表示させてもよい。例えば、表示制御部３４は、補正画像２２の或る画素の座標に対応する画面位置から所定方向にずらした画面位置のＯＬＥＤを、その画素の画素値に応じた態様で発光させてもよい。
【００５０】
第２実施例のエンタテインメントシステム１００によると、ＨＭＤ１０のＯＬＥＤの劣化を抑制する処理を好適なタイミングで実行できる。例えば、ユーザが気づきにくいタイミングでウォブリングを実行でき、ウォブリング実行時にユーザに違和感を抱かせることを抑制できる。
【００５１】
以上、本発明を第２実施例をもとに説明した。この第２実施例は例示であり、構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００５２】
第２実施例の第１変形例を説明する。判定部５２により画像変位処理の実行が決定されない場合、表示制御部３４は、画像記憶部３２に記憶された画像（補正画像２２）を、判定部５２により画像変位処理の実行が決定された場合より小さくずらした態様でＯＬＥＤパネル１２に表示させてもよい。例えば、表示制御部３４は、判定部５２により画像変位処理の実行が決定された場合、補正画像２２を所定方向に２画素ずらして表示させる一方、判定部５２により画像変位処理の実行が決定されない場合、補正画像２２を所定方向に１画素ずらして表示させてもよい。
【００５３】
第２実施例の第２変形例を説明する。ＨＭＤ１０の検出部５０は、公知の手法（Gaze Tracking技術等）により、ユーザの視線方向を検出してもよく、視線方向に付随する他の情報をさらに検出してもよい。例えば、ＨＭＤ１０は、ユーザの瞳を撮像するカメラをさらに備えてもよい。検出部５０は、カメラによる撮像画像に基づいて、ユーザの視線方向を検出してもよい。また、検出部５０は、カメラによる撮像画像に基づいて、ユーザが瞬きをしたこと、および、瞳を閉じたことを検出してもよい。さらにまた、検出部５０は、ユーザの視線方向に応じて、ＯＬＥＤパネル１２におけるユーザが見ている領域、および／または、ユーザが見ていない領域を検出してもよい。
【００５４】
ＨＭＤ１０の表示制御部３４は、検出部５０により検出されたユーザの視線方向に応じて、画像記憶部３２に記憶された画像（すなわちＨＭＤ１０により生成された補正画像２２）を、画像表示時に、ＯＬＥＤの劣化を抑制する態様でＯＬＥＤパネル１２に表示させてもよい。例えば、表示制御部３４は、第２実施例と同様に、補正画像２２をずらした態様でＯＬＥＤパネル１２に表示させてもよい。
【００５５】
また、表示制御部３４は、ＰＣ４０により生成された補正画像２２における、ユーザに視認されていないＯＬＥＤパネル１２の領域に表示される部分（以下「非注目部分」とも呼ぶ。）を、画像表示時に、ＯＬＥＤの劣化を抑制する態様でＯＬＥＤパネル１２に表示させてもよい。以下では、補正画像２２における、ユーザに視認されているＯＬＥＤパネル１２の領域に表示される部分を「注目部分」とも呼ぶ。例えば、表示制御部３４は、補正画像２２における注目部分の表示位置はずらさず、補正画像２２における非注目部分のみ表示位置をずらしてもよい。
【００５６】
第２変形例の別の態様として、表示制御部３４は、補正画像２２における非注目部分の輝度を、補正画像２２で定められた本来の輝度より下げて、ＯＬＥＤパネル１２におけるユーザが見ていない領域に表示させてもよい。一方、表示制御部３４は、補正画像２２における注目部分の輝度を変化させることを抑制してもよい。
【００５７】
第２変形例のさらに別の態様として、表示制御部３４は、補正画像２２における非注目部分の輝度を平滑化してもよい。例えば、補正画像２２における非注目部分に所定値以上の輝度値の画素が存在する場合、当該画素の輝度値を本来の値より下げ、当該画素の周辺の画素の輝度値を本来の値より上げてもよい。これにより、ＯＬＥＤパネル１２において特定のＯＬＥＤのみ劣化が進むことを防止しやすくなる。
【００５８】
第２変形例のさらに別の態様として、ＨＭＤ１０は、ＯＬＥＤパネル１２の複数の領域（または複数のＯＬＥＤでもよい、以下同じ）のそれぞれを過去どのくらいの輝度で発光（点灯）させたかを示す発光実績情報を記憶する発光実績記憶部をさらに備えてもよい。表示制御部３４は、発光実績情報を参照し、ＯＬＥＤパネル１２の複数の領域の発光実績の偏りが大きい場合（所定値以上の場合）、複数の領域の発光実績を平滑化させるように補正画像２２の表示位置をずらしてもよい。これにより、発光実績が高い領域に輝度のピークが来ることを回避してもよい。また、表示制御部３４は、発光実績が相対的に高い領域に表示される補正画像２２の輝度値を、補正画像２２が定める本来の値より低下させてもよい。
【００５９】
（第３実施例）
第３実施例でも、ＨＭＤ１０のＯＬＥＤの劣化を抑制するための別の構成を説明する。図７は、第３実施例のエンタテインメントシステム１００の構成を示す。第３実施例のエンタテインメントシステム１００は、第２実施例のエンタテインメントシステム１００と類似する構成である。第３実施例のエンタテインメントシステム１００の構成要素のうち、第２実施例のエンタテインメントシステム１００の構成要素と同一または対応するものには、第２実施例と同じ符号を付している。また、第１実施例または第２実施例で説明済みの内容は、再度の説明を適宜省略する。
【００６０】
第３実施例のＨＭＤ１０は、第１実施例の構成を基本とし、第１実施例の構成に加えて通知部５４をさらに備える。通知部５４は、ＨＭＤ１０に設けられたセンサ（不図示）による検知結果に基づいて、（１）ＨＭＤ１０の動作状態に関する情報、（２）ＨＭＤ１０に表示された画像に関する情報、（３）ＨＭＤ１０を使用するユーザの状態に関する情報の少なくとも１つを含む信号をＰＣ４０へ送信する。
【００６１】
第３実施例のＰＣ４０は、第１実施例の構成を基本とし、第２実施例ではＨＭＤ１０が備えた検出部５０と判定部５２をさらに備える。検出部５０は、ＨＭＤ１０から送信された信号、および／または、ＨＭＤ１０を撮像するカメラ（不図示）による撮像画像に基づいて、（１）ＨＭＤ１０の動作状態、（２）ＨＭＤ１０に表示された画像、（３）ＨＭＤ１０を使用するユーザの状態のうち少なくとも１つを検出する。実施例では（１）〜（３）のすべてを検出する。
【００６２】
判定部５２は、検出部５０による検出結果に応じて、ＨＭＤ１０の動作状態に関する第１画像変位条件、ＨＭＤ１０に表示された画像に関する第２画像変位条件、ＨＭＤ１０を使用するユーザの状態に関する第３画像変位条件のそれぞれが満たされたか否かを判定する。第１画像変位条件、第２画像変位条件、第３画像変位条件のうち少なくとも１つが満たされた場合、画像変位処理の実行を決定する。各条件の充足有無の判断例は既述のためここでは省略する。
【００６３】
補正画像生成部４４は、判定部５２により画像変位処理の実行が決定されなければ、元画像生成部４２により生成された元画像２０をずらさずに逆歪み補正することにより補正画像２２を生成する。一方、判定部５２により画像変位処理の実行が決定された場合、補正画像生成部４４は、第１実施例で記載したように、第２処理部として、元画像生成部４２により生成された元画像２０を、画像生成時にずらした画像を逆歪み補正することにより補正画像２２を生成する。
【００６４】
ＨＭＤ１０の表示制御部３４は、画像記憶部３２に記憶された画像を本来の表示位置に表示させる。すなわち、第３実施例では、表示制御部３４は、ＰＣ４０により生成された補正画像２２をずらさずにそのままＯＬＥＤパネル１２に表示させる。
【００６５】
第３実施例のエンタテインメントシステム１００においても、第２実施例のエンタテインメントシステム１００と同様に、ＨＭＤ１０のＯＬＥＤの劣化を抑制する処理を好適なタイミングで実行できる。また、第３実施例のエンタテインメントシステム１００では、第１実施例と同様に、元画像２０を任意の幅（１画素の整数倍以外の幅）ずらすことが可能である。例えば、元画像２０を１画素未満の幅でずらした画像を逆歪み補正した補正画像２２を生成してもよい。これにより、ＯＬＥＤパネル１２の解像度が低い場合でも、ユーザに違和感を抱かせにくくなる。
【００６６】
以上、本発明を第３実施例をもとに説明した。この第３実施例は例示であり、構成要素や処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６７】
第３実施例の第１変形例を説明する。判定部５２により画像変位処理の実行が決定されない場合、表示制御部３４は、元画像生成部４２により生成された元画像２０を、判定部５２により画像変位処理の実行が決定された場合より小さくずらした画像を逆歪み補正した補正画像２２を生成してもよい。例えば、判定部５２により画像変位処理の実行が決定された場合に元画像２０をずらす幅が１画素であるとき、判定部５２により画像変位処理の実行が決定されない場合に元画像２０をずらす幅は１／３画素であってもよい。
【００６８】
第３実施例の第２変形例を説明する。ＨＭＤ１０の通知部５４は、ユーザの視線方向に関する情報を含む信号をＰＣ４０へ送信してもよい。例えば、ＨＭＤ１０は、ユーザの瞳を撮像するカメラをさらに備えてもよく、通知部５４は、当該カメラによる撮像画像をＰＣ４０へ送信してもよい。
【００６９】
ＰＣ４０の検出部５０は、公知の手法（Gaze Tracking技術等）により、ＨＭＤ１０から送信された信号に基づいて、ユーザの視線方向を検出してもよく、視線方向に付随する他の情報をさらに検出してもよい。例えば、検出部５０は、上記カメラによる撮像画像に基づいて、ユーザの視線方向を検出してもよい。また、検出部５０は、上記カメラによる撮像画像に基づいて、ユーザが瞬きをしたこと、および、瞳を閉じたことを検出してもよい。さらにまた、検出部５０は、ユーザの視線方向に応じて、ＯＬＥＤパネル１２におけるユーザが見ている領域、および／または、ユーザが見ていない領域を検出してもよい。
【００７０】
ＰＣ４０の補正画像生成部４４は、検出部５０により検出されたユーザの視線方向に応じて、元画像生成部４２により生成された元画像２０を、画像生成時にＨＭＤ１０のＯＬＥＤの劣化を抑制する態様に補正してもよい。例えば、補正画像生成部４４は、第３実施例と同様に、元画像生成部４２により生成された元画像２０をずらした画像を逆歪み補正することにより補正画像２２を生成してもよい。
【００７１】
また、補正画像生成部４４は、元画像生成部４２により生成された元画像２０における、ユーザに視認されていないＯＬＥＤパネル１２の領域に表示される部分（以下「非注目部分」とも呼ぶ。）を、画像生成時にＨＭＤ１０のＯＬＥＤの劣化を抑制する態様に補正してもよい。以下では、元画像２０における、ユーザに視認されているＯＬＥＤパネル１２の領域に表示される部分を「注目部分」とも呼ぶ。
【００７２】
例えば、ＰＣ４０は、ユーザに視認されているＯＬＥＤパネル１２の領域と元画像２０の部分との対応関係、および／または、ユーザに視認されていないＯＬＥＤパネル１２の領域と元画像２０の部分との対応関係を予め記憶してもよい。補正画像生成部４４は、元画像２０における注目部分についてはそのまま逆歪み補正することにより補正画像２２を生成してもよい。一方、補正画像生成部４４は、元画像２０における非注目部分については、非注目部分をずらした結果を逆歪み補正することにより補正画像２２を生成してもよい。
【００７３】
第２変形例の別の態様として、ＰＣ４０は、ユーザに視認されているＯＬＥＤパネル１２の領域と補正画像２２の部分との対応関係、および／または、ユーザに視認されていないＯＬＥＤパネル１２の領域と補正画像２２の部分との対応関係を予め記憶してもよい。補正画像生成部４４は、補正画像２２における非注目部分の輝度を、補正画像２２で定められた本来の輝度より下げてもよい。一方、補正画像生成部４４は、補正画像２２における注目部分の輝度を変化させることを抑制してもよい。
【００７４】
第２変形例のさらに別の態様として、補正画像生成部４４は、補正画像２２における非注目部分の輝度を平滑化してもよい。例えば、補正画像２２における非注目部分に所定値以上の輝度値の画素が存在する場合、当該画素の輝度値を本来の値より下げるとともに、当該画素の周辺の画素の輝度値を本来の値より上げてもよい。これにより、ＯＬＥＤパネル１２において特定のＯＬＥＤのみ劣化が進むことを防止しやすくなる。
【００７５】
第２変形例のさらに別の態様として、ＰＣ４０は、ＯＬＥＤパネル１２の複数の領域（または複数のＯＬＥＤでもよい、以下同じ）のそれぞれを過去どのくらいの輝度で発光（点灯）させたかを示す発光実績情報を記憶する発光実績記憶部をさらに備えてもよい。補正画像生成部４４は、発光実績情報を参照し、ＯＬＥＤパネル１２の複数の領域の発光実績の間に所定値以上の偏りがある場合、複数の領域（または複数のＯＬＥＤ）の発光実績を平滑化させるように元画像２０をずらした結果を生成してもよい。補正画像生成部４４は、その結果を逆歪み補正することにより補正画像２２を生成してもよい。これにより、発光実績が高い領域に輝度のピークが来ることを回避できる。また、補正画像生成部４４は、発光実績が相対的に高い領域に表示される補正画像２２の部分の輝度値を本来の値より低下させてもよい。
【００７６】
（第４実施例）
第４実施例では、上記の第１実施例〜第３実施例に組み合わせ可能な、ＨＭＤ１０のＯＬＥＤの劣化を抑制するためのさらに別の構成を説明する。図８は、図２（ｂ）で示したＨＭＤ１０の表示領域を示す。左表示領域６０ａは、左ＯＬＥＤパネル１２ａと左レンズ１４ａとにより構成される円形の表示領域であり、左補正画像２２ａが表示される。右表示領域６０ｂは、右ＯＬＥＤパネル１２ｂと右レンズ１４ｂとにより構成される円形の表示領域であり、右補正画像２２ｂが表示される。
【００７７】
ここで、アプリケーション（例えばＰＣ４０で動作するＶＲゲームアプリケーション）の中には、特定の位置の輝度が常に０または低いＶＲ画像を表示させるものがある。例えば、左表示領域６０ａに表示される左補正画像２２ａについて、ＨＭＤ１０を装着したユーザが注視する領域である左注視領域６２ａの輝度が相対的に高輝度に設定され、かつ、ユーザが注視しない領域である左非注視領域６４ａの輝度が常に０または相対的に低輝度に設定されることがある。図８では、左表示領域６０ａの中心付近が左注視領域６２ａとなっている。
【００７８】
同様に、右表示領域６０ｂに表示される右補正画像２２ｂについて、右注視領域６２ｂの輝度が相対的に高輝度に設定され、かつ、右非注視領域６４ｂの輝度が常に０または相対的に低輝度に設定されることがある。図８では、右表示領域６０ｂの中心付近が右注視領域６２ｂとなっている。左非注視領域６４ａは、左表示領域６０ａ（または左補正画像２２ａ）における左注視領域６２ａ以外の領域とも言える。右非注視領域６４ｂは、右表示領域６０ｂ（または右補正画像２２ｂ）における右注視領域６２ｂ以外の領域とも言える。
【００７９】
このような左補正画像２２ａ、右補正画像２２ｂを長時間表示すると、左注視領域６２ａと左非注視領域６４ａとの間、および、右注視領域６２ｂと右非注視領域６４ｂとの間での輝度差が長時間継続する。その結果、左ＯＬＥＤパネル１２ａと右ＯＬＥＤパネル１２ｂに焼き付きが生じてしまうことがある。そこで、第４実施例のＰＣ４０は、左注視領域６２ａおよび右注視領域６２ｂの平均輝度（言い換えれば輝度平均値）に応じて、左非注視領域６４ａおよび右非注視領域６４ｂの輝度を調整する。
【００８０】
具体的には、ＰＣ４０は、ＨＭＤ１０から通知されたユーザの視線方向に応じて、左注視領域６２ａおよび左非注視領域６４ａと、右注視領域６２ｂおよび右非注視領域６４ｂとを検出する注視領域検出部（不図示）をさらに備える。注視領域検出部は、ユーザの視線方向に合致する左補正画像２２ａの領域を左非注視領域６４ａとして検出し、ユーザの視線方向に合致する右補正画像２２ｂの領域を右非注視領域６４ｂとして検出してもよい。また、ＰＣ４０は、左補正画像２２ａにおける左注視領域６２ａと左非注視領域６４ａそれぞれの平均輝度、および、右補正画像２２ｂにおける右注視領域６２ｂと右非注視領域６４ｂそれぞれの平均輝度を計測する輝度計測部をさらに備える。
【００８１】
既述したように、ＰＣ４０の補正画像生成部４４は、左表示領域６０ａおよび右表示領域６０ｂに表示させる画像として、左補正画像２２ａおよび右補正画像２２ｂを生成する。第４実施例では、補正画像生成部４４は、左注視領域６２ａの平均輝度が相対的に高く、かつ、左非注視領域６４ａの平均輝度が相対的に低い場合（図８の状態）、所定のタイミングで、左注視領域６２ａの平均輝度を相対的に低くし、かつ、左非注視領域６４ａの平均輝度を相対的に高くした左補正画像２２ａを生成する。
【００８２】
同様に補正画像生成部４４は、右注視領域６２ｂの平均輝度が相対的に高く、かつ、右非注視領域６４ｂの平均輝度が相対的に低い場合（図８の状態）、所定のタイミングで、右注視領域６２ｂの平均輝度を相対的に低くし、かつ、右非注視領域６４ｂの平均輝度を相対的に高くした右補正画像２２ｂを生成する。平均輝度が相対的に高いとは、輝度値が所定の高輝度閾値以上であることでもよい。また、平均輝度が相対的に低いとは、輝度値が所定の低輝度閾値未満であることでもよい。
【００８３】
図９は、図８に対応した輝度調整時の表示態様を模式的に示す。図９の左表示領域６０ａに表示される左補正画像２２ａでは、左注視領域６２ａの輝度が相対的に低く設定され、左非注視領域６４ａの輝度が相対的に高く設定される。また、図９の右表示領域６０ｂに表示される右補正画像２２ｂでは、右注視領域６２ｂの輝度が相対的に低く設定され、右非注視領域６４ｂの輝度が相対的に高く設定される。
【００８４】
逆に、左注視領域６２ａの平均輝度が相対的に低く、かつ、左非注視領域６４ａの平均輝度が相対的に高い場合、補正画像生成部４４は、所定のタイミングで、左注視領域６２ａの平均輝度を相対的に高くし、かつ、左非注視領域６４ａの平均輝度を相対的に低くした左補正画像２２ａを生成する。同様に、右注視領域６２ｂの平均輝度が相対的に低く、かつ、右非注視領域６４ｂの平均輝度が相対的に高い場合、補正画像生成部４４は、所定のタイミングで、右注視領域６２ｂの平均輝度を相対的に高くし、かつ、右非注視領域６４ｂの平均輝度を相対的に低くした右補正画像２２ｂを生成する。
【００８５】
上記の所定タイミングは、フレーム数、時間経過、ユーザのＨＭＤ１０の装着有無のいずれか、または任意の組み合わせであってもよい。例えば、補正画像生成部４４は、図８で示した態様の左補正画像２２ａおよび右補正画像２２ｂを所定フレーム数または所定時間継続して生成した場合、その後、図９で示した態様の左補正画像２２ａおよび右補正画像２２ｂを生成してＨＭＤ１０に表示させてもよい。
【００８６】
また、ＰＣ４０は、ユーザのＨＭＤ１０の装着有無を検出する検出部（例えば第３実施例の検出部５０）をさらに備えてもよい。ＰＣ４０の補正画像生成部４４は、左注視領域６２ａの平均輝度が相対的に高く、かつ、左非注視領域６４ａの平均輝度が相対的に低い左補正画像２２ａを継続して生成した場合、ユーザがＨＭＤ１０を非装着であることが検出されたときに、一定時間、左注視領域６２ａの平均輝度を相対的に低くし、かつ、左非注視領域６４ａの平均輝度を相対的に高くした左補正画像２２ａを生成し、ＨＭＤ１０に表示させてもよい。右補正画像２２ｂの場合も同様である。
【００８７】
逆に、補正画像生成部４４は、左注視領域６２ａの平均輝度が相対的に低く、かつ、左非注視領域６４ａの平均輝度が相対的に高い左補正画像２２ａを継続して生成した場合、ユーザがＨＭＤ１０を非装着であることが検出されたときに、一定時間、左注視領域６２ａの平均輝度を相対的に高くし、かつ、左非注視領域６４ａの平均輝度を相対的に低くした左補正画像２２ａを生成し、ＨＭＤ１０に表示させてもよい。右補正画像２２ｂの場合も同様である。
【００８８】
第４実施例の構成によると、ある程度の期間に亘る左注視領域６２ａの平均輝度と左非注視領域６４ａの平均輝度とを平滑化でき、言い換えれば、平均輝度の乖離を小さくすることができる。同様に、右注視領域６２ｂの平均輝度と右非注視領域６４ｂの平均輝度とを平滑化できる。これにより、左ＯＬＥＤパネル１２ａと右ＯＬＥＤパネル１２ｂにおける焼き付きの発生を抑制しやすくなる。言い換えれば、左ＯＬＥＤパネル１２ａと右ＯＬＥＤパネル１２ｂにおける特定の領域だけ劣化が進むことを防止できる。
【００８９】
なお、上記の例では、左注視領域６２ａと左非注視領域６４ａの間で輝度が異なり、また、右注視領域６２ｂと右非注視領域６４ｂとの間で輝度が異なることとした。ただし、第４実施例の技術は、左表示領域６０ａの第１領域と、その第１領域とは異なる第２領域との間で長時間輝度が異なる場合、および、右表示領域６０ｂの第１領域と、その第１領域とは異なる第２領域との間で長時間輝度が異なる場合に広く適用可能である。効果として、左表示領域６０ａの全体に亘り輝度を平滑化でき、同様に、右表示領域６０ｂの全体に亘り輝度を平滑化でき、左ＯＬＥＤパネル１２ａと右ＯＬＥＤパネル１２ｂにおける特定の領域だけ劣化が進むことを防止できる。
【００９０】
上記の第１実施例から第４実施例では画像生成装置の機能をＰＣ４０に設けたが、いずれの実施例にも適用可能な変形例として、画像生成装置の機能をＨＭＤ１０に設けてもよい。すなわち、ＨＭＤ１０は、画像生成処理と画像表示処理の両方を実行してもよい。例えば、ＨＭＤ１０のＣＰＵおよびＧＰＵは、各実施例に記載した元画像生成部４２および補正画像生成部４４の機能をさらに発揮してもよい。この場合、ＨＭＤ１０の補正画像生成部４４は、生成した補正画像２２を画像記憶部３２に格納してもよい。
【００９１】
上述した実施の形態および変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる実施の形態および変形例それぞれの効果をあわせもつ。また、請求項に記載の各構成要件が果たすべき機能は、実施の形態および変形例において示された各構成要素の単体もしくはそれらの連携によって実現されることも当業者には理解されるところである。例えば、請求項に記載の第２処理部は、上述の実施例または変形例に記載のＨＭＤ１０の表示制御部３４とＰＣ４０の補正画像生成部４４の一方により実現されてもよく、ＨＭＤ１０の表示制御部３４とＰＣ４０の補正画像生成部４４との連携により実現されてもよい。
【符号の説明】
【００９２】
１０  ＨＭＤ、  １２  ＯＬＥＤパネル、  １４  レンズ、  ３４  表示制御部、  ３６  表示部、  ４０  ＰＣ、  ４２  元画像生成部、  ４４  補正画像生成部、  ５０  検出部、  １００  エンタテインメントシステム。
【産業上の利用可能性】
【００９３】
本開示に記載の技術は、ヘッドマウントディスプレイに画像を表示させるシステムに利用可能である。
【図１】
2019229906.tif 000003
【図２】
2019229906.tif 000004
【図３】
2019229906.tif 000005
【図４】
2019229906.tif 000006
【図５】
2019229906.tif 000007
【図６】
2019229906.tif 000008
【図７】
2019229906.tif 000009
【図８】
2019229906.tif 000010
【図９】
2019229906.tif 000011
【手続補正書】
【提出日】令和3年5月18日(2021.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ヘッドマウントディスプレイに画像を表示させるシステムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、
仮想空間の画像を生成する第１処理部と、
仮想空間の画像を前記表示部に表示させる第２処理部と、
を備え、
前記第２処理部は、前記ヘッドマウントディスプレイの電源がオンからオフに切り替えられた場合、または、前記ヘッドマウントディスプレイの電源がオフからオンに切り替えられた場合、前記第１処理部により生成された画像を画像生成時にずらすことにより前記表示部に表示させる画像を生成し、または、前記第１処理部により生成された画像を画像表示時にずらした態様で前記表示部に表示させることを特徴とする画像表示システム。
【請求項２】
ヘッドマウントディスプレイに画像を表示させるシステムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、
仮想空間の画像を生成する第１処理部と、
仮想空間の画像を前記表示部に表示させる第２処理部と、
を備え、
前記第２処理部は、画像全体の平均輝度が所定値以下の画像が前記表示部に表示された場合、前記第１処理部により生成された画像を画像生成時にずらすことにより前記表示部に表示させる画像を生成し、または、前記第１処理部により生成された画像を画像表示時にずらした態様で前記表示部に表示させることを特徴とする画像表示システム。
【請求項３】
ヘッドマウントディスプレイに画像を表示させるシステムであって、
前記ヘッドマウントディスプレイは、有機発光ダイオードを含む表示部を含むものであり、
仮想空間の画像を生成する第１処理部と、
仮想空間の画像を前記表示部に表示させる第２処理部と、
を備え、
前記第２処理部は、ユーザが前記ヘッドマウントディスプレイを未装着の場合、または、前記ヘッドマウントディスプレイの姿勢の変化量が所定の閾値以上の場合、前記第１処理部により生成された画像を画像生成時にずらすことにより前記表示部に表示させる画像を生成し、または、前記第１処理部により生成された画像を画像表示時にずらした態様で前記表示部に表示させることを特徴とする画像表示システム。
【請求項４】
前記ヘッドマウントディスプレイは、前記表示部に表示された画像を拡大してユーザに提示するレンズを含み、
前記第２処理部は、前記第１処理部により生成された画像をずらした画像を、前記レンズにより生じる歪みに応じて補正することにより、前記表示部に表示させる画像を生成することを特徴とする請求項１から３のいずれかに記載の画像表示システム。
【請求項５】
前記第２処理部は、前記第１処理部により生成された画像をずらす幅を所定のタイミングで変化させることを特徴とする請求項４に記載の画像表示システム。
【請求項６】
前記第２処理部は、前記第１処理部により生成された画像を１画素未満の幅でずらした画像を補正することを特徴とする請求項４または５に記載の画像表示システム。
【請求項７】
前記第２処理部は、前記レンズにより生じる歪みに応じて予め定められた、前記第１処理部により生成された画像内の位置と、前記表示部に表示させる表示画像内の位置との対応関係にしたがって、前記第１処理部により生成された画像内の或る位置の画素値を、前記或る位置からずらす方向に移動した位置に対応する表示画像内の位置の画素値に設定することを特徴とする請求項４から６のいずれかに記載の画像表示システム。
【国際調査報告】
2019229906.tif 000012
2019229906.tif 000013
2019229906.tif 000014
2019229906.tif 000015