(57)【特許請求の範囲】
【請求項１】
ディスプレイ装置上に画像を提示する方法であって、
前記画像の少なくとも１つの領域に幾何学的変換を適用することによって前記画像を修正することと、
前記幾何学的変換が適用されている前記画像を前記ディスプレイ装置上に提示することと、を含み、
前記幾何学的変換が適用された前記少なくとも１つの領域が前記幾何学的変換が適用されなかった領域よりも高い画素密度を有すると知覚されるように、前記画像に適用されている前記幾何学的変換に対応する逆変換を適用する光学部品を介して、視聴者に対し、前記ディスプレイ装置上に提示された前記少なく１つの領域が提示される、前記方法。
【請求項２】
前記視聴者の注視位置を判定することと、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更することと、をさらに含む、請求項１に記載の方法。
【請求項３】
より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている、請求項１に記載の方法。
【請求項４】
前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置（ＨＭＤ）である、請求項１〜３のいずれか１項に記載の方法。
【請求項５】
コンテンツは、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記方法は、
前記視聴者の頭部のポジションを検出することと、
前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択することと、をさらに含む、請求項４に記載の方法。
【請求項６】
画像を提示するディスプレイ装置であって、
前記画像の少なくとも１つの領域に幾何学的変換を適用することによって前記画像を修正し、
前記幾何学的変換が適用されている前記画像を前記ディスプレイ装置上に提示する、ように構成された少なくともプロセッサを含み、
前記幾何学的変換が適用された前記少なくとも１つの領域が前記幾何学的変換が適用されなかった領域よりも高い画素密度を有すると知覚されるように、前記画像に適用されている前記幾何学的変換に対応する逆変換を適用する光学部品を介して、視聴者に対し、前記ディスプレイ装置上に提示された前記少なく１つの領域が提示される、前記ディスプレイ装置。
【請求項７】
視線追跡型センサをさらに含み、
前記プロセッサは、さらに、
前記視線追跡型センサと協働して前記視聴者の注視位置を判定し、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の領域および前記光学部品の前記位置を変更するように構成されている、請求項６に記載の前記ディスプレイ装置。
【請求項８】
前記プロセッサは、
コンテンツに含まれる関心領域の情報に基づいて前記視聴者の注視位置を判定し、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更するようにさらに構成されている、請求項６に記載のディスプレイ装置。
【請求項９】
前記光学部品を移動させるアクチュエータをさらに含み、前記光学部品の前記位置は、前記判定された注視位置に応じて前記アクチュエータを動作させることによって変更される、請求項７または８に記載のディスプレイ装置。
【請求項１０】
より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている、請求項６に記載のディスプレイ装置。
【請求項１１】
前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置（ＨＭＤ）である、請求項６〜１０のいずれか１項に記載のディスプレイ装置。
【請求項１２】
前記視聴者の頭部のポジションを検出する位置センサをさらに含み、前記画像は、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記プロセッサは、
前記位置センサと協働して前記視聴者の頭部のポジションを検出し、
前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択するように構成されている、請求項１１に記載のディスプレイ装置。
【発明の詳細な説明】
【技術分野】
【０００１】
一般的には、本願の開示内容は、画素配分最適化を用いたディスプレイ装置に関する。ディスプレイ装置は、ヘッド・マウント・ディスプレイ（ＨＭＤ）などのユーザが身につけることのできるディスプレイ装置であってもよいが、このような類のディスプレイ装置に限られるものではない。
【背景技術】
【０００２】
これらのＨＭＤ装置は、主に、ディスプレイ・モジュール（例えば、ＬＣＤまたはＯＬＥＤ）および光学器で構成される。この光学器は、通常、光を、（とても近くに置かれた画面に対して眼による遠近調節を可能にするために）あたかもこの光が視聴者から無限遠の場所、または、長距離（例えば、人間の眼の過焦点距離）離れた場所で生成されたかのように光を修正し、視野を拡大して没入感を向上させるように設計されている。
【０００３】
ＨＭＤ装置は、ユーザの頭部のポジションを測定する慣性測定ユニット（ＩＭＵ）などのセンサに結合されていてもよい。このセンサのおかげで、ディスプレイを介してユーザに提供される映像コンテンツは、ユーザの頭部の方向によって異なることができ、ユーザは、仮想世界で移動し、没入感を得ることができる。
【０００４】
米国特許出願公開第２０１２／０１５４２７７号（ＵＳ２０１２／０１５４２７７Ａ１）は、ユーザの焦点領域を判定し、最適化された画像の部分をユーザの焦点領域に結びつけるために、ユーザの頭部および眼のポジションを追跡することを開示している。しかしながら、ディスプレイ装置に出力すべき画像の画素配分を最適化するコンセプトは、米国特許出願公開第２０１２／０１５４２７７号では考慮されていない。
【発明の概要】
【０００５】
本願の開示内容の一態様によれば、ディスプレイ装置上に画像を提示する方法が提供される。この方法は、視聴者に対し、ディスプレイ装置上の画像の或る領域が画像のその他の領域よりも高い画素密度で提示されるように、画像に幾何学的変換を適用することによって画像を修正することを含む。
【０００６】
本願の開示内容の別の態様によれば、プロセッサを備えた、画像を提示するディスプレイ装置が提供される。このプロセッサは、視聴者に対し、ディスプレイ装置上の画像の或る領域が画像のその他の領域よりも高い画素密度で提示されるように、画像に幾何学的変換を適用することによって画像を修正するように構成されている。
【０００７】
本願の開示内容の目的および利点は、請求の範囲に具体的に規定された要素および組み合わせによって実現、達成される。
【０００８】
上述した一般的な説明および後述する詳細な説明は例示的に説明したものであり、請求の範囲に記載の開示内容を限定するものではないことが理解できよう。
【０００９】
本願の開示内容の態様、特徴および利点は、添付図面と関連した以下の説明から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】中心窩の周囲の角度位置に依存する視力を表す図である。
【図２】本願の開示内容の一実施形態の概略図である。
【図３】光学素子によって適用される歪みを表す図である。
【図４】本願の開示内容の一実施形態による、画像に適用される幾何学的変換処理を表す図である。
【図５】オリジナルのシステムと同様の機能を有するレンズの設計を表す図である。
【図６】本願の一実施形態によるＨＭＤ装置の光学システム全体を示す図である。
【図７】ディスプレイ上のフィールド位置に応じてプロットされる、知覚される視野を示す図である。
【図８】本発明の開示内容の一実施形態に係るディスプレイ装置を模式的に表す図であり、図８（ａ）は、ディスプレイ装置の平面図をであり、図８（ｂ）は、ディスプレイ装置の正面図である。
【図９】図８に示された制御モジュールのコンポーネントを示すブロック図である。
【図１０】本発明の開示内容の一実施形態に係るディスプレイ装置によって実行される処理の例を示すフローチャートである。
【発明を実施するための最良の形態】
【００１１】
以下の説明において、本願の開示内容の例示的な実施形態の種々の実施態様について記載する。説明の目的で、完全な理解が得られるように、特定の構成および詳細を記載する。しかしながら、当業者にとっては、本願の開示内容が本明細書に記載された特定の詳細に限定されることなく実施される場合があることも明らかであろう。
【００１２】
本願の開示内容の実施形態のコンセプトの理解を容易にするために、まず、人間の視覚システムの幾らかの特徴について紹介する。
【００１３】
図１は、ウィキペディア（Ｗｉｋｉｐｅｄｉａ）の「中心窩（ｆｏｖｅａ  ｃｅｎｔｒａｌｉｓ）」に関連するページから引用した中心窩の角度位置に依存する視力を表している。中心窩は、錐体細胞の密度が最高となる眼の中心領域である。この領域は、視力が最大限となる２，３°に相当する。この視力は、視野が拡大すると急激に低下する（図１参照）。これは、視聴者にイマージョンの感覚（没入感）を持たせるには大きな視野が必要であっても、周辺視野では詳細を知覚できないことを意味する。
【００１４】
分離した別個の画素によって画像を生成するディスプレイ装置の解像度は、この視力特性に基づいている。すなわち、観察の距離に依存して、画素は、その空間周波数が眼の分解能よりも高い場合には、知覚することができない。
【００１５】
人間の眼は、中心窩領域では、１分の弧角によって分離された２つの点を概ね区別することができる。これは、例えば、９３ｃｍの幅を有する１９２０×１０８０画素４２インチのＨＤ（高精細度）画面を、視力に概ね対応して、中心領域では１度毎に６０画素の画素密度を有するように、１６６ｃｍの距離で視聴できることを意味する。
【００１６】
ここで、１２８０×８００画素の解像度を有する例示的なＨＭＤ装置に関連した例について述べる。この例において、水平視野は、概ね９０°（またはソースに依存して、１１０°）であり、１つの眼毎の理論的な画素数は、６４０である（しかしながら、実際には５００に近くなることが多い）。５００個の画素が９０°にわたって分布していることは、１度毎に５個未満の画素が存在する画素密度となることを示唆している。すなわち、１分の角度の視力に対し、ナイキストの標本化定理で必要とされるものの１０分の１となる。このＨＭＤの次世代版が１９２０×１０８０画素を有するディスプレイに基づくものとする場合であっても、解像度が中心窩領域における視力をはるかに下回るものとすべきである。
【００１７】
逆に言えば、視力は視野周辺部では大幅に減少するため、周辺視野領域における画素密度は、人間の眼で知覚するには高すぎることとなる。
【００１８】
本開示内容は、ディスプレイの或る領域で画素密度を増加させ、画素密度が増加した領域の周辺領域でこの密度を減少させるＨＭＤ装置などのディプレイ装置を例示的に記載するものである。眼は、ディスプレイによって提供されるコンテンツ内で移動可能であるため、密度のこの増加は、中心窩に対応する極端に狭い領域に限定されるものではないが、頭部を動かすまでにはいたらない、平均的な眼の動きに対応する領域に適用される。これは、ユーザが高密度情報を有する領域の周囲に自己の視線を動かし、密度の低い情報を提供する広視野により、没入感を楽しめることを意味する。
【００１９】
慣性測定ユニット（ＩＭＵ）に結合されたＨＭＤ装置の場合には、ユーザは、自己の頭部を周辺部の低解像度で知覚された物体または領域の中心に動かし、次に、この物体または領域上の解像度を劇的に増加させることができる。
【００２０】
オキュラス・リフト（Ｏｃｕｌｕｓ  Ｒｉｆｔ）ＨＭＤなどの現在利用可能なＨＭＤ装置上で、ディスプレイ装置によって生成された画素は、光学器によって、視野全体にわたってほとんど一定の密度になるように配分させられる。この光学器はシンプルであるため、表示されるべき映像コンテンツに逆変換を適用することによって、信号処理によって補償されなければならない強いピンクッション歪を導入する。視聴者は、ＨＭＤの中心領域においても、大きな視野を有するが解像度の低い、映像またはグラフィックの没入感のあるコンテンツを知覚することができる。
【００２１】
「中心窩（ｆｏｖｅａｔｉｏｎ）」と呼ばれるものは、画像取得の技術分野において知られている。画像は、センサの中心領域においてフォトサイトの密度が高くなっている中心窩センサによって取得することができ、または、中心窩レンズに関連付けられた標準的なセンサを用いて取得することもできる。
【００２２】
中心窩イメージングは、画像圧縮、画像送信、または、視線追従型ディスプレイにわたった信号処理の技術分野においても知られている。この最後に挙げた用途では、視線追跡装置は、ユーザが見ている場所を検出し、この領域内に、周辺部（低周波のみ、ブレ）と比べて、より多くの情報（高周波を含む画像部分）が動的に表示される。
【００２３】
本開示内容において、ディスプレイ上の或る領域における画素密度を増加させ、ディスプレイ上のこの領域の周辺の領域における画素密度を減少させるように構成された（または、適応された）システムが提案される。しかしながら、詳細（高周波）が関心領域に表示され、ブレ情報（または低周波のみ）が一定の画素密度で周辺部に表示される中心窩画像とは異なり、提案されるシステムは、画素密度自体を修正することに留意されたい。
【００２４】
画素の配分は、光学器によって適用される変換Ｔによって修正することができる。この場合、表示されるべきコンテンツは、逆幾何学的変換Ｔ−１によって修正される必要がある。そして、画素密度の増加により知覚される輝度が増加し、画素密度の減少により知覚される輝度が減少する。輝度のこの修正は、ディスプレイによって、または、表示されるべき画像に適用される信号処理によって、全体的に、または、部分的に、補償される必要がある。
【００２５】
図２は、本願の開示内容の一実施形態に係る概略図を示している。
【００２６】
従来の光学素子は、視聴者の眼による遠近調節を可能にするために、光を修正し、あたかもこの光が視聴者から無限遠の場所（または、有限であるが長距離離れた場所）で生成されたかのようにする。これにより、さらに、ディスプレイの視野が拡大し、視聴者による没入感を改善することができる。
【００２７】
従来技術に追加して、本願の開示内容の非限定的な実施形態は、光学素子が（図３に示されているような）歪みを適用し、中心に対する距離に依存して、知覚される画素密度を修正することを提案する。距離は、水平軸によって、径方向の場合もあれば、軸方向の場合もある。図４から分かるように、本願の開示内容の実施形態の光学素子によって引き起こされる歪みは、画素の配分をもたらし、すなわち、ディスプレイ上に表示される画素の一定の密度が修正された画素密度に変換され、増加した画素密度が視野の中心領域で知覚される。
【００２８】
図４は、本願の開示内容の一実施形態による、画像に適用される幾何学的変換処理を示している。入力画像Ｉは、ディスプレイに供給される前に、関数Ｔ−１（Ｉ）によって変換され、中心領域内の詳細を保持する。この変換は、本願の開示内容の実施形態の光学素子によって適用される逆変換関数に対応していなければならない。これは、例えば、多項式関数によって近似化できる。光学素子は、視野の中心である（図４参照）中心領域（βの周辺）の情報が高密度となるように画像Ｉを視聴者に提供するために、歪みＴ（Ｉ１）を適用する。
【００２９】
視聴者によって知覚される画素密度は、図４の曲線によって表される。「α」は、βの周辺の位置を表しており、一定の画素密度と比べると、画素密度が増加または減少する制限位置を規定している。この曲線は、光学的な変換に依存し、ここでは、例として与えられている。知覚される画素の密度は、例えば、最大の視野に達するまで連続的に減少する。
【００３０】
知覚される密度が最大値となる位置βは、ここでは、１／２ＦＯＶ（視野：Ｆｉｅｌｄ  ｏｆ  Ｖｉｅｗ）に置かれる。この位置は、眼が動く場合には変化し、ＨＭＤ装置上の視線追跡システムによって追跡されてもよい。視線追跡システムの出力信号からの出力に依存して、光学素子は、左右上下にシフトされ、最大密度領域を所与の眼の光軸に合わせることが可能である。画像信号は、変更された光学的な構成に関連付けられた新たなＴ／Ｔ−１変換に従って修正される。視線が追跡され、光学素子がこれに応じてシフトすると、光学設計において、値αが減少され、中心窩の拡張に限定されるが、静的な構成において考慮される眼球運動のマージンが除外される。
【００３１】
提案される解決法は、角セクタ毎の相対的に知覚される画素密度の比較のために、標準的な実施態様と比較されなければならない。
【００３２】
図５は、従来のシステムと同様の機能のレンズの設計を示している。
【００３３】
光学システムの寸法は、約９５°の合計視野を有るように決められ、物体の視野幅は、２×３７．５ｍｍであり、これは、画面の幅である。図５は、軸方向視野点、中間点、および周辺視野に対する光線追跡を示している。このシステムは、画像空間内でアフォーカル系のデザインを有し、瞳孔は、４ｍｍであり、最終光学面のサグから１０ｍｍの距離にある。周辺視野点でのＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ：変調伝達関数）は、瞳孔に到達する非コリメート式の赤いサブビームから推論することができるように、勿論、非常に悪い。画像空間において知覚される視野は、±２９°である。
【００３４】
知覚される角画素密度を修正するために、レンズを物体面の近傍でセットアップする必要がある。その視野レンズは、外側の画素と比べて画像空間でより高い角密度で、光軸の周囲のディスプレイの中心部の画素をマッピングするものとする。このような特性を有する光学面は、必ず偶数次の非球面となる。それは、球面からの偏差の多項式展開によって記述される、回転対称の多項式非球面表面である。偶数次の非球面表面モデルは、非球面性を記述するための動径座標の偶数次数のみを使用する。表面サグは、以下のように与えられる。
【数１】
0006684728.tif 000002
ここでｃは、曲率であり、ｒは、レンズ・ユニットの動径座標であり、ｋは、円錐定数である。視野レンズは、視野ポイントの異なる部位を別個に変調するために、両方の前面が非球面になる必要があり、さらに、各主光線を本実施形態のＨＭＤ装置の光学システムの入射瞳孔に向かって仕向けるために、後方が非球面を有する必要がある。
【００３５】
図６は、軸近傍の角解像度を改良する本実施形態のＨＭＤ装置の光学システム全体を示している。第１のレンズは、画像空間において、視野ポイントを相異なる角密度に屈曲させるものである。第１のレンズの形状は、複雑であるように見えるが、ＳＨＯＴＴ  ＡＧ社によってＢ２７０（商標）ガラスで製造され、大量に、且つ、低コストで成形可能であり、主レンズもまた、同様の材料で製造され、２つの非球面状の表面を有するため、成形される必要がある。
【００３６】
レンズの度数の仕様は、以下の通りである。
表面データの概要：
【表１】
0006684728.tif 000003
【００３７】
表面データの詳細：
表面   ＯＢＪ ＳＴＡＮＤＡＲＤ（標準） 
表面   １     ＥＶＥＮＡＳＰＨ
【表２】
0006684728.tif 000004
表面   ２     ＥＶＥＮＡＳＰＨ
【表３】
0006684728.tif 000005
表面   ＳＴＯ ＳＴＡＮＤＡＲＤ（標準）
表面   ４     ＥＶＥＮＡＳＰＨ
【表４】
0006684728.tif 000006
表面   ５     ＥＶＥＮＡＳＰＨ
【表５】
0006684728.tif 000007
【００３８】
光学システムのこの構成によって得られる副次的効果として、ＭＴＦの改善がある。
【００３９】
最終的に、図６に示された光学システムが本開示内容に記載された機能を有することを示すために、知覚される視野を、図７に示されているように、ディスプレイ上での視野位置に応じてプロットすることができる。図７から分かるように、改善されたシステムは、実際上、図４に示された理論的な形状のような曲線を有し、結果的には、光軸方向の近傍で知覚される画素密度が高くなる。
【００４０】
図８は、本願の開示内容の一実施形態に係るディスプレイ装置を模式的に表しており、図８（ａ）は、装置の平面図であり、図８（ｂ）は、装置の正面図である。
【００４１】
図８に示されているように、ディスプレイ装置１００は、ディスプレイ・モジュール１０５を含んでいてもよく、ディスプレイ・モジュール１０５は、例えば、光源を有するＬＣＤ（液晶ディスプレイ）またはＯＬＥＤ（有機発光ディスプレイ）であってもよい。テンプル・アームなどの固定要素１１０がディスプレイ装置１００の両側に取り付けられており、装置１００を適切な位置に保持するのに役立つように視聴者の耳の上にそれぞれ延在している。代替的には、固定要素１１０は、視聴者の頭上に装置１００を保持する伸長バンドとすることができる。
【００４２】
ディスプレイ装置１００は、さらに、光学部品１２０およびこの光学部品１２０を移動するためのアクチュエータ１１５を含む。光学部品１２０は、図６に関連して説明したように構成された２つの光学素子を有していてもよい。光学部品１２０は、接続部材１２５を介してアクチュエータ１１５に接続されている。アクチュエータ１１５は、固定要素１１０に取り付けられ、光学部品１２０は、ディスプレイ・モジュール１０５の前方にある接続部材１２５によって支持されている。これらのアクチュエータ１１５、光学部品１２０、および接続部材１２５は、それぞれ、固定要素１１０の両側に取り付けられている。アクチュエータ１１５により、図８（ｂ）の矢印によってそれぞれ示されているように、光学部品１２０を上下左右に動かすことができる。なお、光学部品１２０の各光学要素は、代替的には、光学素子がより薄型且つ軽量になるように、フレネルレンズの形態を有していてもよいことに留意されたい。
【００４３】
ディスプレイ装置１００には、視聴者の注視点を検出するための視線追跡型センサ１３０が設けられている。視線追跡型センサ１３０は、例えば、センサ１３０によって引き起こされる可能性のあるディスプレイ画面のシェーディングを防止するために、ディスプレイ・モジュール１０５の上側または下側の部分に取り付けることができる。さらに、ディスプレイ装置１００には、ディスプレイ装置１００が取り付けられる視聴者の頭部のポジションを測定するために、慣性測定ユニット（ＩＭＵ）などのポジションセンサ１４５が設けられる。
【００４４】
さらに、ディスプレイ装置１００は、ディスプレイ・モジュール１０５、アクチュエータ１１５、視線追跡型センサ１３０、およびポジションセンサ１４５を制御する制御モジュール１４０を含む。制御モジュール１４０は、無線接続または有線接続を通じてこれらの要素に接続される。さらに、制御モジュール１４０は、有線接続または無線接続を通じて外部装置（図示せず）に接続される。外部装置は、ディスプレイ装置１００に提供される画像または映像を記憶する。画像または映像は、外部装置から制御モジュール１４０に提供され、そして、制御モジュール１４０は、受信された画像または映像をディスプレイ・モジュール１０５に出力する。
【００４５】
ディスプレイ装置１００は、視聴者の視野内を暗所にするために、ディスプレイ・モジュール１０５の周辺を囲むフード（図示せず）を有していてもよく、これにより、視聴者に対して良好な没入感を与えることができる。
【００４６】
図９は、図８に示された制御モジュールのコンポーネントを示すブロック図である。
【００４７】
図９に示されているように、制御モジュール２００は、Ｉ／Ｏインタフェース２１０およびメモリ装置２２０を含む。インタフェース２１０およびメモリ装置２２０は、ディスプレイ・モジュール１０５に出力されるべき画像および映像を受信、記憶するように構成されている（図８）。
【００４８】
モジュール２００は、さらに、プロセッサ２３０を含む。プロセッサ２３０は、視線追跡型センサ１３０からの入力に基づいて視聴者の注視点を検出し、検出された注視点に応じてアクチュエータ１１５を起動させ、外部装置から受信された画像または映像をディスプレイ・モジュール１０５上に出力し、ポジションセンサ１４５によって検出され、入力された視聴者の頭部のポジションに応じて、ディスプレイ・モジュール１０５上で画像または映像をスクロールする。
【００４９】
プロセッサ２３０は、さらに、図４を参照して説明される幾何学的変換Ｔ−１（Ｉ）を適用することによって、画像または映像を修正し、ディスプレイ１０５（図８）上の検出された注視点の周囲の領域における画像または映像の情報密度が増加するようにする。プロセッサ２３０は、さらに、輝度補償を行って、幾何学的変換Ｔ−１（Ｉ）によって生じる可能性のある画像または映像における輝度の変化を補償する。メモリ装置２２０は、さらに、上述した処理を行うためのプロセッサ２３０によって実行されるべき少なくとも１つのプログラムを記憶するように構成される。
【００５０】
図１０は、本願の開示内容の一実施形態に係るディスプレイ装置によって行われる処理の例を示すフローチャートである。
【００５１】
ステップＳ１０において、ディスプレイ装置１００の制御モジュール１４０；２００は、Ｉ／Ｏインタフェース２１０を介して外部装置（図示せず）から没入感のある画像または映像コンテンツを受信する。受信されたコンテンツは、メモリ・モジュール２３０に記憶される。没入感のあるコンテンツは、３６０°のコンテンツを表示する（または、３６０°未満であるが、ＨＭＤの表示画面によって表示可能な範囲を超える角度）ためにＨＭＤ装置が利用可能なコンテンツ全体とすることができ、換言すれば、没入感のあるコンテンツは、ＨＭＤの表示画面の領域よりも広い領域を有する。このような没入感のあるコンテンツにより、視聴者は、ＨＭＤ装置上に表示された仮想的な世界に没入することができ、自己の頭部を動かし、見たいと望む３６０°のコンテンツ全体のうちの一部を選択することができる。
【００５２】
ステップＳ１２において、視聴者の頭部のポジションは、ポジションセンサ１４５によって検出され、次に、ステップＳ１４において、ＨＭＤ装置上で表示されるべき３６０°のコンテンツのうちの一部がプロセッサ２２０によって選択される。視聴者が見ることを望む３６０°のコンテンツのうちの一部は、検出された頭部のポジションに対応する。
【００５３】
ステップＳ１６において、ディスプレイ装置１００が取り付けられる視聴者の眼の注視位置が視線追跡型センサ１３０によって決定される。検出された情報は、センサ１３０から制御モジュール２００のプロセッサ２２０に出力される。検出された情報に基づいて、プロセッサ２２０は、ディスプレイ・モジュール１０５上の視聴者の眼の注視位置を特定するための分析を行う。換言すれば、ディスプレイ・モジュール１０５上のどの領域を視聴者が視聴しているかを特定するための分析を行う。なお、ステップＳ１６は、ステップＳ１０〜Ｓ１４の間に行うことができる。
【００５４】
代替的には、ステップＳ１６において、視線追跡型センサ１３０による注視位置の検出の代わりに、コンテンツにおける関心領域（ＲＯＩ：Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ）の情報は、視聴者の眼の注視位置を判定するために使用することができる。この場合、コンテンツ（各画像または映像の各フレーム）における関心領域ＲＯＩは、テスト・ユーザによって前もって判定することもできるし、既知の専用のＲＯＩ分析ソフトウェアによって判定することもでき、コンテンツに組み込まれたメタデータを介してコンテンツに関連付けられる。コンテンツにおける関心領域ＲＯＩは、推定された注視位置とすることができる。その理由は、視聴者は、コンテンツにおける関心領域ＲＯＩに注意を支払うことが想定され、したがって、視線は、これらの関心領域ＲＯＩになおさら引き寄せられることになるからである。
【００５５】
ステップＳ１８において、プロセッサ２２０は、メモリ・モジュール２３０に記憶された画像または映像を読み出し、この画像または映像を修正し、ディスプレイ１０５上で特定された注視位置で画像または映像のより高密度の情報が形成されるようにする。画像または映像の修正は、光学部品１２０によって適用される逆変換関数に対応する幾何学的変換を適用することによって実行することができる（図４）。そして、プロセッサ２２０は、修正された画像または映像コンテンツをディスプレイ装置１０５上に出力する。
【００５６】
ステップＳ２０において、ディスプレイ１０５上の特定された注視位置に応じて、プロセッサ２２０は、アクチュエータ１１５を制御して各々の光学部品１２０を動かし、視聴者が光学部品１２０を通じてディスプレイ１０５を見ることができるようにする。例えば、ディスプレイ１０５上の注視位置と光学部品１２０の各々の対応する位置との間の関連付けは、前もって設定され、メモリ・モジュール２３０に記憶することができる。この場合、プロセッサ２２０は、アクチュエータ１１５で光学部品１２０を関連付けにしたがった検出された注視位置に対応する位置に移動する。
【００５７】
光学部品１２０は、ディスプレイ１０５上に出力された画像または映像に対して行われる変換を補償する歪みＴ（Ｉ１）を適用するため、光学部品１２０を介して視聴者によって知覚される画像コンテンツまたは映像コンテンツは、注視位置では、注視位置の周辺部と比べて情報が高密度である。
【００５８】
ステップＳ１２〜Ｓ２０は、画像コンテンツまたは映像コンテンツがディスプレイ１０５上に出力されている間に繰り返すことができる。これにより、画像または映像上の密度の高い情報領域（コンテンツの残余の部分よりも高密度の情報を有する画像コンテンツまたは映像コンテンツの領域）を変更し、さらに、リアルタイムに検出された注視位置に応じて光学部品１２０の位置を変更することができる。
【００５９】
本実施形態によれば、ディスプレイ１０５上の注視領域において利用可能な情報の密度が劇的に増加するため、より詳細な情報をこの領域で提供可能である。その一方で、周辺視野では視力がより一層低下するため、大きな視野によってもたらされた没入感を維持することができる。
【００６０】
代替的には、例えば、画像または映像上の高密度情報および光学部品１２０の位置を固定してもよい。画像または映像上の高密度情報領域をディスプレイ１０５上の画像または映像の中心領域に固定することができ、光学部品１２０の位置を対応する位置とすることができる。この場合、上述したステップＳ１２およびＳ１６を省略することができる。
【００６１】
さらに、代替的には、ステップＳ１４において、プロセッサ２２０は、外部装置から直接受信した画像または映像を修正し、修正された画像または映像をディスプレイ装置１０５に出力してもよい。この場合、受信した画像コンテンツまたは映像コンテンツをメモリ・モジュール２３０に記憶してもよい。
【００６２】
本明細書に記載された全ての例および条件付の文言は、本開示内容を読者が理解するのを助けるための教示目的のものであり、発明者によって寄与された概念は、技術を発展させるものであり、このような具体的に記載された例や条件に限定されるように解釈されるべきではなく、明細書におけるこのような例の構成が本開示内容の優劣を示すことに関わるものではない。
ここで例としていくつかの付記を記載する。
（付記１）
ディスプレイ装置（１００）上に画像を提示する方法であって、
視聴者に対し、前記ディスプレイ装置上の前記画像の或る領域が前記画像のその他の領域よりも高い画素密度で提示されるように、前記画像に幾何学的変換を適用することによって前記画像を修正すること（Ｓ１８）を含む、前記方法。
（付記２）
前記画像に適用された前記幾何学的変換に対応する逆変換を適用する光学部品（１２０）を介して、前記視聴者に対し、前記ディスプレイ装置上に前記画像を提示すること（Ｓ１８）をさらに含む、付記１に記載の方法。
（付記３）
前記視聴者の注視位置を判定すること（Ｓ１６）と、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更すること（Ｓ１８，Ｓ２０）と、をさらに含む、付記２に記載の方法。
（付記４）
前記より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている（Ｓ１８）、付記１または２に記載の方法。
（付記５）
前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置（ＨＭＤ）である、付記１〜４のいずれか１項に記載の方法。
（付記６）
前記コンテンツは、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記方法は、
前記視聴者の頭部のポジションを検出すること（Ｓ１２）と、
前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択すること（Ｓ１４）と、をさらに含む、付記５に記載の方法。
（付記７）
画像を提示するディスプレイ装置（１００）であって、
視聴者に対し、前記ディスプレイ装置上の前記画像の或る領域を前記画像のその他の領域よりも高い画素密度で提示されるように、前記画像に幾何学的変換を適用することによって前記画像を修正するように構成された少なくともプロセッサ（２３０）を含む、前記ディスプレイ装置。
（付記８）
光学部品（１２０）をさらに含み、当該光学部品を介して、前記視聴者に対し、前記ディスプレイ装置上の前記画像が提示され、前記光学部品は、前記画像に適用された前記幾何学的変換に対応する逆変換を適用するように構成されている、付記７に記載のディスプレイ装置。
（付記９）
視線追跡型センサ（１３０）をさらに含み、
前記プロセッサは、さらに、
前記視線追跡型センサと協働して前記視聴者の注視位置を判定し、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の領域および前記光学部品の前記位置を変更するように構成されている、付記８に記載の前記ディスプレイ装置。
（付記１０）
前記プロセッサは、
前記コンテンツに含まれる関心領域の情報に基づいて前記視聴者の注視位置を判定し、
前記判定された注視位置に応じて、より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域および前記光学部品の位置を変更するようにさらに構成されている、付記８に記載のディスプレイ装置。
（付記１１）
前記光学部品を移動させるアクチュエータをさらに含み、前記光学部品の前記位置は、前記判定された注視位置に応じて前記アクチュエータを動作させることによって変更される、付記９または１０に記載のディスプレイ装置。
（付記１２）
前記より高い画素密度を有する前記ディスプレイ装置上の前記画像の前記領域の位置が前記ディスプレイ装置上の所定の位置に固定されている、付記７または８に記載のディスプレイ装置。
（付記１３）
前記ディスプレイ装置は、ヘッド・マウント・ディスプレイ装置（ＨＭＤ）である、付記７〜１１のいずれか１項に記載のディスプレイ装置。
（付記１４）
前記視聴者の頭部のポジションを検出する位置センサ（１４５）をさらに含み、前記画像は、前記ディスプレイ装置上で表示可能なものよりも広い領域を有し、前記プロセッサは、
前記位置センサと協働して前記視聴者の頭部のポジションを検出し、
前記検出された頭部のポジションに応じて、前記ディスプレイ装置上に表示されるべき前記画像の一部分を選択するように構成されている、付記１３に記載のディスプレイ装置。
【図１】
0006684728.tif 000008
【図２】
0006684728.tif 000009
【図３】
0006684728.tif 000010
【図４】
0006684728.tif 000011
【図５】
0006684728.tif 000012
【図６】
0006684728.tif 000013
【図７】
0006684728.tif 000014
【図８】
0006684728.tif 000015
【図９】
0006684728.tif 000016
【図１０】
0006684728.tif 000017