(57)【要約】入力帯域幅およびシステム処理リソースを低減するニアアイディスプレイシステムのための画像圧縮方法が開示される。人間の視覚システムの角度を一致させることを目的とした、高次基底変調、ダイナミック色域、光フィールド深度サンプリング、および画像データワード長の短縮および量子化を提供する圧縮入力ディスプレイの使用に結合された色および深度視力は、実質的に低減された入力インタフェース帯域幅および処理リソースにおけるモバイルアプリケーションに適したニアアイディスプレイシステムにおける高忠実度視覚体験を可能にする。
2020512735.tif 000002
【特許請求の範囲】
【請求項１】
ニアアイディスプレイを形成する方法であって、
少なくとも１つの対応する光学要素を有するニアアイ表示視聴者の目に少なくとも１つの画像表示要素を光学的に結合するステップと、少なくとも１つの画像表示要素を、  
画像プロセッサ要素をエンコーダ要素に電気的に結合し、エンコーダ要素を画像表示要素に結合する、画像処理要素およびエンコーダ要素を、観察者の目の近傍のニアアイ表示システム内に埋め込むことによって、画像処理要素およびエンコーダ要素のいずれかを選択することができる、または画像プロセッサ要素およびエンコーダ要素を視聴者の目から離れて配置し、エンコーダ要素をニアアイディスプレイシステムに無線または有線接続によって結合するステップと、  
ニアアイ表示者の視線方向および焦点距離を感知するために、ニアアイディスプレイにおいて少なくとも１つの眼および頭部追跡要素を光学的に結合するステップと、ニアアイ表示視聴者の視線方向および焦点距離を感知するステップと、  
前記アイ及びヘッドトラッキング要素の出力を前記画像プロセッサ及びエンコーダ要素に結合するステップと、前記画像プロセッサ及び前記ヘッドトラッキング要素の出力を前記画像プロセッサ及び前記エンコーダ要素に結合するステップと、  
画像処理要素は、エンコーダ要素に画像データを提供し、エンコーダ要素は、圧縮された画像データを、ニアアイ表示要素に提供する方法。
【請求項２】
前記画像表示要素は、前記圧縮された画像データを最初に伸張することなく、前記エンコーダ要素から受信した前記圧縮された画像データの前記画像コンテンツを直接表示することを特徴とする、請求項１に記載の方法。
【請求項３】
前記エンコーダは、前記画像データを圧縮された画像データフォーマットに圧縮する、請求項に記載の方法、画像表示要素は、圧縮された画像データを最初に伸張することなく、エンコーダ要素から受信した圧縮された画像データフォーマットの画像コンテンツを直接表示する、請求項１に記載の方法。
【請求項４】
前記圧縮された画像データは、１つのｔを含む上位マクロのセットを参照してフォーマットされる、離散的なウォルシュ、離散ウェーブレットまたは離散コサイン画像変換のいずれかの拡張係数である、マクロの基底変調係数を有する複数のｎｘｎピクセルを含む、請求項３に記載の方法。
【請求項５】
前記画像表示要素は、前記圧縮された画像データを、ニアアイの表示システムの人間の視覚システムが統合し、圧縮された画像データを解凍された画像と直接に知覚するようにするサブフレームレートで変調することを特徴とする、請求項３に記載の方法。
【請求項６】
前記圧縮された画像データフォーマットは、画像フレームまたはサブフレームの色域に参照され、前記エンコーダ要素は、前記圧縮された画像データフォーマット内に前記画像フレームまたはサブフレームの色域を埋め込み、画像表示要素は、圧縮された画像データフォーマットのフレーム又はサブフレームレートでその色域を動的に調整し、圧縮された画像データを画像フレーム又はサブフレームの色域に直接的に変調する圧縮された画像データフォーマットに埋め込まれる、請求項３に記載の方法。
【請求項７】
前記エンコーダ要素は、前記画像データから基底変調係数を抽出する視覚的伸張変換要素と、前記画像データから前記基底変調係数を抽出する視覚的伸張変換要素と、  
最初に、抽出された基底変調係数を、係数セット切捨て基準に基づいて抽出された変調係数のサブセットに切り詰める量子化器要素、量子化要素は、さらに、抽出された変調係数の選択されたサブセットを、ｔより短いワード長を使用して量子化する前記抽出された基底変調係数のサブセットのワード長を、係数セットの量子化基準に基づいて決定するステップと、前記係数セットの量子化基準に基づいて、前記基底変調係数の前記抽出されたサブセットのワード長を決定するステップと、
抽出された基底変調係数の切り捨てられたサブセットおよび量子化されたサブセットを時間的に多重化し、抽出された基底変調係数の多重化された切り捨てられたおよび量子化されたサブセットを圧縮画像データとして送信するランレングスエンコーダ要素を含む、請求項４に記載の方法。
【請求項８】
前記係数セット切捨て基準は、ニアアイディスプレイシステム視聴者の視覚システムの時間的知覚視力限界よりも高い周波数の時間的応答を有する画像変換に関連する抽出された基底変調係数を破棄する、請求項７に記載の方法。
【請求項９】
前記係数セット量子化基準は、より高い周波数の時間的応答を有する前記画像変換について、連続的に短いワード長を選択する、請求項７に記載の方法。
【請求項１０】
前記係数セット量子化基準は、さらに、画像表示要素標準色域サイズに対するフレームまたはフレーム領域色域サイズに比例するワード長を、画像表示要素標準色域サイズに対する搬送されるフレームまたはフレーム領域の色域サイズが小さくなるように選択し、選択された画像変換の色座標を表現するために使用されるワード長を小さくすることを特徴とする、請求項７に記載の方法。
【請求項１１】
前記エンコーダ要素は、  
（ｎｘｎ）の集合に対する基底変調係数を抽出する視覚的伸張変換要素前記眼の視線方向に基づいて前記圧縮画像データから高次マクロを抽出し、前記頭部追跡要素により検出された前記観察者の視線方向に基づいて、前記圧縮画像データから高次マクロを抽出する；抽出された基底変調係数の集合を係数に基づいて基底変調係数のサブセットに最初にトランケートするために、目および頭部追跡要素によって感知された視聴者の視線方向を利用するフォベレート化された量子化要素と、を含み、切り捨て基準を設定することにより、中心窩化された量子化器要素は、さらに、基底変調係数のサブセットを、ワード長を使用して量子化するが、係数セットの量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長よりも短い基底変調係数の切り捨てられたサブセットおよび量子化されたサブセットを時間的に多重化し、基底変調係数の多重化された切り捨てられ量子化されたサブセットを、圧縮された画像データとして画像表示要素に結合するランレングスエンコーダ要素をさらに備える、請求項４に記載の方法。
【請求項１２】
基底変調係数セット切捨て基準は、ニアアイディスプレイシステム視聴者の視覚システムの時間的知覚視力限界よりも高い周波数の時間的応答を有する基底変調係数に関連する抽出された基底変調係数を破棄する、請求項１１に記載の方法。
【請求項１３】
基底変調係数セット切捨て基準は、視聴者の目の視野の中央領域についてより多くの抽出された基底変調係数を選択し、視線および頭部追跡要素によって感知された視聴者の視線方向によって決定され、かつ、視聴者の目の視野の周辺領域に向かって連続してより少ない基底変調係数を生成するように構成されている、請求項１１に記載の方法。
【請求項１４】
前記基底変調係数セット量子化基準は、より高い周波数の時間応答を有する基底変調係数に対して連続的に短いワード長を選択し、さらに長いワード長さｔを選択する、観察者の視線の視野の中央領域に対する基底変調係数の量子化のために、眼球および頭部追跡要素によって感知された観察者の視線方向によって決定されるの周囲領域に向かって基底変調係数の量子化のために連続的に短いワード長を選択する、請求項１１に記載の方法。
【請求項１５】
基底変調係数セット切捨て基準は、視聴者の目の視野の中央領域について、圧縮された画像データの上位マクロを選択することを特徴とし、視線および頭部追跡要素によって感知された視聴者の視線方向によって決まる、視線及び頭部追跡要素によって感知された観察者の視線方向によって決定されるように、観察者の目の視野の周辺領域のための下位マクロを順次選択する、請求項１１に記載の方法。
【請求項１６】
基底変調係数セット切捨て基準は、連続的に短い単語長が、視聴者の視線方向に対する視聴者の人間の視覚システムカラー視力プロファイルに依存する表示色域に基づいて基底変調係数を表現するために使用されるように、ニアアイディスプレイシステム視聴者の人間の視覚システムのカラー視力プロファイルに依存するワード長を選択する、請求項１１に記載の方法。
【請求項１７】
反射器およびビームスプリッタ光学アセンブリ、自由型光学ウェッジまたは導波路光学素子を使用する、請求項１に記載の方法。
【請求項１８】
少なくとも１つの光フィールド画像表示要素を、対応する光学要素を有するニアアイ光フィールド表示視聴者の目の各々に光学的に結合するステップと、少なくとも１つの光フィールド画像表示要素を、  
画像プロセッサ要素をエンコーダ要素に電気的に結合し、エンコーダ要素を画像表示要素に結合する、画像処理装置およびエンコーダ要素を、観察者の目の近傍のニアアイ光フィールド表示システム内に埋め込むことによって、画像処理装置を制御する方法を提供する、または画像プロセッサおよびエンコーダ要素を視聴者の目から離れて配置し、エンコーダ要素をニアアイ光フィールド表示システムに無線または有線接続によって結合すること、  
ニアアイ表示視聴者の視線方向および焦点距離の各々を感知するために、ニアアイ光場表示システム内の少なくとも１つの眼および頭部追跡要素を光学的に結合するステップと、ニアアイ表示視聴者の視線方向および焦点距離の各々を感知するステップと、  
前記アイ及びヘッドトラッキング要素の出力を前記画像プロセッサ及びエンコーダ要素に結合するステップと、前記画像プロセッサ及び前記ヘッドトラッキング要素の出力を前記画像プロセッサ及び前記エンコーダ要素に結合するステップと、  
画像処理要素は、光フィールド画像データをエンコーダ要素に提供し、エンコーダ要素は、圧縮された光フィールド画像データを光フィールド画像表示要素に提供する、ニアアイ光フィールド表示システムを形成する方法。
【請求項１９】
光フィールド画像表示要素は、ニアアイ光フィールド表示システム視聴者に表示される光フィールドのサンプルを用いて、ニアアイ光フィールド視聴者の人間視覚システムのそれぞれの側面を変調する、複数のビューとして、または複数の焦点面サンプルとして、複数の（ｍｘｍ）のグループを使用してサンプリングするニアアイ光フィールド表示システムの右側および左側の光フィールド画像表示素子の各々の物理的なピクセルを表示するように構成されている、請求項１８に記載の方法。
【請求項２０】
前記光フィールドサンプルは、前記ニアアイ光フィールド表示システムの右側および左側光フィールド画像表示要素によって変調され、それぞれが、マイクロ光学素子の組を介して対応する光学素子に結合されたコリメートされかつ方向に変調された光束またはａｎｇｌｅｔである、各微小光学要素は、物理的ピクセルのそれぞれに関連付けられるは、右側および左側の光フィールド画像表示要素の複数の（ｍｘｍ）の物理的ピクセルの各グループ内の微小光学要素の各組の光学的開口を含む、請求項１９に記載の方法。
【請求項２１】
前記物理ピクセルの各々に関連付けられた微小光学素子の各組および前記光フィールド画像表示素子の複数の物理ピクセルの各々のグループは、時刻ｔにおいて前記ａｎｇｌｅｔをコリメートし、方向的に変調することを特徴とする光フィールド画像表示素子の光学的開口部の中央領域内でより高いａｎｇｌｅｔの角度密度は、光フィールド画像表示素子の周辺領域内のａｎｇｌｅｔの角度密度よりも大きい、請求項２０に記載の方法。
【請求項２２】
光フィールド画像表示要素の中心から周辺領域へのａｎｇｌｅｔの角度密度の分布は、視聴者の人間の視覚システムの視力の角度分布に比例し、観察者の眼の網膜周辺領域上に光学的に結合されたａｎｇｌｅｔの系統的に減少した角度密度で、観察者の眼の網膜中央領域上に光学的に結合されることを可能にする、請求項２１に記載の方法。
【請求項２３】
前記明視野画像表示要素の光学的開口部の中央領域が、前記最大密度のａｎｇｌｅｔを備えていることを特徴とし、近接場とニアアイ光場表示システムの観察者の遠視野との間の観察者の目の動きを収容するために、十分に広い角度幅である、請求項１８に記載の方法。
【請求項２４】
前記明視野画像表示要素の光学的開口部の中央領域が、前記最大密度のａｎｇｌｅｔを備えていることを特徴とし、近接場とニアアイ光場表示システムの観察者の遠視野との間の観察者の目の動きを収容するために、十分に広い角度幅である光フィールド画像表示要素の中心光学領域における複数の物理ピクセルのグループの次元が、観察者の眼に光学素子を介して結合されると、観察者の眼の網膜中央領域の平均空間視力に一致するスポットサイズを投影する、請求項１９に記載の方法。
【請求項２５】
前記明視野画像表示要素は、視聴者の中心窩領域上により高い数のビューを変調し、視聴者の視野の周辺領域上に系統的に少ない数のビューを変調することを特徴とする方法、それによって、視聴者の人間の視覚システムの角速度と奥行きの知覚とを一致させることができる、請求項１８に記載の方法。
【請求項２６】
前記光フィールド画像表示要素は、前記圧縮された画像データを最初に伸長することなく、前記エンコーダ要素から受信された前記圧縮された画像データの画像内容を直接表示し、前記エンコーダ要素は、前記視聴者の目が合焦された点の近傍に圧縮画像データを提供することを特徴とする、前記眼および前記頭部追跡要素によって提供される前記視聴者の感知された焦点位置に基づいて、視聴者の焦点の感知された点において、視聴者の人間の視覚システムの知覚的な視力に一致する最高の忠実度で変調される、周囲領域の視覚情報は、視聴者の眼が焦点を合わせている場所から離れたポイントにおいて、視聴者の人間の視覚システムの比例的に低い知覚的な視力に一致する忠実度レベルで変調されるを提供することにより、ニアアイ光フィールドディスプレイシステムを実現して、光フィールド画像表示要素による三次元深度中心窩視覚圧縮を達成する深度窩化された視覚的伸張機能を提供することを含む、請求項１９に記載の方法。
【請求項２７】
前記ニアアイ光フィールド表示システムは、ｔで知覚される左右の眼光フィールド画像表示要素からの視覚的に対応するａｎｇｌｅｔの対を変調することによって、観察者に合焦可能な明視野を変調することを特徴とする方法することを特徴とする左右の光の物理的な画素群の空間座標によって決定される所与の深さにおける視野内の光フィールド画像表示要素の視野内の仮想的な光の点としての人間の視覚系を提供するフィールド画像表示要素は、視覚的に対応するａｎｇｌｅｔの対を生成した、請求項１９に記載の方法。
【請求項２８】
前記ニアアイ光フィールド表示システムは、多焦点面サンプルの集合を観察者に提示し、それにより、多焦点面は、ｔであることを特徴とする方法観察者の近接場深度から観察者の遠視野深度まで延在する一組の標準的なホロプター表面であって、表面は０．６度だけ公称的に分離されている、請求項１８に記載の方法。
【請求項２９】
前記ニアアイ光フィールド表示システムは、ｔで知覚される左右の眼光フィールド画像表示要素からの視覚的に対応するａｎｇｌｅｔの対を変調することによって、観察者に合焦可能な明視野を変調することを特徴とする方法することを特徴とする左右の物理画素群の空間座標によって決定される所与の深度における視野内の光フィールド画像画像表示要素’視野内の光の仮想点としての人間の視覚系を提供する光フィールド画像表示素子は、視覚的に対を生成した  
対応するａｎｇｌｅｔに対応し、ニアアイ光フィールド表示システムは、マルチ焦点面サンプルの集合を観察者に提示し、それによって、マルチ焦点面は、１つのｔである観察者の近接場深度から観察者の遠視野深度まで延在する一組の標準的なホロプター面であって、標準的なホロプター面が公称的に（０）によって分離されていることを特徴とする、視度は、大きさｔに比例する光フィールド変調圧縮利得を達成する光の仮想点を使用して、選択された正準ホロプター面の光の仮想点において、正準ホロプター面を変調するニアアイ光フィールド表示システムであるニアアイ光フィールド表示システムによってアドレス可能な全光フィールドの光の可視点における大きさに対する、請求項１９に記載の方法。
【請求項３０】
前記ニアアイ光フィールド表示システムは、ｔで知覚される左右の眼の表示素子からの視覚的に対応する一対のａｎｇｌｅｔを変調することにより、観察者に合焦可能な明視野を変調することを特徴とする方法することを特徴とする視野内の光の仮想点としての視聴者の人間の視覚系を、左右の光フィールド画像の物理的な画素群の空間座標によって決定される所与の深度における視野内に表示する一対の視覚的に対応するａｎｇｌｅｔを生成した表示素子であって、ニアアイ用光フィールド表示システムは、マルチ焦点面が形成されている複数焦点表面サンプルのセットを観察者に提示する観察者の近接場深度から観察者の遠視野深度まで延在する一組の標準的なホロプター面であって、標準的なホロプター面が公称的に（０）によって分離されていることを特徴とする、１つのｔに適合する標準的なホロプター表面の各々を含む光の変調された仮想点の密度視聴者の人間の視覚システムの深度および角度の鋭角が、視聴者からの標準的なホロプター表面の対応する距離であることを特徴とする、請求項１９に記載の方法。
【請求項３１】
前記ニアアイ光フィールド表示システムは、ｔで知覚される左右のサイドライトフィールド画像表示要素からの視覚的に対応するａｎｇｌｅｔの対を変調することによって、観察者に合焦可能な明視野を変調することを特徴とする方法することを特徴とする左右の物理ピクセル群の空間座標によって決定される所与の深度における視野内の光フィールド画像表示要素’フィールド内の光の仮想点としての人間の視覚システムを提供する光フィールド画像表示素子は、視覚的に対を生成した  
対応するａｎｇｌｅｔに対応し、ニアアイ光フィールド表示システムは、マルチ焦点面サンプルの集合を観察者に提示し、それによって、マルチ焦点面は、１つのｔである観察者の近接場深度から観察者の遠視野深度まで延在する一組の標準的なホロプター面であって、標準的なホロプター面が公称的に（０）によって分離されていることを特徴とする、光の仮想点を使用して正準ホロプター面を変調するニアアイ光フィールド表示システム、ニアアイ光フィールドディスプレイによってアドレス可能な全光フィールドのｖの大きさに対する、選択された正準ホロプター面の光の仮想点の大きさに比例する光フィールド変調圧縮利得を達成することと、組み合わされた光フィールド変調利得と視覚圧縮利得の両方を実現することとを含む、請求項２６に記載の方法。
【請求項３２】
前記圧縮された光フィールド画像データは、１つのｔを含む上位マクロのセットを参照してフォーマットされる、離散的なウォルシュ、離散ウェーブレットまたは離散コサイン画像変換のいずれかの基底変調係数である、マクロの変調基底変調係数を有する複数のｍｘｍ画素を含む、によって提供された観察者の感知された焦点位置を使用して、観察者の目が焦点合わせされている場所から０．６度未満の範囲で正準ホロプター表面を識別するように構成されている、識別された正準ホポクタ表面の感知された深度における視聴者の人間の視覚システムの視力と一致するｖｐｏｓ密度を使用して最高の視覚的知覚を達成するように、識別された正準ホポクタ表面を変調し、最も高い数の基準を使用することを含む最小のワード長の切捨てにおける変調係数は、視聴者の目が合焦されている点の近傍での寄与度が小さい正準ホポクタ表面の残りを用いて変調されるより広い角度ピッチで間隔を置いて配置され、より高いワード長の切捨てにおける基底変調係数の比例的に少ない数を使用することにより、深度中心窩視覚圧縮を組み込むことができる、請求項２６に記載の方法。
【請求項３３】
ユーザの人間の視覚システムが表示されたコンテンツの捕捉された深度を知覚することを可能にするために、対応する深度キューを組み込んだ画像コンテンツを変調するために使用される標準的なホロプター表面のすべてのセットを生成するために、局所的な深度フィルタリングをさらに実行することをさらに含む、請求項２８に記載の方法  
【請求項３４】
前記明視野画像データは、最も多くの捕捉された要素画像またはホゲルのサブセットを識別する、捕捉されたシーンコンテンツの基準要素画像またはホゲルの圧縮されたセットを含む、方法、正準明視野ホロプター面の深さにおける画像内容を十分に表すか又は十分に表すを含み、前記ニアアイ光フィールド表示システムは、前記捕捉されたシーンの前記圧縮された基準ホゲルのセットから、前記正準光フィールドホロプター面についての表示画像をレンダリングすることを特徴とし、
正準明視野ホロプター表面の深さにおける画像内容をほとんどまたは十分に表す、最小数の捕捉されたホゲルのサブセットを識別するコンテンツ、識別された参照ホゲルのサブセットのデータサイズに反比例する圧縮利得を、捕捉された要素画像またはホゲルの総数で割ったものに反比例する、請求項２８に記載の方法。
【請求項３５】
圧縮されたレンダリングを圧縮された基準ホゲルのセットに直接適用して、正準ホロプター面で表示画像を変調するために、左右のサイド画像表示素子によって表示される画像コンテンツを抽出することを特徴とする、請求項３４に記載の方法。
【請求項３６】
反射器およびビームスプリッタ光学アセンブリ、自由型光学ウェッジまたは導波路光学素子を使用する、請求項１８に記載の方法。
【請求項３７】
少なくとも１つの対応する光学要素を有する少なくとも１つの眼に光学的に結合するための少なくとも１つの画像表示要素と、少なくとも１つの対応する光学要素を有する少なくとも１つの画像表示要素と、  
画像表示要素は、電気的に結合されて、エンコーダ要素から画像データを受け取るように電気的に結合され、エンコーダ要素は、画像プロセッサ要素から画像入力データを受け取るように電気的に結合され、  
前記エンコーダおよびプロセッサは、前記観察者の眼の近傍の前記ニアアイディスプレイシステム内に埋め込まれているか、または前記視聴者の眼から離れて離れて配置され、前記ニアアイディスプレイシステムアセンブリに無線または有線接続によって接続され、
前記ニアアイ表示視聴者の視線方向および焦点距離を感知するように光学的に結合された少なくとも１つの眼および頭部追跡要素と、  
検出されたデータを画像プロセッサおよびエンコーダ要素に転送するように電気的に結合された眼およびヘッド追跡要素を備える、ニアアイ表示システム。
【請求項３８】
前記画像表示要素は、前記エンコーダ要素から圧縮された画像データを受信し、前記画像データを最初に伸張することなく、画像を直接表示する、請求項３７に記載のシステム。
【請求項３９】
前記エンコーダ要素は、（ｎｘｎ）の多重度を含む一組の上位表示マクロのための基底変調係数を抽出するための視覚的伸張変換要素を備え、前記ディスプレイマクロの変調係数を有するピクセルは、前記入力画像データから離散的なウォルシュ、離散ウェーブレット又は離散コサイン画像変換のいずれかの拡張係数であり、  
抽出された基底変調係数を基底変調係数セット切捨て基準に基づいて基底変調係数のサブセットに最初に切り詰める量子化要素と、
量子化要素は、選択された基底変調係数のサブセットを、時刻ｔよりも短いワード長を使用してさらに量子化する基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、を含み、
底変調係数の切り捨てられ量子化されたサブセットを時間的に多重化し、基底変調係数の多重化された切り捨てられ量子化されたサブセットを画像表示要素に送信するラン長エンコーダ要素を含む、請求項３７に記載のシステム。
【請求項４０】
前記エンコーダ要素は、さらに、  
記眼および頭部追跡要素によって感知された前記視聴者の視線方向に基づいて、前記入力画像データから（ｎｘｎ）次マクロの集合に対する基底変調係数を抽出する視覚的伸張変換要素と、  
出された基底変調係数の集合を基底変調係数セット切捨て基準に基づいて基底変調係数の選択された部分集合に最初にトランケートするために、眼および頭部追跡要素によって感知された視聴者の視線方向を使用して、  
子化要素は、選択された変調値のサブセットを、ｔより短いワード長を使用してさらに量子化する基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、
時間分割多重化し、基底変調係数の切り捨てられた量子化されたサブセットを時分割多重化し、次いで、多重化されたデータセットを画像表示要素に結合するランレングス符号化器要素を備える、請求項３７に記載のシステム。
【請求項４１】
少なくとも１つの対応する光学要素を有する、ニアアイディスプレイシステムの目に光学的に結合するための少なくとも１つの画像表示要素；画像処理要素から画像入力データを受け取るように電気的に結合されたエンコーダ要素から画像データを受け取るように電気的に結合された画像表示要素と、  
前記エンコーダおよびプロセッサは、前記観察者の眼の近傍の前記ニアアイディスプレイシステム内に埋め込まれているか、または前記視聴者の眼から離れて離れて配置され、前記ニアアイディスプレイシステムアセンブリに無線または有線接続によって接続され、  
ニアアイ光視野ビューアの視線方向および焦点距離の各々を感知するように光学的に結合された少なくとも１つの眼および頭部追跡要素と、  
検出されたデータを画像プロセッサおよびエンコーダ要素に転送するように電気的に結合された眼およびヘッド追跡要素を備える、ニアアイ光フィールド表示システム。
【請求項４２】
前記画像表示要素の数は、左右の画像表示要素であり、前記光学要素の数は、２である、請求項４１に記載のシステム  
【請求項４３】
前記画像表示要素は、視聴者に表示される光フィールドの複数のサンプルを、前記視聴者の人間の視覚システムのそれぞれの側に変調する、複数のビューとして、または複数の焦点面サンプルとして、複数の（ｍｘｍ）のグループを使用してサンプリングする前記ニアアイ光フィールド表示システムの右側およびニアアイ光フィールド表示システムの左側の画像表示素子の各々の物理的なピクセルを表示するように構成されていることを特徴とする、請求項４２に記載のシステム。
【請求項４４】
ニアアイ光フィールドディスプレイシステムの右側および左側画像表示素子によって変調される光フィールドサンプルは、それぞれ、平行化され、方向変調された光束または光フィールドａｎｇｌｅｔであり、ｔがｔであることを特徴とする光学的開口を形成する各画素に関連付けられた１組の微小光学素子を介して対応する光学素子上に結合され、複数の（ｍｘｍ））画像表示素子の物理的な画素を制御することを特徴とする画像表示装置を備える、請求項４３に記載のシステム。
【請求項４５】
前記複数のピクセルおよび前記複数のグループの各々に関連付けられた前記マイクロ光学要素のセットは、  
画像表示素子の（ｍｘｍ）物理的ピクセルは、より高いｔより高い光フィールドａｎｇｌｅｔの角度密度で光フィールドａｎｇｌｅｔをコリメートし、方向的に変調するの範囲内である画像表示要素の中央領域は、画像表示要素の周辺領域内の光フィールドａｎｇｌｅｔの角度密度よりも光学的開口を有する、請求項４４に記載のシステム。
【請求項４６】
前記画像表示要素は、前記視聴者の中心窩領域上により高い数のビューを変調し、前記視聴者の視野の周辺領域上に系統的に少ない数のビューを生成することによって、前記視聴者の人間の視覚システムの角速度および奥行き知覚に適合することを特徴とする、請求項４２に記載のシステム。
【請求項４７】
前記エンコーダは、（ｎｘｎ）のセットについての基底変調係数を抽出する視覚的伸張変換要素をさらに備え、前記入力画像データから、前記眼及び前記頭部追跡要素によって感知された前記視聴者の視線方向に基づいて、  
抽出された基底変調係数の集合を基底変調係数セット切捨て基準に基づいて基底変調係数の選択されたサブセットに最初にトランケートするために、  
量子化要素は、選択された変調値のサブセットを、ｔより短いワード長を使用してさらに量子化する基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、基底変調係数セット量子化基準に基づいて基底変調係数の抽出されたサブセットのワード長を決定するステップと、を含み、
時間分割多重化して基底変調係数の切り捨てられた量子化されたサブセットを時分割多重化し、次いで、多重化されたデータセットを画像表示素子に結合するランレングス符号化器要素と、  
それによって、視聴者の目が焦点合わせされている場所に基づいて三次元中心窩視覚圧縮が得られる、請求項４２に記載のシステム。
【請求項４８】
前記画像表示要素は、複数焦点平面の集合を観察者に提示することを特徴とするシステムであって、前記複数焦点面は、前記観察者の近視野から遠距離場深度まで延び、名目上約０．６視度だけ隔てられた一組の正準ホロプター表面からなることを特徴とする、請求項４２に記載のシステム。
【請求項４９】
各光学素子が、反射器およびビームスプリッタ光学アセンブリ、自由型光学ウェッジまたは導波路光学素子を含む、請求項４２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して、撮像システムのための圧縮方法に関し、より詳細には、画像化システムのための圧縮方法に関する、頭部装着型またはニアアイディスプレイシステムのための画像およびデータ圧縮方法を提供し、これらをまとめて、本明細書では、ニアアイディスプレイシステムと呼ぶ。
【背景技術】
【０００２】
最近、ニアアイディスプレイ装置は広く一般に注目されている。ニアアイディスプレイ装置は新しいものではなく、多くの試作品および市販品を１９６０年代まで追跡することができる、発明の開示発明が解決しようとする課題しかしながら、最近の進歩は、ネットワーク化されたコンピューティング、組込み計算、ディスプレイ技術および光学設計の進歩は、そのような装置における関心を更新してきた。ニアアイディスプレイシステムは、通常、プロセッサ（埋め込みまたは外部）、データ収集のための追跡センサ、表示装置および必要な光学部品と結合されるプロセッサは、典型的には、センサから取得されたデータを処理し、ユーザの１つまたは両方の目の視野内の仮想画像として表示されるべきデータを生成する。このデータは、単純な警告メッセージまたは２ｄ情報チャートから複雑な浮動動画３ｄオブジェクトへの範囲とすることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
最近では、ニアアイ用ディスプレイののクラスは、注目されている。すなわち、ニアアイ拡張現実感（ＡＲ：ｎｅａｒ−ｅｙｅ拡張現実感）である）仮想現実（ＶＲ）は、”生活に似た”視覚的経験を有する視聴者を提示する次世代ディスプレイとして表示する。加えて、ニアアイａｒディスプレイは、高解像度３ｄコンテンツｔを有するモバイル視聴者を提示するための最終手段として見られるを視聴者の周囲現実シーンにブレンドして、視聴者の情報へのアクセスを拡張するように構成されているＡｒディスプレイの主要な目的は、現在のモバイルディスプレイの視聴制限を伝達し、ユーザの移動度を低下させずに、モバイル機器の物理的な制限に限定されない視聴範囲を提供することである。他方、ニアアイｖｒディスプレイは、視聴者を視聴されたコンテンツに没入させる３６０°３ｄ映画視聴体験を有する視聴者を提示することが想定されるＡｒおよびｖｒの両方の表示技術は、携帯電話およびパーソナルコンピュータの連続の背後に”次のコンピューティングプラットフォーム”として見られ、モバイルユーザの情報アクセスの成長および情報市場の成長およびそれを提供するビジネスの成長を拡張する本明細書では、ＡＲ／ｖｒディスプレイはしばしば”ニアアイ”ディスプレイと呼ばれ、本発明の方法が一般にニアアイディスプレイに適用され、それ自体にａｒ／ｖｒディスプレイに限定されないという事実を強調する。
【０００４】
既存のニアアイａｒ及びｖｒディスプレイの主な欠点は、低リフレッシュレート表示技術によって引き起こされる運動酔いを含む；に起因する眼の歪みおよび悪心を回避し、適度に広い視野（ＦＯＶ）において、眼の制限された解像度を達成することを可能にする。これらの欠点を解決するための既存の試みは、より高いリフレッシュレートを有するディスプレイを使用すること、より多くのピクセル（より高い解像度）を有するディスプレイを使用すること、または複数のディスプレイまたはイメージ平面を使用することを含むこれらの全ての試みの間の共通のテーマは、より高い入力データ帯域幅の必要性である。大型化、複雑さおよび過剰な電力消費を追加することなく、より高いデータ帯域幅に対処することができるようにする。［解決手段］。圧縮の使用は、大容量データを扱うための通常の解決策であるが、ニアアイディスプレイの要件は、従来のビデオ圧縮アルゴリズムによって達成されることができる独特なものであり、経エンドであるニアアイディスプレイ用のビデオ圧縮は、既存の圧縮スキームによって提供されるものよりも高い圧縮比を達成しなければならず、非常に低い消費電力及び低い待ち時間の追加された要件を伴う。
【０００５】
ニアアイディスプレイの高圧縮率、低レイテンシ、及び低消費電力制約は、データ圧縮（ｔ）への新しいアプローチを必要とするこのような人間の視覚システム（ＨＶＳ）機能を利用するデータ圧縮方式と同様に、圧縮されたキャプチャおよびディスプレイならびに圧縮されたキャプチャおよびディスプレイを提供する発明の開示発明が解決しようとする課題したがって、本発明の目的は、従来技術の限界および弱点を克服するニアアイ圧縮のための方法を導入することである、このようにして、厳格なモバイルデバイス設計を満たすことができるニアアイディスプレイを作成することが可能になる。コンパクト性および消費電力の要件およびそのような装置のユーザは、広い角度範囲にわたって２ｄまたは３ｄコンテンツのいずれかの視覚的経験を向上させる。本発明のさらなる目的および利点は、添付図面を参照しながら、以下の好ましい実施形態の詳細な説明から明らかになるであろう。
【０００６】
ニアアイディスプレイのための方法を記載する多数の先行技術が存在する。典型的な例として、ｍａｉｍｏｎ、Ａｎｄｒｅｗ、およびｈｅｎｒｙｆｕｃｈｓ。”計算拡張現実眼鏡．”混在して拡張現実（ＩＳＭＡＲ））ｉｅｅｅｉｎｔｅｒｎａｔｉｏｎａｌｓｙｍｐｏｓｉｕｍｏｎ、ｐｐ  計算拡張現実（ＡＲ）ディスプレイ。本発明は、ＬＣＤを利用して、積層された層を介して明視野を再現する、記載されたニアアイ表示試作品である、データ圧縮及び低待ち時間要件に対処するものではない。このａｒディスプレイはまた、広視野の視野を有し、相互のオクルージョンおよび焦点深度のキューを可能にする非エンコーディングフォーマットを達成する。しかし、ＬＣＤ層パターンを決定するためのプロセスは、非常に時間がかかり、電力を消費する計算集中テンソル因数分解に基づく。このａｒディスプレイはまた、光遮断ＬＣＤを使用することに起因して、著しく低下した輝度を有する。これは、表示技術が、ニアアイ表示領域に提示される全ての問題を解決する際に、表示技術が、ニアアイディスプレイの性能および先行技術がいかに短くなるかの影響をどのように影響させるかのさらに別の例である。
【０００７】
図１ａおよび図１ｂに示される典型的な従来技術のニアアイディスプレイシステム（１００）、組込みプロセッサ（１０２）または外部プロセッサ（１０７）とすることができるプロセッサなどの要素の組合せから構成される、眼および頭部追跡要素（２１０）と、表示装置（１０３）と、ディスプレイ画像の人間の視覚システム（ＨＶＳ）への拡大および中継のための光学系（１０４）とを含む１０２（図１ａ）または１０７（図１ｂ）のいずれかである目及び頭部追跡要素（２１０）から取得された知覚データを処理し、表示される対応する画像を生成するすることを特徴とするこのデータ処理は、組込みプロセッサ１０２（図１）を備えたニアアイ装置において内部的に行われる。このような処理は、外部プロセッサ（１０７）によって遠隔で行うことができる（図１ｂ）  後者のアプローチは、最新世代のＣＰＵ、ＧＰＵ、および到来する追跡を処理するためのタスク特有の処理装置のようなより強力なプロセッサの使用を可能にする。データをデータに変換し、対応する画像をパーソナルエリアネットワーク（ＰＡＮ）を介して送信する（１０９）に負担をかけることなく、画像処理を扱うために必要な処理スループットやメモリを有するより強力な画像遠隔処理装置（１０７）を利用できるという利点がある。一方、ｐａｎを介してデータを送信することは、低レイテンシの高解像度映像伝送帯域幅の要求のような自己の課題を有する。ｐａｎにおけるビデオ伝送プロトコルのための新たな低遅延プロトコル（ｚｒａｖｉ、Ｒ；Ｆｌｅｕｒｙ、Ｍ；Ｇｈａｎｂａｒｉ、Ｍ．を参照のこと）、”拡張現実のためのパーソナルエリアネットワークにおける低遅延ビデオ制御”、画像処理、ＩＥＴ、ｖｏｌ。２、ｎｏ。３、ｐｐ。に記載されている  １５０−１６２、Ｊｕｎｅ２００８）は、ニアアイディスプレイ画像生成のための外部プロセッサ（１０７）の使用を可能にして、高品質の没入型立体ｖｒ表示を可能にすることができる、このようなｐａｎプロトコルは、高解像度３ｄおよびＶＡＣフリーの視聴体験を有する視聴者を提示することを目的としたニアアイａｒおよびｖｒ表示の新たな生成のための高帯域幅データ要求に対処することができない。
【０００８】
それにもかかわらず、より高度なディスプレイ技術を使用すると、システム全体に新たな課題が課される。新たな撮像方法は、生成されるデータ量を増加させ、ディスプレイに送信する必要があり、サイズの制約のためである、拡大された量のデータを処理するために使用される従来の圧縮方法はもはや適していない。したがって、ニアアイディスプレイにデータを生成し、圧縮し、送信する新しい方法が必要とされる  
【０００９】
以下の説明において、同様の参照番号は、異なる図面においても同様の要素に使用される。詳細な構成及び要素のような説明において定義された事項が提供されて、例示的な実施形態の包括的な理解。しかしながら、本発明は、特に限定されない事項を用いずに実施することができる。また、周知の機能または構成は、本発明を不必要な詳細で曖昧にしないので、詳細には説明されない。本発明を理解し、どのように実施することができるかを理解するために、本発明のいくつかの実施形態について説明する、非限定的な例として、添付の図面を参照して説明する。
【図面の簡単な説明】
【００１０】
【図１ａ】組込みプロセッサを組み込んだ従来技術のニアアイディスプレイシステムのブロック図を示す図である。
【図１ｂ】接続された外部プロセッサを組み込んだ従来技術のニアアイディスプレイシステムのブロック図である。
【図２ａ】組込みプロセッサを備えた本発明のニアアイディスプレイシステムのブロック図である。
【図２ｂ】外部プロセッサを備えた本発明のニアアイディスプレイシステムのブロック図を示す。
【図３ａ】本発明のニアアイディスプレイシステムの文脈内で圧縮された表示の視覚的伸張機能を適用するエンコーダの機能ブロック図を示す図である。
【図３ｂ】本発明のビジュアル解凍方法の基底係数変調を示す。
【図３ｃ】本発明のビジュアル解凍方法の基底係数切捨てを示す。
【図４ａ】本発明の中心窩化されたビジュアル解凍方法によって使用される、視聴者の注視点の周りの視野（ＦＯＶ）領域を示す図である。
【図４ｂ】本発明の中心窩化されたビジュアル解凍方法を組み込むニアアイディスプレイシステムのブロック図を示す。
【図４ｃ】本発明の中心窩化されたビジュアル解凍方法の基底係数切捨てを示す図である。
【図５ａ】視聴者のＨＶＳの角速度およびＦＯＶに一致する、ニアアイディスプレイシステムの光変調器要素の実装を示す。
【図５ｂ】本発明のニアアイディスプレイシステムの光学要素の実装を示す。
【図６ａ】本発明のこのニアアイ光フィールドディスプレイのマルチ焦点平面の実施形態を示す。
【図６ｂ】本発明の一実施形態を示す。この実施形態は、標準的なホロプター表面を使用して、多焦点平面のニアアイ表示を実現する。
【図７】本発明のマルチ焦点面ニアアイ光フィールドディスプレイのためのコンテンツの生成を示す図である。
【図８】本発明のマルチ焦点深度フィルタリング方法を実施する実施形態を示す図である。
【図９】本発明のマルチ焦点面ニアアイ光フィールドディスプレイに入力される光フィールドデータの圧縮されたレンダリングを実施する実施形態を示す図である。
【発明を実施するための形態】
【００１１】
本発明の以下の詳細な説明における参照  
”一実施形態”または”一実施形態”は、実施形態に関連して説明された特定の特徴、構造、または特性が、本発明の少なくともの実施形態に含まれることを意味する。この詳細な説明における様々な場所における”一実施形態における”という語句の出現は、必ずしも同一の実施形態を参照するものではない。
【００１２】
高解像度で広視野の視野（ＦＯＶ）３ｄ視聴体験を有するニアアイディスプレイの視聴者を提示することは、１眼当たり８メガピクセルの目視限界に近づく表示解像度を必要とする。ディスプレイ解像度の結果として生じる増加は、全体として、ニアアイディスプレイシステムに対していくつかの要件を課す。その最も困難なものは、データインタフェース帯域幅および処理スループットの増加である。本発明は、（以下で定義されるような）圧縮されたディスプレイシステムを使用することによって、ニアアイディスプレイシステムにおけるこれらの課題の両方に対処するための方法を導入する。図２ａ及び図２ｂは、ブロック図である、本発明の方法を使用するニアアイ表示システム（２００）。図２ａでは、ニアアイ表示システム（２００）のニアアイアセンブリ（２０１）、新しい設計要素、エンコーダ（２０４）の一実施形態を示す、圧縮されたディスプレイ（２０３）のためのデータを圧縮する役割を担うニアアイ表示システム（２００）に追加される、例えば、ＱＰＩ固体撮像装置ベースのディスプレイ（図面におけるＱＰＩイメージャ表示）のような、ＱＰＩ固体撮像装置ベースのディスプレイ（図中のＱＰＩ撮像器ディスプレイ）  例えば（７，  ７６７、４７９号及び第７、８２９、９０２号明細書）。各画素が異なる色の固体ＬＥＤまたはレーザ。エミッタのスタックからの光を放出するＱＰＩイメージャに加えて、複数の固体状態のＬＥＤまたは単一のピクセルに役立つレーザ。エミッタを用いて並んで配置された、異なる色の固体ＬＥＤまたはレーザ。エミッタから光を放出する撮像装置も知られている。本発明のかかる装置は、一般に発光表示装置と呼ばれる。さらに、本発明は、多くのタイプの空間光変調器（ＳＬＭ、マイクロディスプレイのための光源を作成するために使用することができる）ｄｌおよびＬＣＯＳのような、ＬＣＤのバックライト光源としても使用することができる。本明細書では、固体撮像装置ディスプレイ、表示要素、ディスプレイ、および類似の用語は、本明細書では、本明細書では、圧縮ディスプレイ（２０３）を頻繁に参照するために使用される図２ｂは、ニアアイ表示システム（２００）のニアアイアセンブリ（２０５）の別の実施形態を示す、エンコーダ（２０４）は、図２ａと同じ機能を果たすが、ニアアイアセンブリ（２０５）を遠隔駆動する外部データ源の一部として機能する  図２ｂは、外部プロセッサ（２０７）と、後者がｔに接続されたエンコーダ（２０４）とを含む外部データソースを示すワイヤレス。パーソナル。エリア。ネットワーク（ＰＡＮ）などのワイヤレス。リンク（２０８）を介して、ニアアイディスプレイ。アセンブリ（２０５）に送信する）、またはワイヤ（２０９）を介して接続されている両方の場合において、エンコーダ（２０４）は、固体撮像装置ディスプレイ（２０３）の圧縮された処理能力を利用する、高品質な画像を生成しつつ高い圧縮率を実現する。エンコーダはまた、眼球および頭部追跡設計要素によって提供される知覚データを利用して、ニアアイ表示システムのデータ圧縮利得をさらに増大させる。
【００１３】
定義−
”圧縮（入力）表示”  −表示システムである、入力データを最初に伸張することなく、圧縮されたフォーマットで直接入力される提供された圧縮データのコンテンツ画像を直接表示することができるサブシステムまたは要素を提供する。このような圧縮ディスプレイは、人間の視覚システム（ＨＶＳ）による直接的な知覚のために、高い順序に基づいて、高いサブフレームレートで画像を変調することができる。以下に定義する”視覚伸張”と呼ばれるこのような表示機能は、離散コサイン変換（ＤＣＴ）の拡張係数を使用して（ｎｘｎ）ピクセルを含む上位マクロを圧縮されたディスプレイが変調することを可能にする）または離散的なウオルシュ変換（ＤＷＴ）をＨＶＳに直接適用して、伸張された画像として統合して知覚する。（米国特許第４、９７０、６４６号）  
【００１４】
”ダイナミックガマット”  −圧縮ディスプレイシステムはまた、ダイナミックガマットとして知られる機能を含むことができる（米国特許第４、５２４、６８２号））フレームヘッダ内に設けられたワード長調整（圧縮）色域データを用いて、フレーム毎に色域を動的に調整可能な表示システムを提供する。動的な色域能力を使用する際に、圧縮された表示システムは入力データを処理し、入力データを、入力フレーム画像の色域に一致する圧縮された色域およびＨＶＳ視力を使用して、対応する画像に変換する。入力データが必要とされる必要がないので、視覚的伸張およびダイナミック。ガマット機能の両方が、インタフェース帯域幅およびディスプレイ側の処理スループットを低減する  
例えば、固体撮像装置ディスプレイなどの圧縮ディスプレイによって、解凍され、かつ、両方の機能がサポートされる。
【００１５】
”ビジュアル解凍”−解凍された視覚情報を最初に伸張し表示するのではなく、ディスプレイによって直接圧縮された視覚情報の変調を可能にするためにＨＶＳの固有の知覚能力を利用する多数の圧縮された視覚情報変調方法である。視覚的な解凍は、ディスプレイへのインターフェース帯域幅および圧縮された視覚情報を解凍するのに必要な処理スループットを低減する  
【００１６】
ビジュアル解凍−図３ａは、エンコーダ２０４（図３ａおよび図３ｂ）の機能ブロック図を示す、本発明のニアアイ表示システム（２００）の文脈内で、圧縮ディスプレイ（２０３）の視覚的な伸張機能を適用する。プロセッサ（２０２）または（２０７）によって生成された入力画像（３０１）は、例えば、視覚的伸張変換要素（３０２）によって、例えば、ＤＣＴまたはＤＷＴのような既知の高次基底に変換される。これらの高次基底の結果的な係数の選択されたサブセットは、次に、量子化器によって量子化される。次に、ＭＰＥＧおよびＪＰＥＧのようなＤＣＴおよびＤＷＴを使用する典型的な圧縮方式と同様に、量子化器によって量子化される、本発明のニアアイ表示システム（２００）のエンコーダ（２０４）によって適用される視覚的伸張は、高周波数ベースをトランケートする間に低周波数を有する基底のサブセットを選択することによって、部分的に圧縮利得を達成する。本発明の一実施形態では、量子化器は、基底係数の選択されたサブセットを量子化するために同じ量子化ステップサイズを使用する。本発明の別の実施形態では、量子化器は、人間の視覚システム（ＨＶＳ）の能力を利用する）ＨＶＳによって知覚可能でない係数に関連するデータ転送帯域幅を低減するために、高周波数係数のためのより大きな量子化ステップを使用する。したがって、ＨＶＳ機能をマッチングさせることにより、より高い視覚的な伸張利得を達成することができる。量子化された係数は、ランレングスエンコーダ（３０４）によって時間的に（又は時分割）多重化される、選択された基底の１つに関連付けられた係数のセットを、視覚的な伸張可能な圧縮ディスプレイ（２０３）に一度に送信し、この圧縮ディスプレイ（２０３）は、それが表示する関連する基底マクロの大きさとして受信する係数を変調する圧縮ディスプレイ（２０３）は、変調ベースがＨＶＳインパルス応答の時定数以上に時間的に分離されないように、１つのビデオサブフレーム内の時間に基づいて１つを変調する、例えば、８ベースが入力画像（３０２）を変換するように選択された場合、６０Ｈｚ  （３．６７Ｍｓ）のビデオフレームは、−２ｍｓのサブフレームに分割され、このサブフレームは、ＨＶＳインパルス応答の時定数よりも十分に低い、１つの基底係数が圧縮されたディスプレイ（２０３）によって変調される。
【００１７】
別の実施形態では、ビジュアル解凍変換ブロックは、外部から提供された圧縮された入力データフォーマットから直接ＤＷＴおよびＤＣＴ係数を抽出する、抽出されたＤＷＴ及びＤＣＴ係数を量子化器（３０３）に供給する、量子化器（３０３）は、さらに、高周波数係数についてより大きな量子化ステップを使用して、ＭＰＥＧおよびＪＰＥＧデータフォーマットのＤＷＴおよびＤＣＴ係数を増大させ、  ＨＶＳ機能をマッチングさせることによって、より高い視覚的な伸張利得を達成するために、ＨＶＳによって認識されない係数を再び生成する。
【００１８】
本発明の別の実施形態では、変換された（３０２）および量子化３０３入力画像（３０１）の基底係数は、（５０ｔ）に直接的にフィールド順序付けされる（３０４）視覚的に圧縮されたデータをＨＶＳに直接変調することができる圧縮ディスプレイ（２０３）を提供する（圧縮ディスプレイの事前定義を参照）  ディスプレイ（２０３）におけるメモリ要件を、視覚的な圧縮解除ゲインが達成するために低減することに加えて、圧縮された画像データの直接的な転送および変調の方法は、プロセッサ（２０２）または（２０７）からディスプレイ（２０３）への画像データの転送およびＨＶＳ１０６への転送の待ち時間を低減する、眼、圧縮された画像データの直接的な転送および変調の方法では、基底係数のサブセットは、典型的にＨＶＳ時定数より短いサブフレームの時間的シーケンスで受信されるときに、ＨＶＳ１０６に連続的にディスプレイ（２０３）によって変調されるので、待ち時間は低減される、ＨＶＳ１０６がそれらを部分的に統合し始めることを可能にし、変調された基底係数のサブフレームのうちのいくつかの中で画像入力（３０１）を徐々に認識することを可能にするによって感知された視線方向情報を組み込む際のフィードバック遅延を実質的に減少させ、入力画像（３０１）に頭部追跡（２１０）を組み込む。圧縮された入力画像（３０１）が、エンコーダ（２０４）によって生成された選択された基底係数によって表されるように、圧縮された画像データの直接的な転送および変調の方法においても、待ち時間も低減されるが、入力画像（３０１）のデータをプロセッサ（１０２）または１０７側で最初に圧縮してディスプレイ２０３側で圧縮解除する従来のシステムによって典型的に導入される処理遅延なしに、ＨＶＳ１０６に直接表示される。ニアアイディスプレイシステムの待ち時間を低減することに加えて、本発明の圧縮画像データの直接転送および変調の説明されたニアアイ視覚伸張方法はまた、処理を実質的に低減する、入力画像（３０１）の圧縮に関する処理を、いずれかのプロセッサ（１０２）又は１０７側のいずれかで解消し、  ディスプレイ２０３側の解凍。本発明は、ｔの圧縮された画像データの直接的な転送および変調のための、記載された近目の視覚的な圧縮解除方法を提供することに価値がある［解決手段］視覚的感覚時間的統合による知覚のＨＶＳ１０６の固有の機能を利用するので、本発明は、待ち時間および処理要件を低減する。すなわち、本発明の圧縮画像データの直接転送および変調の説明されたニアアイ視覚伸張方法は、ＨＶＳの機能をマッチングさせることによって、低減された待ち時間および処理要件を達成する。
【００１９】
図３ｂは、ビジュアルの基底係数変調を示す。本発明のニアアイディスプレイシステムの解凍方法。アドレス指定（および変調）のための現在のディスプレイに典型的に使用される行／列選択方法の代わりに、行／列選択方法の代わりに、行／列選択方法の代わりに、）各表示画素は、図３ｂに示したニアアイ用視覚伸張方法において、同じ基底係数値ｃｔｊとともに、高次元を表す（ｎｘｎ）画素の群を変調する。ビデオ入力画像（３０１）のサブフレーム内で、ニアアイ圧縮ディスプレイ（２０３）は、（ｎｘｎ）のブロックにアドレスする）対応する基底係数ｑを有する表示基底要素を表すマクロとしての画素と。ビデオフレーム内の基底係数変調サブフレームの時間的シーケンスは、そのビデオフレームの時間期間内で入力画像（３０１）を段階的に知覚するように導かれるＨＶＳによって時間的に連続的に統合される。図３Ｂからわかるように、ニアアイ圧縮ディスプレイ（２０３）は、サブフレームレートで基底係数を受信および変調するための応答時間および変調機能を所有しなければならない、８個のサブフレームを有する場合に前述した例では、視覚的な伸張サブフレームレートは８×６０Ｈｚ＝４８０ｈｚであろう本発明の一実施形態では、ニアアイ圧縮ディスプレイは、高速画像変調能力のために、固体撮像装置を使用して実現される。視覚をサポートするための固体撮像装置の能力に加えて、本発明の圧縮解除方法では、本発明のニアアイ表示システムは、小型（コンパクト化）からも利益を得ることになる）を実現するために、ＱＰＩ２０３によって提供される低消費電力および明るさを提供する。容積論的に簡素化されたニアアイディスプレイシステム。
【００２０】
図３ａに戻って参照すると、量子化器は、ｔに基づいて、視覚的伸張変換要素によって計算された基底係数をトランケートする所与の切捨て基準に基づいて、所与の量子化基準に基づいて、選択された基底係数のサブセットを所与のワード長に量子化する。図３ｃは、量子化器（３０３）が実行する基底係数切捨てを、（４ｘ４）視覚的な伸張基準。図３ｃに示すように、量子化器は、図３ｃにマークされた８個の基底係数のサブセットを選択することによって、１６基底係数のセットをトランケートする。この選択のための基準は、ＨＶＳの時間的な視力限界を超えている高周波基底係数を破棄することであり、図３ｃでは、より高い索引ベースのハッチングが施されている基底係数の選択されたサブセットについて、量子化器は、次いで、視覚的伸張変換から受信された対応するワード長をより少ない数のビットに切り落とす、例えば８ビットワード。なお、視覚的な解凍は、視覚的な解凍であることに留意されたい。変換（３０２）は、典型的には、より高いワード長、例えば１６ビットワードで変換計算を実行する。別の実施形態では、量子化器（３０３）は、異なる基底係数のために異なるワード長を使用して、基底係数の選択されたサブセットをトランケートする。例えば、図３Ｃを参照して説明する。低周波係数Ｃ00は８ビットに量子化され、行係数Ｃojおよび列係数Ｃi0に沿った残りの基底係数は、連続的に低い単語長を使用して量子化される、例えば、６ビット、４ビット、２ビットである。基底係数の切捨ておよびそれらの語長の量子化基準の両方は、ディスプレイ（２０３）によって先験的に固定され、知られているか、またはシグナリングされる（通信された）データストリームを介して、ディスプレイ（２０３）に埋め込まれたディスプレイ（２０３）に送信される。本実施形態のニアアイ視覚伸張方法によって達成されることが期待されるデータ転送帯域幅圧縮利得は、典型的には、ｔの次元に依存する入力画像（３０１）を変換するために用いられる基底係数切捨て基準と、量子化器（３０３）によって使用される基底係数切捨て基準とを含むが、典型的には（４４−６ｘ）の範囲であるは、プロセッサ（１０２）又は（１０７）から表示要素（２０３）への画像データ転送帯域幅が、本実施形態の記載された視覚的伸張方法によって（４ｘ）乃至（６ｘ）の範囲の因子によって低減されることを意味する。留意すべきは、このことの視覚的な圧縮利得である実施形態は、ディスプレイがＨＶＳの時間的な視力と一致するようにすることによって達成される。
【００２１】
”ダイナミックガマット”  −本発明の別の実施形態では、ニアアイディスプレイシステムは、追加の視覚的な解凍機会を提供する以下のの要因を利用する（１）ビデオフレームの色域は、通常、予め設定された標準表示色域、例えばＮＴＳＣよりもはるかに小さい、標準的な色域内での表示画素の色座標は、典型的には、色一次あたり８ビットの２４ビットワードで表現される。及び（（２）ＨＶＳ周辺領域の視力は、視覚的な中央領域と比較して実質的に低減される。この実施形態では、視覚的伸張変換ブロックは、各入力ビデオフレームヘッダ内で、フレーム色域原色の色座標を、フレームヘッダ内で搬送されたフレーム色域原色に対して表現されたフレーム内の各画素の色座標を算出し、受信したフレームヘッダを前方に通過させ、量子化器ブロック（３０２）は、それが受信したフレーム色域ヘッダを、それが抽出した高次基底係数の集合と共に量子化器ブロック（３０３）に渡す量子化器ブロック（３０３）は、画像フレーム内の各画素の色座標を表すワード長を、デフォルト２４ビット（８ビット／カラー当たり８ビット）未満に比例的にトランケートすることにより、画像フレーム色域のサイズを縮小するは、表示標準色域サイズに対する伝達されたフレーム色域サイズが小さいほど小さい、デフォルト２４ビットワード長よりも小さい値を使用して、各受信画像フレーム内の各ピクセルの色座標を表すことができる。視覚的伸張ブロック（３０２）は、各入力ビデオフレームヘッダ内で色域および色域を受信することも可能である。画像フレーム内の複数の画像領域の座標は、そのフレーム画像領域のためにフレームヘッダ内で搬送される色域原色に関して表された各フレーム画像領域内の各画素の色座標と共に、画像フレーム内の複数の画像領域の座標を決定する。この場合、量子化器ブロック（３０３）は、各画素（５０ｔ）の色座標を表すワード長を比例的にトランケートするの範囲内である各フレーム画像領域は、デフォルト２４ビット（８ビット／カラー）未満である典型的なビデオフレーム画像では、記載された（２つ）の方法のいずれかが、（２ｘ−３ｘ）のファクタを、（２ｔ）のサイズの２ｘ−３ｘ減少に導くことができる画像フレームデータを圧縮ディスプレイ（２０３）に転送する必要があり、後者の方法は、その範囲のより高い端部に近い圧縮率を実現する。フレームまたはフレーム画像領域の場合、色域は、先に定義したように、圧縮ディスプレイ（２０３）によって受信される。その色域を動的に調整する能力を有する場合、圧縮ディスプレイ（２０３）は、１つのｔ内で搬送されるフレームまたはフレーム領域の色域座標データを使用する受信されたフレームまたはフレームサブ領域の色域をその本来の原色を使用して合成するために受信されたヘッダを受信し、受信された（切り捨てられた）フレームまたはフレームサブ領域ピクセルを表し、光を変調するための色座標データは、フレームまたはフレームサブ領域ピクセルの各々を表す。なお、本実施形態の視覚圧縮利得は、表示色域を画像フレーム色域に一致させることにより実現される。
【００２２】
“中心窩化された視覚的圧縮解除”  −本実施形態では、図４ａおよび図４ｂに示すように、ニアアイディスプレイシステム（２００）のさらに別の視覚的伸張方法が示されている（ａ）観察者の瞳孔間距離（ｉｐｄ）に基づいて、観察者の視線方向（軸）（４０１）および焦点距離を算出するを検出し追跡し、次いで、観察者の視野（ＦＯＶ）内に表示された画像の異なる領域に異なる視覚的伸張基底係数切捨ておよび量子化基準を適用するために使用される）（４２０）は、ＨＶＳ角（視力）を利用しながら、観察者の目が焦点（４０２）にあるＦＯＶ領域内で最も高い視覚的知覚を効果的に可能にする）高いレベルを達成するための視覚的な知覚の分布、視覚的な圧縮は、ＨＶＳ視力が徐々に減少する視聴者のＦＯＶ４０３−４１２の残りの領域にわたって系統的に行われる。この実施形態では、視覚的な伸張は、ＦＯＶを横切る視聴者の視覚の角度分布に比例する圧縮ワード長を使用してＨＶＳ視力の角度分布に一致するように適用される。
【００２３】
図４ａは、この実施形態の視覚的伸張の方法を示しており、これは、”中心窩化された視覚的圧縮解除”と呼ばれ、視聴者の空間的な（角度的な）事実を利用する視力は、観察者の目が焦点４０２（網膜の窩領域）に焦点が合っている領域で最も高くなる）より高い視覚的な圧縮解除利得を達成するために、視聴者のＦＯＶ４０３−４１２（ｐａｆａｏｖｅａ４０３−４０６および網膜のパーフォｖｅａ領域（４０７−４１２）の残りの部分にわたって系統的に減少する。この実施形態では、視聴者の目の焦点および視線方向４０１キューは、中心窩化された量子化器によって抽出される４３０と、眼球および頭部追跡要素（２１０）センサによって提供された知覚データから図（４）に示されている、例えば、各眼の視線方向は、眼球および頭部追跡要素（２１０）センサによって検出された基準のヘッド方向フレーム内の各眼瞳孔の位置によって決定される。同様に、観察者の目の両方が焦点合わせされ収束された距離として定義される、ニアアイ表示システムの観察者の焦点距離（または運動距離）も同様に定義される）の中心間の相対的な瞳孔間距離（ＩＰＤ）によって決定され、眼球および頭部追跡要素（２１０）センサによって検出された、観察者の（２つ）の瞳孔の中心間の相対的な瞳孔間距離（ＩＰＤ）によって決定される。観察者が焦点を合わせるＦＯＶ４２０の領域のために、典型的には、観察者の眼レンズによって焦点が合わされたときに網膜の窩領域をカバーする、最尤量子化器（４３０）が基底係数の可能なサブセットを大きく選択し、その選択された基底係数のサブセットを量子化するために最大の可能なワード長を使用することによって、最高の画像解像度が達成される。視聴者のＦＯＶ４２０の残りの領域に対して、図４ａの領域（４０３−４１２）では、中心窩化された量子化器は、より少ない基底係数のサブセットを選択し、選択された基底係数を量子化するためにより少ない数のビットを使用する。このような基底係数切捨ておよび量子化基準を適用する際に、このような基底係数の切り捨ておよび量子化基準を適用する実施形態は、観察者の焦点領域内で最高解像度を達成し、観察者の知覚を低下させることなく、観察者のＦＯＶ４２０の残りの領域４０３−４１２全体にわたって系統的に低い解像度を達成し、これらのＦＯＶ領域にわたってより高い視覚的な伸張利得を達成する。注意すべきことであるが、本実施形態の文脈内で使用される”中心窩化された”という用語は、表示解像度がＨＶＳ視力プロファイル（分布に適合されることを示すことを意味することに留意されたい）視者の眼の中心から観察者の眼の網膜の周辺領域に向かって外方に移動するように構成されていることを特徴とする。このような視聴者の視線方向に依存する画像解像度は、従来技術において”フォｖｅジングされたレンダリング”として知られている、Ｂ、Ｆｉｎｃｈ、Ｍ、ｄｒｃｋｋｅｒ、ｓ、Ｔａｎ、ｄに記載されているものを挙げることができる、及びｓｎｙｄｅｒ、Ｊ、”ＦＯＶｅｌａｔｅｄ３ｄｇｒａｐｈｉｃｓ”、ａｃｍｓｉｇｇｒａｐｈａｓｉａ、１１、２０１２を参照されたい、画像レンダリングによって画像入力（３０１）を典型的に中心にして、プロセッサ（１０２）又は（１０７）における画像レンダリング計算負荷を可能性に低減する、本実施形態の説明されたＦＯＶｅｌａｔｅｄｖｉｓｕａｌｄｅｃｏｍｐｒｅｓｓｉｏｎ方法によって達成されることができるディスプレイ（２０３）における画像インタフェース（３０１）の帯域幅および圧縮解除計算負荷の減少に直接変換することはない  
【００２４】
図４ｂは、本発明の中心窩化された視覚解凍方法を使用する、ニアアイディスプレイシステムのブロック図を示す。図（４）を参照すると、目および頭部追跡要素（２１０）によって提供された入力に基づいて、視聴者の焦点を知ることにより、視覚的な解凍変換（３０２）の後に、中心窩化された量子化器（４３０）が存在するを選択し、表示された画像領域が、観察者の焦点領域４０２（目に焦点を合わせられる画像領域）に対応する表示された画像領域が、観察者の網膜の中心窩領域に投影されるように適合されるように適合される）最も高い空間分解能を有し、一方、視聴者のＦＯＶ４２０の残りの領域（４０３−４１２）は、系統的に低い分解能を有する（または比例する））者の眼の角度（空間）の視力の階調がパラフォノｖｅａを横切って変化するように構成され、観察者の網膜の透過性。図４ｃは、中心窩化された視覚に従った、フォベレート化された量子化器の基底切捨ておよび量子化選択の一例を示す本発明の解凍方法。図４ｃは、（４×４）中心窩化された視覚的伸張基準のためにフォベレート化された量子化器（４３０）によって実行される基底係数切捨ての一例を示す。図４ｃの例に示されるように、中心窩化された量子化器は、係数ｔを選択することによって、１６個の基底係数のセットをトランケートする視聴者の焦点領域（４０２）に対応して図（４ｃ）の第１のパネルにマークされた（８つ）の基底係数の最大サブセットを生成するその領域（４０２）について、中心窩化された量子化器（４３０）はまた、最も高い量子化ワード長、例えば、１色当たり８ビットを使用して、視聴者のＦＯＶの領域（４０２）について選択された基底係数を表す。図４ｃに示すように、周辺焦点領域について、中心窩化された量子化器は、１６個の基底係数のセットを、図４ｃに示すようにマークされた７個の基底係数のより少ないサブセットにトランケートするその領域について、中心窩化された量子化器はまた、視聴者のＦＯＶの領域について選択された基底係数を表すために、例えば７ビットまたは６ビットのようなより短いワード長を選択することができる。図４ｃに示されているように、外周領域のために、中心窩化された量子化器は、１６個の基底係数のセットを、図４ｃにおいてマークされたように、基底係数の系統的により少ないサブセットに切り詰める４例えば６ビット未満の短いワード長を選択して、視聴者のＦＯＶの領域について選択された基底係数を表すこともできる  
【００２５】
図４ｂに戻って参照すると、複数のＦＯＶ２００領域ｔのためにフォベレート化された量子化器によって生成された切り捨てられた量子化された基底係数が生成される制御データ。パケット（またはデータ。ヘッダを埋め込むランレングス。エンコーダ（４３５）によってさらに符号化される）ストリーム化されたデータに含まれる信号（または特定する）と、その切捨ておよび量子化ワード長とを含む、符号化されたデータストリーム内に含まれる例えば、基底係数値ｑを送信するために指定されたデータフィールド内にある、ランレングス符号器（４３５）は、基底係数値ｃｉｊが含まれるか否かを特定するデータフィールドとその関連する量子化ワード長とを含むヘッダを付加する。次に、付加された基底係数は、時間分割多重化された係数のセットとして、選択された基底のうちの１つのための係数のうちの１つについて、圧縮されたディスプレイ（２０３）への時間に送られ、圧縮されたディスプレイ（２０３）は、次に、その係数ｔを復号するランレングス符号器（４３５）によって付加された制御ヘッダは、それに応じて、それが表示する関連する基底の大きさとして受信する係数を変調する。図４  Ｃに示すように、表示領域（４０３−４１２）に関連付けられた基底係数の数は、全身的に低減される、表示された画像解像度は、典型的なＨＶＳ視力分布に比例して、表示された画像のこれらの領域にわたって系統的に低減される。先に説明したように、表示領域４０３−４１２それぞれに含まれる基底係数を選択するための基準は、角度（空間的）に基づく）それらの対応する網膜領域の視力を決定し、その基準は、中心窩化された量子化器（４３０）の設計パラメータとして設定される  
【００２６】
本発明のニアアイの中心窩化された視覚的伸張方法によって達成されることが期待されるデータ転送帯域幅圧縮利得は、一般に、入力画像を変換するために使用される基底の次元性と、フォベレート化された量子化器によって使用される基底係数切捨ておよび量子化基準とに依存するが、典型的には、先に説明された視覚的伸張方法のそれを超える。いったん目が焦点合わせされると、表示された画像領域は、名目上、ＦＯＶｅａ領域の角度範囲（約２°）に広がることになる）を表示する表示部と、を備え、前記表示部は、前記表示部に表示されている前記右目用画像を表示する表示部と、前記表示部に表示された前記表示システム（２００）は、２０°の全ＦＯＶ、例えば中心窩化されたビジュアルを有する本発明の圧縮解除方法は、表示された画像領域において４ｘ−６ｘの範囲の圧縮利得を達成し、図４Ｃに示された基底係数切捨ての例を使用する際に、表示された画像領域の間の系統的に高い圧縮利得を達成するでは、達成された圧縮利得は、領域（４０３）、（４０４）に対して８／７だけ増加する、領域（４０５）、（４０６）については、それぞれ８／５、８／３の因子で構成されている、表示された画像ＦＯＶに対する各画像領域（４０１−４１２）の領域と、ランレングス符号化器（４３５）によって付加された制御データによるオーバーヘッドとを考慮して、周辺領域（４０７）乃至（４１２）に対して（８）の係数で演算するを用いて、本発明のＦｏｖｅａｔｅｄ  ｖｉｓｕａｌ  ｄｅｃｏｍｐｒｅｓｓｉｏｎ方法によって達成されることができる複合圧縮利得は、（２４ｘ）乃至（３６ｘ）の範囲にある、プロセッサ（１０２）又は（１０７）から表示要素（２０３）への画像データ転送帯域幅が、中心窩視覚によって（２４ｘ）乃至（３６ｘ）の範囲の因子によって低減されることを意味する。本発明の解凍方法。前の例のニアアイ表示システム（４００）のＦＯＶが２０°よりも大きい場合には、例えば４０°では、周辺領域（４０７−４１２）の達成された圧縮利得は、画像中央領域（４０２−４０６）で達成される圧縮利得よりも８倍高い係数に漸近的に近づく大きなディスプレイＦＯＶのために、周辺画像領域は、表示されたＦＯＶの大部分を構成する、本発明の中心窩化された視覚的伸張方法は、より高い合成圧縮利得（４０ｘよりも高い因子に近い）を達成することができる）ニアアイ表示システム（２００）がＨＶＳのそれに近づくＦＯＶを有する場合（ＨＶＳＦＯＶが１００°よりも大きいことが知られている）  。
【００２７】
本発明の中心窩化された視覚的伸張方法の別の実施形態では、視覚的伸張変換は、目のｆｏｖｅａ４０２に対応する画像領域について、高次基底の異なる値を使用する、より高い圧縮利得を達成するために、網膜のｐａｆａｏｖｅａ４０３−４０６およびｐｅｒｆｏｖｅａ  ４０７−４１２領域を提供するこの実施形態では、視覚的伸張変換（３０２）は、目および頭部追跡要素（２１０）から入力された目注視点（方向）（４０１）を受信し、次に、ＦＯＶｅａ領域（４０２）に対応する画像領域を識別する、各画像領域について変換されたバージョンを作成するために、高基準の異なる値を使用する。例えば、視覚的伸張変換（３０２）は、（４ｘ４）ベースを使用して、画像領域（４０２−４０６）のための変換されたバージョンを作成し、使用する（８ｘ８）の変換された画像を生成するように構成され、視覚的伸張変換（３０２）は、複数の領域の変換された画像を一緒に送信する前に、複数の領域の変換された画像をステッチすることにより、各画像領域ごとに使用される基底順序を識別する埋め込み制御データを中心窩化された画像に送信する量子化器（４３０）は、基底係数を適切な切捨ておよび量子化基準に適用し、各画像領域は、画像および対応する制御データをランレングス符号化器（３０４）に転送する。ランレングス符号化器（３０４）は、ＦＯＶｅａ周辺領域に対応する画像領域においてより高い順序を使用して、圧縮ディスプレイ（２０３）への送信のために、ランレングス符号器（３０４）に転送する、本実施形態のアフィン変換方法は、より高い圧縮利得を達成することができる前述した例では、（４×４）ベースが画像領域（４０２−４０６）及び（（８ｘ８）に使用される場合、画像周辺領域（７−４１２）に使用される、画像中央領域（４０２−４０６）で達成される圧縮利得よりも（１６ｘ）の係数に漸近的に近づく圧縮利得を達成することができる。このように、本実施形態の中心窩化された視覚的伸張方法は、２０°の表示ＦＯＶの前の例について３２ｘ−４８ｘの範囲の複合圧縮利得を達成することができ、場合によっては４０°の表示ＦＯＶに対して６４ｘに到達することができる。
【００２８】
本発明の中心窩化された視覚的圧縮解除方法によって達成されることができる圧縮利得の説明されたレベルは、ディスプレイ２０３側の処理およびメモリ削減に直接変換される、電力消費量、体積形態およびコストの低減に直接変換することができるようにする。注意すべきことであるが、視覚的伸張ブロック（３０２）および中心窩化された量子化器４３０ブロックの処理およびメモリ要件は、図４ｃのブロックのブロックであることに留意すべきである  は、後者が画像データ帯域幅を拡大することを除いて、従来の画像伸長要素のものと同等であり、それにより、電力消費の比例的な増加を伴うディスプレイ２０３側での処理及びメモリ要件のかなりの増大を引き起こす。さらに、視覚的圧縮解除（３０２）およびフォベレート化された処理およびメモリ要件の処理およびメモリ要件が提供される。図の量子化器４３０ブロックは、従来技術のフォベト化されたレンダリングブロックのブロックと比較可能である、このように、本発明のＦＯＶ化された視覚的伸張方法を使用するニアアイ表示システム（２００）は、大幅に少ない処理およびメモリを必要とする（したがって、コストおよび消費電力が低減される））従来技術のフォｖｅジングされたレンダリングを組み込み、従来の圧縮技術を使用する図（１）および図（１（ｂ）の従来技術のニアアイディスプレイシステムと比較する本発明のＦｏｖｅａｔｅｄ  ｖｉｓｕａｌｄｅｃｏｍｐｒｅｓｓｉｏｎ方法は、ＨＶＳの固有の能力を整合させることによって、その利得を達成することにも留意すべきである；すなわち、ＨＶＳの時間的な積分および段階的な（または中心窩化された）空間（角度）分解能（視力）を提供する。また、本発明のＦＯＶ化された視覚的伸張方法によって達成されることができる圧縮利得のレベルは、処理のために、マルチ。ビューまたはマルチ。フォーカス。ライト。フィールドを表示するために、ニアアイディスプレイ。システムが必要とされるときに、かなりの量となることに留意することも重要である、メモリおよびそのようなシステムのインターフェース帯域幅は、ビューの数または焦点面の数（表面）に直接比例する）良好に設計されたニアアイ表示システムのために表示することが必要であり、これは、ニアアイ表示視聴者によって許容可能な３Ｄ知覚レベルを達成するために表示される必要がある６−１２ビューの範囲であることが必要である。
【００２９】
中心窩化されたダイナミック・ガマット−他の色域の実施形態では、視覚的伸張ブロックは、目および頭部追跡要素から、それが次に対応するピクセル（マクロにマップする観察者の視線方向に関する情報を受け取る）観察者の視野の中心を識別し、その情報を画像フレームデータに付加する画像フレーム内の空間座標を、量子化器ブロック（３０３）に渡す視聴者の視野の中心の識別された空間座標を使用して、量子化器ブロックは、典型的なＨＶＳ（角度または方向性）を適用する）カラーのデフォルト２４ビット（８ビット）を比例的にトランケートするためのカラー尖鋭度プロファイルを生成する）画像ピクセル（又はマクロ）の色座標のワード長は、より小さいサイズ（ビット内）になる）された観察者の視野の中心の空間座標に対する各画素（又はマクロ）の位置に応じたワード長と、そのフレーム。典型的なＨＶＳ（角度又は方向性））視力プロファイル（分布）量子化器ブロック（３０３）によってルックアップテーブル（ＬＵＴ）として保持される）画素（またはマクロ）色座標語長量子化係数を画素（またはマクロ）に応じて特定する生成機能と、を備える）観察者の視野の中心からの空間距離を決定するように構成されている。このようなＨＶＳカラー視力プロファイルｌｕｔまたは生成関数は、典型的な視聴者（角度または方向性）に基づく）各特定の視聴者の好みに応じて、所与の要因によって調整またはバイアスされることが可能である。ＨＶＳカラー尖鋭度プロファイルに対応する色域分布は、次に、ピクセル（またはマクロ）に付加される）量子化された色値をランレングス符号化器（３０４）で量子化し、変調のために表示素子（２０３）に送信する画素’（またはマクロ）の記述された方法は、各フレーム（ｔ）について、視聴者の視野の特定された中心の周りの角度または方向性の色の視力プロファイルに基づいて、語長の短縮を行うは、ディスプレイ（２０３）に転送される画像フレームデータのサイズの２ｘ−３ｘ縮小の要因につながる可能性のある、表示された画像の色ＦＯＶｅｌａｔｉｏｎである圧縮されたディスプレイである場合、ディスプレイ（２０３）は、画像フレームを変調するために受信するピクセル’（またはマクロ）の切り捨てられた色座標を直接使用する。本実施形態の文脈内で使用される”中心窩化された”という用語は、表示色域がＨＶＳカラー視力プロファイル（分布に適合されることを示すことを意味する）視者の眼の中心から観察者の眼の網膜の周辺領域に向かって外方に移動するように構成されていることを特徴とする本実施形態の視覚的圧縮利得は、ディスプレイをＨＶＳの色知覚視力分布と一致させることによって達成されることに留意されたい。
【００３０】
ニアアイ光フィールド表示−  シーン画像または映像情報の異なる視点を各眼に送信する際に、ニアアイ光フィールド表示を行う、視聴者のＨＶＳは、両方の画像を融合することができ、その差によって伝達された深度を知覚することができる。左右の画像またはビデオフレーム（３ｄ知覚）と、立体的な深度知覚として知られている能力との間の（視差）。［発明が解決しようとする課題］しかしながら、従来の３ｄディスプレイでは、典型的には、各眼に対するのビューを使用する、視聴者によって知覚される深度は、視聴者の目が焦点を合わせる深度とは異なる可能性がある。これは、視聴者のＨＶＳに提供された収束と収容深度のキューとの間の競合をもたらす（統合収容競合、ＶＡＣとして知られている効果））につながる可能性があり、視聴者の頭痛につながる可能性がある。アイ歪み。ｖｔの各々を提供することにより、ＶＡＣを除去することができる全光フィールド期間ｔの相応した遠近感を有する観察者の目に見えるように構成されていることを特徴とする視聴者のＨＶＳが、光フィールド内の同じ点、すなわち、合焦可能な光フィールド内で、自然に順応し、収束することを可能にするために。観察された眼の各々に提示される光フィールドの視点は、光フィールドの角度または深さのサンプル（またはスライス）であってもよい。各視聴者の目に提示された視点が、光フィールドの角度サンプルであるとき、このアプローチは、マルチビューライトフィールドと呼ばれ、深度サンプルが使用される場合、マルチ焦点面ライトフィールドと呼ばれる。それらの実装の詳細は異なってもよいが、ＶＡＣを含まない光フィールドを視聴者のＨＶＳに提示するの手法は、光フィールドの機能的に等価な表現である。いずれのアプローチにおいても、視聴者のＨＶＳに提示される視覚データの帯域幅は、明視野サンプル（ビューまたは焦点面）の数に比例する）光場の視野を表現するために使用され、そのようなものは従来よりもはるかに高い眼ごとに１つのビュー（または遠近）を提示する立体的方法。視覚データ帯域幅の増大は、処理、メモリにおける相応の増加をもたらす、ＶＡＣを除去するために明視野原理を利用するニアアイディスプレイを実現することをより困難にすることができる。以下の段落は、ＶＡＣを除去し、コンパクト化（合理化されたルックアップ）を達成しながら、高品質の視覚体験を視聴者に提供するために、明視野原理を利用するニアアイディスプレイを実現することを可能にするために、記載された視覚的伸張方法と他のＨＶＳ視力整合方法を適用する）実用的なニアアイの後に、ＡＲまたはＶＲのいずれかの表示システムを求める。
【００３１】
ニアアイ光フィールド変調器−  本発明の一実施形態では、光フィールドサンプル（ビューまたは焦点面）を表す視覚情報は、ニアアイディスプレイシステムによって提示または変調）される）表示器（または光変調器）の複数の物理的ピクセルのグループを使用して、視聴者のＨＶＳに、それぞれ、ニアアイディスプレイ（２００）の右側および左側の要素（２０３Ｒ、）２０３Ｌのグループを使用する。ここで、光変調器要素２０３Ｌのグループ多重物理（ｍｘｍ）ピクセルは、”（ｍｍ）変調グループ”または”マクロピクセル”と呼ばれる光変調素子２０３Ｒ、（２０３Ｌ）の個々の物理（個体）画素をマイクロ画素（またはｍ画素）と称する）光フィールドサンプル（ビュー又はプレーン）を変調するために使用されるマクロピクセルをＭピクセルと呼ぶマルチビューライトフィールドのニアアイディスプレイシステム実装の場合、Ｍピクセルの各々を含む個々のＭピクセルは、変調（表示）されるのに使用される）光フィールドの複数のビューは、視聴者のＨＶＳに提示され、マルチ焦点面（平面）の場合に提示される）に提示される光フィールドの深度平面（サンプル）を表す複数の深度仮想画像表面を変調（または表示）するために使用される視聴者のＨＶＳ。Ｍピクセルの次元は（ｍｘｍ）として表される）全光フィールドサンプルの総数を表し、ニアアイ表示システムは、視聴者の目の各々に存在する。本実施形態では、光（発光）ニアアイ光フィールドディスプレイ（２００）の光変調素子２０３Ｒ、（２０３Ｌ）の特性を、視聴者のＨＶＳの角速度及びＦＯＶに一致させるようにするＨＶＳ角速度は、観察者の眼の中心窩領域で最高レベルであり、観察者の眼の網膜の周辺領域４０３−４１２に系統的に減少する、視聴者のＨＶＳ深度知覚は、視聴者の眼のｆｏｖｅａ領域（４０２）で最高レベルであり、視聴者の眼の網膜の周辺領域（４０３−４１２）に系統的に減少することになる。したがって、視聴者のＨＶＳ角速度を一致させることによって、本実施形態のニアアイ光フィールドディスプレイの光変調器要素２０３Ｌは、一致するようにされる、以下の段落で説明したように、視聴者のＨＶＳの角度深度視力を調整する。
【００３２】
図５ａは、視聴者ＨＶＳの角速度およびＦＯＶを一致させるために使用される、ニアアイディスプレイシステムの光変調器（ディスプレイ）要素２０３Ｌの実装を示す。図において、光変調器要素２０３ＬのＭピクセルは、発光多色フォトニック微小スケールピクセル（典型的には、サイズが５−１０ミクロン）である）Ｍピクセルから放射されたコリメートされた光束を所与の方向（または複数）に向けるマイクロ光学素子（５５５）を含む方向に変調された）は、光変調器要素２０３Ｒおよび２０３Ｒの放射ＦＯＶ内にある。また、図５ａに示す光変調素子（２０３）のｍ画素の各々に対応して、マクロ光学素子（５６０）が設けられている（または均等に分散する）関連するＭピクセル変調グループから放射された方向変調された光バンドルの所与の角度密度を達成するために、関連するＭピクセルからＭピクセルＦＯＶ上に放射された光を生成する。各Ｍピクセルから放射されたコリメートされた方向に変調された光束を、本明細書では”明視野角”と呼ぶ。図５ａに示すように、Ｍピクセルの次元は、光変調器要素２０３Ｒおよび２０３Ｌの光学的開口部及び光学的開口部の光学的中心において最も高いレベルにあるｆｏｖｅａｌ  センターに対応する画像変調領域から遠ざかるように、ＨＶＳ深さ知覚視力に比例して徐々に減少するように構成されている。図５ａに示すように、  図５ａでは、Ｍピクセルの角度範囲（ＦＯＶ）は、光変調器（ディスプレイの光学的中心で最も狭い値となる）要素（２０３Ｒ、２０３Ｌの光学的開口部を有し、ｆｏｖｅａｌ中心に対応する画像変調領域から離れたＨＶＳ角速度の減少に反比例して漸増するように構成されている。その結果、光フィールドａｎｇｌｅｔの角度密度は、光変調器の中央領域内で最も高い値になる（ディスプレイ）素子（２０３Ｒ、２０３Ｌ）は、その周辺領域内で系統的に減少する。図（１）に示す光変調素子（２０３Ｒ、２０３Ｌ）の各々の光ｆ／＃が、５ａは、その光学的開口の中央領域で最も高い値にあり、徐々に減少する、ｆｏｖｅａｌセンターに対応する画像変調領域から離れた位置に配置されていることを特徴とする。効果的には、本実施形態では、光変調器要素２０３Ｌから放射された光は、観察者の眼の眼窩領域４０２内の視聴者のＨＶＳ視力を目標とする画像領域内で利用可能な最高解像度を作成する際のＨＶＳ視力分布と一致し、観察者の眼の網膜の周辺領域４０３−４１２に系統的に減少する観察者の眼の瞳孔の移動の範囲を、近視野から観察者の遠視野まで（−７°）一致させるために、注目すべきである）に示すように、図５ａに示すように、最高解像度の中央領域（図（５）の中央±５°ＦＯＶ領域））が、観察者の眼の動きの範囲内の全ての可能な目のＦＯＶｅａＦＯＶ領域（４０２）の位置を、視聴者の近視野から遠視野へと適応させるのに十分に広くされる。ＨＶＳ視力に光学的に整合する光フィールド変調器を実現するための方法を説明した後、次の段落は、ＨＶＳ光学的に整合された光変調器要素（２０３Ｒ、２０３Ｌ）を使用する方法を説明する。先に説明した複数ビューまたはマルチ焦点面の光フィールドサンプリング方法のいずれかを使用するニアアイ光フィールドディスプレイを実現するために、先に説明し��フォベレートされた視覚的伸張方法に関連して使用されるであろう。
【００３３】
マルチビューライトフィールド−  図５ｂは、前の実施形態の光学素子（２０６）と光変調器（ディスプレイ）素子（２０３Ｒ、）２０３Ｌとの間の結合を高レベルで示す。ニアアイ表示システム（２００）において、光学要素２０６は、図５ｂの例示を示す、表示素子（２０３Ｒ、）２０３Ｌによって変調された画像は、光学素子（２０６）によって観察者の目（５８０）に適宜拡大されて中継される光学素子（２０６）は、反射器およびビームスプリッタ光学アセンブリ、自由型光学ウェッジまたは導波路光学素子を使用して実施することができる。これらの光学要素２０６設計オプションの設計内容は異なるが、それらの共通の設計基準は、光変調器（ディスプレイの光出力を十分に拡大して中継することである）要素（２０３Ｒ、）２０３Ｌを視聴者の目（５８０）に送信する選択されたｍ画素（ｍｘｍ）次元の設計基準と、光変調器素子（２０３Ｒ、２０３Ｌ）およびマクロ光学素子（５５５）、（５６０）からの実効光学倍率とをそれぞれ求める、光変調器素子（２０３Ｒ、２０３Ｌ）の中央光学領域に位置するｍ画素のスポットサイズがＨＶＳ（平均）最小の視距離で形成（変調）された仮想画像のための空間視力を提供する図４ａの（４０２−４０４）をカバーするニアアイ表示システム（２００）の（近接場）。例えば、ニアアイディスプレイシステムの最小視野距離が３０ｃｍであり、その距離におけるＨＶＳ空間視力が約４０ミクロンであることが与えられる、光変調器素子（２０３Ｒ、）２０３Ｌの中心光中心領域におけるｍ画素のピッチも４０μｍであり、光変調器素子（２０３Ｒ、２０３Ｌ）のｍ画素のピッチが１０μｍである、Ｍピクセルの次元は、（４×４）Ｍピクセルである、観察者の眼の中心領域（図（４ａ）の（４０２ー４０４）の各々に対して、ニアアイ光フィールド表示システム（２００）が４ｘ４＝１６ビューまで変調することを可能にする。この例では、図５ａに示すように、Ｍピクセルの次元は、（３ｘ３）、（２ｘ２）に徐々に減少する（１ｘ１）の数のビューを系統的に提示するように構成されていることを特徴とする観察者のＦＯＶの周辺領域（４０５−４１２）を含む。このようにして、この実施形態の光変調器素子（２０３Ｒ、２０３Ｌ）は、視聴者の中心窩領域（図４ａの４０２−４０４上）により多くのビューを変調することによって、視聴者のＨＶＳ角速度および奥行き知覚的な態様と一致する）視聴者のＦＯＶの周辺領域（４０５−４１２）への系統的に少ない数のビューを生成するように構成されている。この効果は、視覚的圧縮の形態である。なぜなら、最も高い深度キューを有する視聴者を提供するために必要な最高数のビューは、視聴者の中心窩領域（図の４０２−４０４）内の光変調器要素および２０３Ｌによって変調されるからである）と、観察者の視線方向と、眼球および頭部追跡要素（２１０）によって感知された焦点深度とによって示されるように、観察者の視線方向および焦点深度によって示されるように、そして系統的に少ない数のビューは、ＨＶＳの典型的な視力角度分布に比例して、視聴者のＦＯＶの周辺領域４０５−４１２上に変調される。したがって、前の例では、１６ビューは、表示要素２０３Ｌによって、視聴者の眼の中心領���（図の４０２−４０４上）に変調されることになる。観察者のＦＯＶの周辺領域（４０５−４１２）に変調されるビュー数が少なく、約２°の幅である、画像入力（３０１）の帯域幅を、視聴者の目の中心領域、図４ａの（４０２ー４０４）の角度幅にほぼ比例するように低減する）ニアアイ用ディスプレイ（２００ＦＯＶ）の全角度幅に比例して変化するように構成されている。すなわち、例えば、ニアアイ光フィールドディスプレイ２００ＦＯＶが２０°の広さである場合には、１６ビューは、その中央２°の角度領域とその周辺領域における４ビューの平均とに変調される、約５ビューの有効帯域幅は、そのような場合には十分であり、これは、（３ｘ）の因子の圧縮利得に等しい。もちろん、本実施形態の視覚的圧縮方法では、ニアアイディスプレイ２００ＦＯＶが、例示的な例で想定される２０°よりも広い場合、より高い圧縮利得が達成されるであろう。
【００３４】
マルチビューライトフィールド深度中心窩化されたビジュアル解凍−  ＨＶＳ角（パーセプション）視野の周辺領域に向かって中央からの視力は、近視野（−３０ｃｍ）から系統的に減少する）を観察者の遠視野（−３００ｃｍ）に向けて移動させるように構成されている。したがって、ＨＶＳは、遠視野深度知覚よりも近距離場深度知覚のために、より高い数のビューを必要とすることになる。さらに、視聴者の目に焦点を合わせて、ある特定の位置に収納することができる点では、ＨＶＳ深度知覚視力はその点の近傍で最高レベルにあり、その点からの深さまたは角度偏差のいずれかによって系統的に減少する。これにより、視聴者の目のピントが合っている点付近の視覚情報に寄与し、奥行き感を最大限に実現することに寄与することができる。視聴者の目が近視野から視聴者の遠視野に向かって変化するにつれて、そのようなビューの数は系統的に減少する。ＨＶＳ深度知覚のこの属性は、（ｆｏｖｅａｔｅｄ）の組み合わせによって活用されることができる、さらに別の視覚的圧縮機会を提示する）図５ａのマルチビュー光変調器素子（２０３Ｒ、２０３Ｌ）と、先に説明した中心窩化された視覚的伸張方法とを含むニアアイ光フィールド表示システム２００内に組み込まれた一実施形態では、図５ａのマルチビュー光変調器要素および２０３Ｒ、２０３Ｌと、先の実施形態のｆｏｖｅａｔされた視覚解凍方法との両方を含む、眼球および頭部追跡要素（２１０）によって提供される視聴者の焦点の感知された点を使用して、識別する（または識別する））前記視野は、前記観察者の目が合焦されている点の近傍で最も多くの視覚情報に寄与し、次に、説明された視覚的圧縮解除方法が適用されて、視聴者の目が焦点合わせされている近傍の視覚情報への寄与に関して、図５ａのマルチビュー光変調器要素２０３Ｒ、２０３Ｌによって、視聴者に変調されている明視野ビューを比例的に圧縮する。［課題を解決するための手段］従って、本発明の方法によれば、実施形態では、光フィールドは、視聴者の目がｔである点の近傍で最も多くの視覚情報に寄与するは、図５ａの多面光変調素子（２０３Ｒ、２０３Ｌ）によって集光されて、１つのｔを達成する最も高い数の変調基底係数を使用して、それらの語長表現の最小切捨てで最も高い視覚的知覚を可能にする一方で、視聴者の目が存在する点の近傍でより少ない寄与を有する明視野ビューより高いワード長の切捨てにおいて、比例的に少ない数の変調基底係数を使用して、より広い角度ピッチで間隔を置いて配置されたより少ない光フィールド変調ビューを使用して、図５ａのマルチビュー光変調器要素（２０３Ｒ、２０３Ｌ）によって変調される。本実施形態の方法のネット効果は、視聴者の目が合焦された点近傍の視覚情報を反映した三次元ＦＯＶｅｌａｔｅｄｖｉｓｕａｌｄｅｃｏｍｐｒｅｓｓｉｏｎアクションである周囲の領域（前面、背面および側面の領域）の視覚情報を使用しながら、視聴者の焦点のところでＨＶＳ知覚的な視力に一致する最高の忠実度で変調されることになる）は、視聴者の目が焦点合わせされている場所から離れた点におけるＨＶＳの比例的に小さい知覚視力に一致する忠実度レベルで変調される。本実施形態の組み合わされた方法は���集合的に“マルチビューライトフィールド深度中心窩化されたビジュアル解凍”と呼ばれる。留意すべきは、本実施形態の文脈内で使用される用語”中心窩”は、表示解像度がＨＶＳ深度知覚視力プロファイル（分布に適合されることを示すことを意味することに留意されたい）視者の眼の中心から観察者の眼の網膜の周辺領域に向かって外方に移動するように構成されていることを特徴とする。
【００３５】
前の実施形態では、より高い数のビューが、表示要素および２０３Ｌによって、視聴者の眼の中心領域（図４ａの４０２−４０４上）に変調されることにさらに留意されたい）眼及び頭部追跡要素（２１０）によって示されるように、表示素子（２０３Ｒ、）２０３Ｌは、観察者の近視野と遠視野との間の角度距離を横切って延びる角度領域にわたって可能な最も高い数のビューを変調することができるであり、これは、合計約７°である。それにもかかわらず、先の実施形態の中心窩化された視覚的圧縮解除方法が適用される場合には、本発明は、上記課題を解決するためになされたものである、ＨＶＳ角度知覚視力に一致するように変調基底係数をトランケートし、量子化することになる、前に説明したように、このようにして、中心窩化された視覚的伸張の圧縮利得と、図５ａの中心窩化されたマルチビュー光変調器要素（２０３Ｒ、２０３Ｌ）とを複合化することができる。すなわち、（３２ｘ）の中程度の圧縮利得係数を達成する中心窩化された視覚的伸張が、（３ｘ）の圧縮利得係数を達成する図（５ａ）の中心窩化されたマルチビュー光変調器要素（２０３Ｒ、２０３Ｌ）と組み合わされる場合には、前の例と同様であると比較して、ニアアイマルチビューライトフィールドディスプレイシステムによって達成され得る複合圧縮は、匹敵する視聴経験を達成するニアアイディスプレイシステムと比較して、（９６ｘ）の圧縮利得係数に到達し、眼のニアアイ光フィールド表示機能を有する１６ビューを提供する。
【００３６】
マルチ焦点面（表面）ライトフィールド  −図６ａは、本発明の視覚的伸張方法を、マルチ焦点面（表面）ニアアイ光フィールドディスプレイの文脈内で適用する実施形態。図ａに示すように、本実施形態では、光フィールド変調器のｍ画素及びｍ画素は、光フィールド変調器のｍ画素及びｍ画素である（２０３Ｒ、２０３Ｌ）は、コリメートされた方向に変調された光線束（または明視野角）を生成するように設計される）ニアアイ光フィールドディスプレイ（２００）のＦＯＶを一括して角度をなすように配置された（６１）または６１０Ｌとを含む本実施形態では、ニアアイ光フィールドディスプレイ（２００）は、複数のｍ画素及び２ｔを含む左右の光フィールド変調器（２０３Ｒ、２０３Ｌ）を備えるを生成するように設計されたｍ画素と、観察者の左右の目（５８０Ｒ、５８０Ｌ）の網膜上の対応する点をアドレスする左右の光フィールドａｎｇｌｅｔ対（６６０ＯＲ）６１０Ｌを生成するように構成されている（網膜対応点は、知覚出力が観察者の視覚皮質によって深度において単一の点として知覚される、観察者の対向する目の網膜上の点である。と、左右の光フィールド変調器（２０３Ｒ、２０３Ｌ）によって生成された左右の光フィールドａｎｇｌｅｔ対（６１ＯＲ、６１０Ｌとを備えているを”視覚的に対応する”と呼び、その光フィールドａｎｇｌｅｔペア６１ＯＲ、６１０Ｌアドレスがｔをアドレスするときに”視覚的に対応する”と呼ぶ観察者の左右の目（５８０Ｒ、５８０Ｌ）の網膜上の対応する点の集合をそれぞれ設定する。ニアアイ光フィールドディスプレイ（２００）のＦＯＶ内のポイントは、右および左側の光フィールド変調器（２０Ｒ、２０３Ｌ）によって生成され、光学要素（２０６）によって観察者の眼（５８０Ｒ）に中継される、”視覚的に対応する”光フィールドａｎｇｌｅｔ対（６６０ＯＲ）６１０Ｌである（５８０Ｌ）は、観察者の視覚皮質によって光の仮想的な点（ｖｐｏｓ）として双晶的に知覚される）（６２０）は、ニアアイ光フィールド表示システム（２００）によって変調された光フィールド内にあり、視聴者のＨＶＳの両眼知覚態様は、観察者の目（５８０Ｒ、５８０Ｌ）網膜上に中継された光束画像を、光学素子（２０６）によって単一の視点に光束に変換する、深度で知覚される光（ＶＰｏＬ）（６２０）の仮想点、視聴者の目（５８０Ｒ、５８０Ｌ）の対応する運動距離に対応する。このように、本実施形態では、ニアアイ光フィールドディスプレイ（２００）は、仮想点（ｖｐｏｓ）を変調（または生成）する）（６２０）は、”視覚的に対応する”ｔの対を同時に変調することによって、表示ＦＯＶ内の視聴者によって知覚されるようにする”明視野角６１ｏｒ、６１０Ｌ”と、左右の光フィールド変調器２０３Ｒ、（２０３Ｌ）による”明視野角６１ｏｒ、６１０Ｌ”とを備えている視野内の観察者によって知覚される光（ｖｐｏｓ）（６２０）の仮想点の位置は、ニアアイ光フィールドディスプレイ（２００）は、ｘ、ｙ）ｒおよびｘによって決定され、ｙ）ｌ空間（座標）位置は、左右の光フィールド変調器２０３Ｒ、２０３Ｌ内で、”視覚的に”の対を生成した、左右の光フィールド変調器２０３Ｒ、２０３Ｌ内のｍ画素及び／又はｍ画素の位���を示す  
対応する”ライト。フィールド。ａｎｇｌｅｔ６１ｏｒおよび６１０Ｌ。ｘ、ｙ）ｒ及びｘをアドレス指定することにより、ｙ）左右の光フィールド変調器（２０Ｒ、）２０３Ｌのｍ画素及び／又はｍ画素のｌ空間位置を決定する；ニアアイ光フィールドディスプレイ（２００）は、光の仮想点（ｖｐｏｓ）を変調（生成）することができる）（６２０）は、ニアアイ光フィールドディスプレイ（２００）のＦＯＶ内の任意の深さにおいて観察者によって一般的に知覚されるＶＰｏＬ６２０変調のこの方法によれば、ニアアイ光フィールドディスプレイは、三次元を変調することができる（３Ｄ）”視覚的に対応する”ライト。フィールド。ａｎｇｌｅｔ（６１）または（６１）のペアを変調することによって、その表示ＦＯＶ内の視聴者が合可能なライト。フィールド。コンテンツを選択することができる右および左側の光フィールド変調器（２０３Ｒ、）２０３Ｌによってそれぞれ（６１）のｏｒを行うように構成されている”視聴者合焦可能”という用語は、この文脈で使用されて、ニアアイ光フィールドディスプレイの視聴者が、対象物またはコンテンツ）に焦点を合わせることができることを意味する）変調された光フィールド内に配置されている。これは、典型的な３ｄディスプレイが被る前述のＶＡＣ問題を低減することに大きく貢献するニアアイ光フィールドディスプレイの重要な特徴である。
【００３７】
ＨＶＳ深度知覚視力の固有の能力のために、すべての可能な仮想点の光（ＶＰｏＬ）をアドレス指定する）（６２０）を視野内に配置することができ、ニアアイ光フィールドディスプレイ（２００）は不要である。その理由は、双眼鏡である。対応する領域（ポイントで画像を形成する、視聴者の目からの所与の運動距離（または位置）におけるオブジェクトを見ることによって、両眼深度知覚が達成されるＨＶＳベースの知覚的な態様）であることを特徴とする画像処理装置。このようなすべての位置の軌跡は、そのようなすべての位置を離れる（または、運動する））観察者の目は、ホロプター面として知られているＨＶＳ視力の角度分布をその双眼深度知覚態様と組み合わせることにより、ｐａｎｕｍの融合領域またはボリュームとして知られているホロプター表面を囲む深さ領域が生成される）は、観察者によって認識された物体が実際にホロプター面にない場合であっても、両眼深度の知覚が達成される。［課題を解決するための手段］このような課題を解決するために、本発明は、それを囲む関連するｐａｎｕｍの融合領域は、光フィールドを、それらのｐａｎｕｍの融合領域のおおよその大きさによって分離された個別の表面集合にサンプリングするための方法を提案し、当然ながら、いくつかの重複を伴う、光フィールドサンプリング面間のボリューム内の両眼深さの知覚の連続性を保証する。経験的な測定（Ｈｏｆｆｍａｎ、Ｍ；ｇｉｓｈｃｋ、ａ．Ｒ．ａｋｌｅｙ、Ｋ．ａｎｄバンク、Ｍ．ｓ．  は、視覚的なパフォーマンスを妨げ、視覚疲労、ジャーナルオブビジョン（２００８）、（８）、（３３）、（１−３０）を引き起こす）ほぼ０．６度の視度で分離された複数の２ｄ光変調表面を有する場合に、両眼深度知覚の連続性を達成することができることを実証する（Ｄ）視聴者の視野内に存在する。（０）によって分離された観察者のＦＯＶ内のホロプター面のセット６したがって、ｄは、視聴者のＨＶＳが両眼知覚を達成するのに十分であるの範囲内であるそのような複数のホロプター面およびそれらの関連するｐａｎｕｍの融合領域にまたがるボリュームを提供する。本明細書では、ビューアの両眼深度知覚の連続性を達成するのに必要な距離だけ隔てられたホロプター面を、視聴者の近から遠視野に延びるＦＯＶ内で連続性を達成するようにする。
【００３８】
この実施形態では、ニアアイ光フィールドを正準（連続的な立体的な両眼深度知覚を達成するのに十分な意味）にサンプリングする説明された方法が提供される）（０．６Ｄ）によって分離された離散的なホロプター面の集合（ホロプター面の分離距離））に記載されたニアアイ光フィールドディスプレイ（２００）の光（ＶＰｏＬ）６２０変調方法の説明された仮想点を使用して達成され、（ｘ）、ｙ）ｒおよびｘのセットを定義することによって達成される、ｙ）ｍ画素および／またはｍ画素のｌ空間位置を、それぞれ、右および左の光フィールド変調器２０３Ｒ、２０３Ｌ内で、”視覚的に”の組を生成する表示システム２００ＦＯＶ内のホロプター面の選択された基準セットにおける光（ｖｐｏｓ）（６２０）の多重度の観察者の両眼知覚をもたらす”対応する”明視野角”。光（ｖｐｏｓ）６２０変調方法の記述された仮想点を使用して、ホロプター面の正準セットを変調する方法を提供する。これにより、ニアアイ光フィールドディスプレイ（２００）は、視聴者の全眼外光フィールド全体を知覚的にアドレスすることができる。したがって、本実施形態の方法は、効果的に、光フィールド圧縮利得を達成し、この光フィールド圧縮利得は、  ニアアイ光フィールドディスプレイ（２００）によってアドレス可能な全光フィールドのサイズ（ｖｐｏｓ）に対して選択されたホロプター変調面を選択する、（１００ｘ）を超えると予想されるかなりの圧縮利得とすることができる。このような圧縮利得は、光の仮想点（ｖｐｏｓ）によって達成されることに留意されたい）（６２０）と、ＨＶＳの両眼知覚と角速度とを一致させる際に、ニアアイ光フィールドディスプレイ（２００）の変調能力を調整するように構成されている。
【００３９】
図６ｂは、前の実施形態のニアアイ光フィールドホロプターサンプリングおよび変調方法を示す。図６ｂは、明視野ホーニング面（６１５）の上面図を示す、（６２２、６２５）、（６３０）、（６３５）、（６４０）は、近視野（−３０ｃｍ）から遠視野に向かって系統的に観察者の眼（６１０）の位置に関連している視聴者の（−３００ｃｍ）。図６ｂに示すように、第１の明視野ホロプター面（６１５）は、観察者の目から３Ｄ上に位置する観察者の近視野距離にあり、残りの（５つ）の明視野ホロプター面（６１８）は、観察者の眼から離れている、（６３−６４０）は、（７３ａ、）２Ｄ、（１）の視聴者の目からの連続する（０．６Ｄ）の距離に配置される。視聴者の目から、（５３Ｄ）、（０．９３Ｄ）、（３３Ｄ）をそれぞれ出力する。（６つ）の明視野ホーニング面（６１５）、（６１８）、（６２５）、（６３０）、（６３５）、（６４０）は、各々が、密度（又は解像度で変調された多数のｖｐｏｌ６２０から構成される）は、ＨＶＳの深さ及び角度の鋭角に相応するものであり、例えば、変調されたｖｐｏｌ６２０の密度（スポットサイズ）は、第１の光フィールドでの密度（スポットサイズ）であるホロプター面（６１５）は、その距離におけるＨＶＳ空間視力と一致するように４０μｍであり、残りの（５つ）の明視野ホロプター面（６１８）において連続的に大きくなる、（６２５）、（６３０）、（６３５）、（６４０）は、ＨＶＳ空間および角速度の分布に一致するように配置されている  ６個の明視野ホロプター面６１５、６１８、６２５、６３０、６３５、６４０の各々を構成する多数のｖｐｏｌ６２０は、変調される（生成される））それらの対応する多重度によって生成された”視覚的に対応する”光フィールドａｎｇｌｅｔペア（６１ｏｒ）（６１０Ｌ）を、それらのそれぞれに位置するＭピクセルおよび／またはＭピクセルの定義されたセットによって生成される（ｘ、ｙ）ｒおよび（ｘ、ｙ）ｌ空間位置は、それぞれ、ニアアイ光フィールドディスプレイ（２００）の左右の光フィールド変調器２０３Ｒ、２０３Ｌ内の空間位置である  左右の光フィールド変調器２０３Ｒ、２０３Ｌ内の空間位置（ｘ）、ｙ）Ｒ、ｘ、ｙ）ｌを変調（生成）する）（６つ）の明視野角面（６１５）、（６１８）、（６２５）、（６３０）、（６３５）、（６４０）の各々は、視覚的伸張変換ブロック（３０２）によって事前に計算され、維持されて、アドレスに変換される  
（６つ）の明視野ホーニング面（６１５）、（６１８）、（６２５）、（６３０）の各々を含むそれらの対応するｖｐｏｌ６２０、光フィールド画像データ（３０１）に基づいて、埋め込まれたまたは外部のプロセッサ（１０２）または（１０７）のいずれかからの入力として受信する。
【００４０】
マルチフォーカルプレーンライトフィールドにおける深度中心窩化されたビジュアル解凍−ニアアイ光フィールド表示システム（２００）の左右の光フィールド変調器２０３Ｒ、（２０３Ｌ）は、（６つ）の光フィールドホロプター面（６１５）の全てを変調することが可能である、（６２０）、（６２５）、（６３０）、（６３５）、（６４０）を同時に含み、これは、特定の瞬間において、視聴者の目が特定の距離に焦点合わせされ、先に説明したように、必要であるべきでないでは、ＨＶＳ深度知覚視力は、その点の近傍で最も高い値にあり、その点から深度または角度のずれのいずれかで系統的に減少する。したがって、本実施形態では、本発明の多焦点面表示システム（２００）は、本発明のマルチ焦点面光フィールド変調方法は、（６つ）の明視野角面（６１５）、（６１８）、（６２５）、（６３０）を有する（６３５）、（６４０）は同時に変調されるが、焦点の視聴者ポイントにおけるＨＶＳ視力に一致するｖｐｏｓ６２０密度（解像度）である。加えて、ニアアイディスプレイシステム２００内に組み込まれた実施形態では、正準ホロプター面（６１５）を変調するｖｐｏｌ６２０を使用して、ニアアイ光場を変調する記載された方法の両方を含む、（６２５）、（６３０）、（６３５）、（６４０）は、図６ｂに示すように、および前の実施形態に記載されたフォベレートされた視覚的伸張方法を用いて、観察者の目が合焦されている点の近傍で最も多くの視覚情報に寄与するホロプター面が適用され、次に、記載された中心窩化されたビジュアル解凍方法が適用されて、（６つ）の光フィールドを変調するｖｐｏｌ６２０を比例的に圧縮する観察者の目が焦点合わせされている近傍の視覚情報への寄与に比例して、ホロプター面（６１５）、（６２０）、（６２５）、（６３０）、（６３５）、（６４０）を形成する。この実施形態では、観察者の目が焦点合わせされている場所（運動距離）よりも小さい（０．６Ｄ）未満のホロプター表面。この基準は、正準明視野ホーニング面（６１５）のうちの少なくとも（２つ）を識別する、（６２５）、（６３０）、（６３５）、（６４０）を含み、視聴者の焦点がこれらの表面のうちの１つに直接にない場合には、ホロプター表面が識別される。先に説明したように、観察者のＨＶＳの両眼融合領域は、正準明視野ホロプター面の間の（０．６Ｄ）の領域を満たすからである、この基準は、観察者の焦点領域の光学的深度が、選択された（識別された）光フィールドホロプター面のうちの少なくとも１つの両眼融合領域内に入ることを保証するこの実施形態では、記述された選択基準を使用して識別されたホロプター面は、視聴者の目が焦点を合わせて収容される点の近傍の最も視覚的な情報に寄与する、本発明のマルチ焦点面光変調器（表示装置）は、これらの識別されたホロプター表面を変調して、これらの表面の感知された深度におけるＨＶＳ視力と一致するｖｐｏｌ６２０密度を使用して、また、ｔｔにおける最高数の変調基底係数を使用して、最高の視覚的知覚を達成する複数焦点面光変調器（ディスプレイ）によって、観察者の目が焦点合わせされている点の近傍での寄与が少ないホロプター面の残りが変調されるようにするより高いワード長の切捨てにおいて、比例的に少ない数の変調基底係数を使用して、より広い角度ピッチで離間されたより少ないｖｐｏｌ６２０を使用して、図６ａの要素（２０３Ｒ、２０３Ｌ）を形成する。本実施形態の方法の正味の効果は、視聴者の目が合焦される点付近の視覚情報が最も高い忠実度で変調される三次元窩化された視覚的伸張動作である焦点位置におけるＨＶＳ知覚的な視力と一致する、周囲領域の視覚情報は、（前、後、または側面から離れた点でのＨＶＳの比例的に小さい知覚的な視力に一致する忠実度レベルで変調される）観察者の目に焦点を合わせる。本実施形態の組み合わされた方法は、集合的に多焦点面光フィールド深度中心窩化されたビジュアル解凍と呼ばれる。留意すべきは、本実施形態の文脈内で使用される”中心窩化された”という用語は、表示解像度がＨＶＳ深度知覚視力プロファイル（分布に適合されることを示すことを意味することに留意されたい）視者の眼の中心から観察者の眼の網膜の周辺領域に向かって外方に移動するように構成されていることを特徴とする。
【００４１】
先の実施形態では、ｖｐｏｌ６２０のより高い密度は、図の表示要素２０３Ｌによって、視聴者の眼の中心領域（図４ａの４０２−４０４）に変調されることに留意されたい）目と頭追跡要素（２１０）で示されるように、図６ａの表示要素（２０３Ｒ、）２０３Ｌと、これは、観察者の近視野と遠視野との間の角度距離にわたって延在する角度領域にわたって可能な最も高いｖｐｏｌ６２０密度を変調することが可能であり、これは、合計約７°である。それにもかかわらず、先に説明したように、前の実施形態の深度中心窩化されたビジュアル解凍方法が適用される場合、それは、ＨＶＳ角および深度知覚視力に一致するように、変調基底係数をトランケートし、量子化することになるの圧縮利得を、効果的に合成すること、図６ａの表示素子（２０３Ｒ、２０３Ｌ）のための圧縮解除および中心窩化されたマルチ焦点ｐｌａｉｎｓ光変調器（ディスプレイ）。すなわち、（３２ｘ）の中程度の圧縮利得係数を達成する中心窩化された視覚的伸張が、図６ａの中心窩化された多焦点面光変調器素子２０３Ｒおよび２０３Ｌと組み合わされる場合には、先の例と同様である  （６つ）の正準ホターサーフェスのうちの最も（２つ）のみを選択する際に）約３ｘの圧縮ゲイン係数を達成する一方で、全ての６個の正準ホターサーフェスのｖｐｏｌ６２０密度を中心にすることを特徴とする）と比較して、ニアアイ光フィールド表示システム（２００）によって達成され得る複合圧縮は、匹敵する視聴経験を達成する、（６つ）を有するニアアイ光フィールドディスプレイを使用するニアアイ表示システムに比べて、（９６ｘ）の利得係数に達する焦点面機能。
【００４２】
図７は、図６ａのマルチ焦点面ニアアイ光フィールドディスプレイのためのコンテンツの生成を示す。この例示的な実施例では、シーンは、（３つ）の深度平面、すなわち、近面、中面、および遠面の（３つ）の深度平面でカメラ（７０１）によって捕捉される。カメラによって捕捉されたより深い平面が、図のマルチ焦点面光場ニアアイディスプレイ２００上の観察者の深度知覚をより良好にすることに留意されたい。好ましくは、捕捉深度平面の数は、図６ａの焦点面のニアアイディスプレイの数が変調することができる数に比例するはずである、前の実施形態の場合には、（６つ）の正準ホロプター面（６１５）となっている、（６１８）、（６２５）、（６３０）、図６ｂの（６３５）及び６４０を参照されたい。これはしかし、例は、本発明のさらなる態様を示すために、のキャプチャプレーンを使用する、当業者は、本明細書に記載された方法を使用して、マルチ焦点平面ニアアイ撮像（キャプチャおよびディスプレイを意味する）を実現することができるであろう）本発明の例示的な実施例の３つ以上の捕捉された深度平面を使用するシステムを提供するこの例示的な例では、（３つ）のオブジェクトがコンテンツシーン内に配置され、オブジェクト（７０２）がキャプチャカメラに近く、他の（２つ）のオブジェクト（７０３）、（７０４）がカメラから離れている。マルチ焦点平面撮像システムでは、（キャプチャに対するそれらの位置に応じてオブジェクトの明るさの調整が行われる）深さ層が必要とされる。図７の例示的な例では、これは、ブロック（７０５）、（７０６）、（７０７）をフィルタリングすることによって示されるように、深度フィルタリングによって達成される、と、画像シーンオブジェクトの輝度を、その奥行き値に応じた明るさにするために、画像コンテンツの明るさのうちの少なくとも１つを決定する。例えば、最も近いオブジェクト（７０２）は、第１の深さ層に完全に含まれる、その特定の層７０８内で完全な明るさで示されているが、他の（２つ）の層（７０６）、（７０７）から完全に除去されるミドルオブジェクト（７０３）の場合、（２つ）の深度レイヤー（ミドルと遠い）の間に位置する）が、オブジェクト（７０３）の完全な明るさをレンダリングするために、（２つ）のレイヤ（７０６）、（７０７）の間で完全な明るさが分割される、知覚される物体の明るさは、全ての層（７１）の合計である、物体は、両方の深度平面（７０６）、（７０７）からの輝度寄与の加重和として、観察者の目で完全な明るさで知覚される  シーンの３ｄ知覚を実現するために、深度層、および７１０の各々は、その時点で視聴者に表示される対応する深度は、調整された明るさが、視聴者の深度キューを効果的に喚起し、表示されたコンテンツを視聴者によって合焦可能にするために、シーンオブジェクトの深度と一致する。視聴者は、全ての層の組み合わせを見ることになり、その結果、再構成されたステレオ画像（７１）が得られ、視聴者のＨＶＳに対する適切な焦点キューが得られるこの例示的な例ののキャプチャプレーンの画像コンテンツは、上述したように、それらの相対的な深度情報とともに、配信（マップ）するためにレンダリングされる）それらの画像内容の色���よび明るさを、図６ａのマルチ焦点面のマルチ焦点面のマルチ焦点面上に投影するこのキャプチャされた画像レンダリング処理の終了結果は、入力画像（３０１）の内容色と明るさとを、”複数の”視覚的に”色と明るさのデータを特定するデータセットにマッピングすることである。Ｍピクセル及び／又はＭピクセル（ｘ、ｙ）ｒのそれぞれのセットによって生成される対応する”ライトフィールド。ａｎｇｌｅｔ対６１ｏｒ及び６１０Ｌ”と、（ｘ、ｙ）ｌ空間位置は、それぞれ、ニアアイ光フィールドディスプレイ（２００）の左右の光フィールド変調器２０３Ｒ、２０３Ｌ内の空間位置であるこれらの色および輝度データセットを、ニアアイ光フィールドディスプレイ（２００）の左右の光フィールド変調器（２０Ｒ、）２０３Ｌによってそれぞれ変調する、視聴者は、レンダリングされた３ｄ画像入力内容を、変調されたｖｐｏｓ６２０およびｔｉｔのセットとして知覚するシーン内の表示された３ｄオブジェクト（７０２）、（７０３）、（７０４）のいずれかに焦点を合わせることができる前の例示した例では、の捕捉面のみが使用されていることに留意すべきである、本発明のニアアイ光フィールドディスプレイ（２００）は、本実施形態の記載された方法を用いて、依然としてこの場合にはレンダリングされる、入力画像データ（３０１）は、記述されたｖｐｏｌ６２０変調方式を使用して、そのニアアイ光フィールド表示機能を使用して入力画像コンテンツを表示するために、図６ｂの６個の正準ホロプター面上に入力されるホロプター表面が識別される。先に説明したように、観察者のＨＶＳの両眼融合領域は、正準明視野ホロプター面の間の（０．６Ｄ）の領域を満たすからである、この基準は、観察者の焦点領域の光学的深度が、選択された（識別された）光フィールドホロプター面のうちの少なくとも１つの両眼融合領域内に入ることを保証するこの実施形態では、記述された選択基準を使用して識別されたホロプター面は、視聴者の目が焦点を合わせて収容される点の近傍の最も視覚的な情報に寄与する、本発明のマルチ焦点面光変調器（表示装置）  は、これらの識別されたホロプター表面を変調して、これらの表面の感知された深度におけるＨＶＳ視力と一致するｖｐｏｌ６２０密度を使用して、また、ｔｔにおける最高数の変調基底係数を使用して、最高の視覚的知覚を達成する複数焦点面光変調器（ディスプレイ）によって、観察者の目が焦点合わせされている点の近傍での寄与が少ないホロプター面の残りが変調されるようにするより高いワード長の切捨てにおいて、比例的に少ない数の変調基底係数を使用して、より広い角度ピッチで離間されたより少ないｖｐｏｌ６２０を使用して、図（６）の要素（２０３Ｒ、２０３Ｌ）を形成する。本実施形態の方法の正味の効果は、視聴者の目が合焦される点付近の視覚情報が最も高い忠実度で変調される三次元窩化された視覚的伸張動作である焦点位置におけるＨＶＳ知覚的な視力と一致する、周囲領域の視覚情報は、（前、後、または側面から離れた点でのＨＶＳの比例的に小さい知覚的な視力に一致する忠実度レベルで変調される）観察者の目に焦点を合わせる。しかし、例は、本発明のさらなる態様を示すために、のキャプチャプレー��を使用する、当業者は、本明細書に記載された方法を使用して、マルチ焦点平面ニアアイ撮像（キャプチャおよびディスプレイを意味する）を実現することができるであろう）本発明の例示的な実施例の３つ以上の捕捉された深度平面を使用するシステムを提供するこの例示的な例では、（３つ）のオブジェクトがコンテンツシーン内に配置され、オブジェクト（７０２）がキャプチャカメラに近く、他の（２つ）のオブジェクト（７０３）、（７０４）がカメラから離れている。マルチ焦点平面撮像システムでは、（キャプチャに対するそれらの位置に応じてオブジェクトの明るさの調整が行われる）深さ層が必要とされる。図７の例示的な例では、  これは、ブロック（７０５）、（７０６）、（７０７）をフィルタリングすることによって示されるように、深度フィルタリングによって達成される、と、画像シーンオブジェクトの輝度を、その奥行き値に応じた明るさにするために、画像コンテンツの明るさのうちの少なくとも１つを決定する。例えば、最も近いオブジェクト（７０２）は、第１の深さ層に完全に含まれる、その特定の層７０８内で完全な明るさで示されているが、他の（２つ）の層（７０６）、（７０７）から完全に除去されるミドルオブジェクト（７０３）の場合、（２つ）の深度レイヤー（ミドルと遠い）の間に位置する）が、オブジェクト（７０３）の完全な明るさをレンダリングするために、（２つ）のレイヤ（７０６）、（７０７）の間で完全な明るさが分割される、知覚される物体の明るさは、全ての層（７１）の合計である、物体は、両方の深度平面（７０６）、（７０７）からの輝度寄与の加重和として、観察者の目で完全な明るさで知覚されるシーンの３ｄ知覚を実現するために、深度層、および７１０の各々は、その時点で視聴者に表示される。対応する深度は、調整された明るさが、視聴者の深度キューを効果的に喚起し、表示されたコンテンツを視聴者によって合焦可能にするために、シーンオブジェクトの深度と一致する。視聴者は、全ての層の組み合わせを見ることになり、その結果、再構成されたステレオ画像（７１）が得られ、視聴者のＨＶＳに対する適切な焦点キューが得られるこの例示的な例ののキャプチャプレーンの画像コンテンツは、上述したように、それらの相対的な深度情報とともに、配信（マップ）するためにレンダリングされる）それらの画像内容の色および明るさを、図（６）のマルチ焦点面のマルチ焦点面のマルチ焦点面上に投影するこのキャプチャされた画像レンダリング処理の終了結果は、入力画像（３０１）の内容色と明るさとを、”複数の”視覚的に”色と明るさのデータを特定するデータセットにマッピングすることである  。Ｍピクセル及び／又はＭピクセル（ｘ、ｙ）ｒのそれぞれのセットによって生成される対応するライトフィールド。ａｎｇｌｅｔ対６１ｏｒ及び６１０Ｌ”と、（ｘ、ｙ）ｌ空間位置は、それぞれ、ニアアイ光フィールドディスプレイ（２００）の左右の光フィールド変調器２０３Ｒ、２０３Ｌ内の空間位置であるこれらの色および輝度データセットを、ニアアイ光フィールドディスプレイ（２００）の左右の光フィールド変調器（２０Ｒ、）２０３Ｌによってそれぞれ変調する、視聴者は、レンダリングされた���ｄ画像入力内容を、変調されたｖｐｏｓ６２０およびｔｉｔのセットとして知覚するシーン内の表示された３ｄオブジェクト（７０２）、（７０３）、（７０４）のいずれかに焦点を合わせることができる前の例示した例では、の捕捉面のみが使用されていることに留意すべきである、本発明のニアアイ光フィールドディスプレイ（２００）は、本実施形態の記載された方法を用いて、依然としてこの場合にはレンダリングされる、入力画像データ（３０１）は、記述されたｖｐｏｌ６２０変調方式を使用して、そのニアアイ光フィールド表示機能を使用して入力画像コンテンツを表示するために、図６ｂの６個の正準ホロプター面上に入力される。
【００４３】
図７に示されるマルチ焦点深度フィルタリングプロセスは、入力画像シーンコンテンツの明るさを割り当てる（マッピングする）プロセスである、関連する入力画像深度情報に応じて、表示装置（２００）に対物レンズを用いてマルチ焦点面をマルチ焦点面に変換して、視聴者のＨＶＳに対して適切な知覚深度キューを作成する本発明の一実施形態では、本発明のマルチ焦点面ニアアイ光フィールドディスプレイ（２００）は、ｔを有する図６ａのニアアイ光フィールドディスプレイ（２００）によって使用される全ての深さ層を生成するために、局所的な深度フィルタ処理を実行することができる、前の実施形態の場合には、（６つ）の正準ホロプター面がｔ上に位置することを特徴とするの範囲内であるディスプレイＦＯＶは、ディスプレイｔの近視野から遠視野までの視野であることを特徴とする図６ｂ、図８に示すように、本実施形態のマルチ焦点平面深度フィルタリング方法（８２５）は、レイヤスプリッタ（８０２）が画像入力（３０１）および２ｔを処理することを示すその関連する深度マップ（８０１）は、捕捉深度平面に対応する画像深度平面または層を生成する。次いで、各生成された層の内容は、入力画像（３０１）およびその関連する入力深度マップ（６０２）をマルチ焦点平面画像にマップして表示されるように深度フィルタ（８０３）される。次いで、画像レンダリングブロックは、生成されたマルチ焦点平面画像を用いて、Ｍピクセルおよび／またはＭピクセルｘのそれぞれのセットによって生成されることになる、複数の”視覚的に対応する”ライトフィールドａｎｇｌｅｔペアおよび６１０ｌの色および輝度値を生成し、ｙ）ｒおよび（ｘ、ｙ）ｌ空間位置は、それぞれ、左右の光フィールド変調器２０３Ｒ、２０３Ｌ内の空間位置である、マルチ焦点面ｖｐｏｌ６２０をディスプレイの視聴者に変調するニアアイ光フィールドディスプレイ（２００）のうちの少なくとも１つを含む。
【００４４】
別の実施形態では、正準光フィールドのための表示画像が生成されるＴのニアアイ光フィールドディスプレイ（２００）のホロプター面（６１５）、（６２０）、（６２５）、（６３０）、（６３５）、（６４０）前の実施形態は、圧縮された一組の基準要素画像またはホログラフィック要素（ｈｏｇｅｌ）から構成される入力画像（３０１）から生成される）キャプチャされたシーンコンテンツの（特許文献１参照）この実施形態では、シーンの明視野カメラによって捕捉された要素画像またはｈｏｇｅｌは、最初に処理されて、処理されたｔを識別する最大または十分に寄与する最小数の捕捉要素画像またはｈｏｇｅｌのサブセットが、（指定された）画像コンテンツを表す）正準明視野ホロプター多焦点面（６１５）、（６２０）、（６２５）、（６３０）、（６３５）、（６４０．）の深さを識別し、この識別された要素画像またはｈｏｇｅｌのサブセットを、本明細書では、参照ホゲルと呼ぶシーンのソース。ライト。フィールド。カメラによって捕捉された要素画像またはホゲルの総数のデータ。サイズと比較する、標準的なマルチ焦点面（６１５）の画像内容を含む、識別された参照ホゲルのデータサイズを決定する、（６１８）、（６２５）、（６３０）、（６３５）、（６４０）は、捕捉された要素画像またはｈｏゲルの総数によって分割された参照ｈｏゲルの識別された部分集合のデータサイズに反比例する圧縮利得を表すは、４０ｘ以上の圧縮利得に達することができる圧縮利得である。このように、本実施形態では、捕捉されたライトフィールドデータセットは、ニアアイ光フィールドディスプレイ（２００）のマルチ焦点面の離散的なセットを表すデータセットに圧縮され、そのようにして、正準光フィールドホロプター多焦点面（６１５）を反射する圧縮利得が実現される、前の実施形態の方法によって識別された（６１８）、（６２５）、（６３０）、（６３５）、（６４０）を含むは、視聴者のＨＶＳ深度知覚態様をマッチングさせることによって圧縮利得を達成する光フィールドの圧縮された表現である。
【００４５】
圧縮されたレンダリング  −他の実施形態では、図９に示されているように、圧縮された画像を含む受信画像入力（８０５）に直接的に”圧縮されたレンダリング”（米国特許出願公開第２０１５／０２０１７６号）が実行される。マルチ焦点面ニアアイ光フィールドディスプレイ（２００）によって表示されるべき画像を抽出するために、前の実施形態の参照ホゲルの明視野データセットと、正準光フィールドホロプター多焦点面（６１５）における光フィールド画像を変調するための左右の光フィールド変調器（２０３Ｒ、）２０３Ｌと、を備える、図は、本実施形態の圧縮されたレンダリングプロセスを示しており、この実施形態の圧縮されたレンダリングプロセスは、入力光フィールド。データが、参照ホゲルからなる圧縮光フィールドデータセットを処理して、マルチ焦点面ニアアイ光フィールドディスプレイ（２００）および左光フィールド変調器（２０３Ｒ、２０３Ｌ）への入力を生成する。図９の圧縮されたレンダリングプロセス（８０６）では、受信された圧縮された入力画像（８０５）は、時刻ｔの参照ホゲルのライト。フィールド。データ。セットを含む前の実施形態を最初にレンダリングして、正準光フィールドホロプター多焦点面（６１５）、（６２０）、（６２５）における光フィールド画像を抽出する  （６３０）、（６３５）、（６４０．）を含み、圧縮されたレンダリングプロセス（８０６）の第１のステップ（８１０）において、参照ホゲル画像は、光入力（８０５）を含むそれらの関連する深度およびテクスチャデータとともに画像を生成する、を用いて、正準光フィールドホロプター多焦点面（６１５）の各々からなるニアアイ光電界ｖｐｏｌの色および輝度値を合成する、（６１８）、（６２５）、（６３０）、（６３５）、（６４０）  基準ホゲルは、正準光フィールドホロプター多焦点面（６１５）、（６１８）、（６２５）、（６３０）、（６３５）、（６４０）の深度情報に基づいて先験的に選択されたものである、ｖｐｏｓ合成プロセス（８１０）は、最小の処理スループット及びメモリを必要とし、圧縮された基準ｈｏｇｅｌ入力データ（８０５）からニアアイ光フィールドｖｐｏｌ色及び輝度値を抽出するさらに、  ９，  眼球および頭部追跡要素によって感知された視聴者の視線方向および焦点深度は、ｖｐｏｓ合成プロセスによって使用され、感知された視線方向および視聴者の焦点深度に対する視聴者のＨＶＳ視力分布プロファイルに基づいてｖｐｏｓ値をレンダリングする。合成されたニアアイ光フィールドｖｐｏｌの各々に関連付けられた値は、視覚的に識別される対であろう。対応するａｎｇｌｅｔ方向およびそれらの（ｘ、ｙ）ｒおよび（ｘ、ｙ）ｌ空間位置座標は、それぞれ、左右の光フィールド変調器２０３内に位置する、に関連付けられた視覚的に対応するａｎｇｌｅｔ対の色および輝度値がマッピングされ（変換される））右及び左の光フィールド変調器２０３Ｒ、２０３Ｌ内の（ｘ、ｙ）ｒ及び（ｘ、ｙ）ｌ空間位置座標上に配置され、頭部および眼球追跡要素（２１０）によって感知された観察者の視線方向に応じて、ａｎｇｌｅｔ合成プロセス（８１５１５）によってそれぞれ決定される、深度追跡された視覚的圧縮ブロックは、前の実施形態��記載された方法を利用して、生成された色および輝度値を圧縮し、（Ｘ）、ｙ）および（ｘ、ｙ）ｌ空間位置座標は、視聴者のＨＶＳ視力分布に基づいて、左右の光フィールド変調器２０３Ｒ、２０３Ｌ内のそれぞれの空間位置座標である。本質的に、この実施形態は、前の実施形態のうちの（３つ）の圧縮利得、すなわち、（１）正準光フィールド多焦点面を完全に構成する最小基準ホゲルのセットに入力された光フィールドデータの圧縮に関連する利得を決定すると、（２）全光フィールドの圧縮に関連する利得を、正準光フィールド多重焦点面の各々を含むｖｐｏｌの集合に変換するステップと、（２）（３）視聴者のＨＶＳの角度、色、および深度視力を一致させるために、変調されたｖｐｏｓの深度ＦＯＶｅｌａｔｉｏｎに関連するゲインを決定するこれらの圧縮利得のうちの第１のものは、実質的に、ニアアイディスプレイシステムのインタフェース帯域幅を減少させ、これらの圧縮利得のうちの第２のものは、計算（処理を実質的に低減する）を生成することと、これらの圧縮利得のうちの第３のものが、ニアアイ用表示光フィールド変調器（２０３Ｒ、）２０３Ｌのインタフェース帯域幅を実質的に減少させるこれらの圧縮利得の効果は、従来技術の表示システムで現在行われているように、最初に圧縮された入力を圧縮解除する必要なく直接圧縮入力の表示を可能にする、ニアアイ表示光フィールド変調器２０３Ｌの圧縮された表示能力によってさらに向上されることに留意されたい。
【００４６】
複数の実施形態の前の説明は、入力帯域幅およびシステム処理リソースを低減するニアアイディスプレイシステムのための画像圧縮方法を提示したものである。人間の視覚システムの角度を一致させることを目的とした、高次基底変調、ダイナミック色域、光フィールド深度サンプリング、および画像データワード長の短縮および量子化を提供する圧縮入力ディスプレイを使用して結合された色および深度視力は、実質的に低減された入力インタフェース帯域幅および処理リソースでのモバイルアプリケーションに適したニアアイディスプレイシステムにおける高忠実度視覚体験を可能にする
【００４７】
当業者は、添付の特許請求の範囲および特許請求の範囲によって定義されるその範囲から逸脱することなく、本発明の実施形態に様々な修正および変更を適用することができることを容易に理解するであろう。本発明の前述の実施例は例示に過ぎず、本発明は、その精神または本質的な特徴から逸脱することなく、他の特定の形態で実施することができることを理解されたい。例えば、開示された実施形態の様々な可能な組み合わせは、前の例示的な実施形態では特に言及されていないニアアイディスプレイ設計においてさらなる圧縮利得を達成するために一緒に使用することができる。したがって、開示された実施形態は、いずれの意味においても、個々に、または任意の可能な組合せで、制限的であるとみなされるべきではない本発明の範囲は、先行する説明ではなく、添付の特許請求の範囲によって示され、その均等物の意味および範囲に含まれるすべての変形は、その中に包含されることが意図される。
【図１ａ】
2020512735.tif 000003
【図１ｂ】
2020512735.tif 000004
【図２ａ】
2020512735.tif 000005
【図２ｂ】
2020512735.tif 000006
【図３ａ】
2020512735.tif 000007
【図３ｂ】
2020512735.tif 000008
【図３ｃ】
2020512735.tif 000009
【図４ａ】
2020512735.tif 000010
【図４ｂ】
2020512735.tif 000011
【図４ｃ】
2020512735.tif 000012
【図５ａ】
2020512735.tif 000013
【図５ｂ】
2020512735.tif 000014
【図６ａ】
2020512735.tif 000015
【図６ｂ】
2020512735.tif 000016
【図７】
2020512735.tif 000017
【図８】
2020512735.tif 000018
【図９】
2020512735.tif 000019
【誤訳訂正書】
【提出日】令和2年1月21日(2020.1.21)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、画像生成システムのための圧縮方法に関し、より詳細には、頭部装着型又はニアアイディスプレイシステム（本明細書中ではまとめてニアアイディスプレイシステムと呼ぶ）のための画像及びデータ圧縮方法に関する。
【背景技術】
【０００２】
ニアアイディスプレイデバイスは近年、世間から幅広く注目を集めている。ニアアイディスプレイデバイスは新しいものではなく、多くのプロトタイプ及び市販製品は１９６０年代にまで遡ることができるが、ネットワークコンピューティング、組み込みコンピューティング、ディスプレイ技術、及び光学部品の設計の進歩により、このようなデバイスへの関心が新たになっている。ニアアイディスプレイシステムは通常、（組み込み型又は外部）プロセッサ、データ取得用の追跡センサ、ディスプレイデバイス、及び必要な光学部品と連結される。上記プロセッサは典型的には、センサから取得したデータを処理して、ユーザの片眼又は両眼の視野内の仮想画像として表示可能なデータを生成する役割を果たす。このデータは、単純な警告メッセージ又は２Ｄ情報チャートから、複雑なフローティングアニメーション３Ｄオブジェクトにまで及ぶ場合がある。
【０００３】
２種類のニアアイディスプレイ、即ち：ニアアイ拡張現実（ＡＲ）及び仮想現実（ＶＲ）ディスプレイが、視聴者に「生きているような」視覚的体験を提示する次世代ディスプレイとして、近年大きく注目を集めている。更に、ニアアイＡＲディスプレイは、オン・ザ・ゴー（ｏｎ  ｔｈｅ  ｇｏ）への視聴者のアクセスを拡張するために視聴者の周囲の現実のシーンに混合される高解像度３Ｄコンテンツを、移動する視聴者に提示するための、究極の手段と見なされている。ＡＲディスプレイの主要な目標は、ユーザの移動性を低下させることなく、現在のモバイルディスプレイの視聴に関する制約を超越し、モバイルデバイスの物理的な制約によって制限されない視聴範囲を提供することである。一方、ニアアイＶＲディスプレイは、視聴されているコンテンツに視聴者を没入させる３６０°３Ｄシネマ視聴体験を視聴者に提示することを想定している。ＡＲディスプレイ技術及びＶＲディスプレイ技術はいずれも、携帯電話及びパーソナルコンピュータに続く「次のコンピューティングプラットフォーム（ｎｅｘｔ  ｃｏｍｐｕｔｉｎｇ  ｐｌａｔｆｏｒｍ）」と見なされており、これは、モバイルユーザの情報アクセスの成長、並びに情報市場及びこれを提供するビジネスの成長を拡大する。ここでＡＲ／ＶＲディスプレイは、本発明の方法が一般にニアアイディスプレイに適用され、ＡＲ／ＶＲディスプレイ自体に限定されないという事実を強調するために、「ニアアイ（ｎｅａｒ−ｅｙｅ）」ディスプレイと呼ばれることが多い。
【０００４】
既存のニアアイＡＲ及びＶＲディスプレイの主な欠点としては：低リフレッシュレートディスプレイ技術によって引き起こされる、乗り物酔いのような感覚；適合的眼球離反運動の不一致（ｖｅｒｇｅｎｃｅ  ａｃｃｏｍｍｏｄａｔｉｏｎ  ｃｏｎｆｌｉｃｔ：ＶＡＣ）によって引き起こされる眼精疲労及び吐き気；並びに適度に広い視野（ｆｉｅｌｄ  ｏｆ  ｖｉｅｗ：ＦＯＶ）における制限された眼の解像度の達成が挙げられる。これらの欠点を解決するための既存の試みとしては：リフレッシュレートがより高いディスプレイの使用；ピクセルがより多い（解像度がより高い）ディスプレイの使用；又は複数のディスプレイ若しくは画面の使用が挙げられる。これらの試み全てにおける共通したテーマは、より高い入力データ帯域幅の必要性である。かさ高さ、複雑さ、及び過剰な電力消費をニアアイディスプレイに付加することなく、より高いデータ帯域幅に対処するには、新たな圧縮方法が必要となる。圧縮の使用は、大量のデータを処理するための通常の解決策であるが、ニアアイディスプレイの要件は独特であり、従来のビデオ圧縮アルゴリズムで達成できるものを超えている。ニアアイディスプレイのためのビデオ圧縮は、既存の圧縮スキームによって提供されるものより高い圧縮率を達成する必要があり、また極めて低い電力消費及び低いレイテンシという要件が追加される。
【０００５】
ニアアイディスプレイの高圧縮率、低レイテンシ、及び低電力消費という制約は、圧縮キャプチャ及び表示、並びにヒト視覚システム（ｈｕｍａｎ  ｖｉｓｕａｌ  ｓｙｓｔｅｍ：ＨＶＳ）の機能を活用したデータ圧縮スキームといった、データ圧縮への新たなアプローチを必要とする。従って本発明の目的は、従来技術の制約及び弱点を克服するニアアイ圧縮方法を紹介することであり従って、コンパクト性及び電力消費に関する移動体デバイス設計の厳しい要件を満たすことができ、かつこのようなデバイスのユーザに、広い角度範囲にわたる２Ｄ又は３Ｄコンテンツの強化された視覚体験を提供できる、ニアアイディスプレイの製造を可能とすることである。本発明の更なる目的及び利点は、以下の本発明の好ましい実施形態の詳細な説明から明らかになり、この説明は添付の図面を参照して進められる。
【０００６】
ニアアイディスプレイのための方法を記載した多数の従来技術が存在する。典型例として、非特許文献１は、計算拡張現実（ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ：ＡＲ）ディスプレイについて記載している。記載されているニアアイディスプレイのプロトタイプは、ＬＣＤを利用して、積層された複数の層によって光照射野を再現するが、これは、データ圧縮及び低レイテンシの要件に対処するものではない。このＡＲディスプレイはまた、妨害のないフォーマットを広い視野で達成し、相互オクルージョン及び焦点深度キューを可能とする。しかしながら、ＬＣＤ層パターンを決定するプロセスは、時間及び電力を多く消費する、計算集約的なテンソル因数分解に基づいている。このＡＲディスプレイはまた、遮光ＬＣＤの使用により、輝度が大幅に低下している。これは依然として、ディスプレイ技術がニアアイディスプレイの性能にどのように影響するか、及び従来技術が、ニアアイディスプレイ分野で提示される全ての問題の解決においてどの程度不十分であるかの、別の一例となっている。
【０００７】
図１ａ、１ｂに示す従来技術のニアアイディスプレイシステム１００は、組み込み型プロセッサ１０２又は外部プロセッサ１０７とすることができるプロセッサ、眼及び頭部追跡要素２１０、ディスプレイデバイス１０３、並びに表示画像の拡大及びヒト視覚システム（ＨＶＳ）１０６への中継のための光学部品１０４といった、複数の要素の組み合わせからなる。プロセッサ１０２（図１ａ）又は１０７（図１ｂ）は、眼及び頭部追跡要素２１０から取得した感覚データを処理し、ディスプレイ１０３が表示することになる、対応する画像を生成する。このデータ処理は、ニアアイデバイス内において組み込み型プロセッサ１０２（図１ａ）によって行われるか、又はこのような処理は外部プロセッサ１０７（図１ｂ）によってリモートで実施できる。後者のアプローチにより、最新世代のＣＰＵ、ＧＰＵ、及び特定タスク向け処理デバイスといった、より強力なプロセッサを用いて、入って来る追跡データを処理し、対応する画像を、パーソナルエリアネットワーク（Ｐｅｒｓｏｎａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ＰＡＮ）１０８を介してニアアイディスプレイ１０９に送信できる。外部プロセッサの使用は、システムが、ニアアイディスプレイ１０９に負荷をかけずに画像処理を行うために必要な処理スループット及びメモリを有する、より強力な画像用リモートプロセッサ１０７を使用できるようになるという利点を有する。一方、ＰＡＮを介したデータの送信は、低レイテンシ・高解像度ビデオ送信帯域幅が必要となる等、それ独自の課題を有する。ＰＡＮにおけるビデオ送信プロトコルのための新たな低遅延プロトコル（非特許文献２を参照）は、ニアアイディスプレイ画像生成のための外部プロセッサ１０７の使用を可能とすることができ、これにより、高品質の没入型立体ＶＲディスプレイが可能となるが、このようなＰＡＮプロトコルは、高解像度３Ｄ及びＶＡＣフリー視聴体験の提示を目的とした新世代のニアアイＡＲ及びＶＲディスプレイのための、高帯域幅データ要件に対処できない。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Ｍａｉｍｏｎｅ，  Ａｎｄｒｅｗ，  ａｎｄ  Ｈｅｎｒｙ  Ｆｕｃｈｓ．  “Ｃｏｍｐｕｔａｔｉｏｎａｌ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ  ｅｙｅｇｌａｓｓｅｓ．”  Ｉｎ  Ｍｉｘｅｄ  ａｎｄ  Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ  （ＩＳＭＡＲ），  ２０１３  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ，  ｐｐ．  ２９−３８．  ＩＥＥＥ，  ２０１３
【非特許文献２】Ｒａｚａｖｉ，  Ｒ．；  Ｆｌｅｕｒｙ，  Ｍ．；  Ｇｈａｎｂａｒｉ，  Ｍ．，  “Ｌｏｗ−ｄｅｌａｙ  ｖｉｄｅｏ  ｃｏｎｔｒｏｌ  ｉｎ  ａ  ｐｅｒｓｏｎａｌ  ａｒｅａ  ｎｅｔｗｏｒｋ  ｆｏｒ  ａｕｇｍｅｎｔｅｄ  ｒｅａｌｉｔｙ，”  ｉｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ＩＥＴ  ，  ｖｏｌ．  ２，  ｎｏ．  ３，  ｐｐ．  １５０−１６２，  Ｊｕｎｅ  ２００８
【発明の概要】
【発明が解決しようとする課題】
【０００９】
それにもかかわらず、より高度なディスプレイ技術を使用すると、システム全体に新たな課題が課せられる。新たな画像生成方法は、より多量のデータを生成してディスプレイに送信する必要があり、ニアアイディスプレイのサイズ、メモリ及びレイテンシに関する制約により、多量のデータを処理するために使用される従来の圧縮方法はもはや適切ではなくなっている。従って、データを生成し、圧縮し、ニアアイディスプレイに送信するための、新たな方法が必要とされている。
【課題を解決するための手段】
【００１０】
以下の説明では、異なる図面内であっても、同様の図面参照番号を同様の要素に対して用いる。詳細な構造及び要素といった、本説明中で定義される事項は、例示的な実施形態の包括的理解を支援するために提供される。しかしながら、本発明は、これらの明示的に定義された事項を用いずに実践することもできる。また、既知の機能又は構造については、これらが不必要な詳細によって本発明を分かりにくくしてしまうため、詳細に説明しない。本発明を理解し、本発明を実際に実施できる方法を確認するために、本発明のいくつかの実施形態を、単なる非限定的な例として、添付の図面を参照して説明する。
【図面の簡単な説明】
【００１１】
【図１ａ】図１ａは、組み込み型プロセッサを組み込んだ従来技術のニアアイディスプレイシステムのブロック図を示す。
【図１ｂ】図１ｂは、接続された外部プロセッサを組み込んだ従来技術のニアアイディスプレイシステムのブロック図を示す。
【図２ａ】図２ａは、組み込み型プロセッサを備えた本発明のニアアイディスプレイシステムのブロック図を示す。
【図２ｂ】図２ｂは、外部プロセッサを備えた本発明のニアアイディスプレイシステムのブロック図を示す。
【図３ａ】図３ａは、本発明のニアアイディスプレイシステムの文脈における、圧縮ディスプレイのビジュアル解凍（Ｖｉｓｕａｌ  Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）機能を適用するエンコーダの機能ブロック図を示す。
【図３ｂ】図３ｂは、本発明のビジュアル解凍法の基底係数変調を示す。
【図３ｃ】図３ｃは、本発明のビジュアル解凍法の基底係数の切り捨てを示す。
【図４ａ】図４ａは、本発明の中心窩集中型（ｆｏｖｅａｔｅｄ）ビジュアル解凍法によって使用される、視聴者の注視点周辺の視野（ＦＯＶ）領域を示す。
【図４ｂ】図４ｂは、本発明の中心窩集中型ビジュアル解凍法を組み込んだニアアイディスプレイシステムのブロック図を示す。
【図４ｃ】図４ｃは、本発明の「中心窩集中型ビジュアル解凍」法の基底係数の切り捨てを示す。
【図５ａ】図５ａは、視聴者のＨＶＳの角視力及びＦＯＶに適合するニアアイディスプレイシステムの光変調器要素の実装を示す。
【図５ｂ】図５ｂは、本発明のニアアイディスプレイシステムの光学素子の実装を示す。
【図６ａ】図６ａは、本発明のニアアイ光照射野ディスプレイの多焦点面実施形態を示す。
【図６ｂ】図６ｂは、標準的なホロプタ表面を用いた多焦点面ニアアイディスプレイを実装する、本発明のある実施形態を示す。
【図７】図７は、本発明の多焦点面ニアアイ光照射野ディスプレイのためのコンテンツの生成を示す。
【図８】図８は、本発明の多焦点面深度フィルタリング法を実装する、ある実施形態を示す。
【図９】図９は、本発明の多焦点面ニアアイ光照射野ディスプレイに入力される光照射野データの圧縮レンダリングを実装する、ある実施形態を示す。
【発明を実施するための形態】
【００１２】
以下の本発明の詳細な説明における、「一実施形態（ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」又は「ある実施形態（ａｎ  ｅｍｂｏｄｉｍｅｎｔ）」に関する言及は、該実施形態に関連して説明されるある特定の特徴、構造又は特性が、本発明の少なくとも１つの実施形態に含まれていることを意味する。この詳細な説明の様々な場所に、句「一実施形態では（ｉｎ  ｏｎｅ  ｅｍｂｏｄｉｍｅｎｔ）」が見られるが、これら全てが必ずしも同一の実施形態を指すわけではない。
【００１３】
ニアアイディスプレイの視聴者に、高解像度及び広視野（ＦＯＶ）３Ｄ視聴体験を提示するには、１個の眼に対して８メガピクセルという眼の視認限界に近いディスプレイ解像度が必要となる。結果として得られるディスプレイ解像度の上昇は、ニアアイディスプレイシステム全体に対していくつかの要件を課すが、そのうち最も困難なものは、データインタフェース帯域幅及び処理スループットの増大である。本発明は、圧縮ディスプレイ（Ｃｏｍｐｒｅｓｓｅｄ  Ｄｉｓｐｌａｙ）システム（以下で定義する）の使用によって、ニアアイディスプレイシステムにおけるこれらの困難のいずれにも対処するための方法を紹介する。図２ａ、２ｂは、本発明の方法を用いるニアアイディスプレイシステム２００のブロック図による説明である。ニアアイディスプレイシステム２００のニアアイアセンブリ２０１の一実施形態を示す図２ａでは、新設計の要素であるエンコーダ２０４がニアアイディスプレイシステム２００に追加されており、これは、ＱＰＩソリッドステートイメージャベースのディスプレイ（図面中のＱＰＩイメージャディスプレイ）（米国特許第７，７６７，４７９号及び米国特許第７，８２９，９０２号）等の圧縮ディスプレイ２０３のためにデータを圧縮する役割を果たす。各ピクセルが異なる色のソリッドステートＬＥＤ又はレーザエミッタから光を放出するＱＰＩイメージャに加えて、横並びに配置された異なる色のソリッドステートＬＥＤ又はレーザエミッタから光を放出し、ここで複数のソリッドステートＬＥＤ又はレーザエミッタが単一のピクセルとして機能する、イメージャも知られている。本発明のこのようなデバイスは一般に、発光ディスプレイデバイスと呼ばれる。更に本発明は、ＤＬＰ及びＬＣＯＳといった多くのタイプの空間光変調器（Ｓｐａｔｉａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ：ＳＬＭ、マイクロディスプレイ）のための光源を形成するために使用でき、また同様にＬＣＤ用のバックライト光源としても使用できる。本明細書中では、用語「ソリッドステートイメージャディスプレイ」、「ディスプレイ要素」、「ディスプレイ」及び同様の用語が、圧縮ディスプレイ２０３を指すために頻繁に使用される。ニアアイディスプレイシステム２００のニアアイアセンブリ２０５の別の実施形態を示す図２ｂでは、エンコーダ２０４は、図２ａのものと同一の機能を、ただしニアアイアセンブリ２０５を遠隔駆動する外部データ源の一部として、満たす。図２ｂは、外部データ源を、外部プロセッサ２０７及びエンコーダ２０４を備え、後者が、無線パーソナルエリアネットワーク（ＰＡＮ）等の無線リンク２０８を介して、又は配線２０９を介して、ニアアイディスプレイアセンブリ２０５に接続されているものとして示す。いずれの場合においても、エンコーダ２０４は、ソリッドステートイメージャディスプレイ２０３の圧縮処理機能を活用し、高品質の画像を生成しながら高圧縮率を達成する。エンコーダ２０４はまた、眼及び頭部追跡設計要素２１０が提供する感覚データを利用して、ニアアイディスプレイシステム２００のデータ圧縮利得を更に上昇させる。
【００１４】
定義
「圧縮（入力）ディスプレイ（Ｃｏｍｐｒｅｓｓｅｄ  （Ｉｎｐｕｔ）  Ｄｉｓｐｌａｙ）」は、入力されたデータを最初に解凍することなく、圧縮フォーマットで直接入力された、提供された圧縮データのコンテンツ画像を直接表示できる、ディスプレイシステム、サブシステム、又は要素である。このような圧縮ディスプレイは、ヒト視覚システム（ＨＶＳ）による直接的な知覚のための高次基底に対して、高いサブフレームレートで画像を変調できる。以下で定義されるような、「ビジュアル解凍」と呼ばれるこのようなディスプレイ機能により、圧縮ディスプレイは、ＨＶＳが解凍済み画像として統合及び知覚できるよう、離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）又は離散ウォルシュ変換（Ｄｉｓｃｒｅｔｅ  Ｗａｌｓｈ  Ｔｒａｎｓｆｏｒｍｓ：ＤＷＴ）の拡張係数を用いて、（ｎ×ｎ）ピクセルを含む高次マクロを直接変調できる（米国特許第８，９７０，６４６号）。
【００１５】
「動的色域（Ｄｙｎａｍｉｃ  Ｇａｍｕｔ）」−圧縮ディスプレイシステムはまた、動的色域（米国特許第９，５２４，６８２号）として知られる機能も含んでよく、ここでは、ディスプレイシステムは、フレームヘッダ内に提供されるワード長調整済み（圧縮済み）色域データを用いて、その色域をフレーム毎に動的に調整できる。動的色域機能の使用において、圧縮ディスプレイシステムは、入力されたフレーム画像及びＨＶＳの視力に適合する圧縮済み色域を用いて、入力データを処理し、対応する画像へと変調する。圧縮ディスプレイのビジュアル解凍及び動的色域機能の両方により、入力データの解凍が必要なくなるため、インタフェース帯域幅及びディスプレイ側の処理スループットが低減され、またこれら両方の機能は、例えばソリッドステートイメージャディスプレイ等の圧縮ディスプレイによってサポートされている。
【００１６】
「ビジュアル解凍（Ｖｉｓｕａｌ  Ｄｅｃｏｍｐｒｅｓｓｉｏｎ）」は、ＨＶＳの固有の知覚能力を活用して、最初に解凍を行ってから解凍された視覚情報を表示するのではなく、圧縮された視覚情報をディスプレイが直接変調できるようにする、多数の圧縮視覚情報変調方法である。ビジュアル解凍は、ディスプレイへのインタフェース帯域幅、及び圧縮された視覚情報の解凍に必要な処理スループットを削減する。
【００１７】
ビジュアル解凍−図３ａは、本発明のニアアイディスプレイシステム２００の文脈における、圧縮ディスプレイ２０３のビジュアル解凍能力を適用する（図３ａ、図３ｂの）エンコーダ２０４の機能ブロック図を示す。プロセッサ２０２又は２０７が生成した入力画像３０１は、まず、ビジュアル解凍変換要素３０２によって、例えばＤＣＴ又はＤＷＴ基底といった既知の高次基底に変換される。次に、得られたこれらの高次基底の係数の、選択されたサブセットを、量子化器３０３によって量子化する。ＤＣＴ及びＤＷＴを用いる典型的な圧縮スキーム、例えばＭＰＥＧ及びＪＰＥＧと同様に、本発明のニアアイディスプレイシステム２００のエンコーダ２０４が適用するビジュアル解凍は、部分的には、低周波数を有する基底のサブセットを選択しながら高周波数基底を切り捨てることによって、圧縮利得を達成する。本発明の一実施形態では、量子化器３０３は、基底係数の選択されたサブセットの量子化のための量子化ステップサイズと同一の量子化ステップサイズを使用する。本発明の別の実施形態では、量子化器３０３は、ヒト視覚システム（ＨＶＳ）の能力を活用し、高周波係数に対してより大きな量子化ステップを使用することによって、ＨＶＳが知覚しにくい係数に関連するデータ転送帯域幅を低減し、これにより実際には、ＨＶＳの能力を適合させることで、より高いビジュアル解凍利得を達成する。次に、量子化された係数を、ランレングスエンコーダ３０４によって時間（又は時分割）多重化し、このランレングスエンコーダ３０４は、選択された基底のうちの１つに関連する係数のセットを、ビジュアル解凍対応圧縮ディスプレイ２０３に一度に送信し、ビジュアル解凍対応圧縮ディスプレイ２０３は続いて、受信した係数を、ビジュアル解凍対応圧縮ディスプレイ２０３が表示する関連基底の大きさとして、変調する。圧縮ディスプレイ２０３は、１つのビデオサブフレーム内で１度に基底のうちの１つを変調し、従って変調された基底は、ＨＶＳインパルス応答の時定数（典型的には〜５ｍｓ）を超えて時間的に分離されない。例えば、入力画像３０２を変換するために８個の基底を選択する場合、６０Ｈｚ（１６．６７ｍｓ）のビデオフレームを、ＨＶＳインパルス応答の時定数より大幅に小さい〜２ｍｓのサブフレームに区分し、各サブフレーム中に１つの基底係数が圧縮ディスプレイ２０３によって変調される。
【００１８】
別の実施形態では、ビジュアル解凍変換ブロック３０２は、ＤＷＴ及びＤＣＴ係数を、ＭＰＥＧ及びＪＰＥＧデータフォーマットといった、外部に提供された圧縮入力データフォーマットから、直接抽出し、抽出したＤＷＴ及びＤＣＴ係数を量子化器３０３に提供する。この場合、量子化器３０３は、より大きな量子化ステップを用いて、ＭＰＥＧ及びＪＰＥＧデータフォーマットのＤＷＴ及びＤＣＴ係数を更に増強することにより、ＨＶＳが知覚しにくい係数に関連するデータ転送帯域幅を低減し、またこれにより、ＨＶＳ能力を適合させることによって、より高いビジュアル解凍利得を達成する。
【００１９】
本発明の別の実施形態では、変換３０２及び量子化３０３された入力画像３０１の基底係数は、ＨＶＳに対して視覚的に直接圧縮されたデータを変調できる圧縮ディスプレイ２０３に直接フィールドシーケンス３０４される（上述の圧縮ディスプレイの定義を参照）。ディスプレイ２０３が達成するビジュアル解凍利得によって、ディスプレイ２０３におけるメモリ要件を低減することに加えて、圧縮画像データを直接変換及び変調するこの方法は、プロセッサ２０２又は２０７からディスプレイ２０３へ、そしてＨＶＳ１０６へと画像データを転送する際のレイテンシも低減する。ニアアイディスプレイシステムにおけるこのようなレイテンシの低減は、視聴者の不快感を低減するために極めて重要であり、この不快感は典型的には、眼及び頭部追跡センサ２１０が検出した視聴者の視線方向に対する入力画像３０１の過度の遅延によって引き起こされる。上記レイテンシが低減されるのは、圧縮画像データを直接変換及び変調する上記方法において、基底係数のサブセットが、典型的にはＨＶＳの時定数よりも短いサブフレーム時間シーケンスで受信されるため、ディスプレイ２０３によってＨＶＳ１０６に対して時間的に連続して変調され、これによりＨＶＳ１０６は、上記サブセットを部分的に統合し始めること、及び画像入力３０１を、変調された基底係数のサブフレームのうちのいくつかにおいて徐々に知覚することができ、これによって、眼及び頭部追跡２１０によって感知された視線方向情報を入力画像３０１に組み込む際のフィードバック遅延が大幅に削減されるためである。また、圧縮画像データを直接変換及び変調するこの方法において、レイテンシが低減されるのは、エンコーダ２０４によって生成された、選択された基底係数によって表される圧縮入力画像３０１が、入力画像３０１のデータをプロセッサ１０２又は１０７側でまず圧縮してからディスプレイ２０３側で解凍する従来技術のシステムによって典型的に導入される処理遅延なしに、ＨＶＳ１０６に対して直接表示されるためでもある。ニアアイディスプレイシステムのレイテンシの低減に加えて、圧縮画像データを直接変換及び変調する本発明の上述のニアアイビジュアル解凍法はまた、ニアアイシステムの処理、メモリ及び電力消費要件も大幅に低減する。というのは、上記方法は、プロセッサ１０２又は１０７側での入力画像３０１データの圧縮及びディスプレイ２０３側での解凍に関連する処理を排除するためである。言及しておく価値があることとして、圧縮画像データを直接変換及び変調する本発明の上述のニアアイビジュアル解凍法は、視覚感覚の時間的統合によって知覚のＨＶＳ１０６の固有の能力を利用するため、レイテンシ及び処理要件の低減を達成する。即ち、圧縮画像データを直接変換及び変調する本発明の上述のニアアイビジュアル解凍法は、ＨＶＳの能力を適合させることによって、レイテンシ及び処理要件の低減を達成する。
【００２０】
図３ｂは、本発明のニアアイディスプレイシステムのビジュアル解凍法の基底係数変調を示す。個々のディスプレイピクセルをアドレス指定する（そして変調する）ために現行のディスプレイで典型的に使用される行／列選択法の代わりに、図３ｂに示すニアアイビジュアル解凍法では、ディスプレイは、高次基底ｗｉｊを表す（ｎ×ｎ）ピクセルのグループを、同一の基底係数値Ｃｉｊとともに変調する。ビデオ入力画像３０１のあるサブフレーム内において、ニアアイ圧縮ディスプレイ２０３は、（ｎ×ｎ）ピクセルのブロックを、ディスプレイの基底要素Ｗｉｊを表すマクロとして、関連する基底係数Ｃｉｊを用いてアドレス指定する。あるビデオフレーム内の基底係数変調サブフレームの時間的シーケンスは、ＨＶＳによって時間順に統合され、これは、該ビデオフレームの期間内における入力画像３０１を徐々に知覚することにつながる。図３ｂから分かるように、ニアアイ圧縮ディスプレイ２０３は、サブフレームレートで基底係数を受信及び変調するための応答時間及び変調能力を有していなければならず、上記サブフレームレートはビデオフレームレートの数倍速く、上述した８個のサブフレームを有する例に関して、ビジュアル解凍サブフレームレートは、８×６０Ｈｚ＝４８０Ｈｚとなる。本発明の一実施形態では、ニアアイ圧縮ディスプレイ２０３は、ソリッドステートイメージャの高速画像変調能力により、ソリッドステートイメージャを用いて実現される。本発明のビジュアル解凍法をサポートするソリッドステートイメージャの能力に加えて、本発明のニアアイディスプレイシステム２００は、サイズの小ささ（コンパクト性）、低い電力消費、及びＱＰＩ２０３によって提供される輝度の恩恵も受け、これにより、体積に関して合理化されたニアアイディスプレイシステム２００が実現される。
【００２１】
再び図３ａを参照すると、量子化器３０３は、ビジュアル解凍変換要素３０２によって計算された基底定数を、所与の切り捨て基準に基づいて切り捨てた後、選択された基底係数のサブセットを、所与の量子化基準に基づいて所与の語長へと量子化する。図３ｃは、（４×４）のビジュアル解凍基底に関して量子化器３０３によって実施される基底係数切り捨てを示す。図３ｃに示すように、量子化器３０３は、図３ｃでマークされている８個の基底係数のサブセットを選択することにより、１６個の基底係数のセットを切り捨てる。この選択の基準は、ＨＶＳの時間的視力限界を超えた高周波数基底係数を破棄することであり、図３ｃではこの比較的高い指数の基底に斜線が付けられている。選択された基底係数のサブセットに関して、量子化器３０３は次に、ビジュアル解凍変換３０２から受信された、これらに対応する語長を、より少ないビット、例えば８ビット語にまで切り捨てる。なお、ビジュアル解凍変換３０２は典型的には、より長い語長、例えば１６ビット語で、変換計算を実施する。別の実施形態では、量子化器３０３は、異なる基底係数に関して異なる語長を用いて、選択された基底係数のサブセットを切り捨てる。例えば図３ｃを参照すると、低周波数係数Ｃ００が８ビットに量子化され、行係数Ｃ０ｊ及び列係数Ｃｉ０に沿った残りの基底係数は、連続して小さくなる語長、例えばそれぞれ６ビット、４ビット及び２ビットを用いて量子化される。基底係数の切り捨て及びその語長の量子化の基準の両方は、固定されていて、ディスプレイ２０３が先験的に把握しているか、又はデータストリームを介して、組み込まれたディスプレイ２０３に信号送信（又は通信）される。本実施形態のニアアイビジュアル解凍法によって達成されると予想されるデータ転送帯域幅の圧縮利得は典型的には、入力画像３０１の転送に使用される基底の次元数と、量子化器３０３によって使用される基底係数切り捨て基準とに依存するが、典型的には４倍〜６倍であり、これは即ち、プロセッサ１０２又は１０７からディスプレイ要素２０３までの画像データ転送帯域幅が、本実施形態の上述のビジュアル解凍法によって、４倍から６倍の範囲の係数で低減されることを意味している。なお、本実施形態のビジュアル圧縮利得は、ディスプレイをＨＶＳの時間的視力に適合させることによって達成される。
【００２２】
動的色域−本発明の別の実施形態では、ニアアイディスプレイシステム２００は、更なるビジュアル解凍の機会を提供する以下の２つの因子を利用する：（１）ビデオフレームの色域は典型的には、プリセットの標準ディスプレイ（例えばＮＴＳＣ）の色域（ここでは、上記の標準的な色域内のディスプレイのピクセルの色座標が典型的には２４ビット語（１原色あたり８ビット）で表現される）よりもはるかに小さい；及び（２）ＨＶＳ周辺領域の色覚は、視覚中央領域に比べて大幅に低下している。この実施形態では、ビジュアル解凍変換ブロック３０２は、各入力ビデオフレームのヘッダ内において、フレーム色域原色の色座標を、フレームの色域原色に対して表現されるフレーム内の各ピクセルの色座標と共に受信し、受信したフレームヘッダを量子化器３０３に送る。次にビジュアル解凍変換ブロック３０２は、それが受信したフレーム色域ヘッダを、それが抽出する高次基底係数のセットと共に、量子化器ブロック３０３に送る。続いて量子化器ブロック３０３は、画像フレーム色域の、該画像フレーム内の各ピクセルの色座標を表現する語長をデフォルトの２４ビット（１色あたり８ビット）未満まで比例的に切り捨てることによって低減されたサイズを利用し、ディスプレイの標準色域サイズに対する、伝達されるフレームの色域サイズが小さいほど、デフォルトの２４ビットよりも小さい語長を用いて、受信される各画像フレーム内の各ピクセルの色座標を表現できる。また、ビジュアル解凍ブロック３０２は、各入力ビデオフレームヘッダ内において、該画像フレーム内の複数の画像領域の色域及び座標を、各フレーム画像領域内の、該フレーム画像領域に関するフレームヘッダ内で伝達される色域原色に関して表現される各ピクセルの色座標と共に、受信することもできる。この場合、量子化器ブロック３０３は、各フレーム画像領域内の各ピクセルの色座標を表現する語長を、デフォルトの２４ビット（１色あたり８ビット）未満まで、比例的に切り捨てる。典型的なビデオフレーム画像では、上述の２つの方法のいずれかにより、圧縮ディスプレイ２０３へと送る必要がある画像フレームデータのサイズを２倍から３倍低減でき、後者の方法は、この範囲の上限に近い圧縮係数を達成する。フレーム又はフレーム画像領域の色域を、上で定義したようにその色域を動的に調整する能力を有する圧縮ディスプレイ２０３が受信すると、圧縮ディスプレイ２０３は、受信したヘッダ内で伝達されたフレーム又はフレーム領域の色域の座標データを用いて、伝達されたフレーム又はフレーム部分領域の色域を、その元の原色を使用して合成した後、受信した（切り捨てた）フレーム又はフレーム部分領域のピクセルの色座標データを変調することによって、上記フレーム又はフレーム部分領域のピクセルそれぞれを表す光を生成する。なお、この実施形態のビジュアル圧縮利得は、ディスプレイ色域を画像フレーム色域に一致させることによって達成される。
【００２３】
中心窩集中型ビジュアル解凍−図４ａ、４ｂは、ニアアイディスプレイシステム２００の更に別のビジュアル解凍法を示す。４（ａ）、４（ｂ）に示す本実施形態では、視聴者の瞳孔間距離（Ｉｎｔｅｒ−Ｐｕｐｉｌｌａｒｙ  Ｄｉｓｔａｎｃｅ：ＩＰＤ）に基づく視聴者の視線方向（軸）４０１及び焦点方向を、眼及び頭部追跡要素２１０によって感知及び追跡し、これを用いて、異なるビジュアル解凍基底係数切り捨て及び量子化基準を、視聴者の視野（ＦＯＶ）４２０内に表示された画像の異なる領域に対して適用することにより、視聴者の眼が焦点を合わせている（４０２）ＦＯＶ領域内で可能な限り最高の視覚知覚を効果的に実現しながら、視覚知覚のＨＶＳ角度（視力）分布を利用して、ＨＶＳの視力が徐々に低下している視聴者のＦＯＶの残りの領域４０３〜４１２にわたって高レベルのビジュアル圧縮を規則正しく達成する。事実上、本実施形態ではビジュアル解凍は、ＨＶＳの視力の角度分布を、ＦＯＶにわたる視聴者の視覚知覚の角度分布に比例する圧縮語長を用いて適合させるように、適用される。
【００２４】
図４ａは、このビジュアル解凍の実施形態の方法を示し、ここではこれは「中心窩集中型ビジュアル解凍」と呼ばれ、これは、視聴者の空間視力（角視力）が、視聴者の眼が焦点を合わせている（４０２）領域（網膜の中心窩領域）で最高となり、視聴者のＦＯＶの残り４０３〜４１２（傍中心窩４０３〜４０６及び網膜の傍中心窩領域４０７〜４１２）にわたって規則正しく低下するという事実を活用して、視聴者が焦点を合わせている（４０２）領域において最高の視覚知覚能力を達成しながら、更に高いビジュアル解凍利得を達成する。本実施形態では、視聴者の眼の焦点及び視線方向４０１のキュー（ｃｕｅ）は、図４ｂの中心窩集中型量子化器４３０によって、眼及び頭部追跡要素２１０のセンサによって提供される感覚データから抽出され、例えば、各眼に関する視線方向は、眼及び頭部追跡要素２１０のセンサによって検出されるような基準の頭部検出フレーム内眼の瞳孔の位置によって、決定される。同様に、ニアアイディスプレイシステムの視聴者の焦点距離（又は視聴者の両眼が焦点を合わせて集束する距離として定義される眼球離反運動距離）は、眼及び頭部追跡要素２１０のセンサによって検出された、視聴者の２つの瞳孔の中心間の相対瞳孔間距離（ＩＰＤ）によって決定される。視聴者が焦点を合わせる（４０２）ＦＯＶ４２０の領域（この領域は典型的には、視聴者の眼の水晶体が焦点を合わせたときに網膜の中心窩領域をカバーする）に関して、最高の画像解像度は、中心窩集中型量子化器４３０に、基底係数のサブセットを可能な限り大きく選択させ、可能な限り大きな語長を用いて、この選択された基底係数のサブセットを量子化させることによって、達成される。視聴者のＦＯＶ４２０の残りの領域、即ち図４ａの領域４０３〜４１２に関して、中心窩集中型量子化器４３０は、より少数の基底係数のサブセットを選択し、より少数のビットを用いてこの選択された基底係数を量子化する。このような基底係数切り捨て及び量子化基準の適用において、本実施形態の中心窩集中型ビジュアル解凍法は、視聴者の焦点の領域４０２内で最高の解像度を達成し、視聴者のＦＯＶ４２０の残りの領域４０３〜４１２にわたって、これらのＦＯＶ領域にわたってかなり高いビジュアル解凍利得を達成しながら、視聴者の知覚を劣化させることなく、規則正しくより低い解像度を達成する。なお、この実施形態の文脈内で使用される用語「中心窩集中型（ｆｏｖｅａｔｅｄ）」は、ディスプレイ解像度を、視聴者の眼の中心窩の中央から外側の視聴者の眼の網膜の周縁領域へ向かう、ＨＶＳの視力プロファイル（分布）に適合させることを指すことを意図している。このような視聴者の視線方向に依存する画像解像度は、従来技術では「中心窩集中型レンダリング（ｆｏｖｅａｔｅｄ  ｒｅｎｄｅｒｉｎｇ）」として知られており、その例は、Ｇｕｅｎｔｅｒ，  Ｂ．，  Ｆｉｎｃｈ，  Ｍ．，  Ｄｒｕｃｋｅｒ，  Ｓ．，  Ｔａｎ，  Ｄ．，  ａｎｄ  Ｓｎｙｄｅｒ，  Ｊ．，  “Ｆｏｖｅａｔｅｄ  ３Ｄ  Ｇｒａｐｈｉｃｓ”，  ＡＣＭ  ＳＩＧＧＲＡＰＨ  ＡＳＩＡ，  Ｎｏｖ．，  ２０１２に記載されており、これは典型的には、画像入力３０１を画像レンダリングによって中心窩に集中させることにより、���合によってはプロセッサ１０２又は１０７における画像レンダリングの計算負荷を低減するが、このような便益は、この実施形態の上述の中心窩集中型ビジュアル解凍法によって達成され得る画像インタフェース３０１の帯域幅及びディスプレイ２０３における解凍計算負荷の低減には直接変換されない。
【００２５】
図４ｂは、本発明の中心窩集中型ビジュアル解凍法を用いたニアアイディスプレイシステムのブロック図を示す。図４ｂを参照すると、眼及び頭部追跡要素２１０によって提供される入力に基づいて視聴者の焦点距離が把握されている場合に、ビジュアル解凍変換３０２に続く中心窩集中型量子化器４３０は、基底切り捨て及び量子化を、以下のように適合されるように選択する：視聴者の焦点領域４０２に対応する、表示される画像エリア（眼によって視聴者の網膜の中心窩領域上に集束させられる画像領域）が、最高の空間分解能を有し、視聴者のＦＯＶ４２０の残りの領域４０３〜４１２が、視聴者の網膜の傍中心窩及び周中心窩にわたる視聴者の眼の角視力（空間視力）のグラデーションと一貫した（又は比例した）、規則正しくより低い解像度を有する。図４ｃは、本発明の中心窩集中型ビジュアル解凍法による、中心窩集中型量子化器４３０の基底切り捨て及び量子化選択の例を示す。図４ｃは、（４×４）の中心窩集中型ビジュアル解凍基底に関して、中心窩集中型量子化器４３０が実施する、基底係数の切り捨ての例を示す。図４ｃの例に示すように、中心窩集中型量子化器４３０は、視聴者の焦点領域４０２に対応するような、図４ｃの第１のパネルにおいてマークされている最大の８個の基底係数のサブセットを選択することによって、１６個の基底係数のセットを切り捨てる。このような領域（４０２）に関しては、中心窩集中型量子化器４３０はまた、最大の量子化語長、例えば１色あたり８ビットを用いて、視聴者のＦＯＶの領域４０２に関して選択された基底係数を表現する。図４ｃに示すように、周縁焦点領域４０３に関して、中心窩集中型量子化器４３０は、１６個の基底係数のセットを、図４ｃに適宜マークされている、より少数の７個の基底係数のサブセットへと切り捨てる。このような領域に関しては、中心窩集中型量子化器４３０はまた、比較的短い語長、例えば７ビット又は６ビットを選択して、視聴者のＦＯＶの領域４０３に関して選択された基底係数を表現してよい。図４ｃに示すように、外側周縁領域４０４〜４１２に関して、中心窩集中型量子化器４３０は、１６個の基底係数のセットを、図４ｃに適宜マークされている、規則正しくより少数の基底係数のサブセットへと切り捨て、また、より短い語長、例えば６ビット未満を選択して、視聴者のＦＯＶの領域４０３に関して選択された基底係数を表現してよい。
【００２６】
再び図４ｂを参照すると、複数のＦＯＶ（２００）領域に関して中心窩集中型量子化器４０３によって生成された、切り捨て及び量子化済みの基底係数を、ランレングスエンコーダ４３５によって更にエンコードする。ランレングスエンコーダ４３５は、エンコードされたデータストリーム内に制御データパケット（又はデータヘッダ）を埋め込み、上記制御データパケットは、どの基底係数がストリーミングされたデータに含まれるか、並びにその切り捨て及び量子化語長を、信号送信（又は特定）する。例えば、基底係数値Ｃｉｊを送信するために指定されたデータフィールド内において、ランレングスエンコーダ４３５は、基底係数値Ｃｉｊが含まれているかどうか及びそれに関連する量子化語長を指定するデータフィールドを含むヘッダを追加する。次に、追加された基底係数を、選択された基底のうちの１つに関する時分割多重化された係数のセットとして、圧縮ディスプレイ２０３に一度に送信し、圧縮ディスプレイ２０３はこれに続いて、ランレングスエンコーダ４３５によって追加された制御ヘッダをデコードし、それに応じて、受信した係数を、圧縮ディスプレイ２０３が表示する関連する基底の大きさとして変調する。図４ｃに示すように、ディスプレイ領域４０３〜４１２に関連する基底係数の個数は規則正しく低減されるため、表示される画像の解像度も、表示される画像のこれらの領域にわたって、典型的なＨＶＳの視力の分布に比例して規則正しく低減される。上述のように、各ディスプレイ領域４０３〜４１２のために含まれることになる基底係数を選択するための基準は、これらに対応する網膜領域の角視力（空間視力）に基づいており、また該基準は、中心窩集中型量子化器４３０の設計パラメータとして設定される。
【００２７】
本発明のニアアイ中心窩集中型ビジュアル解凍法によって達成されると予測される、データ転送帯域幅圧縮利得は、典型的には、入力画像３０１の変換に使用される基底の次元数、並びに中心窩集中型量子化器４３０によって使用される基底係数切り捨て及び量子化基準に依存するが、典型的には、上述のビジュアル解凍法のデータ転送帯域幅圧縮利得より高い。眼が焦点を合わせると、表示された画像領域４０２は名目上、視聴者の眼の中心窩領域の角度範囲（約２°）にわたって広がるということを把握しておくと、ニアアイディスプレイシステム２００の総ＦＯＶが例えば２０°である場合、本発明の中心窩集中型ビジュアル解凍法は、表示される画像領域４０２において４倍〜６倍の圧縮利得を達成し、また表示される画像領域４０３〜４１２にわたって規則正しくより高い圧縮利得を達成する。図４ｃに示されている基底係数切り捨ての例を用いると、達成される圧縮利得は、領域４０３、４０４に関して８／７倍であり、領域４０５、４０６に関してそれぞれ８／５、８／３であり、そして周縁領域４０７〜４１２に関して８倍である。表示される画像のＦＯＶに対する各画像領域４０１〜４１２の面積、及びランレングスエンコーダ４３５によって追加された追加データによるオーバヘッドを考慮すると、図４ｃの中心窩集中型基底係数切り捨ての例に関して本発明の中心窩集中型ビジュアル解凍法によって達成できる複合的な圧縮利得は、２４倍〜３６倍となり、これは、プロセッサ１０２又は１０７からディスプレイ要素２０３への画像データ転送帯域幅が、本発明の中心窩集中型ビジュアル解凍法によって、２４倍〜３６倍低減されることを意味している。なお、上述の例のニアアイディスプレイシステム４００のＦＯＶが２０°超である、例えば４０°である場合、周縁領域４０７〜４１２に関して達成される圧縮利得は、画像の中央領域４０２〜４０６において達成される圧縮利得の８倍高い圧縮利得に漸近する。大きなディスプレイのＦＯＶに関して、周縁画像領域は、表示されるＦＯＶの大半を構成するため、本発明の中心窩集中型ビジュアル解凍法は、ニアアイディスプレイシステム２００がＨＶＳのＦＯＶ（ＨＶＳのＦＯＶは１００°を超えることが知られている）に近いＦＯＶを有する場合に、更に高い（４０倍より高い）複合的な圧縮利得を達成できる。
【００２８】
本発明の中心窩集中型ビジュアル解凍法の別の実施形態では、ビジュアル解凍変換３０２は、眼の網膜の中心窩４０２、傍中心窩４０３〜４０６及び周中心窩４０７〜４１２領域に対応する画像領域に関して、高次基底の異なる値を使用することにより、更に高い圧縮利得を達成する。本実施形態では、ビジュアル解凍変換３０２は、眼の注視点（方向）４０１の入力を眼及び頭部追跡要素２１０から受信し、続いて、中心窩領域４０２、傍中心窩領域４０３〜４０６及び周中心窩領域４０７〜４１２に対応する画像領域を識別した後、異なる高次基底の値を用いて、各画像領域の変換済みバージョンを生成する。例えば、ビジュアル解凍変換３０２は、画像領域４０２〜４０６の変換済みバージョンの生成のために（４×４）の基底を使用し、画像周縁領域４０７〜４１２の変換済みバージョンの生成のために（８×８）の基底を使用する。次にビジュアル解凍変換３０２は、複数の領域の変換済み画像を１つにつなぎ合わせた後、複合変換済み画像を、各画像領域に使用された基底の次数を識別する埋め込まれた制御データと共に、中心窩集中型量子化器４３０に送信する。中心窩集中型量子化器４３０は、基底係数の適切な切り捨て及び量子化基準を各画像領域に適用した後、画像及び対応する制御データを、圧縮ディスプレイ２０３への送信のために、ランレングスエンコーダ３０４に送信する。中心窩周縁領域に対応する画像領域において比較的高次の基底を使用することにより、この実施形態の中心窩集中型ビジュアル解凍法は、更に高い圧縮利得を達成できることになる。上述の例に関して、画像領域４０２〜４０６のために（４×４）の基底を使用し、画像周縁領域４０７〜４１２のために（８×８）の基底を使用すると、この実施形態の中心窩集中型ビジュアル解凍法は、画像中央領域４０２〜４０６において達成される圧縮利得の１６倍に漸近する圧縮利得を達成できる。よって、この実施形態の中心窩集中型ビジュアル解凍法は、２０°というディスプレイのＦＯＶの上述の例に関しては３２倍〜４８倍、及びおそらく４０°のディスプレイのＦＯＶに関しては６４倍に達する、複合的な圧縮利得を達成できる。
【００２９】
本発明の中心窩集中型ビジュアル解凍法が達成できる上述のレベルの圧縮利得は、ディスプレイ２０３側の処理及びメモリの低減に直接つながり、これは消費電力、体積に関する側面、及びコストの削減に直接つながる。なお、ビジュアル解凍ブロック３０２及び図４ｃの中心窩集中型量子化器４３０ブロックの処理及びメモリ要件は、従来の画像解凍要素の処理及びメモリ要件と同等であるが、後者は画像データ帯域幅を拡大し、それによってディスプレイ２０３における処理及びメモリ要件の大幅な増大、並びにそれに比例した消費電力の増大を引き起こす。更に、ビジュアル解凍ブロック３０２及び図４ｃの中心窩集中型量子化器４３０ブロックの処理及びメモリ要件は、従来の中心窩集中型レンダリングブロックの処理及びメモリ要件と同等であり、従って本発明の中心窩集中型ビジュアル解凍法を用いるニアアイディスプレイシステム２００は、従来技術の中心窩集中型レンダリングを組み込みかつ従来の圧縮技法を使用する図１ａ、１ｂの従来技術のニアアイディスプレイシステムよりも大幅に低い処理及びメモリ（従って削減されたコスト及び電力消費）しか必要としない。本発明の中心窩集中型ビジュアル解凍法は、このような利得を、ＨＶＳ固有の能力、即ちＨＶＳの時間的統合及び段階的な（即ち中心窩集中型）空間（角度）解像度（視力）を適合させることによって得ることにも留意されたい。また、本発明の中心窩集中型ビジュアル解凍法が達成できる圧縮利得のレベルは、ニアアイディスプレイシステム２００が、多視点又は多焦点光照射野を表示することを要求される場合に最高となることに留意することも重要である。というのは、上記システムの処理、メモリ、及びインタフェース帯域幅が、上記システムが表示することを要求される視野の個数又は焦点面（表面）の個数に正比例するためであり、上記個数は、良好な設計のニアアイディスプレイシステムに関して、ニアアイディスプレイの視聴者によって許容可能な３Ｄ知覚レベルを達成するために表示する必要がある、６〜１２個の視野となり得る。
【００３０】
中心窩集中型動的色域−上述の動的色域に関する実施形態の別の態様では、ビジュアル解凍ブロック３０２は、眼及び頭部追跡要素２１０から、視聴者の視線方向に関する情報を受信し、続いてビジュアル解凍ブロック３０２は上記情報を、視聴者の視野の中央を識別する画像フレーム内の対応するピクセル（マクロ）空間座標へとマッピングし、該情報を、ビジュアル解凍ブロック３０２が量子化器ブロック３０３へと送る画像フレームデータに追加する。視聴者の視野の中央の、識別された空間座標を用いて、量子化器ブロック３０３は次に、典型的なＨＶＳの（角度的又は方向的）色視力プロファイルを適用して、画像ピクセル（又はマクロ）色座標のデフォルトの２４ビット（１色あたり８ビット）の語長を、該フレームに関して識別された視聴者の視野の中央の空間座標に対する各ピクセル（又はマクロ）の位置に応じて、比例的に切り捨てる。典型的なＨＶＳの（角度的又は方向的）色視力プロファイル（分布）は、量子化器ブロック３０３によって、ルックアップテーブル（ｌｏｏｋ−ｕｐ  ｔａｂｌｅ：ＬＵＴ）又は生成関数として維持され、これは、視聴者の視野の中央からの該ピクセル（又はマクロ）の空間的距離に応じて、ピクセル（又はマクロ）色座標の語長の量子化因子を識別する。このようなＨＶＳの色視力プロファイルのＬＵＴ又は生成関数は、典型的な視聴者の（角度的又は方向的な）ＨＶＳの色視力プロファイルに基づいており、特定の視聴者それぞれの嗜好に応じて、所与の因子によって調整又はバイアス付与できる。次に、ＨＶＳの色視力プロファイルに対応する色域分布を、ランレングスエンコーダ３０４によって、ピクセル（マクロ）の量子化された色値に追加した後、変調のためにディスプレイ要素２０３に送信する。各フレームに関して識別された視聴者の視野の中央の周囲の角度的又は方向的色視力プロファイルに基づいて、ピクセル（又はマクロ）の色座標の語長を切り捨てる上述の方法は、事実上、表示される画像の色の中心窩集中化であり、これは、ディスプレイ２０３に送られることになる画像フレームデータのサイズの２倍〜３倍の削減につながる。ディスプレイ２０３は、圧縮ディスプレイであるため、ディスプレイ２０３が受信したピクセル（又はマクロ）の切り捨て済みの色座標を直接使用して、画像フレームを変調する。この実施形態の文脈内で使用される用語「中心窩集中型」は、ディスプレイ色域を、視聴者の眼の中心窩の中央から外側の視聴者の眼の網膜の周縁領域へ向かう、ＨＶＳの視力プロファイル（分布）に適合させることを指すことを意図している。なお、この実施形態のビジュアル圧縮利得は、ディスプレイをＨＶＳの色知覚視力の分布に適合させることによって達成される。
【００３１】
ニアアイ光照射野ディスプレイ−シーンの画像又はビデオ情報の異なるパースペクティブを各眼に送信する場合、視聴者のＨＶＳは、両方の画像を融合して、右及び左の画像又はビデオフレームの間の差異（視差）によって伝達される深度を知覚でき（３Ｄ知覚）、これは立体視深度知覚（ｓｔｅｒｅｏｓｃｏｐｉｃ  ｄｅｐｔｈ  ｐｅｒｃｅｐｔｉｏｎ）として知られる能力である。しかしながら、典型的には２つの視点（各眼に対して１つの視点）を使用する従来の３Ｄディスプレイでは、視聴者が知覚する深度は、視聴者の眼が焦点を合わせている深度とは異なる場合がある。これにより、視聴者のＨＶＳに提供される集束と適合深度キューとの間に矛盾が生じ（適合的眼球離反運動の不一致（ＶＡＣ）として知られる効果）、視聴者の頭痛、不快感及び眼精疲労が引き起こされる場合がある。ＶＡＣは、視聴者の各眼に、全光照射野の比例的なパースペクティブを提供して、視聴者のＨＶＳが光照射野内の同一の地点において自然に適合及び集束できるようにすること、即ち焦点を合わせることができる光照射野によって、排除できる。視聴者の各眼に対して提示される光照射野のパースペクティブは、光照射野の角度又は深度サンプル（又はスライス）とすることができる。視聴者の各眼に対して提示されるパースペクティブが光照射野の角度サンプルである場合、このアプローチは多視点光照射野と呼ばれ、深度サンプルを使用する場合、上記アプローチは多焦点面光照射野と呼ばれる。これらの実装の詳細は異なる場合があるが、ＶＡＣフリー光照射野を視聴者のＨＶＳに対して提示する上記２つのアプローチは、光照射野の、機能的に同等の表現である。いずれのアプローチにおいても、視聴者のＨＶＳに対して提示されるビジュアルデータの帯域幅は、光照射野のパースペクティブを表現するために使用される光照射野サンプル（視点又は焦点面）の個数に比例することになり、従って１つの眼に対して１つの視点（又はパースペクティブ）を提示する従来の立体視方法よりもはるかに大きくなる。ビジュアルデータの帯域幅の増大は、これに比例した、ニアアイディスプレイシステムの処理、メモリ、電力、及び体積に関する側面の増大につながり、これにより、上述の光照射野の原理を用いてＶＡＣを排除するニアアイディスプレイの実現は更に困難になる。以下の複数の段落は、上述のビジュアル解凍法及び他のＨＶＳ視力適合方法を適用することによって、上述の光照射野の原理を用いて、実用的なニアアイＡＲ又はＶＲディスプレイシステムに求められるコンパクト性（合理化された概観）を達成しながら、ＶＡＣを排除して視聴者に高品質の視覚的体験を提供できる。
【００３２】
ニアアイ光照射野変調器−本発明の一実施形態では、ニアアイディスプレイ２００のディスプレイ（又は光変調器）右側要素２０３Ｒ及び左側要素２０３Ｌそれぞれの複数の物理ピクセルのグループを用いて、光照射野のサンプル（視点又は焦点面）を視聴者のＨＶＳに提示する（又はニアアイディスプレイシステムによって変調する）。ここで、このような光変調器要素２０３Ｒ、２０３Ｌの複数の（ｍ×ｍ）物理ピクセルのグループは、合わせて「（ｍ×ｍ）変調グループ」又は「マクロピクセル」と呼ばれる。簡略化すると、光変調器要素２０３Ｒ、２０３Ｌの個々の（個々の）物理ピクセルは、マクロピクセル（又はｍ−ピクセル）と呼ばれ、光照射野サンプル（視点又は平面）の変調に使用される上記マクロピクセルは、Ｍ−ピクセルと呼ばれる。多視点光照射野ニアアイディスプレイシステムの実装形態の場合、各Ｍ−ピクセルを含む個々のｍ−ピクセルを用いて、視聴者のＨＶＳに提示される光照射野の複数の視点を変調（又は表示）し、また多焦点表面（平面）光照射野の実装形態の場合、Ｍ−ピクセルを用いて、視聴者のＨＶＳに提示される光照射野の深度平面（サンプル）を表す複数の深度の仮想画像表面を変調（又は表示）する。Ｍ−ピクセルの次元数は、（ｍ×ｍ）ｍ−ピクセルで表され、これは、ニアアイディスプレイシステムが視聴者の各眼に提示することになる光照射野サンプルの総数を表す。本実施形態では、ニアアイ光照射野ディスプレイ２００の光変調器要素２０３Ｒ、２０３Ｌの光学（発光）特性は、視聴者のＨＶＳの角視力及びＦＯＶに適合される。ＨＶＳの角視力は、視聴者の眼の中心窩領域４０２において最高レベルとなり、視聴者の眼の網膜の周縁領域４０３〜４１２に向かって規則正しく低下するため、視聴者のＨＶＳの深度知覚は視聴者の眼の中心窩領域４０２において最高レベルとなり、視聴者の眼の網膜の周縁領域４０３〜４１２に向かって規則正しく低下する。よって、視聴者のＨＶＳの角視力を適合させることによって、この実施形態のニアアイ光照射野ディスプレイ２００の光変調器要素２０３Ｒ、２０３Ｌは、以下の段落で説明されるように、視聴者のＨＶＳの角度的深視力に適合される。
【００３３】
図５ａは、視聴者のＨＶＳの角視力及びＦＯＶに適合させるために使用される、ニアアイディスプレイシステムの光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌの実装形態を示す。図５ａでは、光変調器要素２０３Ｒ、２０３Ｌのｍ−ピクセル５５０は、マイクロ光学素子５５５を備える発光性多色フォトニックミクロスケールピクセル（典型的にはサイズが５〜１０マイクロメートル）であり、上記マイクロ光学素子５５５は、ｍ−ピクセルから放出されるコリメートされた光束を、光変調器要素２０３Ｒ、２０３Ｌの発光ＦＯＶ内の所与の方向に配向する（又は方向に関して変調する）。更に、図５ａに示す光変調器要素２０３の各Ｍ−ピクセルに関連付けられているのは、マクロ光学素子５６０であり、これは、関連するｍ−ピクセルから放出された光をＭ−ピクセルのＦＯＶに満たし（又は均一に分配し）、関連するｍ−ピクセル変調グループから放出された、方向に関して変調された光束の、所与の角度的密度を達成する。各ｍ−ピクセルから放出された、コリメートされ方向に関して変調された光束は、本明細書では「光照射野アングレット（ｌｉｇｈｔ  ｆｉｅｌｄ  ａｎｇｌｅｔ）」と呼ばれる。図５ａに示すように、Ｍ−ピクセルの次元数は、光変調器要素２０３Ｒ、２０３Ｌの光アパーチャの光学的中心において最高レベルとなり、中心窩の中央に対応する画像変調領域から離れるＨＶＳの深度知覚視力に比例して漸減する。また図５ａに示すように、Ｍ−ピクセルの角度範囲（又はＦＯＶ）は、光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌの光アパーチャの光学的中心において最も狭い値となり、中心窩の中央に対応する画像変調領域から離れるＨＶＳの角視力の低下に反比例して漸増する。その結果、光照射野アングレットの角度的密度は、光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌの光アパーチャの中央領域内において最高の値となり、その周縁領域内で規則正しく減少する。実際には、図５ａに示されている光変調器要素２０３Ｒ、２０３Ｌそれぞれの光学的Ｆ／＃は、その光アパーチャの中央領域において最高の値となり、中心窩の中央に対応する画像変調領域から離れるＨＶＳの視力の分布に比例して漸減する。従って実際には、本実施形態では、光変調器要素２０３Ｒ、２０３Ｌから放出された光は、その最高解像度を、視聴者の眼の中心窩領域４０２における、視聴者のＨＶＳの視力の最高レベルを目標とする画像領域内で利用可能とするにあたって、ＨＶＳの視力の分布に適合し、視聴者の眼の網膜の周縁領域４０３〜４１２に向かって規則正しく減少する。なお、視聴者の眼の瞳孔運動の範囲を視聴者の近視野から遠視野まで（〜７°）に適合させるために、図５ａに示すように、光変調器要素２０３Ｒ、２０３Ｌの最高解像度の中央領域（図５ａにおける中央±５°のＦＯＶ領域）を、視聴者の近視野から遠視野への視聴者の眼の運動の範囲内の、眼の中心窩のＦＯＶ領域４０２の全ての可能な位置を包含するよう、十分に広くする。ＨＶＳの視力に光学的に適合される光照射野変調器を実現するための方法について上述したが、以下の段落は、ＨＶＳに光学的に適合された光変調器要素２０３Ｒ、２０３Ｌを上述の中心窩集中型ビジュアル解凍法と併用して、上述の多��点又は多焦点面光照射野サンプリング方法を用いるニアアイ光照射野ディスプレイ２００を実現するための方法を説明する。
【００３４】
多視点光照射野−図５ｂは、上述の実施形態の光学素子２０６と光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌとの間の結合を高いレベルで図示している。図５ｂのニアアイディスプレイシステム２００の光学素子２０６の設計の図では、ディスプレイ要素２０３Ｒ、２０３Ｌによって変調された画像は、光学素子２０６によって適切に拡大されて、視聴者の眼５８０へと中継される。光学素子２０６は、リフレクタ及びビームスプリッタの光学アセンブリ、自由形状光学ウェッジ、又は光導波路を用いて実装できる。これらの光学素子２０６の設計オプションの設計詳細は異なっているものの、これらの設計基準は、光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌを十分に拡大して視聴者の眼５８０に中継するもことである。選択されたＭ−ピクセルの（ｍ×ｍ）の次元数、並びに光学素子２０６による光変調器要素２０３Ｒ、２０３Ｌのミクロ光学素子５５５及びマクロ光学素子５６０からの有効光学倍率の設計基準は、光変調器要素２０３Ｒ、２０３Ｌの中央光学領域に位置するＭ−ピクセルのスポットサイズが、中心窩の中央領域（図４ａの４０２〜４０４）をカバーするニアアイディスプレイシステム２００の最小視聴距離（近視野）に形成される仮想画像に関するＨＶＳの（平均）空間視力に適合されるようなものである。例えば、ニアアイディスプレイシステムの最小視聴距離が３０ｃｍである場合に、該距離におけるＨＶＳの空間視力がおよそ４０マイクロメートルであるとすると、光変調器要素２０３Ｒ、２０３Ｌの光学的中央領域におけるＭ−ピクセルの間隔もまた４０マイクロメートルとなり、また、光変調器要素２０３Ｒ、２０３Ｌのｍ−ピクセルの間隔が１０マイクロメートルである場合、Ｍ−ピクセルの次元数は（４×４）ｍ−ピクセルとなり、これにより、ニアアイ光照射野ディスプレイシステム２００は、視聴者の各眼の中心窩の中央領域（図４ａの４０２〜４０４）に対して、最大４×４＝１６の視点を変調できる。この例では、図５ａに示すように、Ｍ−ピクセルの次元数を、（３×３）、（２×２）、そして（１×１）のｍ−ピクセルへと漸減させることによって、視聴者のＦＯＶの周縁領域４０５〜４１２において、減少した視点の個数を規則正しく提示する。よって、この実施形態の光変調器要素２０３Ｒ、２０３Ｌは、視聴者の中心窩の中央領域（図４ａの４０２〜４０４）に対して比較的多数の視点を変調し、視聴者のＦＯＶの周縁領域４０５〜４１２に対して規則正しく減少させた個数の視点を変調することによって、視聴者のＨＶＳの角視力及び深度知覚に関する側面を適合させる。これは実際にはビジュアル圧縮の形態である。というのは、視聴者に最高の深度キューを提供するために必要な視点の最大数は、眼及び頭部追跡要素２１０によって感知される視聴者の視線方向及び焦点深度によって示されるように、視聴者の中心窩の中央領域（図４ａの４０２〜４０４）内において、光変調器要素２０３Ｒ、２０３Ｌによって変調され、ＨＶＳの典型的な視力の角度的分布に比例して、視聴者のＦＯＶの周縁領域４０５〜４１２に対しては、規則正しく減少した数の視点が変調されるためである。従って上述の例では、幅がおおよそ２°である視聴者の眼の中心窩の中央領���（図４ａの４０２〜４０４）に対して、１６の視点がディスプレイ要素２０３Ｒ、２０３Ｌによって変調され、視聴者のＦＯＶの周縁領域４０５〜４１２に対してより少数の視点が変調され、従って画像入力３０１の帯域幅が、ニアアイディスプレイ２００のＦＯＶの全角度幅に比例する視聴者の眼の中心窩の中央領域（図４ａの４０２〜４０４）の角度幅に主に比例するように、低減される。即ち、ニアアイ光照射野ディスプレイ２００のＦＯＶの幅が例えば２０°であり、１６視点がその中央の２°幅の角度領域に対して変調され、平均４視点がその周縁領域において変調されるとき、このような場合にはおよそ５視点の有効帯域幅で十分であり、これは３倍の圧縮利得に相当する。当然のことながら、ニアアイディスプレイ２００のＦＯＶが、この例示的な例で想定される２０°より広い場合には、この実施形態のビジュアル圧縮方法によって更に高い圧縮利得が達成される。
【００３５】
多視点光照射野深度中心窩集中型ビジュアル解凍−ＦＯＶの中央領域から周縁領域に向かって、ＨＶＳの角度的（知覚的）視力が規則正しく低減されることにより、ＨＶＳの深度知覚視力もまた、視聴者の近視野（〜３０ｃｍ）から遠視野（〜３００ｃｍ）に向かって規則正しく低減される。従って、ＨＶＳは、遠視野の深度知覚に関してよりも近視野の深度知覚に関して多数の視点を必要とする。更に、視聴者の眼がある特定の地点に焦点を合わせ、適合している場合、ＨＶＳの深度知覚視力は、該地点の近傍において最高レベルとなり、該点から深度又は角度に関して偏向するに従って規則正しく低下する。よって、視聴者の眼が焦点を合わせて適合している地点の近傍のビジュアル情報に寄与する視点は、深度知覚の達成に最も寄与し、このような視点の個数は、視聴者の眼の焦点が視聴者の近視野から遠視野へと変化するに従って規則正しく減少する。ＨＶＳの深度知覚のこのような属性は、図５ａの（中心窩集中型）多視点光変調器要素２０３Ｒ、２０３Ｌと上述の中心窩集中型ビジュアル解凍法との組み合わせによって活用できる、更に別のビジュアル圧縮の機会を提示する。ニアアイ光照射野ディスプレイシステム２００内に、図５ａの多視点光変調器要素２０３Ｒ、２０３Ｌと上述の中心窩集中型ビジュアル解凍法との両方を組み込む実施形態では、眼及び頭部追跡要素２１０によって提供される、感知された視聴者の焦点を用いて、視聴者の眼が焦点を合わせている地点の近傍の大半のビジュアル情報に寄与する光照射野の視点を決定（又は識別）し、続いて上述の中心窩集中型ビジュアル解凍法を適用することによって、図５ａの多視点光変調器要素２０３Ｒ、２０３Ｌによって視聴者に対して変調されている光照射野の視点を、視聴者の眼が焦点を合わせている上記近傍のビジュアル情報への寄与に関して、比例的に圧縮する。従って実際には、この実施形態の方法により、視聴者の眼が焦点を合わせている地点の近傍における大半のビジュアル情報に寄与する光照射野の視点を、図５ａの多視点光変調器要素２０３Ｒ、２０３Ｌによって変調することによって、語長表現が最小限しか切り捨てられていない最大数の変調基底係数を用いて最高のビジュアル知覚が達成され、その一方で、視聴者の眼が焦点を合わせている上記地点の近傍における寄与がより小さい光照射野の視点を、より広い角度間隔だけ離間したより少数の光照射野変調視点を用い、これに比例して語長がより多く切り捨てられたより少数の変調基底係数を用いて、図５ａの多視点光変調器要素２０３Ｒ、２０３Ｌによって変調する。この実施形態の方法の正味の効果は、３次元中心窩集中型ビジュアル解凍作用であり、この作用においては、視聴者の眼が焦点を合わせている地点の近傍のビジュアル情報が、視聴者の焦点におけるＨＶＳの知覚視力に適合する最高の忠実度で変調され、その一方で、周辺の領域（前方、後方及び側方領域）のビジュアル情報は、視聴者の眼が焦点を合わせている地点から離れた地点における、これに比例して低くなったＨＶＳの知覚視力に適合する忠実度レベルで変調される。この実施形態の組み合わされた方法は集合的に、多視点光照射野深度中心窩集中型ビジュアル解凍と呼ばれる。なお、この実施形態の文脈で使用される用語「中心窩集中型」は、ディスプレイ解像度が、視聴者の眼の中心窩の中央から外向きに、視聴者の眼の網膜の周縁領域へと向かう、ＨＶＳの深度知覚視力プロファイル（分布）に適合されていることを指すことを意図している。
【００３６】
更に、上記実施形態では、眼及び頭部追跡要素２１０によって示されるような視聴者の眼の中心窩の中央領域（図４ａの４０２〜４０４）に対してより多数の視点がディスプレイ要素２０３Ｒ、２０３Ｌによって変調されるが、ディスプレイ要素２０３Ｒ、２０３Ｌは、視聴者の近視野と遠視野との間の角度的距離（これは合計おおよそ７°である）にわたって延在する角度的領域にわたって可能な最大数の視点を変調できることに留意されたい。それにもかかわらず、上述の実施形態の中心窩集中型ビジュアル解凍法を適用すると、上記方法は、上で説明したようにＨＶＳの角度的知覚視力を適合させるような方法で、変調基底係数の切り捨て及び変調を行い、これにより、中心窩集中型ビジュアル解凍及び図５ａの中心窩集中型多視点光変調器要素２０３Ｒ、２０３Ｌの圧縮利得を効果的に合成する。即ち、上述の例では、３２倍という中程度の圧縮利得係数を達成する中心窩集中型ビジュアル解凍を、３倍の圧縮利得係数を達成する図５ａの中心窩集中型多視点光変調器要素２０３Ｒ、２０３Ｌと組み合わせると、ニアアイ多視点光照射野ディスプレイシステム２００によって達成できる複合的な圧縮は、同等の視聴体験を達成するニアアイディスプレイシステムと比較して９６倍の圧縮利得係数に到達し、眼１つあたり１６視点のニアアイ光照射野ディスプレイ能力を提供する。
【００３７】
多焦点面（表面）光照射野−図６ａは、多焦点面（表面）ニアアイ光照射野ディスプレイの文脈において本発明のビジュアル解凍法を適用する実施形態を示す。図６ａに示すように、本実形態では、光照射野変調器２０３Ｒ、２０３Ｌのｍ−ピクセル及びＭ−ピクセルは、コリメートされ方向に関して変調された光線束（又は光照射野アングレット）６１０Ｒ、６１０Ｌを生成するよう設計され、これらは合わせて、ニアアイ光照射野ディスプレイ２００のＦＯＶに角度的に広がる。本実施形態では、ニアアイ光照射野ディスプレイ２００は、右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌを備え、これらはそれぞれ、複数のｍ−ピクセル及びＭ−ピクセルを備え、これらは、視聴者の右眼５８０Ｒ及び左眼５８０Ｌの網膜の対応する地点にアドレス指定する、複数の右側光照射野アングレット６１０Ｒと左側光照射野アングレット６１０Ｌとのペアを生成するよう設計される。（網膜対応地点（Ｒｅｔｉｎａｌ  Ｃｏｒｒｅｓｐｏｎｄｉｎｇ  Ｐｏｉｎｔ）は、視聴者の対向する眼の網膜上の、その感覚出力が視聴者の視覚皮質によってある深度の単一の点として知覚される地点である。）右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれによって生成された右側光照射野アングレット６１０Ｒと左側光照射野アングレット６１０Ｌとのペアは、本明細書中では、これらの光照射野アングレットのペア６１０Ｒ、６１０Ｌが視聴者の右眼５８０Ｒ及び左眼５８０Ｌの網膜の対応する複数の点のセットにアドレス指定する場合に、「視覚的に対応する（ｖｉｓｕａｌｌｙ  ｃｏｒｒｅｓｐｏｎｄｉｎｇ）」と言われる。右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌによって生成され、光学素子２０６によって視聴者の眼５８０Ｒ、５８０Ｌに中継された「視覚的に対応する」光照射野アングレットのペア６１０Ｒ、６１０Ｌが交差する、ニアアイ光照射野ディスプレイ２００のＦＯＶ内の地点は、視聴者の視覚野によって、ニアアイ光照射野ディスプレイシステムによって変調された光照射野内の１つの仮想光点（ｖｉｒｔｕａｌ  ｐｏｉｎｔ  ｏｆ  ｌｉｇｈｔ：ＶＰｏＬ）６２０として、両眼で知覚される。視聴者のＨＶＳの両眼知覚の側面は、光学素子２０６によって視聴者の眼５８０Ｒ、５８０Ｌの網膜上へと中継された、視覚的に対応するアングレット光束画像を、単一の視聴される光点、即ち視聴者の眼５８０Ｒ、５８０Ｌの対応する眼球離反運動距離に対応する深度で知覚される仮想光点（ＶＰｏＬ）６２０へと組み合わせる。よって本実施形態では、ニアアイ光照射野ディスプレイ２００は、ディスプレイのＦＯＶ内で視聴者が両眼で知覚することになる仮想光点（ＶＰｏＬ）６２０を、「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌをそれぞれその右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌで同時に変調することによって、変調（又は生成）する。視聴者がニアアイ光照射野ディスプレイ２００のＦＯＶ内において両眼で知覚する仮想光点（ＶＰｏＬ）６２０の位置は、「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌを生成した右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌ内のｍ−ピクセル及び／又はＭ−ピクセルの（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間（座標）位置によって決定される。よって、ニアアイ光照射野ディスプレイ２００は、その右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌ内のｍ−ピクセル及び／又はＭ−ピクセルの（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間（座標）位置をアドレス指定することによって、ニアアイ光照射野ディスプレイ２００のＦＯＶ内のいずれの深度において視聴者が両眼で知覚する仮想光点（ＶＰｏＬ）６２０を変調（生成）できる。実際には、このＶＰｏＬ６２０の変調方法を用いると、ニアアイ光照射野ディスプレイ２００は、そのディスプレイのＦＯＶ内の、視聴者が焦点を合わせることができる３次元（３Ｄ）光照射野コンテンツを、「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌのペアをそれぞれその右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌによって変調することによって、変調できる。用語「視聴者が焦点を合わせることができる（ｖｉｅｗｅｒ  ｆｏｃｕｓａｂｌｅ）」は、この文脈において、ニアアイ光照射野ディスプレイ２００の視聴者が、変調された光照射野内のオブジェクト（又はコンテンツ）に自由に焦点を合わせることができることを意味するために使用される。これは、典型的な３Ｄディスプレイが被る上述のＶＡＣの問題の低減に大きく寄与する、ニアアイ光照射野ディスプレイ２００の重要な特徴である。
【００３８】
ＨＶＳの深度知覚視力の固有の能力により、ニアアイ光照射野ディスプレイ２００のＦＯＶ内の可能性のある全ての仮想光点（ＶＰｏＬ）６２０へのアドレス指定は必要なくなる。その理由は、それに基づいて両眼深度知覚が達成されるＨＶＳの両眼知覚に関する側面が、視聴者の眼から所与の眼球離反運動距離（又は位置）においてオブジェクトを視聴する際に達成され、これによって視聴者の眼の網膜の対応する領域（地点）に画像が形成されるためである。視聴者の眼から離れた全てのこのような位置（又は眼球離反運動距離）の軌跡は、ホロプタ表面として知られている。ＨＶＳの視力の角度的分布を、その両眼知覚に関する側面と組み合わせることにより、パヌーム融合領域（又は体積）として知られる、ホロプタ表面を取り囲む深度領域が生成され、その全体にわたって、視聴者によって知覚されるオブジェクトが実際にホロプタ表面にない場合であっても、両眼深度知覚が達成される。ホロプタ表面を取り囲む関連するパヌーム融合領域によって拡張されるような、ホロプタ表面の両眼深度知覚体積により、光照射野を、そのパヌーム融合領域のおおよそのサイズだけ離間した複数の表面の個々のセットへと（当然多少の重複を伴って）サンプリングすることによって、複数の光照射野サンプリング表面間における、体積内での両眼深度知覚の連続性を保証する方法が示唆される。経験的測定（Ｈｏｆｆｍａｎ，  Ｍ．；  Ｇｉｒｓｈｉｃｋ，  Ａ．  Ｒ．；  Ａｋｅｌｅｙ，  Ｋ．  ａｎｄ  Ｂａｎｋｓ，  Ｍ．  Ｓ．，  Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｍｏｄａｔｉｏｎ  ｃｏｎｆｌｉｃｔｓ  ｈｉｎｄｅｒ  ｖｉｓｕａｌ  ｐｅｒｆｏｒｍａｎｃｅ  ａｎｄ  ｃａｕｓｅ  ｖｉｓｕａｌ  ｆａｔｉｇｕｅ，  Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｉｏｎ  （２００８）  ８（３）：３３，  １−３０を参照）により、両眼深度知覚の連続性は、視聴者の視野内に、およそ０．６ディオプター（Ｄ）だけ離間した複数の２Ｄ光変調表面が提示される場合に達成できることが実証された。従って、０．６Ｄだけ離間した、視聴者のＦＯＶ内のホロプタ表面のセットは、視聴者のＨＶＳがこのような複数のホロプタ表面及び関連するパヌーム融合領域にわたる体積内で両眼知覚を達成するために十分なものとなる。ここで、視聴者の近視野から遠視野まで延在するＦＯＶ内における視聴者の両眼深度知覚の連続性を達成するために必要な距離だけ離間したホロプタ表面を、「標準的なホロプタ表面」と呼ぶ。
【００３９】
本実施形態では、ニアアイ光照射野を、０．６Ｄ（ホロプタ表面離間距離）だけ離間した標準的な（即ち、連続的な体積的両眼深度知覚を達成するために十分な）ホロプタ表面の個々のセットへとサンプリングする上述の方法は、右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれの中でのｍ−ピクセル及び／又はＭ−ピクセルの（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置のセットを定義することによって、１つ前の実施形態で説明されているニアアイ光照射野ディスプレイ２００の仮想光点（ＶＰｏＬ）６２０変調方法を用いて達成され、これは「視覚的に対応する」光照射野アングレットのセットを生成し、これは続いて、ディスプレイシステム２００のＦＯＶ内の、選択された標準的なホロプタ表面のセットにおける、視聴者による複数の仮想光点（ＶＰｏＬ）６２０の両眼での知覚を引き起こす。上述の仮想光点（ＶＰｏＬ）６２０変調方法を用いて標準的なホロプタ表面のセットを変調する上記方法を用いると、ニアアイ光照射野ディスプレイ２００は、視聴者のニアアイ光照射野全体を知覚に関してアドレス指定できる。従って実際には、この実施形態の方法は、ニアアイ光照射野ディスプレイ２００がアドレス指定可能な全光照射野の（ＶＰｏＬの）サイズに対する、選択されたホロプタ変調表面の（ＶＰｏＬの）サイズに比例する、光照射野の圧縮利得を達成し、これは、１００倍をはるかに超えると予想される、サイズ設定可能な圧縮利得とすることができる。このような圧縮利得は、ＨＶＳの両眼知覚と角視力とを適合させる際に、ニアアイ光照射野ディスプレイ２００の仮想光点（ＶＰｏＬ）６２０変調能力によって達成されることに留意されたい。
【００４０】
図６ｂは、上述の実施形態のニアアイ光照射野ホロプタサンプリング及び変調方法を示す。図６ｂは、視聴者の眼６１０の位置に対する光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０の上面図を、視聴者の近視野（〜３０ｃｍ）から遠視野（〜３００ｃｍ）に向かって規則的に示す。図６ｂが示すように、第１の光照射野ホロプタ表面６１５は、視聴者から３．３３Ｄに位置する視聴者の近視野距離にあり、残りの５つの光照射野ホロプタ表面６１８、６２５、６３０、６３５、６４０は、視聴者の眼から連続した０．６Ｄずつの距離、即ち２．７３Ｄ、２．１３Ｄ、１．５３Ｄ、０．９３Ｄ、０．３３Ｄに位置する。図６ｂに示されている６つの光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０はそれぞれ、ＨＶＳの深視力及び角視力に対応する密度（又は解像度）で変調された複数のＶＰｏＬ６２０で構成され、例えば、第１の光照射野ホロプタ表面６１５の変調されたＶＰｏＬ６２０の密度（スポットサイズ）は、該距離においてＨＶＳの空間視力に適合するよう、４０マイクロメートルとなり、残りの５つの光照射野ホロプタ表面６１８、６２５、６３０、６３５、６４０において、ＨＶＳの空間視力及び角視力の分布に適合するように、連続的に大きくなる。６つの光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０それぞれを構成する複数のＶＰｏＬ６２０は、ニアアイ光照射野ディスプレイ２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれの中でそれぞれの空間位置（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌにあるｍ−ピクセル及び／又はＭ−ピクセルの所定のセットによって生成された、関連する複数の「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌのペアによって変調される。６つの光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０それぞれを変調（生成）する右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌ内での（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置は、先験的に計算され、ビジュアル解凍変換ブロック３０２によって維持され、これにより、６つの光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０それぞれを構成する、対応するＶＰｏＬ６２０を、組み込み型又は外部プロセッサ１０２又は１０７からの入力としてビジュアル解凍変換ブロック３０２が受信する光照射野画像データ３０１に基づいて、アドレス指定する。
【００４１】
多焦点面光照射野における深度中心窩集中型ビジュアル解凍−ニアアイ光照射野ディスプレイシステム２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌは、場合によっては、６つの光照射野ホロプタ表面６１５、６２０、６２５、６３０、６３５、６４０全てを同時に変調してよいが、これは必須ではない。というのは、いずれの特定の瞬間において、視聴者の眼はある特定の距離に焦点を合わせ、上述のように、ＨＶＳの深度知覚視力はこの点の近傍において最高値となり、この点からの深度又は角度の偏向と共に規則正しく低下するためである。従って本実施形態では、本発明の多焦点面ニアアイディスプレイシステム２００は、６つの光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０を同時に、ただし視聴者の焦点におけるＨＶＳの視力に適合するＶＰｏＬ６２０の密度（解像度）で変調する、本発明の多焦点表面光照射野変調方法を用いてビジュアル圧縮利得を達成する。更に、図６ｂに示されているような標準的なホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０を変調するＶＰｏＬ６２０を用いてニアアイ光照射野を変調する上述の方法と、以前の実施形態で説明されている中心窩集中型ビジュアル解凍法との両方を、ニアアイディスプレイシステム２００に組み込む実施形態では、眼及び頭部追跡要素２１０センサによって提供される、感知された視聴者の焦点を用いて、視聴者の眼が焦点を合わせる地点の近傍の大半のビジュアル情報に寄与するホロプタ表面を決定（識別）し、続いて上述の中心窩集中型ビジュアル解凍法を適用して、６つの光照射野ホロプタ表面６１５、６２０、６２５、６３０、６３５、６４０を変調するＶＰｏＬ６２０を、視聴者の眼が焦点を合わせる上記近傍のビジュアル情報への寄与に比例して圧縮する。本実施形態では、眼及び頭部追跡要素２１０センサによって提供される、感知された視聴者の焦点を用いて、視聴者の眼が焦点を合わせる位置から０．６Ｄ未満（眼球離反運動距離）の光照射野ホロプタ表面を識別する。この基準は、視聴者の焦点が標準的な光照射野ホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０のうちの１つに合わされていない場合に、これらの表面のうち最大で２つを識別することになる（この場合は上記ホロプタ表面のうちの１つのみが識別される）。上述のように、視聴者のＨＶＳの両眼融合領域は、実際には、標準的な光照射野ホロプタ表面の間の０．６Ｄの領域を満たすため、上記基準により、視聴者の焦点領域の光学的深度が、選択された（識別された）光照射野ホロプタ表面のうちの少なくとも１つの両眼融合領域内に収まることが保証される。本実施形態では、上述の選択基準を用いて識別されたホロプタ表面は、視聴者の眼が焦点を合わせて適合している地点の近傍の、大半のビジュアル情報に寄与し、従って、図６ａの多焦点面光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌは、識別されたこれらのホロプタ表面を変調することによって、これらの表面の感知された深度におけるＨＶＳの視力に適合するＶＰｏＬ６２０の密度を用いて、また語長が最小限しか切り捨てられていない最大数の変調基底係数を用いて、最高の視覚的知覚を達成し、その一方で、視聴者の眼が焦点を合わせている地点の近傍における寄与がより小さい残りのホロプタ表面を、より広い角度間隔だけ離間したより少数のＶＰｏＬ６２０を用い、これに比例して語長がより多く切り捨てられたより少数の変調基底係数を用いて、図６ａの多焦点面光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌによって変調する。この実施形態の方法の正味の効果は、３次元中心窩集中型ビジュアル解凍作用であり、この作用においては、視聴者の眼が焦点を合わせている地点の近傍のビジュアル情報が、焦点におけるＨＶＳの知覚視力に適合する最高の忠実度で変調され、その一方で、周辺の領域のビジュアル情報は、視聴者の眼が焦点を合わせている地点から（前方、後方及び側方に）離れた地点における、これに比例して低くなったＨＶＳの知覚視力に適合する忠実度レベルで変調される。この実施形態の組み合わされた方法は集合的に、多焦点面光照射野深度中心窩集中型ビジュアル解凍と呼ばれる。なお、この実施形態の文脈で使用される用語「中心窩集中型」は、ディスプレイ解像度が、視聴者の眼の中心窩の中央から外向きに、視聴者の眼の網膜の周縁領域へと向かう、ＨＶＳの深度知覚視力プロファイル（分布）に適合されていることを指すことを意図している。
【００４２】
なお、上記実施形態では、眼及び頭部追跡要素２１０によって示されるような視聴者の眼の中心窩の中央領域（図４ａの４０２〜４０４）に対してより高い密度のＶＰｏＬ６２０が図６ａのディスプレイ要素２０３Ｒ、２０３Ｌによって変調されるが、図６ａのディスプレイ要素２０３Ｒ、２０３Ｌは、視聴者の近視野と遠視野との間の角度的距離（これは合計おおよそ７°である）にわたって延在する角度的領域にわたって可能な最大密度のＶＰｏＬ６２０を変調できる。それにもかかわらず、上述の実施形態の深度中心窩集中型ビジュアル解凍法を適用すると、上記方法は、上で説明したようにＨＶＳの角度的及び深度知覚視力を適合させるような方法で、変調基底係数の切り捨て及び変調を行い、これにより、中心窩集中型ビジュアル解凍及び図６ａの中心窩集中型多焦点面光変調器（ディスプレイ）要素２０３Ｒ、２０３Ｌの圧縮利得を効果的に合成する。即ち、上述の例では、３２倍という中程度の圧縮利得係数を達成する中心窩集中型ビジュアル解凍を、およそ３倍の圧縮利得係数（これは６つの標準的なホロプタ表面のうち最大で２つだけを選択する場合のものであり、６つの標準的なホロプタ表面全てのＶＰｏＬ６２０の密度を中心窩に集中させてもよい）を達成する図６ａの中心窩集中型多焦点面光変調器要素２０３Ｒ、２０３Ｌと組み合わせると、この場合にニアアイ光照射野ディスプレイシステム２００によって達成できる複合的な圧縮は、同等の視聴体験を達成する、６焦点面性能を有するニアアイ光照射野ディスプレイを用いたニアアイディスプレイシステムと比較して、９６倍の利得係数に到達する。
【００４３】
図７は、図６ａの多焦点面ニアアイ光照射野ディスプレイ２００に関するコンテンツの生成を示す。この例示的な例では、シーンはカメラ７０１によって、３つの深度平面：近位平面、中間平面、及び遠位平面でキャプチャされる。なお、より多くの深度平面をカメラ７０１でキャプチャするほど、図６ａの多焦点面光照射野ニアアイディスプレイ２００における視聴者の深度知覚は良好になる。好ましくは、キャプチャ深度平面の個数は、図６ａの光照射野ニアアイディスプレイ２００が変調できる焦点面（上述の実施形態の場合では、図６ｂの６つの標準的なホロプタ表面６１５、６１８、６２５、６３０、６３５、６４０）の個数に一致するべきである。この例は、本発明の更なる態様を説明するために、３つのキャプチャ平面を使用するが、当業者であれば、本明細書に記載の方法を用いて、この例示的な例の３つのキャプチャされる深度平面よりも多数の平面を利用する、多焦点面ニアアイイメージング（これはキャプチャ及び表示を意味する）システムを実現できるだろう。この例示的な例では、キャプチャカメラに近い１つのオブジェクト７０２、及びカメラから離れた他の２つのオブジェクト７０３、７０４という３つのオブジェクトが、コンテンツシーンに配置されている。多焦点面イメージングシステムに関して、（キャプチャ）深度レイヤーに対するオブジェクトの位置に応じたオブジェクトの輝度の調整が必要となる。図７の例示的な例では、これは、画像シーンのオブジェクトの輝度をその深度値に一致させるための、フィルタリングブロック７０５、７０６、７０７で示されているような画像コンテンツの輝度の深度フィルタリングによって、達成される。例えば、最も近いオブジェクト７０２は、その全体が第１の深度レイヤーに内包されているため、この特定のレイヤー７０８内にその全輝度で図示されるが、他の２つのレイヤー７０６、７０７からは完全に除去される。中間オブジェクト７０３の場合、これは２つの深度レイヤー（中間及び遠位）の間に位置しているため、オブジェクト７０３の全輝度をレンダリングするために、その全輝度は２つのレイヤー７０６、７０７に分割される。しかしながら、知覚されるオブジェクトの輝度は、全てのレイヤー７１１の合計であるため、オブジェクトは、両深度平面７０６、７０７からの輝度寄与の加重和として、視聴者の眼において全輝度で知覚されることになる。シーンの３Ｄ知覚を実現するために、各深度レイヤー７０８、７０９、７１０は、それに対応する深度において、視聴者に対して表示され、ここで、調整された輝度はシーンのオブジェクトの深度に一致し、これにより、視聴者の深度キューが効果的に呼び起こされて、表示されたコンテンツに視聴者が焦点を合わせることができるようになる。視聴者は全てのレイヤーの組み合わせを見ることになり、これは、視聴者のＨＶＳに対する適切な焦点キューを伴う、再構成されたステレオ画像７１１をもたらす。この例示的な例の３つのキャプチャ平面の画像コンテンツを、上述のようにその相対深度情報と合わせてレンダリングすることにより、これらの平面の画像コンテンツの色及び輝度を、図６ａの多焦点面ニアアイディスプレイ２００の多焦点面上に分布させる（又はマッピングする）。このキャプチャされた画像のレンダリングプロセスの最終的な結果は、入力画像３０１のコンテンツの色及び輝度の、ニアアイ光照射野ディスプレイ２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれの中で（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置にあるそれぞれのｍ−ピクセル及び／又はＭ−ピクセルのセットによって生成された複数の「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌのペアの色及び輝度データを指定するデータセットへのマッピングである。これらの色及び輝度データセットを、ニアアイ光照射野ディスプレイ２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれで変調すると、視聴者は、変調されたＶＰｏＬ６２０のセットとして、レンダリングされた３Ｄ画像入力のコンテンツを知覚し、またこのシーンの表示された３Ｄオブジェクト７０２、７０３又は７０４のいずれに自由に焦点を合わせることができる。なお、以上の例示的な例では、３つのキャプチャ平面のみを使用したが、この場合であっても、本発明のニアアイ光照射野ディスプレイ２００は、本実施形態の上述の方法により、そのニアアイ光照射野表示能力を用い、また上述のＶＰｏＬ６２０変調方法を用いて、入力画像データ３０１を、入力画像コンテンツの表示のために、図６ｂの６つの標準的なホロプタ表面にレンダリングする。
【００４４】
図７に示されている多焦点面深度フィルタリングプロセスは、事実上、視聴者のＨＶＳに対して適切な知覚深度キューを生成する目的で、入力画像シーンのコンテンツの輝度を、関連する入力画像深度情報に従って、ディスプレイ２００の多焦点面に割り当てる（又はマッピングする）プロセスである。本発明の一実施形態では、本発明の多焦点面ニアアイ光照射野ディスプレイ２００は、局所深度フィルタリングプロセスを実施することによって、図６ａのニアアイ光照射野ディスプレイ２００（これは、上述の実施形態の場合には、図６ｂに示されているように視聴者の近視野から遠視野までのディスプレイのＦＯＶ内に位置する６つの標準的なホロプタ表面である）によって使用される全ての深度レイヤーを生成できる。図８は、この実施形態の多焦点面深度フィルタリング方法８２５を示し、これにより、レイヤースプリッタ８０２は、画像入力３０１及び関連する深度マップ８０１を処理して、画像深度平面又はレイヤーを生成し、これはキャプチャ深度平面に相当する。次に生成された各レイヤーのコンテンツに深度フィルタリング８０３を行い、入力画像３０１及び関連する入力深度マップ６０２を、表示される多焦点面画像上にマッピングする。次に画像レンダリングブロック８０４は、生成された多焦点面画像を用いて、多焦点面のＶＰｏＬ６２０をディスプレイの視聴者に対して変調したニアアイ光照射野ディスプレイ２００の、右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれの中で、（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置にあるそれぞれのｍ−ピクセル及び／又はＭ−ピクセルのセットによって生成された複数の「視覚的に対応する」光照射野アングレット６１０Ｒ、６１０Ｌのペアの、色及び輝度の値を生成する。
【００４５】
別の実施形態では、上述の実施形態のニアアイ光照射野ディスプレイ２００の標準的な光照射野ホロプタ表面６１５、６２０、６２５、６３０、６３５、６４０に関するディスプレイ画像は、キャプチャされたシーンのコンテンツの参照要素画像又はホログラフィック要素（ホーゲル）（米国公開特許第２０１５／０２０１１７６号を参照）の圧縮されたセットで構成された、入力画像３０１から生成される。本実施形態では、シーンの、光照射野カメラによってキャプチャされた要素画像又はホーゲルをまず処理して、標準的な光照射野ホロプタ多焦点表面６１５、６２０、６２５、６３０、６３５、６４０の（指定された）深度において画像のコンテンツを最も良好に又は十分に表現することに寄与する、最小数のキャプチャされた要素画像又はホーゲルのサブセットを識別する。この識別された要素画像又はホーゲルのサブセットは、本明細書では参照ホーゲルと呼ばれる。シーンのソース光照射野カメラによってキャプチャされた要素画像又はホーゲルの総数のデータサイズに対して、標準的な多焦点表面６１５、６１８、６２５、６３０、６３５、６４０の画像コンテンツを内包する、識別された上記参照ホーゲルのデータサイズは、識別された参照ホーゲルのサブセットのデータサイズをキャプチャされた要素画像又はホーゲルの総数で除算した結果に反比例する圧縮利得を示し、この圧縮利得は、４０倍を超える圧縮利得に達する場合がある。よって本実施形態では、キャプチャされた光照射野データセットは、ニアアイ光照射野ディスプレイ２００の多焦点表面の個々のセットを表すデータセットへと圧縮され、これを実施することにより、上述の実施形態の方法によって識別される標準的な光照射野ホロプタ多焦点表面６１５、６１８、６２５、６３０、６３５、６４０を、視聴者のＨＶＳの深度知覚に関する側面を適合させることによって圧縮利得を達成する光照射野の圧縮表現であるものとして反映した、圧縮利得が実現される。
【００４６】
圧縮レンダリング−図９に示されている別の実施形態では、「圧縮レンダリング（ｃｏｍｐｒｅｓｓｅｄ  ｒｅｎｄｅｒｉｎｇ）」（米国公開特許第２０１５／０２０１１７６号）を、上述の実施形態の参照ホーゲルの圧縮光照射野データセットを含む、受信した画像入力８０５に対して直接実施することによって、標準的な光照射野ホロプタ多焦点表面６１５、６１８、６２５、６３０、６３５、６４０における光照射野画像の変調のための、多焦点面ニアアイ光照射野ディスプレイ２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌによって、表示されることになる画像を抽出する。図９は、この実施形態の圧縮レンダリングプロセス８０６を示し、このプロセスでは、参照ホーゲルの圧縮光照射野データセットを含む入力光照射野データ８０５を処理して、多焦点面ニアアイ光照射野ディスプレイ２００の右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌへの入力を生成する。図９の圧縮レンダリングプロセス８０６では、上述の実施形態の参照ホーゲルの光照射野データセットを含む、受信された圧縮入力画像８０５を、まずレンダリングして、標準的な光照射野ホロプタ多焦点表面６１５、６２０、６２５、６３０、６３５、６４０において光照射野画像を抽出する。圧縮レンダリングプロセス８０６の第１のステップ８１０では、参照ホーゲル画像と、光入力８０５を含む関連する深度及びテクスチャデータとを使用して、標準的な光照射野ホロプタ多焦点表面６１５、６１８、６２５、６３０、６３５、６４０それぞれを構成するニアアイ光照射野のＶＰｏＬの色及び輝度値を合成する。参照ホーゲルは、標準的な光照射野ホロプタ多焦点表面６１５、６１８、６２５、６３０、６３５、６４０の深度情報に基づいて先験的に選択されたものであるため、ＶＰｏＬ合成プロセス８１０は、圧縮参照ホーゲル入力データ８０５からニアアイ光照射野のＶＰｏＬの色及び輝度値を抽出するために、最小限の処理スループット及びメモリしか必要としない。更に、図９に示すように、眼及び頭部追跡要素２１０によって感知された視聴者の視線方向及び焦点深度をＶＰｏＬ合成プロセス８１０で用いて、視聴者の感知された視線方向及び焦点深度に対する視聴者のＨＶＳの視力の分布プロファイルに基づいて、ＶＰｏＬ値をレンダリングする。合成されたニアアイ光照射野のＶＰｏＬ値それぞれに関連付けられるのは、視覚的に対応するアングレットのペアの方向、並びにニアアイ光照射野ディスプレイ２００の右側及び左側光照射野変調器２０３それぞれの中での上記アングレットのペアの（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置座標である。次に、抽出されたニアアイ光照射野のＶＰｏＬそれぞれに関連付けられた、視覚的に対応するアングレットのペアの色及び輝度値を、アングレット合成プロセス８１５によって、右側光照射野変調器２０３Ｒ及び左側光照射野変調器２０３Ｌそれぞれの中での（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置座標へとマッピング（変換）する。頭部及び眼追跡要素２１０によって感知された視聴者の視線方向に応じて、深度中心窩集中型ビジュアル圧縮ブロック８２０は、上述の実施形態に記載の方法を利用して、右側光照射野変調器２０３Ｒ及び左側光照���野変調器２０３Ｌそれぞれの中での（ｘ，ｙ）Ｒ及び（ｘ，ｙ）Ｌ空間位置座標に関する、生成された色及び輝度値を、視聴者のＨＶＳの視力の分布に基づいて圧縮する。本質的に、この実施形態は、上述の実施形態のうちの３つの圧縮利得、即ち：（１）光照射野データの、標準的な光照射野多焦点表面を完全に構成する最小の参照ホーゲルのセットへの圧縮に関連する利得；（２）全光照射野の、標準的な光照射野多焦点表面それぞれを構成するＶＰｏＬのセットへの圧縮に関連する利得；並びに（３）視聴者のＨＶＳの、角度、色及び深度の視力を適合させるための、変調されたＶＰｏＬの深度中心窩集中に関連する利得を組み合わせたものである。これらの圧縮利得のうちの第１のものは、ニアアイディスプレイシステム２００のインタフェース帯域幅を大幅に削減し；これらの圧縮利得のうちの第２のものは、ＶＰｏＬ及び生成された対応するアングレットに必要となる計算（処理）リソースを大幅に削減し；これらの圧縮利得のうちの第３のものは、ニアアイディスプレイ光照射野変調器２０３Ｒ、２０３Ｌのインタフェース帯域幅を大幅に削減する。なお、これらの圧縮利得の効果は、圧縮入力を、従来技術のディスプレイシステムで現在行われているように初めに解凍する必要なしに直接表示できる、ニアアイディスプレイ光照射野変調器２０３Ｒ、２０３Ｌの圧縮ディスプレイ能力によって更に増強される。
【００４７】
以上の複数の実施形態の説明により、入力帯域幅及びシステム処理リソースを削減する、ニアアイディスプレイのための画像圧縮方法が提示された。ヒト視覚システムの角視力、色視力及び深視力を目的とした、高次基底変調、動的色域、光照射野深度サンプリング、並びに画像データ語長切り捨て及び量子化を、圧縮入力ディスプレイの使用と組み合わせることにより、入力インタフェース帯域幅及び処理リソースが大幅に削減されたモバイル用途に好適なニアアイディスプレイシステムでの忠実度が高い視覚的体験が可能となる。
【００４８】
添付の請求項において及び添付の請求項によって定義される本発明の範囲から逸脱することなく、本発明のこれらの実施形態に対して、様々な修正及び変更を適用できることは、当業者には容易に理解されるだろう。本発明の上述の例は単なる例示であること、及び本発明を、本発明の精神又は本質的特徴から逸脱することなく、他の特定の形態で具現化できることを理解されたい。例えば、開示されている実施形態の様々な可能な組み合わせを用いて、上述の例示的な例で具体的に記述されていないニアアイディスプレイ設計において更なる圧縮利得を達成できる。従って、開示されている実施形態は、個別にも、又はいずれの組み合わせにおいても、いかなる意味でも制限的なものであるとみなしてはならない。本発明の範囲は、上述の説明ではなく添付の請求項によって示されており、添付の請求項の等価物の意味及び範囲内にあるあらゆる変形形態が本発明の範囲に含まれることが意図されている。
【誤訳訂正２】
【訂正対象書類名】特許請求の範囲
【訂正対象項目名】全文
【訂正方法】変更
【訂正の内容】
【特許請求の範囲】
【請求項１】
ニアアイディスプレイを形成する方法であって、
前記方法は：
少なくとも１つの対応する光学素子を用いて、少なくとも１つの画像ディスプレイ要素を、ニアアイディスプレイ視聴者の眼に、光学的に結合するステップ；
画像プロセッサ要素をエンコーダ要素に電気的に連結し、前記画像プロセッサ要素及び前記エンコーダ要素を、前記ニアアイディスプレイシステム内の、前記視聴者の眼の近傍に埋め込むこと、又は前記画像プロセッサ要素及び前記エンコーダ要素を前記視聴者の眼から離して配置し、無線若しくは有線接続によって前記エンコーダ要素を前記ニアアイディスプレイシステムに連結することによって、前記エンコーダ要素を前記画像ディスプレイ要素に連結するステップ；
前記ニアアイディスプレイ視聴者の眼の視線方向及び焦点距離を感知するために、前記ニアアイディスプレイ内の少なくとも１つの眼及び頭部追跡要素を光学的に結合するステップ；並びに
前記眼及び頭部追跡要素の出力を、前記画像プロセッサ及び前記エンコーダ要素に連結するステップ
を含み、
前記画像プロセッサ要素は、画像データを前記エンコーダ要素に提供し、前記エンコーダ要素は、圧縮画像データを前記ニアアイディスプレイ要素に提供する、方法。
【請求項２】
前記画像ディスプレイ要素は、前記画像ディスプレイ要素が前記エンコーダ要素から受信した前記圧縮画像データの画像コンテンツを、最初に前記圧縮画像データを解凍することなく、直接表示する、請求項１に記載の方法。
【請求項３】
前記エンコーダは、前記画像データを圧縮画像データフォーマットに圧縮し、
前記画像ディスプレイ要素は、前記画像ディスプレイ要素が前記エンコーダ要素から受信した前記圧縮画像データの前記画像コンテンツを、最初に前記圧縮画像データを解凍することなく、直接表示する、請求項１に記載の方法。
【請求項４】
前記圧縮画像データは、（ｎ×ｎ）の複数のピクセルを含む高次マクロのセットに関してフォーマットされ、
前記マクロの基底変調係数は、離散ウォルシュ画像変換、離散ウェーブレット画像変換、又は離散コサイン画像変換の拡張係数である、請求項３に記載の方法。
【請求項５】
前記画像ディスプレイ要素は、前記ニアアイディスプレイシステム視聴者のヒト視覚システムに前記圧縮画像データを統合させて解凍済み画像として知覚させるサブフレームレートで、前記圧縮画像データを変調する、請求項３に記載の方法。
【請求項６】
前記圧縮画像データのフォーマットは、画像フレーム又はサブフレーム色域を参照し、
前記エンコーダ要素は、前記画像フレーム又はサブフレーム色域を前記圧縮画像データフォーマット内に埋め込み、
前記画像ディスプレイ要素は、前記圧縮画像データフォーマットの前記色域を、前記圧縮画像データフォーマットのフレーム又はサブフレームレートで順に動的に調整し、前記圧縮画像データを、前記圧縮画像データフォーマットに埋め込まれた前記画像フレーム又はサブフレーム色域に関して直接変調する、請求項３に記載の方法。
【請求項７】
前記エンコーダ要素は：
前記画像データから前記基底変調係数を抽出する、ビジュアル解凍変換要素；
抽出された前記基底変調係数をまず、係数セット切り捨て基準に基づいて、抽出された変調係数のサブセットへと切り捨てる、量子化器要素であって、前記量子化器要素は更に、係数セット領域基準に基づいて、前記抽出された変調係数の選択された前記サブセットを、抽出された前記基底変調係数のサブセットの語長よりも短い語長を用いて量子化する、量子化器要素；並びに
前記抽出された基底変調係数の、切り捨て及び量子化が行われた前記サブセットを、時間多重化し、多重化された前記抽出された基底変調係数の切り捨て及び量子化が行われたサブセットを、前記圧縮画像データとして送信する、ランレングスエンコーダ要素
を備える、請求項４に記載の方法。
【請求項８】
前記係数セット切り捨て基準は、前記ニアアイディスプレイシステム視聴者の前記視覚システムの時間的知覚視力限界よりも高い周波数の時間応答を有する画像変換に関連する、前記抽出された基底変調係数を破棄する、請求項７に記載の方法。
【請求項９】
前記係数セット量子化基準は、最高周波数の時間応答を有する前記画像変換に関して、連続的に短くなる語長を選択する、請求項７に記載の方法。
【請求項１０】
前記係数セット量子化基準は更に、画像ディスプレイ要素標準色域サイズに対してフレーム又はフレーム領域色域サイズに比例する語長を、前記画像ディスプレイ要素標準色域サイズに対して伝達されるフレーム又はフレーム領域色域サイズが短くなるほど、選択された画像変換の色座標を表現するために使用される前記語長が短くなるように選択する、請求項７に記載の方法。
【請求項１１】
前記エンコーダ要素は更に：
前記眼及び頭部追跡要素によって感知された視聴者の視線方向に基づいて、前記圧縮画像データから（ｎ×ｎ）の高次マクロのセットに関する前記基底変調係数を抽出する、ビジュアル解凍変換要素；
前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向を利用して、抽出された前記基底変調係数のセットをまず、係数セット切り捨て基準に基づいて、基底変調係数のサブセットへと切り捨てる、中心窩集中型量子化器要素であって、前記中心窩集中型量子化器要素は更に、前記係数セット量子化基準に基づいて、前記基底変調係数のサブセットを、抽出された前記基底変調係数のサブセットの語長よりも短い語長を用いて量子化する、中心窩集中型量子化器要素；並びに
前記基底変調係数の、切り捨て及び量子化が行われたサブセットを、時間多重化し、多重化された前記基底変調係数の切り捨て及び量子化が行われたサブセットを、前記画像ディスプレイ要素に、前記圧縮画像データとして連結する、ランレングスエンコーダ要素
を備える、請求項４に記載の方法。
【請求項１２】
前記基底変調係数セット切り捨て基準は、前記ニアアイディスプレイシステム視聴者の前記視覚システムの時間的知覚視力限界よりも高い周波数の時間応答を有する基底変調係数に関連する、前記抽出された基底変調係数を破棄する、請求項１１に記載の方法。
【請求項１３】
前記基底変調係数セット切り捨て基準は、前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向によって決定されるような、視聴者の眼の視野の中央領域に関して、比較的多数の前記抽出された基底変調係数を選択し、前記視聴者の眼の視野の周縁領域に向かって連続的に減少する基底変調係数を選択する、請求項１１に記載の方法。
【請求項１４】
前記基底変調係数セット量子化基準は、比較的高い周波数の時間応答を有する前記基底変調係数に関して、連続的に短くなる語長を選択し、更に、前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向によって決定されるような、前記視聴者の眼の視野の前記中央領域に関する前記基底変調係数の量子化に関して、比較的長い語長を選択し、また前記視聴者の眼の視野の前記周縁領域に向かって、前記基底変調係数の量子化に関して連続的に短くなる語長を選択する、請求項１１に記載の方法。
【請求項１５】
前記基底変調係数セット切り捨て基準は、前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向によって決定されるような、前記視聴者の眼の視野の前記中央領域に関して、前記圧縮画像データの比較的高次のマクロを選択し、前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向によって決定されるような前記視聴者の眼の視野の前記周縁領域に向かって、連続的に低次になるマクロを選択する、請求項１１に記載の方法。
【請求項１６】
前記基底変調係数セット切り捨て基準は、前記ニアアイディスプレイシステム視聴者の前記ヒト視覚システムの色視力プロファイルに応じた語長を選択し、これにより、前記視聴者の眼の前記視線方向に関する前記視聴者の前記ヒト視覚システムの前記色視力プロファイルに応じて、ディスプレイ色域に基づく基底変調係数を表現するために、連続的に短くなる語長を用いる、請求項１１に記載の方法。
【請求項１７】
リフレクタ−ビームスプリッタ光学アセンブリ、自由形状光学ウェッジ、又は導波路光学部品を使用する、請求項１に記載の方法。
【請求項１８】
ニアアイ光照射野ディスプレイシステムを形成する方法であって、
前記方法は：
対応する光学素子を用いて、少なくとも１つの光照射野画像ディスプレイ要素を、ニアアイ光照射野ディスプレイ視聴者の各眼に、光学的に結合するステップ；
画像プロセッサ要素をエンコーダ要素に電気的に連結し、前記画像プロセッサ及び前記エンコーダ要素を、前記ニアアイ光照射野ディスプレイシステム内の、前記視聴者の眼の近傍に埋め込むこと、又は前記画像プロセッサ及び前記エンコーダ要素を前記視聴者の眼から離して配置し、無線若しくは有線接続によって前記エンコーダ要素を前記ニアアイ光照射野ディスプレイシステムに連結することによって、前記エンコーダ要素を前記画像ディスプレイ要素に連結するステップ；
前記ニアアイディスプレイ視聴者の各眼の視線方向及び焦点距離を感知するために、前記ニアアイ光照射野ディスプレイシステム内の少なくとも１つの眼及び頭部追跡要素を光学的に結合するステップ；並びに
前記眼及び頭部追跡要素の出力を、前記画像プロセッサ及び前記エンコーダ要素に連結するステップ
を含み、
前記画像プロセッサ要素は、光照射野画像データを前記エンコーダ要素に提供し、前記エンコーダ要素は、圧縮光照射野画像データを前記光照射野画像ディスプレイ要素に提供する、方法。
【請求項１９】
前記光照射野画像ディスプレイ要素は、
複数の視点として又は複数の焦点面サンプルとしての、前記ニアアイ光照射野ディスプレイシステム視聴者に表示されることになる光照射野のサンプルを伴う、前記ニアアイ光照射野視聴者のヒト視覚システムの各側部を、前記ニアアイ光照射野ディスプレイシステムの右側光照射野画像ディスプレイ要素及び左側光照射野画像ディスプレイ要素それぞれの複数の（ｍ×ｍ）の物理ピクセルのグループを用いて変調する、請求項１８に記載の方法。
【請求項２０】
前記光照射野のサンプルは、前記ニアアイ光照射野ディスプレイシステムの前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素によって変調され、それぞれコリメートされ、方向に関して変調された光束又はアングレットとなり、前記光束又はアングレットは、マイクロ光学素子のセットを介して、対応する光学素子に連結され、各前記マイクロ光学素子は、前記物理ピクセルそれぞれに関連付けられ、前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素の前記複数の（ｍ×ｍ）の物理ピクセルの各前記グループ内の前記マイクロ光学素子のセットそれぞれの光アパーチャを備える、請求項１９に記載の方法。
【請求項２１】
各前記物理ピクセルに関連付けられた前記マイクロ光学素子の各セット、及び前記光照射野画像ディスプレイ要素の前記複数の物理ピクセルの各グループは、前記アングレットを、コリメートし、前記アングレットのある角度的密度で方向に関して変調し、
前記角度的密度は、前記光照射野画像ディスプレイ要素の光アパーチャの中央領域において、前記光照射野画像ディスプレイ要素の周縁領域における前記アングレットの角度的密度よりも大きい、請求項２０に記載の方法。
【請求項２２】
前記光照射野画像ディスプレイ要素の前記中央領域から前記周縁領域への前記アングレットの前記角度的密度の分布は、視聴者のヒト視覚システムの視力の角度的分布に比例し、これにより、視聴者の眼の網膜中央領域には、角度的密度が最高のアングレットを光学的に結合でき、視聴者の眼の網膜周縁領域には、角度的密度が体系的に減少するアングレットを光学的に結合できる、請求項２１に記載の方法。
【請求項２３】
前記光照射野画像ディスプレイ要素の前記光アパーチャの前記中央領域には、前記ニアアイ光照射野ディスプレイシステムの前記視聴者の近視野と遠視野との間での視聴者の眼の運動を収容するために十分に広い角度を有する、角度的密度が最高の前記アングレットが提供される、請求項１８に記載の方法。
【請求項２４】
前記光照射野画像ディスプレイ要素の前記光アパーチャの前記中央領域には、前記ニアアイ光照射野ディスプレイシステムの前記視聴者の近視野と遠視野との間での視聴者の眼の運動を収容するために十分に広い角度を有する、角度的密度が最高の前記アングレットが提供され、
前記光照射野画像ディスプレイ要素は、前記光照射野の多視点サンプルのセットを前記視聴者に提示し、
前記光学素子を介して前記視聴者の眼に光学的に結合されたときの、前記光照射野画像ディスプレイ要素の前記中央光学領域における前記複数の物理ピクセルのグループの次元数は、視聴者の眼の網膜中央領域の平均空間視力に適合するスポットサイズを投影する、請求項１９に記載の方法。
【請求項２５】
前記光照射野画像ディスプレイ要素は、前記視聴者の中心窩の中央領域に対して、比較的多数の視点を変調し、前記視聴者の視野の前記周縁領域に対して体系的に減少した数の視点を変調することにより、前記視聴者の前記ヒト視覚システムの角視力及び深度知覚を適合させる、請求項１８に記載の方法。
【請求項２６】
前記光照射野画像ディスプレイ要素は、前記エンコーダ要素から受信した前記圧縮画像データの画像コンテンツを、前記圧縮画像データを最初に解凍することなく、直接表示し、
前記エンコーダ要素は、前記圧縮画像データを、前記眼及び頭部追跡要素によって提供された、前記視聴者の感知された焦点に基づいて、前記視聴者の眼が焦点を合わせる地点の近傍に提供して、前記視聴者の前記感知された焦点における前記視聴者の前記ヒト視覚システムの知覚視力に適合した最高の忠実度で変調し、その一方で、周囲領域の視覚情報を、前記視聴者の眼が焦点を合わせる地点から離れた地点における前記視聴者の前記ヒト視覚システムのより低い知覚視力に適合した忠実度レベルで変調し、これによって深度中心窩集中型ビジュアル解凍能力を提供して、前記光照射野画像ディスプレイ要素によって３次元中心窩集中型ビジュアル解凍を達成するための、前記ニアアイ光照射野ディスプレイシステムを実現する、請求項１９に記載の方法。
【請求項２７】
前記ニアアイ光照射野ディスプレイシステムは、前記ニアアイ光照射野ディスプレイシステムの右眼光照射野画像ディスプレイ要素及び左眼光照射野画像ディスプレイ要素からの、視覚的に対応するアングレットのペアを、変調することによって、視聴者にとって焦点を合わせることができる光照射野を変調し、
前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素は、前記視聴者の前記ヒト視覚システムによって、前記視覚的に対応するアングレットのペアを生成した前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素の前記物理ピクセルのグループの空間座標として決定されるような所与の深度における、前記光照射野画像ディスプレイ要素の視野内の仮想光点として知覚される、請求項１９に記載の方法。
【請求項２８】
前記ニアアイ光照射野ディスプレイシステムは、視聴者に、多焦点表面サンプルのセットを提示し、
ここで、多焦点面は、前記視聴者の近視野の深度から前記視聴者の遠視野の深度まで延在する、標準的なホロプタ表面のセットであり、
前記表面は、公称０．６ディオプターだけ離間している、請求項１８に記載の方法。
【請求項２９】
前記ニアアイ光照射野ディスプレイシステムは、前記ニアアイ光照射野ディスプレイシステムの右眼光照射野画像ディスプレイ要素及び左眼光照射野画像ディスプレイ要素からの、視覚的に対応するアングレットのペアを、変調することによって、視聴者にとって焦点を合わせることができる光照射野を変調し、
前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素は、前記視聴者の前記ヒト視覚システムによって、前記視覚的に対応するアングレットのペアを生成した前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素の前記物理ピクセルのグループの空間座標として決定されるような所与の深度における、前記光照射野画像ディスプレイ要素の視野内の仮想光点として知覚され、
前記ニアアイ光照射野ディスプレイシステムは、視聴者に、多焦点表面サンプルのセットを提示し、
ここで、多焦点表面は、前記視聴者の近視野の深度から前記視聴者の遠視野の深度まで延在する、標準的なホロプタ表面のセットであり、
前記標準的なホロプタ表面は、公称０．６ディオプターだけ離間しており、
前記ニアアイ光照射野ディスプレイシステムは、前記仮想光点を用いて、前記標準的なホロプタ表面を変調し、前記ニアアイ光照射野ディスプレイシステムによってアドレス指定可能な前記光照射野全体の仮想光点のサイズに対する、選択された前記標準的なホロプタ表面の前記仮想光点のサイズに比例した、光照射野変調圧縮利得を達成する、請求項１９に記載の方法。
【請求項３０】
前記ニアアイ光照射野ディスプレイシステムは、前記ニアアイディスプレイシステムの右眼光照射野画像ディスプレイ要素及び左眼光照射野画像ディスプレイ要素からの、視覚的に対応するアングレットのペアを、変調することによって、視聴者にとって焦点を合わせることができる光照射野を変調し、
前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素は、前記視聴者の前記ヒト視覚システムによって、前記視覚的に対応するアングレットのペアを生成した前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素の前記物理ピクセルのグループの空間座標として決定されるような所与の深度における、前記光照射野画像ディスプレイ要素の視野内の仮想光点として知覚され、
前記ニアアイ光照射野ディスプレイシステムは、視聴者に、多焦点表面サンプルのセットを提示し、
ここで、多焦点表面は、前記視聴者の近視野の深度から前記視聴者の遠視野の深度まで延在する、標準的なホロプタ表面のセットであり、
前記標準的なホロプタ表面は、公称０．６ディオプターだけ離間しており、
各前記標準的なホロプタ表面を構成する、変調された前記仮想光点の密度は、前記視聴者の前記ヒト視覚システムの、前記視聴者からの前記標準的なホロプタ表面の対応する距離における、深視力及び角視力に適合する、請求項１９に記載の方法。
【請求項３１】
前記ニアアイ光照射野ディスプレイシステムは、前記ニアアイ光照射野ディスプレイシステムの右側光照射野画像ディスプレイ要素及び左側光照射野画像ディスプレイ要素からの、視覚的に対応するアングレットのペアを、変調することによって、視聴者にとって焦点を合わせることができる光照射野を変調し、
前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素は、前記視聴者の前記ヒト視覚システムによって、前記視覚的に対応するアングレットのペアを生成した前記右側光照射野画像ディスプレイ要素及び前記左側光照射野画像ディスプレイ要素の前記物理ピクセルのグループの空間座標として決定されるような所与の深度における、前記光照射野画像ディスプレイ要素の視野内の仮想光点として知覚され、
前記ニアアイ光照射野ディスプレイシステムは、視聴者に、多焦点表面サンプルのセットを提示し、
ここで、多焦点表面は、前記視聴者の近視野の深度から前記視聴者の遠視野の深度まで延在する、標準的なホロプタ表面のセットであり、
前記標準的なホロプタ表面は、公称０．６ディオプターだけ離間しており、
前記ニアアイ光照射野ディスプレイシステムは、前記仮想光点を用いて、前記標準的なホロプタ表面を変調し、前記ニアアイ光照射野ディスプレイによってアドレス指定可能な前記光照射野全体の仮想光点のサイズに対する、選択された前記標準的なホロプタ表面の前記仮想光点のサイズに比例した、光照射野変調圧縮利得を達成することにより、複合光照射野変調利得及びビジュアル圧縮利得を実現する、請求項２６に記載の方法。
【請求項３２】
前記圧縮光照射野画像データは、（ｍ×ｍ）の複数のピクセルを含む高次マクロのセットに関してフォーマットされ、
前記マクロの基底変調係数は、離散ウォルシュ画像変換、離散ウェーブレット画像変換、又は離散コサイン画像変換の基底変調係数であり、
前記眼及び頭部追跡要素によって提供される、前記視聴者の前記感知された焦点を用いて、前記視聴者の眼が焦点を合わせる位置から０．６ディオプター未満に、前記標準的なホロプタ表面を識別し、続いて、識別された前記標準的なホロプタ表面の感知された深度における前記視聴者の前記ヒト視覚システムの視力に適合するＶＰｏＬ密度を用いて、かつ語長の切り捨てが最小の、最大数の前記基底変調係数を用いて、前記識別された標準的なホロプタ表面を変調し、
前記視聴者の眼が焦点を合わせる地点の近傍における寄与が小さな、前記標準的なホロプタ表面の残部は、より広い角度間隔で離間した、より少数のＶＰｏＬを用いて、かつこれに比例して語長の切り捨てがより大きい、より少数の前記基底変調係数を用いて、変調され、これによって深度中心窩集中型ビジュアル解凍が組み込まれる、請求項２６に記載の方法。
【請求項３３】
局所深度フィルタリングを更に実施することにより、前記標準的なホロプタ表面の全てのセットが生成され、前記セットを用いて、同一基準の深度キューを組み込んだ画像コンテンツを変調することにより、前記視聴者の前記ヒト視覚システムが、表示されたコンテンツのキャプチャ深度を知覚できるようにする、請求項２８に記載の方法。
【請求項３４】
前記光照射野画像データは、キャプチャされたシーンのコンテンツの、圧縮された参照要素画像又はホーゲルのセットで構成され、前記圧縮された参照要素画像又はホーゲルは、前記標準的な光照射野ホロプタ表面の深度における画像コンテンツの大半に寄与する、又は前記画像コンテンツを十分に表現する、最小数のキャプチャされた要素画像又はホーゲルのサブセットを識別し；前記ニアアイ光照射野ディスプレイシステムは、前記キャプチャされたシーンの前記圧縮されたホーゲルのセットから、前記標準的な光照射野ホロプタ表面に対して、ディスプレイ画像をレンダリングし、前記圧縮された参照要素画像又はホーゲルは、前記標準的な光照射野ホロプタ表面の前記深度における前記画像コンテンツの大半に寄与する、又は前記画像コンテンツを十分に表現する、前記最小数のキャプチャされたホーゲルの前記サブセットを識別し；これにより、識別された参照ホーゲルのサブセットのデータサイズを前記キャプチャされた要素画像又はホーゲルの総数で除算した結果に反比例する、圧縮利得を実現する、請求項２８に記載の方法。
【請求項３５】
圧縮レンダリングを、前記圧縮された参照ホーゲルのセットに対して直接使用して、前記標準的なホロプタ表面において前記ディスプレイ画像を変調するために、前記右側画像ディスプレイ要素及び前記左側画像ディスプレイ要素によって表示されることになる前記画像コンテンツを抽出する、請求項３４に記載の方法。
【請求項３６】
リフレクタ−ビームスプリッタ光学アセンブリ、自由形状光学ウェッジ、又は導波路光学部品を使用する、請求項１８に記載の方法。
【請求項３７】
ニアアイディスプレイシステムであって、
前記ニアアイディスプレイシステムは：
前記ニアアイディスプレイシステムの視聴者の眼を少なくとも１つの対応する光学素子に光学的に結合するための、少なくとも１つの画像ディスプレイ要素；
前記ニアアイディスプレイ視聴者の視線方向及び焦点距離を感知するために光学的に結合される、少なくとも１つの眼及び頭部追跡要素
を備え、
前記画像ディスプレイ要素は、エンコーダ要素から画像データを受信するために電気的に連結され、前記エンコーダ要素は、画像プロセッサ要素から画像入力データを受信するために電気的に連結され、
前記エンコーダ及び前記プロセッサは、前記視聴者の眼の近傍に埋め込まれるか、又は前記視聴者の眼から離して配置されて、無線若しくは有線接続によって前記ニアアイディスプレイシステムアセンブリに接続され、
前記眼及び頭部追跡要素は、感知したデータを前記画像プロセッサ及び前記エンコーダ要素に転送するために、電気的に連結される、ニアアイディスプレイシステム。
【請求項３８】
前記画像ディスプレイ要素は、前記エンコーダ要素から圧縮画像データを受信し、前記画像データを最初に解凍することなく、画像を直接表示する、請求項３７に記載のシステム。
【請求項３９】
前記エンコーダ要素は：
複数の（ｎ×ｎ）のピクセルを含む高次ディスプレイマクロのセットに関する基底変調係数を抽出するための、ビジュアル解凍変換要素であって、前記ディスプレイマクロの前記変調係数は、前記入力画像データからのウォルシュ画像変換、離散ウェーブレット画像変換、又は離散コサイン画像変換の拡張係数である、ビジュアル解凍変換要素；
抽出された前記基底変調係数をまず、基底変調係数セット切り捨て基準に基づいて、基底変調係数のサブセットへと切り捨てる、量子化器要素であって、前記量子化器要素は更に、前記基底変調係数セット量子化基準に基づいて、選択された前記基底変調係数のサブセットを、抽出された前記基底変調係数のサブセットの語長よりも短い語長を用いて量子化する、中心窩集中型量子化器要素；並びに
前記基底変調係数の、切り捨て及び量子化が行われたサブセットを、時間多重化し、多重化された前記基底変調係数の切り捨て及び量子化が行われたサブセットを、前記画像ディスプレイ要素に送信する、ランレングスエンコーダ要素
を備える、請求項３７に記載のシステム。
【請求項４０】
前記エンコーダ要素は：
前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向に基づいて、前記入力画像データから、（ｎ×ｎ）次マクロのセットに関する基底変調係数を抽出する、視角解凍変換要素；
前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向を用いて、抽出された前記基底変調係数のセットをまず、基底変調係数セット切り捨て基準に基づいて、選択された基底変調係数のサブセットへと切り捨てる、中心窩集中型量子化器要素であって、前記量子化器要素は更に、前記基底変調係数セット量子化基準に基づいて、選択された前記変調値のサブセットを、抽出された前記基底変調係数のサブセットの語長よりも短い語長を用いて量子化する、中心窩集中型量子化器要素；並びに
前記基底変調係数の、切り捨て及び量子化が行われたサブセットを、時分割多重化し、多重化されたデータセットを前記画像ディスプレイ要素に連結する、ランレングスエンコーダ要素
を更に備える、請求項３７に記載のシステム。
【請求項４１】
ニアアイ光照射野ディスプレイシステムであって、
前記ニア光照射野アイディスプレイシステムは：
前記ニアアイディスプレイシステムの視聴者の眼を少なくとも１つの対応する光学素子に光学的に結合するための、少なくとも１つの画像ディスプレイ要素；
前記ニアアイ光照射野ディスプレイ視聴者の視線方向及び焦点距離を感知するために光学的に結合される、少なくとも１つの眼及び頭部追跡要素
を備え、
前記画像ディスプレイ要素は、エンコーダ要素から画像データを受信するために電気的に連結され、前記エンコーダ要素は、画像プロセッサ要素から画像入力データを受信するために電気的に連結され、
前記エンコーダ及び前記プロセッサは、前記視聴者の眼の近傍に埋め込まれるか、又は前記視聴者の眼から離して配置されて、無線若しくは有線接続によって前記ニアアイディスプレイシステムアセンブリに接続され、
前記眼及び頭部追跡要素は、感知したデータを前記画像プロセッサ及び前記エンコーダ要素に転送するために、電気的に連結される、ニアアイディスプレイシステム。
【請求項４２】
前記画像ディスプレイ要素の個数は２個、即ち左側画像ディスプレイ要素及び右側画像ディスプレイ要素であり、前記光学素子の個数は２個である、請求項４１に記載のシステム。
【請求項４３】
前記画像ディスプレイ要素は、前記ニアアイ光照射野ディスプレイシステムの前記右側画像ディスプレイ要素及び前記左側画像ディスプレイ要素それぞれの複数の（ｍ×ｍ）の物理ピクセルのグループを用いて、前記視聴者のヒト視覚システムの両側に対して、視聴者に対して表示されることになる光照射野の複数のサンプルを、多視点又は多焦点面サンプルとして変調する、請求項４２に記載のシステム。
【請求項４４】
前記ニアアイ光照射野ディスプレイシステムの前記右側画像ディスプレイ要素及び前記左側画像ディスプレイ要素によって変調される前記光照射野サンプルはそれぞれ、コリメートされ、方向に関して変調された光束又は光照射野アングレットであり、前記光束又は前記光照射野アングレットは、光アパーチャを形成する各ピクセルと、前記画像ディスプレイ要素の前記複数の（ｍ×ｍ）の物理ピクセルのグループとに関連付けられた、マイクロ光学素子のセットを介して、対応する前記光学素子に結合される、請求項４３に記載のシステム。
【請求項４５】
各前記ピクセルと、前記画像ディスプレイ要素の前記複数の（ｍ×ｍ）の物理ピクセルのグループとに関連付けられた前記マイクロ光学素子のセットは、前記光照射野アングレットを、前記画像ディスプレイ要素の周縁領域内の光照射野アングレットの角度的密度よりも前記画像ディスプレイ要素の前記光アパーチャの中央領域において高くなる光照射野アングレットの角度的密度で、コリメートして方向に関して変調する、請求項４４に記載のシステム。
【請求項４６】
前記画像ディスプレイ要素は、前記視聴者の中心窩の中央領域に対してより多数の視点を変調し、前記視聴者の視野の周縁領域に対して体系的に減少した個数の視野を変調することによって、前記視聴者の前記ヒト視覚システムの角視力及び深度知覚に適合する、請求項４２に記載のシステム。
【請求項４７】
前記エンコーダは：
前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向に基づいて、前記入力画像データから、（ｎ×ｎ）次マクロのセットに関する基底変調係数を抽出する、視角解凍変換要素；
前記眼及び頭部追跡要素によって感知された前記視聴者の視線方向及び焦点を用いて、抽出された前記基底変調係数のセットをまず、基底変調係数セット切り捨て基準に基づいて、選択された基底変調係数のサブセットへと切り捨てる、中心窩集中型量子化器要素であって、前記量子化器要素は更に、前記基底変調係数セット量子化基準に基づいて、選択された前記変調値のサブセットを、抽出された前記基底変調係数のサブセットの語長よりも短い語長を用いて量子化する、中心窩集中型量子化器要素；並びに
前記基底変調係数の、切り捨て及び量子化が行われたサブセットを、時分割多重化し、多重化されたデータセットを前記画像ディスプレイ要素に連結する、ランレングスエンコーダ要素
を更に備え、
前記視聴者の眼が焦点を合わせる位置に基づいて、３次元中心窩集中型ビジュアル解凍が得られる、請求項４２に記載のシステム。
【請求項４８】
前記画像ディスプレイ要素は、多焦点面サンプルのセットを前記視聴者に提示し、ここで前記多焦点面は、前記視聴者の近視野から遠視野深度まで延在し、かつ公称でおよそ０．６ディオプターだけ離間した、標準的なホロプタ表面のセットからなる、請求項４２に記載のシステム。
【請求項４９】
各前記光学素子は、リフレクタ−ビームスプリッタ光学アセンブリ、自由形状光学ウェッジ、又は導波路光学部品を含む、請求項４２に記載のシステム。
【誤訳訂正３】
【訂正対象書類名】図面
【訂正対象項目名】全図
【訂正方法】変更
【訂正の内容】
【図１ａ】
2020512735.tif 000020
【図１ｂ】
2020512735.tif 000021
【図２ａ】
2020512735.tif 000022
【図２ｂ】
2020512735.tif 000023
【図３ａ】
2020512735.tif 000024
【図３ｂ】
2020512735.tif 000025
【図３ｃ】
2020512735.tif 000026
【図４ａ】
2020512735.tif 000027
【図４ｂ】
2020512735.tif 000028
【図４ｃ】
2020512735.tif 000029
【図５ａ】
2020512735.tif 000030
【図５ｂ】
2020512735.tif 000031
【図６ａ】
2020512735.tif 000032
【図６ｂ】
2020512735.tif 000033
【図７】
2020512735.tif 000034
【図８】
2020512735.tif 000035
【図９】
2020512735.tif 000036
【国際調査報告】
2020512735.tif 000037
2020512735.tif 000038
2020512735.tif 000039