(57)【特許請求の範囲】
【請求項１】
ライトフィールド・イメージングシステムのための方法であって、
圧縮ライトフィールドデータを提供するために、ライトフィールドからライトフィールドデータを圧縮取り込みすることと、
ライトフィールド・ディスプレイシステムにおいて、前記圧縮ライトフィールドデータから前記ライトフィールドを再構成および表示することと、
を含み、
前記ライトフィールドデータの前記圧縮取り込みは、前記ライトフィールドデータの圧縮レンダリングと、前記圧縮レンダリングされたライトフィールドデータの、前記ライトフィールド・ディスプレイシステムの能力に適合したディスプレイ適合符号化と、を含み、
前記圧縮レンダリングは、３Ｄシーンを表現する参照ホーゲルを選択するための、３Ｄシーンデータの分析、及び前記参照ホーゲルのレンダリングを含み、
前記圧縮ライトフィールドデータを前記ライトフィールド・ディスプレイシステムに伝送する前に、前記圧縮ライトフィールドデータを展開することなく、前記ライトフィールド・ディスプレイシステムにおいて、前記圧縮ライトフィールドデータの前記ディスプレイ適合符号化されたデータから直接、前記ライトフィールドを再構成することと
を含む方法。
【請求項２】
シーンの選択されたビューのテクスチャおよび／または奥行きを得るために、コンピュータ生成画像をレンダリングすることをさらに含む、請求項１に記載の方法。
【請求項３】
シーンの選択されたビューのテクスチャおよび／または奥行きを得るために、複数の取り込み方法または複数のカメラを用いて前記ライトフィールドデータを取り込む、請求項１に記載の方法。
【請求項４】
拡張現実アプリケーションにおいて、コンピュータ生成画像を、１つ以上の現実世界を撮ったライトフィールドと共に用いる、請求項１に記載の方法。
【請求項５】
３Ｄ画像の鑑賞のために前記ライトフィールドを表示可能なディスプレイに対して、前記圧縮ライトフィールドデータをビットストリーム形式で伝送することをさらに含む、請求項１に記載の方法。
【請求項６】
メガネを使用することなく観視可能な３Ｄ画像を表示するために前記ライトフィールドを表示可能なディスプレイに対して、前記圧縮ライトフィールドデータをビットストリーム形式で伝送することをさらに含む、請求項１に記載の方法。
【請求項７】
前記ライトフィールドをさらに処理することなく表示可能なディスプレイに対して、前記圧縮ライトフィールドデータをビットストリーム形式で伝送することをさらに含む、請求項１に記載の方法。
【請求項８】
前記ライトフィールドを再構成および表示する前に、前記圧縮ライトフィールドデータをビットストリーム形式で記憶媒体に保存することさらに含む、請求項１に記載の方法。
【請求項９】
前記圧縮取り込みは、前記参照ホーゲルの視差マップを生成することと、前記参照ホーゲルのテクスチャと視差マップから目的ホーゲルを合成することと、をさらに含む、請求項１に記載の方法。
【請求項１０】
マルチ参照奥行き画像ベースレンダリングを用いて、前記目的ホーゲルを合成する、請求項９に記載の方法。
【請求項１１】
複数の参照ホーゲルを選択することをさらに含む、請求項１０に記載の方法。
【請求項１２】
前記選択された参照ホーゲルの視差マップのフォワードワーピングをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記フォワードワーピングされた視差マップのフィルタリングをさらに含む、請求項１２に記載の方法。
【請求項１４】
前記フォワードワーピングされた視差マップを、単一の視差マップにマージすることをさらに含む、請求項１３に記載の方法。
【請求項１５】
前記マージされた視差マップに従った、テクスチャのバックワードワーピングをさらに含む、請求項１４に記載の方法。
【請求項１６】
テクスチャの前記バックワードワーピングにおいて、フラクショナルピクセルシフトを用いる、請求項１５に記載の方法。
【請求項１７】
前記圧縮取り込みにおいて、前記ライトフィールド・ディスプレイシステムの解像度よりも高い解像度を用いて、参照ホーゲルを取り込みおよび使用することをさらに含む、請求項１５に記載の方法。
【請求項１８】
前記バックワードワーピングの後のホールフィリングをさらに含む、請求項１５に記載の方法。
【請求項１９】
前記３Ｄシーンを表現する参照ホーゲルを選択するための３Ｄシーンデータの分析は、前記圧縮レンダリングにおいてレンダリングされる参照ホーゲルを選択するためのビジビリティテストを含む、請求項１に記載の方法。
【請求項２０】
参照ホーゲルのより大きなセットから参照ホーゲルのサブセットを選択することをさらに含む、請求項１９に記載の方法。
【請求項２１】
参照ホーゲルの初期セットを選択することと、参照ホーゲルの前記初期セットの視錐台によって前記３Ｄシーンのオブジェクトをより良く表現するためのさらなる参照ホーゲルを追加することと、をさらに含む、請求項１９に記載の方法。
【請求項２２】
前記３Ｄシーンデータから前記ビジビリティテストのための情報を抽出するために、前記ビジビリティテストの前に、３Ｄシーンデータを前処理することをさらに含む、請求項１９に記載の方法。
【請求項２３】
前記前処理では、コンピュータグラフィックス方法によって取り込んだコンピュータ生成シーンを利用する、請求項２２に記載の方法。
【請求項２４】
前記前処理で、１つ以上のカメラまたはカメラタイプで取り込んだ現実世界またはライブシーンを利用することをさらに含む、請求項２２に記載の方法。
【請求項２５】
解像不可能なフィーチャを回避するための、前記レンダリングされた参照ホーゲルのローパスフィルタリングをさらに含む、請求項１に記載の方法。
【請求項２６】
前記参照ホーゲルのピクセルごとの奥行きを取得することをさらに含む、請求項１に記載の方法。
【請求項２７】
前記参照ホーゲルのレンダリングの後に、ピクセルごとの奥行きを視差に変換することと、前記奥行きの視差への変換の間に前記視差の情報を量子化することと、をさらに含む、請求項２６に記載の方法
【請求項２８】
前記ライトフィールドを復号化および表示するための前記ライトフィールド・ディスプレイシステムに伝送するためのビットストリームを生成するために、エンコーダによって、前記圧縮ライトフィールドデータをフォーマットすることをさらに含む、請求項１に記載の方法。
【請求項２９】
前記ビットストリームを、前記ライトフィールド・ディスプレイシステムに適合させる、請求項２８に記載の方法。
【請求項３０】
前記圧縮取り込みにおいてそれぞれ独立に符号化するとともに前記ライトフィールド・ディスプレイシステムにおいてそれぞれ独立に復号化するための、ホーゲルのＮ×Ｎブロックに、前記ライトフィールドを分割することをさらに含む、請求項２９に記載の方法。
【請求項３１】
ホーゲルのＮ×Ｎブロックごとに、符号化するための１つ以上のシードホーゲルを選択することと、前記シードホーゲルと対比して残差ホーゲルを符号化することと、をさらに含む、請求項３０に記載の方法。
【請求項３２】
前記符号化は、前記シードホーゲルおよび残差ホーゲルのテクスチャ符号化を含む、請求項３１に記載の方法。
【請求項３３】
複数のシードホーゲルのテクスチャおよび視差マップを用いて、前記残差ホーゲルの予測を合成することをさらに含む、請求項３２に記載の方法。
【請求項３４】
前記符号化は、前記シードホーゲルおよび残差ホーゲルの視差符号化を含む、請求項３１に記載の方法。
【請求項３５】
ビット割り当てアルゴリズムを用いて、前記シードホーゲルおよび残差ホーゲルを符号化することをさらに含む、請求項３１に記載の方法。
【請求項３６】
前記ライトフィールド・ディスプレイシステムにおいて、前記ビット割り当てアルゴリズムに相補的である復号化アルゴリズムを用いて、前記シードホーゲルおよび残差ホーゲルを復号化することをさらに含む、請求項３５に記載の方法。
【請求項３７】
前記ライトフィールド・ディスプレイシステムにおいて、複数の復号化ユニットを用いたマルチプロセッシング技術によって、すべてのシードホーゲルおよび残差ホーゲルを並列復号化することをさらに含む、請求項３６に記載の方法。
【請求項３８】
複数の復号化ユニットに配分されるビット割り当てをパケット化することをさらに含む、請求項３７に記載の方法。
【請求項３９】
前記ライトフィールドデータの階層的な圧縮取り込みを実行することと、前記ライトフィールド・ディスプレイシステムにおいて階層的な展開を実行することと、をさらに含む、請求項１に記載の方法。
【請求項４０】
時間相関を用いて、動的ライトフィールドを圧縮取り込みすることをさらに含む、請求項１に記載の方法。
【請求項４１】
前記ライトフィールドデータの圧縮取り込みにおいて、動き推定を用いることをさらに含む、請求項４０に記載の方法。
【請求項４２】
前記圧縮取り込みでは、奥行きまたは視差画像ベースレンダリングを使用し、当該方法は、前記奥行きまたは視差画像ベースレンダリングに使用されるハードウェアおよび／またはソフトウェアを、動き推定および動き補償の両方を実行するために再利用することをさらに含む、請求項４１に記載の方法。
【請求項４３】
前記ライトフィールド・ディスプレイシステムのライトフィールドエミッタの回転および並進移動によって、前記圧縮ライトフィールドデータを時間多重化することをさらに含む、請求項１に記載の方法。
【請求項４４】
前記圧縮ライトフィールドデータを、空間的または角度的に編成された、より小さなサブセットに、時間多重化することをさらに含む、請求項４３に記載の方法。
【請求項４５】
所定の相関量を有するサブセットを生成することをさらに含む、請求項４４に記載の方法。
【請求項４６】
前記圧縮ライトフィールドデータの時間多重化された再構成によって、表示ピクセル、メモリ、および圧縮ライトフィールドデータを再利用することをさらに含み、これにより、前記ライトフィールド・ディスプレイシステムの視野を拡大させる、請求項４３に記載の方法。
【請求項４７】
前記時間多重化することは、前記圧縮ライトフィールドデータをホーゲル変調群に自然に分割する多重化セグメントを生成することをさらに含む、請求項４３に記載の方法。
【請求項４８】
インタフェース帯域幅の適応割り当てをさらに含み、前記ディスプレイ適合符号化の圧縮アルゴリズムによる時間多重化は、前記インタフェース帯域幅の適応割り当てを伴う、請求項４７に記載の方法。
【請求項４９】
圧縮レンダリングとディスプレイ適合符号化の並列実装のために使用されるホーゲル群に、前記圧縮ライトフィールドデータを分割することをさらに含む、請求項４３に記載の方法。
【請求項５０】
ライトフィールド・イメージングシステムのための方法であって、
圧縮ライトフィールドデータを提供するために、ライトフィールドからライトフィールドデータを圧縮取り込みすることであって、該圧縮取り込みは、前記ライトフィールドデータの圧縮レンダリングと、前記レンダリングされたライトフィールドデータの、ライトフィールド・ディスプレイシステムの能力に適合させたディスプレイ適合符号化と、を含み、さらに該圧縮取り込みは、３Ｄシーンを表現する参照ホーゲルを選択するための３Ｄシーンデータの分析、及び前記参照ホーゲルのレンダリングを含んで、ライトフィールドデータを圧縮取り込みすることと、
前記レンダリングされたライトフィールドデータの前記ディスプレイ適合符号化されたデータから、前記ライトフィールド・ディスプレイシステムにおいて、前記ライトフィールドを再構成および表示することと、を含む方法。
【請求項５１】
前記圧縮取り込みは、前記参照ホーゲルから目的ホーゲルを合成することをさらに含む、請求項５０に記載の方法。
【請求項５２】
マルチ参照奥行き画像ベースレンダリングを用いて、前記目的ホーゲルを合成する、請求項５１に記載の方法。
【請求項５３】
前記参照ホーゲルのピクセルごとの奥行きを取得することをさらに含む、請求項５０に記載の方法。
【請求項５４】
前記参照ホーゲルのレンダリングの後に、ピクセルごとの奥行きを視差に変換することと、前記奥行きの視差への変換の間に前記視差を量子化することと、をさらに含む、請求項５３に記載の方法。
【請求項５５】
前記選択された参照ホーゲルを、前記ライトフィールド・ディスプレイシステムの解像度よりも高い解像度で取り込む、請求項５０に記載の方法。
【請求項５６】
前記圧縮取り込みにおいてそれぞれ独立に符号化するとともに前記ライトフィールド・ディスプレイシステムにおいてそれぞれ独立に復号化するための、ホーゲルのＮ×Ｎブロックに、前記ライトフィールドデータを分割することをさらに含む、請求項５０に記載の方法。
【請求項５７】
ホーゲルのＮ×Ｎブロックごとに、符号化するための１つ以上のシードホーゲルを選択することと、前記シードホーゲルと対比して残差ホーゲルを符号化することと、をさらに含む、請求項５６に記載の方法。
【請求項５８】
前記符号化は、前記シードホーゲルおよび残差ホーゲルのテクスチャ符号化を含む、請求項５７に記載の方法。
【請求項５９】
前記符号化は、前記シードホーゲルおよび残差ホーゲルの視差符号化を含む、請求項５７に記載の方法。
【請求項６０】
前記ライトフィールド・ディスプレイシステムにおいて、複数の復号化ユニットを用いたマルチプロセッシング技術を用いて、すべてのシードホーゲルおよび残差ホーゲルを並列復号化することをさらに含む、請求項５９に記載の方法。
【請求項６１】
前記ライトフィールドデータの階層的な圧縮取り込みを実行することと、前記ライトフィールド・ディスプレイシステムにおいて前記圧縮ライトフィールドデータの階層的な展開を実行することと、をさらに含む、請求項５０に記載の方法。
【請求項６２】
時間相関を利用することにより、動的ライトフィールドを圧縮取り込みすることをさらに含む、請求項５０に記載の方法。
【請求項６３】
前記ライトフィールドデータの圧縮取り込みにおける動き推定をさらに含む、請求項６２に記載の方法。
【請求項６４】
前記圧縮取り込みでは、奥行きまたは視差画像ベースレンダリングを使用し、当該方法は、前記奥行きまたは視差画像ベースレンダリングに使用されるハードウェアおよび／またはソフトウェアを、動き推定および動き補償の両方を実行するために再利用することをさらに含む、請求項６３に記載の方法。
【請求項６５】
前記ライトフィールド・ディスプレイシステムのライトフィールドエミッタの回転および／または並進移動によって、前記圧縮ライトフィールドデータを時間多重化することをさらに含む、請求項５０に記載の方法。
【請求項６６】
前記圧縮取り込みにおける圧縮レンダリングとディスプレイ適合符号化の並列実装のために使用されるホーゲル変調群に、前記圧縮ライトフィールドデータを分割することをさらに含む、請求項５０に記載の方法。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１４年１月１０日に出願された米国仮特許出願第６１／９２６，０６９号の利益を主張するものである。
【技術分野】
【０００２】
本発明は、広くは、画像およびビデオの圧縮に関し、より具体的には、ライトフィールド３Ｄイメージングシステムの入力として用いられるライトフィールド画像データの圧縮に関するものである。
【背景技術】
【０００３】
［概観］
人間の視覚システムにおける奥行き知覚は、いくつかの奥行き手がかりに頼るものである。それらの手がかりは、心理的奥行き手がかり（遠近法、陰影、明暗、相対的大きさ、遮蔽、きめの勾配、など）と、生理的奥行き手がかり（輻輳、焦点調節、運動視差、両眼視差、など）に分類することができる。心理的奥行き手がかりは、ライトフィールドにおける奥行きの相対的把握を提供するのに対し、生理的奥行き手がかりは、絶対的奥行き情報を提供する。市販の３Ｄディスプレイは、観視体験を向上させるために、生理的奥行き手がかりのサブセットを用いている。
【０００４】
メガネ式３Ｄディスプレイは、あらゆる主要テレビメーカによってメガネ式３Ｄテレビが導入されて以来、人気を得ている。現在利用できる技術の最大の欠点は、アクティブ型またはパッシブ型のいずれかに分類できる３Ｄメガネを使用することであると認識されている。一般に、メガネを利用した技術は、観視者が長時間使用するには使い心地が悪く、また、度付きメガネを必要とする人には難題を伴う。
【０００５】
裸眼立体ディスプレイは、メガネを必要とすることなく３Ｄ効果を生み出すために、ディスプレイ面に装着された（視差バリアまたはレンチキュラシートのような）方向変調器を用いている。市販の裸眼立体ディスプレイは、典型的には、観視者に対して３Ｄ情報を表示するために水平視差を用いている。このディスプレイ技術の主な問題は、視野角が制限され、また、１ビューあたりの解像度が制限されて、結果的に、より低品質の３Ｄ画像が得られることである。さらには、視野角内で、ユーザは自身の頭を垂直に保たなければならず、さもなければ３Ｄ効果は消滅する。
【０００６】
メガネ式３Ｄディスプレイと、水平視差のみによるライトフィールドディスプレイでは、どちらも、一般的に、長時間観視によって、輻輳調節矛盾（ＶＡＣ）（非特許文献１０［２７］）として知られる生理的効果に起因する不快感が生じ、これは、眼の焦点はディスプレイ面に合わせられる一方、異なる奥行きで表示されるオブジェクトを知覚するには、視線はディスプレイ面から外す必要があるためである。
【０００７】
より自然な３Ｄ効果は、フルパララックス３Ｄディスプレイ技術によって実現される。この技術は、水平視差に加えて、さらに垂直視差を有し、これにより、観視者が垂直に動くと、３Ｄシーンの異なるビューが表示される。フルパララックスディスプレイは、一般に、水平視差のみによるディスプレイと比較して、１桁以上多いビューを有する。それらのビューを密に配置することによって、極めて自然な３Ｄ画像を生成し、それは、ユーザが自身の頭を動かしたり傾けたりすることによって変化することなく、また、正確な焦点調節および輻輳による手がかりを提供することによって、ＶＡＣも解消される。輻輳調節矛盾を解消した３Ｄディスプレイは、一般に、ＶＡＣフリー３Ｄディスプレイと呼ばれる。
【０００８】
このようなフルパララックス３Ｄディスプレイに関連した主な課題は、広視野角でのフルパララックス３Ｄ画像のレンダリングで要求される変調画像の解像度の増加によって、ディスプレイシステムにとっての新たな障害が、すなわち、画像データ量のかなりの増加が生じることである。ＶＡＣフリー・フルパララックス・ライトフィールドディスプレイのための画像データの生成、収集、伝送、および変調（または表示）では、数十テラビット毎秒（Ｔｂｐｓ）のデータレートが要求される。入力画像の高速検査によって、ホログラフィック要素または「ホーゲル」として知られるライトフィールドデータ要素の間の十分な固有の相関を明らかにし、この種のデータを処理するための圧縮アルゴリズムが先行技術（非特許文献１４［３１］）で提案されている。しかしながら、当業者であれば理解できるように、先行技術に記載されている圧縮方法のうちの限られたもののみ、リアルタイムで実現することができ、また、それらの方法の中に、フルパララックスＶＡＣフリー・ディスプレイをリアルタイムで駆動するために要求されるデータ量をレンダリングおよび／または圧縮できるものはない。例えば、最先端のビデオ圧縮フォーマットであるＨ．２６４／ＡＶＣは、約３Ｇｂｐｓのデータビットレートで超高解像度ビデオフレーム（４，０９６×２，３０４＠５６．３、または０．５ギガピクセル毎秒（ＧＰ／ｓ））の圧縮を処理することができる（非特許文献１１［２８］）。Ｈ２６４／ＡＶＣは、ライトフィールド画像データの伝送に必要とされる十分な量の圧縮を達成できないことになり、ライトフィールドが、６０Ｈｚのビデオレートで、リアルタイムでリフレッシュされる場合には、データレートが最大８６Ｔｂｐｓに達することがあり、はるかに足りないことになる。
【０００９】
現在の圧縮規格は、フルパララックス・ライトフィールド画像において水平方向と垂直方向の両方に見られる高相関を利用していない。３Ｄディスプレイを対象とした新たな圧縮規格が開発されている。しかしながら、それらは、水平視差のみの、限られた数のビューを対象としたものであり、また、通常、必要となるメモリおよび計算資源の量が増加する。圧縮アルゴリズムは、品質、圧縮率、計算負荷のバランスを取るものでなければならない。一般的に、エンコーダでの圧縮率が高いほど、計算負荷は増大し、リアルタイム実現は非常に難しくなる。高圧縮と、計算負荷の低減と、その両方が要求される場合は、品質を犠牲にする。高品質と、高圧縮率と、比較的低い計算負荷と、を同時に得ることができる圧縮ソリューションは、極めて望ましい。
【００１０】
従って、本発明の目的は、先行技術の欠点を解消するライトフィールド圧縮方法を紹介することであり、これにより、符号化および復号化の両方におけるデータレート、処理要件、さらにはイメージングシステム全体での電力消費を低減させるために、様々な圧縮ライトフィールド・イメージングシステムにおいて、本発明の圧縮方法を用いたＶＡＣフリー・フルパララックス３Ｄディスプレイの構築を実現可能とする。本発明のさらなる目的および効果は、添付の図面を参照して進める、その好適な実施形態についての以下の詳細な説明から明らかになるであろう。
【００１１】
［先行技術］
大きなデータの伝送は、圧縮データフォーマットを用いることによって軽減することができる。従来のライトフィールドシステムでは、まず最初にライトフィールド全体を取り込んだ後に、それを、通常の画像／ビデオ圧縮アルゴリズムまたはライトフィールド専用エンコーダのいずれかを用いて圧縮する。圧縮データは、伝送、保存するか、または表示用に再調整することができ、その場合は、それを展開および変調する（ライトフィールド圧縮システムの例は、特許文献３［３］または特許文献４［４］に記載されている）。
【００１２】
ライトフィールドは、マルチビュー圧縮（ＭＶＣ）規格（非特許文献１［１８］）を用いて圧縮することができる。ホーゲルは、マルチビューシーケンスのフレームと解釈することができ、画像間の視差が、推定および符号化される。ブロックベースの視差推定では、ブロックベースのエンコーダで符号化される誤差が発生し、その圧縮性能は、画像の数に伴って直線的に向上する。
【００１３】
マルチビュー符号化を改善するために、新たな符号化規格では、コンピュータビジョンの分野からの技術の採用を検討している（非特許文献２［１９］）。ピクセルごとの奥行きを用いて、参照画像を新たなビューに投影することができ、コストをかけて新たな画像を伝送する代わりに、その合成画像を用いることができる。この技術は、デコーダ側で必要となる計算資源およびローカルメモリの量が増加し、そのリアルタイム実現が難題となる。また、圧縮ツールは、水平方向のみのマルチビューシーケンスでの使用を対象としており、インテグラルイメージの幾何学的配置は利用していない。
【００１４】
ライトフィールド画像圧縮専用に開発された方法として、Ｌｅｖｏｙ等によるベクトル量子化法（非特許文献３［２０］）、およびＭａｇｎｏｒ等によるビデオ圧縮ベースの方法（非特許文献４［２１］）、が挙げられる。ベクトル量子化は、その使用が限定され、また、Ｇｉｒｏｄによって提示されたもののような高い圧縮性能を達成することはできない。Ｇｉｒｏｄの方法は、マルチビュー圧縮アルゴリズムに類似しており、視差推定に、画像の幾何学的規則性を利用する。しかしながら、この方法は、必要となるローカルメモリの量が増加し、また、リアルタイム実現に適していない。
【００１５】
データ圧縮の問題とともに、さらにデータ収集の問題もある。符号化のためのライトフィールド全体の生成は、大きな処理スループットおよびメモリを必要とし、多くのサンプルが圧縮段階で破棄されることがある。圧縮センシング（ＣＳ）と呼ばれる最近開発された技術は、この問題に対処するものである。圧縮センシングの根底にある原理は、いくつかの変換ドメイン内の高圧縮可能な（または同義で、疎である）信号は、インコヒーレントな基底を用いて、最小限のサンプリングをすることが可能であり、それでも依然として許容品質での再構成が可能であるということである（非特許文献５［２２］，非特許文献６［２３］）。この新たな枠組みによって、その複雑さは、収集プロセスから再構成プロセスに移行し、これによって結果的に、デコーダがより複雑となる。この傾向は、計算能力をディスプレイ装置に直接与えるコンピュテーショナルディスプレイの傾向と合致している。また、計算能力を有するとともに、圧縮データを直接処理することが可能なディスプレイは、コンプレッシブディスプレイとしても知られている（非特許文献８，９［２５，２６］および特許文献２０，２１［３４，３５］）。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】米国特許出願公開第２００９／００８６１７０号明細書（「Ｑｕａｎｔｕｍ  Ｐｈｏｔｏｎｉｃ  Ｉｍａｇｅｒｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｏｆ  Ｆａｂｒｉｃａｔｉｏｎ  Ｔｈｅｒｅｏｆ」２００９年４月２日公開）［１］
【特許文献２】米国特許出願公開第２０１０／０２２５６７９号明細書（「Ｍｕｌｔｉ−Ｐｉｘｅｌ  Ａｄｄｒｅｓｓｉｎｇ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｖｉｄｅｏ  Ｄｉｓｐｌａｙ  Ｄｒｉｖｅｒｓ」２０１０年９月９日公開）［２］
【特許文献３】米国特許第８４０１３１６号明細書（「Ｍｅｔｈｏｄ  ａｎｄ  ａｐｐａｒａｔｕｓ  ｆｏｒ  ｂｌｏｃｋ−ｂａｓｅｄ  ｃｏｍｐｒｅｓｓｉｏｎ  ｏｆ  ｌｉｇｈｔ−ｆｉｅｌｄ  ｉｍａｇｅｓ」）［３］
【特許文献４】米国特許出願公開第２０１３／００７７８８０号明細書（「Ｓｙｓｔｅｍｓ  ａｎｄ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｅｎｃｏｄｉｎｇ  ｌｉｇｈｔ  ｆｉｅｌｄ  ｉｍａｇｅ  ｆｉｌｅｓ」）［４］
【特許文献５】米国特許出願公開第２０１３／００７７８８２号明細書（「Ｓｙｓｔｅｍｓ  ａｎｄ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｄｅｃｏｄｉｎｇ  ｌｉｇｈｔ  ｆｉｅｌｄ  ｉｍａｇｅ  ｆｉｌｅｓ」）［５］
【特許文献６】米国特許出願公開第２０１１／０１３４２２７号明細書（「Ｍｅｔｈｏｄｓ  ａｎｄ  ａｐｐａｒａｔｕｓｅｓ  ｆｏｒ  ｅｎｃｏｄｉｎｇ，ｄｅｃｏｄｉｎｇ，ａｎｄ  ｄｉｓｐｌａｙｉｎｇ  ａ  ｓｔｅｒｅｏｓｃｏｐｉｃ  ３Ｄ  ｉｍａｇｅ」）［６］
【特許文献７】米国特許第５６１３０４８号明細書（「Ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ  ｉｍａｇｅ  ｓｙｎｔｈｅｓｉｓ  ｕｓｉｎｇ  ｖｉｅｗ  ｉｎｔｅｒｐｏｌａｔｉｏｎ」）［７］
【特許文献８】米国特許出願公開第２００８／００４３０９５号明細書（「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ａｃｑｕｉｒｉｎｇ，ｅｎｃｏｄｉｎｇ，ｄｅｃｏｄｉｎｇ  ａｎｄ  ｄｉｓｐｌａｙｉｎｇ  ３Ｄ  ｌｉｇｈｔ  ｆｉｅｌｄｓ」）［８］
【特許文献９】米国特許第６００９１８８号明細書（「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｄｉｇｉｔａｌ  ｐｌｅｎｏｐｔｉｃ  ｉｍａｇｉｎｇ」）［９］
【特許文献１０】米国特許第６７３８５３３号明細書（「Ｍｉｎｉｍｕｍ  ｓａｍｐｌｉｎｇ  ｒａｔｅ  ａｎｄ  ｍｉｎｉｍｕｍ  ｓａｍｐｌｉｎｇ  ｃｕｒｖｅ  ｆｏｒ  ｉｍａｇｅ−ｂａｓｅｄ  ｒｅｎｄｅｒｉｎｇ」）［１０］
【特許文献１１】米国特許第８２８４２３７号明細書（「Ｒｅｎｄｅｒｉｎｇ  ｍｕｌｔｉｖｉｅｗ  ｃｏｎｔｅｎｔ  ｉｎ  ａ  ３Ｄ  ｖｉｄｅｏ  ｓｙｓｔｅｍ」）［１１］
【特許文献１２】米国特許出願公開第２０１２／０２１３２７０号明細書（「Ｍｅｔｈｏｄ  ａｎｄ  Ａｐｐａｒａｔｕｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｉｍａｇｉｎｇ  Ｄｅｖｉｃｅ」）［１２］
【特許文献１３】米国特許第６０９７３９４号明細書（「Ｍｅｔｈｏｄ  ａｎｄ  ｓｙｓｔｅｍ  ｆｏｒ  ｌｉｇｈｔ  ｆｉｅｌｄ  ｒｅｎｄｅｒｉｎｇ」）［１３］
【特許文献１４】米国特許出願公開第２０１３／００１００５７号明細書（「３ｄ  ｄｉｓｐａｒｉｔｙ  ｍａｐｓ」）［１４］
【特許文献１５】米国特許出願公開第２０１０／０１５６８９４号明細書（「Ｒｅｎｄｅｒｉｎｇ  ３Ｄ  Ｄａｔａ  ｔｏ  Ｈｏｇｅｌ  Ｄａｔａ」）［１５］
【特許文献１６】米国特許出願公開第２０１０／０２３１５８５号明細書（「Ｓｙｓｔｅｍｓ  ａｎｄ  Ｍｅｔｈｏｄｓ  ｆｏｒ  Ｐｒｏｃｅｓｓｉｎｇ  Ｇｒａｐｈｉｃｓ  Ｐｒｉｍｉｔｉｖｅｓ」）［１６］
【特許文献１７】米国特許第６９６３４３１号明細書（「Ｒｅｎｄｅｒｉｎｇ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｆｕｌｌ  ｐａｒａｌｌａｘ  ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ  ｄｉｓｐｌａｙｓ」）［１７］
【特許文献１８】米国特許出願公開第２０１３／０１４１８９５号明細書（Ｚ．  Ａｌｐａｓｌａｎ等「Ｓｐａｔｉｏ−Ｏｐｔｉｃａｌ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ」２０１１年１２月１６日出願）［３２］
【特許文献１９】米国特許出願公開第２０１３／０２５８４５１号明細書（Ｈ．Ｓ．  Ｅｌ−Ｇｈｏｒｏｕｒｙ等「Ｓｐａｔｉｏ−ｔｅｍｐｏｒａｌ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｌｉｇｈｔ  Ｍｏｄｕｌａｔｏｒ」２０１２年７月１１日出願）［３３］
【特許文献２０】米国特許出願公開第２０１０／０００７８０４号明細書（Ｓ．Ｇｕｎｃｅｒ「Ｉｍａｇｅ  Ｃｏｎｓｔｒｕｃｔｉｏｎ  Ｍｅｔｈｏｄ  Ｂａｓｅｄ  Ｖｉｄｅｏ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍ」２０１０年１月１４日公開）［３４］
【特許文献２１】米国特許出願公開第２０１０／０２２５６７９号明細書（Ｓ．Ｇｕｎｃｅｒ「Ｍｕｌｔｉ−Ｐｉｘｅｌ  Ａｄｄｒｅｓｓｉｎｇ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｖｉｄｅｏ  Ｄｉｓｐｌａｙ  Ｓｙｓｔｅｍ」２０１０年９月９日公開）［３５］
【特許文献２２】米国特許出願公開第２０１３／０３２１５８１号明細書（Ｈ．Ｓ．  Ｅｌ−Ｇｈｏｒｏｕｒｙ等「Ｓｐａｔｉｏ−Ｔｅｍｐｏｒａｌ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｃａｍｅｒａｓ」２０１２年１０月２４日出願）［３６］
【非特許文献】
【００１７】
【非特許文献１】Ａ．Ｖｅｔｒｏ，Ｔ．Ｗｉｅｇａｎｄ，Ｇ．Ｓｕｌｌｉｖａｎ著「Ｏｖｅｒｖｉｅｗ  ｏｆ  ｔｈｅ  ｓｔｅｒｅｏ  ａｎｄ  ｍｕｌｔｉｖｉｅｗ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｅｘｔｅｎｓｉｏｎｓ  ｏｆ  ｔｈｅ  Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ  ｓｔａｎｄａｒｄ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ，ｖｏｌ．９９，ｎｏ．４，２０１１年４月［１８］
【非特許文献２】ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１「Ｃａｌｌ  ｆｏｒ  Ｐｒｏｐｏｓａｌｓ  ｏｎ  ３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｔｅｃｈｎｏｌｏｇｙ」スイス，ジュネーブ，２０１１年３月［１９］
【非特許文献３】Ｌｅｖｏｙ，Ｈａｎｒａｈａｎ著「Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ」Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，ＳＩＧＧＲＡＰＨ  ９６  Ｐｒｏｃｅｅｄｉｎｇｓ，３１〜４２頁，１９９６年［２０］
【非特許文献４】Ｍａｇｎｏｒ，Ｇｉｒｏｄ著「Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  ｆｏｒ  Ｌｉｇｈｔ−Ｆｉｅｌｄ  Ｒｅｎｄｅｒｉｎｇ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｃｉｒｃｕｉｔｓ  ａｎｄ  Ｓｙｓｔｅｍｓ  ｆｏｒ  Ｖｉｄｅｏ  Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．１０，ｎｏ．３，３３８〜３４３頁，２０００年４月［２１］
【非特許文献５】Ｅ．Ｃａｎｄｅｓ，Ｊ．Ｒｏｍｂｅｒｇ，Ｔ．Ｔａｏ著「Ｒｏｂｕｓｔ  ｕｎｃｅｒｔａｉｎｔｙ  ｐｒｉｎｃｉｐｌｅｓ：Ｅｘａｃｔ  ｓｉｇｎａｌ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ  ｆｒｏｍ  ｈｉｇｈｌｙ  ｉｎｃｏｍｐｌｅｔｅ  ｆｒｅｑｕｅｎｃｙ  ｉｎｆｏｒｍａｔｉｏｎ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ，ｖｏｌ．５２，４８９〜５０９頁，２００６年［２２］
【非特許文献６】Ｄａｖｉｄ  Ｄｏｎｏｈｏ著「Ｃｏｍｐｒｅｓｓｅｄ  ｓｅｎｓｉｎｇ」ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｈｅｏｒｙ，ｖｏｌ．５２，ｎｏ．４，１２８９〜１３０６頁，２００６年４月［２３］
【非特許文献７】Ｅ．Ｃａｎｄｅｓ，Ｔ．Ｔａｏ著「Ｎｅａｒ  ｏｐｔｉｍａｌ  ｓｉｇｎａｌ  ｒｅｃｏｖｅｒｙ  ｆｒｏｍ  ｒａｎｄｏｍ  ｐｒｏｊｅｃｔｉｏｎｓ  ａｎｄ  ｕｎｉｖｅｒｓａｌ  ｅｎｃｏｄｉｎｇ  ｓｔｒａｔｅｇｉｅｓ」２００４年［２４］
【非特許文献８】Ｇ．Ｇｏｒｄｏｎ  Ｗｅｔｚｓｔｅｉｎ，Ｄ．Ｌａｎｍａｎ，Ｍ．  Ｈｉｒｓｃｈ，Ｗ．Ｈｅｉｄｒｉｃｈ，Ｒ．Ｒａｓｋａｒ著「Ｃｏｍｐｒｅｓｓｉｖｅ  Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｄｉｓｐｌａｙｓ」ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ，ｖｏｌ．３２，ｎｏ．５，６〜１１頁，２０１２年［２５］
【非特許文献９】Ｆ．Ｈｅｉｄｅ，Ｇ．Ｗｅｔｚｓｔｅｉｎ，Ｒ．Ｒａｓｋａｒ，Ｗ．  Ｈｅｉｄｒｉｃｈ著「Ａｄａｐｔｉｖｅ  Ｉｍａｇｅ  Ｓｙｎｔｈｅｓｉｓ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｄｉｓｐｌａｙｓ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ＳＩＧＧＲＡＰＨ  ２０１３  （ＡＣＭ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｇｒａｐｈｉｃｓ  ｖｏｌ．３２，ｎｏ．４）２０１３年［２６］
【非特許文献１０】Ｄ．Ｈｏｆｆｍａｎ，Ａ．Ｇｉｒｓｈｉｃｋ，Ｋ．Ａｋｅｌｅｙ，Ｍ．Ｂａｎｋｓ著「Ｖｅｒｇｅｎｃｅ−ａｃｃｏｍｍｏｄａｔｉｏｎ  ｃｏｎｆｌｉｃｔｓ  ｈｉｎｄｅｒ  ｖｉｓｕａｌ  ｐｅｒｆｏｒｍａｎｃｅ  ａｎｄ  ｃａｕｓｅ  ｖｉｓｕａｌ  ｆａｔｉｇｕｅ」Ｊｏｕｒｎａｌ  ｏｆ  Ｖｉｓｉｏｎ  ｖｏｌ．８（３），３３，２００８年［２７］
【非特許文献１１】ＩＳＯ／ＩＥＣ  １４４９６−１０：２００３「Ｃｏｄｉｎｇ  ｏｆ  Ａｕｄｉｏｖｉｓｕａｌ  Ｏｂｊｅｃｔｓ−Ｐａｒｔ  １０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ」２００３年，およびＩＴＵ−Ｔ  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４「Ａｄｖａｎｃｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ｆｏｒ  ｇｅｎｅｒｉｃ  ａｕｄｉｏｖｉｓｕａｌ  ｓｅｒｖｉｃｅｓ」［２８］
【非特許文献１２】Ｃ．Ｆｅｈｎ著「３Ｄ−ＴＶ  Ｕｓｉｎｇ  Ｄｅｐｔｈ−Ｉｍａｇｅ−Ｂａｓｅｄ  Ｒｅｎｄｅｒｉｎｇ  （ＤＩＢＲ）」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ，米国カリフォルニア州サンフランシスコ，２００４年１２月［２９］
【非特許文献１３】Ｈ．Ｓ．Ｍａｌｖａｒ，Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ，Ｓ．Ｓｒｉｎｉｖａｓａｎ著「Ｌｉｆｔｉｎｇ−Ｂａｓｅｄ  Ｒｅｖｅｒｓｉｂｌｅ  Ｃｏｌｏｒ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ  ｆｏｒ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ」ＳＰＩＥ  Ｐｒｏｃｅｅｄｉｎｇｓ，Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｄｉｇｉｔａｌ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，２００８年［３０］
【非特許文献１４】Ｍ．Ｌｕｃｅｎｔｅ著「Ｄｉｆｆｒａｃｔｉｏｎ−Ｓｐｅｃｉｆｉｃ  Ｆｒｉｎｇｅ  Ｃｏｍｐｕｔａｔｉｏｎ  ｆｏｒ  Ｅｌｅｃｔｒｏ−Ｈｏｌｏｇｒａｐｈｙ」Ｄｏｃｔｏｒａｌ  Ｔｈｅｓｉｓ  Ｄｉｓｓｅｒｔａｔｉｏｎ，ＭＩＴ  Ｄｅｐａｒｔ．ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  Ｅｎｇｉｎｅｅｒｉｎｇ  ａｎｄ  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ，１９９４年９月［３１］
【発明の概要】
【発明が解決しようとする課題】
【００１８】
先行技術は、ＶＡＣフリー・フルパララックス広視野角３Ｄディスプレイ技術の実用化のために必要とされるような、高圧縮率、高品質、低計算負荷のライトフィールドデータ圧縮という要求に適切に対処できないことは明らかである。
【課題を解決するための手段】
【００１９】
以下の説明では、類似の要素には、異なる図面においても、同様の図面参照符号を使用している。平行四辺形ブロックは、データを示すために用いており、矩形ブロックは、プロセスを示すために用いている。詳細な構成および要素など、本説明において規定される事項は、例示的な実施形態の包括的な理解を助けるために提示されるものである。しかしながら、本発明は、それらの具体的に規定された事項を省いても、実施することが可能である。また、周知の機能または構成については、不必要な詳細によって本発明が不明瞭となり得るため、詳細には記載していない。本発明を理解し、いかにして実際に実施され得るのかを確認するために、単なる非限定的な例として、本発明のいくつかの実施形態について、添付の図面を参照して以下で説明する。
【図面の簡単な説明】
【００２０】
【図１ａ】図１ａは、先行技術によるライトフィールド・イメージングシステムを示している。
【図１ｂ】図１ｂは、本発明の根底にある原理を示しており、これにより、シーン／３Ｄデータを取り込んで、圧縮フォーマットでディスプレイに伝送し、その圧縮データをディスプレイで直接表示する。
【図２ａ】図２ａは、本発明の圧縮レンダリング方法のブロック図である。
【図２ｂ】図２ｂは、ディスプレイに直接接続された、圧縮レンダリング方法のブロック図であり、この場合、マルチ参照奥行き画像ベースレンダリングを用いて、ライトフィールドを再構成する。
【図３】図３は、本発明の圧縮レンダリング方法における、合成される目的ホーゲルと参照ホーゲルとの関係を示している。
【図４】図４は、本発明の圧縮レンダリング方法での参照ホーゲルの選択に用いるビジビリティテストの一実施形態のフローチャートである。
【図５】図５は、本発明の圧縮レンダリング方法での参照ホーゲルの選択に用いるビジビリティテストの代替実施形態のフローチャートである。
【図６】図６は、本発明の圧縮レンダリング方法での参照ホーゲルの選択に用いるビジビリティテストの、図５の代替実施形態における参照ホーゲル選択基準を示している。
【図７】図７は、参照ホーゲルを用いてライトフィールドホーゲルを合成する、本発明のプロセスを示している。
【図８】図８は、参照ホーゲル奥行き情報を用いてライトフィールドホーゲル視差を合成するための本発明の一実施形態を示している。
【図９】図９は、本発明のマルチ参照奥行き画像ベースレンダリング（ＭＲ−ＤＩＢＲ）で用いるバックワードワーピングの詳細を示している。
【図１０】図１０は、本発明のディスプレイ適合符号化および復号化プロセスの概要である。
【図１１】図１１は、本発明のディスプレイ適合符号化プロセスの詳細を示している。
【図１２】図１２は、本発明のディスプレイ適合符号化プロセスの一実施形態で用いるシードホーゲルテクスチャ符号化プロセスの詳細を示している。
【図１３】図１３は、本発明のディスプレイ適合符号化プロセスの一実施形態で用いるシードホーゲル視差符号化プロセスの詳細を示している。
【図１４】図１４は、本発明のディスプレイ適合符号化プロセスの一実施形態で用いる残差ホーゲル視差符号化プロセスの詳細を示している。
【図１５】図１５は、本発明のディスプレイ適合符号化プロセスの一実施形態で用いる残差ホーゲルテクスチャ符号化プロセスの詳細を示している。
【図１６】図１６は、本発明の一実施形態で用いるシードホーゲルへのビットレート割り当てのための方法を示している。
【図１７】図１７は、本発明の一実施形態で用いる残差ホーゲルへのビットレート割り当てのための方法を示している。
【図１８】図１８は、本発明の３Ｄイメージングシステムのディスプレイ側での受信ビットストリームの復号化を示している。
【図１９】図１９は、本発明の３Ｄイメージングシステムの動的ライトフィールド実現のために実施される動き補償の詳細を示している。
【発明を実施するための形態】
【００２１】
［一般概念］
本発明は、コンピュータグラフィックス分野で周知のいくつかの技術を利用しており、完全を期すために、ここで、それらについて定義する。
【００２２】
コンピュータグラフィックスでは、シーンまたはシーンのビューを生成する機能は、ビューレンダリングとして知られている。通常は、３Ｄモデルを、照明、表面特性、カメラ視点と共に用いる。このビューレンダリングでは、一般に、いくつかの複雑な演算が必要であり、さらにはシーンジオメトリに関する詳細な知識も必要となる。新たなビューをレンダリングする代替技術は、全周囲多視点を用いるものである。画像ベースレンダリング（ＩＢＲ）として知られるこの技術では、ライトフィールドをオーバサンプリングした入力画像から直接、新たなビューをレンダリングする。ＩＢＲでは、よりリアルな品質でビューが生成されるものの、よりインテンシブなデータ収集プロセス、データ記憶、およびライトフィールドにおける冗長が必要とされる。
【００２３】
複雑な幾何学モデルとデータインテンシブなＩＢＲとの間の妥協案は、奥行き情報および選択された数のビューを用いることである。それぞれのビューは、奥行きマップとしても知られる、各ピクセル位置に関連付けられた奥行きを有する。この場合、奥行きマップは、奥行き画像ベースレンダリング（ＤＩＢＲ）と呼ばれるプロセスで、新たなビューを合成するために用いられる（特許文献１１［１１］および非特許文献１２［２９］）。ＤＩＢＲでは、フォワードワーピングとしても知られる操作で、奥行き情報、ならびに仮想カメラの外部パラメータおよび内部パラメータを利用して、２Ｄスクリーンの点をその個々の３Ｄ位置に投影し、その後、３Ｄ点をターゲット２Ｄスクリーン上に再投影する。逆の操作も有効であり、その場合、ターゲットビューの奥行き値は既知であり、参照ビューからテクスチャ値を「フェッチ」する。この場合の操作は、バックワードワーピングと呼ばれる。ＤＩＢＲ合成の最大の問題は、奥行き値の誤差、丸め誤差、およびオブジェクトのディスオクルージョンに起因するホールの発生である。
【００２４】
本発明において、「ホーゲル」という用語は、３Ｄディスプレイによってあらゆる可能な方向に方向変調することが可能な情報を含むライトフィールド画像の最小単位として使用される。レンズ式のイメージングシステムでは、ホーゲルは、レンズレットまたはマイクロレンズで方向変調される要素画像で構成される。屈折式のイメージングシステムでは、ホーゲルは、すべての変調周波数を含むホログラムの最小セグメントで構成される。
【００２５】
ライトフィールドディスプレイの現在の方法では、ライトフィールドをフル解像度で取り込みまたはレンダリングし、その後、それを圧縮することで、フル解像度のライトフィールドにおける冗長を排除する。一方、本発明では、ライトフィールドの取り込みまたはレンダリングと、圧縮と、その両方の処理を単一ステップで同時に実行する。取り込み／レンダリングと圧縮という両者を融合したものを、圧縮取り込みシステムと呼ぶ。圧縮取り込みは、ライトフィールド・イメージングシステムの取得段階と圧縮段階を単一ステップに統合した方法と定義され、圧縮ライトフィールドとしても知られる圧縮フォーマットのライトフィールドを生成する。圧縮ライトフィールドは、許容品質でライトフィールド全体を再構成するのに必要な最小限または略最小限の情報を含んでいる。圧縮センシングでは、信号が所定ドメインで疎であることが既知であること以外は、シーンについての具体的な知識を持たずに、インコヒーレントな基底を用いて信号を取得するのに対し、圧縮取り込みアプローチでは、好ましくは、高度なシーン情報を利用することで、圧縮ライトフィールドを生成するための情報を選択する際に、より意図的な決定を下す。本発明では、取得段階で最小限にサンプリングされたライトフィールドを、ディスプレイで直接再構成するために、ディスプレイの計算能力を利用する。１つの可能な実施形態において、本発明は、２段階圧縮枠組みを用いることで、効率的なデータ処理フローを生成する。本明細書で圧縮レンダリングと呼ばれる第１段階は、レンダリングされるビューの数を低減するとう目標、ひいては要求される処理スループットおよびそれに応じたイメージングシステムの電力消費を低減するという目標を達成するのに、より適している。圧縮レンダリングは、サブサンプリングされたライトフィールドの何らかのレンダリングまたは生成と定義され、最も好ましくは、許容品質でライトフィールドを再構成するのに必要な最小限または略最小限のライトフィールド情報を表すために用いられるホーゲルデータのサブセットを含み、その場合のホーゲルデータは、最も好ましくは、シーンの高度な分析を実施することによる前処理によって選択される。ライトフィールドをホーゲルデータにサブサンプリングするプロセスによって、以下で参照ホーゲルと呼ばれるホーゲルを生成する。参照ホーゲルデータは、１つ以上のライトフィールドカメラなどからの現実世界を撮ったライトフィールドから物理的に取得することが可能であり、コンピュータグラフィックスを用いて合成的にレンダリングすることが可能であり、あるいは（例えば、限定するものではないが、拡張現実アプリケーションにおいて）両方の方法を併用することも可能である。本明細書でディスプレイ適合エンコーダと呼ばれる第２段階では、ディスプレイシステムのハードウェア特性を考慮して、並列リアルタイム実現に適した符号化アルゴリズムを適用する。ディスプレイ適合エンコーダは、３Ｄデータをディスプレイの計算能力に適合させる何らかの圧縮と定義されるが、より好ましくは、ディスプレイ適合エンコーダは、ディスプレイのマルチプロセッシング能力を用いた展開用に適合されており、最も好ましくは、ディスプレイ適合エンコーダは、３Ｄ画像を多数のホーゲル領域に分割した場合に用いられ、このとき、そのような各ホーゲル領域のディスプレイ適合エンコーダは、他のホーゲル領域のディスプレイ適合エンコーダとは略独立であり、これにより、ディスプレイに内蔵または関連付けられた複数の略同等の処理ノードを用いた展開が容易となる。各ホーゲル領域内では、１つ以上のホーゲルが独立に伝送および受信される。これらのホーゲルは、以下でシードホーゲルと呼ばれる。残りのホーゲルは、シードホーゲル（複数の場合もある）との対比で伝送および受信される。レンダリングプロセスでは、シードホーゲルを用いて、１つ以上の合成ビューを生成し、それらは、１つ以上の残りのホーゲルについての予測として用いられる。その後、ディスプレイ適合エンコーダは、原ホーゲルと予測合成ホーゲルとの差分を符号化する。合成ホーゲルは、本明細書では、残差ホーゲルとも呼ばれる。２つの別々のプロセスを用いることにより、両段階で局所的最適化と大域的最適化を実施することが可能であり、これにより、リアルタイム動作および高品質のライトフィールド再生を可能としつつ、電力消費が低減し、データ圧縮が向上し、伝送帯域幅が低減し、システムの複雑さが軽減し、コストが軽減し、処理要件が軽減し、メモリ要件が軽減した、全体として所望の性能を実現する。
【００２６】
添付の図面を用いて本明細書で説明される本発明の実施形態の１つは、リアルタイムで高品質ライトフィールド画像を生成するための計算負荷を低減しつつ、圧縮率を向上させる方法を明示するものである。本発明の圧縮レンダリング方法では、知覚品質の劣化を伴うことなくシーンを再構成するのに十分な、ホーゲルのテクスチャおよび奥行きマップ情報の最小サブセットを、例えばフレームグラバを用いて取り込むために、ライトフィールド内の３Ｄシーンに関するアプリオリな知識を利用する。マルチ参照奥行き画像ベースレンダリング（ＭＲ−ＤＩＢＲ）を用いて、残りのホーゲルを合成する。シーンに関するアプリオリな知識は、入力データの前処理によって抽出することが可能であり、これについては、本開示において、さらに実施形態によって説明する。本明細書に記載の実施形態は、決して限定するものではなく、本発明は、例えば、ライトフィールドカメラで直接、圧縮取り込みを実施するなど、様々に異なる実施形態によって実現することが可能である。ディスプレイ適合エンコーダでは、圧縮レンダリング段階で取り込まれたデータを、このライトフィールドデータを変調する（本明細書では、ライトフィールド変調器とも呼ばれる）ディスプレイの能力に適合するように、さらに圧縮する。本発明の圧縮レンダリングとディスプレイ適合エンコーダの方法の組み合わせによって、３Ｄライトフィールド取り込みおよびディスプレイシステムにおける総計算負荷を軽減し、そして、新たに知覚画質の劣化を取り込むことなく、リアルタイム動作を可能とする。本明細書に記載の実施形態は、決して限定するものではなく、本発明は、様々に異なる実施形態によって実現することが可能である。例えば、本発明の他の実施形態では、前述の２つの段階を１つに統合することが可能であり、その場合、圧縮レンダリング段階で、ディスプレイパラメータを利用して、（明確なディスプレイ適合エンコーダ段階を伴うことなく）圧縮取り込みを実施し、ディスプレイパラメータに応じて選択されたものであり得る参照ホーゲルをディスプレイに送信し、ディスプレイでは、受信した最小限のホーゲル情報のみによる奥行き画像ベースの再構成を用いて、ライトフィールド全体を再構成する。同様に、本発明のさらに別の実施形態では、上述のディスプレイ適合エンコーダ段階のみを用いて、圧縮レンダリングは控えることができる。本発明の１つの可能な代替実施形態では、ディスプレイへの入力として離散ウォルシュ変換（ＤＷＴ）または離散コサイン変換（ＤＣＴ）係数を用いる方法を記載している特許文献２０，２１［３４，３５］のような、コンプレッシブディスプレイを使用することができ、そして、ディスプレイ側でさらに処理することなく、人間の視覚システム（ＨＶＳ）の統合的側面を利用して展開を実施することができる。この代替実施形態では、ディスプレイ適合符号化のみを実施して、圧縮された情報をディスプレイに直接送信する。これらの可能な実施形態の提示は、本発明の実用化を例示するためのものであるが、本発明は、本発明の趣旨および範囲から逸脱することなく変形または最適化が可能である。
【００２７】
図１ｂは、本発明の根底にある原理を示しており、これにより、シーン／３Ｄデータ１０１を取り込んで、圧縮フォーマットでディスプレイに伝送し、その圧縮データをディスプレイで直接表示（または変調）する。本発明の一実施形態では、３Ｄシーンの取り込みまたはレンダリングと、シーン／３Ｄデータ１０１の圧縮を処理し、それには、航空地形テクスチャ画像、地形高度マップまたは市街図とレーダーまたはライダーデータ、景観、コンピュータ生成３Ｄ画像、医用画像、同時または時間をずらしてライトフィールドカメラまたは多視点カメラで撮影された画像、が含まれるが、ただし、これらに限定されない。図１ａに示す先行技術によるライトフィールド・イメージングシステムでは、最初に、全ライトフィールドレンダリングプロセス１０２で、シーン／３Ｄデータ１０１をレンダリングまたは取り込みする。データが大量であるため、ライトフィールド圧縮ステップ１０３を用いて、データサイズを低減する。その後、圧縮データを、ディスプレイシステムに伝送し、そこで、まずそれを展開１０４してから、表示１０５する。これに対し、図１ｂで示す本発明では、最初に圧縮レンダリング１０６を用いてシーン／３Ｄデータ１０１をレンダリングし、それをディスプレイ適合エンコーダ１０７によって圧縮し、その後、それを圧縮フォーマットでディスプレイに伝送することにより、コストのかかるライトフィールド全体の完全な取り込みまたはレンダリングを回避している。図１ｂを参照して、圧縮レンダリング１０６とディスプレイ適合エンコーダ１０７は一緒に、本発明の圧縮取り込みシステム１０９を形成しており、これにより、ライトフィールドデータに固有の冗長性を利用して、直接表示するのに適した圧縮表現を効率的に生成する。ライトフィールド画像内の冗長性は、時間ドメイン、角度（または方向）ドメイン、および空間（またはｘ−ｙ）ドメインに存在し、ホーゲルを構成するピクセルおよびホーゲル間のピクセルの類似の値で表される。本発明の一実施形態では、ビットストリームとして表される圧縮ライトフィールドは、ディスプレイ１０８に直接伝送されて、これにより、そのビットストリームを復号化し、メガネまたは何らかの特別な装置を必要とすることなく、そのテクスチャおよび奥行きの詳細と共に３Ｄシーンを表現するライトフィールドを再構成する。また、いずれかの段階で、ビットストリームを、後の使用または表示のために記憶媒体に保存することも可能である。
【００２８】
［圧縮レンダリング１０６］
本発明の圧縮レンダリング１０６は、最小限許容可能な知覚画質劣化を実現しつつ、ディスプレイ適合エンコーダ１０７で用いるのに十分な、最小数のホーゲルのレンダリングである。従来のホーゲルのレンダリングに伴う従来のコストのかかる演算（射影行列の乗算、照明計算、テクスチャマッピングなど）を、圧縮レンダリングによって回避している。さらに、フルセンサ解像度でライトフィールドを取り込むライトフィールドカメラによって要求されるコストのかかるストレージ要件も、圧縮レンダリングによって回避される。図２ａを参照して、本発明の圧縮レンダリング１０６の基本的概念は、以下で参照ホーゲルと呼ばれるライトフィールドホーゲルのサブセットのみを、ビジビリティテスト２０１を用いて選択し、レンダリング２０２することである。参照ホーゲルの選択は、レンダリングされる参照ホーゲル位置を、好ましくは最適に選択するために、３Ｄデータを分析するビジビリティテスト２０１を用いることによる。例えば、一実施形態では、ビジビリティテストは、カメラアレイからのどのカメラを使用してライトフィールドを取り込むべきか、またはフレームグラバによってデジタル化される内容はどのカメラが有するべきであるかを、示し得る。さらに別の実施形態では、ビジビリティテストは、コンピュータグラフィックス・レンダリングアプリケーションによって、どの仮想カメラでレンダリングするべきであるかを示すものである。レンダリングプロセスによって、参照ホーゲルテクスチャ２０３およびピクセルごとの奥行きマップ２０４を生成する。ライトフィールドのホーゲルをすべてレンダリングするのではなく、より少数のホーゲルをレンダリングすることによって、計算時間およびパワーを節約する。選択された参照ホーゲルテクスチャは、レンダリング後に、適応テクスチャフィルタ２０５によって後処理されることがある。後述の一実施形態において説明するように、適応テクスチャフィルタの一例は、ライトフィールドディスプレイで画像化されない高周波数成分を除去するフィルタである。本発明の他の実施形態では、ピクセル変位量を単純かつ直接的な単位で処理するために、奥行きから視差への変換２０６を適用することがある。フィルタリング後の参照ホーゲルテクスチャ２０７と、それに関連付けられた参照ホーゲル奥行きであって、場合によっては参照ホーゲル視差２０８に変換されたものである、圧縮レンダリング段階の出力は、図２ｂに示すとともに前述のように、ディスプレイ適合エンコーダステップを回避して、ディスプレイ１０８における再構成段階によって、さらに用いることができる。この実施形態では、ディスプレイシステムは、マルチ参照奥行き画像ベースレンダリング（ＭＲ−ＤＩＢＲ）２０９アルゴリズムを用いて、残りのホーゲルまたは残差ホーゲルを合成し、ライトフィールドテクスチャ２１０および視差２１１を再構成する。次に、再構成されたデータを用いて、ライトフィールド変調器２１２で、変調ライトフィールド２１３を生成する。なお、本実施形態では、後述される利点を理由として、視差に変換されるものとして奥行き情報を用いているが、この同じ発明は、奥行きを変換することなく直接用いる場合にも適用されるということに留意すべきである。
【００２９】
本発明の一態様は、選択された参照ホーゲルの、所定のレンダリングアルゴリズムを用いたレンダリングである。参照ホーゲルのレンダリングに適用可能な、数多くの異なるレンダリングアルゴリズムがあり、いくつかの可能性があるものは、デュアルフラスタムレンダリング、マルチビューレンダリング、並行群レンダリングなどであることは、当業者であれば理解できるであろう。最適化されたレンダリングアルゴリズムであっても、依然として計算が複雑であり、過剰な資源を必要とし得る。ライトフィールドの要素の奥行きに基づいてレンダリングアルゴリズムを用いることにより、ビュー投影の複雑な操作を単純なピクセルシフトに変換することが可能である。このようなアプローチで制限されるのは、ディスオクルージョン領域の合成であり、その場合、参照テクスチャピクセルを見つけることができない。このような領域を埋めるための一般的な解決法は、インペインティング法を用いることである。そのようなインペインティング法では、周辺テクスチャの奥行き値を比較することによって特定される、背景テクスチャに限られている情報を利用することによって、欠損テクスチャを合成する。このアプローチは、さらに複雑な計算を要するとともに、やはり誤差を生じやすい。本発明の一実施形態は、ディスオクルージョンテクスチャを表す他の参照を利用することによるもの、すなわち、欠損テクスチャを含むビューを利用することによるものである。これは、より多数の参照ホーゲルの使用を必要とするものの、品質は、従来のインペインティング法と比較してはるかに優れたものであり得る。画質および低い計算要求を維持するために、本実施形態は、より多数の参照ホーゲルを使用し、どの参照ホーゲルテクスチャでもディスオクルージョン領域を再生不可能である場合にのみ、合成ホールフィリング処理を採用することによるものである。参照ホーゲルでカバーされる視野と、以下で目的ホーゲルと呼ばれる非参照ホーゲルの視野との間の関係を、図３に示している。図３において、仮想ピンホールカメラは、参照ホーゲルおよび目的ホーゲルを表している。参照ホーゲル３０１の視錐台３０３は、ディスプレイ面に対して一定の距離から全視域を取り込む（またはカバーする）ことが可能である。例えばホーゲル３０２のような、参照ホーゲル３０１の視錐台３０３の組み合わせによってカバーされる視域３０４を有する残りのすべてのホーゲルは、参照ホーゲル３０１を用いて、適宜、合成することが可能である。本発明の圧縮レンダリング方法では、マルチ参照を用いることによって、様々に異なる方向からホールをカバーすることが可能であり、後処理操作としてホールフィリングを用いることは最小限に抑えられる。図３は、４つの隅角ホーゲルを参照として用いることを示しているが、本発明では、他の参照ホーゲル配置を使用することも企図される。
【００３０】
［ビジビリティテストを用いた参照ホーゲルの選択２０１］
本発明の一実施形態において、レンダリング対象となる参照ホーゲルを選択するプロセスでは、トップダウンアプローチを用いて導出することができ、その場合、粗いグリッドを使用し、後に細かくする。本発明の他の実施形態では、ボトムアップアプローチを用いて参照ホーゲルを選択し、その場合、細かいグリッドで開始し、後に不要なホーゲルを削除するためにプルーニングする。図４は、上記の参照ホーゲル選択方法のうちの前者に基づいて、参照ホーゲルを選択するための方法（図２のビジビリティテスト２０１）を示している。図４に示すように、トップダウンアプローチは、ライトフィールドが取り込みまたはレンダリングされる面の平面（すなわち、シーンを取り込み／レンダリングする仮想ピンホールカメラが配置される面、または取り込みカメラがディスプレイホーゲルと同じである場合は、ディスプレイ面；以下で取り込み面と呼ぶ）に対するシーンのオブジェクトの位置を分析することによって、実現することができる。この場合、参照ホーゲルの選択は、後述するように、オブジェクトのリスト４０１で規定されているオブジェクトの位置に依存することになる。本発明の好ましい実施形態では、ホーゲル選択プロセスは、参照ホーゲルとして４つの隅角ホーゲルを選択４０２することによって開始する。４つの隅角ホーゲルを参照とするこの選択によれば、取り込み面から所定の奥行きＺまたさらに遠くに位置するオブジェクトは、これらの隅角ホーゲルによってカバーされるので、Ｚ以上の距離にあるオブジェクトは、オブジェクトのリストから削除４０３される。残りのオブジェクトは、取り込み面からのそれらの距離に応じてソートされ、そして、最も遠いオブジェクトをカバーするように、必要に応じて、さらなるホーゲルを参照ホーゲルのリストに追加４０４する。各オブジェクトのための参照ホーゲルを選択するプロセス４０４は、取り込み面上のオブジェクトの投影領域の２次元サンプリングによるものである。オブジェクトの投影領域によって、どのホーゲルがそのオブジェクトのテクスチャを含むかが決まり、それらを参照として用いることができる。これらのホーゲルの２次元サンプリングプロシージャによって、参照として使用すべきホーゲルを選択する。なお、複数のオブジェクトを含むシーンでは、参照ホーゲルの選択が重複する可能性があり、以前に選択されてない参照ホーゲルのみが、参照ホーゲルのリストに追加されるということに留意すべきである。各オブジェクトについて、オブジェクトの奥行きｚによって、そのオブジェクトをカバーする参照ホーゲルを選択するために用いられるホーゲルサンプリング周期Δが決まる。
【００３１】
【数１】
0006526686.tif 000002
【００３２】
ここで、θは、ホーゲル視野角であり、Ｐは、ホーゲル間隔（またはピッチ）である。このプロセスによって選択されたホーゲルの視野は、そのオブジェクト全体をカバーするので、選択されたホーゲルのテクスチャおよび奥行きを用いて、選択されたホーゲルの間の欠損ホーゲルを生成することが可能である。現在のオブジェクトの背後にあって、ディスプレイ面からさらに離れたオブジェクトの、ディスオクルージョンテクスチャを組み込むために、分析されるオブジェクトの投影領域を、全方向にサンプリング周期Δの少なくとも半分で、拡張することにより、追加の「エッジ」ホーゲル位置を、選択されたホーゲルのセットに加える。リスト４０１にあるすべてのオブジェクトが、選択された参照ホーゲルの結果的に得られるセットによってカバーされる４０６まで、このプロセスを繰り返す４０５。
【００３３】
図５は、本発明のビジビリティテスト２０１の代替実施形態を示しており、これは、システムで許容される最大数のホーゲルで開始して、ボトムアップアプローチで参照ホーゲルの選択を実施する。参照ホーゲルを選択するためのこの方法では、最初にホーゲルごとのメトリック基準を計算５０１する。そのような基準の一例は、それらの視差値の視差中央値がそのホーゲル内にある近傍ホーゲル間の相関とすることができ、これをメトリックとして用いることができるが、他の基準も同様に適用されることは、当業者であれば理解できるであろう。視差値は、２つのビュー間のピクセルシフトであって、取り込みビューへのその点の距離に反比例する。通常の２Ｄカメラ配置によるライトフィールドの場合には、２つの隣接カメラ間の視差を、表現されるオブジェクトの奥行き、ならびに任意の２つの近傍ビュー間の視差を伝えるために用いることができる。非隣接カメラによる視差を用いるためには、それらのカメラ間の距離に応じて、視差値をスケーリングする必要がある。本発明の一実施形態では、ライトフィールド内の総数のホーゲルは、Ｎ×Ｍホーゲルの領域に分割５０２され、そこから１つの代表ホーゲルが選択されて、参照ホーゲルリストに追加５０３されることになる。Ｎ×Ｍホーゲル領域のサイズは、シーンの要素に応じて、適応的に選択することができる。例えば、取り込み面から遠く離れたオブジェクトを表すシーンの場合には、すべてのホーゲルに高い相関性があり、Ｎ×Ｍホーゲル領域はホーゲルの全セットであり得る。一方、オブジェクトが取り込み面に近い場合は、ホーゲル間の相関は低い可能性があり、Ｎ×Ｍは、ただ１つのホーゲルのみであり得る。さらに、例えば、並列処理されるホーゲルの最大数、または同義でＮの最大値を許容するディスプレイシステムにおける制約など、他の因子も、Ｎ×Ｍホーゲル領域のサイズに影響を及ぼし得る。Ｎ×Ｍホーゲル領域の中で最も代表的なホーゲルは、取得した視差中央値に基づいて選択される。この選択基準の１つの可能な実現を図６に示している。選択された参照ホーゲル５０８によってカバーされるすべてのオブジェクトは、そのホーゲルの視差中央値によって示される奥行き層内で表されると仮定して、その選択された参照ホーゲル５０８のピクセルを、目的ホーゲルの合成のためにシフトさせた場合、目的ホーゲル５０７の一部のピクセルは、参照ホーゲル内に存在しないことがある。それらのピクセル位置は、ホールと呼ばれるものであり、図６に灰色領域で示している。参照ホーゲル５０８の視差中央値、ならびに合成されるべき目的ホーゲル５０７からのその変位量δｘおよびδｙが所与であるとして、ホールの総数は、計算することが可能である。従って、ホーゲルのＮ×Ｍ領域内のその参照ホーゲルの近傍ホーゲルのホール数が最小となるような参照ホーゲルが、その領域の最も代表的なホーゲルとして選択されて、参照ホーゲルリストに追加５０３される。画像の境界におけるアーティファクトを回避するために、さらに隅角ホーゲルも、それらのホーゲルが前のステップで追加されなかった場合には追加５０４される。さらに、Ｎ×Ｍホーゲル領域内の選択された参照ホーゲルに相関していない欠損ホーゲルを回避するために、���べてのホーゲルの視差中央値を、もう一度検査する。非参照ホーゲルが所定の閾値よりも大きい視差中央値を有している場合には、そのホーゲルは、参照ホーゲルリストに追加５０５されて、参照ホーゲルとなる。その視差中央値は、そのホーゲルが、既に選択された参照ホーゲルに関連しておらず、新たなテクスチャを含んでいることを示しているので、そのホーゲルは、既に選択された参照ホーゲルから再構成することは不可能であり、正常なレンダリングのために、参照ホーゲルのリストに追加する必要がある。
【００３４】
上記パラグラフでは、参照ホーゲルを選択するための２つの方法について説明したが、本発明は、具体的に記載した方法のいずれにも限定されることなく、類似の方法を、ライトフィールドの残りのホーゲルを復元するために用いることが可能な参照ホーゲルのサブセットを決定する目的で用いることができる。どの要素画像（またはホーゲル）が、シーンの情報を再構成するのに最も適切であるかを決定するためには、前処理ステップまたは何らかのアプリオリ情報が必要となる。このアプリオリ情報は、通常は、シーン内のオブジェクト位置、境界ボックス、カメラセンサ情報、ターゲットディスプレイ情報、および動きベクトル情報の形式のものであるが、ただし、これらに限定されない。
【００３５】
フルパララックス・ライトフィールド画像を取り込むためにコンピュータ生成３Ｄモデルを用いるコンピュータ生成（ＣＧ）取り込み環境では、レンダリングプロセスを開始する前に、すべての情報は、システムに既知である。この情報には、モデルの位置、モデルのサイズ、モデルの境界ボックス、取り込みカメラ情報（ＣＧカメラ）、モデルの動きベクトル、およびターゲットディスプレイ情報が含まれる。
【００３６】
ライトフィールドカメラによって、２Ｄカメラアレイによって、（レーザー測距、ＩＲ奥行き取得、または構造光奥行き感知を含む）３Ｄカメラアレイによって、またはライトフィールドカメラアレイによって、撮影しているライブシーンを表示する場合のように、動的ライトフィールドを表示するためには、前処理方法およびデータは、正確またはおおよそのオブジェクトサイズ、シーン内のオブジェクトの位置および向きならびにそれらの境界ボックス、各ターゲットディスプレイについてのターゲットディスプレイ情報、３Ｄシーンのグローバル座標系に関するすべてのカメラの位置および姿勢、などを含むが、ただし、これらに限定されない。
【００３７】
［適応テクスチャフィルタリング２０５］
ライトフィールド・ディスプレイシステムは、ホーゲルサイズよりも小さいライトフィールドの詳細を再生することはできない。従って、ホーゲルサイズは、ライトフィールド・ディスプレイシステムで再生可能な詳細のナイキスト周波数として特徴付けることができる。また、いずれのライトフィールド・ディスプレイシステムにおいても、光発散によって、再生可能な詳細の最大周波数は、再生オブジェクトがディスプレイ面から遠くに移動すると、ディスプレイシステムのナイキスト周波数よりも低くなる。従って、ライトフィールド・ディスプレイシステムによって再生されるライトフィールドは、ディスプレイ面により近いナイキスト周波数の詳細、およびディスプレイ面から遠く、かつ１／（ディスプレイ面からの距離）に比例してより低いナイキスト周波数の詳細、を表示する能力を有する。このことを考慮して、ライトフィールド・ディスプレイシステムで再生できない内容を除去するように、参照ホーゲル奥行きマップ情報に基づいて参照ホーゲルテクスチャの内容を調整するために、奥行き適応ローパスフィルタを用いることが可能である。奥行き適応ローパスフィルタは、オブジェクトの再生不可能な詳細を除去することによって、知覚画質を劣化させることなく圧縮率を増加させるという効果もある。
【００３８】
［奥行き／視差変換２０６］
コンピュータグラフィックスのワークフローでは、ピクセルの奥行きは、一般的には、デプスバッファまたはＺバッファとしても知られるバッファに格納される。本発明の一実施形態では、ホーゲルの合成（レンダリング）に用いられる奥行き情報は、３Ｄモデルから導出することができ、そして、コンピュータグラフィックスのワークフローにおいて一般的なＺバッファから取得することができる。本発明の他の実施形態では、飛行時間カメラなど、異なる方法で奥行きを取得することができ、さらに、ステレオマッチングなどの信号処理手順で奥行きを取得することもできる。例えば、取り込みのためにステレオペアカメラを使用することができる。カメラキャリブレーションおよび画像平行化の後に、ステレオマッチングアルゴリズムを用いて、ステレオから奥行きを抽出することができる。その結果は、奥行きマップと呼ばれるものであり、コンピュータグラフィックスのＺバッファと同様にして、本発明において用いることができる。奥行きの代わりに視差を用いることは、それによって高圧縮が可能であり、分割操作を回避して、デコーダの実現を単純化することが可能であるという理由で、好ましい。ホーゲルの均一な幾何学的配置および光学特性が類似していることによって、参照ホーゲルの奥行き値は、２つの隣接ホーゲル間の距離に基づいて、正規化された視差値に変換することができる。この値は、その後、参照ホーゲルと目的ホーゲルとの間の距離によって参照ホーゲルの視差値をスケーリングすることにより、２つのホーゲル間でピクセルをワーピングするために用いることができる。
【００３９】
奥行きを視差に変換する一般的な方法（先行技術）では、奥行き値が、大きい負の値（−∞）または大きい正の値（＋∞）である場合には、どちらの場合も視差はゼロに等しくなり、その結果、奥行きの符号を失う。さらに、圧縮するためには、視差値を量子化することが非常に望ましいが、それには、先行技術では別個の演算セットが必要となる。先行技術のこれらの欠点の両方に対処して、本発明の好ましい実施形態では、奥行きの元の符号を維持しつつ、さらに、以下のように、固定小数点数演算のための量子化スケーリングを組み込んだ変換方法を用いる。
【００４０】
【数２】
0006526686.tif 000003
【００４１】
ここで、δは、ビットで表す視差値量子化精度であり、ｐｐは、ホーゲルピクセルピッチであり、Ｐは、ホーゲル間隔（またはピッチ）であり、ｆは、ホーゲルを表す仮想カメラの焦点距離である。最終値は、視差値の範囲をｎビットのワード長に制限するために、−２(n-1)＋１と２(n-1)−１の間の値で切り取られる。本発明の一実施形態では、視差精度δは、１〜１６ビットの範囲とすることができ、単純なピクセルシフトを依然として可能としつつ、精度を維持できるように、δ＝４とするなど、好ましい値が選択される。量子化された視差値を表すために用いられるビット数ｎは、システムハードウェアのアーキテクチャに依存する。８〜６４ビットの範囲の視差値ワード長ｎが典型的であるが、好ましくは、互いに離間したホーゲルに対する整数シフトを保存するために、ｎ＝１０とするなど、効率的なビット数を用いることが可能である。必要に応じて、視差値を表すために、より高いビット数ならびにその精度を用いることが可能である。この変換によって、結果として得られる視差値の＋１は、正の無限大の奥行き値（すなわち、取り込み面の前にあるオブジェクト）を表し、−１は、負の無限大の奥行き値（すなわち、取り込み面の後ろにあるオブジェクト）を表し、０は、不定の視差値を表し、例外として処理されなければならない。なお、視差を用いることは、固定小数点数演算および奥行き層の量子化を用いることによって、ハードウェアの単純さとデータ圧縮の観点から効果的であるということに留意すべきである。それにもかかわらず、本発明は、変換することなく奥行きを用いること、またはレンダリング段階におけるピクセルシフトを容易とする類似の変換も企図している。
【００４２】
［マルチ参照ＤＩＢＲ（ＭＲ−ＤＩＢＲ）２０９］
前述のように、ライトフィールド全体の一部を構成する参照ホーゲルが選択される。非参照ホーゲルは、目的ホーゲルと呼ばれる。目的ホーゲルは、参照ホーゲルのテクスチャおよび奥行きマップを用いて合成される。このプロセスは、奥行き画像ベースレンダリング（ＤＩＢＲ）としても知られている。本発明の提示される実施形態において、採用されるＤＩＢＲの２つの独特の特徴は、好ましくは、奥行きの代わりに、正規化された視差を用いることと、現状技術のＤＩＢＲアルゴリズムで一般的に見られるように、参照の数が１つまたは２つの水平に整列された参照に限定はされないことである。本発明のアプローチは、取り込み面の平面の２Ｄ構造を利用して、目的ホーゲルをカバーするために複数の参照ホーゲルを使用し、ターゲットテクスチャにおけるホールを最小限とする。このアルゴリズムは、マルチ参照ＤＩＢＲ（ＭＲ−ＤＩＢＲ）と呼ばれるものであり、図７は、採用される合成アルゴリズムのコンポーネントを示している。最初に、参照視差７０１をフォワードワーピング７０３し、すなわち、視差値を、参照ホーゲルから目的ホーゲルの位置に投影する。記載される実施形態では、参照値の元の奥行きマップから変換された視差を用いる。この視差は、隣接ホーゲル間の距離を用いて計算される。この視差値を、様々に異なる距離にあるホーゲルに投影するために用いるには、ホーゲル間の正規化距離と定義されるスケーリング係数を用いる必要がある。図８は、目的ホーゲル８０５〜８０７と、複数の参照ホーゲルの視差値をスケーリングするのに使用される参照ホーゲル８０１〜８０４のセットとの間の距離の一例を示している。図８に示す距離は、参照ホーゲルから目的ホーゲルへの水平方向および／または垂直方向のピクセルシフトの大きさを提示している。なお、視差を用いることは必須ではなく、本発明は、変換された視差値の代わりに、奥行き値を用いる実施形態も含むということに留意すべきである。量子化値の使用、および固定小数点数演算を用いるための丸め演算によって、ワーピングされた視差はアーティファクトを示すことがある。例えば、視差値の量子化によって、欠けとして知られる１〜２ピクセル幅のホールが、ワーピング後の視差に生じることがある。そこで、そのようなアーティファクトを軽減するために、視差フィルタ７０４を用いる。その後、すべての参照の結果は、相互にマージ７０５されて、合成されたライトフィールド視差マップ２１１を表す最終的な視差マップとなる。この結果を、参照ホーゲルのテクスチャと共に、バックワードワーピングブロック７０６において用いることで、合成ライトフィールドテクスチャ２１０をレンダリングする。なお、このプロシージャは、フラクショナルピクセル変位を伴う可能性があり、結果的に、依然としてマージ操作によるいくつかのホールが生じ得るということに留意すべきである。残ったホールは、インペインティングアルゴリズムによって、合成的に埋めることが可能である。例えば、インペインティングアルゴリズムの可能な一実施形態では、背景のテクスチャをホール内へと水平方向に拡張する。別の可能性は、ホールの境界のテクスチャを空の領域内に拡張するためのナビエ−ストークス・インペインティングアルゴリズムを用いることである。本発明は、ホールフィリングアルゴリズムの特定の一実施形態に限定されることなく、任意の可能な方法を用いることができる。
【００４３】
図９は、本発明のＭＲ−ＤＩＢＲで用いるバックワードワーピングの可能な実施形態の詳細を示している。それぞれの参照ホーゲルテクスチャは、整数個のピクセル位置９０１〜９０３を有するが、一方、可能性のある目的ホーゲルピクセル９０５の視差値Ｄは、非整数値であり得る。このような状況に対処する２つの可能な方法は、ＭＲ−ＤＩＢＲを用いたホーゲルテクスチャの計算において、その値を整数に丸めること、または非整数（もしくはフラクショナル）変位値を用いること、のいずれかである。合成に用いるためのより適切なテクスチャ値を補間するために、バックワードワーピング操作において、フラクショナル変位値ΔｕおよびΔｖを用いることができる。これらのデルタ値は、視差値と共に、バックワードワーピングに用いるためのより適切なテクスチャ値を補間するための重み係数として用いることができる。本発明のＭＲ−ＤＩＢＲで用いることができるバックワードワーピング７０６の実施形態の他の例は、異なる解像度でホーゲルを用いることである。この場合、バックワードワーピング７０６で用いる参照ホーゲルテクスチャは、目的ホーゲルよりも高い解像度を有し得る。前述のようにピクセルシフトによって実現されるバックワードワーピング操作を、より高い解像度の参照ホーゲルテクスチャを用いて実施し、その後、その結果を、目的ホーゲルの解像度にダウンサンプリングする。ダウンサンプリング操作には、通常は丸めおよび量子化誤差に起因する欠けおよびホールを回避するために用いることが可能なフィルタリングを組み込むことができ、合成された目的ホーゲルの最終品質を向上させることが可能であり得る。本明細書に記載の方法は、合成されたライトフィールドの最終品質を向上させるために組み込まれる本発明の可能な実施形態である。本技術および他の類似の技術は、以下で本発明の一部である。
【００４４】
［ディスプレイ適合エンコーダ１０７］
図１０を参照して、本発明の１つの可能な実施形態では、レンダリングされた参照ホーゲルを、合成されたホーゲルと共に用いて、合成ライトフィールド１００１を、すなわち図２の合成ライトフィールド視差２１１と合成ライトフィールドテクスチャ２１０を融合したものを、形成する。合成ライトフィールド１００１は、一般的に、かなりの相関を組み込むことになり、さらに圧縮することが必要となる。これは、本発明では、図１０に示すように、（以降のパラグラフで記載する）ディスプレイ適合エンコーダ１０７を用いて、合成ライトフィールドデータを圧縮することによって実現され、これにより、合成ライトフィールドデータを圧縮して、ビットストリーム１００３を生成する。ディスプレイ適合エンコーダ１０７は、データ帯域幅を大幅に低減させて、それをディスプレイ１０８に伝送することを実現可能とする。ディスプレイ適合エンコーダは、（ホーゲルのピクセルで表される）ホーゲル内でのローカル角度情報の削減を目的としており、それは、圧縮レンダリングアプローチでは利用していないものである。両アプローチの併用によって、結果的にデータレートは全体的に軽減されて、圧縮取り込みシステムは、より一層効率的となる。ディスプレイ適合エンコーダの他の利点は、ディスプレイの要求を、この段階に組み込むことが可能であり、実際のハードウェアの影響から圧縮レンダリング段階が切り離されることである。この意味で、ディスプレイ適合エンコーダは、圧縮レンダリング段階によって得られる結果と、ディスプレイにおける復号化ハードウェアと、の間のプロキシとして機能することが可能である。例えば、ディスプレイが、メモリ制限によって、そのローカル再構成アルゴリズム（ＤＩＢＲ）でマルチ参照を用いる能力を有していない場合には、参照の不足を補うために、（以下のパラグラフで説明する）残差ホーゲルを送信することが可能である。ライトフィールドディスプレイは、取り込み適合デコーダ１００４によって、（以降のパラグラフで記載するように）データをローカルに復号化して、ライトフィールド２１３を構成するホーゲルのアレイを再構成（変調）２１２する。なお、本発明では、ディスプレイに伝送する前にライトフィールドをフル再構成することは、視差情報を用いることによって回避することができ、その結果、ライトフィールド・イメージングシステムは、圧縮データのみを扱うということに留意すべきである。概して、圧縮レンダリングでは、取り込みデータを削減するために、シーンに関する知識を利用し、一方、ディスプレイ適合符号化では、データをさらに圧縮するとともに、ディスプレイにとって最も有用であろう形式でフォーマットするために、ディスプレイのハードウェア、ソフトウェア、および光学的能力に関する知識を利用する。ディスプレイ適合符号化において考慮することができるディスプレイの能力として、ディスプレイの処理能力、ディスプレイのインタフェース要件、ディスプレイにおけるホーゲル数、ホーゲルレンズのレンズレットｐｓｆ（点広がり関数）、ディスプレイの視距離、ディスプレイの推定奥行き範囲、ディスプレイで使用可能なメモリ量、ディスプレイのリフレッシュレート、ディスプレイの視野角、ディスプレイのピクセルピッチ、ディスプレイのピクセル数、ディスプレイの変調能力、ディスプレイの変調速度、ディスプレイの変調モード、などが含まれるが、ただし、これらに限定されない。
【００４５】
本発明のディスプレイ適合エンコーダの１つの可能な実施形態では、高圧縮を実現すると同時に、ディスプレイシステムの処理およびメモリ上の厳しい制約に対処する目的で、並列符号化／復号化アーキテクチャを用いる。本発明のディスプレイ適合圧縮は、ホーゲルのサブセットを符号化することによって、ディスプレイ側での並列復号化を可能としており、その各々は本明細書において処理ノード（ＰＮ）と呼ばれる。本発明のディスプレイ適合エンコーダにより可能とされる並列復号化によって、ディスプレイ側での処理は、ライトフィールドデータの処理で要求されるスループットおよびメモリを実現するために、各ＰＮを並列に動作させることにより、高度に並列化可能とすることができ、これにより、それらのホーゲルの個々のサブセットを並列に復号化し、一括してライトフィールド全体を再構成する。なお、留意すべきことは、本発明のディスプレイ適合エンコーダは、ディスプレイ側でのハードウェアの選択、ならびにその処理スループットおよびメモリ能力に適合するように設計可能であるということである。これは、本発明のディスプレイ適合エンコーダの重要な特徴であり、なぜなら、これによって、本発明の３Ｄ圧縮イメージングシステムは、絶えず進歩する半導体技術ならびにその結果として得られる処理スループットおよびメモリの漸進的向上を最大限に活用することが可能となるからである。本発明の様々な実施形態において、ディスプレイ適合エンコーダは、様々に異なる数のホーゲルを同時に処理することも可能であり、さらに、空間多重化ピクセルおよび／または時間多重化ピクセルなど、様々に異なるピクセル変調形式を利用することも可能である。本発明のディスプレイ適合エンコーダのいくつかの変形例について、以下のパラグラフで記載する実施形態において解説している。
【００４６】
本発明のディスプレイ適合エンコーダを実現するために用いられるライトフィールドのライトフィールドホーゲル分割の一例は、Ｎ×Ｎホーゲルを含む独立な領域に、ホーゲルアレイを分割することである。本発明の他の実施形態では、ライトフィールドを独立なホーゲル領域に分割しないことがあり、または様々に異なるサイズのホーゲル領域を用いることがあり、これらは本説明に含まれる。Ｎ＝４の値を用いる場合、それは、１６ホーゲルを含む４×４のサブアレイが、１つのＰＮによって一緒に処理されることを意味する。Ｎの値は、本発明のディスプレイ適合エンコーダの構成パラメータであり、これは、ディスプレイの処理能力に応じて決定されるものであって、提示された例のＮ＝４の値に限定されることなく、すべてのホーゲルが独立に処理（符号化または復号化）される場合の、１から、すべてのホーゲルが一緒に処理される場合の、ライトフィールド全体までの範囲であり得る。ＰＮホーゲル領域ごとに、それらのホーゲルの行走査を実施して、ホーゲルのシーケンスを生成する。図１１は、そのようなホーゲル領域の１つに対するＰＮ符号化プロセスの詳細を示している。この実施形態では、ＰＮホーゲル領域内の、本明細書で各々を「シードホーゲル」と呼ぶ１つ以上のホーゲルは独立に符号化される一方、個々のＰＮホーゲル領域内の、本明細書で「残差ホーゲル」と呼ぶ残りのホーゲルは、選択されたシードホーゲルに対して相対的に符号化される。シードホーゲルは、参照ホーゲルのうちの１つであっても、そうでなくてもよく、シードホーゲルは、好ましくは、個々のＰＮ領域内の残差ホーゲルのために必要となるビット数を最小化する傾向がある何らかのメトリックに基づいて選択されるものであり、一方、参照ホーゲルは、好ましくはホールがないか、またはシステムの帯域幅との整合で、カバーされ得る少なくとも許容可能もしくは最小限のホールおよび欠けを伴って、３Ｄ画像全体を再構成するために、３Ｄ画像全体のための十分なライトフィールドデータを提供するように選択されたものである。
【００４７】
図１１を参照して、シードホーゲルのテクスチャ１１０２および視差１１０１は、それぞれシードホーゲルテクスチャ・エンコーダ１１０７およびシードホーゲル視差エンコーダ１１０６によって符号化される。処理される符号化の詳細については、以下のパラグラフで説明する。シードホーゲルを用いて残差ホーゲルを符号化するためには、エンコーダとデコーダの両方で、同じ参照を用いることが重要である。シードホーゲルのテクスチャに用いられる符号化方式はロスレスではないので、図１１に示すシードテクスチャ・エンコーダ１１０７は、内部復号化ループを含んでおり、これは、デコーダによって使用されるものと同じテクスチャであるシードホーゲルテクスチャ１１０５を再構成する。図１１に示す残差符号化プロセスでは、シードホーゲル視差１１０１を参照として用いて、残差ホーゲル視差１１０４を符号化１１０９する。残差ホーゲルテクスチャ１１０３は、シードホーゲル視差１１０１、残差ホーゲル視差１１０４、および再構成されたシードホーゲルテクスチャ１１０５を用いて、符号化１１０８される。すべてのエンコーダの結果は、ビットストリーム１００３に集約される。
【００４８】
図１２は、シードホーゲルテクスチャ符号化１１０７の詳細を示している。シードホーゲルテクスチャ１１０２を、ｋ×ｋピクセルのブロックにセグメント化１２０１する。ピクセルのブロックごとに、シードホーゲルテクスチャ値を、ある固定値によってレベルシフト１２０２させ、すなわち、正と負の値を得るために、テクスチャピクセル値を、ピクセル値の可能なレンジの中央値によって減算する（８ビットレンジの場合は、１２８である定数値を用いる）。次に、シードホーゲルピクセルの色空間を、カラーチャネルを無相関化する色空間に変換１２０３する。本実施形態の場合の色空間変換の一例は、ＲＧＢからＹＣｏＣｇへの色変換（非特許文献１３［３０］）であるが、しかし、制限されることなく他の色空間を用いることもでき、それには、限定するものではないが、ＹＵＶまたはＹＣｂＣｒが含まれる。次に、ＤＣＴ変換または整数変換などのようなブロック変換１２０４を、カラーチャネルの各々に適用する。この変換によって、シードホーゲルブロックのエネルギーを、ごく少数の係数に集中させる。次に、ブロック変換係数のエネルギーの統計および分布に応じて調整されたスケーリングパラメータを用いて、それらの係数を量子化１２０５する。シードホーゲルは、後に参照として用いられるので、ブロック変換係数の品質は、可能な限り維持されることが必要となる。次に、ＤＰＣＭ方式１２０６を用いて、通常はブロックの情報のほとんどを含んでいるＤＣ係数を別に符号化する一方、例えばジグザグ走査およびランレングス符号化１２０７を用いて、ＡＣ係数を走査および符号化する。最後に、好ましくは、ハフマンエントロピーエンコーダ、コンテキスト適応型２値算術エンコーダ（ＣＡＢＡＣ）、またはコンテキスト適応型可変長コーダ（ＣＡＶＬＣ）などを用いて、ビットストリームをエントロピー符号化１２０８する。シードホーゲルは、残差ホーゲルを符号化するための参照として用いられるものであり、このことは、エンコーダとデコーダの双方で同じシードホーゲル値を用いなければならないことを意味する。量子化ブロックで、テクスチャ値に損失が導入されるため、デコーダによって再構成されるシードホーゲルは、エンコーダ側での元のシードホーゲルとは異なる。そこで、エンコーダとデコーダの双方で同一の参照を用いるために、デコーダ側で使用される再構成シードホーゲルテクスチャ１１０５を生成するための復号化ループが、エンコーダに追加される。復号化ループは、符号化の逆演算である逆量子化ブロック１２０９、逆変換１２１０、色空間逆変換１２１１、および逆レベルシフト１２１２で構成される。なお、本発明の範囲は、図１２に示すような本パラグラフに記載の符号化の手順および方法に限定されることなく、本発明の文脈の範囲内で、別の符号化の方法、アルゴリズム、および実現も可能であるということに留意すべきである。
【００４９】
図１３は、シードホーゲル視差符号化１１０６の詳細を示している。シードホーゲルのテクスチャ符号化と視差符号化との間に依存性はないので、テクスチャと視差の符号化は独立に、利用できる処理能力に応じて同時または順次に、実行することが可能である。視差値を符号化するために、最初に、それらの値の行走査１３０１を実行し、次にランレングス符号化１３０２を実行する。最後に、それらの値を、エントロピー符号化１２０８してビットストリームに追加し、このとき、エントロピー符号化は、好ましくは、ハフマンエントロピーエンコーダ、コンテキスト適応型２値算術エンコーダ（ＣＡＢＡＣ）、またはコンテキスト適応型可変長コーダ（ＣＡＶＬＣ）などを用いて実行する。本実施形態では、視差情報の圧縮は、いかなる損失も伴うことなく実施されるが、非可逆圧縮方式などの他の視差圧縮方式を用いることもできる。ただし、テクスチャと同様に、非可逆方式を採用する場合は、エンコーダは、圧縮視差マップを再構成してデコーダとの同期を維持するための復号化ループを有していなければならないということに留意すべきである。なお、本発明の範囲は、図１３に示すような本パラグラフに記載の符号化の手順および方法に限定されることなく、本発明の文脈の範囲内で、別の符号化の方法、アルゴリズム、および実現も可能であるということに留意すべきである。
【００５０】
図１４は、残差ホーゲル視差符号化１１０９の詳細を示している。図１４に示すように、残差ホーゲル視差１１０４とワーピングされたシード視差（すなわち、図２ｂのＭＲ−ＤＩＢＲ２０９プロシージャについて説明したのと同じ方法を用いる奥行き画像ベースレンダリング（ＤＩＢＲ）１４０１を適用した後のシフトされたシード視差）との差分値を、ｋ×ｋピクセルのブロックにセグメント化１２０１し、そしてブロックのほとんどは、ゼロである可能性があるため、非ゼロ値のみを、さらに処理する。その場合、それらの非ゼロ値を、さらに処理する前に、走査（例えば、ジグザグ走査）およびランレングス符号化１２０７し、さらにハフマン符号化１２０８する。図１５は、残差ホーゲルテクスチャ符号化１１０８の詳細を示している。図１５を参照して、ＤＩＢＲブロック１４０１では、再構成されたシードホーゲルテクスチャ１１０５、シードホーゲル視差１１０１、および残差ホーゲル視差１１０４を用いて、残差ホーゲルテクスチャの視差補償された再構成を生成する。この視差補償された再構成は、残差ホーゲルテクスチャの予測として用いられるものであり、シードホーゲルピクセルを残差ホーゲル位置にシフトすることにより形成される。このワーピング操作で、ホールが生じることがある。ブロックベース変換符号化を用いて、このワーピング操作によるホールおよび合成誤差をいずれも符号化する。シードホーゲルテクスチャ符号化のプロセスと同様に、残差ホーゲルテクスチャ１１０３とその視差補償予測との差分を、ｋ×ｋピクセルのブロックに分割１２０１し、それらの色空間を変換１２０３し、変換１２０４し、量子化１２０５し、走査およびランレングス符合化１２０７する。その結果を、エントロピー符号化１２０８して、ビットストリームに追加する。なお、本発明の範囲は、図１４に示すような本パラグラフに記載の符号化の手順および方法に限定されることなく、本発明の文脈の範囲内で、別の符号化の方法、アルゴリズム、および実現も可能であるということに留意すべきである。
【００５１】
［適応ホーゲル符号化レートの最適化］
本発明のディスプレイ適合エンコーダの１つの重要な機能は、ライトフィールド・ディスプレイシステムの各種コンポーネント間で使用できるインタフェース帯域幅の適応割り当て、または同義で、圧縮アルゴリズムのビットレート割り当てである。３Ｄディスプレイシステムによって過剰なインタフェース帯域幅が必要とされることを考えると、使用可能なインタフェースデータレート（またはビットレート）は、ほとんどすべての３Ｄディスプレイシステムにおいて主なボトルネックであると考えられる。本発明の３Ｄ圧縮イメージングシステムでは、シードホーゲルは参照として用いられるので、これらのホーゲルは、その品質を可能な限り維持するために、より多くのビットを用いて符号化されるとともに、インタフェースデータレート（またはビットレート）の割り当てにおいて優先される一方、残差ホーゲルを符号化するためのパラメータは、使用可能なインタフェースデータレートの制約を受けて、適応的に選択される。図１６および図１７は、それぞれシードホーゲルと残差ホーゲルに対して、本発明でビットレートを適応的に割り当てるために適用する方法を示している。図１６を参照して、シードホーゲルのテクスチャおよび視差の符号化に使用可能なビット総数を計算１６０１する。符号化量子化ステップサイズを最適化するために、その視差を符号化するのに最多数のビットを必要とするシードホーゲルのテクスチャを選択１６０２する。図１２の量子化ブロック１２０５で用いる符号化量子化ステップサイズによって、テクスチャの係数に保持される情報のレベルを制御し、ひいてはテクスチャの符号化に使用されるビット数を制御する。量子化ステップが大きいほど、歪みを取り込む可能性という代償を払って、ホーゲルの符号化に必要なビット数を減らすことが可能である。このシードホーゲルテクスチャの符号化に使用可能なビットレートを、使用可能な総ビットレートから視差情報およびヘッダ情報の符号化に必要なレートを減算することにより、決定１６０３する。シードホーゲルテクスチャの符号化における歪みの可能性が結果的に最小となる符号化量子化ステップパラメータを選択１６０４し、そして、その対応する符号化量子化ステップサイズを用いて、シードホーゲルテクスチャの符号化に必要なビットレートを計算１６０５する。計算したビットレートが、使用可能なビットレートよりも低い場合１６０７は、その選択された量子化ステップをホーゲルの符号化に使用し、それ以外の場合は、量子化ステップを増加させて、ビットレート計算を、もう一度、再評価する。これを、使用可能なビットバジェット内でシード参照ホーゲルの符号化を可能とする量子化ステップが見つかるまで続ける。図１７を参照して、符号化された残差ホーゲルの帯域幅を使用可能なビットレートに適合させるために採用することができるいくつかの可能な符号化モード１７０１があり、それは、補正テクスチャ、視差を送信する、あるいはホーゲルをスキップして、使用可能な予測のみ用いる、などである。残差ホーゲルの符号化に必要なビットレートに対して、そのようなモードのいずれか１つをそれぞれ用いる場合の実現可能性および結果的な品質を評価し、そして、実現不可能である符号化モードは、選択肢として削除１７０２する。また、結果的に帯域幅が、使用可能なビットレートよりも大きくなる符号化モードも削除１７０３する。残りの符号化モードからの選択１７０４は、ラグランジュコスト最適化を用いて実現し、その場合、コスト関数は、選択された品質メトリック（例えば、最小歪み）に、ビットレートのλ倍を加算したものによって定義され、このとき、λは、量子化ステップから導出されるパラメータである。残差ホーゲル符号化帯域幅の最適化では、使用可能なビットレートを考慮して、最小のコスト関数を有する符号化モードを選択し、その使用されるビット量を、残差ホーゲル符号化に使用可能な総ビット量から減算１７０５し、そして、選択された品質メトリックを維持するために、帯域幅が不足している場合にのみ、より少ないビットを使用する符号化モードを採用する。
【００５２】
［圧縮ライトフィールドの復号化］
図１８は、ライトフィールドディスプレイで受信したビットストリームの復号化フローを示しており、取り込み適合デコーダ１００４に関するさらなる詳細を提示している。本発明の取り込み適合デコーダの主な長所の１つは、ライトフィールドディスプレイで圧縮ビットストリームを受信して、ライトフィールドを再構成するために、直接、そのビットストリームを復号化することである。本発明のホーゲル圧縮は、ディスプレイ側でホーゲル展開に利用できる計算能力に適合するように実施されるため、直接の復号化を実現できる。ディスプレイ側において、複数のデコーダ１００４で、ビットストリームを受信し、そして、従来の展開技術で用いられる伸長データアプローチの使用を回避しつつ、ライトフィールドを再構成するために、圧縮ドメインにおいてのみ処理を実行する。全ライトフィールドの再構成のための十分な処理能力を確保するために、複数のデコーダ１００４が並列動作する場合、各デコーダは、全ライトフィールドの一部のみの再構成を担当する。ライトフィールドディスプレイは、符号化されたビットストリームを受信して、最初にエントロピー復号化１８０１を実行する。ビットストリームは、典型的には、パケットタイプおよびディスプレイ面上での関連ホーゲルの座標を識別するヘッダを用いてパケット化されている。デコーダ１００４は、受信したヘッダを解析して、自身が担当するライトフィールドのホーゲルのみを展開する。種々のライトフィールド情報を通知するために、いくつかのパケットタイプを使用し、そのようなパケットの４つのタイプは、ディスプレイによってさらに復号化する必要がある実際のホーゲルペイロード情報を格納しており、それらは、シードホーゲルテクスチャ、シードホーゲル視差、残差ホーゲルテクスチャ、および残差ホーゲル視差である。シードホーゲルテクスチャには、符号化側の逆演算を、ライトフィールドディスプレイ側で実行し、その場合、ＤＣ係数は、ＤＰＣＭ復号化１８０２によって取得される一方、他の係数は、ランレングス復号化および走査１８０３によって取得される。受信したシードホーゲルテクスチャデータを、さらに逆量子化１２０９し、逆変換１２１０し、色空間逆変換１２１１し、逆レベルシフト１２１２することで、再構成シードホーゲルテクスチャ１１０５を生成する。受信したシードホーゲル視差データを、ランレングス復号化１８０４することで、シードホーゲル視差１１０１を生成する。そして、再構成されたシードホーゲルテクスチャ１１０５とシードホーゲル視差１１０１の両方を、ディスプレイのローカルメモリに保存する。受信した残差ホーゲル視差データを、ランレングス復号化および走査１８０９することで、残差ホーゲル視差１１０４を生成する。受信した残差ホーゲルテクスチャデータを、ランレングス復号化１８０３し、走査１８０３し、逆量子化１２０９し、逆変換１２１０し、色空間逆変換１２１１して、残差ホーゲルテクスチャ１８０５を生成する。ＤＩＢＲブロック１４０１では、シードホーゲル視差１１０１を取得して、それを残差ホーゲル位置にフォワード投影する。受信した残差ホーゲル視差１１０４は、この操作において誤差を補正することが可能である。結果として得られるホーゲル視差を用いて、保存されている再構成シードホーゲルテクスチャ１１０５を、残差ホーゲル位置にバックワード投影する。このテクスチャは、再構成された残差テクスチャ１８０５によって補完される。併合されたテクスチャは、ディスプレイの変調ピクセルのサブセット１００５である。なお、上記の復号化フローにおいて、ＤＩＢＲブロックでは、ディスプレイにおけるメモリの使用を最小限とするために、ただ１つのシードホーゲルのみを用いているが、これに代えて、前述のように、ＭＲ−ＤＩＢＲプロセスと組み合わせて、複数のシードホーゲルを用いることもできるということに留意すべきである。
【００５３】
［動的圧縮ライトフィールドディスプレイ］
ライトフィールド内のオブジェクトの動きを再生するように、ライトフィールドが時間とともに変化する場合、それは、ライトフィールド動画または動的ライトフィールドと呼ばれる。動的ライトフィールドでは、ライトフィールドは、以下の特性の１つ以上を有していることによって圧縮に適していると想定されるのが一般的である：空間相関（オブジェクトは滑らかである）、時間相関（オブジェクトの動きは、ライトフィールドのリフレッシュレートに対して相対的に遅い）角度相関（異なる角度から観視したときに、オブジェクトはいくらか類似している）。現状技術の圧縮技術では、画像データを、より少数ビットを用いて表現するために、その冗長性を利用する。空間相関および時間相関は、画像・ビデオ圧縮において一般的に利用される２つの特性である。空間相関および時間相関に起因してデータに内在する冗長性を、予測（イントラ予測および動き推定）によって低減させ、これにより、残差情報（すなわち、原信号と予測信号との差分）を、より少数ビットで符号化することが可能であり、圧縮が実現される。残差の非可逆符号化への一般的アプローチは、変換−量子化−符号化の枠組みを適用することであり、その場合、量子化によって信号のエントロピーを低減させることで、エントロピー符号化段階において、より高圧縮が実現するものの、信号品質の低下を伴う。ほとんどの圧縮アルゴリズムでは、人間の視覚システム（ＨＶＳ）の特性を利用して、観視者によって知覚されない品質損失を導入する。動的３Ｄデータの場合には、ビュー間の類似性を考慮する。ビュー間の相関によって、視差推定と呼ばれるプロセスで、前に符号化されたビューから現在のビューを予測することが可能となる。さらに最近では、３Ｄビデオ圧縮技術において、コンピュータグラフィックス・レンダリングの概念を用いて、近傍のテクスチャおよび奥行き値から近傍ビューの予測を生成（ビュー合成予測）し、多視点画像のより高圧縮を実現する（非特許文献１４［３１］）。予測を用いて信号の冗長性を低減するためには、参照データを保存するためのメモリが必要となる。
【００５４】
複雑な予測方式は、エンコーダ／デコーダ・アーキテクチャを複雑にして、メモリ所要量を増加させ、さらに場合によっては、符号化／復号化ブロック間に依存関係を生じさせる可能性があり、これは、何らかの設計規定を圧縮レンダリングおよびディスプレイ適合プロセスに組み込まない限り、並列処理の実現を妨げる可能性がある。本発明の１つの可能な実施形態では、本発明の圧縮レンダリングおよびディスプレイ適合エンコーダの並列処理ノード（ＰＮＳ）は、前述のような単層ではなく、階層圧縮とも呼ばれる多層の階層で実現される。本発明の圧縮レンダリングおよびディスプレイ適合エンコーダのこのような一般化によって、ＰＮクラスタ内のノード間接続と同様に、ＰＮクラスタ間のデータ接続が可能となる。そのようなＰＮクラスタのデータ接続は、過剰なメモリ要求を回避するために、圧縮ドメインにおけるより上位の並列処理層において実現することが可能である。実施形態の一態様では、動的ライトフィールドのリフレッシュサイクル間の時間的変化を、指数シフトさせたディスプレイ適合符号化ホーゲルを用いて符号化することができ、それらは、連続する動的ライトフィールド・リフレッシュサイクルで、より上位の処理層からライトフィールドディスプレイ層に送信される。この実施形態の他の態様では、本発明の圧縮レンダリングプロセスの参照ホーゲル選択プロセスを、動的ライトフィールド・リフレッシュサイクルごとに再評価し、ライトフィールドにおいて時間的変化を反映するために、連続するリフレッシュサイクル間で参照ホーゲルを削除または追加する。何らかのメトリックを超えた場合には、連続するリフレッシュサイクル間で、時間的変化を記述するために、関連するライトフィールド領域の合成を繰り返す。階層構造は、デコーダ側で、エンコーダの階層アーキテクチャと同様に、複製することが可能である。上位の並列処理層によって、処理ノードは、シードホーゲルなどのデータを共有することができ、これにより、データの階層展開、およびデータレートのより一層の低減が可能となる。
【００５５】
さらに、本発明は、時間相関ツールを用いて動的ライトフィールドを圧縮する符号化方法も含む。例えば、本発明では、ホーゲルデータに対して動き推定および動き補償などの技術を用いることができるが、ただし、これらに限定されない。本発明の動的ライトフィールドの実現において、ハードウェアフットプリントを減少させる１つの方法は、同様の機能を実現するハードウェア要素を再利用することである。例えば、動き補償（ＭＣ）と奥行き画像ベースレンダリング（ＤＩＢＲ）は、シグナルフローへの若干の適応を伴って同じハードウェアを用いて実現することができる。ＤＩＢＲハードウェアコンポーネントは、ピクセルごとの視差値および所定のスケーリング係数によって決まる与えられた変位値に応じて、ホーゲルテクスチャデータを新たな位置に移行させることを担う。前述のように、視差値は、シードホーゲルと目的ホーゲルとの間の距離で乗算されるものであって、その値は、目的ホーゲルの予測として用いるために、シードのテクスチャを読み出すためのアドレッシング方式として機能する。この操作は、動きベクトルを時間参照テクスチャ（通常は、過去に符号化されたフレーム）へのアドレッシングポインタとして用いて、それを現在の信号の予測として用いる動き補償技術との多くの類似性を示している。従って、本発明の一実施形態では、動的ライトフィールドの動き補償の実現で、本発明の一部として前述した利用できるＤＩＢＲ処理ブロックを利用し、その場合、あるライトフィールドリフレッシュ期間から次のリフレッシュ期間までの変化と解釈される第１のライトフィールドオブジェクトの動きを、図１９に示すように垂直成分および水平成分に分割する。ライトフィールドデータブロック１９０６において、ライトフィールドリフレッシュ時刻ｔ＋１にライトフィールド動き補償を実行するために、ライトフィールドリフレッシュ時刻ｔに得られたライトフィールドデータブロック１９０１を、シードホーゲルとして用いる（本発明の文脈の範囲内でのシードホーゲルの定義および使用に関する前述の解説を参照）。この場合、目的ホーゲルは、同じ位置のホーゲルであり、ライトフィールドリフレッシュ時刻のみが異なり、シードホーゲルと目的ホーゲルとの間の距離は、シードホーゲルの水平方向の動き補償を実行するために、（０，０）から（１，０）に人工的に変更される。なお、そのブロックの元の位置は、新たなテクスチャを受け取る必要がある場合があり、それは、残差テクスチャブロック１９０３を送信することによって実現可能であるということに留意すべきである。次に、同じ手順を繰り返し１９０４、今度は動きベクトルの垂直成分を受け取り、ＤＩＢＲ処理ブロックにおいて、シードホーゲルと目的ホーゲルとの間の距離を（０，０）から（０，１）に人工的に変更する。最後に、残りの残差テクスチャを処理１９０５し、その結果得られるブロックは、動き補償されたシード参照である。動的ライトフィールドの動き補償の記載の実現は、ブロック変位を２ステップで実行する必要があるため、結果的に、従来の動き補償よりも多くの残差情報を送信することになる場合がある。しかしながら、ハードウェア実現における節約によって、圧縮性能の損失を正当化することができる。本発明の別の実施形態では、ディスプレイが適切なフレームバッファを有していることを条件として、シードホーゲルおよび目的ホーゲルの符号化および復号化に用いられるのと同じＤＩＢＲハードウェアブロックを用いて、水平方向および垂直方向の動き補償を同時に並列に実行することにより、上記の動的ライトフィールド動き補償を実施することが可能な、より複雑なハードウェア実現が企図される。
【００５６】
処理速度の向上を伴って、大量のデータに対処する他の方法は、入来データストリームを時間多重化して、より小さなデータのサブセットを順次処理することである。角度情報を表現するためには、空間多重化を適用することが必要となる。これらのピクセルの処理は、同様に角度情報に従って順序付けることが可能であり、角度情報のより小さなセットが一度に処理されるように、ディスプレイの視野を分割することが可能である。特許文献１８，１９［３２，３３］は、光の角度セグメントを時間変調することによりライトフィールドを構築するライトフィールド変調器について記載している。このようなライトフィールド変調器では、ライトフィールドのセグメント化を用いることで、最小限の変調面空間フットプリントを用いて、最大限のライトフィールド角度範囲または視野（ＦＯＶ）、ならびに角度分解能が実現される。最小限の変調面空間フットプリントを用いて最大限のＦＯＶおよび角度分解能が実現されることは、高解像度ＶＡＣフリー・フルパララックス３Ｄ観視体験を実現するために重要である。
【００５７】
本発明の一実施形態では、特許文献１８，１９［３２，３３］に記載のライトフィールド変調器のライトフィールド・セグメント化を利用して、本発明のライトフィールド圧縮レンダリングおよびディスプレイ適合圧縮を実現する。特許文献１８，１９，２２［３２，３３，３６］は、ライトフィールド・イメージングシステムの回転（関節動作）および並進移動（ライトフィールドエミッタおよび／またはフォトダイオードアレイの移動）により、ライトフィールドデータを時間多重化する方法について記載している。特許文献１８，１９，２２［３２，３３，３６］に記載の方法を用いたライトフィールド・ディスプレイシステムでは、取り込みから表示まで、本発明の圧縮方法のすべてを時間多重化で実行することが可能である。これによって、表示ピクセル、メモリ、圧縮ライトフィールドデータなどを再利用することにより、取り込みおよびディスプレイシステム資源のより効率的な利用が可能となり、特許文献１８，１９，２２［３２，３３，３６］に記載の他の効果に加えて、ＦＯＶの拡大および／または解像度の向上を実現することができる。特許文献１８，１９［３２，３３］に記載のライトフィールド変調器の文脈の範囲内で、本発明のライトフィールド圧縮方法を適用することの効果は、（１）特許文献１８，１９［３２，３３］のライトフィールドのライトフィールド・セグメント化によって、ライトフィールドを「多重化セグメント」に分割し、これにより、そのような各セグメントは、かなりのセグメント内相関を含むことになり、これを、本発明の圧縮レンダリングおよびディスプレイ適合圧縮において利用することが可能である；（２）特許文献１８，１９［３２，３３］のライトフィールド・セグメント化によって、全ライトフィールドは、ホーゲル変調群に自然に分割され、これを、本発明の文脈の範囲内で適用されるライトフィールド分割として、圧縮レンダリングの参照ホーゲル領域の選択、およびディスプレイ適合圧縮復号化のシードホーゲルの群化のために直接用いることができる；（３）特許文献１８，１９［３２，３３］のライトフィールドの時間多重化によって、本発明のディスプレイ適合圧縮のデコーダ資源の効率的な順次使用が可能となる；（４）特許文献１８，１９［３２，３３］のライトフィールド・セグメント化によって、全ライトフィールドは、ホーゲル変調群に自然に分割され、これを、本発明の圧縮レンダリングおよびディスプレイ適合圧縮の上記並列実現のための基礎として直接用いることができる。
【００５８】
添付の請求項において、および添付の請求項によって、規定されるその範囲から逸脱することなく、本発明の実施形態に種々の変形および変更を適用できることは、当業者であれば容易に理解できるであろう。なお、本発明の上述の例は単なる例示的なものにすぎず、本発明は、その趣旨または本質的特徴から逸脱することなく、他の具体的な形態で実施することができることは、理解されるべきである。例えば、上述の実施形態の図９に示すようなバックワードワーピングに線形補間を用いることについて記載したが、補間画像において向上した精度を得るために、２次または３次などの他のタイプの補間を採用することも可能である。よって、開示された実施形態は、いかなる意味においても限定的なものとみなされるべきではない。本発明の範囲は、上記の説明によってではなく、添付の請求項によって示され、その均等物の意味および範囲内でのあらゆる変更は、本発明の範囲内に含まれるものとする。
【図１ａ】
0006526686.tif 000004
【図１ｂ】
0006526686.tif 000005
【図２ａ】
0006526686.tif 000006
【図２ｂ】
0006526686.tif 000007
【図３】
0006526686.tif 000008
【図４】
0006526686.tif 000009
【図５】
0006526686.tif 000010
【図６】
0006526686.tif 000011
【図７】
0006526686.tif 000012
【図８】
0006526686.tif 000013
【図９】
0006526686.tif 000014
【図１０】
0006526686.tif 000015
【図１１】
0006526686.tif 000016
【図１２】
0006526686.tif 000017
【図１３】
0006526686.tif 000018
【図１４】
0006526686.tif 000019
【図１５】
0006526686.tif 000020
【図１６】
0006526686.tif 000021
【図１７】
0006526686.tif 000022
【図１８】
0006526686.tif 000023
【図１９】
0006526686.tif 000024