(57)【特許請求の範囲】
【請求項１】
第１の視野の高いダイナミックレンジ画像と第２の視野の高いダイナミックレンジ画像とをエンコードするためのエンコード装置であって、
第１の視野の高いダイナミックレンジ画像と第２の視野の高いダイナミックレンジ画像とを受信する第１及び第２のＨＤＲ画像受信器と、
第１の視野の高いダイナミックレンジ画像の低いダイナミックレンジ表現から第１の視野の高いダイナミックレンジ画像を予測する予測器と、
少なくとも第１の視野の高いダイナミックレンジ画像及び第２の視野の高いダイナミックレンジ画像の低いダイナミックレンジ表現から最善の予測である第２の視野の高いダイナミックレンジ画像を予測する視野予測器とを有する、エンコード装置。
【請求項２】
前記最善の予測は、マクロブロックに対する最も低い余りをもたらす、請求項１に記載のエンコード装置。
【請求項３】
前記低いダイナミックレンジ表現からの予測は、複数の連続的な画像に対して用いられるマッピングを用いる、請求項１又は２に記載のエンコード装置。
【請求項４】
参照として前の第１の視野の低いダイナミックレンジ表現と高いダイナミックレンジ画像とからマッピングを生成し、生成された前記マッピングは第１の視野の同じシーンの連続的な画像の高いダイナミックレンジ画像を予測するのに使用するために適用できる、請求項１乃至３の何れか一項に記載のエンコード装置。
【請求項５】
前記予測器は、更に、前記低いダイナミックレンジ表現の空間領域に対する深度指標に基づいて第１の視野の高いダイナミックレンジ画像を予測する、請求項１乃至４の何れか一項に記載のエンコード装置。
【請求項６】
高いダイナミックレンジの第１の視野の画像及び高いダイナミックレンジの第２の視野の画像が、高いダイナミックレンジの第２の視野の画像に依存することなしに高いダイナミックレンジの第１の視野の画像がエンコードされ、高いダイナミックレンジの第２の視野の画像が高いダイナミックレンジの第１の視野の画像からのデータを使用してエンコードされて、共同でエンコードされ、エンコードされたデータは、高いダイナミックレンジの第１の視野の画像のためのデータを有する主要なデータストリームと、高いダイナミックレンジの第２の視野の画像のためのデータを有する第２のデータストリームとを含む別々のデータストリームへ分離され、前記エンコード装置は、前記主要なデータストリーム及び第２のデータストリームをインターリーブ態様でエンコードされた出力データストリームへと多重化し、前記主要なデータストリーム及び第２のデータストリームのためのデータに別々の識別コードを供給する出力プロセッサを有する、請求項１に記載のエンコード装置。
【請求項７】
少なくとも一つの予測器が予測画像を格納するための幾つかの画像メモリに接続されている、請求項１に記載のエンコード装置。
【請求項８】
全ての予測器は、低いダイナミックレンジ表現から高いダイナミックレンジ表現へ予測するため、画像のシーンの異なる視野間の予測のための両方に使用される標準予測半導体技術形態又は標準予測ソフトウェア形態として実現される、請求項７に記載のエンコード装置。
【請求項９】
第１の視野の高いダイナミックレンジ画像と第２の視野の高いダイナミックレンジ画像とを得るためのデコード装置であって、第１の視野のエンコードされた低いダイナミックレンジ画像を受信する第１の受信器と、第１の視野の高いダイナミックレンジ画像データを受信する第２の受信器と、第２の視野に関係する画像データを受信するための第３の受信器と、第１の視野のデコードされた低いダイナミックレンジ画像と第１の視野の高いダイナミックレンジ画像データとから第１の視野の高いダイナミックレンジ画像を予測する予測器と、少なくともａ）第１の視野の高いダイナミックレンジ画像、及びｂ）第２の視野の高いダイナミックレンジ画像のデコードされた低いダイナミックレンジ表現に基づいて、第２の視野の高いダイナミックレンジ画像を得る視野予測デコーダとを有する、デコード装置。
【請求項１０】
前記予測器が、更に、第１の視野に対して取り出された深度情報に基づいて第１の視野の高いダイナミックレンジ画像を予測する、請求項９に記載のデコード装置。
【請求項１１】
第１の視野の高いダイナミックレンジ画像及び第２の視野の高いダイナミックレンジ画像をエンコード装置によりエンコードする方法であって、前記エンコード装置は第１のＨＤＲ画像受信器、第２のＨＤＲ画像受信器、予測器及び視野予測器を有し、第１の視野の高いダイナミックレンジ画像を第１のＨＤＲ画像受信器により受信し、第２の視野の高いダイナミックレンジ画像を第２のＨＤＲ画像受信器により受信するステップと、第１の視野の高いダイナミックレンジ画像の低いダイナミックレンジ表現から第１の視野の高いダイナミックレンジ画像を前記予測器により予測するステップと、少なくとも第１の視野の高いダイナミックレンジ画像及び第２の視野の高いダイナミックレンジ画像の低いダイナミックレンジ表現から最善の予測である第２の視野の高いダイナミックレンジ画像を前記視野予測器により予測するステップとを有する、方法。
【請求項１２】
前記最善の予測は、マクロブロックに対する最も低い余りをもたらす、請求項１１に記載の方法。
【請求項１３】
前記低いダイナミックレンジ表現からの予測は、複数の連続的な画像に対して用いられるマッピングを用いる、請求項１１又は１２に記載の方法。
【請求項１４】
参照として前の第１の視野の低いダイナミックレンジ表現と高いダイナミックレンジ画像とからマッピングを生成し、生成された前記マッピングは第１の視野の同じシーンの連続的な画像の高いダイナミックレンジ画像を予測するのに使用するために適用できる、請求項１１乃至１３の何れか一項に記載の方法。
【請求項１５】
第１の視野の高いダイナミックレンジ画像及び第２の視野の高いダイナミックレンジ画像を得るため少なくとも２つの視野の高いダイナミックレンジ表現のエンコードされた画像データをデコード装置によりデコードする方法であって、前記デコード装置は第１の受信器、第２の受信器、第３の受信器、ＬＤＲデコーダ、予測器及び視野予測デコーダを有し、第１の視野のエンコードされた低いダイナミックレンジ画像を第１の受信器により受信するステップと、第１の視野の高いダイナミックレンジ画像データを第２の受信器により受信するステップと、第２の視野に関する画像データを第３の受信器により受信するステップと、第１の視野のデコードされた低いダイナミックレンジ画像を得るため第１の視野のエンコードされた低いダイナミックレンジ画像を前記ＬＤＲデコーダによりデコードするステップと、第１の視野のデコードされた低いダイナミックレンジ画像及び第１の視野の高いダイナミックレンジ画像データから第１の視野の高いダイナミックレンジ画像を前記予測器により予測するステップと、少なくともａ）第１の視野の高いダイナミックレンジ画像、及びｂ）第２の視野の高いダイナミックレンジ画像のデコードされた低いダイナミックレンジ表現に基づいて、前記視野予測デコーダにより第２の視野の高いダイナミックレンジ画像を得るステップとを有する、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低いダイナミックレンジ画像から高いダイナミックレンジ画像の生成、及び特に高いダイナミックレンジ情報を３Ｄ情報と組み合わせることに関する。
【背景技術】
【０００２】
アナログ表現及びその通信からデジタル信号表現及びその通信へ段々置き換わってきているので、様々なソース信号のデジタルエンコードは、最近益々重要になってきた。継続的な研究開発は、データレートを許容可能なレベルに保つと同時に、エンコードされた画像及びビデオシーケンスから得られる品質を改善する方法について続けられている。
【０００３】
感知される画質のための重要なファクタは、画像が表示されるとき、再生できるダイナミックレンジである。しかしながら、従来は、再生された画像のダイナミックレンジは、通常の映像に関して大幅に減らされる傾向があった。実際のシーンにおいて、異なる照明の領域の異なる対象物のダイナミックレンジは１０．０００：１以上（１４ビット線形）のダイナミックレンジに容易に相当し、ここで、まさに正確な輝度グラデーションは、全ての輝度レベルで起こり、例えば狭いビーム照明で照明される洞穴内で起こり、よって、特定の装置上の最終的な最適レンダリングがどうであれ、画像エンコードは、（例えばブルーレイディスクのような固定メモリ又は限られた帯域幅のネットワーク接続で、できるだけ少ないビットを使いながら）できるだけ有効な情報を含むことを望む。
【０００４】
伝統的に、画像センサ及びディスプレイのダイナミックレンジは、約２から３桁のオーダーに限定され、例えば従来のテレビは４０：１のダイナミックレンジの画像であり、これは、また印刷するための典型的範囲であり、すなわち、８ビットがこれらのメディアに対して十分であると考えられていたが、８ビットは、最近出てきた高品質レンダリング装置及び／又はこれらの装置上の最適なレンダリングに特に関係のある、よりスマートな画像処理には、もはや充分ではない。すなわち、従来のレンダリング装置上の知覚的に目立つ偽信号を導入することなく、８ビットガンマエンコードされたフォーマットの画像を格納し、送信することは、従来可能であった。しかしながら、より正確及びより活発なイメージを記録するための労力により、センサの能力から最高６桁のオーダーのダイナミックレンジさえ記録できる新規な高ダイナミックレンジ（ＨＤＲ）画像センサが、開発された。その上、ほとんどの特殊効果、コンピュータグラフィックス増強及び撮影後の他の編集作業は、より高いビット深度で既に日常的に実施され、コンピュータ上で作られる視覚領域を潜在的に無限にする。
【０００５】
更に、最先端のディスプレイシステムのコントラスト及びピーク輝度は、増大し続ける。近年では、５０００Ｃｄ／ｍ２と同じ程度のピーク輝度及び５桁のオーダーの理論的コントラスト比を持つ新規なプロトタイプディスプレイが提示された。従来のようにエンコードされた８ビット信号が斯様なディスプレイ上に表示されるとき、面倒な量子化やクリッピング偽信号が現れ、更にまた、８ビット信号の限られた情報は、これらの装置で（グレイ値の分布に関して）忠実にレンダリングされる、複雑な画像を作るには一般的に不十分である。特に、従来のビデオフォーマットは、新しいＨＤＲイメージに含まれる豊かな情報を伝達するためには不十分なヘッドルーム（無歪限界）及び正確さを提供する。
【０００６】
結果として、消費者が最先端のセンサ及びディスプレイシステムの機能から充分に利益を得ることができる新しいビデオフォーマットのためのニーズが高まっている。好ましくは、斯様なフォーマットは、新規なＨＤＲ可能な装置が新規なフォーマットにより伝達される付加的情報を十分に利用する一方で、従来の機器が通常のビデオストリームをまだ受信できる下位互換性を持つことである。よって、エンコードされたビデオデータがＨＤＲ画像を表すだけでなく、また、従来の機器で表示できる従来の低いダイナミックレンジ（ＬＤＲ）画像をエンコード可能にすることが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
最も直接のアプローチは、互いに独立して（同時放送で）ＬＤＲ及びＨＤＲストリームを圧縮し、格納することである。しかしながら、これは、結果的に高いデータレートになる。圧縮効率を改善するために、実際のＨＤＲデータとその予測との小さな差だけがエンコードされ、格納され／伝送される必要があるように、ＨＤＲデータがＬＤＲストリームから予測されるインターレイヤ予測を使用することが提案された。
【０００８】
しかしながら、ＬＤＲデータからのＨＤＲの予測は、困難且つ比較的不正確な傾向がある。実際、対応するＬＤＲとＨＤＲとの関係は、非常に複雑な傾向があり、画像の異なる部分間でしばしば強く変化する。例えば、ＬＤＲ画像は、ＨＤＲ画像のトーンマッピング及びカラー等級付けにより、しばしば生成される。正確なトーンマッピング／カラー等級付け、よって、ＨＤＲ画像とＬＤＲ画像との間の関係は、カラー等級付けのために選択されるパラメータ及び特定のアルゴリズムに依存し、よって、ソースに依存して変化しそうである。実際、カラー等級付けは、異なるコンテンツアイテムの用途に対してだけでなく、異なる画像間において、しばしば主観的且つ個別に修正され、画像の異なる部分間において実に頻繁に修正される。例えば、カラー等級付け器は、画像の異なる対象物を選択し、個別のカラー等級付けを各対象物に付与する。結果的に、ＬＤＲ画像からＨＤＲ画像の予測は、通常は非常に困難であり、ＨＤＲ画像からＬＤＲ画像を生成するために使用される特定のアプローチへの適応を理想的には必要とする。
【０００９】
ＨＤＲ画像を予測するためのアプローチの例は、Mantiuk,  R.,  Efremov,  A.,  Myszkowski,  K.,  and  Seidel,  H.2006.  Backward  compatible  high  dynamic  range  MPEG  video  compression.  ACM  Trans.  Graph.  25,  3  (Jul.2006),  713-723に提示されている。このアプローチにおいて、グローバルな再構成機能が、推定及びインターレイヤ予測を実施するために用いられる。しかしながら、当該アプローチは、結果的に次善の結果になる傾向があって、要求されるものより正確でない傾向がある。特に、例えば、異なるカラー等級付けの適用により生じるＨＤＲデータとＬＤＲデータとの間の関係における局所的変化を考慮できないので、グローバルな再構成機能の使用は、大まかな推定だけを可能にする傾向がある。
【００１０】
他のアプローチは、マクロブロック（ＭＢ）レベルで動作するインターレイヤ予測のためのメカニズムが提示される米国特許出願公開公報ＵＳ２００９／０１７５３３８で提案されている。当該アプローチにおいて、ＨＤＲストリームは、各マクロブロックに対して、スケール及びオフセットパラメータを推定することにより局所的に予測され、これはマクロブロックデータの線形回帰に対応する。しかしながら、これは局所的予測をより可能にするが、適用される線形モデルの簡明さは、特にハイコントラスト及びカラー縁の近くで、ＬＤＲデータとＨＤＲデータとの間の複雑な関係をしばしば正確に記述できない。
【００１１】
よって、ＨＤＲ／ＬＤＲデータをエンコードするため及び／又はＬＤＲデータからＨＤＲデータを生成するための改良されたアプローチは、有利である。特に、増大された柔軟性、容易にされた実行及び／又はオペレーション、改良され及び／又は自動化された適合、増大された正確さ、減少したエンコードデータレート及び／又は改良されたパフォーマンスを可能にするシステムは、有利である。
【００１２】
最近出て来た他の重要な傾向は、テレビ、ゲームモニタ又はモバイル機器でさえ、多くのディスプレイ装置が、少なくともある形式の３次元情報をレンダリングしているということである。同時にマーケットは、これらの優良なモダリティの何れか、すなわち３ＤＬＤＲ又は２ＤＨＤＲの何れかを望むのではなく、同じ低い容量システム（例えばブルーレイディスク）で人は同時に両方の良質な改良を持ちたがる。
【課題を解決するための手段】
【００１３】
従って、本発明は、上述の一つ以上の不利な点の一つ又は組み合わせを好ましくは緩和し、軽減し又は除去しようとし、特に、本発明は、同じ画像シーン捕捉の忠実表現の異なるエンコード品質間の既存の関係を使用できる、特に効率的な態様で、幾つかの３Ｄ情報及び幾つかのＨＤＲ情報両方を容易にエンコードするためのオプションを提供しようとする。一方のＨＤＲと他方の３Ｄとの間の幾つかの類似点を使用することによりスマートにエンコードできる場合、特に興味深い。特に、多くの現在のエンコード技術が、他方の表現から一方の表現に依存するので（例えば近似のＬＤＲ表現からの高いダイナミックレンジ等級付け）、斯様な一つの改良（例えばＨＤＲ）の予測が他の改良（主要視野に付加的な追加の３Ｄ視野）の予測を利用できる場合、非常に有効である。一方で、例えばシーンの空間対象物を正確に識別するため（及びそれらの境界を正確に決定するため）に例えば３Ｄモジュールで使用される非常に複雑な経験則が、（例えば、正確に決定された対象物に正確に局所的ＬＤＲ−ＨＤＲ変換戦略を適用するため）ＬＤＲからＨＤＲへの予測においても再利用される場合だけでなく、他方で、１つのモードの付加的情報から導き出せる付加的情報（例えば付加的な視野から導き出せる情報）が、他のモードの変換、例えば予測を、より簡単で忠実にする等のために使用できる場合、有効である（例えば、深度マップが、ＬＤＲ−ＨＤＲ変換のための有効な情報を形成してもよいし、又は逆の場合も同じであり、ＬＤＲ／ＨＤＲエンコード戦略が領域又は対象物の良好な識別を可能にする（メタ）データを含む場合、これは３次元シーン分析及び表現／エンコードを補助する）。
【００１４】
本発明の一態様によると、入力画像を受信するステップと、参照の低いダイナミックレンジ画像及び対応する参照の高いダイナミックレンジ画像に応じて、高いダイナミックレンジ画素値の形式でデータを出力するために、画像空間位置と関連した低いダイナミックレンジ画素値のカラー座標の組み合わせと、画像空間位置の入力セットとの形式でマッピング関連入力データを生成するステップと、マッピングに応じて入力画像をエンコードすることにより、エンコードされた出力データストリームを生成するステップとを有する、入力画像をエンコードする方法が提供される。
【００１５】
本発明は、改良されたエンコードを提供する。例えば、本発明は、特定のダイナミックレンジ特性に、特に適切なデコーダにより実施されるダイナミックレンジ拡張技術に関連した特性にエンコードを適合可能にし、ターゲット設定可能にする。本発明は、例えば、デコーダが、受信されたエンコードされた低いダイナミックレンジ画像を高いダイナミックレンジ画像へ増強可能にするエンコードを提供する。参照画像に基づくマッピングの使用は、特に多くの実施例において、特定の画像特性のために開発され適用される予め定められた規則又はアルゴリズムを必要とすることなく、画像特性への自動化され及び／又は改良された適応を可能にする。
【００１６】
組合せと関連しているとみなされる画像位置は、特定の入力セットのために、例えば、特定の入力セットに対する画像空間位置の近辺参照に合う画像位置として決定される。例えば、画像位置は、入力セット等に対して規定された位置範囲内にある、入力セットの位置と同じ画像対象物に属する、入力セットの位置からの所与の距離より短い画像位置を含んでもよい。
【００１７】
組合せは、例えば複数のカラー座標値を、より少ない値に、特に単一の値に結合させる組合せである。例えば、組合せは、（ＲＧＢ値のような）カラー座標を単一の輝度値に結合させる。別の例として、組合せは、隣接した画素の値を単一の平均値又は差分値へ結合させる。他の実施例では、組合せは、代替的に又は追加的に複数の値でもよい。例えば、組合せは、複数の隣接する画素の各々に対する画素値を有するデータセットである。よって、幾つかの実施例において、組合せはマッピングの一つの追加（すなわち空間次元に加えて追加）の次元に対応し、他の実施例において、組合せはマッピングの複数の追加次元に対応する。
【００１８】
カラー座標は、画素の視覚特性を反映する任意の値でもよく、具体的には、輝度値、彩度値又はクロミナンス値である。組合せは、幾つかの実施例では、入力セットに対する画像空間位置に対応する一つの画素値だけを有する。
【００１９】
当該方法は、マッピングを動的に生成するステップを含む。例えば、新規なマッピングは、ビデオシーケンスの各画像に対して、又は、例えば各Ｎ番目の画像に対して生成され、ここでＮは整数である。
【００２０】
本発明の任意の特徴によると、入力画像は、高いダイナミックレンジ入力画像であり、当該方法は、更に、高いダイナミックレンジ入力画像に対応する低いダイナミックレンジ入力画像を受信するステップと、低いダイナミックレンジ入力画像から予測ベース画像を生成するステップと、マッピングに応じて予測ベース画像から予測された高いダイナミックレンジ画像を予測するステップと、エンコードされた高いダイナミックレンジデータを生成するため高いダイナミックレンジ入力画像と予測された高いダイナミックレンジ画像に応じて、残りの高いダイナミックレンジ画像をエンコードするステップと、エンコードされた出力データストリーム内にエンコードされた高いダイナミックレンジデータを含ませるステップとを有する。
【００２１】
本発明は、ＨＤＲ画像の改良されたエンコードを提供する。特に、ＬＤＲ画像からのＨＤＲ画像の改良された予測は、減少した残差（残りの）信号を可能にし、よって効率的なエンコードが達成される。強化レイヤのデータレート、よって結合信号のデータレートが達成される。
【００２２】
当該アプローチは、ＨＤＲ画像とＬＤＲ画像との間の特定の関係への改良された及び／又は自動適応に基づく予測を可能にする。例えば、当該アプローチは、異なるソース、画像又は画像の一部に対してかどうかにかかわらず、異なるトーンマッピング及びカラー等級付けアプローチのアプリケーションを反映するように自動的に適応する。例えば、当該アプローチは、個々の画像対象物内の特定の特性に適応する。
【００２３】
当該アプローチは、多くのシナリオにおいて、入力画像のＬＤＲエンコードを有する、ベースレイヤを単に使用する既存のＬＤＲ装置との下位互換性を可能にする。更にまた、当該アプローチは、複雑さが低い実行を可能にし、これにより低いコスト、リソース要件及び使用を可能にし、又は容易にされた設計又は製造を可能にする。
【００２４】
予測ベース画像は、具体的には、エンコードされたデータを生成するために低いダイナミックレンジ入力画像をエンコードし、エンコードされたデータをデコードすることにより予測ベース画像を生成することにより生成される。
【００２５】
当該方法は、入力画像に対するエンコードされたデータを有する第１のレイヤと、残りの画像に対してエンコードされたデータを有する第２のレイヤとを持つため、エンコードされた出力データストリームを生成するステップを含む。第２のレイヤはオプションのレイヤであり、特に第１のレイヤはベースレイヤであり、第２のレイヤは強化レイヤである。
【００２６】
残りの高いダイナミックレンジ画像のエンコードは、具体的には、高いダイナミックレンジ入力画像と予測されたダイナミックレンジ画像との比較により高いダイナミックレンジ画像の少なくとも一部に対して残りのデータを生成するステップと、残りのデータをエンコードすることによりエンコードされた高いダイナミックレンジデータの少なくとも一部を生成するステップとを有する。
【００２７】
本発明の任意の特徴によると、各入力セットは、各空間画像次元に対する空間間隔と、組合せに対する少なくとも一つの値間隔とに対応し、マッピングの生成は、参照の低いダイナミックレンジ画像の少なくとも一群の画像位置の各画像位置に対して、各画像位置に対応する空間間隔と、参照の低いダイナミックレンジ画像の各画像位置に対する組合せ値に対応する組合せに対する値間隔とを持つ少なくとも一つの整合入力セットを決定するステップと、参照の高いダイナミックレンジ画像の各画像位置に対する高いダイナミックレンジ画素値に応じて、整合入力セットに対する高いダイナミックレンジ出力画素値を決定するステップとを有する。
【００２８】
これは、ダイナミックレンジ修正のための適切なマッピングを決定するための効率的且つ正確なアプローチを提供する。
【００２９】
幾つかの実施例では、複数の整合入力セットは、少なくとも一群の画像位置の少なくとも第１の位置に対して決定され、マッピングする高いダイナミックレンジ画像の第１の位置に対する高いダイナミックレンジ画素値に応じて、複数の整合入力セットの各々に対する高いダイナミックレンジ出力画素値を決定する。
【００３０】
幾つかの実施例において、方法は、更に、第１の入力セットに整合する少なくとも一群の画像位置の幾つかの画像位置に対する全ての高いダイナミックレンジ画素値からの寄与の平均に応じて、第１の入力セットに対する高いダイナミックレンジ出力画素値を決定するステップを有する。
【００３１】
本発明の任意の特徴によると、マッピングは、空間的にサブサンプリングされたマッピングと、時間的にサブサンプリングされたマッピングと、組合せ値のサブサンプリングされたマッピングとのうちの少なくとも一つである。
【００３２】
これは、多くの実施例において、依然有利なオペレーションを可能にすると共に、改良された効率及び／又は減少したデータレート若しくはリソース要件を提供する。時間的サブサンプリングは、一連の画像の幾つかの画像のサブセットに対するマッピングを更新するステップを有する。組合せ値のサブサンプリングは、画素値の量子化から生じるより、組合せの一つ以上の値のより粗い量子化の適用を有する。空間サブサンプリングは、複数の画素位置をカバーする各入力セットを有する。
【００３３】
本発明の任意の特徴によると、入力画像は、高いダイナミックレンジ入力画像であり、当該方法は、更に、高いダイナミックレンジ入力画像に対応する低いダイナミックレンジ入力画像を受信するステップと、低いダイナミックレンジ入力画像から予測ベース画像を生成するステップと、マッピングに応じて予測ベース画像から予測された高いダイナミックレンジ画像を予測するステップと、高いダイナミックレンジ入力画像と予測された高いダイナミックレンジ画像との比較に応じて、予測された高いダイナミックレンジ画像に対する残りの高いダイナミックレンジ画像及びマッピングのうちの少なくとも１つを適応させるステップとを有する。
【００３４】
これは、改良されたエンコードを可能にし、多くの実施例において、データレートを特定の画像特性に適合可能にする。例えば、データレートは、可変的な最小限のデータレートを達成するために、データレートの動的な適合で所与の品質レベルに対して必要とされるレベルまで減少される。
【００３５】
幾つかの実施例では、適合は、マッピングの一部又は全てを修正すべきかどうかを決定するステップを有する。例えば、マッピングが、高いダイナミックレンジ入力画像から所与の量より離れた予測された高いダイナミックレンジ画像に結果としてなる場合、マッピングは、改良された予測に結果としてなるように部分的又は完全に修正される。例えば、適合は、特定の入力セットに対するマッピングにより供給される特定の高いダイナミックレンジ画素値を修正するステップを有する。
【００３６】
幾つかの実施例では、当該方法は、高いダイナミックレンジ入力画像と予測された高いダイナミックレンジ画像との比較に応じて、エンコードされた出力データストリームを含むために、マッピングデータ及び残りの高いダイナミックレンジ画像データの少なくとも一つの要素の選択を含む。マッピングデータ及び／又は残りの高いダイナミックレンジ画像データは、例えば、高いダイナミックレンジ入力画像と予測された高いダイナミックレンジ画像との間の差が所与の閾値を超える領域に制限される。
【００３７】
本発明の任意の特徴によると、入力画像は参照の高いダイナミックレンジ画像であり、参照の低いダイナミックレンジ画像は入力画像に対応する低いダイナミックレンジ入力画像である。
【００３８】
これは、多くの実施例において、低いダイナミックレンジ入力画像から高いダイナミックレンジ画像の非常に効率的な予測を可能にし、多くのシナリオにおいて、低いまた高いダイナミックレンジ画像両方の特に効率的なエンコードを提供する。当該方法は、更に、エンコードされた出力データストリームのマッピングの少なくとも一部を特徴づけるマッピングデータを含む。
【００３９】
本発明の任意の特徴によると、マッピングのための入力セットは、更に、画像空間位置と関連した深度指標を有し、マッピングは、更に、深度と高いダイナミックレンジ画素値との間の関係を反映する。これは、改良されたマッピングを提供し、例えば入力画像に対して改良された予測を生成するためにマッピングが使用可能にされる。当該アプローチは、所与の品質レベルのための減少したデータレートを可能にする。深度指標は、深度（ｚ方向）値又は差異値を含む画像の深度の適切な任意の指標である。
【００４０】
本発明の任意の特徴によると、入力画像はマルチ視野画像の高いダイナミックレンジの第１の視野画像に対応し、当該方法は、更に、高いダイナミックレンジの第１の視野画像に応じて、マルチ視野画像に対する高いダイナミックレンジの第２の視野画像をエンコードするステップを有する。
【００４１】
当該アプローチは、マルチ視野画像の特に効率的なエンコードを可能にし、良質な比率への改良されたデータレート及び／又は容易にされた実行を可能にする。マルチ視野画像は、同じシーンの異なる視野に対応する複数の画像を有する画像である。マルチ視野画像は、具体的には、（例えば、観察者の右目及び左目の視点に対応する）右画像及び左画像を有するステレオ画像である。高いダイナミックレンジの第１の視野画像は、具体的には、高いダイナミックレンジの第２の視野画像の予測（又は付加的な予測）を生成するために用いられる。場合によっては、高いダイナミックレンジの第１の視野画像が、高いダイナミックレンジの第２の視野画像の予測として、直接使われてもよい。当該アプローチは、ＬＤＲ／ＨＤＲマルチ視野画像の非常に効率的な共同の／組み合わされたエンコードを可能にする。高いダイナミックレンジ画像は、具体的には、高いダイナミックレンジの第１の視野画像である。
【００４２】
本発明の任意の特徴によると、高いダイナミックレンジの第１の視野画像及び高いダイナミックレンジの第２の視野画像は、高いダイナミックレンジの第２の視野画像に依存することなく、エンコードされた高いダイナミックレンジの第１の視野画像と、高いダイナミックレンジの第１の視野画像からのデータを使用してエンコードされた高いダイナミックレンジの第２の視野画像と共同でエンコードされ、エンコードされたデータは、高いダイナミックレンジの第１の視野画像のためのデータを有する主要なデータストリームと、高いダイナミックレンジの第２の視野画像のためのデータを有する第２のビットストリームとを含む別々のデータストリームに分割され、ここで、主要なストリーム及び第２のビットストリームは、別々のコードを具備する主要なデータストリーム及び第２のデータストリームのためのデータを持つエンコードされた出力データストリームへ多重される。
【００４３】
これは、改良された下位互換性を可能にするマルチ視野画像のデータストリームの特に効率的なエンコードを提供する。当該アプローチは、マルチ視野ＨＤＲ画像の共同エンコードという利点を、充分には可能でないデコーダが単一の視野画像を効率的にデコード可能にするという下位互換性と組み合わせることができる。
【００４４】
本発明の任意の特徴によると、エンコードモジュールは、エンコードされる画像のための画像データを受信するための画像データ入力部と、エンコードされる画像の予測を受信するための予測入力部と、エンコードされる画像のためのエンコードデータを出力するためのデータ出力部とを有し、エンコードモジュールは、予測及び画像データからエンコードデータを生成するように動作可能であり、高いダイナミックレンジの第１の視野画像をエンコードすることは、予測入力上のマッピングから生成される予測と、画像データ入力上の高いダイナミックレンジ画像のための画像データとを受信するとき、エンコードモジュールにより実施され、高いダイナミックレンジの第２の視野画像をエンコードすることは、予測入力上の高いダイナミックレンジの第１の視野画像から生成される予測と、画像データ入力上の高いダイナミックレンジの第２の視野画像のための画像データとを受信するとき、エンコードモジュールにより実施される。
【００４５】
これは、特に効率的な及び／又は低い複雑さのエンコードを可能にする。エンコードモジュールは、異なる機能に対して好適に再利用される。エンコードモジュールは、例えばＨ２６４の単一の視野エンコードモジュールである。
【００４６】
本発明の態様によると、低いダイナミックレンジ画像から高いダイナミックレンジ画像を生成する方法が提供され、当該方法は、低いダイナミックレンジ画像を受信するステップと、高いダイナミックレンジ画素値の形式でデータを出力するため、画像空間位置と関連した低いダイナミックレンジ画素値のカラー座標の組み合わせと画像空間位置の入力セットの形式でマッピング関連入力データとを供給する供給ステップであって、マッピングは、参照の低いダイナミックレンジ画像と対応する参照の高いダイナミックレンジ画像との間のダイナミックレンジ関係を反映する前記供給ステップと、低いダイナミックレンジ画像及びマッピングに応じて高いダイナミックレンジ画像を生成するステップとを有する。
【００４７】
本発明は、低いダイナミックレンジ画像から高いダイナミックレンジ画像を生成するために特に効率的なアプローチを可能にする。
【００４８】
当該方法は、具体的には、高いダイナミックレンジ画像をデコードする方法である。最初にデコードされるエンコードされた画像として低いダイナミックレンジ画像が受信され、最初のデコードの後、マッピングが、高いダイナミックレンジ画像を供給するために、デコードされた低いダイナミックレンジ画像へ適用される。特に、低いダイナミックレンジ画像は、エンコードされたデータストリームのベースレイヤ画像をデコードすることにより生成される。
【００４９】
参照の低いダイナミックレンジ画像及び対応する参照の高いダイナミックレンジ画像は、具体的には、前にデコードされた画像である。幾つかの実施例において、低いダイナミックレンジ画像は、マッピング及び／又は参照画像の一方若しくは両方を特徴付けるか又は識別するデータも有するエンコードされたデータストリームにおいて受信される。
【００５０】
本発明の任意の特徴によると、高いダイナミックレンジ画像を生成するステップは、予測されたダイナミックレンジ画像の少なくとも一部の各位置に対して、予測された高いダイナミックレンジ画像の少なくとも一部を決定するステップと、各位置と、各位置と関連した低いダイナミックレンジ画素値のカラー座標の第１の組合せとを整合させる少なくとも一つの整合入力セットを決定するステップと、少なくとも一つの整合入力セットに対する少なくとも一つの高いダイナミックレンジ出力画素値をマッピングから取り出すステップと、少なくとも一つの高いダイナミックレンジ出力画素値に応じて、予測された高いダイナミックレンジ画像の各位置に対する高いダイナミックレンジ画素値を決定するステップと、予測された高いダイナミックレンジ画像の少なくとも一部に応じて、高いダイナミックレンジ画像を決定するステップとを有する。
【００５１】
これは、高いダイナミックレンジ画像の特に有利な生成を提供する。多くの実施例において、当該アプローチは、低いダイナミックレンジ画像及び高いダイナミックレンジ画像両方を特に効率的にエンコード可能にする。特に、低いダイナミックレンジ画像から高いダイナミックレンジ画像の予測の正確で自動的な適合及び／又は効率的な生成が達成できる。
【００５２】
予測された高いダイナミックレンジ画像の少なくとも一部に応じて、高いダイナミックレンジ画像の生成は、予測された高いダイナミックレンジ画像の少なくとも一部を直接使用するステップを有するか、又は例えば、低いダイナミックレンジ画像有するレイヤとは異なるエンコードされた信号のレイヤに例えば含まれる残りの高いダイナミックレンジデータを使用して、予測された高いダイナミックレンジ画像の少なくとも一部を強調するステップを有する。
【００５３】
本発明の任意の特徴によると、低いダイナミックレンジ画像は低いダイナミックレンジビデオシーケンスの画像であり、当該方法は、参照の低いダイナミックレンジ画像として低いダイナミックレンジビデオシーケンスの前の低いダイナミックレンジ画像と、参照の高いダイナミックレンジ画像として前の低いダイナミックレンジ画像に対して生成された前の高いダイナミックレンジ画像とを使用して、マッピングを生成するステップを有する。
【００５４】
これは、効率的なオペレーションを可能にし、特に、対応する低いダイナミックレンジ画像及び高いダイナミックレンジ画像を持つビデオシーケンスの効率的なエンコードを可能にする。例えば、当該アプローチは、エンコーダとデコーダとの間で通信されるべき適用されるマッピングの情報を必要とすることなく、低いダイナミックレンジ画像から、高いダイナミックレンジ画像の少なくとも一部の予測に基づいて、正確なエンコードを可能にする。
【００５５】
本発明の任意の特徴によると、前の高いダイナミックレンジ画像は、更に、前の低いダイナミックレンジ画像に対して予測された画像データと関係した前の低いダイナミックレンジ画像に対する残りの画像データに応じて生成される。
【００５６】
これは、特に正確なマッピング、よって改良された予測を提供する。
【００５７】
本発明の任意の特徴によると、低いダイナミックレンジ画像は、低いダイナミックレンジビデオシーケンスの画像であり、当該方法は、更に、低いダイナミックレンジビデオシーケンスの少なくとも幾つかの低いダイナミックレンジ画像に対して名目上のマッピングを使用するステップを有する。
【００５８】
これは、多くの画像に特に効率的なエンコードを可能にし、特にビデオシーケンスの異なる画像への効率的な適応を可能にする。例えば、名目上のマッピングは、例えばシーンチェンジの後の最初の画像のような、適切な参照画像が存在しない画像に対して用いられてもよい。
【００５９】
幾つかの実施例において、ダイナミックレンジビデオシーケンスは、参照マッピングが用いられる低いダイナミックレンジ画像に対する参照マッピング指標を更に有するエンコードされたビデオ信号の一部として受信される。幾つかの実施例において、参照マッピング指標は、参照マッピングの予め定められたセットから選択される適用された参照マッピングを示す。例えば、Ｎ個の参照マッピングは、エンコーダとデコーダとの間で事前に決定され、エンコードは参照マッピングの何れがデコーダにより特定の画像のために用いられるべきかの指標を含む。
【００６０】
本発明の任意の特徴によると、組合せは、画像空間位置に対するテクスチャ、勾配及び空間画素値変化のうちの少なくとも１つを示す。
【００６１】
これは、高いダイナミックレンジ画像の特に有利な生成を提供し、特により魅力的な高いダイナミックレンジ画像を生成する。
【００６２】
本発明の任意の特徴によると、マッピングのための入力セットは、更に、画像空間位置と関連した深度指標を有し、マッピングは、更に、深度と高いダイナミックレンジ画素値との間の関係を反映する。これは、改良されたマッピングを提供し、例えば、マッピングを高いダイナミックレンジ画像の改良された予測を生成するために使用可能にする。当該アプローチは、例えば、所与の品質レベルに対する減少したデータレートを可能にする。深度指標は、深度（ｚ方向）値又は差異値を含む画像の深度の任意の適切な指標である。
【００６３】
本発明の任意の特徴によると、高いダイナミックレンジ画像はマルチ視野画像の第１の視野画像に対応し、当該方法は、更に、高いダイナミックレンジ画像に応じて、マルチ視野画像に対する高いダイナミックレンジの第２の視野画像を生成するステップを有する。
【００６４】
当該アプローチは、マルチ視野画像の特に効率的な生成／デコードを可能にし、良質な比率及び／又は容易な実行への改良されたデータレートを可能にする。マルチ視野画像は、同じシーンの異なる視野に対応する複数の画像を有する画像である。マルチ視野画像は、具体的には、（例えば、観察者の右目及び左目に対する視点に対応する）右画像及び左画像を有するステレオ画像である。高いダイナミックレンジの第１の視野画像は、具体的には、高いダイナミックレンジの第２の視野画像の予測を生成するために用いられる。場合によっては、高いダイナミックレンジの第１の視野画像が、高いダイナミックレンジの第２の視野画像の予測として、直接用いられてもよい。当該アプローチは、ＬＤＲ／ＨＤＲマルチ視野画像の非常に効率的な共同／組み合わされたデコードを可能にする。
【００６５】
本発明の任意の特徴によると、デコードモジュールは、エンコードされた画像に対するエンコードされたデータを受信するためのエンコーダデータ入力部と、エンコードされた画像に対する予測画像を受信するための予測入力部と、デコード画像を出力するためのデータ出力部とを有し、デコードモジュールは、予測画像及びエンコーダデータからデコード画像を生成するように動作可能であり、高いダイナミックレンジ画像を生成することは、予測入力上のマッピングと、エンコーダデータ入力上の高いダイナミックレンジ画像に対する残りの画像データとから生成される予測を受信するとき、デコードモジュールにより実施され、高いダイナミックレンジの第２の視野画像を生成することは、予測入力上の高いダイナミックレンジ画像と、エンコーダデータ入力上の高いダイナミックレンジの第２の視野画像に対する残りの画像データとから生成される予測画像を受信するとき、デコードモジュールにより実施される。
【００６６】
これは、特に効率的な及び／又は複雑さが低いデコードを可能にする。デコードモジュールは、異なる機能に対して好適に再利用されてもよい。デコードモジュールは、例えば、Ｈ２６４の単一の視野デコードモジュールである。
【００６７】
本発明の任意の特徴によると、デコードモジュールは、前のデコード画像から生成される予測画像を格納するように設けられる複数の予測画像メモリを有し、デコードモジュールは、予測入力部上で受信された予測画像で、予測画像メモリの一つを上書きする。
【００６８】
これは、特に効率的な実行及び／又はオペレーションを可能にする。
【００６９】
本発明の任意の特徴によると、高いダイナミックレンジの第２の視野画像を生成するステップは、高いダイナミックレンジ画素値の形式でデータを出力するため、画像空間位置の入力セットの形式のマッピング関連入力データと、画像空間位置と関連した高いダイナミックレンジの画素値のカラー座標の組み合わせとを供給する供給ステップであって、マッピングが、第１の視野に対する参照の高いダイナミックレンジ画像と第２の視野に対する対応する参照の高いダイナミックレンジ画像との間の関係を反映する前記供給ステップと、高いダイナミックレンジ画像及びマッピングに応じて、高いダイナミックレンジの第２の視野画像を生成するステップとを有する。
【００７０】
これは、高いダイナミックレンジの第１の視野画像に基づいてダイナミックレンジの第２の視野画像を生成する特に有利なアプローチを提供する。特に、これは、参照画像に基づく正確なマッピング又は予測を可能にする。高いダイナミックレンジの第２の視野画像の生成は、マッピングの自動生成に基づき、例えば、前の高いダイナミックレンジの第２の視野画像及び前の高いダイナミックレンジの第１の視野画像に基づく。当該アプローチは、例えば、マッピングがエンコーダ及びデコーダ側で独立して生成可能であり、よって、エンコーダからデコーダへ通信される付加的なマッピングデータを何れも必要とすることなく、マッピングに基づく効率的なエンコーダ／デコーダ予測を可能にする。
【００７１】
本発明の態様によると、入力画像をエンコードするための装置が提供され、当該装置は、入力画像を受信するための受信器と、参照の低いダイナミックレンジ画像及び対応する参照の高いダイナミックレンジ画像に応じて、高いダイナミックレンジ画素値の形式でデータを出力するため、画像空間位置の入力セットの形式のマッピング関連入力データと、画像空間位置と関連した低いダイナミックレンジの画素値のカラー座標の組み合わせとを生成するためのマッピング生成器と、マッピングに応じて、入力画像をエンコードすることにより、エンコードされた出力データストリームを生成するための出力プロセッサとを有する。当該装置は、例えば、集積回路又はその一部であってもよい。
【００７２】
本発明の態様によると、前の段落で規定された装置と、入力画像を有する信号を受信し、前記装置へ前記信号を供給するための入力接続手段と、前記装置からエンコードされた出力データストリームを出力するための出力接続手段とを有する機器が提供される。
【００７３】
本発明の態様によると、低いダイナミックレンジ画像から高いダイナミックレンジ画像を生成するための装置が提供され、当該装置は、低いダイナミックレンジ画像を受信するための受信器と、高いダイナミックレンジ画素値の形式でデータを出力するため、画像空間位置の入力セットの形式のマッピング関連入力データと、画像空間位置と関連した低いダイナミックレンジの画素値のカラー座標の組み合わせとを供給するためのマッピングプロセッサであって、マッピングが参照の低いダイナミックレンジ画像と対応する参照の高いダイナミックレンジ画像との間のダイナミックレンジ関係を反映する前記マッピングプロセッサと、低いダイナミックレンジ画像及びマッピングに応じて、高いダイナミックレンジ画像を生成するための画像生成器とを有する。当該装置は、例えば、集積回路又はその一部であってもよい。
【００７４】
本発明の態様によると、前の段落で規定された装置と、低いダイナミックレンジ画像を受信し、前記装置へ前記画像を供給するための入力接続手段と、前記装置から高いダイナミックレンジ画像を有する信号を出力するための出力接続手段とを有する機器が提供される。当該機器は、例えばセットトップボックス、テレビ、コンピュータモニタ、他のディスプレイ、メディアプレーヤ、ＤＶＤ又はブルーレイプレーヤ等である。
【００７５】
本発明の態様によると、エンコードされた低いダイナミックレンジ画像と、低いダイナミックレンジ画像に対する残りの画像データであって、残りの画像データの少なくとも一部は、低いダイナミックレンジ画像に対応する所望の高いダイナミックレンジ画像と、エンコードされた低いダイナミックレンジ画像へのマッピングから生じる予測された高いダイナミックレンジ画像との間の差を示し、前記マッピングは、高いダイナミックレンジ画素値の形式でデータを出力するため、画像空間位置の入力セットの形式のマッピング関連入力データと、画像空間位置と関連した低いダイナミックレンジの画素値のカラー座標の組み合わせとに関係し、前記マッピングは、参照の低いダイナミックレンジ画像と、対応する参照の高いダイナミックレンジ画像との間のダイナミックレンジ関係を反映する、前記残りの画像データとを有するエンコードされた信号が提供される。
【００７６】
本発明の特徴によると、前の段落で規定されたエンコードされた信号を有する記憶媒体が提供される。記憶媒体は、例えば、ＤＶＤ又はブルーレイディスクのようなデータキャリアである。
【００７７】
本発明の特徴又は態様の方法を実行するためのコンピュータプログラムが提供される。また、本発明の特徴又は態様の方法を実行するための実行可能なコードを有する記憶媒体が提供される。
【００７８】
本発明のこれら及び他の態様、特徴及び利点は、これ以降説明される実施例を参照して、明らかに説明されるだろう。
【００７９】
本発明の実施例は、図面を参照して、例示的に説明されるだろう。
【図面の簡単な説明】
【００８０】
【図１】図１は、本発明の幾つかの実施例による送信システムの例の図示である。
【図２】図２は、本発明の幾つかの実施例によるエンコーダの例の図示である。
【図３】図３は、本発明の幾つかの実施例によるエンコードの方法の例の図示である。
【図４】図４は、本発明の幾つかの実施例によるマッピングの例の図示である。
【図５】図５は、本発明の幾つかの実施例によるマッピングの例の図示である。
【図６】図６は、本発明の幾つかの実施例によるエンコーダの例の図示である。
【図７】図７は、本発明の幾つかの実施例によるエンコーダの例の図示である。
【図８】図８は、本発明の幾つかの実施例によるデコード方法の例の図示である。
【図９】図９は、本発明の幾つかの実施例による高いダイナミックレンジ画像の予測の例の図示である。
【図１０】図１０は、本発明の幾つかの実施例によるマッピングの一例を示す。
【図１１】図１１は、本発明の幾つかの実施例によるデコーダの例の図示である。
【図１２】図１２は、本発明の幾つかの実施例によるエンコーダの例の図示である。
【図１３】図１３は、本発明の幾つかの実施例によるエンコーダで用いられる基本的エンコードモジュールの例の図示である。
【図１４】図１４は、図１３の基本的エンコードモジュールの例を例示する。
【図１５】図１５は、図１３の基本的エンコードモジュールの例を例示する。
【図１６】図１６は、図１３の基本的エンコードモジュールの例を例示する。
【図１７】図１７は、図１３の基本的エンコードモジュールの例を例示する。
【図１８】図１８は、データストリームの多重化の例を示す。
【図１９】図１９は、本発明の幾つかの実施例によるデコーダで用いられる基本的なデコードモジュールの例の図示である。
【図２０】図２０は、図１８の基本的なデコードモジュールを使用するデコーダの例を例示する。
【図２１】図２１は、図１８の基本的なデコードモジュールを使用するデコーダの例を例示する。
【図２２】図２２は、図１８の基本的なデコードモジュールを使用するデコーダの例を例示する。
【発明を実施するための形態】
【００８１】
以下の説明は、ビデオシーケンスの対応する低いダイナミックレンジ及び高いダイナミックレンジ画像のエンコード及びデコードに適用できる本発明の実施例に焦点を当てる。しかしながら、本発明はこのアプリケーションに限定されず、説明される原理は、多くの他のシナリオに適用され、例えば多種多様な画像のダイナミックレンジを強化するか又は修正するために適用されることは理解されるだろう。
【００８２】
図１は、本発明の幾つかの実施例によるビデオ信号の通信のための送信システム１００を例示する。送信システム１００は、特にインターネット又は例えばデジタルテレビジョン放送システムのような放送システムであるネットワーク１０５を通じて受信器１０３に結合される発信器１０１を有する。
【００８３】
具体例において、受信器１０３は、信号プレーヤ装置であるが、他の実施例では、受信器は、他のアプリケーションで他の目的のために使われてもよいことは理解されるだろう。特定の例では、受信器１０３は、テレビのようなディスプレイであるか、又は、コンピュータモニタ若しくはテレビのような外部ディスプレイのためのディスプレイ出力信号を生成するためのセットトップボックスである。
【００８４】
具体例において、発信器１０１は、低いダイナミックレンジ画像のビデオシーケンス及び高いダイナミックレンジ画像の対応するビデオシーケンスを供給する信号源１０７を有する。対応する画像は、異なるダイナミックレンジを持つ以外は同じシーン／画像を表す。通常は、低いダイナミックレンジ画像は、自動的に、半自動的に、又は手動で実施された適切なカラー等級付けにより、対応する高いダイナミックレンジ画像から生成される。幾つかの実施例では、高いダイナミックレンジ画像は、低いダイナミックレンジ画像から生成されるか、又は、これらの画像が、例えばコンピュータ生成画像のためにパラレルに生成されてもよい。
【００８５】
用語「低いダイナミックレンジ画像」及び「高いダイナミックレンジ画像」は、画像に対する任意の特定の絶対的ダイナミックレンジを特定するのではなく、単に高いダイナミックレンジ画像が低いダイナミックレンジ画像より（潜在的に）高いダイナミックレンジを持つような、画像を互いに関連づける相対的な用語であることは理解されるだろう。
【００８６】
信号源１０７自体が、低いダイナミックレンジ画像、高いダイナミックレンジ画像又は両方のダイナミックレンジ画像を生成してもよいし、又は例えば、外部ソースからこれらの一方又は両方を受信してもよい。
【００８７】
信号源１０７は、後で詳細に説明されるエンコードアルゴリズムに従って、高い及び低いダイナミックレンジビデオシーケンスをエンコードするエンコーダ１０９と結合されている。エンコーダ１０９は、エンコードされた信号を受信し、通信ネットワーク１０５とインタフェースするネットワーク発信器１１１に結合されている。ネットワーク発信器は、通信ネットワーク１０５を通じてエンコードされた信号を受信器１０３へ送信する。他の多くの実施例において、地上又は衛星放送システムのような他の配信又は通信ネットワークが、用いられてもよいことは理解されるだろう。
【００８８】
受信器１０３は、通信ネットワーク１０５とインタフェースし、発信器１０１からエンコードされた信号を受信する受信器１１３を有する。幾つかの実施例では、受信器１１３は、例えばインターネットインタフェース又は無線若しくは衛星受信器である。
【００８９】
受信器１１３は、デコーダ１１５に結合されている。受信されたエンコードされた信号は、デコーダ１１５へ供給され、後で詳細に説明されるデコードアルゴリズムに従ってデコーダ１１５によりデコードされる。デコーダ１１５は、具体的には、受信されたエンコードされたデータから高いダイナミックレンジビデオシーケンスを生成する。
【００９０】
信号再生機能がサポートされる具体例において、受信器１０３は、更に、デコーダ１１５からデコードされたビデオ信号を受信し、適切な機能を使用して、これをユーザに示す信号プレーヤ１１７を有する。特に、信号プレーヤ１１７自体が、デコードされたビデオシーケンスを提示できるディスプレイを有する。代替的に又は追加的に、信号プレーヤ１１７は、外部ディスプレイ装置のための適切な駆動信号を生成できる出力回路を含む。よって、受信器１０３は、エンコードされたビデオシーケンスを受信する入力接続部手段と、ディスプレイのための出力駆動信号を供給する出力接続手段とを有する。
【００９１】
図２は、本発明の幾つかの実施例によるエンコーダ１０９の例を示す。図３は、本発明の幾つかの実施例によるエンコードの方法の例を示す。
【００９２】
エンコーダは、（例えば利用できるＨＤＲ画像に基づいて、エンコーダを含む同じユニット内で取り出される、又は例えば別々の入力、例えば別々の等級付け、例えばテレビ録画等からハードディスクに格納されるＬＤＲバージョンから供給される）これ以降ＬＤＲ画像と呼ばれる低いダイナミックレンジ画像のビデオシーケンスを受信するための受信器２０１と、これ以降ＨＤＲ画像と呼ばれる高いダイナミックレンジ画像の対応するビデオシーケンスを受信するための受信器２０３とを有する。
【００９３】
最初に、エンコーダ１０９は、ＬＤＲビデオシーケンスの入力ＬＤＲ画像が受信されるステップ３０１を実施する。ＬＤＲ画像は、ＬＤＲビデオシーケンスからビデオイメージをエンコードするＬＤＲエンコーダ２０５へ供給される。当業者に既知であるように、任意の適切なビデオ又は画像をエンコードするアルゴリズムが用いられ、エンコードが、具体的には、動き補償、量子化、変換等を含むことは理解されるだろう。特に、ＬＤＲエンコーダ２０５は、Ｈ―２６４／ＡＶＣ標準エンコーダである。
【００９４】
よって、ステップ３０１は、入力ＬＤＲ画像がエンコードされたＬＤＲ画像を生成するためにエンコードされるステップ３０３に後続される。
【００９５】
エンコーダ１０９は、その後ＬＤＲ画像から予測されたＨＤＲ画像を生成する。予測は、例えば入力ＬＤＲ画像自体である予測ベース画像に基づく。しかしながら、多くの実施例では、エンコードされたＬＤＲ画像をデコードすることによりデコーダにより生成できるＬＤＲ画像に対応する予測ベース画像が生成される。
【００９６】
図２の例において、ＬＤＲエンコーダ２０５は、ＬＤＲ画像のエンコードされたデータをデコードすることにより予測ベース画像を生成するＬＤＲデコーダ２０７にしかるべく結合される。デコードは、実際の出力データストリームであるか、又は、最終的な非損失エントロピーエンコードの前のエンコードされたデータストリームのような中間のデータストリームである。よって、ＬＤＲデコーダ２０７は、予測ベース画像がエンコードされたＬＤＲ画像をデコードすることにより生成されるステップ３０５を実施する。
【００９７】
ＬＤＲデコーダ２０７は、予測ベース画像から予測されたＨＤＲ画像を生成する予測器２０９に結合される。予測は、マッピングプロセッサ２１１により供給されるマッピングに基づく。
【００９８】
よって、一例では、ステップ３０５は、マッピングが生成されるステップ３０７により後続され、その後、予測されたＨＤＲ画像を生成するために予測が実施されるステップ３０９に続く。
【００９９】
予測器２０９は、ＨＤＲ受信器２０３に更に結合されるＨＤＲエンコーダ２１３に更に結合される。ＨＤＲエンコーダ２１３は、入力ＨＤＲ画像及び予測されたＨＤＲ画像を受信し、予測されたＨＤＲ画像に基づいて入力ＨＤＲ画像をエンコードする。
【０１００】
特別に複雑さが低い例として詳細に説明する下記の説明において、ＨＤＲ画像のエンコードは、予測されたＨＤＲ画像と関係する残りのＨＤＲ画像を生成し、残りのＨＤＲ画像をエンコードすることに基づく。しかしながら、当業者は、ここで説明されている幾つかの実施例と合う３Ｄ（ステレオ又は幾つかの画像）エンコードと関連したＬＤＲ／ＨＤＲエンコードに対する予測戦略が、幾つかの予測戦略で機能すると理解するだろう。例えば、一つの戦略は、対象物の局所的に複雑な変換機能（これらがアルゴリズム、ＬＵＴとして、又は（中間若しくは最後に使用可能な）画像等のようにエンコードされるにせよ）、幾つかの画像にわたるＬＤＲ画像の時空的な修正等を使用する。このように、複雑さが低い例において、ＨＤＲエンコーダ２１３は、残りのＨＤＲ画像が入力ＨＤＲ画像と予測されたＨＤＲ画像との間の比較に応じて生成されるステップ３１１を実施する。特に、ＨＤＲエンコーダ２１３は、予測されたＨＤＲ画像を入力ＨＤＲ画像から減算することにより、残りのＨＤＲ画像を生成する。よって、残りのＨＤＲ画像は、入力ＨＤＲ画像と、対応する（エンコードされる）ＬＤＲ画像に基づいて予測されるものとの間の誤差を表す。他の実施例では、他の比較がなされてもよい。例えば、予測されたＨＤＲ画像によるＨＤＲ画像の分割（割算）が利用されてもよい。
【０１０１】
その後、ＨＤＲエンコーダ２１３は、エンコードされた残りのデータを生成するために残りの画像がエンコードされるステップ３１３を実施する。
【０１０２】
残りの画像をエンコードするための任意の適切なエンコード原理又はアルゴリズムが使用されてもよいことは理解されるだろう。実際、多くの実施例において、予測されたＨＤＲ画像が、幾つかの中から一つの可能な予測として使われる。よって、幾つかの実施例では、ＨＤＲエンコーダ２１３は、予測されたＨＤＲ画像を含む複数の予測間で選択するように設けられる。他の予測は、空間又は時間的予測を含む。当該選択は、入力ＨＤＲ画像に関係する残りの量のような、種々異なる予測のための正確さ手法に基づいてもよい。当該選択は、全体の画像に対して実施されるか、又は例えばＨＤＲ画像の異なるエリア若しくは領域のために個別に実施されてもよい。
【０１０３】
例えば、ＨＤＲエンコーダは、Ｈ２６４エンコーダである。従来のＨ２６４エンコーダは、（フレーム間の）時間的予測（例えば動き補償）又は空間的（すなわち、画像の一部の領域から画像の他の領域を予測する）予測のような種々異なる予測を利用する。図２のアプローチにおいて、斯様な予測は、ＬＤＲ−ＨＤＲ画像予測により補足される。Ｈ２６４ベースのエンコーダは、このとき、種々異なる可能な予測の選択を行う。この選択は、マクロブロックベースで実施され、結果的にそのマクロブロックに対する最も低い余りとなる予測を選択することに基づく。特に、レート歪み分析は、各マクロブロックに対して最善の予測アプローチを選択するように実施される。このように、局所的決定がなされる。
【０１０４】
従って、Ｈ２６４ベースのエンコーダは、異なるマクロブロックに対して異なる予測アプローチを使用してもよい。各マクロブロックに対して、余りのデータが生成され、エンコードされる。よって、入力ＨＤＲ画像に対してエンコードされたデータは、そのマクロブロックに対して特定の選択された予測から結果的に生じる各マクロブロックに対する余りのデータを有する。加えて、エンコードされたデータは、個々の各マクロブロックに対して使用された予測アプローチに使われる指標を有する。
【０１０５】
よって、ＬＤＲ−ＨＤＲ予測は、エンコーダにより選択できる付加的に可能な予測を提供してもよい。幾つかのマクロブロックに対して、この予測は、結果的に他の予測より低い余りになるかもしれず、しかるべく、この予測が、このマクロブロックに対して選択される。そのブロックに対して結果として生じる残りの画像は、このとき、そのブロックに対する予測されたＨＤＲ画像と入力ＨＤＲ画像との間の差を表す。
【０１０６】
一例において、これらの組み合わせは通常は互いに阻害し合う異なる予測に結果としてなるので、エンコーダは、これらの組合せよりもむしろ異なる予測アプローチ間の選択を利用する。
【０１０７】
ＬＤＲエンコーダ２０５及びＨＤＲエンコーダ２１３は、エンコードされたＬＤＲデータ及びエンコードされた余りのデータを受信する出力プロセッサ２１５と結合されている。出力プロセッサ２１５は、このとき、エンコードされた出力データストリームがエンコードされたＬＤＲデータ及びエンコードされた余りのデータを含むように生成されるステップ３１５を実施する。
【０１０８】
一例において、生成されたエンコードされた出力データストリームはレイヤ化されたデータストリームであり、エンコードされたＬＤＲデータが第１のレイヤに含まれ、エンコードされた余りのデータが第２のレイヤに含まれている。第２のレイヤは、具体的には、ＨＤＲ処理と互換性を持たない装置又はデコーダにより放棄できるオプションのレイヤである。このように、第１のレイヤはベースレイヤであり、第２のレイヤはオプションのレイヤであり、特に第２のレイヤは、強化又はオプションのダイナミックレンジ修正レイヤである。斯様なアプローチは、ＨＤＲを使用可能な機器が付加的なＨＤＲ情報を利用できる一方で、下位互換性を可能にする。更にまた、予測及び残りの画像エンコードの使用は、所与の画質のために低いデータレートで非常に効率的なエンコードを可能にする。
【０１０９】
図２の例において、ＨＤＲ画像の予測は、マッピングに基づく。当該マッピングは、高いダイナミックレンジ画素値の形式でデータを出力するために、画像空間位置と関連した低いダイナミックレンジ画素値のカラー座標の組み合わせと、画像空間位置の入力セットの形式の入力データからマッピングするように設けられる。
【０１１０】
よって、特にルックアップテーブルとして実行されるマッピングは、入力セット内に構成される多くのパラメータにより定められる入力データに基づく。このように、入力セットは、多くのパラメータに対する値を有する多次元セットであるとみなされる。これらのパラメータは、空間次元を含み、特に例えば水平次元のパラメータ（範囲）及び垂直次元のパラメータ（範囲）を有するような二次元画像位置を含む。特に、マッピングは、画像領域を所与の水平及び垂直拡張を持つ複数の空間ブロックに分ける。
【０１１１】
各空間ブロックに対して、マッピングは、低いダイナミックレンジ画素値のカラー座標から生成される一つ以上のパラメータを有する。単純な例として、各入力セットは、空間パラメータに加えて単一の輝度値を含む。よって、この場合、各入力セットは、２つの空間パラメータと１つの輝度パラメータとを持つ３次元セットである。
【０１１２】
様々な可能な入力セットに対して、マッピングは、高いダイナミックレンジ出力画素値を供給する。このように、マッピングは、ある具体例において、３次元入力データから単一の高いダイナミックレンジ画素値へのマッピングである。
【０１１３】
マッピングは、このように、適切な高いダイナミックレンジ画素値へのマッピングに依存する（輝度のみの成分を含む）空間及びカラー成分両方を供給する。
【０１１４】
マッピングプロセッサ２１１は、参照の低いダイナミックレンジ画像及び対応する参照の高いダイナミックレンジ画像に応じて、マッピングを生成するように設けられる。よって、マッピングは、予め定められた又は固定のマッピングではなく、むしろ参照画像に基づいて自動的且つ柔軟に生成／更新されるマッピングである。
【０１１５】
参照画像は、具体的には、ビデオシーケンスからの画像である。よって、マッピングは、ビデオシーケンスの画像から動的に生成され、これにより特定の画像へのマッピングの自動化された適合を提供する。
【０１１６】
具体例として、マッピングは、エンコードされる実際のＬＤＲ画像及び対応するＨＤＲ画像に基づく。この例では、マッピングは、入力ＬＤＲ画像と入力ＨＤＲ画像との間の空間及びカラー成分関係を反映するように生成される。
【０１１７】
具体例として、マッピングは、ＮＸｘＮＹｘＮＩ分類（入力セット）の３次元格子として生成される。斯様な格子アプローチは、３次元に適用される量子化の程度に関して、多くの柔軟性を提供する。一例において、第３の（非空間的な）次元は、単に輝度値に対応する強度パラメータである。下記の例において、ＨＤＲ画像の予測は、マクロブロックレベルで、２８の強度分類で（すなわち、８ビット値を使用して）実施される。高品位画像に対して、これは、格子が１２０ｘ６８ｘ２５６分類の次元を持つことを意味する。分類の各々は、マッピングのための入力セットに対応する。
【０１１８】
要件の下（例えば、各カラー成分が別に考慮される場合）、カラー成分に対するＬＤＲ画像及びＨＤＲ画像それぞれに対する強度ＶＬＤＲ及びＶＨＤＲと参照画像の位置（ｘ，ｙ）の各ＬＤＲ入力画素とに対して、位置及び強度のための整合分類が、最初に識別される。
【０１１９】
一例において、各分類は、空間水平間隔、空間垂直間隔及び強度間隔に対応する。整合分類（すなわち入力セット）は、最も近い隣接補間によって決定される。
Ｉｘ＝[ｘ／ｓｘ]
Ｉｙ＝[ｙ／ｓｙ]
ＩＩ＝[ＶＬＤＲ／ｓＩ]
ここで、Ｉｘ、Ｉｙ及びＩＩは、それぞれ水平、垂直及び強度方向の格子座標であり、ｓｘ、ｓｙ及びｓＩはこれらの次元に沿った格子間隔（間隔長）であり、［］は最も近い整数の演算子を示す。
【０１２０】
よって、一例では、マッピングプロセッサ２１１は、画素に対する各画像位置に対応する空間間隔と、特定の位置で参照の低いダイナミックレンジ画像の画素に対する強度値に対応する強度値間隔の間隔とを持つ整合入力セット／分類を決定する。
【０１２１】
マッピングプロセッサ２１１は、参照ＨＤＲ画像の位置に対する高いダイナミックレンジ画素値に応じて、整合入力セット／分類のための高いダイナミックレンジ出力画素値を決定する。
【０１２２】
特に、格子の構成の間、強度値Ｄ及び重み値Ｗ両方は、考慮される新しい位置ごとに更新される。
Ｄ（Ｉｘ，Ｉｙ，ＩＩ）＝Ｄ（Ｉｘ，Ｉｙ，ＩＩ）＋ＶＨＤＲ（ｘ，ｙ）
Ｗ（Ｉｘ，Ｉｙ，ＩＩ）＝Ｗ（Ｉｘ，Ｉｙ，ＩＩ）＋１
【０１２３】
画像の全ての画素が評価された後、強度値は、分類のためのＨＤＲ出力値Ｂに結果としてなるように重み値により正規化される。
Ｂ＝Ｄ／Ｗ
ここで、各値に対するデータ値Ｂは、特定の分類／入力セットに対する位置及び入力強度に対応するＨＤＲ出力画素値を含む。よって、格子の位置が参照ＬＤＲ画像により決定されるのに対し、格子に格納されるデータは、参照ＨＤＲ画像に対応する。よって、マッピング入力セットは参照ＬＤＲ画像から決定され、マッピング出力データは参照ＨＤＲ画像から決定される。具体例において、格納されたＨＤＲ出力値は、入力セット／分類に入る画素のＨＤＲ値の平均であるが、他の実施例では、他の特により高度なアプローチが用いられてもよいことは理解されるだろう。
【０１２４】
一例において、マッピングは、参照ＬＤＲ画像と参照ＨＤＲ画像との間の空間及び画素値関係を反映するように自動的に生成される。これは、参照画像がエンコードされているＬＤＲ画像及びＨＤＲ画像と密接に相関するとき、ＬＤＲ画像からのＨＤＲ画像の予測のために特に有効である。これは、参照画像がエンコードされているものと実際に同じ画像である場合、特に当てはまる。この場合、入力ＬＤＲ画像と入力ＨＤＲ画像との間の特定の関係に自動的に適合するマッピングが生成される。よって、これらの画像間の関係が通常は前もってわからないのに対して、説明されたアプローチは、何れの従来の情報もなしに、当該関係に自動的に適合する。これは、入力ＨＤＲ画像と関連する違いが結果的に少なくなり、よって、より効率的にエンコードできる残りの画像に結果としてなる正確な予測を可能にする。
【０１２５】
エンコードされる入力画像がマッピングを生成するために直接用いられる実施例において、これらの画像は、デコーダ側では一般に利用できないだろう。従って、デコーダは、それ自体によりマッピングを生成できない。従って、幾つかの実施例では、エンコーダは、更に、エンコードされた出力ストリームのマッピングの少なくとも一部を特徴づけるデータを含むように設けられる。例えば、固定及び事前に決められた入力セット間隔（すなわち固定の分類）が使われるシナリオにおいて、エンコーダは、例えばオプションのレイヤの一部として、全ての分類出力値をエンコードされた出力ストリームに含む。これがデータレートを増大するにもかかわらず、格子を生成するとき実施されるサブサンプリングのため、比較的低いオーバーヘッドであり得る。よって、正確な適応予測アプローチを使用することから達成されるデータ圧縮は、マッピングデータの通信から生じるデータレートの増加を上回りそうである。
【０１２６】
予測された画像を生成するとき、予測器２０９は画像を通じて一度に１画素進む。各画素に対して、ＬＤＲ画像内の画素に対する空間位置及び強度値は、マッピングのための特定の入力セット／分類を識別するために用いられる。このように、各画素に対して、分類は、画素に対するＬＤＲ画像値及び空間位置に基づいて選択される。この入力セット／分類に対するＨＤＲ出力画素値が取り出され、幾つかの実施例において、画素に対する画像値として直接使用されてもよい。しかしながら、これはマッピングの空間サブサンプリングのため特定の障害を提供する傾向があるので、多くの実施例において、高いダイナミックレンジ画素値は、複数の入力分類からの高いダイナミックレンジ出力画素値間の補間により生成されるだろう。例えば、（空間及び非空間方向両方において）隣接している分類からの値が取り出されてもよく、画素値はこれらの補間として生成されてもよい。
【０１２７】
特に、予測されたＨＤＲ画像は、ＬＤＲ画像及び空間座標により指図される部分的な位置での格子においてスライスすることにより作られる。
ＶＨＤＲ＝Ｆｉｎｔ（Ｂ（ｘ／ｓｘ，ｙ／ｓｙ，Ｉ／ｓＩ））
ここで、Ｆｉｎｔは最も近い隣又は双立方補間のような適当な補間演算子を示す。
【０１２８】
多くのシナリオにおいて、画像は複数のカラー成分（例えばＲＧＢ又はＹＵＶ）により表され、説明されているプロセスはカラーチャネルの各々に別々に適用されてもよい。特に、高いダイナミックレンジ出力画素値は、カラー成分の各々に対して１つの値を含む。
【０１２９】
マッピングの生成の例は、図４及び図５に提供される。一例において、ＬＤＲ―ＨＤＲマッピング関係は、ＬＤＲ及びＨＤＲトレーニング画像を使用して確立され、マッピングテーブルの位置は、図４の例の輝度（Ｙ）及び図５の例のエントロピー（Ｅ）のようなＬＤＲ画素値の組合せと共に、画像の水平（ｘ）及び垂直（ｙ）画素位置により決定される。前述されたように、マッピングテーブルは、指定された位置で、関連したＨＤＲトレーニングデータを格納する。予測に対するこれらの組合せ（通常はＬＵＴ）を、望むのと同程度複雑にしてもよく、例えば、Ｖ＿ＨＤＲ画素値へのちょうどサブサンプリングされた（ｘ，ｙ，Ｉ＿ＬＤＲ）組合せが（Ｉが輝度であるか又はＲ，Ｇ，Ｂ等であるかにかかわらず）予測するのではなく、（ｘ，ｙ，Ｉ＿ＬＤＲ、ｆｕｒｔｈｐｒｏｐｓ）が、Ｖ＿ＨＤＲ推定へのマッピングのために使用されても良く、ここで、ｆｕｒｔｈｐｒｏｐｓは、一つ以上のＬＤＲ画像上に導出できる他の画像情報（例えば、計算の簡明さのために異なるＬＵＴ等の指標としても具現化される、一つ以上の他の番号、すなわち通常はＬＵＴ次元）特性、例えばテクスチャ推定、深度推定等のようなパラメータを記述する局所的対象物又は領域特性を含む。
【０１３０】
このように、エンコーダ２０５は、エンコードされた低いダイナミックレンジ画像を有するエンコードされた信号を生成する。この画像は、具体的には、エンコードされたビットストリームの必須のレイヤ又はベースレイヤに含まれる。加えて、エンコードされたＬＤＲ画像に基づいてデコーダでＨＤＲ画像の効率的な生成を可能にするデータが含まれる。
【０１３１】
幾つかの実施例において、斯様なデータは、デコーダにより使用できるマッピングデータを含むか又はマッピングデータの形式である。しかしながら、他の実施例では、斯様なマッピングデータは、画像の一部又は全部に対して含まれていない。その代わりに、デコーダ自体が、前の画像からマッピングデータを生成する。
【０１３２】
生成されたエンコードされた信号は、更に、低いダイナミックレンジ画像に対する残りの画像データを有し、ここで、残りの画像データは、低いダイナミックレンジ画像に対応する所望の高いダイナミックレンジ画像と、エンコードされた低いダイナミックレンジへのマッピングの適用から生じる予測された高いダイナミックレンジ画像との間の差を示す。所望の高いダイナミックレンジ画像は、特に、入力ＨＤＲ画像であり、よって、残りの画像データは、所望のＨＤＲ画像、すなわち対応する入力ＨＤＲ画像に、より密接に対応するようにデコーダ生成されたＨＤＲ画像を修正できるデータを表す。
【０１３３】
多くの実施例において、付加的な残りの画像データは、適切に備えられたデコーダにより使用され、必要な機能を持たない従来のデコーダによっては無視されるオプションのレイヤ（例えば増強レイヤ）内に含まれる。
【０１３４】
当該アプローチは、例えば、説明されるマッピングベースの予測が新しい下位互換性を持つＨＤＲビデオ形式に統合可能にする。例えば、両方のレイヤは、量子化が後に続くデータ変換（例えば、ウェーブレット、ＤＣＴ）の従来の動作を使用してエンコードされる。フレーム内（イントラ）及び動き補償フレーム間（インター）予測は、エンコード効率を改善できる。斯様なアプローチにおいて、ＬＤＲからＨＤＲへのインターレイヤ予測は、他の予測を補足して、更に増強レイヤのエンコード効率を改善する。
【０１３５】
信号は、具体的には、例えば図１の例のようなネットワークの上に分散されるか又は通信されるビットストリームである。幾つかのシナリオにおいて、信号は、磁気／光ディスクのような適切な記憶媒体に格納される。例えば、信号は、ＤＶＤ又はブルーレイディスクに格納される。
【０１３６】
前の例において、マッピングの情報は、出力ビットストリームに含まれ、これにより、デコーダが受信された画像に基づいて予測を再生可能にする。この場合及び他の場合において、マッピングのサブサンプリングを使用することが特に有利である。
【０１３７】
実際、空間サブサンプリングは、別個の出力値は、各個別の画素に対して格納されず、むしろ画素のグループに対して、特に画素の特定領域に対して格納されるように好適に使用される。具体例において、別個の出力値は、マクロブロックごとに格納される。
【０１３８】
代替的に又は追加的に、入力非空間次元のサブサンプリングが使用されてもよい。具体例において、各入力セットは、ＬＤＲ画像の複数の可能な強度値をカバーし、これにより可能な分類の数を減らしている。斯様なサブサンプリングは、マッピングの生成の前に、粗い量子化を適用することに対応する。
【０１３９】
斯様な空間又は値サブサンプリングは、マッピングを通信するために必要とされるデータレートを大幅に低下させる。しかしながら、加えて又は代わりに、エンコーダ（及び対応するデコーダ）に対するリソース要件を大幅に減らしてもよい。例えば、マッピングを格納するために必要とされるメモリリソースを大幅に減らす。また、多くの実施例において、マッピングを生成するために必要とされる処理リソースも減らす。
【０１４０】
この例において、マッピングの生成は、現在の画像、すなわちエンコードされるＬＤＲ画像及び対応するＨＤＲ画像に基づいていた。しかしながら、他の実施例において、マッピングは、参照の低いダイナミックレンジ画像として、低いダイナミックレンジビデオシーケンスの前の画像と、参照の高いダイナミックレンジ画像として、前の低いダイナミックレンジビデオシーケンスに対して生成される前の高いダイナミックレンジ画像（又は、場合によっては対応する前の入力ＨＤＲ画像）とを使用して、生成されてもよい。よって、幾つかの実施例では、現在の画像のために使用されるマッピングは、前の対応するＬＤＲ及びＨＤＲ画像に基づいてもよい。
【０１４１】
例として、ビデオシーケンスは同じシーンの画像のシーケンスを有してもよく、従って連続的な画像間の違いが低そうである。従って、ある画像に適当であるマッピングは、また、後続の画像にも、かなり適当であろう。従って、参照画像として前のＬＤＲ及びＨＤＲ画像を使用して生成されるマッピングは、また、現在の画像に適用できそうである。前の画像に基づいて現在の画像に対するマッピングを使用する利点は、これが（これらの画像のデコードを介して）利用可能な前の画像を持つので、マッピングがデコーダにより独立して生成できるということである。従って、マッピングに関する情報が含まれる必要はなく、従って、エンコードされた出力ストリームのデータレートは更に低下できる。
【０１４２】
斯様なアプローチを用いたエンコーダの具体例は、図６に図示される。この例では、（具体例では、ルックアップテーブル（ＬＵＴ）である）マッピングは、エンコーダ及びデコーダ側両方で、前に（遅延τ）再構築されたＬＤＲ及び前に再構築された（遅延τ）ＨＤＲフレームに基づいて構築される。このシナリオにおいて、何れのマッピング値も、エンコーダからデコーダへ送信される必要はない。むしろ、デコーダは、既に利用できるデータを使用して、ＨＤＲ予測プロセスを単に複製するだけである。インターレイヤ予測の質がわずかに劣化するが、この劣化は、ビデオシーケンスの後続のフレーム間の高い時間的相関のため、通常は軽微である。例において、ｙｕｖ４２０カラースキームがＬＤＲ画像のために使われ、ｙｕｖ４４４／４２２カラースキームがＨＤＲ画像のために使われる（結果的に、ＬＵＴ（マッピング）の生成及び適用は、カラーアップコンバージョンの後である）。
【０１４３】
画像ができるだけ同様であるという可能性を増大させるために、遅延τをできるだけ小さくすることが好ましい。しかしながら、多くの実施例において、既にデコードされた画像からマッピングを生成可能にすることをデコーダに要求するので、最小値は、使用される特定のエンコード構造に依存する。従って、最適遅延は、使用されるＧＯＰ（ピクチャグループ）のタイプに依存し、具体的には、使用される時間的予測（動き補償）に依存する。例えば、ＩＰＰＰＰＧＯＰに対して、τは単一の画像遅延であるのに対して、ＩＢＰＢＰＧＯＰに対して、少なくとも２つの画像遅延であろう。
【０１４４】
例において、ＬＤＲの各位置は、格子の一つの入力セット／分類にだけ寄与した。しかしながら、他の実施例では、マッピングプロセッサは、マッピングを生成するために用いられる画像位置の少なくともグループの少なくとも一つの位置に対する複数の整合入力セットを識別する。その後、全ての整合入力セットに対する高いダイナミックレンジ出力画素値が、参照の高いダイナミックレンジ画像の位置に対する高いダイナミックレンジ画素値に応じて決定される。
【０１４５】
特に、格子を作るため最も近い隣の補間を使用するというよりもむしろ、個々のデータは、ちょうど単一の最善の整合分類よりも、隣接しあう分類にわたって広がり得る。この場合、各画素は、単一の分類に寄与するのではなく、例えば全ての隣接する分類（３Ｄ格子の場合８）に寄与する。当該寄与は、例えば、画素と隣接する分類中心との間の３次元距離に反比例する。時間的にオフセットされたメモリの幾つかは、予測戦略が使用を望む画像表現として他の予測を格納するために再利用されてもよいことに留意されたい。特にＨＤＲエンコード部分に対して、斯様な戦略は、これを非常に用途が広いユニットにさせる。
【０１４６】
図７は、図２のエンコーダと相補的なデコーダ１１５の例を図示し、図８は、その動作方法の例を図示する。
【０１４７】
デコーダ１１５は、受信器１１３からエンコードされたデータを受信するステップ８０１を実施する受信回路７０１を有する。ＬＤＲエンコードされたデータ及び残りのデータが異なるレイヤにエンコードされる具体例において、受信回路は、残りの画像データの形式でオプションのレイヤデータとＬＤＲエンコードされたデータとを取り出して、デマルチプレクスするように設けられる。マッピングに関する情報が受信されたビットストリームに含まれる実施例において、受信回路７０１は、更に、このデータを取り出す。
【０１４８】
受信回路７０１は、エンコードされたＬＤＲデータを受信するＬＤＲデコーダ７０３に結合されている。これは、ＬＤＲ画像がデコードされるステップ８０３を実施する。ＬＤＲデコーダ７０３は、エンコーダ１０９のＬＤＲエンコーダ２０５と相補的でもよく、具体的には、Ｈ―２６４／ＡＶＣ標準デコーダでもよい。
【０１４９】
ＬＤＲデコーダ７０３は、デコードされたＬＤＲ画像を受信するデコード予測器７０５と結合されている。デコード予測器７０５は、更に、マッピングがデコード予測器７０５のために生成されるステップ８０５を実施するように設けられたデコードマッピングプロセッサ７０７と結合されている。
【０１５０】
デコードマッピングプロセッサ７０７は、残りの画像データを生成するとき、エンコーダにより用いられるマッピングに対応するようにマッピングを生成する。幾つかの実施例において、デコードマッピングプロセッサ７０７は、エンコードされたデータストリーム内に受信されるマッピングデータに応じて、簡単にマッピングを生成する。例えば、格子の各分類に対する出力データ値は、受信エンコードされたデータストリーム内に供給される。
【０１５１】
デコード予測器７０５は、予測されたＨＤＲ画像が、デコードマッピングプロセッサ７０７により生成されたマッピングとデコードＬＤＲ画像とから生成されるステップ８０７を実施する。予測は、エンコーダで使用された予測と同じアプローチに従う。
【０１５２】
簡潔さ及び明快さのために、当該例は、エンコーダがＬＤＲ−ＨＤＲ予測にだけ基づく、よって、全ＬＤＲ−ＨＤＲ予測画像（及び全残りの画像）が生成される簡単な例に焦点を当てている。しかしながら、他の実施例では、当該アプローチは、時間的又は空間予測のような他の予測アプローチで使われてもよいことは理解されるだろう。特に、説明されたアプローチを全体の画像に適用するよりはむしろ、ＬＤＲ−ＨＤＲ予測がエンコーダにより選択された画像領域又はブロックだけに適用されてもよいことは理解されるだろう。
【０１５３】
図９は、予測動作が実施されるやり方の具体例を図示する。
【０１５４】
ステップ９０１において、ＨＤＲ画像の第１の画素位置が選択される。この画素位置に対して、マッピングのための入力セットがステップ９０３で決定され、すなわち、格子内の適切な入力分類が決定される。これは、例えば、位置が範囲内にある空間間隔、及びデコードＬＤＲ画像のデコード画素値が範囲内にある強度間隔をカバーする格子を識別することにより決定される。ステップ９０３は、その後、入力セットのための出力値がマッピングから取り出されるステップ９０５により後続される。例えば、ＬＵＴは、決定された入力セットデータを使用してアドレス指定され、そのアドレス指定に対して格納された結果の出力データが取り出される。
【０１５５】
ステップ９０５は、その後、画素に対する画素値が、取り出された出力から決定されるステップ９０７により後続される。単純な例として、画素値は、取り出された値にセットされる。より複雑な実施例において、画素値は、異なる入力セット（例えば整合分類だけでなく全ての隣接分類を考える）に対する複数の出力値の補間により生成される。
【０１５６】
このプロセスは、ＨＤＲ画像の全ての位置に対して、及び全てのカラー成分に対して繰り返され、これにより、結果的に予測されたＨＤＲ画像が生成される。
【０１５７】
デコーダ１１５は、その後、予測されたＨＤＲ画像に基づいてＨＤＲ出力画像を生成する。
【０１５８】
具体例において、ＨＤＲ出力画像は、受信された残りの画像データを考慮に入れることにより生成される。このように、受信回路７０１は、残りの画像データを受信し、残りの画像データがデコードされた残りの画像を生成するためにデコードされるステップ８０９を実施する残りデコーダ７０９に結合されている。
【０１５９】
残りデコーダ７０９は、デコード予測器７０５に更に結合される結合器７１１に結合されている。結合器７１１は、予測されたＨＤＲ画像及びデコードされた残りのＨＤＲ画像を受信し、ＨＤＲ出力画像を生成するために２つの画像を結合するステップ８１１を実施する。特に、結合器は、ＨＤＲ出力画像を生成するための画素ベースで、画素上の２つの画像に対する画素値を加える。
【０１６０】
結合器７１１は、出力信号が生成されるステップ８１３を実施する出力回路７１３に結合されている。出力信号は、例えば、ＨＤＲ画像を示すためのテレビのような適切なディスプレイを駆動できるディスプレイ駆動信号である。
【０１６１】
具体例において、マッピングは、エンコードされたデータストリームに含まれるデータに基づいて決定された。しかしながら、他の実施例では、マッピングは、例えばビデオシーケンスの前の画像のような、デコーダにより受信された前の画像に応じて、生成される。この前の画像のために、デコーダは、ＬＤＲデコードから生じるＬＤＲ画像を持ち、これが参照ＬＤＲ画像として使われる。加えて、ＨＤＲ画像は、予測により生成され、その後、残りの画像データを使用して、予測された画像の更なる補正がなされる。このように、生成されたＨＤＲ画像が、エンコーダの入力ＨＤＲ画像に密接に対応し、参照ＨＤＲ画像として、しかるべく使われる。これら２つの参照画像に基づいて、エンコーダにより用いられるものと正確に同じアプローチが、デコーダによりマッピングを生成するために用いられる。従って、このマッピングは、エンコーダにより用いられるものに対応し、よって、同じ予測に結果としてなる（よって、残りの画像データは、エンコーダでの入力ＨＤＲ画像とデコード予測された画像との差を正確に反映するだろう）。
【０１６２】
当該アプローチは、このように、（ＬＤＲトーンマッピング（例えば白黒のクリッピングを持つ速く上昇するＳ字カーブ）を介して、最適なコントラストのためにシーンで利用可能な全ての輝度の「非最適な」サブレンジ選択を例えば使用する、標準ＬＤＲエンコードから始まる下位互換性を持つＨＤＲエンコードを提供する。当該アプローチは、その後、最適にエンコードされたＨＤＲ画像の再構成を可能にするために、（より上質の視覚効果のために他のトーンマッピングを潜在的に持つ：例えば、ダークグレイは、ＬＤＲエンコードにおいて、より深くプッシュされている）付加的なデータを加える。
【０１６３】
これは、例えば結果的に、ＨＤＲとＬＤＲとの以下の違いになる：
-スケール及びオフセット（例えば５５＝２ｘ２７．５＋０）で記録できる、同じ値（例えば２７の代わりにＬ＝２７．５）に対するより高い精度。
-クリッピングで失われた、白及び黒のサブピクチャのエンコード。
-典型的に高いピークの輝度ディスプレイ上に良好な視覚のレンダリングを与えるために、画像の少なくとも幾らかのグレイのシフト（例えば、１８％グレイを暗くする）。
【０１６４】
当該アプローチは、利用可能なＬＤＲデータからこのＨＤＲ信号の予測を使用し、その結果、必要とされる残りの情報は低減される。
【０１６５】
当該アプローチは、全ての下にある対象物のカラーに起こること（例えば、ブロック内のテキストキャラクタの一部が幾つかの対象物に重なっている等）を自動的に考慮しながら、異なるＬＤＲ値からＨＤＲ値へのマッピングの改良された特徴を使用する。
【０１６６】
説明されている例は、実際の画素ごとの精細な空間プロフィールを無視しているが、「局所的平均」を使用して、我々の「全ての色適応可能な」アプローチは、通常は結果的に、（例えば、必要とされる近似のＨＤＲ値を生じる、対応する分類を調べるための大まかな指標として入力ＬＤＲ値を使用することにより、縁の両側で）良好な予測となるだろう。これは、結果的に、存在するであろう任意の対象物に対して良好なＨＤＲ内の対象物平均出発値になり、よって、より少ない残りを必要とする。
【０１６７】
特に、マッピング格子は、各可能なＬＤＲ値に対するＨＤＲ値（又は、カラー座標の組合せ）を持って構成され、（局所的平均だけが使われ、正確な幾何学的なＨＤＲマイクロプロフィールではないので）例えば空間内でサブサンプリングされる。幾つかの実施例では、値のサブサンプリングは、例えばＬＤＲの４つの輝度コーディングのステップ当たり一つのＨＤＲ値で実施される。
【０１６８】
説明されているアプローチは、特定の局所的特性へのマッピングの特に効率的な適合を提供し、多くのシナリオにおいて、特に正確な予測を提供する。これは、ＬＤＲ画像Ｙ＿ＬＤＲに対する輝度と対応するＨＤＲ画像Ｙ＿ＨＤＲに対する輝度との関係を例示する図１０の例により図示される。図１０は、３つの異なる対象物の要素を含むことが起こっている特定のマクロブロックに対する関係を図示する。結果として、（ドットにより示される）画素輝度関係は、３つの異なるクラスタ１００１、１００３、１００５に位置される。
【０１６９】
従来のアルゴリズムは、当該関係の線形縮退を実施し、これにより、例えば、ライン１００７により示されているもののようなＬＤＲ輝度値とＨＤＲ輝度値との間の線形関係を生成している。しかしながら、斯様なアプローチは、クラスタ１００３の画像対象物に属しているもののような、値の少なくとも幾つかに対して比較的劣ったマッピング／予測を提供する。
【０１７０】
対照的に、上記のアプローチは、ライン１００９により示されるもののような、ずっと正確なマッピングを生成する。このマッピングは、クラスタの全てに対する特性及び適切なマッピングをずっと正確に反映し、よって、改良されたマッピングに結果としてなる。実際、マッピングは、クラスタに対応する輝度に対して正確な結果を提供するだけでなく、１０１１により示される間隔のような、輝度間に対する関係を正確に予測することもできる。斯様なマッピングは、補間により得られる。
【０１７１】
更にまた、斯様な正確なマッピング情報は、参照画像に基づいて（及び特定の場合に２つの参照マクロブロックに基づいて）、単純な処理により自動的に決定できる。加えて、正確なマッピングは、前の画像に基づいてエンコーダ及びデコーダにより独立して決定でき、このように、マッピングの情報はデータストリームに含まれる必要はない。よって、マッピングのオーバーヘッドは最小化される。
【０１７２】
前述の例において、アプローチは、ＨＤＲ画像に対するデコーダの一部として使われた。しかしながら、当該原理は、他の多くのアプリケーション及びシナリオにおいて使用されてもよいことは理解されるだろう。例えば、当該アプローチは、ＬＤＲ画像からＨＤＲ画像を単に生成するために用いられる。例えば、適切な局所的参照画像は、局所的に選択され、適切なマッピングを生成するために用いられる。マッピングは、この時、（例えば、補間を使用して）ＨＤＲ画像を生成するために、ＬＤＲ画像に適用される。結果として生じるＨＤＲ画像は、その後、ＨＤＲディスプレイに表示される。
【０１７３】
また、幾つかの実施例において、デコーダは残りのデータを考慮しなくてもよい（よって、エンコーダが残りのデータを生成する必要がない）ことは理解されるだろう。実際、多くの実施例において、マッピングをデコードされたＬＤＲ画像に適用することにより生成されるＨＤＲ画像が、他の変更又は増強を必要とすることなく、ＨＤＲ出力画像として、直接使われてもよい。
【０１７４】
説明されているアプローチは、多くの異なるアプリケーション及びシナリオにおいて使われ、ＬＤＲビデオ信号からリアルタイムＨＤＲビデオ信号を動的に生成するために例えば用いられてもよい。例えば、デコーダ１１５は、ビデオ信号を受信する入力コネクタと、適切な高いダイナミックレンジディスプレイに表示できるＨＤＲビデオ信号を出力する出力コネクタとを持つセットトップボックス又は他の装置において実行されてもよい。
【０１７５】
具体例として、説明されたビデオ信号は、ブルーレイプレーヤにより読み込まれるブルーレイディスクに格納されてもよい。ブルーレイプレーヤはＨＤＭＩケーブルを介してセットトップボックスに接続され、セットトップボックスは、ＨＤＲ画像を生成する。セットトップボックスは、他のＨＤＭＩコネクタを介して（テレビのような）ディスプレイに接続されてもよい。
【０１７６】
幾つかのシナリオにおいて、デコーダ又はＨＤＲ画像生成機能は、ブルーレイプレーヤ又は他のメディアプレーヤのような信号源の一部として含まれる。他の代替として、当該機能は、コンピュータモニタ又はテレビのようなディスプレイの一部として実行されてもよい。このように、ディスプレイは、ＬＤＲ画像を供給するために修正できるＬＤＲストリームを受信する。よって、大幅に改善したユーザ経験を配信する、メディアプレーヤのような信号源、又は、コンピュータモニタ若しくはテレビのようなディスプレイが供給できる。
【０１７７】
説明されたアプローチは、画像に対する個々のカラーチャネルに適用される。例えば、ＲＧＢ画像に対して、アプローチは、Ｒ、Ｇ及びＢチャネルの各々に個別に適用される。しかしながら、幾つかの実施例では、出力データが個々のカラー成分値であるのに対し、マッピング入力のために使用される組合せ値が輝度値でもよい。例えば、個々のＨＤＲ出力画素値が個々のカラーチャネルに対する格子に格納されるのに対し、所与の画素に対するＲＧＢ値が単一の輝度値に結合されてもよい。
【０１７８】
確かに、実際には、ＬＤＲ画像は、未知のトーンマッピング及びカラーグレーディング操作によりＨＤＲ画像からしばしば生成される。発明者らは、ＬＤＲ画像及びＨＤＲ画像に対する個々のカラー成分間の関係が、ＬＤＲカラーデータからよりはむしろ、ＬＤＲ輝度情報からしばしば良好に予測されることに気付いた。従って、多くの実施例において、Ｕ及びＶのようなカラー成分に対する格子を構築するとき、強度座標に対するＬＤＲ信号の輝度を使用することは有益である。言い換えると、前の式のＶＬＤＲが全てのカラー成分に対する輝度値ＹＬＤＲにセットされてもよい。よって、各分類が各カラーチャネルに対するＨＤＲ出力値を格納しながら、同じ格子が全てのカラーチャネルのために用いられる。
【０１７９】
説明された具体例において、マッピングのための入力データは、例えば画素に対する輝度値又はカラーチャネル強度値に対応する強度値を表わす単一の画素値次元及び２つの空間次元から単に構成された。
【０１８０】
しかしながら、更に一般的には、マッピング入力は、ＬＤＲ画像の画素に対するカラー座標の組合せを有してもよい。各カラー座標は、ＲＧＢ信号のＲ、Ｇ及びＢ値の１つのような画素の１つの値、又は、ＹＵＶ信号のＹ、Ｕ、Ｖ値の１つに単に対応してもよい。幾つかの実施例において、組合せは、カラー座標値の１つの選択に単に対応する、すなわち、組合せは、選択されたカラー座標値から離れた全てのカラー座標が０の重みにより加重される組合せに対応する。
【０１８１】
他の実施例では、組合せは、単一の画素に対する複数のカラー座標である。特に、ＲＧＢ信号のカラー座標は、輝度値を生成するために単に組み合わされる。他の実施例では、全てのカラーチャネルが考慮されるが、格子が発現されるカラーチャネルが他のカラーチャネルより高く加重される例えば加重された輝度値のような、よりフレキシブルなアプローチが用いられる。
【０１８２】
幾つかの実施例では、組合せは、複数の画素位置に対する画素値を考慮する。例えば、処理される位置に対する画素の輝度を考慮するだけでなく、他の画素に対する輝度を考慮して単一の輝度値が生成される。
【０１８３】
実際、幾つかの実施例では、特定の画素の特性だけでなく、また、画素の場所の特性を反映する、特に画素周辺で特性がどのくらい変化するかを反映する組合せ値が生成される。
【０１８４】
一例として、輝度又は色強度勾配成分が、組合せに含まれる。例えば、組合せ値は、現在の画素値の輝度と周囲画素の各々の輝度との間の差を考慮して生成される。更に、周囲画素を囲んでいる（すなわち同心の隣接するレイヤの）画素に対する輝度の違いが決定される。当該違いは、その後、加重加算を使用して合計され、当該加重は現在の画素までの距離に依存する。加重は、例えば反対方向の違いに逆の符号を適用することにより、空間方向に更に依存する。斯様な組み合わされた違いベースの値は、特定の画素周辺であり得る輝度勾配を示すように考慮される。
【０１８５】
このように、空間的に強調されたマッピングを適用することは、ＬＤＲ画像から生成されるＨＤＲ画像が、空間変動を考慮可能にし、これにより斯様な空間変動をより正確に反映可能にする。
【０１８６】
別の例として、組合せ値は、現在の画素位置に含まれる画像領域に対するテクスチャ特性を反映するように生成される。斯様な組合せ値は、例えば、小さな周囲領域にわたる画素値の相違を決定することにより生成される。別の例として、繰り返しパターンが検出されて、組合せ値を決定するとき、考慮される。
【０１８７】
実際、多くの実施例において、組合せ値が、現在の画素値周辺の画素値の変動の指標を反映することは有利である。例えば、相違（違い）が、直接決定されて、入力値として使われてもよい。
【０１８８】
別の例として、組合せは、局所的エントロピー値のようなパラメータである。エントロピーは、例えば入力画像のテクスチャを特徴づけるために用いられるランダムの統計尺度である。エントロピー値Ｈは、例えば以下のように計算される。
0005960693.tif 000002
ここで、ｐ（）は画像Ｉ内の画素値Ｉｊに対する確率密度関数を示す。この関数は、考慮される近辺（上記式において、ｎ個の隣接画素）上の局所的ヒストグラムを構築することにより推定できる。対数ｂの底（基数）は、通常は２にセットされる。
【０１８９】
組合せ値が複数の個々の画素値から生成される実施例において、各空間入力セットに対する格子において使われる可能性がある組合せ値の数は、個々の画素に対する画素値量子化レベルの総数よりおそらく大きいことが、理解されるだろう。例えば、特定の空間位置に対する分類の数は、画素が達成できる可能性がある離散的輝度値の数を超えてもよい。しかしながら、個々の組合せ値の正確な量子化、よって、格子のサイズは、特定のアプリケーションに対して最適化される。
【０１９０】
ＬＤＲ画像からＨＤＲ画像の生成が、様々な他の特徴、パラメータ及び特性に応じてできることは理解されるだろう。
【０１９１】
例えば、ＨＤＲ画像の生成は、ＬＤＲ画像と関連した深度情報に応じてできる。斯様なアプローチは、説明されたマッピングなしで原則として使われ、ＨＤＲ画像が、例えばＬＤＲ画像及び深度情報だけに基づいて生成できることは考えられる。しかしながら、ＬＤＲ−ＨＤＲマッピングが深度ベースの予測と共に使われるとき、特に有利なパフォーマンスが達成できる。
【０１９２】
従って、幾つかの実施例において、エンコーダは、また、例えばＬＤＲ画像に対する深度マップをエンコードし、デコーダに送信されるデータストリームにエンコードされた深度データを含む深度デコーダを含んでもよい。デコーダは、深度マップをデコードでき、デコードされた深度マップに応じてＨＤＲ画像を生成できる。図１１は、受信回路７０１からエンコードされた深度データが供給され、その後、ＬＤＲ画像に対する深度マップを生成するために当該データをデコードする深度デコーダ１１０１の包含により、図７のデコーダがどのように強化されるかを図示する。深度マップは、その後、ＨＤＲ画像のための予測を生成するために用いられる（又は、幾つかの例では、ＨＤＲ出力画像として直接使われるＨＤＲ画像を生成するために用いられる）デコード予測値７０５へ供給される。ＬＤＲ―ＨＤＲ予測のための実施例が任意の３Ｄ情報（例えば、エンコードされた深度マップ、１個又は数個の視野で共同エンコードされたかどうか、又は数個の視野から取り出された深度マップ）により補助されるが、近似の深度マップが単一の視野で推定されるとき（例えば、アルゴリズムがジオメトリ、シェーディング等から深度を組み合わせながら）、同じく機能することに留意されたい。よって、ブロック深度デコーダは、深度指標生成ユニットと一般にみなされるべきである。
【０１９３】
例えば、明るく焦束されたライトにより照明されるシーンにおいて、前景対象物は、しばしば、背景にある対象物より明るい。よって、所与の対象物の深度について知識を持つことは、増大されたダイナミックレンジがどれくらい利用されるかを決定するために用いられる。例えば、シーンの特定の照明により意図されるもの又は実現されるものより背景対象物の知覚される重要性を潜在的に増大できるので、背景対象物が必ずしも同等に明るくなる必要はないのに対して、前景対象物は、ＨＤＲ画像の付加的なダイナミックレンジを利用するためにより明るくされてもよい。深度は、ディスプレイの輝度範囲を最適に利用するために、特に異なる深度を持つ異なるシーン要素への輝度範囲の割り当てを行うために、最終的なレンダリング変換においても使われる。輝度と深度知覚（及び更に注目のようなストーリー関連の特性）との間に関係があるので、これは、レンダリングのために最終的なＶ＿ＨＤＲ値を最適に割り当てるために使用できる。
【０１９４】
ＨＤＲ出力画素を生成するためのマッピングは、このように、色の組合せ及び画像位置に依存するだけでなく、その位置の深度情報にも依存している。この情報は、種々異なる態様でマッピングに含まれてもよい。例えば、異なるマッピング格子は色の組合せ及び深度値の組合せのために生成され、よって、各位置に対して、２つのルックアップテーブルの観察が実行される。所与の位置に対して結果として生じる２つのＨＤＲ予測値は、２つのＨＤＲ値の組合せにより、例えば単純に平均することにより生成される。別の例として、カラー座標、空間位置及びＨＤＲ値の形式の出力の組合せを有する入力セットを持つ単一のルックアップテーブルが使われてもよい（例えば図７の例の同じルックアップテーブル）。深度の考察は、テーブルを調べる前に入力データの深度依存的な適合により、及び／又はＨＤＲ出力値の深度依存的な適合により達成される。入力及び／又は出力データに適用される関数は、予め定められた関数であるか、又は例えば前の画像に基づいて決定されてもよい。面白いことに、異なる視野に対する異なるＨＤＲ値は、例えば捕えられたシーン要素の特別な双方向反射特性に多くの現実性を与えるが、エンコードされる所望のＨＤＲ経験さえ、多種多様であり、例えば、深度が画像のレンダリング中にどのくらい誇張されるかに依存する（例えば、人は、観察者に向かって遠ざかる対象物を明るくしないことを望む）。本戦略は、繰り返すことにより、少なくとも幾つかの視野に対して幾つかのＨＤＲ変形を持つ（例えば、そこから視野に対する、より適切な最終レンダリング信号が、ユーザ設定を考慮して引き出される）。
【０１９５】
幾つかの実施例では、マッピングは、深度情報も含む格子として実行される。例えば、各分類は、各空間画像次元に対する間隔、各カラー座標に対する間隔、及び深度値に対する間隔により定められる。斯様なテーブルは、各画素位置に対して、画素位置に対する深度指標が分類の深度間隔内に入るように分類が更に選択されることを除いて、前述されたようにデータ投入される。斯様なデータ投入は、もちろん、前の画像及び深度マップに基づいてもよく、エンコーダ及びデコーダで独立しているが一貫して、しかるべく実施される。
【０１９６】
マッピングで考察されてもよい他のパラメータは、例えば画像対象物の特性のような様々な画像特性を含む。例えば、肌色は、自然な見栄えを維持するために操作に対して非常に敏感であることが知られている。従って、マッピングは、カラー座標の組合せが肌色トーンに対応するかどうかを特に考慮して、斯様なトーンに対するより正確なマッピングを実施する。
【０１９７】
別の例として、エンコーダ及び／又はデコーダは、画像対象物を抽出し、識別可能にするための機能を有し、対象物の特性に応じてマッピングを調整する。例えば、画像内の顔の検出のための様々なアルゴリズムは知られていて、斯様なアルゴリズムは、人間の顔に対応するとみなされる領域のマッピングを適応させるために用いられる。
【０１９８】
よって、幾つかの実施例において、エンコーダ及び／又はデコーダは、画像対象物を検出するための手段と、画像対象物の画像特性に応じてマッピングを適応させるための手段とを有する。特に、エンコーダ及び／又はデコーダは、顔検出を実施するための手段と、顔検出に応じてマッピングを適応させるための手段とを有する。
【０１９９】
マッピングが多くの異なる態様で適応されることは理解されるだろう。複雑さが低い例として、異なる格子又はルックアップテーブルが、異なる領域に対して単に使われてもよい。このように、エンコーダ／デコーダは、顔検出及び／又は画像対象物に対する画像特性に応じて、異なるマッピング間で選択するように設けられる。
【０２００】
具体例として、エンコーダ及び／又はデコーダは、参照画像において人間の顔に対応するとみなされる領域を識別する。これらの領域のために、１つのルックアップテーブルが生成され、他の領域のために第２のルックアップテーブルが使われる。２つのルックアップテーブルの生成は異なるアプローチを使用するか、及び／又はマッピングは、２つの例で異なっていてもよい。例えば、マッピングは、顔に対応する領域ではない通常の領域に対して彩度増加を含むように生成される。別の例として、顔に対応しない領域に対してより、顔領域に対してマッピングのより微細な粒状が使われてもよい。
【０２０１】
マッピングを適応させる他の手段は、想定できる。例えば、幾つかの実施例では、入力データセットが、マッピングの前に処理される。例えば、パラボラ機能が、テーブル調査の前にカラー値に適用される。斯様な前処理は、全ての入力値におそらく適用されるか、又は例えば選択的に適用される。例えば、入力値は、幾つかの領域若しくは画像対象物に対してだけ、又は幾つかの値間隔に対してだけ、前処理される。例えば、前処理は、肌色トーン間隔内にあるカラー値にだけ、及び／又は顔に対応しそうであると示される領域にだけ適用される。
【０２０２】
代替的に又は追加的に、ＨＤＲ出力画素値の後処理が適用されてもよい。斯様な後処理は、全体を通じて同様に適用されるか又は選択的に適用される。例えば、肌色トーンに対応する出力値にだけ適用されるか又は顔に対応するとみなされる領域にだけ適用されてもよい。幾つかのシステムにおいて、後処理は、前処理を部分的に又は完全に補償してもよい。例えば、前処理が変換操作を適用し、後処理が逆変換を適用する。
【０２０３】
具体例として、前処理及び／又は後処理は、入力／出力値の（一つ以上の）フィルタリングを有する。これは、多くの実施例において、改良されたパフォーマンスを提供し、特に、マッピングは、改良された予測に結果としてしばしばなる。例えば、フィルタリングは、結果的に減少した段階区分になる。
【０２０４】
前処理の例として、幾つかの例において、カラー変換を適切な色空間に適用することが望ましい。多くの標準ビデオ色空間（例えばＹＣｂＣｒ）は、人間の知覚に単にゆるく結ばれている。従って、ビデオデータを知覚的に均一な色空間（特定のステップサイズが一定の知覚的な差に対応する色空間）に変換することが、有利である。斯様な色空間の例は、Ｙｕ’ｖ’、ＣＩＥＬａｂ又はＣＩＥＬｕｖを含む。斯様な前処理ステップの利点は、予測の不正確さから結果的に生じる誤差が知覚的により均一な効果を持つということである。
【０２０５】
幾つかの実施例において、マッピングは、非一様にサブサンプリングされてもよい。マッピングは、具体的には、空間的に均一でないサブサンプリングされたマッピング、時間的に均一でないサブサンプリングされたマッピング、及び組合せ値の均一でないサブサンプリングされたマッピングのうちの少なくとも１つである。
【０２０６】
均一でないサブサンプリングは、静的に均一でないサブサンプリングであるか、又は、均一でないサブサンプリングは、例えばカラー座標の組合せの特性若しくは画像特性に応じて適応されてもよい。
【０２０７】
例えば、カラー値サブサンプリングは、カラー座標値に依存している。これは、例えば、肌色トーンに対応するカラー値に対する分類が、他の色をカバーするカラー値に対するより非常に小さなカラー座標値間隔をカバーするように静的であってもよい。
【０２０８】
別の例として、顔に対応するとみなされない領域に対してより、顔に対応するとみなされる領域の非常に微細なサブサンプリングが使われる動的な空間サブサンプリングが適用されてもよい。多くの他の均一でないサブサンプリングアプローチが使用できることは理解されるだろう。
【０２０９】
別の例として、画像が限定された輝度範囲にわたって滑らかな勾配を含むとき、量子化偽信号が勾配で見えることを防止するため、そのレンジのためのより微細な量子化ステップを使用することは有利である。
【０２１０】
更に別の例では、サンプリング／量子化は、画像の焦点に依存する。これは、鋭さ計量又は周波数分析から導出できる。ぼやけた背景に対して、信号予測は、カメラがフォーカスする小さな明るい対象物に対してと等しく正確である必要はない。一般に、説明されたアプローチにより提供される区分的線形近似が十分であるので、ほとんど細部を含まない領域は、より粗く量子化できる。
【０２１１】
前の例では、３次元マッピング／格子が用いられた。しかしながら、他の実施例では、Ｎ次元格子が用いられてもよく、ここで、Ｎは３より大きい整数である。特に、２つの空間次元は、複数の画素値関係の次元により補足されてもよい。
【０２１２】
このように、幾つかの実施例では、組合せは、各次元に対して値を持つ複数の次元を有する。単純な例として、格子は、２つの空間次元と各カラーチャネルに対して一つの次元を持つ格子として生成される。例えば、ＲＧＢ画像のために、各分類は、水平位置間隔、垂直位置間隔、Ｒ値間隔、Ｇ値間隔、及びＢ値間隔により定められる。
【０２１３】
別の例として、複数の画素値の次元は、更に又は代わりに、異なる空間次元に対応してもよい。例えば、次元は、現在の画素の輝度と、周囲画素の各々とに割り当てられる。
【０２１４】
斯様な多次元格子は、改良された予測を可能にする、特にＨＤＲ画像が画素間の相対的な違いをより密接に反映可能にする付加的情報を提供する。
【０２１５】
幾つかの実施例において、エンコーダは、予測に応じて動作を適応させるように設けられる。
【０２１６】
例えば、エンコーダは、前述されたように予測されたＨＤＲ画像を生成し、その後、これを入力ＨＤＲ画像と比較する。これは、例えば、残りの画像を生成し、この画像を評価することによりなされる。エンコーダは、この評価に依存して動作を適応させ、評価に応じて特にマッピング及び／又は残りの画像を適応させる。
【０２１７】
具体例として、エンコーダは、マッピングのどの部分が評価に基づいてエンコードされたデータストリームに含まれるべきかを選択するように設けられる。例えば、エンコーダは、現在の画像に対するマッピングを生成するため前のセットの画像を使用してもよい。このマッピングに基づいて対応する予測が決定され、対応する残りの画像が生成される。エンコーダは、予測が十分に正確であるとみなされる領域と、予測が十分に正確でないとみなされる領域とを識別するため残りの領域を評価する。例えば、残りの画像値が所与の予め定められた閾値より低い全ての画素値は、十分に正確に予測されているとみなされる。従って、斯様な領域に対するマッピング値は十分に正確であるとみなされ、これらの値に対する格子値は、デコーダにより直接使用できる。従って、マッピングデータは、十分に正確に予測されるとみなされる画素だけにわたる入力セット／分類に対しては、含まれない。
【０２１８】
しかしながら、十分に正確に予測されていない画素に対応する分類に対して、エンコーダは、参照画像として画像の現在のセットを使用することに基づいて新規なマッピング値を生成する。このマッピング情報はデコーダにより再形成できないので、これはエンコードされたデータに含まれる。よって、アプローチは、前の画像を反映しているデータ分類と、現在の画像を反映しているデータ分類とから成るように動的にマッピングを適応させるために用いられる。このように、マッピングは、前の画像が受け入れられるとき前の画像に基づき、現在の画像が必要なとき現在の画像に基づくように自動的に適している。現在の画像に基づいて生成される分類だけがエンコードされた出力ストリームに含まれる必要があるので、通信されるマッピング情報の自動適合が達成される。
【０２１９】
このように幾つかの実施例では、例えばエンコーダが、それらの領域に対して、例えばきわめて重大な対象物変化又は対象物が実際にきわめて重要である（例えば顔）という理由のため、ＨＤＲ画像予測が十分に良好でないことを検出できるので、画像の幾つかの領域に対して、より良好な（デコーダ側で作られない）ＬＤＲ―ＨＤＲマッピングを送信することが望ましい。
【０２２０】
幾つかの実施例では、同様のアプローチが、代替的に又は追加的に残りの画像に対して使われる。複雑さが低い例として、通信される残りの画像データの量は、高いダイナミックレンジ入力画像と予測された高いダイナミックレンジ画像との比較に応じて適応される。具体例として、エンコーダは、残りの画像内の情報がどれくらい重要かを評価する。例えば、残りの画像の画素の平均値が所与の閾値より低い場合、これは、予測された画像が入力ＨＤＲ画像に近いことを示す。従って、エンコーダは、斯様な考察に基づいて残りの画像をエンコードされた出力ストリームに含むべきかどうかを選択する。例えば、平均輝度値が閾値より低い場合、残りの画像に対するエンコードデータは含まれず、閾値を越える場合、残りの画像に対するエンコードデータは含まれる。
【０２２１】
幾つかの実施例において、残りの画像データは、平均して画素値が閾値を越える領域に対して含まれ、平均して画素値が閾値より低い画像領域に対して含まれないという、より微妙な違いのある選択が適用されてもよい。画像領域は、例えば、固定のサイズを持つか、又は例えば動的に（セグメント化プロセスにより）決定される。
【０２２２】
幾つかの実施例では、エンコーダは、更に、所望の視覚効果を提供するために、マッピングを生成する。例えば、幾つかの実施例では、マッピングは、最も正確な予測を提供するために生成されなくてもよく、むしろ、代替的に又は追加的に所望の視覚効果を与えるために生成されてもよい。例えば、マッピングは、予測が、また、例えばカラー調整、コントラスト増大、シャープネス補正等を供給するように生成されてもよい。斯様な所望の効果は、例えば画像の異なる領域に対して異なって適用されてもよい。例えば、画像対象物が識別され、マッピングを生成するための異なるアプローチが異なる領域のために用いられる。
【０２２３】
実際、幾つかの実施例では、エンコーダは、画像特性に応じて、特に局所的画像特性に応じて、マッピングを生成するため異なるアプローチ間を選択するように設けられる。
【０２２４】
例えば、エンコーダは、高い又は低い輝度画素により支配される領域に対してより、中間の輝度画素により支配される領域に増大されたダイナミックレンジ拡張を提供する。よって、エンコーダは、入力ＬＤＲ画像又はＨＤＲ画像を分析して、異なる画像領域に対して異なるアプローチを動的に選択する。例えば、輝度オフセットが、属する領域の特性に依存して特定の分類に加えられる。このアプローチは特定の画像に基づいて適応しているアプローチを依然使用するが、また、結果的に入力ＨＤＲ画像に対するより近い近似におそらくならず、むしろ所望のＨＤＲ画像に近い近似になる所望の視覚画像特性を供給するために用いられてもよい。当該アプローチは、マッピングがエンコーダ内でどのくらい正確に生成されるかについての幾らかの不確定度を導入し、デコーダがこのマッピングに独立して整合可能にするために、エンコーダは、選択されたマッピングを定めている又は説明しているデータを含む。例えば、個別の分類に適用されるオフセットは、デコーダに通信される。
【０２２５】
例において、マッピングは、ＬＤＲ及びＨＤＲ入力画像のセットに基づいたマッピングの適応生成に基づいていた。特に、これは、エンコードされたデータストリーム内に何れのマッピング情報も含まれることを必要としないので、マッピングは、前のＬＤＲ及びＨＤＲ入力画像に基づいて生成される。しかしながら、これが適切でない幾つかの場合で、例えばシーン変化に対して、前の画像と現在の画像との間の相関は、非常に高くありそうにない。斯様な場合には、エンコーダは、エンコードされた出力データにマッピングを含むように切り替わる。例えば、エンコーダは、シーン変化が発生することを検出し、現在の画像自体に基づいてシーン変化に即座に後続する画像に対するマッピングをしかるべく生成してもよい。生成されたマッピングデータは、このとき、エンコードされた出力ストリームに含まれる。デコーダは、マッピングが使用される場合に受信されたエンコードされたビットストリームに明確なマッピングデータが含まれるときを除いて、前の画像に基づいてマッピングを生成する。
【０２２６】
幾つかの実施例において、デコーダは、低いダイナミックレンジビデオシーケンスの少なくとも幾らか低いダイナミックレンジ画像に対する参照マッピングを使用する。参照マッピングは、ビデオシーケンスのＬＤＲ及びＨＤＲ画像セットに応じて動的に決定されないマッピングである。参照マッピングは、予め定められたマッピングでもよい。
【０２２７】
例えば、エンコーダ及びデコーダ両方は、ＬＤＲ画像からＨＤＲ画像を生成するために使用できる予め定められたデフォルトマッピングの情報を持つ。よって、動的な適応マッピングが前の画像から生成される実施例では、決定されたマッピングが現在の画像の正確な反映ではなさそうなとき、デフォルトで予め定められたマッピングが用いられる。例えば、シーン変化の後、参照マッピングが、第１の画像のために用いられる。
【０２２８】
このような場合、エンコーダは、シーン変化が（例えば連続的な画像の間の画素値の差の単純な比較により）発生したことを検出し、参照マッピングが予測のために用いられるべきであることを示す参照マッピング指標をエンコードされた出力ストリームに含むようにする。参照マッピングは、予測されたＨＤＲ画像の減少した正確さに結果としてなりそうである。しかしながら、同じ参照マッピングがエンコーダ及びデコーダ両方により用いられるので、これは、結果的に単に、残りの画像に対する増大された値（よって増大されたデータレート）になる。
【０２２９】
幾つかの実施例において、エンコーダ及びデコーダは、複数の参照マッピングから参照マッピングを選択可能である。よって、ちょうど１つの参照マッピングを使用するよりはむしろ、システムは、複数の予め定められたマッピングの情報を共有する。このような実施例では、エンコーダは、全てのあり得る参照マッピングに対する予測されたＨＤＲ画像及び対応する残りの画像を生成する。エンコーダは、その後、最も小さな残りの画像（よって、最も低いエンコードされたデータレート）に結果としてなる参照マッピングを選択する。エンコーダは、どの参照マッピングがエンコードされた出力ストリームに使用されたかを明確に定める参照マッピング指標を含む。斯様なアプローチは、予測を承認し、よって、多くのシナリオにおいて残りの画像を通信するために必要とされるデータレートを低下させる。
【０２３０】
このように、幾つかの実施例は、固定されたＬＵＴ（マッピング）が、第１のフレーム又はシーン変化の後の第１のフレームのために使われる（又は、固定セットから選択され、対応する指標だけが送信される）。斯様なフレームに対する残りは、一般に高くなるが、これは、通常は、マッピングデータがエンコードされる必要がないという事実により欠点を補って余りある。
【０２３１】
例において、マッピングは、このように２つの空間画像次元及び少なくとも一つの組合せ値次元を持つ多次元マップとして設けられる。これは、特に効率的な構造を提供する。
【０２３２】
幾つかの実施例において、多次元フィルタが多次元マップに付与され、当該多次元フィルタは、少なくとも一つの組合せ値次元と空間画像次元の少なくとも１つとを含む。特に、幾つかの実施例において、適度な多次元ローパスフィルタが、多次元格子に付与される。これは、多くの実施例において、改良された予測、よって減少したデータレートに結果的になる。特に、これは、不十分なビット深度で表されるとき、通常は、輪郭偽信号に結果的になる滑らかな強度勾配のような、ある信号に対する予測品質を改善する。
【０２３３】
前の説明において、単一のＨＤＲ画像がＬＤＲ画像から生成された。しかしながら、シーンのマルチ視野キャプチャリング及びレンダリングの興味が増大してきた。例えば、３次元（３Ｄ）テレビが、消費者市場に導入されている。別の例として、ユーザが対象物等のあたりを見まわすことができるマルチ視野コンピュータディスプレイが開発されてきた。
【０２３４】
マルチ視野画像は、このように、異なる視点から捕えられた又は生成された同じシーンの複数の画像を有する。以下では、シーンの左（目）及び右（目）視野を有するステレオ視野に対する説明に焦点を当てる。しかしながら、当該原理は、異なる方向に対応する２つより多い画像を有するマルチ視野画像の視野に等しく適用し、特に、左及び右画像は、マルチ視野画像の２つより多い画像／視野からの２つの視野に対する２つの画像であるとみなされてもよいことは理解されるだろう。
【０２３５】
従って、多くのシナリオにおいて、マルチ視野画像を効率的に生成、エンコード、又はデコード可能なことが望ましく、多くのシナリオにおいて、これは、他の画像に依存するマルチ視野画像の１つの画像により達成される。
【０２３６】
例えば、第１の視野に対するＨＤＲ画像に基づいて、第２の視野に対するＨＤＲ画像がエンコードされる。例えば、図１２に図示されるように、図２のエンコーダは、ステレオ視野画像に対するエンコードを提供するように増強されている。特に、図１２のエンコーダは、図２のエンコーダに対応するが、更に、第２のＨＤＲ画像を受信するように設けられる第２の受信器１２０１を有する。以下では、第１の受信器２０１により受信されたＨＤＲ画像は第１の視野画像と呼ばれ、第２の受信器１２０１により受信されたＨＤＲ画像は第２の視野画像と呼ばれる。第１及び第２の視野画像は、特に、ステレオ画像の右及び左画像であり、よって、観察者の右目及び左目に供給されるとき、３次元経験を供給する。
【０２３７】
第１の視野画像は、前述されたようにエンコードされる。更にまた、エンコードされた第１の視野画像は視野予測器１２０３に供給され、視野予測器１２０３は、第１の視野画像から第２の視野画像のための予測を生成する。特に、システムは、ＨＤＲエンコーダ２１３と視野予測器１２０３との間にＨＤＲデコーダ１２０５を有し、ＨＤＲデコーダ１２０５は、第１の視野画像に対するエンコードデータをデコードし、デコード画像を視野予測器１２０３へ供給し、視野予測器１２０３は、そこから第２の視野画像のための予測を生成する。単純な例では、第１の視野画像自体が、第２の画像のための予測として、直接使用される。
【０２３８】
図１２のエンコーダは、更に、視野予測器１２０３から予測された画像と、第２の受信器１２０１からオリジナル画像とを受信する第２のエンコーダ１２０７を有する。第２のエンコーダ１２０７は、視野予測器１２０３から予測された画像に応じて、第２の視野画像をエンコードする。特に、第２のエンコーダ１２０７は、予測された画像を第２の視野画像から減算して、結果として生じる残りの画像をエンコードする。第２のエンコーダ１２０７は、第２の視野画像に対するエンコードされたデータを出力ストリームに含む出力プロセッサ２１５に結合されている。出力プロセッサは、複雑なフォーマット化機能をオプションで有し、例えば、図１８のインタレーススキームのような、エンコードされたストリームの部分を例えばシャッフルする。
【０２３９】
説明されているアプローチは、マルチ視野ＨＤＲ画像に対して特に効率的なエンコードを可能にする。特に、所与の画像品質のための超低データレートが達成できる。
【０２４０】
異なるアプローチが、第１の画像視野から第２の画像視野を予測するために用いられてもよい。述べられたように、第１の画像視野は、更に幾つかの例では、第２の視野の予測として直接使われてもよい。
【０２４１】
特に効率的及び高性能なシステムは、ＬＤＲ画像とＨＤＲ画像との間のマッピングのために説明されたのと同じマッピングのアプローチに基づいている。
【０２４２】
特に、参照画像に基づいて、画像空間位置の入力セット及び画像空間位置と関連した高いダイナミックレンジ画素値のカラー座標の組合せの形式で入力データを、高いダイナミックレンジ画素値の形式の出力データと関連させるマッピングが、生成される。よって、マッピングは、第１の視野（すなわち第１の視野画像に対応する）に対する参照の高いダイナミックレンジ画像と、第２の視野（すなわち第２の視野画像に対応する）に対する対応する参照の高いダイナミックレンジ画像との間の関係を反映するように生成される。
【０２４３】
このマッピングは、ＬＤＲ−ＨＤＲマッピングのために前述されたのと同じ原理を使用して生成される。特に、マッピングは、前のステレオ画像に基づいて生成される。例えば、前のステレオ画像に対して、各空間位置は、整合している画像空間間隔及びＨＤＲカラー座標間隔をカバーしているものとして識別されるマッピングの適当な分類で評価される。第２の視野に対する参照画像の対応するＨＤＲカラー座標値は、その後、その分類に対する出力値を生成するために用いられる（幾つかの例では、出力値として直接使用されてもよい）。このように、当該アプローチは、マッピングの自動生成、正確な予測、実用的な実行等を含むＬＤＲ−ＨＤＲマッピングに適用されているアプローチのものに沿った利点を提供する。
【０２４４】
エンコーダの特定の効率的な実行は、共通の、同一の、又は共有の要素を使用して達成される。幾つかのシステムでは、予測エンコードモジュールは、複数のエンコード操作のために使用される。
【０２４５】
特に、基本のエンコードモジュールは、画像の予測に基づいて入力画像をエンコードするように設けられる。基本のエンコードモジュールは、特に以下の入力部及び出力部を持つ。
エンコードされるべき画像を受信するためのエンコード入力部。
エンコードされるべき画像の予測を受信するための予測入力部。
エンコードされるべき画像に対するエンコードされたデータを出力するためのエンコーダ出力部。
【０２４６】
斯様なエンコードモジュールの例は、図１３に図示されるエンコードモジュールである。特定のエンコードモジュールは、エンコードされるべき画像のためのデータを含む入力信号ＩＮを受信するＨ２６４コーデック１３０１を使用する。更に、Ｈ２６４コーデック１３０１は、Ｈ２６４エンコード標準及び原理に従って入力画像をエンコードすることにより、エンコードされた出力データＢＳを生成する。このエンコードは、予測メモリ１３０３、１３０５に格納されている一つ以上の予測画像に基づく。これらの予測メモリ１３０５の一つは、予測入力部（ＩＮｅｘ）からの入力画像を格納するように設けられる。特に、基本のエンコードモジュールは、基本のエンコードモジュール自体により生成される予測画像を上書きする。よって、例において、予測メモリ１３０３、１３０５は、Ｈ２６４標準に従って、ビデオシーケンスの前にエンコードされた画像をデコードすることにより生成された前の予測データで満たされる。しかしながら、加えて、予測メモリ１３０５の少なくとも一つは、予測入力部からの入力画像により、すなわち外部で生成される予測により上書きされる。エンコードモジュール内部で生成される予測データは、通常は、時間的又は空間予測であり、すなわちビデオシーケンスの過去若しくは未来の画像から、又は、空間的に隣接する領域からの予測であるのに対して、予測入力部で供給される予測は、通常は非時間的、非空間的予測である。例えば、当該予測は、異なる視野からの画像に基づく予測である。例えば、第２の視野画像は、第１の視野画像が予測入力部へ供給されて、説明されているようにエンコードモジュールを使用してエンコードされる。
【０２４７】
図１３の例示的なエンコードモジュールは、更に、エンコードされたデータのデコードから生じるデコード画像を外部の機能へ供給できる任意のデコード画像出力部ＯＵＴｌｏｃを有する。更にまた、遅延デコード画像出力部ＯＵＴｌｏｃ（τ―１）の形式の第２の任意の出力部は、デコード画像の遅延バージョンを供給する。
【０２４８】
エンコーダユニットは、具体的には、国際特許公開公報ＷＯ２００８０８４４１７に説明されているエンコーダユニットであり、その内容は参照により本願に組み込まれている。
【０２４９】
よって、幾つかの例において、システムは、画像圧縮が実施され、複数の時間的予測がメモリに格納されている複数の予測フレームで使われ、メモリ内の予測フレームは別に作られた予測フレームで上書きされて、ビデオ信号をエンコードする。
【０２５０】
上書きされる予測フレームは、具体的には、メモリ内に最も長い、一つ以上の予測フレームである。
【０２５１】
メモリは、増強ストリームエンコーダ内のメモリであり、予測フレームはベースストリームエンコーダからのフレームで上書きされる。
【０２５２】
特に、時間的予測フレームは、深度視野フレームで上書きされる。
【０２５３】
エンコードモジュールが、多くの好適な構成及びトポロジで使用され、非常に効率的であるが、低コストでもある実行を可能にする。例えば、図１２のエンコーダにおいて、同じエンコードモジュールが、ＬＤＲエンコーダ２０５、ＨＤＲエンコーダ２１３及び第２のＨＤＲエンコーダ１２０７のために用いられる。
【０２５４】
図１３のもののようなエンコードモジュールの様々な好適な構成及び使用が、図１４乃至図１７を参照して説明されるだろう。
【０２５５】
図１４は、図１３のもののような基本のエンコードモジュールが、先に述べられた原理に従って、ＬＤＲ画像及び対応するＨＤＲ画像をエンコードするために使われる例を図示する。例において、基本のエンコードモジュール１４０１、１４０５は、両方とも、ＬＤＲ画像及びＨＤＲ画像をエンコードするために用いられる。例において、ＬＤＲ画像はエンコードモジュール１４０１へ供給され、エンコードモジュール１４０１は、予測入力部に供給されるＬＤＲ画像のための予測なしに（エンコードは、動き補償のために使用される時間的予測のような、内部的に生成される予測を使用するが）、エンコードされたビットストリームＢＳＬＤＲを生成する。
【０２５６】
基本のエンコードモジュール１４０１は、更に、デコード画像出力部上にＬＤＲ画像のデコードバージョンと、遅延デコード画像出力部上に遅延デコード画像とを生成する。これら２つのデコード画像は、遅延デコードＨＤＲ画像、すなわち前のＨＤＲ画像を更に受信する予測器１４０３へ供給される。予測器１４０３は、前の（遅延した）デコードＬＤＲ及びＨＤＲ画像に基づいてマッピングを生成する。予測器１４０３は、その後、このマッピングを現在のデコードＬＤＲ画像に適用することにより、現在のＨＤＲ画像に対する予測された画像を生成する。
【０２５７】
基本のエンコードモジュール１４０５は、予測された画像に基づいてＨＤＲ画像をエンコードする。特に、予測された画像は、基本のエンコードモジュール１４０５の予測入力部へ供給され、ＨＤＲ画像は入力部へ供給される。基本のエンコードモジュール１４０５は、ＨＤＲ画像に対応する出力ビットストリームＢＳＨＤＲを生成する。２つのビットストリームＢＳＬＤＲ及びＢＳＨＤＲは、単一の出力ビットストリームに組み合わされてもよい。
【０２５８】
例において、（２つの機能的な明示１４０１、１４０５により表される）同じエンコードモジュールは、このように、ＬＤＲ画像及びＨＤＲ画像両方をエンコードするために用いられる。これは、一つの基本のエンコードモジュールだけを時間的に順次に使用して達成される。代わりに、複数の同一の基本のエンコードモジュールが実行できる。これは、大幅なコスト削減に結果としてなる。
【０２５９】
例において、ＬＤＲ画像がＨＤＲ画像に依存してエンコードされないのに対して、ＨＤＲ画像は、このようにＬＤＲ画像に依存してエンコードされる。よって、一方の画像が他方の画像に依存して（しかしながら最初の画像に依存せずに）共同のエンコード／圧縮が達成されるエンコードの階層的なアレンジメントが提供される。
【０２６０】
図１４の例は、同一の又は同じエンコードモジュールがＨＤＲ画像及びＬＤＲ画像のために使われる図２のエンコーダの特定の実行例とみなされることは、理解されるだろう。特に、同じ基本のエンコードモジュールは、図２のＨＤＲエンコーダ２１３だけでなく、ＬＤＲエンコーダ２０５及びＬＤＲデコーダ２０７両方を実行するために用いられる。
【０２６１】
他の例は、図１５に図示される。この例では、複数の同一又は単一の基本のエンコードモジュール１５０１、１５０３が、ステレオ画像の効率的なエンコードを実施するために用いられる。例において、左ＬＤＲ画像は基本のエンコードモジュール１５０１へ供給され、基本のエンコードモジュール１５０１は何れの予測にも依存することなく、左ＬＤＲ画像をエンコードする。結果として生じるエンコードデータは、第１のビットストリームＬＢＳとして出力される。右ＬＤＲ画像に対する画像データは、基本のエンコードモジュール１５０３の画像データ入力部に入力される。更にまた、左画像が予測画像として使われ、よって、左ＬＤＲ画像のデコードバージョンが基本のエンコードモジュール１５０３の予測入力部へ供給され、基本のエンコードモジュール１５０３は、この予測に基づいて右ＬＤＲ画像をエンコードするように、基本のエンコードモジュール１５０１のデコード画像出力部は、基本のエンコードモジュール１５０３の予測入力部に結合されている。このように、基本のエンコードモジュール１５０３は、（左画像に対して）右画像に対するエンコードデータを有する第２のビットストリームＲＢＳを生成する。
【０２６２】
図１６は、複数の同一又は単一の基本のエンコードモジュール１４０１、１４０３、１６０３、１６０１がＨＤＲ及びステレオ視野両方の共同及び組み合わせのエンコードを提供するために用いられる例を図示する。例において、図１４のアプローチは、左ＬＤＲ画像及びＨＤＲ画像に適用される。加えて、右ＨＤＲ画像は、左ＨＤＲ画像に基づいてエンコードされる。特には、右ＨＤＲ画像は、基本のエンコードモジュール１６０１の画像データ入力部へ供給され、基本のエンコードモジュール１６０１の予測入力部は、左ＨＤＲ画像をエンコードしている基本のエンコードモジュール１４０５のデコード画像出力部に結合されている。よって、例において、右ＨＤＲ画像は、左ＨＤＲ画像に基づいて基本のエンコードモジュール１６０１によりエンコードされる。よって、図１６のエンコーダは、左ＬＤＲ画像ビットストリームＬＢＳ、左ＨＤＲ画像ビットストリームＬＨＤＲＢＳ、及び右ＨＤＲ画像ビットストリームＲＨＤＲＢＳを生成する。
【０２６３】
図１６の具体例において、第４のビットストリームも、右ＬＤＲ画像のためにエンコードされる。例において、左ＬＤＲ画像のデコードバージョンが予測入力部へ供給されるのに対して、基本のエンコードモジュール１６０３は、画像データ入力部で右ＬＤＲ画像を受信する。基本のエンコードモジュール１６０３は、第４のビットストリームＲＢＳを生成するために右ＬＤＲ画像をエンコードする。
【０２６４】
よって、図１６の例では、ステレオ及びＨＤＲ特性両方は、共同且つ効率的にエンコードされ／圧縮される。例において、左視野ＬＤＲ画像は独立してエンコードされ、右視野ＬＤＲ画像は左ＬＤＲ画像に依存する。更にまた、左ＨＤＲ画像は、左ＬＤＲ画像に依存する。右ＨＤＲ画像は、左ＨＤＲ画像、よってまた、左ＬＤＲ画像にも依存する。例において、右ＬＤＲ画像は、ステレオＨＤＲ画像の何れもエンコード／デコードのために使われない。これの利点は、３つ基本のモジュールだけがステレオＨＤＲ信号をエンコード／デコードするために必要とされるということである。このように、この解決策は、改良された下位互換性を提供する。
【０２６５】
図１７は、右ＬＤＲ画像が右ＨＤＲ画像をエンコードするためにも用いられるように、図１６のエンコーダが増強される例を図示する。特に、右ＨＤＲ画像の予測は、左ＨＤＲ画像のためと同じアプローチを使用して、左ＬＤＲ画像から生成される。特に、前述されたようなマッピングが、用いられる。例において、基本のエンコードモジュール１５０１の予測入力部は、右ＨＤＲ画像のエンコードのために両方が使われる２つの予測画像両方を受信するように設けられる。例えば、２つの予測画像は、基本のエンコードモジュール１６０１の２つの予測メモリを上書きする。
【０２６６】
よって、この例では、ステレオ及びＨＤＲ両方は、共同でエンコードされ、（より）効率的に圧縮される。ここで、左視野ＬＤＲ画像は独立して符号化され、右視野ＬＤＲ画像は左ＬＤＲ画像に依存してエンコードされる。この例では、右ＬＤＲ画像は、また、ステレオＨＤＲ信号、及び特に右ＨＤＲ画像をエンコード／デコードするために使用される。よって、例において、２つの予測は右ＨＤＲ画像のために使われ、４つの基本のエンコードモジュールを必要とすることを代償にするが（同じ基本のエンコードモジュールを４回再使用するが）、これにより高い圧縮効率を可能にする。
【０２６７】
よって、図１４―図１７の例において、同じ基本のエンコード／圧縮モジュールは、共同のＨＤＲ及びステレオ符号化のために使用され、これは、圧縮効率のために有益であるし、実用性及びコストのためにも有益である。
【０２６８】
図１４―図１７は、機能的な具体例であり、同じエンコードモジュールの時間順次の使用を反映するか、又は、例えば、同一のエンコードモジュールのパラレルアプリケーションを例示する。
【０２６９】
説明されているエンコードの例は、このように、一つ以上の画像に基づいて一つ以上の画像のエンコードを含む出力データを生成する。よって、例において、少なくとも２つの画像は、一方の画像が他方の画像に依存するが、他方の画像が最初の画像に依存しないように、共同でエンコードされる。例えば、図１６のエンコーダにおいて、２つのＨＤＲ画像は、左ＨＤＲ画像が右ＨＤＲ画像に独立してエンコードされるのに対して、右ＨＤＲ画像が（予測を介して）左ＨＤＲ画像に依存してエンコードされながら、共同でエンコードされる。
【０２７０】
この非対称の共同のエンコードは、好適な出力ストリームを生成するために用いられる。特に、右及び左ＨＤＲ画像それぞれに対する２つの出力ストリームＲＨＤＲＢＳ及びＬＨＤＲＢＳは、出力データストリームを形成するために、一緒に多重できる２つの異なるデータストリームとして生成される（分割される）。ＲＨＤＲＢＳデータストリームからのデータを必要としないＬＨＤＲＢＳデータストリームは主要なデータストリームとみなされ、ＬＨＤＲＢＳデータストリームからのデータを必要とするＲＨＤＲＢＳデータストリームは、第２のデータストリームとみなされる。特に好適な例において、主要な及び第２のデータストリームが別々のコードで供給されるように、多重化がなされる。よって、異なるコード（ヘッダ／ラベル）が２つのデータストリームに割り当てられ、これにより個々のデータストリームが分けられ、出力データストリームにおいて識別されることを可能にする。
【０２７１】
具体例として、出力データストリームは、データパケット又はセグメントに分割され、各パケット／セグメントは、第１の又は第２のデータストリームだけからのデータを有し、各パケット／セグメントは、どのストリームが特定のパケット／セグメントに含まれるかを識別する（例えばヘッダ、プリアンブル、中間アンブル又はポストアンブルに）コードを備える。
【０２７２】
斯様なアプローチは、改良されたパフォーマンスを可能にし、特に下位互換性を可能にする。例えば、完全に互換性を持つステレオデコーダは、フルのステレオＨＤＲ画像を生成するために右及び左ＨＤＲ画像両方を抽出可能である。しかしながら、非ステレオデコーダは、主要なデータストリームだけを抽出できる。実際、このデータストリームが右ＨＤＲ画像から独立しているので、非ステレオデコーダは、非ステレオ技術を使用して、単一のＨＤＲ画像をデコードできる。
【０２７３】
当該アプローチが異なるエンコーダのために使われてもよいことは理解されるだろう。例えば、図１４のエンコーダに対して、ＢＳＬＤＲビットストリームは主要なデータストリームとみなされ、ＢＳＨＤＲビットストリームは第２のデータストリームとみなされた。図１５の例において、ＬＢＳビットストリームは主要なデータストリームとみなされ、ＲＢＳビットストリームは第２のデータストリームとみなされた。このように、幾つかの例では、主要なデータストリームは、完全に自己充足型であるデータを有し、すなわち、何れの他のエンコードデータ入力を必要としない（すなわち、何れの他のデータストリームからのエンコードデータに依存せず、首尾一貫してエンコードされる）。
【０２７４】
また、当該アプローチは、２より多いビットストリームまで拡張されてもよい。例えば、図１５のエンコーダに対して、（完全に自己充足型である）ＬＢＳビットストリームは主要なデータストリームとみなされ、（ＬＢＳビットストリームに依存するが、ＲＨＤＲＢＳビットストリームに依存しない）ＬＨＤＲＢＳは第２のデータストリームとみなされ、（ＬＢＳ及びＬＨＤＲＢＳビットストリーム両方に依存する）ＲＨＤＲＢＳビットストリームは第３のデータストリームとみなされる。３つのデータストリームは共に多重され、各データストリームは、自身のコードを割り当てられる。
【０２７５】
別の例として、図１６又は図１７のエンコーダで生成される４ビットのストリームは、出力データストリームの４つの異なる部分に含まれる。具体例として、ビットストリームの多重化は、以下の部分を含む出力ストリームを生成する：部分１は、記述コード０ｘ１Ｂ（通常のＨ２６４）を持つ全てのＬＢＳパケットを含み、部分２は、記述コード０ｘ２０（ＭＶＣの従属ステレオ視野）を持つ全てのＲＢＳパケットを含み、部分３は、記述コード０ｘ２１を持つ全てのＬＨＤＲＢＳパケットを含み、部分４は、記述コード０ｘ２２を持つ全てのＲＨＤＲＢＳパケットを含む。このタイプの多重化は、ＭＶＣステレオ及びＨ２６４モノラルと下位互換性を維持しながら、ステレオＨＤＲ多重化のフレキシブルな使用を可能にする。特に、特別なコードは、ＨＤＲ及び／又はステレオ画像のような、より高度な画像をデコードするために適切に備えられた（例えば、Ｈ２６４又はＭＶＣベースの）デコーダを可能にする一方、ＬＤＲ画像をデコードする従来のＨ２６４デコーダを許容する。
【０２７６】
出力ストリームの生成は、具体的には、参照により本願に組み込まれる国際特許公開公報ＷＯ２００９０４０７０１に説明されたアプローチに従う。
【０２７７】
斯様なアプローチは、それぞれの欠点を回避しながら、他の方法の利点を組み合わせてもよい。当該アプローチは、２つ以上のビデオデータ信号を共同で圧縮することを有し、その後、２つ以上の（主要な及び第２の）別々のビットストリームを形成する。自己充足型である（又は、第２のビットストリームに依存していない）主要なビットストリームは、両方のビットストリームをデコードできないビデオデコーダによりデコードできる。（しばしば、補助ビデオ表現ストリームと呼ばれる）一つ以上の第２のビットストリームは、主要なビットストリームに依存する。別々のビットストリームが多重化され、ここで、主要な及び第２のビットストリームは、別々のコードを備えて送信される別々のビットストリームである。一見したところでは、信号を最初に共同して圧縮し、圧縮された信号を圧縮の後に再び、分離して、別個のコードをこれらに供給することは、余分なようであるし、労力の浪費に見える。共通の技術において、圧縮ビデオデータ信号は、マルチプレクサで単一のコードを与えられる。一見したところでは、当該アプローチは、ビデオデータ信号をエンコードする際の不必要な複雑さを加えるようにみえる。
【０２７８】
しかしながら、多重化信号の主要な及び第２のビットストリームの分離及び別々のパッケージ（すなわち、マルチプレクサに主要な及び第２のビットストリームの別々のコードの付与）が、一方で、従来のビデオシステムの標準デマルチプレクサが、そのコードにより主要なビットストリームを認識し、標準ビデオデコード器が主要なストリームだけを受信し、第２のストリームはデマルチプレクサを通らないようにするように、デコーダに主要なビットストリームを送り、標準ビデオデコーダは、このように、標準ビデオデータ信号として主要なビットストリームを正しく処理でき、他方では、専門のシステムは完全にエンコードプロセスを反転でき、適切なデコーダに主要なビットストリームを送る前に最初の強化されたビットストリームを再形成できるという結果を持つことが、認識された。
【０２７９】
当該アプローチにおいて、主要な及び第２のビットストリームは別々のビットストリームであり、ここで、主要なビットストリームは具体的には、自己充足型のビットストリームである。これは、主要なビットストリームが標準ビデオデータ信号に対応するコードを付与可能にする一方、標準ビデオデータ信号として標準デマルチプレクサにより認識されない第２のビットストリーム又は第２のビットストリームコードを与える。受信側で、標準デマルチプレクス装置は、主要なビットストリームを標準ビデオデータ信号として認識し、主要なビットストリームをビデオデコーダに渡す。標準をデマルチプレクス装置は、第２のビットストリームを拒絶し、標準ビデオデータ信号として認識しない。ビデオデコーダ自体は、「標準ビデオデータ信号」を受信するだけであろう。このように、ビデオデコーダ自体により受信されるビットの量は、自己充足型であり、標準ビデオデータ信号の形式であって、標準ビデオ装置により解釈可能であり、標準ビデオ装置が対処できるビットレートを持つ、主要なビットストリームに制限される。ビデオデコーダは、扱うことができるビットでは過負荷にならない。
【０２８０】
ビデオデータ信号がエンコードされ、エンコードされた信号は第１及び少なくとも第２のセットのフレームを有し、第１及び第２のセットのフレームはインターリーブされたビデオシーケンスを形成するためにインターリーブされるか、又は、第１及び第２のセットのフレームを有するインターリーブされたビデオデータ信号が受信され、第１のセットのフレームは、第２のセットのフレームを使用することなくエンコードされて圧縮され、第２のセットのフレームは、第１のセットのフレームを使用してエンコードされて圧縮され、その後圧縮ビデオデータ信号は、各ビットストリームがフレームを有する主要なビットストリームと少なくとも第２のビットストリームとへ分割され、主要なビットストリームは、第１のセットに対する圧縮フレームと第２のセットに対する第２のビットストリームとを有し、主要なビットストリーム及び第２のビットストリームは別個のビットストリームを形成し、その後、主要なビットストリーム及び第２のビットストリームは、別々のコードを具備して、多重信号に多重されることを、コーディングは特徴とする。
【０２８１】
インターリーブの後、少なくとも一つのセット、すなわち、主要なビットストリームのフレームのセットは、「自己充足型の」信号として圧縮される。これは、フレームのこの自己充足的なセットに属するフレームが他の第２のビットストリームから（例えば動き補償又は他の任意の予測スキームを介して）何れの情報も必要としないことを意味する。
【０２８２】
主要なビットストリーム及び第２のビットストリームは、上述された理由のため、別々のビットストリームを形成して、別々のコードを持って多重される。
【０２８３】
幾つかの例において、主要なビットストリームは、マルチ視野ビデオデータ信号の１つの視野のフレームに対するデータを有し、第２のビットストリームは、マルチ視野のデータ信号の他の視野のフレームに対するデータを有する。
【０２８４】
図１８は、各々がフレーム０から７を有する図１６のエンコーダのＨＤＲ左（Ｌ）視野及び右（Ｒ）視野のような２つの視野のフレームの０から１５を持つインターリーブ組み合わせ信号への可能性があるインターリーブの例を示す。
【０２８５】
具体例において、図１６のＬＨＤＲＢＳ及びＲＨＤＲＢＳのフレーム／画像は、図１７に示されるように個々のフレーム／セグメントに分けられる。
【０２８６】
左視野及び右視野のフレームは、その後、組み合わせ信号を出力するためにインターリーブされる。組み合わせ信号は、２次元信号に似ている。圧縮の特別な特徴は、視野の１つの視野のフレームが他方に依存しない（自己充足型のシステムである）、すなわち圧縮において、他の視野からの何れの情報も圧縮のために使われないということである。他の視野のフレームは、第１の視野のフレームからの情報を使用して圧縮される。当該アプローチは、等しい足場上の２つの視野を扱うための自然の傾向から逸脱する。実際に、２つの視野は、圧縮中に等しく扱われない。視野の１つは主要な視野になり、主要な視野に対して、圧縮の間、情報が他の視野からの情報を使用せず、他の視野は第２の視野になる。主要な視野のフレーム及び第２の視野のフレームは、主要なビットストリーム及び第２のビットストリームに分割される。コーディングシステムは、ビデオビットストリームとして標準ビデオのために認識可能であるコード、例えばＭＰＥＧに対して０ｘ０１又はＨ．２６４に対して０ｘ１Ｂを、主要なビットストリームへ割り当て、異なるコード、例えば０ｘ２０を第２のストリームへ割り当てるマルチプレクサを有する。多重信号は、その後、送信される。多重信号はデコードシステムにより受信され、ここで、デマルチプレクサは、２つのビットストリーム０ｘ０１又は０ｘ１Ｂ（主要なストリームに対する）と０ｘ２０（第２のストリームに対する）とを認識し、再び主要なストリーム及び第２のストリームを結合するためのビットストリーム結合器へこれら両方を送信し、組み合わされたビデオシーケンスは、その後、デコーダ内でエンコード方法を反転（リバース）させることによりデコードされる。
【０２８７】
図１４―図１７のエンコーダの例は、デコーダ側の対応するオペレーションへ直接移動できることは理解されるだろう。特に、図１９は、図１３の基本のエンコードモジュールと相補的なデコードモジュールである基本のデコードモジュールを図示する。基本のデコードモジュールは、デコードされるべきエンコードされた画像に対するエンコーダデータを受信するためのエンコーダデータ入力部を持つ。基本のエンコードモジュールと同様に、基本のデコードモジュールは、デコードされるべきエンコードされた画像に対する予測を受信するための予測入力部だけでなく複数の予測メモリ１９０１を有する。基本のデコードモジュールは、デコーダ出力部ＯＵＴｌｏｃの出力であるデコード画像を生成するために、予測に基づいてエンコードデータをデコードするデコーダユニット１９０３を有する。デコード画像は、更に、予測メモリへ供給される。基本のエンコードモジュールに関して、予測入力部の予測データは、予測メモリ１９０１のデータを上書きする。また、基本のエンコードモジュールと同様に、基本のデコードモジュールは、遅延デコード画像を供給するための（オプションの）出力部を持つ。
【０２８８】
基本のデコードモジュールが、図１４―図１７の例の基本のエンコードモジュールと相補的に用いられることが明らかである。例えば、図２０は、図１４のエンコーダと相補的なデコーダを図示する。マルチプレクサ（図示せず）は、ＬＤＲエンコードデータＥｎｃＬＤＲ及びＨＤＲエンコードデータＥｎｃＨＤＲを分離する。図１４から説明されたように、第１の基本のデコードモジュールは、ＬＤＲ画像をデコードし、ＨＤＲ画像の予測を生成するためにこれを使用する。第２の基本のデコードモジュール（第１の基本のデコードモジュールと同一又は実際に時間順次に使用される第１の基本のデコードモジュール）は、ＨＤＲエンコードデータ及び予測からＨＤＲ画像をデコードする。
【０２８９】
他の例として、図２１は、図１５のエンコーダに対する相補的デコーダの例を図示する。例において、左画像に対するエンコードデータが、左画像をデコードする第１の基本のデコードモジュールへ供給される。これは、更にまた、右画像に対するエンコードデータを受信し、予測に基づいてこのデータをデコードして、これにより右画像を生成する第２の基本のデコードモジュールの予測入力部へ供給される。
【０２９０】
更に別の例として、図２２は、図１６のエンコーダと相補的なデコーダの例を図示する。
【０２９１】
図２０―図２２は、機能的な具体例であり、同じデコードモジュールの時間順次の使用を反映してもよいし、又は例えば同一のデコードモジュールのパラレルアプリケーションを例示してもよい。
【０２９２】
図２２は、例えば結果として生じる画像メモリを介して、様々な組合せで前述されるように、幾つかの標準ブロックをどのように組み合わせることができるかを例示的に示し、更に、上で例証されるように例えばＬＵＴ２２０４を介して、幾つかの可能なトポロジ実施例及び実現化に従って再フォーマットされ及び／又は処理される、幾つかのＨＤＲ情報又は視野情報をエンコードする様々な画像データを受信する幾つかの受信器２２０１、２２０２、２２０３を示す。図２２は、可能なデコーダ実現の単純な例だけを示す。当業者は、他のトポロジが可能であり、例えば受信器２２０１、２２０２、２２０３は、入力データをフォーマットするためのセパレータ、例えば図１８のインターリーブ原理に従って異なる３Ｄ／ＨＤＲエンコードサブストリームのアイソレーションのような他のユニットを例えば有する全体のデータ受信器の一部を形成する。更にまた、エンコーダのコーディング原理に従って、ＬＵＴ２２０４のような画像又は他のメモリ又はユニットへの入力部は、数学モデルを実行しているプロセッサ、例えば深度マップ画像を得る深度計算ユニットに接続されている。図１９に示されるような画像メモリは、例えば局所的ＨＤＲ画素値を生成するために使われる画像として表わされる各種のデータを含み、例えば、コンピュータグラフィックスアルゴリズムは、予測で用いられるべき「ファイアボール」の画像対象物を生成する。これは、ＬＤＲ画素値とＨＤＲ画素値との間の上述された局所的な低解像度関係の変形例であり、例えば異なる精度又は範囲の下でレンダリングされるような対象物プロフィールである。
【０２９３】
ＬＤＲ画像とＨＤＲ（カラー等級された）画像との間の空間的な局所的マッピングを使用するエンコード（デコード）の原理が説明されたが、他の予測戦略がＬＤＲ―ＨＤＲ予測（変換）のために使用できる。例えば、変換戦略が画像の局所的領域に使用でき、これは、マッピング機能、又は、例えば前のヨーロッパ出願ＥＰ１０１５５２７７．６のレジーム（regime）コーディングのようパラメトリックの粗いレベル（暫定的な）レンダリング目的（intent）変換である。
【０２９４】
また、特定の時間の時点に対する一組の画像のかなりの局所の広さにわたって粗い半グローバルな調整プロフィールが、ヨーロッパ出願ＥＰ１０１７７１５５．８に説明されている、例えば仮想バックライトエンコードのようなあり得る他の改良データで、ＨＤＲ画像をＬＤＲ画像と関連させるために使用できる。当業者は、より複雑な数学的アルゴリズムユニットで予測器を置換するやり方を理解するであろう。
【０２９５】
明確さのため上記記載は、種々異なる機能的ユニット及びプロセッサを参照して、本発明の実施例を説明したことが理解されるだろう。しかしながら、異なる機能的ユニット又はプロセッサ間の機能の適当な配給が本発明から逸脱することなく使用されてもよいことは明らかである。例えば、別個のプロセッサ又はコントローラにより実施されるべき例示された機能は、同一のプロセッサ又はコントローラにより実施されてもよい。従って、特定の機能的ユニットの参照は、厳密な論理、物理的構造、又は組織を示すよりはむしろ、説明した機能を供給するための適当な手段の参照としてのみ見られるべきである。
【０２９６】
エンコーダとしてここで説明された全ての実施例及び組み合わせは、逆にしてデコーダとして、また、方法として、例えばエンコードされた画像信号のような結果的なプロダクトとして、又は格納メモリのようなメモリを有するプロダクトとして実現され、また、上記全てのものの使用を実現される（また、これにより開示され、クレームされてもよい）ことに留意されたい。
【０２９７】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適当な形式で実行できる。本発明は、オプション的に、一つ以上のデータプロセッサ及び／又はデジタル信号プロセッサを走らせるコンピュータソフトウェアとして少なくとも部分的に実行できる。本発明の実施例の要素及び部品は、適当な態様で物理的に、機能的に、及び論理的に実行されてもよい。実際に、機能は、単一のユニット、複数のユニット又は他の機能ユニットの一部で実行できる。このように、本発明は、単一のユニットで実行されてもよいし、異なるユニット及びプロセッサ間で物理的に、及び機能的に分配されてもよい。
【０２９８】
本発明は幾つかの実施例と関連して説明されたが、ここで説明した特定の形式に限定する意図はない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、特徴が特定の実施例と関連して説明されるように見えるが、当業者は、説明された実施例の様々な特徴が本発明に従って組み合わされてもよいことを認識するだろう。請求項において、「有する」という用語は、他の要素又はステップの存在を排除しない。
【０２９９】
更に、個別にリストされているが、複数の手段、要素、又は方法のステップは、例えば単一のユニット又はプロセッサにより実行されてもよい。加えて、個別の特徴が異なる請求項に含まれているが、これらは好適に結合でき、異なる請求項に含まれるものは、特徴の組み合わせが実行可能及び／又は有益であるのではないということを意味しない。また、一つのカテゴリの請求項に特徴を含めることは、このカテゴリの制限を意味するのではなく、むしろ特徴が適当に他の請求項カテゴリに等しく適用可能であることを示す。更に、請求項の特徴の順番は、特徴が働かなければならない特定の順番を意味するのではなく、特に方法の請求項の個別のステップの順番は、ステップがこの順番で実施されなければならないことを意味しない。むしろ、ステップは適当な順番で実施されてもよい。加えて、単一の引用は複数を排除しない。よって、引用「ａ」、［ａｎ」、「第１の」、「第２の」等は、複数を排除しない。請求項内の参照符号は、単に例を明白にするものとして提供されるのであって、何れにおいても請求項の範囲を制限するものとして解釈されるべきではない。
【図１】
0005960693.tif 000003
【図２】
0005960693.tif 000004
【図３】
0005960693.tif 000005
【図４】
0005960693.tif 000006
【図５】
0005960693.tif 000007
【図６】
0005960693.tif 000008
【図７】
0005960693.tif 000009
【図８】
0005960693.tif 000010
【図９】
0005960693.tif 000011
【図１０】
0005960693.tif 000012
【図１１】
0005960693.tif 000013
【図１２】
0005960693.tif 000014
【図１３】
0005960693.tif 000015
【図１４】
0005960693.tif 000016
【図１５】
0005960693.tif 000017
【図１６】
0005960693.tif 000018
【図１７】
0005960693.tif 000019
【図１８】
0005960693.tif 000020
【図１９】
0005960693.tif 000021
【図２０】
0005960693.tif 000022
【図２１】
0005960693.tif 000023
【図２２】
0005960693.tif 000024