(57)【要約】【課題】ＨＤＲ画像データに好適なな符号化および復号化方法、および符号化・復号化システムを提供する。【解決手段】画像データの符号化方法は、受信したＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、該ＳＤＲ画像系列を符号化する工程とを含む。符号化されたＳＤＲ画像系列は、復号化された後、逆トーンマッピング処理にかけられ復号化されたＨＤＲ画像系列が生成される。復号化された画像系列は、復号化されたＳＤＲ画像系列データと結合され、原ＨＤＲ画像系列との差からＨＤＲ残像データが得られる。【選択図】図２
2007243942.tif 000002
【特許請求の範囲】
【請求項１】
画像データの符号化方法であって、
広ダイナミックレンジ(ＨＤＲ)画像系列を受信する工程と、
前記ＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、
ＳＤＲエンコーダで前記ＳＤＲ画像系列を符号化する工程と、
前記工程にて符号化されたＳＤＲ画像系列を受信側へ伝送する工程と、
前記符号化されたＳＤＲ画像系列を復号化する工程と、
上記復号化されたＳＤＲ画像系列を逆トーンマッピングし、復号化されたＨＤＲ画像系列を生成する工程と、
前記復号化されたＳＤＲ画像系列データ、上記復号化されたＨＤＲ画像系列データ、および前記受信したＨＤＲ画像系列からＨＤＲ残像データを生成する工程と、
ＨＤＲ画像残像データを受信側へ伝送する工程とを含むことを特徴とする画像データの符号化方法。
【請求項２】
前記符号化されたＳＤＲ画像系列と、ＨＤＲ残像データとを記憶装置に保存する工程を含むことを特徴とする請求項１記載の方法。
【請求項３】
前記ＳＤＲエンコーダが、ＭＰＥＧ−２エンコーダであることを特徴とする請求項１記載の方法。
【請求項４】
前記ＳＤＲエンコーダが、Ｈ．２６４エンコーダであることを特徴とする請求項１記載の方法。
【請求項５】
符号化されたＳＤＲ系列の送信と、ＨＤＲ残像データの送信とを一送信工程で多重送信することを特徴とする請求項１記載の方法。
【請求項６】
前記符号化されたＳＤＲ系列を、ＨＤＲ残像データと独立して復号化することを特徴とする請求項１記載の方法。
【請求項７】
前記結合工程は、前記復号化されたＳＤＲ画像系列および前記復号化されたＨＤＲ画像系列との結合画像と、前記受信したＨＤＲ画像系列との差を求める工程を含むことを特徴とする請求項１記載の方法。
【請求項８】
符号化された標準ダイナミックレンジ（ＳＤＲ）画像系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する工程と、
前記ＨＤＲ残像データから独立して前記ＳＤＲ画像系列を復号化する工程とを含むことを特徴とする画像データの復号化方法。
【請求項９】
さらに、前記ＨＤＲ残像データを復号化する工程を含むことを特徴とする請求項８記載の方法。
【請求項１０】
さらに、前記ＳＤＲ画像系列を逆トーンマッピング処理する工程を含むことを特徴とする請求項８記載の方法。.
【請求項１１】
前記ＳＤＲ画像系列を逆トーンマッピング処理する工程と、
前記逆トーンマップされ、符号化されたＳＤＲ系列を、前記復号化されたＨＤＲ残像データと結合し、ＨＤＲディスプレイデータを生成する工程とを含むことを特徴とする請求項８記載の方法。.
【請求項１２】
前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データから動きを予測する工程を含むことを特徴とする請求項８記載の方法。.
【請求項１３】
前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データおよびＨＤＲ表示データから動き予測をする工程を含むことを特徴とする請求項９記載の方法。.
【請求項１４】
画像データのコーデックシステムであって、
広ダイナミックレンジ（ＨＤＲ）画像系列を受信する受信部と、
ＨＤＲ画像系列から、標準ダイナミックレンジ（ＳＤＲ）画像系列を生成するためのＳＤＲトーンマップと、
前記ＳＤＲ画像系列を符号化するためのＳＤＲエンコーダと、
符号化されたＳＤＲ画像系列を復号化するデコーダと、
前記復号化されたＳＤＲ画像系列を、復号化されたＨＤＲ画像系列に変換するための逆トーンマップと、
前記復号化されたＳＤＲ画像系列データ、復号化されたＨＤＲ画像系列データおよび復号化されたＨＤＲ画像系列から、ＨＤＲ残像データを生成するＨＤＲ残像エンコーダと、
符号化されたＳＤＲ画像系列およびＨＤＲ残像データを送信先へ送信する送信機とを含むことを特徴とする画像データのコーデックシステム。
【請求項１５】
符号化されたＳＤＲ系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する受信部と、
前記ＳＤＲ画像系列からＳＤＲ画像データを復号化するＳＤＲデコーダと、
前記復号化されたＳＤＲ画像データから推測ＨＤＲ画像系列を生成するＨＤＲ逆トーンマップと、
ＨＤＲ残像データから残像データを復号化するＨＤＲ残像デコーダと、
上記予測ＨＤＲ画像系列と、前記復号化されたＨＤＲ残像データとを結合する合成機とを含むことを特徴とする画像データコーデックシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広ダイナミックレンジの画像データの符号化方法、復号化方法および符号化、復号化システムに関する。
【背景技術】
【０００２】
広ダイナミックレンジのディスプレイは、現在のディスプレイ技術を飛躍的に向上させるものであり、従来のディスプレイ技術による明度よりも１桁大きいピークの明度、観察者である人間の視覚能力に近いダイナミックレンジを実現するものである。
【０００３】
さらに、拡張した色ガマットを提供して、ＬＣＤシステムにおける動きのブレを抑制することができる。これにより、現在のディスプレイ技術と比べ、飛躍的に向上した視野特性を実現するものである。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しなしながら、現在の表示技術では、広ダイナミックレンジのデータをそのままサポートするようにはなっていない。つまり、現在の表示技術にあわせた場合、広ダイナミックレンジデータは、再生できず、切り捨てるべきものであるという前提で構築されている。
【０００５】
広ダイナミックレンジデータをサポートする記憶装置と分配システムの直接的な拡張には問題が多い。デジタルシナリオの場合では、各画素単位で、より大きいビット深が必要である。一方、アナログシステムの場合、雑音を抑える必要がある。これは重要なトレードオフとなる。すなわち、広ダイナミックレンジデータに対応するために、従来から使用されている標準的なダイナミックレンジディスプレイの画質の低下を余儀なくされる。しかしながら、このような画質の低下を消費者が受け入れるとは考えがたい。
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、広ダイナミックレンジ画像に好適な符号化および復号化方法、および符号化・復号化システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、広ダイナミックレンジ画像系列の圧縮工程を含んでいる。本発明は、また、原画像フレームを、広（高）ダイナミックレンジ成分と狭（低）ダイナミックレンジ成分とに分解する工程を含んでいる。低ダイナミックレンジ成分は、標準規格に従って符号化・復号化し、旧式の装置との互換性を有するようにしている。一方、高ダイナミックレンジデータは、強調ビットストリームと共に伝送する。標準規格のダイナミックレンジディスプレイは、低ダイナミックレンジ成分のみを表示する。広ダイナミックレンジディスプレイは、信号を全部受信し、表示用の原広ダイナミックレンジデータを復元する。多くの場合、高ダイナミックレンジデータの付加によって低ダイナミックレンジデータの質が、低下することはない。
【０００８】
本発明にかかる画像データの符号化方法は、上記の課題を解決するために、広ダイナミックレンジ(ＨＤＲ)画像系列を受信する工程と、前記ＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、ＳＤＲエンコーダで前記ＳＤＲ画像系列を符号化する工程と、前記工程にて符号化されたＳＤＲ画像系列を受信側へ伝送する工程と、前記符号化されたＳＤＲ画像系列を復号化する工程と、上記復号化されたＳＤＲ画像系列を逆トーンマッピングし、復号化されたＨＤＲ画像系列を生成する工程と、前記復号化されたＳＤＲ画像系列データ、上記復号化されたＨＤＲ画像系列データ、および前記受信したＨＤＲ画像系列からＨＤＲ残像データを生成する工程と、ＨＤＲ画像残像データを受信側へ伝送する工程とを含むことを特徴としている。
【０００９】
上記の構成において、前記符号化されたＳＤＲ画像系列と、ＨＤＲ残像データとを記憶装置に保存する工程を含むことがのぞましい。
【００１０】
ＳＤＲエンコーダとしては、ＭＰＥＧ−２エンコーダやＨ．２６４エンコーダを用いることができる。
【００１１】
また、上記の構成において、符号化されたＳＤＲ系列の送信と、ＨＤＲ残像データの送信とを一送信工程で多重送信することが望ましい。
【００１２】
また、前記符号化されたＳＤＲ系列を、ＨＤＲ残像データと独立して復号化することが望ましい。
【００１３】
また、前記結合工程は、前記復号化されたＳＤＲ画像系列および前記復号化されたＨＤＲ画像系列との結合画像と、前記受信したＨＤＲ画像系列との差を求める工程を含むことが望ましい。
【００１４】
また、本発明の画像データの復号化方法は、上記の課題を解決するために、符号化された標準ダイナミックレンジ（ＳＤＲ）画像系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する工程と、前記ＨＤＲ残像データから独立して前記ＳＤＲ画像系列を復号化する工程とを含むことが望ましい。
【００１５】
さらに、前記ＨＤＲ残像データを復号化する工程を含むことをが望ましい。
【００１６】
さらに、前記ＳＤＲ画像系列を逆トーンマッピング処理する工程を含むことが望ましい。
【００１７】
また、上記の構成において、さらに、前記ＳＤＲ画像系列を逆トーンマッピング処理する工程と、前記逆トーンマップされ、符号化されたＳＤＲ系列を、前記復号化されたＨＤＲ残像データと結合し、ＨＤＲディスプレイデータを生成する工程とを含むことが望ましい。
【００１８】
また、前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データから動きを予測する工程を含むことが望ましい。
【００１９】
また、前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データおよびＨＤＲ表示データから動き予測をする工程を含むことが望ましい。
【００２０】
本発明にかかる画像データの符号化方法は、上記の課題を解決するために、画像データのコーデックシステムであって、広ダイナミックレンジ（ＨＤＲ）画像系列を受信する受信部と、ＨＤＲ画像系列から、標準ダイナミックレンジ（ＳＤＲ）画像系列を生成するためのＳＤＲトーンマップと、前記ＳＤＲ画像系列を符号化するためのＳＤＲエンコーダと、符号化されたＳＤＲ画像系列を復号化するデコーダと、前記復号化されたＳＤＲ画像系列を、復号化されたＨＤＲ画像系列に変換するための逆トーンマップと、前記復号化されたＳＤＲ画像系列データ、復号化されたＨＤＲ画像系列データおよび復号化されたＨＤＲ画像系列から、ＨＤＲ残像データを生成するＨＤＲ残像エンコーダと、符号化されたＳＤＲ画像系列およびＨＤＲ残像データを送信先へ送信する送信機とを含むことを特徴とする。
【００２１】
本発明の画像データコーデック（符号化・復号化）システムは、上記の課題を解決するために、符号化されたＳＤＲ系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する受信部と、前記ＳＤＲ画像系列からＳＤＲ画像データを復号化するＳＤＲデコーダと、前記復号化されたＳＤＲ画像データから推測ＨＤＲ画像系列を生成するＨＤＲ逆トーンマップと、ＨＤＲ残像データから残像デコーダを復号化する残像デコーダと、
上記予測ＨＤＲ画像系列と、前記復号化されたＨＤＲ残像データとを結合する合成機とを含むことを特徴とする。
【発明を実施するための最良の形態】
【００２２】
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
【００２３】
本発明の構成要素を、ここに示されている図においては一般化して描き、説明しているが、多種多様な形態に変更および設計できることができる。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
【００２４】
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
【００２５】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。
【００２６】
〔広ダイナミックレンジディスプレイ〕
広ダイナミックレンジ(ＨＤＲ)ディスプレイは、観察者である人間の視覚能力により適合させるためにダイナミックレンジを拡張するように設計されている。例えば、ＬＣＤ、ＣＲＴ、およびプラズマ技術を含む従来のディスプレイでは、通常、最大明度が５００ｃｄ／ｍ２以下、コントラスト比が１００対１〜１０００対１である。これは、人間の視覚システムをかなり下回るものである。人間の総合的な輝度範囲は、ほのかな星明りである（１０−６ｃｄ／ｍ２）から明るい日光（１０８ｃｄ／ｍ２）までが約１４桁の範囲であり、どんな瞬間にも見えている輝度範囲は、約５桁の範囲である。これは、約１０００００対１のコントラスト比に相当する。
【００２７】
ＨＤＲデータの表示技術として、ＬＣＤ技術は有望である。例えば、図１に示すように、ＨＤＲアプローチとしては、高解像度ＬＣＤパネル４を空間的に変化するバックライト２と組み合わせてもよい。また、また、内部処理により、ＨＤＲ画像系列を、バックライト２を駆動する成分と、フロントパネル４を駆動する成分とに分解する構成としてもよい。バックライト信号は、人間の視野システムの特性により、フロントパネル信号に比べかなり低い解像度となる。
【００２８】
ＨＤＲのＬＣＤ装置は、ダイナミックレンジを大幅に拡張することができる。例えば、ＰＬＰ投影機は、ＬＣＤパネルのバックライトを生成する。本発明は、最大明度：２，７００ｃｄ／ｍ２、ダイナミックレンジ：５４，０００対１を実現できる構成とすることができる。本発明は、また、バックライトとしてＬＣＤのグリッドを用いる構成としてもよい。本発明は、最大明度：８，５００ｃｄ／ｍ２、ダイナミックレンジ：２８０，０００対１を実現できる構成とすることができる。
【００２９】
現在、ＨＤＲデータは、あまり使用されていない。しかしながら、標準ダイナミックレンジ(ＳＤＲ)フレームからＨＤＲ画像を合成して生成することはできる。この場合、ＨＤＲ表示に付加データが付加されるが、一般に、元々ＨＤＲデータであるものと同等の高い品質を実現ですることは困難である。ＨＤＲ技術をさらに差別化するために、データを生成、保存、伝送しなければならない。
画像コーディング方法
〔旧型への互換性〕
視覚品質の確保は、旧型への互換性をもつシステムの鍵と言える。旧型への互換性のある装置としては、２つのタイプが考えられる。１つは、商業的に後退するシステムであり、他方は、操作上後退するシステムである。操作上後退するとは、ＳＤＲデータを、旧装置が認識できるフォーマットで記録する必要があるためである。例えば、よく知られたＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Expert Group），またはＩＴＵ(International Telecommunication Union)で規格された方式またはMicrosoft Windows （登録商標）Media Video(ＷＭＶ)方式は、互換性を有するが、しばしば操作性の点で後退したものとなってしまう。（さらに、従来の装置でも使用できる色空間、ガンマ、プロファイル、およびレベルパラメータ、最大ビット比率、およびビット深の使用が要求される場合がある。）
互換性を有するが商業的に後退する方法を用いた場合、操作性の点で後退したシステムを必要とする。しかしながら、従来の装置でもＳＤＲ映像 (画像)系列を確実に表示できるようにすることに加えて、互換性を有しているが、商業的に遅れているシステムは、また、ＳＤＲ画像データの品質が視覚的に許容できるレベルであることを保証しなければならない。
【００３０】
旧型への互換性のあるＨＤＲ符号化方法を考える上で、ＳＤＲ画像の視覚的な品質が低いことに起因して商業上後退しないことが重要ある。
【００３１】
本実施の形態によれば、 ＨＤＲデータの圧縮効率を高めることができ、旧型のＳＤＲ装置との互換性を維持することができる。
【００３２】
また、ＳＤＲデータを符号化するための標準規格の映像ビットストリームを備え、残りのＨＤＲデータのための強調層を別途設けた構成としてもよい。ＳＤＲ成分およびＨＤＲ成分の両方で動き予測を利用して映像でにおいて一時的に重複している部分を有用することができる。
【００３３】
ビデオデータを符号化し、ＨＤＲ強調ビットストリームを生成する本発明のビデオエンコーダについて、図２を参照し以下に説明する。
【００３４】
まず、入力された原ＨＤＲ画像（映像）系列（１０）を、トーンマッピング処理にかけ、標準ダイナミックレンジ画像（映像）系列（１３）を生成する。この工程により、現ＳＤＲ装置とマッチするダイナミックレンジおよびカラーガマットが減少する。次に、トーンマッピング処理により得られたＳＤＲ画像系列（１３）を、標準規格ビデオエンコーダ（１４）および標準規格ビデオデコーダ（１６）を用いて圧縮する。
【００３５】
次に、復号化されたＳＤＲ画像系列を、逆トーンマッピング処理にかけ、復号化されたＨＤＲ画像系列（１９）を予測する。
【００３６】
ＨＤＲ残像デンコーダ（２０）を用いて、予測されたＨＤＲ画像系列（１）と原ＨＤＲ画像系列（１０）との差を計算し、当該差を、強調ビット外リーム（２４）として送信し、ＳＤＲビットストリーム（情報）（２２）と合成する。
【００３７】
一方、上記符号化方法の逆の工程を実施すれば、ＨＤＲデータを復号化することができる。本実施の形態の復号化方法を図３を参照し以下に説明する。
【００３８】
デコーダは、上記ビットストリームを分解し、ＳＤＲビットストリーム（２２）と強調ビットストリーム（２４）とを取り出す。さらに、ＳＤＲビットストリーム（画像系列）（２２）を、標準規格で復号化（２６）する。
【００３９】
従来のＳＤＲ装置（ディスプレイ）では、上記の工程で復号化処理が完了し、画像系列がＳＤＲ装置（３４）上に表示される。一方、ＨＤＲ装置では、復号化されたＳＤＲビットストリーム（画像系列）（２２）が逆トーンマップ処理され、ＨＤＲ残像デコーダ３０によって生成されたＨＤＲ残像情報を用いて、雑音等が取り除かれる（３２）。これにより、復号化されたＨＤＲ画像系列が、ＨＤＲ表示装置（３６）に表示される。
【００４０】
本発明の他の実施の形態にかかるデコーダについて図４を参照し以下に説明する。
【００４１】
本実施の形態では、まず、受信したＳＤＲビットストリーム（２２）を、標準規格でコーダ（２６）で復号化する。次に画像がＳＤＲディスプレイ（３４）に表示されると、ＳＤＲ情報（４１）が直接表示される。画像をＨＤＲディスプレイ（３６）に表示する際に、逆トーンマッピング処理処理（４０）を施す前に、残像信号（４５）をＳＤＲ情報（４１）に付加する。
【００４２】
さらに、逆トーンマッピング処理（４０）を施した後、さらなる残像信号（第２残像信号）が付加される（４６）。この第２残像信号は、ＨＤＲ比率（ratio）デコーダ（４２）によって強調ビット外リーム（２４）からデコードされ、逆トーンマッピング（４０）の出力に付加する。ここで、乗算器（４６）が、逆トーンマッピングの出力を残像値で乗算する構成としてもよい。
【００４３】
本発明の実施の形態では、標準規格の解像度に基づいてＳＤＲ情報を圧縮する。このため、従来のデコーダによる復号処理を容易にすることができる。
【００４４】
本発明の他の実施の形態にかかる標準ブロック規格エンコーダを備えたコーデックについて図５を参照し以下に説明する。
【００４５】
本実施の形態にかかるコーデックは、ＳＤＲ画像（映像）系列（５０）を一連のブロック（５２）に復号化している。
【００４６】
各ブロックは、空間予測（６２）または時間予測（６４）と称される一時的に隣接するフレームの動き予測に基づいて隣接する画素値から予測する。
【００４７】
次に、予測した画像値と、原画像の値との差を計算する（５４）。当該差は、さらに線形変換および量子化（５６）により、相関関係を解いている。
【００４８】
画像ブロックを予測し、リファインするために必要な情報は、エントロフィーエンコーダ（５８）によってさらに復号化され、デコーダに伝送される（６０）。
【００４９】
変換、量子化された情報（５６）は、逆量子化・逆変換され（６８）、保存バッファ（６６）に保存され、前回処理されたブロックと比較される。強調層に伝送された情報は、ＨＤＲ画像系列の生成に用いられる。上記の処理は、下記の第１ないし第３工程に分けて行う構成としてもよい。
【００５０】
第１工程は、復号化されたＳＤＲフレームからＨＤＲ画像系列を推測するための逆トーンマッピング処理である。この第１工程は、色変換、ビット深の伸張、ガンマ補正の工程を含んでいる。第２工程は、ＨＤＲ予測を追加の残像データでレファインする残像データの符号化工程である。第３工程は、一時的な隣接フレームから残像データを予測する動き予測工程である。これらの各工程の詳細については後述する。
〔逆トーンマッピング〕
本発明の実施の形態にかかるＨＤＲ画像系列をＳＤＲ画像系列にマッピング処理するトーンマッピング処理について説明する。
【００５１】
簡単な例としては、固定のオフセットをＨＤＲデータに追加し、得られたデータをクリップする構成がある。これは、図６に示す入出力関係に等しい。これらの実施の形態にかかる各逆トーンマッピングの目的は、トーンマッピング工程の逆を行い、ＳＤＲデータからＨＤＲ推測データを生成することである。
【００５２】
トーンマッピング中に、ＳＤＲガマットに独自にマッッピングされたデータは、逆トーンマッピング工程により完全に復元することができる。逆トーンマッピングとは、数学的に逆を意味するのではなく、単に、ＳＤＲ画像からＨＤＲ画像を精度よく推測することを意味している。例えば、従来の表示装置への互換性を有するように強調データを付加し、デコーダが従来のコーデック方法でコード化されたＳＤＲ画像系列から適切にＨＤＲ画像系列することができる。さらに、ＳＤＲフレームの空間諧調とＨＤＲフレームの空間諧調が異なる場合、諧調の変化は、逆トーンマッピング工程でも考慮される。
【００５３】
実用のトーンマッピングは、逆トーンマッピング工程を複雑化している。例えば、図６に示す工程により不要な輪郭の儀信号を生成する場合がある。そこで、勾配ドメインやコントラストを基準とした方法で局部的な画像のコントラストを保持する方法を用いれば、より許容レベルの結果が得られる。また、画像系列の部分的な特性にトーンマッピング処理を施すことでさらに質の向上を図ることができる結果を得ることができる。これにより、空間予測および時間予測の双方によるマッピングの効果を得ることができる。
【００５４】
逆トーンマッピング工程において適宜調整することにより、ＳＤＲの色彩の質を低下させることなく、十分なレベルに圧縮することができる。強調ビットストリームは、逆トーンマッピング工程へと導くための情報を有していてもよい。最も基本となるコンポーネントとしては、グローバルオフセット、スケールパラメータが挙げられる。これにより、ルックアップテーブルを用いて、ＳＤＲデータおよびＨＤＲデータの線形関数を特定することができる。上記のアプローチによれば、ＨＤＲ画像系列における画素値は、目盛りが付されたＳＤＲ画素データにグローバルオフセットを加えたものに等しい。 
【００５５】
本発明の実施の形態では、ダウンロード可能なルックアップテーブルとして、トーンマッピング工程を採用することができる。ダウンロード可能なテーブルは、グローバルオフセットおよびスケール変数による線形マッピング処理を伸張し、より一般的に使用できる逆トーンマッピング工程を可能とする。
【００５６】
ルックアップテーブルの伝送コストを最大にするには、マッピングデータをグローバルオフセットおよびスケール変数から差別化して信号化する方法が考えられる。
【００５７】
また、ブロックをベースにしたスイッチングに逆トーンマッピング施す構成としてもよい。これは、逆トーンマッピング工程のより一般的な構成と言える。これにより、エンコーダは、複数のルックアップテーブルか複数のスケールおよびオフセット変数を伝送すれば、より高い精度で複数の入出力関係を特定することができる。
【００５８】
上記のエンコーダは、次に、ビットストリームにインデックス番号を伝送することにより、逆トーンマッピング工程を変更することができる。スイッチング周波数については、アプリケーションによって適宜選択されるものである。例えば、系列ベースで変更してもよいし、フレームベースで変更してもよい。また、ブロックベースで変更する構成としてもよい。また、ブロック内でルックアップテーブルを用いることによりより細かい粒状性を出すことができる。
〔残像の符号化〕
本発明の実施の形態における残像の符号化方法は、原ＨＤＲ画像系列データと予測ＳＤＲ画像系列との差異を送信する処理として説明することができる。本符号化方法により、デコーダ内でのＨＤＲ画像系列予測の精度を上げ、トーンマッピング処理では完全に切り捨てられていた、ＨＤＲ画像系列の一部を送信するメカニズムを提供する。
【００５９】
また、本発明の実施の形態では、残像データの信号化に異なるツールを用いる。これらのツールは、ドメインマッピング処理、マスクされた変換、ブロックモード予測および比コーディングを含んでいる。さらに、本残像の符号化方法は、ビットストリームにおける可変テクスチャ合成器を備えていてもよい。
【００６０】
残像データが正の値および負の値をとる場合、ドメインマッピングも有益である。この場合、これらのコンポーネントは、逆トーンマッピング処理の出力に対し、些細な改良をもたらすものである。しかしながら、ＨＤＲシナリオでは、残像データのサインは、ＳＤＲ画像系列の絶対値と関係付けてもよい。トーンマッピングが、ＳＤＲデータの生成にクリッピングを用いる場合は、特に有益である。残像データの正の値は、ＳＤＲガマットよりも明度が高いという特徴に対応している。一方、残像の負の値は、ＳＤＲガマットよりも明度が低い特徴に対応している。
【００６１】
残像とＳＤＲフレームとの関係を利用するために、ブロックを種々の方法で符号化する構成が考えられる。１つの方法は、残像における正の値と負の値を別々に符号化する分離符号化方法である。この方法により、各ブロックに対し、２回効果的に符号化することができる。最初のパスでは、残像のうち、正の値をとる部分は信号化される。二番目のパスでは、残像のうち負の値をとる部分が送信される。デコーダでは、両方のブロックが符号化され、結合されると共に残像データが復元される。この方法によれば、コード情報を単純化し、拡張したダイナミックレンジ全域で、滑らかに変更することができる。最後の方法としては、ドメインマッピングして、残像データを変更なしに符号化する方法がある。
【００６２】
さらに、ドメインマッピングを用いる構成としてもよい。例えば、絶対値のみに基づく方法を用いてもよい。この方法では、残像データの絶対値のみを送信し、サイン情報は符号化しない。一方、デコーダでは、サイン情報は、復元されたＳＤＲフレームの合成によって特定する。ドメインマッピングの他の方法としては、符号化する前に残像における正の値をオフセットする方法がある。これは拡張したダイナミックレンジ中でスムーズに異なっている符号化情報を簡素化するものである。ドメインマッピングのための最終的な方法としては、交替なしに残りのデータを符号化する方法がある。
【００６３】
原ＨＤＲ画像系列をＳＤＲガマット内で独自にマップされた場合に、残像の値が小さいという特性を利用する構成としてもよい。従来から用いられている変換符号化方法では、残像におけるいかなる小さな値も明示的に送信される。一方、マスク変換によれば、これらの値を暗示的に送信する。マスク変換は、具体的には、デコーダで残像データをマスクすることによって得られる。マスクは、復号化されたＳＤＲフレームから生成することができ、画素を基準として画素上に残像データを適切に減少させる構成としてもよい。ＳＤＲガマット内では、かなり減少させる一方、ガマット外ではそのまま通過させる。これにより、エンコーダが、ガマット内での無視できない残像値を送信することができるため、圧縮効率を高めることができる。
【００６４】
また、残像の符号化方法として、ブロックモード予測を用いる構成としてもよい。この方法でも、ＨＤＲ画素値とＳＤＲ画素値とで別々にマッピングした場合、残像の値が小さくなるという特性を利用している。具体的には、残像データの各ブロックで現在か現在でないかで、フラグを立てる構成としてもよい。この場合、フラグは必ずしも直接送信する必要があるわけではない。また、復元したＳＤＲフレームでの対応するブロックを分析することによって、フラグを予測することもできる。さらに、ビットストリームにおけるフラグが、予測が正しいか否かを示す。これにより、残像信号の大部分が最小量のオーバーヘッドでスキップすることができるため、圧縮効率の向上を図ることができる。
【００６５】
また、残像の符号化方法として、比率(ratio)符号化方法を用いてもよい。比率符号化方法として、逆トーンマッピング処理の出力に適応するスケールファクタの系列を符号化する構成としてもよい。これらの比率は、画像系列のダイナミックレンジを大幅に拡張し、空間的に関係付けるという需要な特性を有している。比率の値は、低解像度および／または差動符号化で符号化される。拡大または縮小した画像の要求されるビットレートは小さい傾向にある。
〔動き補償〕
動き補償は、前に構築されたＨＤＲデータから現フレームの情報を予測することにより行う。この動き補償により、映像の符号化のためのビット伝送速度要件を少なくすることができる。
【００６６】
標準的なアプローチとしては、動き補償のための動きベクトルと残像データとを組み合わせて用いる。これらの実施例では、使われたいくつかの動き補償の過程が、デザインを補数規格に基礎づけた。これは遅れているコンパチブル方法における、ＳＤＲデータの符号化を簡素化する。
【００６７】
本発明の実施の形態かかるＳＤＲデータに対してのみ動き補正が施されるビデーデコーダについて図７を参照し以下に説明する。ＳＤＲビットストリーム（７２）がデコーダで受信されると、逆量子化および逆変換処理が施される（８２）。このビットストリーム（７２）は、動き予測（８８）に用いてもよい。動き予測（８８）データは、逆量子化および逆変換された残像データに付加され（８４）、ＳＤＲ画像データ（８６）を生成してもよい。動き予測データが付加された後は、逆量子化および逆変換された残像データは、ＳＤＲ記憶装置（８９）に保存される。このＳＤＲ画像データ（８６）は、逆トーンマップ処理（８０）が施され、強調ビットビットストリーム（７０）から逆量子化および逆変換されたデータ（７４）に結合される（７６）。一旦結合されると（７６）、当該データは、ＨＤＲ映像データ(ＨＤＲ表示データ)（７８）を示すように構成されている。図７に示すように、ＳＤＲビットストリーム（７２）からの動きベクタは、ＳＤＲデータを予測するために用いてもよい（８８）。ＳＤＲ（７２）からの残像情報が付加され（８４）、ＳＤＲディスプレイ（画像）データを予測し、強調ビットストリーム（７０）からの残像情報が付加され（７６）、ＨＤＲディスプレイ（画像）データ（７８）予測される。
【００６８】
本実施の構成では、以前に復号化されたＨＤＲフレームを利用することでデコーダに必要なメモリを少なくすることができる。具体的には、動き予測を実行する前に、逆トーンマッピング処理を施すことにより得られる。さらに、マッピング工程を改良して、原トーンマッピング処理を予測することもできる。
【００６９】
また、図８に示すように、動き予測の適用により、前のＨＤＲフレームを変える構成としてもよい。ＳＤＲビットストリーム（７２）から動きベクトル（１０６）をＨＤＲ参照フレームに直接適応してもよい。この場合、残像情報も伝送される。強調ストリームの残像も前に予測ブロックに対しＳＤＲ残像を追加する。
【００７０】
本発明の実施の形態では、ＳＤＲビットストリーム（７２）を逆量子化および逆変換する（９８）。動きベクトルのデータおよび他の動き予想データが抽出され、ＳＤＲデータの動き予測に用いられる（１０２）。この予測データは、逆量子化および逆変換されたＳＤＲデータと結合され（１００）、ＳＤＲ映像データ（１０８）を生成する。逆量子化および逆変換されたＳＤＲ残像データも、逆量子化および逆変換された（９４）強調ビットストリームデータおよび強調予測（９２）データが結合され、ＨＤＲ映像データ（１１０）を生成する。次のデータの予測のための前フレーム、ブロックまたは他のデータをＳＤＲ記憶装置（１０４）およびＨＤＲ記憶装置（９０）に保存する構成としてもよい。
【００７１】
また、図９に示すように、ＳＤＲビットストリームからの動きベクトルを直接ＨＤＲ参照フレームに適応する構成としてもよい。残像データも強調層に伝送してもよい。図９の構成例では、強調層の残像は、予測ＨＤＲデータにのみ付加している。
【００７２】
本実施の形態では、ＳＤＲビットストリームデータを逆量子化および逆変換する（９８）構成としている。動きベクトルデータおよび／または他の予測データ（１２０）は、ＳＤＲビットストリーム（７２）から切り取られＳＤＲ動き予測（１０２）およびＨＤＲ動き予測（１１４）に用いられる。これらの動き予測処理では、ＳＤＲ記憶装置（１０４）およびＨＤＲ記憶装置（１１２）に保存された前のデータにアクセスする構成としてもよい。ＳＤＲ動き予測データは、逆量子化および逆変換されたＳＤＲデータと結合され（１００）、ＳＤＲ映像データ（１０８）が生成される。強調ビットストリーム（７０）も、逆量子化および逆変換され（１１８）ＨＤＲ動き予測データと結合され（１１６）、ＨＤＲ映像データ（１２２）が生成される。
【００７３】
動き補償は、強調層の残像の構造および状態を変えるものであってもよい。例えば、図９に示すように、強調層の残像がＳＤＲ成分とＨＤＲ成分の両方を含むものであってもよい。
【００７４】
これにより、特定の残像の符号化プログラムを採用する可能性が低くなる。プログラム間の相互作用を考慮し、環境順応型のシグナリングスキームを採用し、個々の符号化工程を選択的に可・不可とする構成としてもよい。
〔本発明の適用例〕
本発明は、デジタルポータブルビデオカメラを備えた構成としてもよい。
【００７５】
この場合、画像データをＨＤＲセンサやマルチＳＤＲセンサから得る構成としてもよい。一旦受信すると、画像データは、テープ、光媒体、固体記憶装置等の媒体に記録してもよい。また、ＳＤＲ画像系列の品質を低下させることなくＨＤＲ映像データを効率的に保存できるシステムが望ましい。画像系列は、ＳＤＲでも視認することができ、かつ、変換を要することなく旧方式の編集、後処理技術でも処理することができる。また、当該画像系列は、ＨＤＲ表示装置で見ることができ、ＨＤＲアウェア編集および後処理工程で処理することができる。これらのＨＤＲアウェアアプリケーションは、露光、ホワイトバランス修正、並びにかすみ、動き等の実用面での効果を有している。
【００７６】
本発明は、パーソナルビデオレコーダを備えた構成としてもよい。ビデオデータは、放送用（broadcast）であってもよく、パーソナルビデオレコーダで記録する構成としてもよい。上記の構成によれば、ＨＤＲデータ送信により、従来の記録装置およびＨＤＲアウェア記録装置の双方でビデオデータを録画することができる。従来の装置は、ＳＤＲ画像系列のみを表示する。一方、ＨＤＲアウェア装置は、拡張されたダイナミックレンジの表示が可能である。ＨＤＲアウェア装置は、さらに、ＳＤＲ映像（画像）系列から拡張されたダイナミックレンジで合成するためのシステムおよび方法を備える構成としてもよい。これにより、ＨＤＲ装置のみならず、従来の装置でも、比較的大きいコントラスト比を実現することができる。上記合成としては、２つの構成例が考えられる。時間を基準とした場合、ＨＤＲデータを生成する。制約の少ないないシナリオでは、より高度の合成処理をオフラインで行う構成としてもよい。この場合、効率的に記録することができる。
【００７７】
本発明は、ホーム媒体ゲートウェイを備えた構成としてもよい。ビデオデータは、ホームメディアゲートウェイによって受信し、ネットワークを介して各装置に提供する構成としてもよい。これらの実施の形態で送信されたデータは、ホームメディアゲートウェイ内で、単純比を用いてもよい。また、チャネルと装置両方でサポートされている場合に限り、ＨＤＲデータを伝送する構成としてもよい。
【００７８】
本発明は、光学メディアプレイヤーを備えた構成としてもよい。また、映像データは、光学媒体に提供する構成としてもよい。上記の構成によれば、ＨＤＲデータを、規格を遵守して光学ディスクや他の媒体に記録することができる。従来の光学装置は、付加情報については無視してＳＤＲ映像（画像）系列を生成してもよい。ＨＤＲアウェア装置は、ＨＤＲ映像系列装置全体をデコードし、表示装置に提供する。ＨＤＲアウェア装置は、ＳＤＲ媒体から伸張されたダイナミックレンジのＳＤＲを合成することができる。ＨＤＲアウェア光学メディアプレーヤを備えた本発明は、フィルムまたはおよびコンピュータの特別な効果から得られた伸張されたダイナミックレンジを、ユーザに容易に提供することができる。これらの実施の形態は、光学メディアの付加価値が付加された特性を提供すると共に、表示データの広ダイナミックレンズの広ソースを提供する。
【００７９】
本発明は、広ダイナミックレンジＬＣＤテレビ受信機を備えた構成としてもよい。本実施の形態において、映像データを、ＴＶ圧縮形式にて受信し、拡張されたダイナミックレンジで表示することができる。また、ＨＤＲデータをテレビ受信機に効率よく送信する工程を含む構成としてもよい。ＨＤＲデータは、ＨＲＤポータブルビデオカメラに保存してもよく、パーソナルビデオレコーダ、光学媒体に記憶する構成としてもよい。ホームメディアゲートウェイから受信して合成する構成としてもよい。
【００８０】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段、あるいは、他の実施の形態において説明した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【図面の簡単な説明】
【００８１】
【図１】広いダイナミックレンジのＬＣＤディスプレイを示す図である。
【図２】本発明の一実施の形態にかかるＨＤＲ強調ビットストリームを生成するビデオエンコーダを示す図である。
【図３】本発明の一実施の形態にかかるＨＤＲ強調ビットストリームを生成するビデオデコーダを示す図である。
【図４】本発明の他の実施の形態にかかるＨＤＲ比率（ratio）デコーダを備えたビデオデコーダを示す図である。
【図５】標準ビデオエンコーダの一例を示す図である。
【図６】ＨＤＲ強度とＳＤＲ強度との関係を示すグラフである。
【図７】本発明の他の実施の形態にかかるＳＤＲビットストリームに適応される動き予測機能を備えたビデオデコーダを示す図である。
【図８】本発明の他の実施の形態にかかるＳＤＲビットストリームとＨＤＲビットストリームの双方に適応される動き予測機能を備えたビデオデコーダを示す図である。
【図９】本発明の他の実施の形態にかかる、強調ビットストリームにおけるＳＤＲデータを用いたビデオデコーダを示す図である。
【符号の説明】
【００８２】
１    携帯電話機（表示装置）
２      バックライト
４      フロントパネル
１４    標準規格ビデオエンコーダ
１６    標準規格ビデオデコーダ
２０    ＨＤＲ残像エンコーダ
２６    標準デコーダ
３０    ＨＤＲ残像デコーダ
３４    ＳＤＲディスプレイ
３６    ＨＤＲディスプレイ
３８    残像デコーダ
４２    ＨＤＲ比デコーダ
５８    エントロピーエンコーダ
６６    記憶バッファ
９０    ＨＤＲ記憶装置
１０４  ＳＤＲ記憶装置
１１２  ＨＤＲ記憶装置
【図２】
2007243942.tif 000003
【図３】
2007243942.tif 000004
【図４】
2007243942.tif 000005
【図５】
2007243942.tif 000006
【図７】
2007243942.tif 000007
【図８】
2007243942.tif 000008
【図９】
2007243942.tif 000009
【図１】
2007243942.tif 000010
【図６】
2007243942.tif 000011
【外国語明細書】
[TITLE OF THE INVENTION]
IMAGE DATA ENCODING METHOD, IMAGE DATA DECODING METHOD, AND IMAGE DATA CODEC SYSTEM
[FIELD OF THE INVENTION]
The present invention relates to image data encoding and coding methods and systems for high dynamic range video coding.  
[BACKGROUND OF THE INVENTION]
High dynamic range displays provide a significant improvement over current display technology.  These devices produce a peak brightness that is an order of magnitude larger than conventional technology and a dynamic range that approaches the capabilities of a human observer.  Additionally, these devices provide an enlarged color gamut and can reduce the motion blur in an LCD system.  The result is a compelling viewing experience that is easily differentiated from current display technology. 
Unfortunately, current technology does not natively support high dynamic range content.  These techniques are designed for current display technology and built on the assumption that high dynamic range content can not be reproduced and therefore should be discarded.  
The direct extension of storage and distribution systems to support high dynamic range content is problematic.  In the case of a digital scenario, a larger bit-depth for each pixel is required; for the case of an analog system, reduced noise is necessary.  This results in a significant trade-off.  Image quality of traditional, standard dynamic range displays must be decreased to accommodate the high dynamic range content.  Consumers are unlikely to find this acceptable.
[MEANS TO SOLVE THE PROBLEMS]
In order to solve the foregoing problems, Embodiments of the present invention comprise systems and methods for high dynamic range video coding. 
Some embodiments comprise a method for compressing high dynamic range image sequences.  Some embodiments comprise a layered approach that separates the original image frames into higher dynamic range and lower dynamic range components.  Lower dynamic range portions of the sequence are then coded with a standards compliant codec, making the system backwards compatible with legacy devices.  The higher dynamic range information is sent with an enhancement bit-stream. Standard dynamic range displays may only process and display the lower dynamic range portion.  High dynamic range displays may receive the entire signal and reconstruct the original high dynamic range content for display.  In many embodiments, the quality of the lower dynamic range content is not sacrificed by the addition of the high dynamic range information.
Accordingly, it is an object of the present invention to provide desirable image data encoding and coding methods and systems for high dynamic range video coding.
In order to achieve the foregoing object, the method for encoding image data of the present invention is characterized by comprising the steps of: 
receiving a high dynamic range (HDR) image sequence;
creating a standard dynamic range (SDR) image sequence from the HDR image sequence;     
encoding the SDR image sequence with an SDR encoder;
transmitting the encoded SDR image sequence to a recipient;
decoding the encoded SDR image sequence;
inverse tone mapping the decoded SDR image sequence to form a decoded HDR image sequence;
combining the decoded SDR image sequence data, the decoded HDR image sequence data and the HDR image sequence to form HDR residual data; and
transmitting the HDR image residual data to the recipient.
In order to achieve the foregoing object,  the method for decoding image data of the present invention is characterized by comprising the steps of:
receiving an encoded standard dynamic range (SDR) image sequence and high dynamic range (HDR) residual data; and
decoding the SDR image sequence independently of the HDR residual data.
In order to achieve the foregoing object,  an image data codec system of the present invention, is characterized by including: a receiver for receiving a high dynamic range (HDR) image sequence; an SDR tone map for creating a standard dynamic range (SDR) image sequence from the HDR image sequence; an SDR encoder for encoding the SDR image sequence;  a decoder for decoding the encoded SDR image sequence; an inverse tone map for converting the decoded SDR image sequence into a decoded HDR image sequence; an HDR residual encoder for combining the decoded SDR image sequence data, the decoded HDR image sequence data and the decoded HDR image sequence to form HDR residual data; and a transmitter for transmitting the encoded SDR image sequence and the HDR residual data to a destination.
In order to achieve the foregoing object,  another image data codec system of the present invention, is characterized by including: a receiver for receiving an encoded SDR sequence and high dynamic range (HDR) residual data; an SDR decoder for decoding SDR image data from the SDR image sequence; an HDR inverse tone map for creating an estimated HDR image sequence from the decoded SDR image data; an HDR residual decoder for decoding residual data from the HDR residual data; and a combiner for combining the estimate HDR image sequence and the decoded HDR residual data.
Additional objects, features, and strengths of the present invention will be made clear by the description below. Further, the advantages of the present invention will be evident from the following explanation in reference to the drawings.
[DESCRIPTION OF THE PREFERRED EMBODIMENTS]
Embodiments of the present invention will be best understood by reference to the drawings, wherein like parts are designated by like numerals throughout. The figures listed above are expressly incorporated as part of this detailed description.
It will be readily understood that the components of the present invention, as generally described and illustrated in the figures herein, could be arranged and designed in a wide variety of different configurations.  Thus, the following more detailed description of the embodiments of the methods and systems of the present invention is not intended to limit the scope of the invention, but it is merely representative of the presently preferred embodiments of the invention.
Elements of embodiments of the present invention may be embodied in hardware, firmware and/or software.  While exemplary embodiments revealed herein may only describe one of these forms, it is to be understood that one skilled in the art would be able to effectuate these elements in any of these forms while resting within the scope of the present invention.
HIGH DYNAMIC RANGE DISPLAYS
High dynamic resolution (HDR) displays are designed to enlarge the dynamic range of a viewing device to better match the capabilities of a human observer.  For example, traditional displays, including LCD, CRT and plasma technologies, typically provide a maximum brightness of 500 cd/m2 or less and a contrast ratio of between 100:1 and 1000:1.  This is well below the capabilities of the human vision system.  The overall luminance range of a human is approximately 14 orders of magnitude, varying from faint starlight (10-6 cd/m2) to bright sunlight (108 cd/m2), and the luminance range viewable at any one instant in time is approximately five orders of magnitude.  This describes a contrast ratio of approximately 100,000:1.
LCD technology is well positioned to display HDR content.  For example, HDR approaches may combine a high resolution LCD panel 4 with a spatially varying backlight 2.  This configuration is shown graphically in Figure 1.  Some embodiments comprise internal processing that separates an HDR image sequence into components to drive the backlight 2 and front panel 4.  The backlight signal may be of much lower resolution than the front panel due to properties of the human visual system.
Constructing an HDR LCD device may provide a significant improvement in dynamic range.  For example, in some embodiments, a DLP projector may generate the backlight for the LCD panel.  Some of these embodiments may produce a maximum brightness of 2,700 cd/m2 and a dynamic range of 54,000:1.  In other embodiments, a grid of LEDs may be employed for the backlight.  In these embodiments, a maximum brightness of 8,500cd/m2and a dynamic range of over 280,000:1 may be realized.  
Currently, HDR content is scarce.  However, the synthetic creation of HDR images from standard dynamic range (SDR) frames is possible.  While this technique will provide additional content for HDR displays, the quality will generally not be as high as native HDR content.  To further differentiate the HDR technology, content must be created, stored and transmitted.  
VIDEO CODING EMBODIMENTS
Backwards Compatibility
Visual quality can be a differentiating factor of a backwards compatible system.  Two types of backwards compatibility may be identified.  The first is a commercially backwards compatible system and the second is an operationally backwards compatible approach.  Operational backwards compatibility simply requires that the SDR data is stored in a format understood by legacy devices.  For example, utilizing the well known JPEG, MPEG, or ITU family of standards, or proprietary techniques i.e. Microsoft WMV, often leads to an operationally backwards compatible system.  (Additional requirements may include the use of color space, gamma, profile and level parameters, maximum bit-rates, and bit-depths that are supported by legacy devices.)  Commercial backwards compatibility requires a system to be operationally backwards compatible.  However, in addition to ensuring that a legacy device can display the SDR video (image) sequence, a commercially backwards compatible system must also guarantee that the quality of the SDR image data is visually acceptable.
While several previous approaches to HDR coding may be operationally backwards compatible, it is important to understand that current solutions are not commercially backwards compatible due to poor visual quality of the SDR image.  
Embodiments of the present invention may efficiently compress HDR data while being commercially backwards compatible with legacy SDR devices.   These embodiments may comprise a standards compliant video bit-stream for encoding the SDR data and a separate enhancement layer for the remaining HDR content.  For both the SDR and HDR components, motion prediction may be utilized to exploit temporal redundancies in the video.
The video encoder of the present invention, which encodes vide data to produce an HDR enhancement bit-stream, will be explained with  reference to Figure 2.  First, an original HDR image (video) sequence (10) as input is subjected to a tone mapping operation (12) to generate a standard dynamic range image (video) sequence (13).  This process may reduce the dynamic range and color gamut to match current SDR devices.  The resulting SDR image sequence (13) may then be compressed with a standards compliant video encoder (14) and a standards compliant video decoder (16).     After compression, the resulting decoded (compressed) SDR image sequence is subjected to inverse tone mapping to generate an estimate for the decoded HDR image sequence (19).  The difference between the estimated HDR image sequence (19) and the original HDR image sequence (10) may be calculated with an HDR residual encoder (20) and the resulting difference as calculated is then transmitted as an enhancement bit-stream (24), which may be multiplexed with an SDR bit-stream (information) (22). 
Decoding the HDR data may be performed by reversing the encoding procedure.  Embodiments comprising this process may be described with reference to Figure 3.  Here, the decoder may de-multiplex the bit-stream to extract the SDR bit stream (22) and the enhancement bit stream (24).  The SDR bit stream (image sequence) (22) may then be decoded with a standards-based decoder (26).  For the case of a legacy SDR device, this completes the decoding process and the resulting image sequence may be provided for display on an SDR display (34).  For the case of an HDR device, the decoded SDR bit stream (image sequence) (22) may be inverse tone-mapped (28) and refined (32) with the HDR residual information produced by an HDR residual decoder (30).  The result is the decoded HDR image sequence, which is displayed by the HDR display (36).
Some alternative decoding embodiments may be described with reference to Figure 4.  In these embodiments, the SDR bit stream (22) may be received and decoded at the standards-based decoder (26).  When the image is to be displayed on the SDR display (34), this SDR information (41) may be displayed directly.  When the image is to be displayed on the HDR display (36), a residual signal (45) may be added to the SDR information (41) prior to the inverse tone mapping (40).  This residual signal (45) may be decoded from the enhancement bit-stream (24) with a residual decoder (38).  After inverse tone-mapping (40), an additional residual signal may be applied (46).  This second residual signal may be decoded from the enhancement bit-stream (24) with an HDR ratio decoder (42) and added to the output of the inverse tone mapping (40).  Alternatively, the inverse tone mapping output may be multiplied (46) by the residual values.
In some embodiments of the present invention, compression of the SDR information may rely on standards based solutions.  This facilitates decoding by legacy decoders.  Some embodiments may employ a standard block-based encoder as shown in Figure 5.  In these embodiments, the codec decomposes the SDR image (video) sequence (50) into a sequence of blocks (52) .  Each block is predicted from neighboring pixel values through the spatial prediction (62) or through the motion compensation of temporally adjacent frames, called temporal prediction (64).       The difference between the prediction and the original image values is calculated (54). The resulting difference is then de-correlated with a linear transform and quantized (56).  Necessary information to predict and refine the image blocks is further encoded by an entropy encoder (58) and transmitted (60) to the decoder.  The transformed and quantized (56) information may be inverse quantized and inverse transformed (68) and then stored in a storage buffer (66) for comparison with subsequently processed blocks.
Information transmitted in the enhancement layer may be used to describe the generation of the HDR image sequence.   In some embodiments, processing may be divided into three components.  The first is an inverse tone mapping operation that estimates the HDR image sequence from the decoded SDR frames.  This process may comprise color conversion, bit-depth extension, dynamic range expansion and gamma modification.  The second is a residual coding tool that refines the HDR estimate with additional residual data.   The third is a motion compensation tool that predicts residual data from temporally neighboring frames.  These three process components are explained in more detail in the following sub-sections.
INVERSE TONE MAPPING
In some embodiments, the tone mapping may describe the process of mapping an HDR image sequence to an SDR image sequence.  As a simple example, this can be achieved by adding a fixed offset to the HDR data and clipping the result.  This is equivalent to the input-output relation shown in Figure 6.  The goal of inverse tone mapping, in these embodiments, is to reverse the tone mapping process to generate an HDR estimate from the SDR data.  Data uniquely mapped into the SDR gamut during tone mapping should be perfectly recovered by the inverse tone mapping procedure.  The inverse tone mapping need not form a mathematical inverse but merely provide a good estimate of the HDR image from the SDR image.  For instance, it is possible to add enhancement information, in a backward compatible way, alone to enable a decoder to accurately estimate an HDR image sequence from an SDR image sequence coded with a legacy codec.  Additionally, when the spatial resolution of the SDR and HDR frames differ, the change in resolution may be accounted for in the inverse tone mapping procedure as well.
Practical tone mapping complicates the inverse tone mapping procedure.  For example, utilizing the process in Figure 6 leads to objectionable contouring artifacts.  More acceptable results can be achieved with gradient domain or contrast based methods that preserve local image contrast.  Alternatively, improved results can be realized by adapting the tone mapping operation to local properties of the image sequences.  This may have the effect of adapting the mapping in both the spatial and temporal directions.
Flexibility in the inverse tone mapping procedure should allow for efficient compression without sacrificing SDR visual quality.  In some embodiments, the enhancement bit-stream may comprise information to guide the inverse tone mapping procedure.  The most basic component would be a global offset and scale parameter.  This defines a linear relationship between the SDR and HDR data and can be implemented with a lookup table.  In this approach, pixel values in the HDR image sequence are equal to the scaled SDR pixel data plus the global offset. 
In some embodiments, the inverse tone mapping procedure may be adapted as a downloadable lookup table.  The downloadable table extends the linear mapping operation provided by the global offset and scale parameters and allows a more general inverse tone mapping procedure.  To maximize the cost of sending this lookup table, the mapping data could be signaled differentially and coded relative to the global offset and scale parameters.
In some embodiments, inverse tone mapping may be implemented as block based switching.  This is a more general configuration for the inverse tone mapping procedure.  In this approach, an encoder defines multiple input-output relationships by either transmitting several look-up tables or multiple scale and offset parameters.       The encoder then changes the inverse tone mapping process by signaling an index number in the bit-stream.  The frequency of the switching may be application dependent.  It may vary on a sequence basis, frame basis or even a block-by-block basis.  Finer granularity could be achieved by interpolating the lookup tables within a block.
RESIDUAL CODING
In some embodiments, residual coding may describe the task of sending the difference between the original HDR image sequence (data) and the estimated SDR image sequence.  This refines the estimate for the HDR image sequence within the decoder and provides a mechanism for transmitting portions of the HDR image sequence that are completely discarded by the tone mapping operation.  In various embodiments, different tools for signaling the residual information may be used.  These tools include domain mapping, masked transforms, block mode prediction and ratio coding.  In addition, the residual coding can include a texture synthesizer driven by parameters in the bit-stream.
Domain mapping may be useful when the residual data contains positive and negative values.  In some applications, these components signal small refinements to the output of the inverse tone mapping operations.  However, in many HDR scenarios, the sign of the residual data may be correlated with the magnitude of the SDR image sequence.  This occurs when the tone mapping employs some form of clipping to generate the SDR data.  Positive values in the residual data then correspond to features brighter than the SDR gamut, while negative values in the residual correspond to features darker than the SDR gamut.
To exploit relationships between the residual and SDR frame, the domain mapping tool of some embodiments may allow blocks to be encoded in a number of ways.  One approach is to code positive and negative values in the residual independently.  This is the separable coding mode, and it effectively codes each block twice.  In the first pass, the positive portion of the residual is signaled; in the second pass, the negative portion of the residual is transmitted.  At the decoder, both blocks are decoded and added together to reconstruct the residual information.
Further domain mapping embodiments may also be used.  One method is a magnitude only mode.  This mode transmits the magnitude of the residual data but does not code the sign information.  At the decoder, the sign information is determined by analyzing the reconstructed SDR frame.  Another approach for domain mapping is to offset positive residual vales prior to encoding.  This simplifies coding information that is smoothly varying throughout the extended dynamic range. A final method for domain mapping is to code the residual data without alternation.
In some embodiments a masked transform may be used as a tool for residual coding.  These embodiments exploit the fact that residual values are small when the original HDR image sequence is mapped uniquely within the SDR gamut.  With traditional transform coding, any small residual values must be explicitly transmitted.  The masked transform sends these values implicitly instead.  This can be accomplished by masking the residual data at the decoder.  The mask may be created from the decoded SDR frame, and it may adaptively attenuate the residual data on a pixel by pixel basis.  Locations within the SDR gamut can be severely attenuated, while locations outside gamut are passed without alteration.  This would allow the encoder to send non-negligible residual values for in-gamut locations when it results in compression efficiencies.
Some embodiments may comprise block mode prediction as a tool for residual coding.  This tool may also exploit the fact that a unique mapping between the HDR and SDR pixel values results in small residual values. To account for this characteristic, each block in the residual data may be flagged as either present or not present.  The flag does not necessarily need to be transmitted directly.  In some embodiments, the flag may be predicted by analyzing the corresponding block in the reconstructed SDR frame.  A flag in the bit-stream then denotes if the prediction is correct.  The result is an increase in compression efficiency, as large regions of the residual signal can be skipped with minimal overhead.
In some embodiments, residual coding may be employed as a tool for residual coding.  Ratio coding may encode a sequence of scale factors to be applied to the output of the inverse tone mapping process.  These ratio factors can greatly increase the dynamic range of the image sequence, and the factors may have the important property of being spatially correlated.  In some embodiments, ratio values may be coded at lower resolutions and/or with a form of differential coding.  In these embodiments, bit-rate requirements of the ratio image are likely to be small. 
MOTION COMPENSATION
Motion compensation predicts information in the current frame from HDR data in previously reconstructed data.  This reduces the bit-rate requirements for video coding.  Standards based approaches employ a combination of motion vectors and residual data for motion compensation.  In these embodiments, several motion compensation processes are employed to complement standards based designs.  This simplifies the coding of SDR data in a backwards compatible manner.
In some embodiments of the present invention, motion compensation may be performed only on the SDR data.  These embodiments may be described with reference to Figure 7.  In these embodiments, an SDR bit stream (72), may be received at the decoder.  This SDR signal (72) may be “dequantized” and inverse transformed (82).  Elements of the bit stream (72) may be used for the motion prediction (88).  Motion prediction (88) data may be added (84) to the dequantized and inverse transformed residual data to form the SDR video data (86).  After the motion prediction data is added, the dequantized and inverse transformed residual data is stored in an SDR storage (89).  This SDR video data (86) may also be inverse tone mapped (80) and combined (76) with dequantized and inverse transformed (74) data from the enhancement bit stream (70).  Once combined (76), this data represents the HDR video data (HDR display data) (78).  As seen in Figure 7, motion vectors from the SDR bit-stream (72) may be used to predict (88) the SDR data.  Residual information from the SDR (72) is added (84) to predict SDR display (video) data (86), and residual information from the enhancement bit-stream (70) is added (76) to predict HDR display (video) data (78).  In these embodiments, memory requirements for the decoder may be reduced by utilizing previously decoded HDR frames for reference instead. This may be accomplished by applying an inverse tone mapping operation prior to motion compensation.  The mapping operation may be modified to approximate the original tone mapping process.
Alternative embodiments for motion compensation may alter previous HDR frames.  Some exemplary embodiments are depicted in Figure 8.  In these embodiments, the motion vectors (106) from the SDR bit-stream (72) may be applied directly to the HDR reference frames.  Residual information may also be transmitted in the enhancement layer.  In these exemplary embodiments, the SDR residual may be added to the predicted block prior to any residual in the enhancement stream.
In these embodiments, an SDR bit stream (72) may be dequantized and inverse transformed (98).  Motion vector data and other motion prediction data may be extracted and used for the motion prediction (102) of the SDR data.  This prediction data may be combined (100) with the dequantized and inverse transformed SDR data to form SDR video data (108).  The dequantized and inverse transformed SDR residual data may also be combined with dequantized and inverse transformed (94) enhancement bit stream data and with enhancement prediction (92) data to form HDR video data  (110).  The SDR storage (104) and the HDR storage (90) may be used to store previous frame, block or other data for prediction of subsequent data.
Further exemplary embodiments are depicted in Figure 9.  In these embodiments, motion vectors from the SDR bit-stream may be applied directly to the HDR reference frames.  Residual information may also be transmitted in the enhancement layer.  The exemplary embodiments shown in Figure 9 only add the enhancement layer residual to the predicted HDR data.
In these embodiments, the SDR bit stream data is dequantized and inverse transformed (98).  Motion vector data and/or other prediction data (120) may be extracted from the SDR bit stream (72) and used for SDR motion prediction (102) and the HDR motion prediction (114).  These prediction processed may access previous data stored in the SDR storage (storage device) (104) and the HDR storage (storage device) (112).  The SDR motion prediction data may be combined (100) with the dequantized and inverse transformed SDR data to form SDR video data (108).  The enhancement bit stream (70) may also be dequantized and inverse transformed (118) and combined (116) with HDR motion prediction data to form HDR video data (122).
Motion compensation may change the structure and statistics of the enhancement layer residual.  For example, in the embodiments illustrated in Figure 9, the enhancement layer residual contains both SDR and HDR components.  This changes the likelihood that a particular residual coding tool is employed.  To account for interactions between tools, some embodiments may employ an adaptive signaling scheme to selectively enable and disable coding processes.
APPLICATIONS
Some embodiments of the present invention comprise a digital camcorder.  In these embodiments, video content may be acquired from an HDR sensor or multiple SDR sensors.  Once acquired, the data may be stored on tape, optical media or solid state memory.  The proposed system stores the HDR video efficiently and does not sacrifice the quality of the SDR image sequence.  The image sequence is still viewable on an SDR display, and it may be processed by legacy editing or post-processing techniques without conversion.  In addition, the sequence may be viewed on an HDR display and processed by “HDR-aware” editing and post-processing applications.  Differentiating features of these “HDR-aware” applications include improved exposure and white balance correction as well as realistic effects such as blur and motion.
Some embodiments of the present invention comprise a personal video recorder.  In these embodiments, video content may be broadcast and recorded by a personal video recorder.  Transmitting HDR content with these embodiments allows both legacy and “HDR-aware” recorders to time-shift the video content.  Legacy devices only display the SDR image sequence, while “HDR-aware” devices display the expanded dynamic range.   The “HDR-aware” device may also employ systems and methods for synthesizing the expanded dynamic range from an SDR video (image) sequence.  This benefits both HDR devices as well as legacy devices with relatively large contrast ratios.  Two exemplary configurations for the synthesizing operation may be implemented.  In a time critical environment, an embodiment may explicitly generate the HDR content.  In a less constrained scenario, more sophisticated synthesis operations may be employed in an off-line manner, and the result may be efficiently stored.
Some embodiments of the present invention may comprise a home media gateway.  In these embodiments, video content may be received by a home media gateway and distributed to devices throughout the network.  Content transmitted with these embodiments may allow simple rate adaptation within the home media gateway.  HDR content may only be sent when supported by both the channel and device.
Some embodiments of the present invention may comprise an optical media player.  In these embodiments, video content may be distributed on optical media.  These embodiments may allow HDR content to be included on an optical disc or other media while maintaining compliance.  Legacy optical devices may ignore the additional information and produce SDR video (image) sequences.  “HDR-aware” devices decode the entire HDR video sequence and provide it for display.  The “HDR-aware” device can also synthesize the expanded dynamic range from SDR media.  Embodiments comprising an “HDR-aware” optical media player enable the expanded dynamic range already captured on film and from computer special effects to be easily distributed to the consumer.  These embodiments may provide an additional value-added feature for the optical media and may also provide a large source of high dynamic range content for display.
Some embodiments of the present invention may comprise a high dynamic range LCD television.  In these embodiments, video content may be received by the television in compressed form and displayed with extended dynamic range.  Some of these embodiments may add a method to efficiently transmit HDR content to the television.  Content may be stored on an HDR camcorder, personal video recorder or optical media.  It may also be received from a home media gateway or synthesized.  
[BRIEF DESCRIPTIONS OF THE DRAWINGS]
Fig. 1 is a diagram showing a high dynamic range LCD display.
Fig. 2 is a diagram showing an exemplary embodiment of the present invention comprising a video encoder producing an HDR enhancement bit stream.
Fig. 3 is a diagram showing an exemplary embodiment of the present invention comprising a video decoder that processes an HDR enhancement bit stream.
Fig. 4 is a diagram showing an exemplary embodiment of the present invention comprising a video decoder with an HDR ratio decoder.
Fig. 5 is a diagram showing an exemplary standards-based video encoder.
Fig. 6 is a diagram showing an HDR Intensity vs. SDR Intensity plot.
Fig. 7 is a diagram showing an exemplary embodiment of the present invention comprising a video decoder with motion prediction for the SDR bit stream.
Fig. 8 is a diagram showing an exemplary embodiment of the present invention comprising a video decoder with motion prediction for both the SDR bit stream and the HDR bit stream. 
Fig. 9 is a diagram showing an exemplary embodiment of the present invention comprising a video decoder with SDR data in the enhancement bit stream.
[REFERENCE NUMERALS]
2 …   backlight
4 …   front panel
14 … standards compliant video encoder
16 … standards compliant video decoder
20 … HDR residual encoder
26 … standards-based decoder
30 … HDR residual decoder
34 … SDR display
36 … HDR display
38 … residual decoder
42 … HDR ratio decoder
58 … entropy encoder 
66 … storage buffer 
90 … HDR storage
104 … SDR storage
112 … HDR storage
1．A method for encoding image data, characterized by comprising the steps of:
receiving a high dynamic range (HDR) image sequence;
creating a standard dynamic range (SDR) image sequence from said HDR image sequence;    
encoding said SDR image sequence with an SDR encoder;
transmitting said encoded SDR image sequence to a recipient;
decoding said encoded SDR image sequence;
inverse tone mapping said decoded SDR image sequence to form a decoded HDR image sequence;
combining said decoded SDR image sequence data, said decoded HDR image sequence data and said HDR image sequence to form HDR residual data; and 
transmitting said HDR image residual data to said recipient.
2．The method as described in claim 1, characterized by further comprising the step of: 
storing said encoded SDR sequence and said HDR residual data on a storage device. 
3.  The method as described in claim 1, characterized in that: 
said SDR encoder is an MPEG-2 encoder.
4.  The method as described in claim 1, characterized in that: 
said SDR encoder is an H.264 encoder.
5.  The method as described in claim 1, characterized in that:
said transmitting said encoded SDR sequence and said transmitting said HDR residual data are multiplexed in a single transmission.
6.  The method as described in claim 1, characterized in that: 
said encoded SDR sequence may be decoded independently of said HDR residual data.
7.  The method as described in claim 1, characterized in that: 
said  combining step comprises the step of finding a residual difference between a combination of said decoded SDR image sequence and said decoded HDR image sequence, and said HDR image sequence.
8.  A method for decoding image data, characterized by comprising the steps of:
receiving an encoded standard dynamic range (SDR) image sequence and high dynamic range (HDR) residual data; and
decoding said SDR image sequence independently of said HDR residual data.
9.  The method as described in claim 8 further comprising the step of :
decoding said HDR residual data.
10.  The method as described in claim 8,  characterized by further comprising the step of:
inverse tone mapping of said SDR image sequence.
11.  The method as described in claim 8, characterized by further comprising the step of:
inverse tone mapping of said SDR image sequence and combining said inverse tone mapped encoded SDR sequence with said decoded HDR residual data to form HDR display data.
12.   The method as described in claim 8, characterized by further comprising the step of:
carrying out motion prediction using elements in said SDR image sequence to form SDR display data.
13.   The method as described in claim 9, characterized by further comprising the step of:
carrying out motion predication using elements in said SDR image sequence to form SDR dispaly data and HDR display data.
14. An image data codec system, characterized by comprising:
a receiver for receiving a high dynamic range (HDR) image sequence;
an SDR tone map for creating a standard dynamic range (SDR) image sequence from said HDR image sequence;
an SDR encoder for encoding said SDR image sequence;
a decoder for decoding said encoded SDR image sequence;
an inverse tone map for converting said decoded SDR image sequence into a decoded HDR image sequence;
an HDR residual encoder for combining said decoded SDR image sequence data, said decoded HDR image sequence data and said decoded HDR image sequence to form HDR residual data; and
a transmitter for transmitting said encoded SDR image sequence and said HDR residual data to a destination.
15.   An image data codec system, characterized by comprising: 
a receiver for receiving an encoded SDR sequence and high dynamic range (HDR) residual data; 
an SDR decoder for decoding SDR image data from said SDR image sequence;
an HDR inverse tone map for creating an estimated HDR image sequence from said decoded SDR image data;
an HDR residual decoder for decoding residual data from the HDR residual data; and
a combiner for combining said estimate HDR image sequence and said decoded HDR residual data.
１    Abstract
An image data encoding method includes the steps of creating a standard dynamic range (SDR) image sequence from HDR image sequence as received, and encoding the SDR image sequence.  The encoded SDR image sequence is then decoded and the decoded SDR image sequence is then subjected to the inverse tone mapping to form a decoded HDR image sequence. The resulting decoded HDR image sequence is combined with the decoded SDR image sequence data, and the original HDR image sequence to form HDR residual data.
２    Representative Drawing
Figure 2
【図１】
2007243942.tif 000012
【図２】
2007243942.tif 000013
【図３】
2007243942.tif 000014
【図４】
2007243942.tif 000015
【図５】
2007243942.tif 000016
【図６】
2007243942.tif 000017
【図７】
2007243942.tif 000018
【図８】
2007243942.tif 000019
【図９】
2007243942.tif 000020