(57)【要約】【課題】ＨＤＲ画像データに好適な符号化および復号化方法、および符号化・復号化システムを提供する。【解決手段】画像データの符号化方法は、受信したＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、該ＳＤＲ画像系列を符号化する工程とを含む。符号化されたＳＤＲ画像系列は、復号化された後、逆トーンマッピング処理にかけられ復号化されたＨＤＲ画像系列が生成される。復号化された画像系列は、復号化されたＳＤＲ画像系列データと結合され、原ＨＤＲ画像系列との差からＨＤＲ残像データが得られる。【選択図】図２
2010213360.tif 000002
【特許請求の範囲】
【請求項１】
画像データの符号化方法であって、
広ダイナミックレンジ（ＨＤＲ）画像系列を受信する工程と、
前記ＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、
ＳＤＲエンコーダで前記ＳＤＲ画像系列を符号化する工程と、
前記工程にて符号化されたＳＤＲ画像系列を受信側へ伝送する工程と、
前記符号化されたＳＤＲ画像系列を復号化する工程と、
上記復号化されたＳＤＲ画像系列を逆トーンマッピングし、復号化されたＨＤＲ画像系列を生成する工程と、
前記復号化されたＳＤＲ画像系列データ、上記復号化されたＨＤＲ画像系列データ、および前記受信したＨＤＲ画像系列からＨＤＲ残像データを生成する工程と、
ＨＤＲ画像残像データを受信側へ伝送する工程とを含むことを特徴とする画像データの符号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広ダイナミックレンジの画像データの符号化方法、復号化方法および符号化、復号化システムに関する。
【背景技術】
【０００２】
広ダイナミックレンジのディスプレイは、現在のディスプレイ技術を飛躍的に向上させるものであり、従来のディスプレイ技術による明度よりも１桁大きいピークの明度、観察者である人間の視覚能力に近いダイナミックレンジを実現するものである。
【０００３】
さらに、拡張した色ガマットを提供して、ＬＣＤシステムにおける動きのブレを抑制することができる。これにより、現在のディスプレイ技術と比べ、飛躍的に向上した視野特性を実現するものである。
【０００４】
しかしながら、現在の表示技術では、広ダイナミックレンジのデータをそのままサポートするようにはなっていない。つまり、現在の表示技術にあわせた場合、広ダイナミックレンジデータは、再生できず、切り捨てるべきものであるという前提で構築されている。
【０００５】
広ダイナミックレンジデータをサポートする記憶装置と分配システムの直接的な拡張には問題が多い。デジタルシナリオの場合では、各画素単位で、より大きいビット深が必要である。一方、アナログシステムの場合、雑音を抑える必要がある。これは重要なトレードオフとなる。すなわち、広ダイナミックレンジデータに対応するために、従来から使用されている標準的なダイナミックレンジディスプレイの画質の低下を余儀なくされる。しかしながら、このような画質の低下を消費者が受け入れるとは考えがたい。
【発明の概要】
【０００６】
本発明は、上記の問題点に鑑みてなされたものであり、広ダイナミックレンジ画像に好適な符号化および復号化方法、および符号化・復号化システムを提供することを目的とする。
【０００７】
本発明は、広ダイナミックレンジ画像系列の圧縮工程を含んでいる。本発明は、また、原画像フレームを、広（高）ダイナミックレンジ成分と狭（低）ダイナミックレンジ成分とに分解する工程を含んでいる。低ダイナミックレンジ成分は、標準規格に従って符号化・復号化し、旧式の装置との互換性を有するようにしている。一方、高ダイナミックレンジデータは、強調ビットストリームと共に伝送する。標準規格のダイナミックレンジディスプレイは、低ダイナミックレンジ成分のみを表示する。広ダイナミックレンジディスプレイは、信号を全部受信し、表示用の原広ダイナミックレンジデータを復元する。多くの場合、高ダイナミックレンジデータの付加によって低ダイナミックレンジデータの質が、低下することはない。
【０００８】
本発明にかかる画像データの符号化方法は、上記の課題を解決するために、広ダイナミックレンジ（ＨＤＲ）画像系列を受信する工程と、前記ＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、ＳＤＲエンコーダで前記ＳＤＲ画像系列を符号化する工程と、前記工程にて符号化されたＳＤＲ画像系列を受信側へ伝送する工程と、前記符号化されたＳＤＲ画像系列を復号化する工程と、上記復号化されたＳＤＲ画像系列を逆トーンマッピングし、復号化されたＨＤＲ画像系列を生成する工程と、前記復号化されたＳＤＲ画像系列データ、上記復号化されたＨＤＲ画像系列データ、および前記受信したＨＤＲ画像系列からＨＤＲ残像データを生成する工程と、ＨＤＲ画像残像データを受信側へ伝送する工程とを含むことを特徴としている。
【図面の簡単な説明】
【０００９】
【図１】広いダイナミックレンジのＬＣＤディスプレイを示す図である。
【図２】本発明の一実施の形態にかかるＨＤＲ強調ビットストリームを生成するビデオエンコーダを示す図である。
【図３】本発明の一実施の形態にかかるＨＤＲ強調ビットストリームを生成するビデオデコーダを示す図である。
【図４】本発明の他の実施の形態にかかるＨＤＲ比率（ratio）デコーダを備えたビデオデコーダを示す図である。
【図５】標準ビデオエンコーダの一例を示す図である。
【図６】ＨＤＲ強度とＳＤＲ強度との関係を示すグラフである。
【図７】本発明の他の実施の形態にかかるＳＤＲビットストリームに適応される動き予測機能を備えたビデオデコーダを示す図である。
【図８】本発明の他の実施の形態にかかるＳＤＲビットストリームとＨＤＲビットストリームの双方に適応される動き予測機能を備えたビデオデコーダを示す図である。
【図９】本発明の他の実施の形態にかかる、強調ビットストリームにおけるＳＤＲデータを用いたビデオデコーダを示す図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態は、図面を参照することにより、最もよく理解されるであろう。なお、全ての図中において、同様の部材には同じ符号を付与している。また、各図は、詳細な説明の一部として明確に組み入れられるものである。
【００１１】
本発明の構成要素を、ここに示されている図においては一般化して描き、説明しているが、多種多様な形態に変更および設計することができる。したがって、本発明の方法およびシステムの実施形態に関する以下の詳細な説明は、本発明の範囲を限定するものではなく、単に、本発明の現時点での好ましい実施形態の一例を示すものに過ぎない。
【００１２】
本発明の実施形態の構成要素を、ハードウェア、ファームウェアおよび／またはソフトウェアに組み込んでもよい。本明細書中に記載されている典型的な実施形態は、これらの形態のほんの一例を説明しているが、当業者であれば、本発明の範囲内において、これらの構成要素をこれらのあらゆる形態において実施できることを理解できるであろう。
【００１３】
本発明の一実施形態について図面に基づいて説明すると以下の通りである。
【００１４】
〔広ダイナミックレンジディスプレイ〕
広ダイナミックレンジ（ＨＤＲ）ディスプレイは、観察者である人間の視覚能力により適合させるためにダイナミックレンジを拡張するように設計されている。例えば、ＬＣＤ、ＣＲＴ、およびプラズマ技術を含む従来のディスプレイでは、通常、最大明度が５００ｃｄ／ｍ２以下、コントラスト比が１００対１〜１０００対１である。これは、人間の視覚システムをかなり下回るものである。人間の総合的な輝度範囲は、ほのかな星明りである（１０−６ｃｄ／ｍ２）から明るい日光（１０８ｃｄ／ｍ２）までが約１４桁の範囲であり、どんな瞬間にも見えている輝度範囲は、約５桁の範囲である。これは、約１０００００対１のコントラスト比に相当する。
【００１５】
ＨＤＲデータの表示技術として、ＬＣＤ技術は有望である。例えば、図１に示すように、ＨＤＲアプローチとしては、高解像度ＬＣＤパネル４を空間的に変化するバックライト２と組み合わせてもよい。また、また、内部処理により、ＨＤＲ画像系列を、バックライト２を駆動する成分と、フロントパネル４を駆動する成分とに分解する構成としてもよい。バックライト信号は、人間の視野システムの特性により、フロントパネル信号に比べかなり低い解像度となる。
【００１６】
ＨＤＲのＬＣＤ装置は、ダイナミックレンジを大幅に拡張することができる。例えば、ＰＬＰ投影機は、ＬＣＤパネルのバックライトを生成する。本発明は、最大明度：２，７００ｃｄ／ｍ２、ダイナミックレンジ：５４，０００対１を実現できる構成とすることができる。本発明は、また、バックライトとしてＬＣＤのグリッドを用いる構成としてもよい。本発明は、最大明度：８，５００ｃｄ／ｍ２、ダイナミックレンジ：２８０，０００対１を実現できる構成とすることができる。
【００１７】
現在、ＨＤＲデータは、あまり使用されていない。しかしながら、標準ダイナミックレンジ（ＳＤＲ）フレームからＨＤＲ画像を合成して生成することはできる。この場合、ＨＤＲ表示に付加データが付加されるが、一般に、元々ＨＤＲデータであるものと同等の高い品質を実現ですることは困難である。ＨＤＲ技術をさらに差別化するために、データを生成、保存、伝送しなければならない。
画像コーディング方法
〔旧型への互換性〕
視覚品質の確保は、旧型への互換性をもつシステムの鍵と言える。旧型への互換性のある装置としては、２つのタイプが考えられる。１つは、商業的に後退するシステムであり、他方は、操作上後退するシステムである。操作上後退するとは、ＳＤＲデータを、旧装置が認識できるフォーマットで記録する必要があるためである。例えば、よく知られたＪＰＥＧ（Joint Photographic Experts Group）、ＭＰＥＧ（Moving Picture Expert Group），またはＩＴＵ（International Telecommunication Union）で規格された方式またはMicrosoft Windows（登録商標） Media Video（ＷＭＶ）方式は、互換性を有するが、しばしば操作性の点で後退したものとなってしまう。（さらに、従来の装置でも使用できる色空間、ガンマ、プロファイル、およびレベルパラメータ、最大ビット比率、およびビット深の使用が要求される場合がある。）
互換性を有するが商業的に後退する方法を用いた場合、操作性の点で後退したシステムを必要とする。しかしながら、従来の装置でもＳＤＲ映像（画像）系列を確実に表示できるようにすることに加えて、互換性を有しているが、商業的に遅れているシステムは、また、ＳＤＲ画像データの品質が視覚的に許容できるレベルであることを保証しなければならない。
【００１８】
旧型への互換性のあるＨＤＲ符号化方法を考える上で、ＳＤＲ画像の視覚的な品質が低いことに起因して商業上後退しないことが重要ある。
【００１９】
本実施の形態によれば、ＨＤＲデータの圧縮効率を高めることができ、旧型のＳＤＲ装置との互換性を維持することができる。
【００２０】
また、ＳＤＲデータを符号化するための標準規格の映像ビットストリームを備え、残りのＨＤＲデータのための強調層を別途設けた構成としてもよい。ＳＤＲ成分およびＨＤＲ成分の両方で動き予測を利用して映像において一時的に重複している部分を有用することができる。
【００２１】
ビデオデータを符号化し、ＨＤＲ強調ビットストリームを生成する本発明のビデオエンコーダについて、図２を参照し以下に説明する。
【００２２】
まず、入力された原ＨＤＲ画像（映像）系列（１０）を、トーンマッピング処理にかけ、標準ダイナミックレンジ画像（映像）系列（１３）を生成する。この工程により、現ＳＤＲ装置とマッチするダイナミックレンジおよびカラーガマットが減少する。次に、トーンマッピング処理により得られたＳＤＲ画像系列（１３）を、標準規格ビデオエンコーダ（１４）および標準規格ビデオデコーダ（１６）を用いて圧縮する。
【００２３】
次に、復号化されたＳＤＲ画像系列を、逆トーンマッピング処理にかけ、復号化されたＨＤＲ画像系列（１９）を予測する。
【００２４】
ＨＤＲ残像エンコーダ（２０）を用いて、予測されたＨＤＲ画像系列（１９）と原ＨＤＲ画像系列（１０）との差を計算し、当該差を、強調ビットストリーム（２４）として送信し、ＳＤＲビットストリーム（情報）（２２）と合成する。
【００２５】
一方、上記符号化方法の逆の工程を実施すれば、ＨＤＲデータを復号化することができる。本実施の形態の復号化方法を図３を参照し以下に説明する。
【００２６】
デコーダは、上記ビットストリームを分解し、ＳＤＲビットストリーム（２２）と強調ビットストリーム（２４）とを取り出す。さらに、ＳＤＲビットストリーム（画像系列）（２２）を、標準規格デコーダで復号化（２６）する。
【００２７】
従来のＳＤＲ装置（ディスプレイ）では、上記の工程で復号化処理が完了し、画像系列がＳＤＲ装置（３４）上に表示される。一方、ＨＤＲ装置では、復号化されたＳＤＲビットストリーム（画像系列）（２２）が逆トーンマップ処理され、ＨＤＲ残像デコーダ（３０）によって生成されたＨＤＲ残像情報を用いて、雑音等が取り除かれる（３２）。これにより、復号化されたＨＤＲ画像系列が、ＨＤＲ表示装置（３６）に表示される。
【００２８】
本発明の他の実施の形態にかかるデコーダについて図４を参照し以下に説明する。
【００２９】
本実施の形態では、まず、受信したＳＤＲビットストリーム（２２）を、標準規格デコーダ（２６）で復号化する。次に画像がＳＤＲディスプレイ（３４）に表示されると、ＳＤＲ情報（４１）が直接表示される。画像をＨＤＲディスプレイ（３６）に表示する際に、逆トーンマッピング処理処理（４０）を施す前に、残像信号（４５）をＳＤＲ情報（４１）に付加する。
【００３０】
さらに、逆トーンマッピング処理（４０）を施した後、さらなる残像信号（第２残像信号）が付加される（４６）。この第２残像信号は、ＨＤＲ比率（ratio）デコーダ（４２）によって強調ビットストリーム（２４）からデコードされ、逆トーンマッピング（４０）の出力に付加する。ここで、乗算器（４６）が、逆トーンマッピングの出力を残像値で乗算する構成としてもよい。
【００３１】
本発明の実施の形態では、標準規格の解像度に基づいてＳＤＲ情報を圧縮する。このため、従来のデコーダによる復号処理を容易にすることができる。
【００３２】
本発明の他の実施の形態にかかる標準ブロック規格エンコーダを備えたコーデックについて図５を参照し以下に説明する。
【００３３】
本実施の形態にかかるコーデックは、ＳＤＲ画像（映像）系列（５０）を一連のブロック（５２）に分割している。
【００３４】
各ブロックは、空間予測（６２）または時間予測（６４）と称される一時的に隣接するフレームの動き予測に基づいて隣接する画素値から予測する。
【００３５】
次に、予測した画像値と、原画像の値との差を計算する（５４）。当該差は、さらに線形変換および量子化（５６）により、相関関係を解いている。
【００３６】
画像ブロックを予測し、リファインするために必要な情報は、エントロピーエンコーダ（５８）によってさらに符号化され、デコーダに伝送される（６０）。
【００３７】
変換、量子化された情報（５６）は、逆量子化・逆変換され（６８）、保存バッファ（６６）に保存され、前回処理されたブロックと比較される。強調層に伝送された情報は、ＨＤＲ画像系列の生成に用いられる。上記の処理は、下記の第１ないし第３工程に分けて行う構成としてもよい。
【００３８】
第１工程は、復号化されたＳＤＲフレームからＨＤＲ画像系列を推測するための逆トーンマッピング処理である。この第１工程は、色変換、ビット深度の伸張、ガンマ補正の工程を含んでいる。第２工程は、ＨＤＲ予測を追加の残像データでレファインする残像データの符号化工程である。第３工程は、一時的な隣接フレームから残像データを予測する動き予測工程である。これらの各工程の詳細については後述する。
【００３９】
〔逆トーンマッピング〕
本発明の実施の形態にかかるＨＤＲ画像系列をＳＤＲ画像系列にマッピング処理するトーンマッピング処理について説明する。
【００４０】
簡単な例としては、固定のオフセットをＨＤＲデータに追加し、得られたデータをクリップする構成がある。これは、図６に示す入出力関係に等しい。これらの実施の形態にかかる各逆トーンマッピングの目的は、トーンマッピング工程の逆を行い、ＳＤＲデータからＨＤＲ推測データを生成することである。
【００４１】
トーンマッピング中に、ＳＤＲガマットに独自にマッピングされたデータは、逆トーンマッピング工程により完全に復元することができる。逆トーンマッピングとは、数学的に逆を意味するのではなく、単に、ＳＤＲ画像からＨＤＲ画像を精度よく推測することを意味している。例えば、従来の表示装置への互換性を有するように強調データを付加し、デコーダが従来のコーデック方法でコード化されたＳＤＲ画像系列から適切にＨＤＲ画像系列することができる。さらに、ＳＤＲフレームの空間諧調とＨＤＲフレームの空間諧調が異なる場合、諧調の変化は、逆トーンマッピング工程でも考慮される。
【００４２】
実用のトーンマッピングは、逆トーンマッピング工程を複雑化している。例えば、図６に示す工程により不要な輪郭の偽信号を生成する場合がある。そこで、勾配ドメインやコントラストを基準とした方法で局部的な画像のコントラストを保持する方法を用いれば、より許容レベルの結果が得られる。また、画像系列の部分的な特性にトーンマッピング処理を施すことでさらに質の向上を図ることができる結果を得ることができる。これにより、空間予測および時間予測の双方によるマッピングの効果を得ることができる。
【００４３】
逆トーンマッピング工程において適宜調整することにより、ＳＤＲの色彩の質を低下させることなく、十分なレベルに圧縮することができる。強調ビットストリームは、逆トーンマッピング工程へと導くための情報を有していてもよい。最も基本となるコンポーネントとしては、グローバルオフセット、スケールパラメータが挙げられる。これにより、ルックアップテーブルを用いて、ＳＤＲデータおよびＨＤＲデータの線形関数を特定することができる。上記のアプローチによれば、ＨＤＲ画像系列における画素値は、目盛りが付されたＳＤＲ画素データにグローバルオフセットを加えたものに等しい。
【００４４】
本発明の実施の形態では、ダウンロード可能なルックアップテーブルとして、トーンマッピング工程を採用することができる。ダウンロード可能なテーブルは、グローバルオフセットおよびスケール変数による線形マッピング処理を伸張し、より一般的に使用できる逆トーンマッピング工程を可能とする。
【００４５】
ルックアップテーブルの伝送コストを最大にするには、マッピングデータをグローバルオフセットおよびスケール変数から差別化して信号化する方法が考えられる。
【００４６】
また、ブロックをベースにしたスイッチングに逆トーンマッピングを施す構成としてもよい。これは、逆トーンマッピング工程のより一般的な構成と言える。これにより、エンコーダは、複数のルックアップテーブルか複数のスケールおよびオフセット変数を伝送すれば、より高い精度で複数の入出力関係を特定することができる。
【００４７】
上記のエンコーダは、次に、ビットストリームにインデックス番号を伝送することにより、逆トーンマッピング工程を変更することができる。切替えの頻度については、アプリケーションによって適宜選択されるものである。例えば、系列ベースで変更してもよいし、フレームベースで変更してもよい。また、ブロックベースで変更する構成としてもよい。また、ブロック内でルックアップテーブルを用いることにより、より細かい粒状性を出すことができる。
【００４８】
〔残像の符号化〕
本発明の実施の形態における残像の符号化方法は、原ＨＤＲ画像系列データと予測ＨＤＲ画像系列との差異を送信する処理として説明することができる。本符号化方法により、デコーダ内でのＨＤＲ画像系列予測の精度を上げ、トーンマッピング処理では完全に切り捨てられていた、ＨＤＲ画像系列の一部を送信するメカニズムを提供する。
【００４９】
また、本発明の実施の形態では、残像データの信号化に異なるツールを用いる。これらのツールは、ドメインマッピング処理、マスクされた変換、ブロックモード予測および比率コーディングを含んでいる。さらに、本残像の符号化方法は、ビットストリームにおける可変テクスチャ合成器を備えていてもよい。
【００５０】
残像データが正の値および負の値をとる場合、ドメインマッピングも有益である。この場合、これらのコンポーネントは、逆トーンマッピング処理の出力に対し、些細な改良をもたらすものである。しかしながら、ＨＤＲシナリオでは、残像データのサインは、ＳＤＲ画像系列の絶対値と関係付けてもよい。トーンマッピングが、ＳＤＲデータの生成にクリッピングを用いる場合は、特に有益である。残像データの正の値は、ＳＤＲガマットよりも明度が高いという特徴に対応している。一方、残像の負の値は、ＳＤＲガマットよりも明度が低い特徴に対応している。
【００５１】
残像とＳＤＲフレームとの関係を利用するために、ブロックを種々の方法で符号化する構成が考えられる。１つの方法は、残像における正の値と負の値を別々に符号化する分離符号化方法である。この方法により、各ブロックに対し、２回効果的に符号化することができる。最初のパスでは、残像のうち、正の値をとる部分は信号化される。二番目のパスでは、残像のうち負の値をとる部分が送信される。デコーダでは、両方のブロックが復号化され、結合されると共に残像データが復元される。この方法によれば、コード情報を単純化し、拡張したダイナミックレンジ全域で、滑らかに変更することができる。最後の方法としては、ドメインマッピングして、残像データを変更なしに符号化する方法がある。
【００５２】
さらに、ドメインマッピングを用いる構成としてもよい。例えば、絶対値のみに基づく方法を用いてもよい。この方法では、残像データの絶対値のみを送信し、サイン情報は符号化しない。一方、デコーダでは、サイン情報は、復元されたＳＤＲフレームの合成によって特定する。ドメインマッピングの他の方法としては、符号化する前に残像における正の値をオフセットする方法がある。これは拡張したダイナミックレンジ中でスムーズに異なっている符号化情報を簡素化するものである。ドメインマッピングのための最終的な方法としては、交替なしに残りのデータを符号化する方法がある。
【００５３】
原ＨＤＲ画像系列をＳＤＲガマット内で独自にマップされた場合に、残像の値が小さいという特性を利用する構成としてもよい。従来から用いられている変換符号化方法では、残像におけるいかなる小さな値も明示的に送信される。一方、マスク変換によれば、これらの値を暗示的に送信する。マスク変換は、具体的には、デコーダで残像データをマスクすることによって得られる。マスクは、復号化されたＳＤＲフレームから生成することができ、画素を基準として画素上に残像データを適切に減少させる構成としてもよい。ＳＤＲガマット内では、かなり減少させる一方、ガマット外ではそのまま通過させる。これにより、エンコーダが、ガマット内での無視できない残像値を送信することができるため、圧縮効率を高めることができる。
【００５４】
また、残像の符号化方法として、ブロックモード予測を用いる構成としてもよい。この方法でも、ＨＤＲ画素値とＳＤＲ画素値とで別々にマッピングした場合、残像の値が小さくなるという特性を利用している。具体的には、残像データの各ブロックで現在か現在でないかで、フラグを立てる構成としてもよい。この場合、フラグは必ずしも直接送信する必要があるわけではない。また、復元したＳＤＲフレームでの対応するブロックを分析することによって、フラグを予測することもできる。さらに、ビットストリームにおけるフラグが、予測が正しいか否かを示す。これにより、残像信号の大部分が最小量のオーバーヘッドでスキップすることができるため、圧縮効率の向上を図ることができる。
【００５５】
また、残像の符号化方法として、比率（ratio）符号化方法を用いてもよい。比率符号化方法として、逆トーンマッピング処理の出力に適応するスケールファクタの系列を符号化する構成としてもよい。これらの比率は、画像系列のダイナミックレンジを大幅に拡張し、空間的に関係付けるという重要な特性を有している。比率の値は、低解像度において符号化される、かつ／または、差分符号化で符号化される。比率画像に要求されるビットレートは小さい傾向にある。
【００５６】
〔動き補償〕
動き補償は、前に構築されたＨＤＲデータから現フレームの情報を予測することにより行う。この動き補償により、映像の符号化のためのビット伝送速度要件を少なくすることができる。
【００５７】
標準的なアプローチとしては、動き補償のための動きベクトルと残像データとを組み合わせて用いる。これらの実施例では、使われたいくつかの動き補償の過程が、デザインを補数規格に基礎づけた。これは遅れているコンパチブル方法における、ＳＤＲデータの符号化を簡素化する。
【００５８】
本発明の実施の形態は、かかるＳＤＲデータに対してのみ動き補正が施されるビデオデコーダについて図７を参照し以下に説明する。ＳＤＲビットストリーム（７２）がデコーダで受信されると、逆量子化および逆変換処理が施される（８２）。このビットストリーム（７２）は、動き予測（８８）に用いてもよい。動き予測（８８）データは、逆量子化および逆変換された残像データに付加され（８４）、ＳＤＲ画像データ（８６）を生成してもよい。動き予測データが付加された後は、逆量子化および逆変換された残像データは、ＳＤＲ記憶装置（８９）に保存される。このＳＤＲ画像データ（８６）は、逆トーンマップ処理（８０）が施され、強調ビットビットストリーム（７０）から逆量子化および逆変換されたデータ（７４）に結合される（７６）。一旦結合されると（７６）、当該データは、ＨＤＲ映像データ（ＨＤＲ表示データ）（７８）を示すように構成されている。図７に示すように、ＳＤＲビットストリーム（７２）からの動きベクトルは、ＳＤＲデータを予測するために用いてもよい（８８）。ＳＤＲ（７２）からの残像情報が付加され（８４）、ＳＤＲディスプレイ（画像）データを予測し、強調ビットストリーム（７０）からの残像情報が付加され（７６）、ＨＤＲディスプレイ（画像）データ（７８）予測される。
【００５９】
本実施の構成では、以前に復号化されたＨＤＲフレームを利用することでデコーダに必要なメモリを少なくすることができる。具体的には、動き予測を実行する前に、逆トーンマッピング処理を施すことにより得られる。さらに、マッピング工程を改良して、原トーンマッピング処理を予測することもできる。
【００６０】
また、図８に示すように、動き予測の適用により、前のＨＤＲフレームを変える構成としてもよい。ＳＤＲビットストリーム（７２）から動きベクトル（１０６）をＨＤＲ参照フレームに直接適応してもよい。この場合、残像情報も伝送される。強調ストリームの残像も前に予測ブロックに対しＳＤＲ残像を追加する。
【００６１】
本発明の実施の形態では、ＳＤＲビットストリーム（７２）を逆量子化および逆変換する（９８）。動きベクトルのデータおよび他の動き予想データが抽出され、ＳＤＲデータの動き予測に用いられる（１０２）。この予測データは、逆量子化および逆変換されたＳＤＲデータと結合され（１００）、ＳＤＲ映像データ（１０８）を生成する。逆量子化および逆変換されたＳＤＲ残像データも、逆量子化および逆変換された（９４）強調ビットストリームデータおよび強調予測（９２）データが結合され、ＨＤＲ映像データ（１１０）を生成する。次のデータの予測のための前フレーム、ブロックまたは他のデータをＳＤＲ記憶装置（１０４）およびＨＤＲ記憶装置（９０）に保存する構成としてもよい。
【００６２】
また、図９に示すように、ＳＤＲビットストリームからの動きベクトルを直接ＨＤＲ参照フレームに適応する構成としてもよい。残像データも強調層に伝送してもよい。図９の構成例では、強調層の残像は、予測ＨＤＲデータにのみ付加している。
【００６３】
本実施の形態では、ＳＤＲビットストリームデータを逆量子化および逆変換する（９８）構成としている。動きベクトルデータおよび／または他の予測データ（１２０）は、ＳＤＲビットストリーム（７２）から切り取られＳＤＲ動き予測（１０２）およびＨＤＲ動き予測（１１４）に用いられる。これらの動き予測処理では、ＳＤＲ記憶装置（１０４）およびＨＤＲ記憶装置（１１２）に保存された前のデータにアクセスする構成としてもよい。ＳＤＲ動き予測データは、逆量子化および逆変換されたＳＤＲデータと結合され（１００）、ＳＤＲ映像データ（１０８）が生成される。強調ビットストリーム（７０）も、逆量子化および逆変換され（１１８）ＨＤＲ動き予測データと結合され（１１６）、ＨＤＲ映像データ（１２２）が生成される。
【００６４】
動き補償は、強調層の残像の構造および状態を変えるものであってもよい。例えば、図９に示すように、強調層の残像がＳＤＲ成分とＨＤＲ成分の両方を含むものであってもよい。
【００６５】
これにより、特定の残像の符号化プログラムを採用する可能性が低くなる。プログラム間の相互作用を考慮し、環境順応型のシグナリングスキームを採用し、個々の符号化工程を選択的に可・不可とする構成としてもよい。
【００６６】
〔本発明の適用例〕
本発明は、デジタルポータブルビデオカメラを備えた構成としてもよい。
【００６７】
この場合、画像データをＨＤＲセンサやマルチＳＤＲセンサから得る構成としてもよい。一旦受信すると、画像データは、テープ、光媒体、固体記憶装置等の媒体に記録してもよい。また、ＳＤＲ画像系列の品質を低下させることなくＨＤＲ映像データを効率的に保存できるシステムが望ましい。画像系列は、ＳＤＲでも視認することができ、かつ、変換を要することなく旧方式の編集、後処理技術でも処理することができる。また、当該画像系列は、ＨＤＲ表示装置で見ることができ、ＨＤＲアウェア編集および後処理工程で処理することができる。これらのＨＤＲアウェアアプリケーションは、露光、ホワイトバランス修正、並びにかすみ、動き等の実用面での効果を有している。
【００６８】
本発明は、パーソナルビデオレコーダを備えた構成としてもよい。ビデオデータは、放送用（broadcast）であってもよく、パーソナルビデオレコーダで記録する構成としてもよい。上記の構成によれば、ＨＤＲデータ送信により、従来の記録装置およびＨＤＲアウェア記録装置の双方でビデオデータを録画することができる。従来の装置は、ＳＤＲ画像系列のみを表示する。一方、ＨＤＲアウェア装置は、拡張されたダイナミックレンジの表示が可能である。ＨＤＲアウェア装置は、さらに、ＳＤＲ映像（画像）系列から拡張されたダイナミックレンジで合成するためのシステムおよび方法を備える構成としてもよい。これにより、ＨＤＲ装置のみならず、従来の装置でも、比較的大きいコントラスト比を実現することができる。上記合成としては、２つの構成例が考えられる。時間を基準とした場合、ＨＤＲデータを生成する。制約の少ないないシナリオでは、より高度の合成処理をオフラインで行う構成としてもよい。この場合、効率的に記録することができる。
【００６９】
本発明は、ホーム媒体ゲートウェイを備えた構成としてもよい。ビデオデータは、ホームメディアゲートウェイによって受信し、ネットワークを介して各装置に提供する構成としてもよい。これらの実施の形態で送信されたデータは、ホームメディアゲートウェイ内で、単純比を用いてもよい。また、チャネルと装置両方でサポートされている場合に限り、ＨＤＲデータを伝送する構成としてもよい。
【００７０】
本発明は、光学メディアプレーヤを備えた構成としてもよい。また、映像データは、光学媒体に提供する構成としてもよい。上記の構成によれば、ＨＤＲデータを、規格を遵守して光学ディスクや他の媒体に記録することができる。従来の光学装置は、付加情報については無視してＳＤＲ映像（画像）系列を生成してもよい。ＨＤＲアウェア装置は、ＨＤＲ映像系列装置全体をデコードし、表示装置に提供する。ＨＤＲアウェア装置は、ＳＤＲ媒体から伸張されたダイナミックレンジのＳＤＲを合成することができる。ＨＤＲアウェア光学メディアプレーヤを備えた本発明は、フィルムまたはおよびコンピュータの特別な効果から得られた伸張されたダイナミックレンジを、ユーザに容易に提供することができる。これらの実施の形態は、光学メディアの付加価値が付加された特性を提供すると共に、表示データの広ダイナミックレンズの広ソースを提供する。
【００７１】
本発明は、広ダイナミックレンジＬＣＤテレビ受信機を備えた構成としてもよい。本実施の形態において、映像データを、ＴＶ圧縮形式にて受信し、拡張されたダイナミックレンジで表示することができる。また、ＨＤＲデータをテレビ受信機に効率よく送信する工程を含む構成としてもよい。ＨＤＲデータは、ＨＲＤポータブルビデオカメラに保存してもよく、パーソナルビデオレコーダ、光学媒体に記憶する構成としてもよい。ホームメディアゲートウェイから受信して合成する構成としてもよい。
【００７２】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段、あるいは、他の実施の形態において説明した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【００７３】
本発明は、以下のようにも表現することができる。すなわち、本発明にかかる画像データの符号化方法は、広ダイナミックレンジ（ＨＤＲ）画像系列を受信する工程と、前記ＨＤＲ画像系列から標準ダイナミックレンジ（ＳＤＲ）画像系列を生成する工程と、ＳＤＲエンコーダで前記ＳＤＲ画像系列を符号化する工程と、前記工程にて符号化されたＳＤＲ画像系列を受信側へ伝送する工程と、前記符号化されたＳＤＲ画像系列を復号化する工程と、上記復号化されたＳＤＲ画像系列を逆トーンマッピングし、復号化されたＨＤＲ画像系列を生成する工程と、前記復号化されたＳＤＲ画像系列データ、上記復号化されたＨＤＲ画像系列データ、および前記受信したＨＤＲ画像系列からＨＤＲ残像データを生成する工程と、ＨＤＲ画像残像データを受信側へ伝送する工程とを含むことを特徴としている。
【００７４】
上記の構成において、前記符号化されたＳＤＲ画像系列と、ＨＤＲ残像データとを記憶装置に保存する工程を含むことが望ましい。
【００７５】
ＳＤＲエンコーダとしては、ＭＰＥＧ−２エンコーダやＨ．２６４エンコーダを用いることができる。
【００７６】
また、上記の構成において、符号化されたＳＤＲ系列の送信と、ＨＤＲ残像データの送信とを一送信工程で多重送信することが望ましい。
【００７７】
また、前記符号化されたＳＤＲ系列を、ＨＤＲ残像データと独立して復号化することが望ましい。
【００７８】
また、前記結合工程は、前記復号化されたＳＤＲ画像系列および前記復号化されたＨＤＲ画像系列との結合画像と、前記受信したＨＤＲ画像系列との差を求める工程を含むことが望ましい。
【００７９】
また、本発明の画像データの復号化方法は、符号化された標準ダイナミックレンジ（ＳＤＲ）画像系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する工程と、前記ＨＤＲ残像データから独立して前記ＳＤＲ画像系列を復号化する工程とを含むことが望ましい。
【００８０】
さらに、前記ＨＤＲ残像データを復号化する工程を含むことが望ましい。
【００８１】
さらに、前記ＳＤＲ画像系列を逆トーンマッピング処理する工程を含むことが望ましい。
【００８２】
また、上記の構成において、さらに、前記ＳＤＲ画像系列を逆トーンマッピング処理する工程と、前記逆トーンマップされ、符号化されたＳＤＲ系列を、前記復号化されたＨＤＲ残像データと結合し、ＨＤＲディスプレイデータを生成する工程とを含むことが望ましい。
【００８３】
また、前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データから動きを予測する工程を含むことが望ましい。
【００８４】
また、前記ＳＤＲ画像系列の要素を用いてＳＤＲ表示データおよびＨＤＲ表示データから動き予測をする工程を含むことが望ましい。
【００８５】
本発明にかかる画像データの符号化方法は、画像データのコーデックシステムであって、広ダイナミックレンジ（ＨＤＲ）画像系列を受信する受信部と、ＨＤＲ画像系列から、標準ダイナミックレンジ（ＳＤＲ）画像系列を生成するためのＳＤＲトーンマップと、前記ＳＤＲ画像系列を符号化するためのＳＤＲエンコーダと、符号化されたＳＤＲ画像系列を復号化するデコーダと、前記復号化されたＳＤＲ画像系列を、復号化されたＨＤＲ画像系列に変換するための逆トーンマップと、前記復号化されたＳＤＲ画像系列データ、復号化されたＨＤＲ画像系列データおよび復号化されたＨＤＲ画像系列から、ＨＤＲ残像データを生成するＨＤＲ残像エンコーダと、符号化されたＳＤＲ画像系列およびＨＤＲ残像データを送信先へ送信する送信機とを含むことを特徴とする。
【００８６】
本発明の画像データコーデック（符号化・復号化）システムは、符号化されたＳＤＲ系列および広ダイナミックレンジ（ＨＤＲ）残像データを受信する受信部と、前記ＳＤＲ画像系列からＳＤＲ画像データを復号化するＳＤＲデコーダと、前記復号化されたＳＤＲ画像データから推測ＨＤＲ画像系列を生成するＨＤＲ逆トーンマップと、ＨＤＲ残像データから残像デコーダを復号化する残像デコーダと、上記予測ＨＤＲ画像系列と、前記復号化されたＨＤＲ残像データとを結合する合成機とを含むことを特徴とする。
【符号の説明】
【００８７】
２      バックライト
４      フロントパネル
１４    標準規格ビデオエンコーダ
１６    標準規格ビデオデコーダ
２０    ＨＤＲ残像エンコーダ
２６    標準規格デコーダ
３０    ＨＤＲ残像デコーダ
３４    ＳＤＲディスプレイ
３６    ＨＤＲディスプレイ
３８    残像デコーダ
４２    ＨＤＲ比率デコーダ
５８    エントロピーエンコーダ
６６    保存バッファ
９０    ＨＤＲ記憶装置
１０４  ＳＤＲ記憶装置
１１２  ＨＤＲ記憶装置
【図１】
2010213360.tif 000003
【図２】
2010213360.tif 000004
【図３】
2010213360.tif 000005
【図４】
2010213360.tif 000006
【図５】
2010213360.tif 000007
【図６】
2010213360.tif 000008
【図７】
2010213360.tif 000009
【図８】
2010213360.tif 000010
【図９】
2010213360.tif 000011
【外国語明細書】
2010213360000001.pdf