(57)【特許請求の範囲】
【請求項１】
サンプル値（１６）が、第１のダイナミックレンジをカバーする第１のフォーマットで表現される、フレーム（１４）の第１のシーケンス（１２）を符号化するためのビデオエンコーダであって、
フレーム（３２）の第２のシーケンス（３０）を得るために、下界および上界ならびに長さがマッピング・パラメータ（４５）によって設定される区画（３８）を、前記第１のダイナミックレンジ（４０）からの区画（３８）をマッピングする写像関数（３６）を用いて、前記第１のシーケンス（１２）のフレーム（１４）の前記サンプル値（１６）を、前記第１のフォーマットから前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する第２のフォーマットに変換するように構成されるサンプル値コンバータ（１８）、
フレーム（３２）の前記第２のシーケンス（３０）の各フレームに対して、前記第２のシーケンス（３０）の前記それぞれのフレームによって参照される、前記第２のシーケンス（３０）の参照フレームのサンプル値、または前記参照フレームの再構築されたバージョンのサンプル値を、前記第２のシーケンス（３０）のそれぞれのフレームのための重み付けパラメータによって重み付けし、前記第２のシーケンス（３０）の前記それぞれのフレームのためのオフセット・パラメータによってオフセットすることで、フレーム（３２）の前記第２のシーケンス（３０）を符号化して、重み付けされオフセットされた参照フレームを得て、前記第２のシーケンス（３０）の前記それぞれのフレームの時間予測のために前記重み付けされオフセットされた参照フレームを用いるように構成されるビデオ符号化ステージ（２０）、および
前記第１のダイナミックレンジ（４０）のどの部分が前記第１のシーケンス（１２）の第１のフレームの前記サンプル値（１６）によって満たされているかを決定し、
前記第１のシーケンス（１２）の前記第１のフレームに対応する前記第２のシーケンス（３０）の第１のフレームのための前記重み付けパラメータおよび前記オフセットパラメータ（５０）を、前記第２のシーケンス（３０）の前記第１のフレームによって参照される前記第２のシーケンス（３０）の参照フレームに対応する前記第１のシーケンスの第２のフレームのための前記マッピング・パラメータによって下界および上界ならびに長さが設定される前記第１のダイナミックレンジ（４０）からの前記区画を置換して拡大縮小して、前記第１のシーケンス（１２）の前記第１のフレームの前記サンプル値（１６）が満たされる部分に近づきカバーする拡大縮小されオフセットされた区画を得るように設定して、かつ、前記第１のシーケンスの前記第１のフレームのための前記マッピング・パラメータを、前記拡大縮小されオフセットされた区画と、下界および上界ならびに長さが前記第１のシーケンスの前記第１のフレームのための前記マッピング・パラメータによって設定される、前記第１のダイナミックレンジ（４０）からの前記区画が一致するように設定することにより、
前記フレーム（３２）の前記第２のシーケンスの各フレーム、および前記第２のシーケンス（３０）の前記それぞれのフレームに対応する前記第１のシーケンス（１２）の対応するフレームについて、前記重み付けパラメータおよび前記オフセット・パラメータ（５０）、ならびに前記マッピング・パラメータを設定するためのパラメータ・セッター（２２）を含む、ビデオエンコーダ。
【請求項２】
0006453832.tif 000020
【請求項３】
0006453832.tif 000021
【請求項４】
前記ビデオ符号化ステージ（２０）は、フレームの前記第２のシーケンス（３０）を符号化する際に量子化ステップ・サイズ・パラメータを使用するように構成され、かつ、前記パラメータ・セッター（２２）は、前記第２のシーケンス（３０）の前記第１のフレームのための前記マッピング・パラメータによって設定される、第１のダイナミックレンジ（４０）からの前記区画の前記長さに応じて、前記第２のシーケンス（３０）の前記第１のフレームのための前記量子化ステップ・サイズ・パラメータを設定するように構成される、請求項１ないし請求項３のいずれかに記載のビデオエンコーダ。
【請求項５】
前記パラメータ・セッター（２２）は、前記量子化ステップ・サイズ・パラメータを前記第２のシーケンスの最初のフレームのための量子化ステップ・サイズ・パラメータとは異なるようにデータストリームに符号化するように構成される、請求項４に記載のビデオエンコーダ。
【請求項６】
前記第１のシーケンスの前記フレームの前記サンプル値は、輝度浮動小数点値であり、前記第２のシーケンスの前記フレームの前記サンプル値は、ｌｕｍａ整数値である、請求項１ないし請求項５のいずれかに記載のビデオエンコーダ。
【請求項７】
サンプル値（１６）が第１のダイナミックレンジをカバーする第１のフォーマットで表現される、フレーム（１４）の第１のシーケンス（１２）を符号化する方法であって、
フレーム（３２）の第２のシーケンス（３０）を得るために、下界および上界ならびに長さがマッピング・パラメータ（４５）によって設定される、前記第１のダイナミックレンジ（４０）からの区画（３８）をマッピングする写像関数（３６）を用いて、前記第１のシーケンス（１２）の前記フレーム（１４）の前記サンプル値（１６）を、前記第１のフォーマットから、前記第１のダイナミックレンジより低い第２のダイナミックレンジを有する第２のフォーマットに変換する工程、
フレーム（３２）の前記第２のシーケンス（３０）の各フレームに対して、前記第２のシーケンス（３０）の前記それぞれのフレームによって参照される、前記第２のシーケンス（３０）の参照フレームのサンプル値、または前記参照フレームの再構成されたバージョンのサンプル値を、前記第２のシーケンス（３０）の前記それぞれのフレームのための重み付けパラメータ（５０）によって重み付けし、前記第２のシーケンス（３０）の前記それぞれのフレームのためのオフセット・パラメータによってオフセットすることによって、フレーム（３２）の前記第２のシーケンス（３０）を符号化して、重み付けされオフセットされた参照フレームを得て、前記第２のシーケンス（３０）の前記それぞれのフレームの時間予測のために前記重み付けされオフセットされた参照フレームを使用する工程、および
前記第１のダイナミックレンジのどの部分が前記第１のシーケンス（１２）の前記第１のフレームの前記サンプル値（１６）によって満たされているかを決定し、
前記第１のシーケンス（１２）の前記第１のフレームに対応する前記第２のシーケンス（３０）の第１のフレームのための前記重み付けパラメータおよび前記オフセット・パラメータを、前記第２のシーケンス（３０）の前記第１のフレームによって参照される前記第２のシーケンス（３０）の参照フレームに対応する前記第１のシーケンスの第２のフレームのためのマッピング・パラメータによって下界および上界ならびに長さが設定される前記第１のダイナミックレンジ（４０）からの区画を、置換し拡大縮小して、前記第１のシーケンス（１２）の前記第１のフレームの前記サンプル値（１６）が満たされる部分に近づきカバーする拡大縮小されオフセットされた区画を得るように設定して、かつ、前記第１のシーケンスの前記第１のフレームのための前記マッピング・パラメータを、前記拡大縮小されオフセットされた区画と、下界および上界ならびに長さが前記第１のシーケンスの前記第１のフレームのための前記マッピング・パラメータによって設定される、前記第１のダイナミックレンジ（４０）からの区画が一致するように設定することにより、
前記フレーム（３２）の前記第２のシーケンス（３０）の各フレーム、および前記第２のシーケンス（３０）の前記それぞれのフレームに対応する前記第１のシーケンス（１２）の対応するフレームについて、前記重み付けパラメータおよび前記オフセット・パラメータ（５０）、ならびに前記マッピング・パラメータを設定する工程を含む、方法。
【請求項８】
コンピュータ上で実行している場合、コンピュータに、請求項７に記載の方法を実行させるためのプログラムコードを有するコンピュータ・プログラムが格納されたコンピュータ読み取り可能なデジタル記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、ＨＤＲシーケンスとともに使用するために用いられるような、例えばビデオ符号化に関する。
【背景技術】
【０００２】
これまで、大部分の画像およびビデオ符号化アプリケーションは、約２桁の輝度範囲（低いダイナミックレンジ（ＬＤＲ））だけをカバーすることができる［１］（非特許文献１参照）。しかしながら、人間の視覚系（ＨＶＳ）によって、我々が１０桁以上の範囲をカバーすることができる光条件に適応し、同時に約５桁を把握することができる［２］（非特許文献２参照）。全部のＨＤＲ輝度（例えばＣＧＩ、特殊効果演出、ＨＤＲディスプレイ）の表現から利益を得ることができる数多くのアプリケーションで、ＨＤＲビデオ符号化方法において需要が増加している。Ｈ．２６４／ＡＶＣのような標準的な符号化方法を用いることは、付加的な努力をすることなく、ＬＤＲからＨＤＲビデオ符号化への継ぎ目のない移行を可能にしている。用語ＨＤＲがこの研究を通して本当の輝度値の表現に言及しているのであって、ときどきＨＤＲＩと呼ばれているトーンマッピングされたＬＤＲ表現に言及しているわけではないことに注意すべきである。
【０００３】
ＨＤＲデータの最も自然な表現、浮動小数点数が良好な圧縮という結果にならず、取り扱うのに高コストであるので、数人の創造者は浮動小数点輝度値から整数ｌｕｍａ値への適切なマッピングを提案した［３、４、５、６］（非特許文献３、４、５、６参照）。これらの輝度−ｌｕｍａマッピングは、精度の関連する損失がＨＶＳの許容度以下であるという共通点があり、歪曲に気付くことはない。それらは、更に、それらが更なる処理の前にＨＤＲ画像データのＣＩＥＬＵＶ色空間［１］（非特許文献１参照）への変換に適用するという共通点がある。すなわち、データは、輝度成分Ｙおよび彩度成分（ｕ´、ｖ´）によって表される。（ｕ´、ｖ´）色表現の効果は、それが知覚的に同一であるということである。すなわち、この表現の等しいオフセットは、等しい知覚色差を示し、したがって、それらは、例えば８ビットのビット深度を有する整数値に直線的にマッピングされることができる。知覚できる（ｕ´、ｖ´）間隔［０、０．６２］から範囲［０、２５５］における整数値へのこの種のマッピングは、可視閾値をはるかに下回っている０．００１７２の最大の絶対の量子化エラーを取り込む。
【０００４】
0006453832.tif 000002
【０００５】
それは、間隔［５．４４×１０-20、１．８４×１０19］の実数値の輝度を範囲［０、２15−１］の範囲の１５ビットの整数ｌｕｍａ値にマッピングし、逆の場合も同様である。すなわち、約３８桁の輝度は、０．２７％の相対的なステップ・サイズによって表される。これは、約１％の可視量子化閾値をはるに下回っている［１］（非特許文献１参照）。
【０００６】
しかしながら、この種のマッピングによってカバーされるダイナミックレンジは、ＨＶＳが同時に把握することができるものの範囲を遥かに超えている。さらに、この種の高いダイナミックレンジに及ぶ自然の画像データが存在しない。更なる画像処理ステップを受けることができるデータの可逆画像圧縮のために、この極めて高い範囲および忠実度が役立つかもしれないのに対して、人間のオブザーバによって見られることを目的とする不可逆ビデオ符号化のために、それはそうではない。したがって、知覚できない、または、ソース画像またはビデオフレームで起こらない輝度値を表すためにビットを確保する必要はない。これが、例えば、ＴＩＦＦライブラリを有するＨＤＲ静止画像符号化で圧縮効率を下げるので［３］（非特許文献３参照）、拡大縮小はＬｏｇＬｕｖ変換の前に適当な範囲にソース画像を拡大縮小するために用いることができる。類似のＬｏｇＬｕｖ方法［６］（非特許文献６参照）において、拡大縮小は、所与のビット深度に対してあらゆる可能なｌｕｍａコード値の全範囲を有効に使うために、ビデオ・シーケンスの個々のフレームに適用されている。
【０００７】
しかしながら、多くのＨＤＲビデオ符号化方法のように、後者は、ちょうど個々のビデオフレームに対するＨＤＲ画像符号化の直接的な拡張である。したがって、アプローチは、若干のビデオに特有の特徴を欠いており、それは圧縮効率を大きく低下させる。中でも注目すべきは、一連のフレームの輝度値を個々の拡大縮小を有する異なるコード値にマッピングすることは、シーケンスの時間的コヒーレンスに悪影響を与える。したがって、Ｈ．２６４／ＡＶＣビデオ・コーダーの時間的運動補償予測は、大部分は失敗する。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】[1] Eric Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2005
【非特許文献２】[2] J. A. Ferwerda, "Elements of early vision for computer graphics," IEEE Comp. Graph. and Appl., vol. 21, no.5, pp.22-33, 2001
【非特許文献３】[3] Gregory Ward Larson, "The Logluv encoding for full gamut, highdynamic range images," Journal of Graph. Tools. Vol.3, no, 1, pp.15-31, 1998
【非特許文献４】[4] Rafal Mantiuk, Grzegorz, Krawczyk, Karol Myszkowski, and Hans-Peter Seidel,"Perception-motivated high dynamic range video encoding" ACM Trans. Graph., vol.23, no,3,pp.733-741,2004
【非特許文献５】[5] Masahiro Okuda and Nicola Adami, "Effictive color space representation for wavelet based compression of HDR images," in International Conference on Image Analysis and Processing, 2007,pp.388-392
【非特許文献６】[6] Ajit Motra and Herbert Thoma, "An adaptive LogLuv transform for high dynamic range video compression," in Proc. Intl. Conf. on Image Processing (ICIP), Hong Kong, China, Sept.2010
【発明の概要】
【発明が解決しようとする課題】
【０００９】
当然、これは、他の時間的に予測している符号器や、輝度値以外のサンプル値にとっても同様のことである。
【００１０】
したがって、この発明の目的は、一方ではダイナミックレンジ・マッピングのより効率的な共同活用法を考慮に入れている符号化概念を提供し、他方では時間的予測を提供することである。
【課題を解決するための手段】
【００１１】
この目的は、独立クレームの主題によって達成される。
【００１２】
本発明の基礎をなしている基本的な考えは、例えばＨＤＲフレーム・シーケンスを符号化するため、一方ではダイナミックレンジ・マッピングおよび他方では時間的予測のより効果的な共同使用が、マッピング・パラメータを参照フレームから現在の時間的に予測されるフレームに移行するために重み付けされた予測の概念を利用することにより成し遂げられることができるということである。このような計測によって、時間的予測は失敗せず、ダイナミックレンジ・マッピングにおけるフレーム的な変化にもかかわらず、符号化効率は、このように、維持される。良好な付随する側面として、重み付けされた時間的予測は、例えばＨ．２６４／ＡＶＣのような既存のビデオ符号化ステージの能力の範囲内である。
本発明の好ましい実施例は、下で更に詳細に後述する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施例によるビデオエンコーダのブロック図を示す。
【図２】図２は、実施例による図１のビデオ符号化ステージのブロック図を示す。
【図３】図３は、実施例によるビデオ・デコーダのブロック図を示す。
【図４】図４は、実施例によるビデオ復号化ステージのブロック図を示す。
【図５】図５は、実施例により、図１のビデオエンコーダによって生成され、図３のビデオ・デコーダによって復号化されるデータストリームの部分を示す図解図である。
【図６】図６は、異なるフレームに対する異なる範囲での典型的な適応対数で表された輝度−ｌｕｍａマッピングを有するグラフを示す。
【図７】図７は、３つのケースに対する符号化結果を示し、すなわち図に関して記載されている実施例に従って時間的コヒーレンス・マッピングを使用する場合、異なるビデオ部分（左、中間、右）に対して恒常的なマッピングを使用する場合、時間的コヒーレンスに従うことのないフレーム的な適合を使用する場合、および質の低下（上下の行）に対する異なる計測を使用する場合を示す。
【発明を実施するための形態】
【００１４】
本発明の実施例が図に関して以下において更に詳細に記載される前に、これらの図の異なる実施例の範囲内で発生している等しい要素が等しい参照符号を使用して示される点に留意する必要があり、したがって、後者に関して提案される具体的な詳細が反対に教示しない限り、１つの図に関するこれらの要素の説明は他の図に関しても適用できる。
【００１５】
図１は、本発明の一実施例に係るビデオエンコーダ１０を示す。ビデオエンコーダ１０はフレーム１４の最初のシーケンス１２を符号化するように構成され、そのサンプル値１６は第１のダイナミックレンジをカバーする第１のフォーマットにおいて示される。たとえば、フレーム・シーケンス１２はＨＤＲビデオのようなビデオであってもよく、サンプル値１６は個々のフレーム１４の輝度分布の空間サンプリングを表すことができる。サンプル値１６が表される第１のフォーマットは、浮動小数点フォーマットであってもよい。詳細な実施例は、下で概説される。しかしながら、サンプル値１６によって空間的にサンプリングされる情報のタイプは輝度に制限されない点に留意する必要がある。むしろ、他のタイプの情報は、その代わりにサンプル値１６の目的であり得る。例えば、フレーム１４は深度図を表すことができ、したがって、シーケンス１２は特定の場面等の深度図の時間的サンプリングを表すことができる。
【００１６】
ビデオエンコーダ１０は、サンプル値コンバータ１８、ビデオ符号化ステージ２０およびパラメータ・セッター２２を含む。サンプル値コンバータ１８およびビデオ符号化ステージ２０は、ビデオエンコーダ１０の入力２４および出力２６の間で接続され、入力２４がフレーム・シーケンス１２を受信するように構成され、出力２６はビデオエンコーダ１０による符号化シーケンス１２から得られるデータストリームを出力するためのものである。パラメータ・セッター２２は、入力２４に接続される入力、および、それぞれ、サンプル値コンバータ１８およびビデオ符号化ステージ２０のパラメータ入力に接続される出力を有する。点線２８によって示されるように、更に以下において詳細に概説されるように、パラメータ・セッター２２はデータストリーム２６に関与しているサイド情報を出力することもできる。
【００１７】
サンプル値コンバータ１８は、第１のシーケンス１２のフレーム１４のサンプル値１６を、第１のフォーマットから第１のダイナミックレンジより低い第２のダイナミックレンジを有する第２のフォーマットに換算するように構成される。このように、サンプル値コンバータ１８は、ビデオ符号化ステージ２０に、第１のフォーマットから第２のフォーマットに変換されたサンプル値１６を除いて完全にシーケンス１２に対応するフレーム３２の第２のシーケンス３０を送る。したがって、各フレーム３２はシーケンス１２のそれぞれのフレーム１４に対応し、シーケンス１２の中の対応するフレーム１４と同じ順序となるようにシーケンス３０の中で配置されているフレーム３２を有する。
【００１８】
0006453832.tif 000003
【００１９】
第１のシーケンス１２のフレーム１４のサンプル値を第１のフォーマットから第２のフォーマットに変換するために、サンプル値コンバータ１８は、部分３８を第１のダイナミックレンジ４０から第２のダイナミックレンジ４２にマッピングする写像関数３６を使用する。特に、写像関数３６が第２のフォーマットに対応してダイナミックレンジ４２にマッピングする部分３８が、フレーム的な基準で、以下に詳細に概説されるようにパラメータ・セッター２２によって設定されるマッピング・パラメータ４４によって設定可能であるように、サンプル値コンバータ１８は設定される。以下において更に詳細に概説される特定の実施例において、写像関数３６は、対数関数的領域の第１のダイナミックレンジ４０と線形領域の第２のダイナミックレンジの間の線形写像関数を表す。しかしながら、他の狭義単調関数が、この種の関数の代わりに用いられることもできる。以下の更なる説明からより明らかになるように、部分３８は、第１のフォーマットのそれぞれのフレーム１４の範囲内に含まれるすべての情報を実質的に捕えるために１フレームごとにパラメータ・セッター２２によって設定される。簡単に言えば、パラメータ・セッター２２は、それぞれのフレーム１４の範囲内のすべての知覚的に関連したサンプルがその部分３８の範囲内でそれらのサンプル値１６を有するように、第１のダイナミックレンジ４０内で部分３８を位置付け、範囲−または大きさ−を定めようとし、それにより、すべてのこれらのサンプル値が第２のフォーマット４２の第２のダイナミックレンジに−省略されることなく−正しくマッピングされるようにする。現行フレームの範囲内のサンプル値１６の典型的な分布４４は、図１に典型的に示される。図１の実施例において、この分布は、部分３８の範囲内に完全に含まれる。以下において更に詳細に概説されるように、分布４４は、ビデオ内容のシーンにおける最も重要な部分を含みそうなその中心部分のようなフレーム１４の特定の部分の中のサンプル値１６の分布を示すだけである。
【００２０】
明らかであるように、第１のダイナミックレンジ４０の中のサンプル値１６の分布はフレームからフレームに変更することができ、したがって、図１は、点線４６で、シーケンス１２の中の他のフレーム１４の分布を例として示している。図１に例として示されるように、この分布４６は、例えば、現行フレームの分布４４に対して置き換えることができ、および／または現行フレームの分布４４より狭くすることができる。したがって、パラメータ・セッター２２は、部分４８を規定するマッピング・パラメータ４５とは異なって、マッピング・パラメータ４４をサンプル値分布４６を有するフレームに対して設定することができた。たとえば、部分４８が分布４６で満たされている第１のダイナミックレンジ４０の部分に近づくように、すなわち、部分４８ができるだけ小さいが、分布４４に関して同じ程度に部分３８を適用して、まだ分布４６の範囲をカバーするように、サンプル値分布４６はこれらのフレームのためにマッピング・パラメータを設定することができる。
【００２１】
このように、シーケンス３０は実質的にサンプル値を有するシーケンス１２に対応するが、他のフォーマットにおいて表される。しかしながら、シーケンス３０の中の１つのフレームのサンプル値３４が同じシーケンスの他のフレームの中のサンプル値３４より他の輝度部分に関して規定されるために、視聴シーケンス３０は不快な印象という結果になる。たとえば、シーケンス１２の前述のフレームは、それぞれ、部分３８および４８の範囲内で存在するサンプル値３４にマッピングされるサンプル値１６を有する。したがって、１つのフレームの１つのサンプル値３４は、例えば、シーケンス３０の異なるフレームの範囲内の１つのサンプル値より他の実際の輝度値に対応しそうである。追加的な評価がなければ、必要な運動ベクトル検索がたぶん成功していないため、ビデオ符号化ステージ２０は、このように、例えば、運動補償予測を使用している通常の時間的予測を実行することができない。
【００２２】
特に、ビデオ符号化ステージ２０は、参照用に重み付けパラメータによって重み付けされ、オフセット・パラメータによってオフセットされる、第２のシーケンス３０の第２のフレームまたは第２のシーケンス３０の第２のフレームの再現バージョンを用いて、第２のシーケンス３０の第１のフレームの重み付けされた時間的予測によって、フレーム３２の第２のシーケンス３０を符号化するように構成される。換言すれば、ビデオ符号化ステージ２０は、運動補償予測により、および参照用として別の、以前に符号化されたシーケンス３０のフレーム３２を用いることにより、シーケンス３０の現行フレーム３２を時間的に予測することができる。運動補償予測は、ブロックごとに実行されることができる。運動ベクトルおよび参照フレーム・インデックスのような運動予測データは、以下のような重み付け／オフセット・パラメータとともに、サイド情報としてデータストリームに挿入される。各時間的に予測されたブロックは、ビデオ符号化ステージ２０が参照の中の現行フレーム３２、すなわちパラメータ５０によって重み付けされサンプル値オフセットされた参照フレームの現行ブロックの内容の最適合の決定により決定する運動ベクトルと、現行フレームにおけるブロックの位置に対応する位置に関連して試みられるさまざまな置換（運動ベクトル）とを関連付けたかもしれない。検索費用を制限するために、ビデオ符号化ステージ２０は、検索を若干の検索範囲に制限する。
【００２３】
以下において明らかになるように、ビデオ符号化ステージ２０が重み付けされた時間的予測を使用するという事実により、それぞれ、パラメータ・セッター２２が関連するマッピング部分４８および３８の違いに関して参照フレームを現行フレームに適応させることは可能である。
【００２４】
特に、パラメータ・セッター２２は、図１に矢印５０で共に示されているように、以下にいて詳述するように、重み付けパラメータおよびオフセット・パラメータを介して現行レームに対するマッピング・パラメータに関する参照フレームのためのマッピング・パラメータをもって、参照フレームに対するマッピング・パラメータ４５に応じて、重み付けパラメータとオフセット・パラメータとを設定している。一方では、現行フレームのための重み付けパラメータおよびオフセット・パラメータ５０、および、他方では、現行フレームのためのマッピング・パラメータ４５の両方の設定に関与している。しかしながら、パラメータ・セッター２２は、現行フレームのためのマッピング・パラメータ４５を設定することから独立して自由に重み付けおよびオフセット・パラメータ５０を設定することができない。むしろ、両方の設定は、例えば独自に確定した方法で、互いに関連している。したがって、事実、パラメータ・セッター２２は、重み付けおよびオフセット・パラメータ５０とマッピング・パラメータ４５とを同時に設定し、特に、参照フレームの部分４８の範囲を置換よび拡大縮小し、この置換および拡大縮小から得られる間隔が上述のような分布の知覚的に関連のある部分を保存するのに適している現行フレームに対する部分３８を得る。重み付け／オフセット・パラメータ５０は、参照フレームに対するアプリケーションにより参照フレームの部分４８の範囲を置換し拡大縮小する。重み付け／オフセット・パラメータ５０は、部分４８の範囲内のすべての可能な値を、部分３８を定める範囲に及んでいる値の上にマッピングする。
【００２５】
以下に更に詳細に特定の実施例に従う図１のビデオエンコーダの機能を記載する前に、ビデオ符号化ステージ２０の実現のための実施例は、図２に関して記載されている。図２の実施例によれば、ビデオ符号化ステージ２０は、残差符号器６０、エントロピーエンコーダ６２、残差再現器６４、時間予測器６６、減算器６８、加算器７０、更なる加算器７２、および、重み付け器または乗算器７４を含む。サンプル値コンバータ１８の出力に接続されているビデオ符号化ステージ２０の入力７６と、ビデオエンコーダ１０の出力２６に接続されているビデオ符号化ステージ２０の出力７８との間において、減算器６８、残差符号器６０およびエントロピーエンコーダ６２が、この順序で接続される。残差再現器６４は、残差符号器６０の出力に接続された入力を有する。加算器７０の第１の入力は、残差再現器６４の出力に接続される。乗算器７４、加算器７２および時間予測器６６はループを形成し、加算器７０の出力およびその入力の間で、前述の順序で直列に接続される。同時に、乗算器７４、加算器７２および時間予測器６６の直列接続は、減算器６８の更なる、減算入力に接続される。それぞれ、加算器７２および乗算器７４の更なる入力に適用される値は、それぞれ、ビデオ符号化ステージ２０のパラメータ・インプット８０において入力されるオフセット・パラメータ５０を重み付けすることによって決定される。
【００２６】
動作において、現行フレームの時間予測が減算器６８の減算入力において適用される間、現行フレームは入力７６を入力する。現行フレームから時間予測８４を減算することから生じている予測残差８２は、残差符号器６０によって符号化される。残差符号器６０は、例えば、残差信号８２を変換、例えばスペクトル的に分解している変換を考察することができ、残差符号器６０は、ブロック毎の基準でこの変換を実行することができる。さらに、あるいは、残差符号器６０は、データストリームに符号化される予測残差８２の中に含まれる情報内容を減らすために、残差信号８２に量子化を適用することができる。残差符号器６０は、実施例として破線の矢印８６によって示されているように、フレームからフレームにさらに変更可能な量子化のためのパラメータとして、量子化ステップ・サイズ・パラメータを使用することができる。残差符号器６０の出力において、残差予測の不可逆符号化バージョン８８が得られる。それは、可逆方法におけるエントリピーエンコーダ６２によって、出力７８でデータストリームに符号化される。
【００２７】
0006453832.tif 000004
【００２８】
ビデオ符号化ステージ２０が重み付けされた時間予測を使用するため、時間予測器６６は、加算器７０による出力として、直接よりもむしろ９２からサンプル値重み付けおよびサンプル値オフセットにおける以前に符号化されたフレームの再現バージョンを使用する。それにより、これらのフレーム間の部分３８および４８の位置決めおよび範囲の違いは、バランスを保っている。他の語においてさえ、バランスをとることは、同様に、適切に入力８０に入力している重み付けしてオフセットしたパラメータ５０を設定するパラメータ・セッター２２によって保証される。
【００２９】
そこで、再び図１に戻って、パラメータ・セッター２２は、現行フレームのためのマッピング・パラメータによって設定される部分３８が満たされた部分に近づくように、重み付けおよびオフセット・パラメータ５０を設定することで、その中で第１のシーケンス１２の現行フレームのサンプル値１６が分布する第１のダイナミックレンジ４０の満たされた部分を決定するように構成される。言い換えれば、パラメータ・セッター２２は、第１のダイナミックレンジ４０の興味深い満たされた部分を決定するために、分布４４を最初に検査することができる。そして、パラメータ・セッター２２は現行フレームの重み付けおよびオフセット・パラメータ５０を設定し、これらの再現されたバージョン７０のサンプル値へのこれらのパラメータ５０の適用が、分布４４によって規定される満たされた部分に近づく部分３８を得るために、再現された部分７０が再現を示すフレームの部分４８の置換および拡大縮小に効果的に導く。
【００３０】
この点に関しては、参照フレームの再現７０の上に入力８０における重み付けおよびオフセット・パラメータの適用から得られる拡大縮小されサンプル値オフセットされた参照フレームを示すために、すなわち、参照フレーム９２のために、シーケンス３０のダイナミックレンジと比べて、ビデオ符号化ステージ２０はより高いビット数のような高いダイナミックレンジを使用することができ、それにより、これらのパラメータの適用が問題を削減することにつながらないことに留意すべきである。例えば、表示ビットの数は、２増やされることができる。
【００３１】
0006453832.tif 000005
【００３２】
0006453832.tif 000006
【００３３】
さらに、以下において概説される詳細な実施例に関しても述べられるように、ビデオ符号化ステージ２０および残差符号器６０はフレーム３２の第２のシーケンス３０を符号化する際に量子化ステップ・サイズ・パラメータを使用するように構成され、そして、パラメータ・セッター２２は各部３８、４８の長さに応じて量子化ステップ・サイズ・パラメータをシーケンス３０のフレーム３２に設定するように構成され、それぞれのフレームに設定される。この基準によって、それぞれ、部分３８および４８の長さの時間的変化のために静的量子化ステップ・サイズ・パラメータを使用する場合、量子化ノイズを時間的なバリエーションに調和させることは、それが起こらなければ可能である。パラメータ・セッター２２は、第２のシーケンス、例えばＩＰＰＰＰＰ・・・シーケンスのＩフレームのような第２のシーケンスの最初のフレームのための量子化されたステップ・サイズ・パラメータに差別的にデータストリームに量子化ステップ・サイズ・パラメータを符号化するように構成されることができる。
【００３４】
図３に関して、ビデオエンコーダのための実施例を記載した後に、実施例に従うビデオ・デコーダ１００について後述する。ビデオ・デコーダは、フレーム１０４のシーケンス１５２を再現するためのものであり、そのサンプル値１０６は、図１のビデオエンコーダによって生成されるもののように、データストリームから第１のダイナミックレンジをカバーする第１のフォーマットに示される。値１０６が表されるフォーマットは、サンプル値１６の基礎をなしているフォーマットでもよい。しかしながら、これは、必須のものではない。
【００３５】
ビデオ・デコーダ１００は、ビデオ復号化ステージ１０８、パラメータ・セッター１１０およびサンプル値再変換器１１２を含む。さらに、ビデオ・デコーダ１００は、前述のデータストリームがビデオ・デコーダ１００に入る入力１１４、およびシーケンス１０２を出力するための出力１１６を含む。入力１１４および出力１１６の間に、ビデオ復号化ステージ１０８およびサンプル値再変換器１１２が、その順序で、連続的に接続される。パラメータ・セッター１１０は、入力１１４およびサンプル値再変換器１１２のパラメータ入力の間に接続される。
【００３６】
図４に関して、ビデオ復号化ステージ１０８は、図２のエンコーダの構成要素６４、７０、７４、７２、および６６と実質的に同様に行うことができることが示されている。特に、ビデオ復号化ステージ１０８は、残差再変換器１１８、加算器１２０、時間予測器１２２、計数器／乗算器１２４および更なる加算器１２６を含む。残差再変換器１１８および加算器１２０は、入力１１４に接続しているビデオ復号化ステージ１０８の入力１２８と、サンプル値再変換器１１２に接続されているビデオ復号化ステージの出力１３０との間に連続的に接続される。ループの形において、乗算器１２４、加算器１２６および時間予測器１２２は、加算器１２０の出力およびその更なる入力の間において、その順序で連続的に接続される。乗算器１２４および加算器１２６の更なる入力に適用される値は、ビデオ復号化ステージ１０８がデータストリーム入力１２８から引き出される重み付けおよびオフセット・パラメータにしたがって制御される。
【００３７】
このように、それぞれ、実施例にしたがって、ビデオ・デコーダ１００およびビデオ復号化ステージ１０８の内部構造を記載した後に、それらの動作モードが、以下において更に詳細に記載される。
【００３８】
すでに前述した様に、ビデオ・デコーダ１００は、例えば、図１のビデオエンコーダによって生成されたデータストリームを復号化するためにある。データストリームは、ビデオ符号化ステージ２０がサイド情報としてデータストリームに挿入した重み付けおよびオフセット・パラメータ５０を用いて、より低いダイナミックレンジ・フォーマットでシーケンス３０から引き出された。したがって、ビデオ・デコーダは、符号化側で用いられる重み付けおよびオフセット・パラメータ５０にアクセスし、たとえば、若干の割合／歪曲最適化を経由して、符号化側で最終的に選択されるパラメータを使用して符号化側における再現を模倣することが可能である。
【００３９】
特に、ビデオ復号化ステージ１０８は、入力１１４を入力しているデータストリームから、例えばビデオ符号化ステージ２０によって導入される量子化損失のような符号化損失とは別に、図１のシーケンス３０に対応するフレーム３２´の第２のシーケンス３０´を再現するように構成される。フレーム３２´のサンプル値３４´は、したがって、最終的な再現されたシーケンス１０２のダイナミックレンジより低い第２のダイナミックレンジ４２をカバーする第２のフォーマットにおいて表される。それがビデオ符号化ステージ２０に関するものであったのと同じように、ビデオ復号化ステージ１０８は、参照としてデータストリーム入力１１４を含む、重み付けパラメータによって重み付けされ、オフセット・パラメータによってオフセットされた第２のシーケンス３０´の参照フレームを使用して、第２のシーケンス３０´の現行フレームの重み付けされた時間予測によって再現を実行する。パラメータ・セッター１１０は、同様に、第２のシーケンス３０´の参照フレームおよび現行フレームの重み付けされたパラメータおよびオフセット・パラメータ５０に対するマッピング・パラメータに応じて、第２のシーケンス３０´の現行フレームのためにマッピング・パラメータ１３２を設定するように構成される。サンプル値再現器１１２は、次に、第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定される４０のような第１のダイナミックレンジからの部分の上に第２のダイナミックレンジ４２をマッピングするサンプル値コンバータ１８によって使用される写像関数とは逆の写像関数を用いて、第２のシーケンス３０´のフレーム３２´のサンプル値３４´を第２のフォーマットから第１のフォーマットに変換するように構成される。
【００４０】
0006453832.tif 000007
【００４１】
このように、ビデオ復号化ステージ１０８によって出力されるシーケンス３０´は、符号化側におけるビデオ符号化ステージ２０に入力されるフレーム・シーケンス３０の再現を表す。サンプル値再変換器１１２は、元の資料１２に含まれるダイナミックレンジに適応するためにフレーム３２´のサンプル値を十分なダイナミックレンジを有する一般のフォーマットにマッピングすることによって、このシーケンス３０´を意味があるシーケンス１０２に変換する。このフォーマットは、シーケンス１２のサンプル値１６のフォーマットであるかもしれないが、そこからそれることもある。それぞれのフレーム３２´のサンプル値３４´がカバーするこの一般のダイナミックレンジの中の部分を得るために、サンプル値再変換器１１２は、順次これらのフレーム３２´と関連した重み付け／オフセット・パラメータの連鎖を適用する。特に、現行フレームのために、サンプル値再変換器１１２は、現行フレームの参照フレームに対してすでに決定されている部分の位置および範囲の上に現行フレームのための重み付けおよびオフセット・パラメータを適用することによって、この部分、すなわちその位置および範囲を決定する。この基準によって、サンプル値再変換器１１２は、順次図１に示される部分３８および４８を回復する。
【００４２】
0006453832.tif 000008
【００４３】
図３のパラメータ・セッター１１０が単にサンプル値再変換器１１２に接続されているが、パラメータ・セッターは、それぞれ、サンプル値変換器およびビデオ符号化ステージ２０を制御するために用いられている点にも留意する必要がある。符号化および復号化の間の外見上の相違は、エンコーダのビデオ符号化ステージ２０が自由に重み付け／オフセット・パラメータを選択することができないという前述の事実から生じている。むしろ、それは外側から、すなわち、これらの重み付け／オフセット・パラメータを設定するときに、オリジナルの信号およびその分布４４および４６をそれぞれ考慮しなければならないパラメータ・セッター２２によって規定される。しかしながら、パラメータ・セッター１１０は、入力１１０を経て到着するデータストリームに含まれるサイド情報を介した選択の結果によって導かれ、そして、このように、ビデオ復号化ステージ１０８は、同じ情報、すなわち重み付け／オフセット・パラメータ情報のパラメータ・セッターの評価から独立してデータストリーム内に含まれる重み付け／オフセット・パラメータ情報を用いることができ、したがって、パラメータ・セッター１１０からビデオ復号化ステージ１０８に導かれるコントロール・パスは必要ない。しかしながら、別の実施例によれば、パラメータ・セッター１１０は、ビデオ復号化ステージ１０８の設定およびコントロールの両方に対して、すなわち外側から責任を負うものと考えられる。後者の場合、コントロール・パスは、パラメータ・セッター１１０からビデオ復号化ステージ１０８まで通じる。
【００４４】
0006453832.tif 000009
【００４５】
0006453832.tif 000010
【００４６】
さらに、上述の説明と同様にビデオ復号化ステージ１０８はフレームの第２のシーケンスを再現する際の量子化ステップ・サイズ・パラメータを使用するように構成されることができ、そして、パラメータ・セッターは、第２のシーケンスのそれぞれのフレームのために設定されているように、第１のダイナミックレンジからの部分の長さに応じて第２のシーケンスのフレームのための量子化ステップ・サイズ・パラメータを設定するように構成される。この点に関しては、パラメータ・セッター１１０は、第２のシーケンスの始まっているフレームの量子化ステップ・サイズ・パラメータと区別してデータストリームから量子化ステップ・サイズ・パラメータを復号化するように構成されることができる。
【００４７】
上述のように、第１のシーケンスのフレームのサンプル値は、輝度浮動小数点値であるとみなされ、ｌｕｍａの第２のシーケンスのフレームのサンプル値が整数値であると仮定され、他の可能性も存在する。
【００４８】
図５は、図１〜４に関して上で概説される実施例に従って符号化側から復号化側に送信されているデータストリームの典型的な部分を示す。データストリーム１５０がフレームの第１のシーケンス１０２を有し、そのサンプル値が、再現可能なフォームでそこに符号化される第１のダイナミックレンジをカバーする第１のフォーマットに示されることは、上述の説明から続く。特に、第１のシーケンスは、そのサンプル値が第１のダイナミックレンジより低い第２のダイナミックレンジ４２をカバーする第２のフォーマットに示されるフレーム３２の第２のシーケンス３０を介して間接的にデータストリーム１５０に符号化され、第２のシーケンスは例として重み付けパラメータによって重み付けされオフセット・パラメータによってオフセットされる第２のシーケンス３０´の第２のフレームを用いて第２のシーケンス３０´の第１のフレームの重み付けされた時間予測によりデータストリームに符号化され、重み付けパラメータおよびオフセット・パラメータは、第２のシーケンス３０´の第１のフレームのためのマッピング・パラメータ１３２が第２のシーケンス３０´の第２のフレームのためのマッピング・パラメータに依存するようにデータストリームを含み、重み付けパラメータおよびオフセット・パラメータ、および第２のシーケンスのフレーム３２´のサンプル値３４´が第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定される第１のダイナミックレンジ４０からの部分の上に第２のダイナミックレンジ４２をマッピングする写像関数を用いて第２のフォーマットから第１のフォーマットに変換され、第１のシーケンスを再現する。換言すれば、データストリームは、各々フレーム３０´および１０４のそれぞれの１つと関連したフレーム部分１５２に構成されることができる。各フレーム３０´は、ブロック単位でデータストリーム１５０に符号化されることができる。各フレーム部分１５２は、例えば、運動ベクトルを含む運動予測データ１５４を含むことができる。さらに、各フレーム部分１５２データは、それぞれの要求において、重み付けおよびオフセット・パラメータ５０を含むことができる。各フレーム部分の運動予測データ１５４が時間ｔにおいて前のフレーム部分、すなわち、提示された時間軸に沿ってフレーム部分１５２を配置するときにすぐに戻ることができるように、データストリームは符号化されることができる。すなわち、各フレームは参照フレームとして直前のフレームを使用しているＰフレームでもよく、一般のダイナミックレンジ４０からの部分はこの依存チェーンを使用して更新されることができる。単に、全体として最初の、すなわち、フレーム・シーケンスの出発時のフレーム１５８は、各ＧＯＰ、すなわち（直前の）画像のグループのＩフレームまたは最初のフレームである。この最初のフレーム１５８は、第１のフレーム１５８のためのマッピング・パラメータの明確な符号化１６０を組み込むことができた。あるいは、この明確な符号化１６０でさえ、不必要であるかもしれない。さらに、各フレーム１５２または最初のフレーム１５８以外の各フレーム１５２は、そこにおいて、残差再現器１１８における反量子化に用いられ、部��３８の長さの依存を設定する量子化ステップ・サイズを規定する量子化ステップ・サイズ・パラメータ１６２を符号化することができた。特に、量子化ステップ・サイズ・パラメータ１６２は、参照として最初のフレーム部分１５８の（明確に、または、暗に決定された）量子化ステップ・サイズ・パラメータを使用する異なる方法でデータストリームに符号化されることができた。
【００４９】
むしろ一般の条件を用いて、符号化および復号化装置のための実施例を記載した後に、前記実施例の具体的な実施態様を表しているより詳細な実施例が以下において概説される。以下において概説される具体的な実施の詳細によれば、フレーム的な適応する輝度からｌｕｍａへのマッピングは、それぞれ、ビデオ復号化／符号化ステージおよびサンプル値再変換／変換との間の移行を実行するために用いられる。以下で概説される実施例によれば、Ｈ．２６４／ＡＶＣの重み付け予測ツールは、時間的コヒーレンスを維持するために活用される。換言すれば、以下に述べる実施例によれば、Ｈ．２６４のような実施例におけるビデオ符号化ステージおよびビデオ復号化ステージは実際に存在し、すなわち、ビデオ符号化ステージ２０はＨ．２６４に従ったデータストリームを生成し、ビデオ復号化ステージ１０８はＨ．２６４／ＡＶＣ規格に従って実施される。図５のデータストリームは、完全にＨ．２６４／ＡＶＣに合致する。重み付け予測ツールは、このように、時間的コヒーレンスを維持するために利用されるだけでなく、サンプル値変換のために用いられる適応マッピング・パラメータを送信する。さらに、実施例は、量子化パラメータ（ＱＰ）を適応マッピングに依存している各フレームに適応させる方法に関して示される。
【００５０】
このように、以下において、図１〜５の概略の実施例について、数学的方程式を用いてより詳細に説明される。その後、セクション２において、これらの実施の詳細を使用している実験の結果が提示される。
【００５１】
0006453832.tif 000011
【００５２】
明らかに、マッピングは、それぞれ、ＹminおよびＹmaxが現在のビデオフレームの最小限および最大限の輝度に等しいとき最も高い忠実度を達成する。すなわち、ビデオフレームの既存の輝度の値が十分にマッピングされる場合、ｌｕｍａは最も急な可能な傾斜を有する写像関数によって変動する。しかしながら、ダイナミックレンジが１つのフレームから次（静的場面においても、ノイズにより）まで変化することができるので、この種の直接の適合はビデオ・シーケンスの時間的コヒーレンスを壊して、効果的な時間的予測を防止する。次の部門は、この種の効果を考慮に入れる適応マッピングを提示する。
【００５３】
0006453832.tif 000012
【００５４】
0006453832.tif 000013
【００５５】
0006453832.tif 000014
【００５６】
0006453832.tif 000015
【００５７】
0006453832.tif 000016
【００５８】
0006453832.tif 000017
【００５９】
0006453832.tif 000018
【００６０】
2．実験の結果
第１節の時間的コヒーレントな輝度からｌｕｍａへのマッピングを評価するために、我々は、３つのＨＤＲ試験シーケンスの符号化実験を行った。パノラマ、トンネルおよび太陽である。すべてのシーケンスは、６４０×４８０ピクセルの解像度と３０ｆｐｓのフレームレートを有する。パノラマ試験シーケンスは、８０００×４０００ピクセルＨＤＲパノラマイメージをパンすることによって生成された。ウインドウの外側からの非常に明るい太陽反射と同様に暗い内部域が示される。その全体のダイナミックレンジは、１０10：１の割合である。両方とも、トンネルおよび太陽は、ＨＤＲビデオ・カメラを有する駆動車内部からとられたものであり、それはマックス−プランク研究所［８］から入手可能である。前者は暗いトンネル内のドライブを示し、後者は明るい太陽に向かっているハイウェイ上のドライブを示す。これらのシーケンスにおいて表される全体のダイナミックレンジは、それぞれ、１０5：１および１０7：１である。我々の実験において、我々は、復号化ＨＤＲビデオの品質を評価するために、２つの測定基準を使用する。ＨＤＲ可視差予測器（ＶＤＰ）［９］および知覚的に同一のピークの信号対雑音比（ＰＵ  ＰＳＮＲ）［１０］である。前者は、看者が７５％以上の確率をもって異なるものと気付く一対の画像のピクセルのパーセンテージを推定する。後者の測定基準は、ＨＤＲに対する一般のＰＳＮＲ測定基準の直接の拡張である。ＬＤＲ画像のために、ガンマ補正ピクセル・コード値が知覚的均一、すなわち等しいエラーの大きさがイメージの明暗部分において等しく見える値であると仮定される。しかしながら、この仮定はＨＤＲイメージを保たず、従って、意味があるＰＳＮＲ値が計算されることができる前に、コード値は知覚的に同一の空間に拡大・縮小されなければならない［１０］。
【００６１】
シーケンスを符号化するために、それらは、最初にＲＧＢ浮動小数点値からＬｏｇＬｕｖ空間に変換されて、それからＨ．２６４／ＡＶＣ参照ソフトウェアＪＭ  １７．２を用いて符号化される。ｌｕｍａ成分は１２ビット／サンプルのビット深度で符号化され、ｕ´およびｖ´成分は２つの垂直におよび水平に副サンプルをとられて、８ビット／サンプルで符号化される。我々は、全ての実験に対して可能な、８×８変換、ＩＰＰＰ  ＧＯＰ構造、１５のイントラ・フレーム期間、およびＣＡＢＡＣと同じＨ．２６４／ＡＶＣの構成を使用する。固定参照ＱＰは各エンコーダの実行のために選択され、そして、レートコントロールは可能にされない。しかしながら、フレーム的なＱＰは、セクション１．３において説明したように、この参照ＱＰから逸脱することができる。シーケンスを復号化した後に、それらはＲＧＢ浮動小数点値へ戻ってマッピングされ、それらの品質は前に記載されている測定基準に従って評価される。
【００６２】
特に、図７は、セクション１（「計画される」）、時間的コヒーレンスのない各フレームに対するフレーム的な適合（「フレーム的な」）［６］、および全部の視覚の輝度範囲のコンスタントなマッピング［１０-4、１０8］（「視覚範囲」）の３つのケースについて符号化の結果を示す。上の列：可視差予測器（ＶＤＰ）。下の列：知覚的に同一のピークの信号−ノイズ比（ＰＵ  ＰＳＮＲ）。
【００６３】
図７は、すべての復号化フレーム（上の列）を通じて平均化されたＶＤＰに関して、そして、輝度成分（下の列）の平均ＰＵ  ＰＳＮＲに関して、すべての試験シーケンスについての符号化結果を示す。特に、図７は、時間的コヒーレント・マッピング（「計画される」）、時間的コヒーレンスのない各フレームｗ／ｏのためのフレーム的な適合（「フレーム的な」）［６］、および全ての視覚の輝度範囲［１０-4、１０8］（「視界」）の恒常的なマッピング３つのケースのための符号化結果を示す。上の列：可視差予測器（ＶＤＰ）。下の列：知覚的に同一のピークの信号対ノイズ比（ＰＵ  ＰＳＮＲ）。
【００６４】
計画された方法（「計画される」）は、図７における２つの参照方法と比較され、それは、時間的コヒーレンス（「フレーム的な」）を考慮することのない各フレームのダイナミックレンジに対する輝度に対するｌｕｍａのマッピングの直接のフレーム的な適合［６］、および全部の知覚できる輝度範囲［１０-4、１０8］（「視界」）の恒常的なマッピングである。後者の場合、写像関数の輝度範囲は、多くのＨＤＲビデオ・シーケンスにおいて発生している輝度の範囲を超えているかもしれない。しかしながら、リアルタイム符号化アプリケーションにおいて、シーケンスの絶対の輝度範囲に対してマッピング範囲を狭くすることは可能でない。なぜならば、これは符号化の前に全部のシーケンスの処理を必要とするからである。図７は、全ての試験シーケンスについて、提案されたマッピングが著しく参照方法より優れていることを明らかに示している。ＶＤＰ測定基準は、ピクセルが間違っているかどうかを把握しているかどうかについての見込みを提供するだけである閾値測定基準であることに注目すべきである。それは、このエラーが看者のためにどれくらい面倒かについて告示しない。このように、例えば、図７（ａ）の結果は、以下の通りに解釈されることができる。我々によってピクセルの約１％が誤って認められることができる場合、提案されたマッピングについては、我々は２５００ｋｂｉｔｓ／ｓ未満のビット・レートを必要とするだけである。これは、我々が同じＶＤＰ値を「視界」（「フレーム的な」）シナリオにおいて成し遂げるために費やさなければならない５０００ｋｂｉｔｓ／ｓ（３２５０ｋｂｉｔｓ／ｓ）と比較した約５０％（２５％）の減少である。同様に、大きな節約は、図７（ｂ）および（ｃ）のトンネルおよび太陽試験シーケンスのために観察されることができる。
【００６５】
予想通りに、ＰＵ  ＰＳＮＲは、全てのシーケンスに対してＶＤＰ結果と同様に類似の定量的特性を表現する図７（ｄ）−（ｆ）の結果となる。さらに、それらは、ビット・レートのかなりの範囲のための提案された方法によって成し遂げられることができる品質の増加の定量的結果を許容する。たとえば、パノラマ・シーケンスに対して、提案された方法のＰＵ  ＰＳＮＲ値は、３２５０ｋｂｉｔｓ／ｓ（参照図７（ｄ））での３ｄＢによる「視界」マッピングのＰＵ  ＰＳＮＲ値を上回る。これは、知覚的に同一の輝度空間における平均二乗エラーが同じビット・レートで半分にされ、そして、視覚の品質が著しく増加することを意味する。
【００６６】
それは、パノラマ・シーケンスのために、フレーム的な適応マッピングが非適応「視界」マッピングと比較して符号化効率の上で非常に有害な影響を及ぼす点に考慮する必要がある。このシーケンスはそのダイナミックレンジの非常に大きいおよび速いバリエーションを呈し、従って、フレーム的な適応マッピングの場合、時間予測は失敗する（図７（ａ）（ｄ）参照）。一方において、（ｅ）ほぼ「フレーム的な」マッピングと同一の提案された方法が図７（ｂ）および（ｃ）において観察されることができる。このシーケンスにおいて、ダイナミックレンジの時間的変更は、非常に滑らかである。我々の実験において、我々は、ダイナミックレンジが著しく変化するときはいつでも、「フレーム的な」マッピングのために、ビット・レートおよび品質の強い時間的バリエーションが存在すると更に述べた。この負の効果は、提案された方法の時間的に整合的コヒーレントおよびマッピングによって避けることができる。
【００６７】
3．結論
セクション１において、最新技術のＨ．２６４／ＡＶＣビデオ符号化基準を有する浮動小数点の高さのダイナミックレンジ・ビデオデータの圧縮を可能にする輝度からｌｕｍａへのマッピングが提案された。他の方法とは異なり、マッピングは、各フレームのダイナミックレンジに適合している。それにもかかわらず、Ｈ．２６４／ＡＶＣの重み付けされた予測ツールを利用することにより、そして、写像関数に従って量子化パラメータのフレーム的な適合を適用することによって、時間的コヒーレンスは維持されている。付加的なサイド情報は不要であり、非適応方法と比較した５０％以上の重要なビット・レート節減は同じ品質で観察されることができる。
【００６８】
0006453832.tif 000019
【００６９】
さらに、すでに上述したように、輝度に対するｌｕｍａへのマッピングの代わりに、他のマッピングは上で概説される実施例の主題でありえた。換言すれば、サンプル値は、輝度以外の情報に関係することができる。さらに、図２および図４のビデオ符号化ステージ２０およびビデオ復号化ステージ１０８は、単に図示する特質としてだけ理解されることになっている。たとえば、残差信号８８をエントロピー符号化することに関与するエントロピー符号器６２が中止され、同様に、エントロピー復号器１２９は、入力１２８および図４のビデオ復号化ステージ１０８の残差再現器１１８の間にそれを任意に接続することができる。
【００７０】
若干の態様が装置の文脈に記載されたが、これらの態様も対応する方法の説明を表すことは明らかであり、そこにおいて、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップの文脈に記載されている態様は、対応する装置の対応するブロックまたは部材または特徴の説明を表す。いくらかのまたは全てのステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路などのハードウェア装置によって（または用いて）実行される。いくつかの実施形態において、最も重要な方法ステップの若干または一つ以上は、この種の装置によって実行されることができる。
【００７１】
発明のデータストリームは、デジタル記憶媒体に保存されることができるか、またはインターネットなどの無線伝送媒体または有線の伝送媒体のような伝送媒体上で送信されることができる。
【００７２】
特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施されることができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフレキシブルディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行されることができ、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、計算機可読であってもよい。
【００７３】
本発明による若干の実施例は、電子的に読み込み可能な制御信号を有するデータキャリアを含み、本願明細書において記載されている方法のうちの１つが実行されるように、それはプログラム可能なコンピュータシステムと協働することができる。
【００７４】
通常、本発明の実施例はプログラムコードを有するコンピュータ・プログラム製品として実施されることができ、コンピュータ・プログラム製品がコンピュータで動くときに、プログラムコードが方法のうちの１つを実行するために実施される。プログラムコードは、機械読み取り可読キャリアに例えば格納されることができる。
【００７５】
他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。
【００７６】
換言すれば、発明の方法の実施例は、従って、コンピュータ・プログラムがコンピュータで動くとき、本願明細書において記載されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。
【００７７】
発明の方法の更なる実施例は、従って、その上に記録されて、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形および／または変化しないものである。
【００７８】
発明の方法の更なる実施例は、従って、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を経て、例えばインターネットで転送されるように例えば構成されることができる。
【００７９】
更なる実施例は、ここに記載された方法の１つを実行し、または適応させるように構成された処理手段、例えばコンピュータまたはプログラム可能な論理装置を含む。
【００８０】
更なる実施例は、ここに記載されている方法のうちの１つを実行するためのコンピュータ・プログラムをインストールしたコンピュータを含む。
【００８１】
本発明による更なる実施例は、レシーバに本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを移す（例えば、電子的に、または、光学的に）ように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等であってもよい。装置またはシステムは、例えば、コンピュータ・プログラムをレシーバに移動するためのファイル・サーバを含む。
【００８２】
いくつかの実施形態において、プログラマブル論理装置（例えばフィールド・プログラマブル・ゲート・アレイ）は、本願明細書において記載されている方法の機能のいくらかまたは全てを実行するために用いることができる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本願明細書において記載されている方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。
【００８３】
上記した実施例は、本発明の原理のために、単に図示されているだけである。配置の修正変更および本願明細書において記載されている詳細は、他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって制限され、本願明細書において実施例の説明および説明として示される具体的な詳細だけで制限されないことが意図されている。
【００８４】
他の語においてさえ、高いダイナミックレンジ・ビデオ（ＨＤＲ）シーケンスの効果的な圧縮に適している実施例は、記載されていた。Ｈ．２６４／ＡＶＣビデオ符号化基準と互換性を持つ符号化表現を得るために、浮動小数点ＨＤＲ値は、適切な整数表現にマッピングされる。使用されるマッピングは、各ビデオフレームのダイナミックレンジに適している。さらに、フレーム全体の関連する動的なコントラスト変化を補償するために、重み付け予測方法および量子化適応が導入される。
【００８５】
他の観点から、前記実施例はまた、ＥＰ１０１５１０７４．１に記載されているＡｄａｐｔｉｖｅ−ＬｏｇＬｕｖ変換の改良であり、その説明はさらに詳しくするために組み込まれている。基本的に、ＥＰ１０１５１０７４．１のそれと類似の整数値に対するフロートの適応対数関数的マッピングが、用いられた。しかしながら、このマッピングのパラメータは、完全に自由ではない。その代わりに、それらは、前記実施例に従って、Ｈ．２６４／ＡＶＣビデオ・コーデックの特徴および特にＨ．２６４／ＡＶＣの重み付け予測（ＷＰ）ツールに合うために制限される。これらの規制については、以下の利点が得られた。（１）ＷＰツールは、時間的コヒーレンスを確実にするために用いることができる。（２）ＷＰのためのＨ．２６４／ＡＶＣ構文はＬｏｇＬｕｖマッピングのパラメータを示すために用いることができ、付加的なサイド情報の必要を取り除く。前記説明において、どのように適応マッピングに依存しているＨ．２６４／ＡＶＣコーダーの量子化パラメータを適応させるべきかが示された。
【００８６】
参照
[1] Eric Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2005
[2] J. A. Ferwerda, "Elements of early vision for computer graphics," IEEE Comp. Graph. and Appl., vol. 21, no.5, pp.22-33, 2001
[3] Gregory Ward Larson, "The Logluv encoding for full gamut, highdynamic range images," Journal of Graph. Tools. Vol.3, no, 1, pp.15-31, 1998
[4] Rafal Mantiuk, Grzegorz, Krawczyk, Karol Myszkowski, and Hans-Peter Seidel,"Perception-motivated high dynamic range video encoding" ACM Trans. Graph., vol.23, no,3,pp.733-741,2004
[5] Masahiro Okuda and Nicola Adami, "Effictive color space representation for wavelet based compression of HDR images," in International Conference on Image Analysis and Processing, 2007,pp.388-392
[6] Ajit Motra and Herbert Thoma, "An adaptive LogLuv transform for high dynamic range video compression," in Proc. Intl. Conf. on Image Processing (ICIP), Hong Kong, China, Sept.2010
[7] J.M. Boyce, "Weighted prediction in the H.264/MPEG AVC video coding standard," in Proc. Intl. Symposium on Circuits and Systems (ISCAS), May 2004,pp.789-792
[8] Grzegorz Krawczy, "HDR video environment maps samples," HYPERLINK "http://www.mpi-inf.mpg.de/resources/bdr/video/, MPI" http://www.mpi-inf.mpg.de/resources/bdr/video/,MPI
[9] Rafal Mantiuk, Scot Daly, Karol Myszkowski, and Hans-Peter Seidel, "Predicting visible differences in high dynamic range images−model and its calibration," in SPIE Human Vision and Electronic Imaging X, 2005.
[10] TunC, Ozan Aydm, Rafal Mantiuk, and Hans−Peter Seidel, "Extending quality metrics to full dynamic range images," inSPIE Human Vision and Electronic Imaging XIII, San Jose, USA,Jan.2008
【図１】
0006453832.tif 000022
【図２】
0006453832.tif 000023
【図３】
0006453832.tif 000024
【図４】
0006453832.tif 000025
【図５】
0006453832.tif 000026
【図６】
0006453832.tif 000027
【図７】
0006453832.tif 000028