(57)【要約】ビット深度がスケーラブルであるデータストリームの効率を高めるために、ピクチャ又はビデオ元データにおいて一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を第１の粒度よりも細かい第２の粒度で局所的に修正するローカルマッピング関数とを使用し、第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現のサンプルを、第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度に対応し第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングすることによって、層間の予測が得られ、品質スケーラブルなデータストリームが、ローカルマッピング関数にもとづいて、該ローカルマッピング関数を該品質スケーラブルなデータストリームから導出できるように形成される。【選択図】  図１
2011517245.tif 000002
【特許請求の範囲】
【請求項１】
ピクチャ又はビデオ元データ（１６０）を品質スケーラブルなデータストリーム（１１２）へエンコードするためのエンコーダであって、
ピクチャ又はビデオ元データ（１６０）を、第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現を表わしているベースエンコーディングデータストリームへエンコードするためのベースエンコーディング手段（１０２）、
ピクチャ又はビデオ元データ（１６０）において一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を前記第１の粒度よりも細かい第２の粒度で局所的に修正するローカルマッピング関数とを使用することによって、前記第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データ（１６０）の表現のサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングし、前記第２のピクチャサンプルビット深度を有するピクチャ又はビデオ元データの予測を得るためのマッピング手段（１０４）、
前記予測の予測残差をビット深度向上層データストリームへエンコードするための残差エンコーディング手段（１０６）、及び
前記ベースエンコーディングデータストリーム、前記ローカルマッピング関数、及び前記ビット深度向上層データストリームにもとづいて品質スケーラブルなデータストリームを、前記ローカルマッピング関数を該品質スケーラブルなデータストリームから導出できるように形成するための結合手段（１０８）、
を備えているエンコーダ。
【請求項２】
前記マッピング手段は、前記ベースエンコーディングデータストリームにもとづく前記第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現として、低ビット深度再現のピクチャ又はビデオを再現するための手段（１２４、１２６、１２８、１３０、１３２）を備えており、該低ビット深度再現のピクチャ又はビデオが、前記第１のピクチャサンプルビット深度を有している請求項１に記載のエンコーダ。
【請求項３】
前記マッピング手段（１０４）は、前記１つ以上のグローバルマッピング関数のうちの１つと前記ローカルマッピング関数との算術的な組み合わせである複合マッピング関数を使用することによって、前記第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データ（１６０）の表現のサンプルをマッピングするように構成されている請求項１又は２に記載のエンコーダ。
【請求項４】
２つ以上のグローバルマッピング関数が前記マッピング手段（１０４）によって使用され、前記結合手段（１０８）は、前記品質スケーラブルなデータストリーム（１１２）を、前記２つ以上のグローバルマッピング関数のうちの１つを該品質スケーラブルなデータストリームから導出できるように形成する請求項３に記載のエンコーダ。  
【請求項５】
前記算術的な組み合わせが加算操作を含んでいる請求項３又は４に記載のエンコーダ。
【請求項６】
前記結合手段（１０８）及び前記マッピング手段（１０４）はピクチャ又はビデオ元データ（１６０）を第２の粒度で複数のピクチャブロック（１７０）へ分割するように構成され、
前記マッピング手段は、前記ローカルマッピング関数がｍ・ｓ＋ｎであって、ｍ及びｎが前記第２の粒度で変化するように構成され、
前記結合手段は、ｍ及びｎが前記複数のピクチャブロックの間で相違してもよいように、ピクチャ又はビデオ元データ（１６０）の各々のピクチャブロック（１７０）についてｍ及びｎが前記品質スケーラブルなデータストリームにおいて定められるように構成されている請求項１から５のいずれか一項に記載のエンコーダ。
【請求項７】
前記マッピング手段（１３４）は、前記第２の粒度がピクチャ又はビデオ元データ（１６０）において変化するように構成されており、前記結合手段（１０８）が、該第２の粒度も前記品質スケーラブルなデータストリームから導出できるように構成されている請求項１から６のいずれか一項に記載のエンコーダ。
【請求項８】
前記結合手段（１０８）及び前記マッピング手段（１３４）は、ピクチャ又はビデオ元データ（１６０）を第２の粒度で複数のピクチャブロック（１７０）へ分割するように構成され、
前記結合手段（１０８）は各々のピクチャブロック（１７０）についてローカルマッピング関数の残差（Δｍ、Δｎ）が前記品質スケーラブルなデータストリーム（１１２）へ取り入れられるように構成されており、
ピクチャ又はビデオ元データ（１６０）の所定のピクチャブロックのローカルマッピング関数は、１つ以上の隣接ピクチャブロック、又は所定のピクチャブロックが属するピクチャに先立つピクチャもしくはビデオ元データのピクチャの対応するピクチャブロックからの空間的及び／又は時間的な予測と、該所定のピクチャブロックの前記ローカルマッピング関数の残差とを使用することによって、前記品質スケーラブルなデータストリームから導出することができる請求項１から７のいずれか一項に記載のエンコーダ。
【請求項９】
前記結合手段（１０８）は、前記１つ以上のグローバルマッピング関数のうちの少なくとも１つも前記品質スケーラブルなデータストリームから導出可能であるように構成されている請求項１から８のいずれか一項に記載のエンコーダ。
【請求項１０】
前記ベースエンコーディング手段（１０２）は、
ピクチャを前記第２のピクチャサンプルビット深度で表わしているサンプルを、前記第２のダイナミックレンジから前記第１のピクチャサンプルビット深度に対応する前記第１のダイナミックレンジへマッピングし、品質低下ピクチャを得るための手段（１１６）、及び
前記品質低下ピクチャをエンコードして、前記ベースエンコーディングデータストリームを得るための手段（１１８、１２０、１２２、１２４、１２６、１２８、１３０）、
を備えている請求項１から９のいずれか一項に記載のエンコーダ。
【請求項１１】
ピクチャ又はビデオ元データがエンコードされており、ピクチャ又はビデオ元データを第１のピクチャサンプルビット深度で表わしているベース層データストリームと、予測残差を前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度で表わしているビット深度向上層データストリームと、第２の粒度で定められたローカルマッピング関数とを含んでいる品質スケーラブルなデータストリームをデコードするためのデコーダであって、
前記ベース層データストリームを、低いビット深度の再現されたピクチャ又はビデオデータへデコードするための手段（２０４）、
前記ビット深度向上層データストリームを前記予測残差へデコードするための手段（２０８）、
ビデオにおいて一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を前記第１の粒度よりも細かい前記第２の粒度で局所的に修正するローカルマッピング関数とを使用することによって、前記第１のピクチャサンプルビット深度を有する前記低いビット深度の再現されたピクチャ又はビデオデータのサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングし、前記第２のピクチャサンプルビット深度を有するピクチャ又はビデオ元データの予測を得るための手段（２０６）、及び
前記予測及び前記予測残差にもとづいて前記第２のピクチャサンプルビット深度でピクチャを再現するための手段（２１０）、
を備えているデコーダ。
【請求項１２】
前記マッピングする手段（２０６）は、前記１つ以上のグローバルマッピング関数のうちの１つと前記ローカルマッピング関数との算術的な組み合わせである複合マッピング関数を使用することによって、前記第１のピクチャサンプルビット深度を有する前記低いビット深度の再現されたピクチャ又はビデオデータのサンプルをマッピングするように構成されている請求項１１に記載のデコーダ。
【請求項１３】
前記マッピングする手段（２０６）によって２つ以上のグローバルマッピング関数が使用され、前記ビット深度向上データストリームをデコードするための手段（２０８）は、前記２つ以上のグローバルマッピング関数のうちの１つを前記ビット深度向上データストリームから特定するように構成されている請求項１２に記載のデコーダ。  
【請求項１４】
前記算術的な組み合わせが加算操作を含んでいる請求項１２又は１３に記載のデコーダ。
【請求項１５】
前記ビット深度向上データストリームをデコードするための手段（２０８）及び前記マッピングする手段（１０４）はピクチャ又はビデオ元データ（１６０）を第２の粒度で複数のピクチャブロック（１７０）へ分割するように構成され、
前記マッピングする手段（２０６）は、前記ローカルマッピング関数がｍ・ｓ＋ｎであって、ｍ及びｎが前記第２の粒度で変化するように構成され、
前記ビット深度向上データストリームをデコードするための手段（２０８）は、ｍ及びｎが前記複数のピクチャブロックの間で相違してもよいように、ピクチャ又はビデオ元データ（１６０）の各々のピクチャブロック（１７０）について、ｍ及びｎを前記ビット深度向上データストリームから導出するように構成されている請求項１１から１４のいずれか一項に記載のデコーダ。
【請求項１６】
前記マッピングする手段（２０６）は、前記第２の粒度がピクチャ又はビデオ元データ（１６０）において変化するように構成されており、前記ビット深度向上データストリームをデコードするための手段（２０８）は、該第２の粒度を前記ビット深度向上データストリームから導出できるように構成されている請求項１１から１５のいずれか一項に記載のデコーダ。
【請求項１７】
前記ビット深度向上データストリームをデコードするための手段（２０８）及び前記マッピングする手段（２０６）は、ピクチャ又はビデオ元データ（１６０）を第２の粒度で複数のピクチャブロック（１７０）へ分割するように構成され、
前記ビット深度向上データストリームをデコードするための手段（２０８）は、各々のピクチャブロック（１７０）について前記ビット深度向上データストリームからローカルマッピング関数の残差（Δｍ、Δｎ）を導出するとともに、１つ以上の隣接ピクチャブロック、又は所定のピクチャブロックが属するピクチャに先立つピクチャもしくはビデオ元データのピクチャの対応するピクチャブロックからの空間的及び／又は時間的な予測と、該所定のピクチャブロックの前記ローカルマッピング関数の残差とを使用することによって、ピクチャ又はビデオ元データ（１６０）の所定のピクチャブロックのローカルマッピング関数を導出するように構成されている請求項１１から１６のいずれか一項に記載のデコーダ。
【請求項１８】
前記マッピングする手段（２０６）は、前記１つ以上のグローバルマッピング関数のうちの少なくとも１つが非線形であるように構成されている請求項１１から１７のいずれか一項に記載のデコーダ。
【請求項１９】
前記ビット深度向上データストリームをデコードするための手段（２０８）は、前記１つ以上のグローバルマッピング関数のうちの少なくとも１つを前記ビット深度向上データストリームから導出するように構成されている請求項１１から１８のいずれか一項に記載のデコーダ。
【請求項２０】
前記マッピングする手段（２０６）は、前記グローバルマッピング関数のうちの少なくとも１つが、
２M-N-Kｘ＋２M-1−２N-1-K（ここで、ｘは前記第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現のサンプルであり、Ｎは前記第１のピクチャサンプルビット深度であり、Ｍは前記第２のピクチャサンプルビット深度であり、Ｋはマッピングパラメータである。）、
２M-N-Kｘ＋Ｄ（ここで、Ｎは前記第１のピクチャサンプルビット深度であり、Ｍは前記第２のピクチャサンプルビット深度であり、Ｋ及びＤはマッピングパラメータである。）、
ｆｌｏｏｒ（２M-N-Kｘ＋２M-2N-Kｘ＋Ｄ）（ここで、ｆｌｏｏｒ（ａ）はａの最も近い整数への丸めであり、Ｎは前記第１のピクチャサンプルビット深度であり、Ｍは前記第２のピクチャサンプルビット深度であり、Ｋ及びＤはマッピングパラメータである。）、
区分的な線形マッピングを定める補間点情報によって前記第１のダイナミックレンジからのサンプルを前記第２のダイナミックレンジへマッピングするための区分的な線形関数、又は
前記第１のダイナミックレンジからのサンプルがインデックスとして使用され、該インデックスにもとづいて前記第２のダイナミックレンジのサンプルを出力する参照テーブル、
として定められるように構成されている請求項１１から１９のいずれか一項に記載のデコーダ。
【請求項２１】
前記ビット深度向上データストリームをデコードするための手段（２０８）は、前記マッピングパラメータ（単数又は複数）、補間点情報、又は参照テーブルを、前記ビット深度向上データストリームから導出するように構成されている請求項２０に記載のエンコーダ。
【請求項２２】
ピクチャ又はビデオ元データ（１６０）を品質スケーラブルなデータストリーム（１１２）へエンコードするための方法であって、
ピクチャ又はビデオ元データ（１６０）を、第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現を表わしているベースエンコーディングデータストリームへエンコードすること、
ピクチャ又はビデオ元データ（１６０）において一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を前記第１の粒度よりも細かい第２の粒度で局所的に修正するローカルマッピング関数とを使用することによって、前記第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データ（１６０）の表現のサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングし、前記第２のピクチャサンプルビット深度を有するピクチャ又はビデオ元データの予測を得ること、
前記予測の予測残差をビット深度向上層データストリームへエンコードすること、及び
前記ベースエンコーディングデータストリーム、前記ローカルマッピング関数、及び前記ビット深度向上層データストリームにもとづいて品質スケーラブルなデータストリームを、前記ローカルマッピング関数を該品質スケーラブルなデータストリームから導出できるように形成すること、
を含んでいる方法。
【請求項２３】
ピクチャ又はビデオ元データがエンコードされており、ピクチャ又はビデオ元データを第１のピクチャサンプルビット深度で表わしているベース層データストリームと、予測残差を前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度で表わしているビット深度向上層データストリームと、第２の粒度で定められたローカルマッピング関数とを含んでいる品質スケーラブルなデータストリームをデコードするための方法であって、
前記ベース層データストリームを、低いビット深度の再現されたピクチャ又はビデオデータへデコードすること、
前記ビット深度向上層データストリームを前記予測残差へデコードすること、
ビデオにおいて一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を前記第１の粒度よりも細かい前記第２の粒度で局所的に修正するローカルマッピング関数とを使用することによって、前記第１のピクチャサンプルビット深度を有する前記低いビット深度の再現されたピクチャ又はビデオデータのサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングし、前記第２のピクチャサンプルビット深度を有するピクチャ又はビデオ元データの予測を得ること、及び
前記予測及び前記予測残差にもとづいて前記第２のピクチャサンプルビット深度でピクチャを再現すること、
を含んでいる方法。
【請求項２４】
ピクチャ又はビデオ元データがエンコードされている品質スケーラブルなデータストリームであって、
ピクチャ又はビデオ元データを第１のピクチャサンプルビット深度で表わしているベース層データストリームと、
予測残差を前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度で表わしているビット深度向上層データストリームと、
第２の粒度で定められたローカルマッピング関数と、
を含んでおり、
ビデオにおいて一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、該１つ以上のグローバルマッピング関数を前記第１の粒度よりも細かい前記第２の粒度で局所的に修正するローカルマッピング関数とを使用することによって、前記予測残差と、前記第１のピクチャサンプルビット深度を有する前記低いビット深度の再現されたピクチャ又はビデオデータのサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングすることによって得られる予測とから、前記第２のピクチャサンプルビット深度でのピクチャの再現を導出することが可能である品質スケーラブルなデータストリーム。
【請求項２５】
コンピュータ上で動作するときに請求項２２又は２３に記載の方法を実行するためのプログラムコードを有しているコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ピクチャ及び／又はビデオのコーディングに関し、特に品質スケーラブルなデータストリームを使用してビット深度スケーラビリティを可能にする品質スケーラブルなコーディングに関する。
【背景技術】
【０００２】
最近になって、ＩＳＯ／ＩＥＣのムービングピクチャエキスパートグループ（ＭＰＥＧ）及びＩＴＵ−Ｔのビデオコーディングエキスパートグループ（ＶＣＥＧ）のジョイントビデオチーム（ＪＶＴ）が、スケーラブルビデオコーディング（ＳＶＣ）と呼ばれる技術水準のビデオコーディング規格Ｈ．２６４／ＡＶＣのスケーラブルな拡張をまとめた。ＳＶＣは、ビデオシーケンスについて、時間、空間、及びＳＮＲに関してスケーラブルなコーディング、又はこれらの任意の組み合わせをサポートする。
【０００３】
ITU-T Rec. & ISO/IEC 14496-10 AVC、「Advanced Video Coding for Generic Audiovisual Services,」、version 3、2005に記載のように、Ｈ．２６４／ＡＶＣは、マクロブロック予測信号が動き補償予測によって時間ドメインにおいて生成され、又はイントラ予測によって空間ドメインにおいて生成され、両方の予測の後で残差コーディングが行われるハイブリッドビデオコーデックを指定している。スケーラビリティの拡張を有しないＨ．２６４／ＡＶＣコーディングは、単一層Ｈ．２６４／ＡＶＣコーディングと称される。単一層Ｈ．２６４／ＡＶＣコーディングに比肩するレート−ひずみ性能は、同じ視覚的な再現品質が、典型的には１０％のビットレートで達成されることを意味する。以上に鑑み、スケーラビリティは、サポートされる任意の空間、時間、又はＳＮＲ分解能において、その特定の分解能での単一層Ｈ．２６４／ＡＶＣコーディングに比肩するＲ−Ｄ性能を達成しつつ、ビットストリームの一部を除去するための機能と考えられる。
【０００４】
スケーラブルビデオコーディング（ＳＶＣ）の基本的な設計を、層状ビデオコーデックとして分類することができる。各層において、動き補償予測及びイントラ予測の基本的考え方が、Ｈ．２６４／ＡＶＣのように採用される。しかしながら、追加の層間予測機構が、いくつかの空間又はＳＮＲ層の間の冗長性を利用するために取り入れられている。ＳＮＲスケーラビリティが、基本的には残差の量子化によって達成される一方で、空間スケーラビリティにおいては、動き補償予測とオーバーサンプルされたピラミッド分解との組み合わせが使用される。Ｈ．２６４／ＡＶＣの時間スケーラビリティの手法は、維持される。
【０００５】
一般に、コーダの構造は、用途によって必要とされるスケーラビリティ空間に依存して決まる。説明のために、図８は２つの空間層９０２ａ、９０２ｂを有する典型的なコーダ構造９００を示している。各々の層において、層特有の動きパラメータ９０６ａ、ｂを有する個々の階層的動き補償予測（ＭＣＰ）構造９０４ａ、ｂが使用されている。連続した層９０２ａ、ｂの間の冗長性が、動きパラメータ９０６ａ、ｂ及びテクスチャデータ９１０ａ、ｂのための予測機構を含む層間予測の考え方９０８によって利用される。各層９０２ａ、ｂの入力ピクチャ９１４ａ、ｂのベース表現９１２ａ、ｂが、Ｈ．２６４／ＡＶＣのものと同様の変換コーディング９１６ａ、ｂによって得られ、対応するＮＡＬユニット（ＮＡＬ：ネットワーク抽象化層）が、動き情報及びテクスチャデータを含み、最下層のベース表現（すなわち、９１２ａ）のＮＡＬユニットが、単一層Ｈ．２６４／ＡＶＣと互換性をもつ。
【０００６】
それぞれの層９０２ａ、ｂのベース層コーディング９１６ａ、ｂ及びプログレッシブＳＮＲ改善テクスチャコーディング９１８ａ、９１８ｂによって出力されてもたらされるビットストリームのそれぞれが、マルチプレクサ９２０によって多重化されて、スケーラブルなビットストリーム９２２がもたらされる。このビットストリーム９２２は、時間、空間、及びＳＮＲ品質においてスケーラブルである。
【０００７】
要約すると、ビデオコーディング規格Ｈ．２６４／ＡＶＣの上述のスケーラブルな拡張によれば、時間的なスケーラビリティが、階層的な予測構造を使用することによってもたらされる。この階層的な予測構造のために、単一層Ｈ．２６４／ＡＶＣ規格のうちの１つを、いかなる変更もなく使用することができる。空間及びＳＮＲに関するスケーラビリティについては、Ｈ．２６４／ＡＶＣのＳＶＣ拡張に記載されているように、単一層Ｈ．２６４／ＭＰＥＧ４．ＡＶＣに追加のツールを加えなければならない。これら３つのすべてのスケーラビリティの種類を組み合わせ、組み合わせのスケーラビリティにおいて大きな程度をサポートするビットストリームを生成することができる。
【０００８】
ビデオの元信号が、デコーダ又はプレーヤが必要とするのと異なるダイナミックレンジを有する場合に、問題が生じる。上述の現在のＳＶＣ規格においては、スケーラビリティのツールが、ベース層及び向上層の両方が輝度及び／又は色度サンプルの対応するアレイの同じビット深度で所与のビデオソースを表わしている場合についてのみ指定されている。したがって、異なるビット深度を必要とする異なるデコーダ及びプレーヤを考慮し、各々のビット深度に専用のいくつかのコーディングストリームを、別々に用意しなければならないと考えられる。しかしながら、これは、レート／ひずみの意味では、諸経費の増加及び効率の低下をそれぞれ意味する。
【０００９】
ＳＶＣ規格にビット深度に関するスケーラビリティを追加することがすでに提案されている。例えば、Shan Liuらが、ＪＶＴへの入力文書、すなわちＪＶＴ−Ｘ０７５において、層間予測又は逆トーンマッピングされたピクセル値ｐ’がベース層ピクセル値ｐbからｐ’＝ｐb・ｓｃａｌｅ＋ｏｆｆｓｅｔによって計算される逆トーンマッピングを使用することによって、ベース層のより低いビット深度の表現から層間予測を導出する可能性を記載しており、層間予測がマクロブロック又はより小さなブロックサイズについて実行されると述べている。ＪＶＴ−Ｙ０６７において、Shan Liuは、この層間予測の仕組みについての結果を提示している。同様に、Andrew Segallらが、ＪＶＴ−Ｘ０７１において、逆トーンマッピングのためにゲイン及びオフセットの操作が使用されるビット深度スケーラビリティのための層間予測を提案している。ゲインパラメータが、ブロックごとのやり方で、向上層ビットストリームにおいて指定及び伝送される。スケール係数及びオフセット係数の伝達は、予測と調整の組み合わせによって達成される。さらに、高レベルのシンタックスが、ブロックごとのやり方での伝送よりも荒い粒度をサポートする旨が記載されている。ICIP 2007におけるAndrew Segallの「Scalable Coding of High Dynamic Range Video」、I-1〜I-4、ならびにやはりAndrew SegallからのＪＶＴ文書、すなわちＪＶＴ−Ｘ０６７及びＪＶＴ−Ｗ１１３も参照される。
【００１０】
より低いビット深度のベース層から予測を得るために逆トーンマッピングを使用する上述の提案は、より低いビット深度の情報とより高いビット深度の情報との間の冗長性の一部を除去するが、そのようなビット深度スケーラブルなビットストリームの提供において、特にレート／ひずみ性能という意味で、さらに良好な効率を達成することが有益であると考えられる。
【発明の概要】
【発明が解決しようとする課題】
【００１１】
本発明の目的は、異なるビット深度に適したピクチャ又はビデオのコーディングを提供するより効率的なやり方を可能にするコーディングの仕組みを提案することにある。
【課題を解決するための手段】
【００１２】
この目的が、請求項１に記載のエンコーダ、請求項１１に記載のデコーダ、請求項２２もしくは２３に記載の方法、又は請求項２４に記載の品質スケーラブルなデータストリームによって達成される。
【００１３】
本発明は、ピクチャもしくはビデオ元データにおいて一定であり、又は第１の粒度で変化する１つ以上のグローバルマッピング関数と、前記第１の粒度よりも細かい第２の粒度で変化し、前記１つ以上のグローバルマッピング関数を局所的に修正するローカルマッピング関数とを使用することによって、第１のピクチャサンプルビット深度でのピクチャ又はビデオ元データの表現のサンプルを、前記第１のピクチャサンプルビット深度に対応する第１のダイナミックレンジから、前記第１のピクチャサンプルビット深度よりも大きい第２のピクチャサンプルビット深度に対応し前記第１のダイナミックレンジよりも大きい第２のダイナミックレンジへマッピングすることによって層間の予測が得られ、品質スケーラブルなデータストリームが、前記ローカルマッピング関数にもとづいて、該ローカルマッピング関数を該品質スケーラブルなデータストリームから導出できるように形成されるとき、ビット深度スケーラブルなデータストリームの効率を高めることができるという発見にもとづいている。１つ以上のグローバルマッピング関数を、この１つ以上のグローバルマッピング関数を局所的に修正するローカルマッピング関数に加えて用意することは、一見したところスケーラブルなデータストリームにおけるサイド情報の量を増加させるが、この一方及び他方への分割、すなわちグローバルマッピング関数及びローカルマッピング関数への分割が、ローカルマッピング関数及びローカルマッピング関数のパラメータ化のためのパラメータを小さくできるようにし、したがってきわめて効率的なやり方でコードできるようにするという事実が、サイド情報の量の増加を補って余りある。グローバルマッピング関数を、品質スケーラブルなデータストリームにおいてコードすることができ、グローバルマッピング関数は、ピクチャもしくはビデオ元データにおいて一定であり、又はより大きな粒度でしか変化しないため、このグローバルマッピング関数がピクチャ又はビデオ元データの平均の統計量に正確に適合でき、したがってローカルマッピング関数の大きさがさらに小さくなるように、このグローバルマッピング関数を定めるための諸経費又は柔軟性を向上させることができる。
【００１４】
以下で、本出願の好ましい実施の形態を、図面を参照して説明する。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施の形態によるビデオエンコーダのブロック図である。
【図２】本発明の実施の形態によるビデオデコーダのブロック図である。
【図３】一実施の形態による図１の予測モジュール１３４の動作の態様について、考えられる実施例のフロー図である。
【図４】一実施の形態によるビデオならびにそのピクチャシーケンス、ピクチャ、マクロブロックペア、マクロブロック、及び変換ブロックへの分割の概要である。
【図５】ローカルマッピング／適応関数の基礎をなす細かい粒度に従ってブロックへ分割されたピクチャの一部分の概要であり、一実施の形態によるローカルマッピング／適応関数パラメータのコーディングのための予測コーディングの仕組みを同時に示している。
【図６】一実施の形態によるエンコーダにおける逆トーンマッピングプロセスを説明するフロー図である。
【図７】一実施の形態による図６の逆トーンマッピングプロセスに対応するデコーダにおける逆トーンマッピングプロセスのフロー図である。
【図８】スケーラブルなビデオコーディングのための従来からのコーダ構造のブロック図である。
【発明を実施するための形態】
【００１６】
図１は、ベースエンコーディング手段１０２と、予測手段１０４と、残差エンコーディング手段１０６と、結合手段１０８と、入力部１１０と、出力部１１２とを備えるエンコーダ１００を示している。図１のエンコーダ１００は、入力部１１０において高品質のビデオ信号を受信し、出力部１１２において品質スケーラブルなビットストリームを出力するビデオエンコーダである。ベースエンコーディング手段１０２は、入力部１１０のデータを、入力部１１０のこのビデオ信号の内容を入力部１１０における入力信号に比べて低いピクチャサンプルビット深度で表わし、随意により低い空間分解能で表わすベースエンコーディングデータストリームへエンコードする。予測手段１０４は、ベースエンコーディング手段１０２によって出力されるベースエンコーディングデータストリームにもとづき、入力部１１０におけるビデオ信号について完全又は増やされたピクチャサンプルビット深度を有し、随意により完全又は高められた空間分解能を有する予測信号をもたらすように構成されている。さらにエンコーダ１００は、手段１０４によってもたらされる予測信号について入力部１１０の高品質の入力信号に対する予測残差を形成する減算器１１４を備えており、その残差信号は残差エンコーディング手段１０６によって品質向上層データストリームへエンコードされる。結合手段１０８は、ベースエンコーディング手段１０２からのベースエンコーディングデータストリームと、残差エンコーディング手段１０６によって出力される品質向上層データストリームとを結合させ、出力部１１２に品質スケーラブルなデータストリーム１１２を形成する。品質スケーラビリティ手段とは、出力部１１２におけるデータストリームが第１の部分とさらなる部分とで構成されていて、第１の部分は、さらなる情報を必要とせずに、データストリーム１１２の残りの部分を無視して、低いビット深度及び随意による低い空間分解能でのビデオ信号１１０の再現を可能にする点で自己完結的であり、さらなる部分は、第１の部分との組み合わせにおいて、入力部１１０のビデオ信号について第１の部分のビット深度及び／又は空間分解能よりも高い元のビット深度並びに元の空間分解能での再現を可能にすることを意味する。
【００１７】
エンコーダ１００の構造及び機能をかなり大まかに説明したので、その内部構造を、さらに詳しく後述する。特に、ベースエンコーディング手段１０２は、ダウンコンバージョンモジュール１１６と、減算器１１８と、変換モジュール１２０と、量子化モジュール１２２とを、この順序にて直列に接続して、入力部１１０と結合手段１０８及び予測手段１０４との間に備えている。ダウンコンバージョンモジュール１１６は、入力部１１０のビデオ信号のピクチャサンプルのビット深度を減らし、随意によりピクチャの空間分解能を低くする。換言すると、ダウンコンバージョンモジュール１１６は、入力部１１０の高品質の入力ビデオ信号を、ベース品質のビデオ信号へ不可逆(irreversibly)にダウンコンバートする。さらに詳しく後述されるように、このダウンコンバージョンは、入力部１１０のビデオ信号の信号サンプルのビット深度、すなわちピクセル値を、任意のトーンマッピングの仕組み（サンプル値を丸めること、ビデオ信号が輝度及び色度成分の形態で与えられる場合に色度成分をサブサンプリングすること、入力部１１０の入力信号をＲＧＢ−ＹＣｂＣｒ変換などによってフィルタ処理すること、又はこれらの任意の組み合わせ、など）を使用して減らすことを含むことができる。考えられる予測の機構についてのさらなる詳細が以下で提示される。特に、ダウンコンバージョンモジュール１１６は、入力部１１０に入力されるビデオ信号又はピクチャシーケンスの各々のピクチャについて異なるダウンコンバージョンの仕組みを使用することができ、あるいはすべてのピクチャに同じ仕組みを使用することができる。これも、さらに詳しく後述される。
【００１８】
減算器１１８、変換モジュール１２０及び量子化モジュール１２２は、ダウンコンバージョンモジュール１１６によって出力されたベース品質の信号を、例えば非スケーラブルなビデオコーディングの仕組み（Ｈ．２６４／ＡＶＣなど）を使用することによってエンコードするように協働する。図１の例によれば、減算器１１８、変換モジュール１２０及び量子化モジュール１２２は、ベースエンコーディング手段１０２及び予測手段１０４によって共有される随意による予測ループフィルタ１２４、予測モジュール１２６、逆変換モジュール１２８及び加算器１３０と協働し、ダウンコンバージョンモジュール１１６によって出力されるベース品質のビデオ信号を動き補償ベースの予測及びその後の予測残差の圧縮によってエンコードするハイブリッドエンコーダの無関係縮小部を形成する。特に、減算器１１８は、ベース品質のビデオ信号の現在のピクチャ又はマクロブロックから、例えば動き補償を使用することによってベース品質のビデオ信号のすでにエンコード済みのピクチャから再現される予測によるピクチャ又は予測によるマクロブロック部分を減算する。変換モジュール１２０は、予測残差にＤＣＴ、ＦＦＴ又はウェーブレット変換などの変換を適用する。変換後の残差信号はスペクトル表現を呈することができ、その変換係数は量子化モジュール１２２において不可逆に量子化される。得られた量子化後の残差信号は、ベースエンコーディング手段１０２によって出力されるベースエンコーディングデータストリームの残差を表わしている。
【００１９】
予測手段１０４は、随意による予測ループフィルタ１２４、予測モジュール１２６、逆変換モジュール１２８及び加算器１３０の他に、コーディングアーチファクトを軽減するための随意によるフィルタ１３２及び予測モジュール１３４を備えている。逆変換モジュール１２８、加算器１３０、随意による予測ループフィルタ１２４及び予測モジュール１２６は、ダウンコンバージョンモジュール１１６によって定められるとおりの低いビット深度及び随意による低い空間分解能でビデオ信号を再現するように協働する。換言すると、これらは、デコーダ側においても再現可能であり入力部１１０の元信号の低品質の表現を呈する低いビット深度及び随意による低い空間分解能のビデオ信号を、随意によるフィルタ１３２へ生成する。特に、逆変換モジュール１２８及び加算器１３０が、量子化モジュール１２２と随意によるフィルタ１３２との間に直列に接続される一方で、随意による予測ループフィルタ１２４及び予測モジュール１２６は、この順序で、加算器１３０の出力と加算器１３０のさらなる入力との間に直列に接続される。予測モジュール１２６の出力は減算器１１８の反転入力にも接続されている。随意によるフィルタ１３２は、加算器１３０の出力と予測モジュール１３４との間に接続され、予測モジュール１３４は随意によるフィルタ１３２の出力と減算器１１４の反転入力との間に接続されている。
【００２０】
逆変換モジュール１２８は、ベースエンコーディング手段１０２によって出力されたベースエンコード済みの残差ピクチャを逆変換し、低いビット深度及び随意による低い空間分解能の残差ピクチャを得る。したがって、逆変換モジュール１２８は、モジュール１２０及び１２２によって実行される変換及び量子化の反対である逆変換を実行する。あるいは、逆量子化モジュールを、逆変換モジュール１２８の入力側に別に設けてもよい。加算器１３０は、ビデオ信号の以前に再現されたピクチャにもとづく予測を、再現された残差ピクチャに加算する。特に、加算器１３０は、低いビット深度及び随意による低い空間分解能で再現されたビデオ信号を出力する。これらの再現されたピクチャが、例えばアーチファクトを軽減すべくループフィルタ１２４によってフィルタ処理され、その後に、例えば先に再現されたピクチャから動き補償によって現時点において再現すべきピクチャを予測するために、予測モジュール１２６によって使用される。このようにして加算器１３０の出力に得られるベース品質の信号が、入力部１１０の高品質の入力信号の予測を得るために、随意によるフィルタ１３２及び予測モジュール１３４の直列接続によって使用され、後者の予測が、残差エンコーディング手段１０６の出力に高品質の向上信号を形成するために使用される。これが、さらに詳しく後述される。
【００２１】
特に、加算器１３０から得られる低品質の信号が、随意により、コーディングアーチファクトを軽減するための随意によるフィルタ１３２によってフィルタ処理される。フィルタ１２４及び１３２は、同じやり方で動作することも可能であり、したがって、図１においてはフィルタ１２４及び１３２が別々に示されているが、両者を加算器１３０の出力と予測モジュール１２６及び予測モジュール１３４のそれぞれの入力との間に配置されるただ１つのフィルタによって置き換えてもよい。その後に、低品質のビデオ信号は、入力部１１０へ接続された加算器１１４の非反転の入力において受信される高品質のビデオ信号のための予測信号を形成するために、予測モジュール１３４によって使用される。この高品質の予測を形成するプロセスは、デコードされたベース品質の信号のピクチャサンプルをさらに詳しく後述されるように組み合わせのマッピング関数を使用することによってマッピングすること、ベース品質の信号サンプルのそれぞれの値を対応する高品質のサンプル値を含んでいる参照テーブルのインデックスとして使用すること、ベース品質の信号サンプルの値を対応する高品質のサンプル値を得るための補間プロセスに使用すること、色度成分をアップサンプリングすること、ベース品質の信号を例えばＹＣｂＣｒ−ＲＧＢ変換を使用することによってフィルタ処理すること、又はこれらの任意の組み合わせを含むことができる。他の例は、以下で説明される。
【００２２】
例えば、予測モジュール１３４は、ベース品質のビデオ信号のサンプルを第１のダイナミックレンジから第１のダイナミックレンジよりも大きい第２のダイナミックレンジへ写像することができ、随意により空間補間フィルタを使用することによって、ベース品質のビデオ信号のサンプルを空間的に補間して、空間分解能を入力部１１０におけるビデオ信号の空間分解能に対応するように高めることができる。ダウンコンバージョンモジュール１１６についての上述の説明と同様のやり方で、ベース品質のビデオ信号シーケンスの異なるピクチャについて異なる予測プロセスを使用することが可能であり、すべてのピクチャについて同じ予測プロセスを使用することも可能である。
【００２３】
減算器１１４は、予測モジュール１３４から受信される高品質の予測を、入力部１１０から受信される高品質のビデオ信号から減算し、高品質の（すなわち、元のビット深度を有し、随意により空間分解能を有している）予測残差信号を残差エンコーディング手段１０６へ出力する。残差エンコーディング手段１０６において、元の高品質の入力信号とデコード後のベース品質信号から導出された予測との間の差が、典型的には、圧縮コーディングの仕組み（例えば、Ｈ．２６４／ＡＶＣに指定されている仕組みなど）を使用してエンコードされる。この目的のため、図１の残差エンコーディング手段１０６は、典型的には、変換モジュール１３６、量子化モジュール１３８、及びエントロピコーディングモジュール１４０を、この順序で減算器１１４の出力と結合手段１０８との間に直列に接続して備えている。変換モジュール１３６は、残差信号又はそのピクチャのそれぞれを、変換ドメイン又はスペクトルドメインへそれぞれ変換し、スペクトル成分が量子化モジュール１３８によって量子化され、量子化された変換値が、エントロピコーディングモジュール１４０によってエントロピコーディングされる。エントロピコーディングの結果が、残差エンコーディング手段１０６によって出力される高品質の向上層データストリームを表わしている。モジュール１３６〜１４０が、輝度成分のコーディングのために４×４又は８×８のサンプルのサイズの変換をサポートするＨ．２６４／ＡＶＣコーディングを実行する場合、変換モジュール１３６において減算器１１４からの残差信号の輝度成分を変換するための変換サイズは、各々のマクロブロックについて任意に選択することができ、必ずしも変換モジュール１２０においてベース品質信号をコーディングするために使用される変換サイズと同じである必要はない。色度成分のコーディングについては、Ｈ．２６４／ＡＶＣ規格は、選択肢を提供していない。量子化モジュール１３８において変換係数を量子化するとき、Ｈ．２６４／ＡＶＣにおける量子化の仕組みと同じ仕組みを使用することができ、すなわち量子化器のステップサイズを、−６×（高品質のビデオ信号成分のビット深度−８）から５１までの値をとることができる量子化パラメータＱＰによって制御することができる。量子化モジュール１２２においてベース品質の表現のマクロブロックをコーディングするために使用されるＱＰと、量子化モジュール１３８において高品質向上のマクロブロックをコーディングするために使用されるＱＰとは、同じでなくてもよい。
【００２４】
結合手段１０８は、エントロピコーディングモジュール１４２及びマルチプレクサ１４４を備えている。エントロピコーディングモジュール１４２は量子化モジュール１２２の出力とマルチプレクサ１４４の第１の入力との間に接続される一方で、マルチプレクサ１４４の第２の入力がエントロピコーディングモジュール１４０の出力に接続されている。マルチプレクサ１４４の出力がエンコーダ１００の出力１１２を呈する。
【００２５】
エントロピエンコーディングモジュール１４２は、量子化モジュール１２２によって出力される量子化後の変換値をエントロピエンコードし、量子化モジュール１２２によって出力されるベースエンコーディングデータストリームからベース品質層データストリームを形成する。したがって、上述のように、モジュール１１８、１２０、１２２、１２４、１２６、１２８、１３０、及び１４２を、Ｈ．２６４／ＡＶＣに従って協働し、量子化後の予測残差の可逆圧縮(lossless compression)を実行するエントロピコーダ１４２を含むハイブリッドコーダを集合的に呈するように設計することができる。
【００２６】
マルチプレクサ１４４が、ベース品質層データストリーム及び高品質層データストリームの両者を受信し、これらを一緒にして品質スケーラブルなデータストリームを形成する。
【００２７】
すでに上述され、図３にも示されているとおり、予測モジュール１３４が再現されたベース品質信号から高品質信号のドメインへ予測を実行するやり方は、逆トーンマッピング１５０とも称されるサンプルビット深度の拡張を含むことができ、さらに随意により、ベース品質信号と高品質信号とが異なる空間分解能である場合の空間アップサンプリング操作（すなわち、アップサンプリングフィルタ処理操作１５２）を含むことができる。予測モジュール１３４が逆トーンマッピング１５０及び随意による空間アップサンプリング操作１５２を実行する順序は、固定であってよく、したがってエンコーダ及びデコーダの両者の側にとって事前に公知であってよく、あるいはブロックごともしくはピクチャごとのやり方又は他の何らかの粒度にて適応的に選択されてもよく、その場合には、予測モジュール１３４は、使用される工程１５０及び１５２の間の順序についての情報を何らかの構成要素（コーダ１０６など）に知らせ、その情報はサイド情報の一部としてデコーダ側へ知らされるようにビットストリーム１１２へサイド情報として導入される。工程１５０及び１５２の間の順序の適応は、図３において破線の両方向矢印１５４の使用によって示されており、順序を適応的に選択することができる粒度を同様に知らせることができ、ビデオにおいて変化させることも可能である。
【００２８】
逆トーンマッピング１５０の実行において、予測モジュール１３４は２つの部分を使用し、すなわち１つ以上のグローバル逆トーンマッピング関数と、そのローカルな適応とを使用する。一般に、１つ以上のグローバル逆トーンマッピング関数は、専ら、ビデオのピクチャのシーケンスの全体的な平均の特徴、したがってダウンコンバージョンモジュール１１６においてベース品質のビデオ信号を得るために高品質の入力ビデオ信号へ最初に加えられたトーンマッピングの全体的な平均の特徴を明らかにする。これに対し、ローカルな適応は、ビデオのピクチャの個々のブロックについて、グローバル逆トーンマッピングモデルからの個々の偏差を明らかにする。
【００２９】
これを説明するために、図４は、好例として、ビデオ１６０の４つの連続するピクチャ１６２ａ〜１６２ｄで構成されるビデオ１６０の一部分を示している。換言すると、ビデオ１６０がピクチャ１６２のシーケンスを含んでおり、そのうちの４つが図４に好例として示されている。ビデオ１６０を連続するピクチャの重なり合いのないシーケンスへ分割することができ、そのようなピクチャについて、グローバルパラメータ又はシンタックスエレメントをデータストリーム１１２において伝送することができる。あくまでも説明のみを目的とし、図４に示した４つの連続するピクチャ１６２ａ〜１６２ｄが、そのようなピクチャのシーケンス１６４を形成すると仮定する。次いで、各々のピクチャが、ピクチャ１６２ｄの左下の角に示されているように、複数のマクロブロック１６６へ分割される。マクロブロックは、変換係数をマクロブロックのコーディングの種類に関する他の制御シンタックスエレメントと一緒にビットストリーム１１２において伝送する容器である。マクロブロック１６６のペア１６８が、それぞれのピクチャ１６２ｄの連続する一部分を覆っている。それぞれのマクロブロックペア１６８のマクロブロックペアの態様に応じて、このペア１６８の上側のマクロブロック１６２は、マクロブロックペア１６８の上半分のサンプル又はマクロブロックペア１６８内のすべての奇数番目の線のサンプルのいずれかを覆い、下方のマクロブロックは、マクロブロックペア１６８内の残りのサンプルに関する。次いで、各々のマクロブロック１６０を、１７０に示されているように変換ブロックへ分割することができ、これらの変換ブロックは、変換モジュール１２０が変換を実行し、逆変換モジュール１２８が逆変換を実行するブロックの基準を形成する。
【００３０】
ただいま述べたグローバル逆トーンマッピング関数を再び参照すると、１つ以上のそのようなグローバル逆トーンマッピング関数をビデオ１６０の全体について、あるいはビデオ１６０のサブ部分（連続するピクチャのシーケンス１６４又はピクチャ１６２そのものなど）について常に使用するように、予測モジュール１３４を構成することができる。後者の選択肢は、予測モジュール１３４が、グローバル逆トーンマッピング関数をピクチャシーケンスのサイズ又はピクチャのサイズに対応する粒度で変化させることを意味する。グローバル逆トーンマッピング関数の例は以下で提示される。予測モジュール１３４がグローバル逆トーンマッピング関数をビデオ１６０の統計量へ適応させる場合、予測モジュール１３４は、ビットストリーム１１２がビデオ１６０の中にグローバル逆トーンマッピング関数（単数又は複数）及びグローバル逆トーンマッピング関数の変化についての情報を含むように、エントロピコーディングモジュール１４０又はマルチプレクサ１４４へ情報を出力する。予測モジュール１３４によって使用される１つ以上のグローバル逆トーンマッピング関数がビデオ１６０の全体に常に適用される場合には、そのようなグローバル逆トーンマッピング関数は、デコーダにとって事前に公知であるか、又はビットストリーム１１２においてサイド情報として伝送されるものとすることができる。
【００３１】
さらに細かい粒度において、予測モジュール１３４によって使用されるローカル逆トーンマッピング関数がビデオ１６０において変化する。例えば、そのようなローカル逆トーンマッピング関数は、例えばマクロブロックのサイズ、マクロブロックペアのサイズ、又は変換ブロックのサイズなど、ピクチャサイズよりも小さい粒度で変化する。
【００３２】
グローバル逆トーンマッピング関数（単数又は複数）及びローカル逆トーンマッピング関数の両者について、それぞれの関数の変化又はビットストリーム１１２における定義の粒度は、ビデオ１６０において変化することができる。次いで、粒度の変化を、ビットストリーム１１２において知らせることができる。
【００３３】
逆トーンマッピング１５０の際に、予測モジュール１３４は、該当のピクチャに当てはまる１つのグローバル逆トーンマッピング関数と、当該所定のサンプルが属する該当のブロックにおいて定義されたとおりのローカル逆トーンマッピング関数との組み合わせを使用することによって、ビデオ１６０の所定のサンプルをベース品質のビット深度から高品質のビット深度へ写像する。
【００３４】
例えば、この組み合わせは、算術的な組み合わせであってよく、特に加算であってよい。予測モジュールを、予測による高ビット深度のサンプル値ｓhighを、対応する再現された低ビット深度のサンプル値ｓlowから、ｓhigh＝ｆk（ｓlow）＋ｍ・ｓlow＋ｎを使用することによって得るように構成することができる。
【００３５】
この式において、関数ｆkはグローバル逆トーンマッピング演算子を表わしており、添え字ｋは、２つ以上の仕組み又は２つ以上のグローバル逆トーンマッピング関数が使用される場合に、どのグローバル逆トーンマッピング演算子が選択されるかを選択している。この式の残りの部分はローカルな適応又はローカル逆トーンマッピング関数を構成しており、ｎはオフセット値であり、ｍはスケーリング係数である。ｋ、ｍ及びｎの値をビットストリーム１１２においてブロックごとのやり方で指定することができる。換言すると、ビットストリーム１１２はビデオ１６０のすべてのブロックについてトリプレット｛ｋ、ｍ、ｎ｝を明らかにすることができ、それらブロックのブロックサイズはグローバル逆トーンマッピング関数のローカルな適応の粒度に依存し、この粒度はおそらくはビデオ１６０内で変化する。
【００３６】
以下のマッピング機構を、グローバル逆タイムマッピング関数ｆ（ｘ）に関する限りにおいて、予測プロセスにおいて使用することができる。例えば、任意の数の補間点を指定することができる区分的な線形マッピングを使用することができる。例えば、値ｘを有するベース品質サンプルならびに２つの所与の補間点（ｘn、ｙn）及び（ｘn+1、ｙn+1）について、対応する予測サンプルｙが、以下の式に従ってモジュール１３４によって得られる。
ｆ（ｘ）＝ｙn＋（（ｘ−ｘn）／（ｘn+1−ｘn））（ｙn+1−ｙn）
【００３７】
この線形補間は、ｘn+1−ｘnが２のべき乗に限られる場合、除算の代わりにビットシフトだけを使用して、少ない計算の複雑さで実行するすることができる。
【００３８】
さらに考えられるグローバルマッピング機構は参照テーブルマッピングである。参照テーブルマッピングでは、グローバル逆トーンマッピング関数に関する限りにおいて可能性のあるベース品質のサンプル値の各々について対応するグローバル予測サンプル値（ｘ）が指定されている参照テーブルにおいて、ベース品質のサンプル値によってテーブルの参照が実行される。参照テーブルをサイド情報としてデコード側へ提供することができ、又は初期設定によってデコーダ側にとって公知であってもよい。
【００３９】
さらに、一定のオフセットによるスケーリングをグローバルマッピングに使用することができる。この案によれば、より大きなビット深度を有する対応する高品質なグローバル予測サンプル（ｘ）を得るために、モジュール１３４は、例えば以下の式のうちの１つに従って、ベース品質のサンプルｘを一定の係数２M-N-Kによって乗算し、その後に一定のオフセット２M-1−２M-1-Kを加える。
ｆ（ｘ）＝２M-N-Kｘ＋２M-1−２M-1-K、又は
ｆ（ｘ）＝ｍｉｎ（２M-N-Kｘ＋２M-1−２M-1-K，２M−１）
ここで、Ｍは高品質の信号のビット深度であり、Ｎはベース品質の信号のビット深度である。
【００４０】
この方策によって、ｘの写像後の値がＫによって決定される拡張の範囲内でより高品質の可能なダイナミックレンジ［０；２M−１］に対して集中型のやり方で分配されるやり方で、低品質のダイナミックレンジ［０；２N−１］が第２のダイナミックレンジ［０；２M−１］へ写像される。Ｋの値は、整数値又は実数値であってよく、以下で説明されるようにデコーダにおいて何らかの予測手段が予測モジュール１３４と同じやり方で働くことができるように、例えば品質スケーラブルなデータストリームにおいてサイド情報としてデコーダへ伝送することができる。丸めの操作を、整数値化されたｆ（ｘ）の値を得るために使用することができる。
【００４１】
グローバルスケーリングの他の可能性は、可変のオフセットによるスケーリングである。例えば以下の式のうちの１つに従って、ベース品質のサンプルｘが、一定の係数によって乗算され、その後に可変のオフセットが加えられる。
ｆ（ｘ）＝２M-N-Kｘ＋Ｄ、又は
ｆ（ｘ）＝ｍｉｎ（２M-N-Kｘ＋Ｄ，２M−１）
【００４２】
この方策によって、ｘの写像後の値が高品質のサンプルの可能なダイナミックレンジの一部分に分配され、その広がりがＫによって決定され、下方の境界に対するそのオフセットがＤによって決定されるやり方で、低品質のダイナミックレンジが第２のダイナミックレンジへグローバルに写像される。Ｄは整数又は実数であってよい。結果ｆ（ｘ）は、高ビット深度の予測信号のグローバルに写像されたピクチャサンプル値を表わしている。Ｋ及びＤの値を、例えば品質スケーラブルなデータストリームにおいてサイド情報としてデコーダへ伝送することができる。やはり、丸めの操作を、整数値化されたｆ（ｘ）の値を得るために使用することができ、後者は、繰り返し述べるまでもなく、グローバルなビット深度マッピングについて本出願において提示される他の例にも当てはまる。
【００４３】
グローバルマッピングのまたさらなる可能性は、重ね合わせによるスケーリングである。グローバルに写像された高ビット深度の予測サンプルｆ（ｘ）が、例えば以下の式のうちの１つに従って、それぞれのベース品質サンプルｘから得られる。ここでｆｌｏｏｒ（ａ）は、ａを最も近い整数へ丸めることである。
ｆ（ｘ）＝ｆｌｏｏｒ（２M-Nｘ＋２M-2Nｘ）、又は
ｆ（ｘ）＝ｍｉｎ（ｆｌｏｏｒ（２M-Nｘ＋２M-2Nｘ），２M−１）
【００４４】
たった今述べた可能性を組み合わせることが可能である。例えば、重ね合わせ及び一定のオフセットによるグローバルスケーリングを使用することができる。グローバルに写像された高ビット深度の予測サンプルｆ（ｘ）が、例えば以下の式のうちの１つに従って得られる。ここでｆｌｏｏｒ（ａ）は、ａを最も近い整数へ丸めることである。
ｆ（ｘ）＝ｆｌｏｏｒ（２M-N-Kｘ＋２M-2N-Kｘ＋２M-1−２M-1-K）
ｆ（ｘ）＝ ｍｉｎ（ｆｌｏｏｒ（２M-N-Kｘ＋２M-2N-Kｘ＋２M-1−２M-1-K），２M−１）
【００４５】
Ｋの値をデコーダへのサイド情報として指定することができる。
【００４６】
同様に、重ね合わせ及び可変のオフセットによるグローバルスケーリングを使用することができる。グローバルに写像された高ビット深度の予測サンプル（ｘ）が、以下の式のうちの１つに従って得られる。ここでｆｌｏｏｒ（ａ）は、ａを最も近い整数へ丸めることである。
ｆ（ｘ）＝ｆｌｏｏｒ（２M-N-Kｘ＋２M-2N-Kｘ＋Ｄ）
ｆ（ｘ）＝ｍｉｎ（ｆｌｏｏｒ（２M-N-Kｘ＋２M-2N-Kｘ＋Ｄ），２M−１）
【００４７】
Ｄ及びＫの値をデコーダへのサイド情報として指定することができる。
【００４８】
グローバル逆トーンマッピング関数についてたった今述べた例を図４へ移すと、グローバル逆トーンマッピング関数を定めるための上述したパラメータ、すなわち（ｘ1、ｙ1）、Ｋ、及びＤは、デコーダによって既知であってよく、グローバル逆トーンマッピング関数がビデオ１６０において一定である場合にはビデオ１６０の全体に関するビットストリーム１１２において伝送されてよく、又はこれらのパラメータは、グローバルマッピング関数の基礎をなす粗い粒度に応じて、例えばピクチャシーケンス１６４又はピクチャ１６２など、ビデオ１６０の異なる部分についてのビットストリームにおいて伝送される。予測モジュール１３４が２つ以上のグローバル逆トーンマッピング関数を使用する場合には、上述のパラメータ（ｘ1、ｙ1）、Ｋ及びＤを、添え字ｋが備えられるものと考えることができ、これらのパラメータ（ｘ1、ｙ1）、Ｋk及びＤkが、ｋ番目のグローバル逆トーンマッピング関数ｆkを定める。
【００４９】
このように、一つながりのビデオ１６０の全体に同じ機構を使用するだけでなく、ビットストリーム１１２において対応する値ｋを知らせることによって、各々のピクチャの各々のブロックについて異なるグローバル逆トーンマッピング機構の使用を指定することも可能であろう。
【００５０】
さらに、ベース品質信号の輝度及び色度成分について、それらの確率密度関数などの統計量が異なる可能性を考慮するために、異なるグローバルマッピング機構を指定することも可能である。
【００５１】
すでに上述したように、予測モジュール１３４は、グローバル逆トーンマッピング関数と、グローバル逆トーンマッピング関数を局所的に適応させるためのローカル逆トーンマッピング関数との組み合わせを使用する。換言すると、局所的な適応が、このようにして得られた各々のグローバルに写像された高ビット深度の予測サンプルｆ（ｘ）について実行される。グローバル逆トーンマッピング関数の局所的な適応は、例えばそのいくつかのパラメータを局所的に適応させることによって局所的に適応させられたローカル逆トーンマッピング関数を使用することによって実行される。上記提示の例では、これらのパラメータが、スケーリング係数ｍ及びオフセット値ｎである。スケーリング係数ｍ及びオフセット値ｎを、ブロックごとのやり方で指定することができ、ここでブロックは、例えばＨ．２６４／ＡＶＣの場合には４×４又は８×８のサンプルである変換ブロックサイズに、又はＨ．２６４／ＡＶＣの場合に例えば１６×１６のサンプルであるマクロブロックサイズに対応することができる。「ブロック」のどちらの意味が実際に使用されるかは、固定であって、したがってエンコーダ及びデコーダの両者にとって事前に知られていてもよく、又は予測モジュール１３４によってピクチャごと又はシーケンスごとに適応的に選択されてもよく、その場合には、ビットストリーム１１２内のサイド情報の一部としてデコーダへ通知される必要がある。Ｈ．２６４／ＡＶＣの場合に、シーケンスパラメータセット及び／又はピクチャパラメータセットを、この目的のために使用することができる。さらに、スケーリング係数ｍ又はオフセット値ｎのいずれか又は両方の値が、ビデオシーケンスの全体又はビデオシーケンス１６０のうちの明確なピクチャのセットについてゼロに等しく設定されることを、サイド情報において指定することができる。スケーリング係数ｍ又はオフセット値ｎのいずれか又は両方が、所与のピクチャについてブロックごとのやり方で指定される場合には、これらの値のコーディングに必要なビットレートを減らすために、対応する予測値ｍpred、ｎpredへの差分値Δｍ、Δｎだけを、ｍ、ｎの実際の値を以下のように得ることができるようにコードすることができる。すなわち、ｍ＝ｎpred＋Δｍ、ｎ＝ｎpred＋Δｎ。
【００５２】
換言すると、グローバル逆トーンマッピング関数の局所的な適応の粒度の基準を形成するブロック１７０に分割されたピクチャ１６２の一部分を示している図５に示されるように、予測モジュール１３４、エントロピコーディングモジュール１４０、及びマルチプレクサ１４４は、グローバル逆トーンマッピング関数の局所的な適応のためのパラメータ、すなわち個々のブロック１７０について使用されるスケーリング係数ｍ及びオフセット値ｎが、ビットストリーム１１２へ直接コードされるのではなく、単に隣のブロック１７０のスケーリング係数及びオフセット値から得られる予測への予測残差としてコードされるように構成される。したがって、図５に示されているように、２つ以上のグローバルマッピング関数が使用される場合、各々のブロック１７０について｛Δｍ、Δｎ、ｋ｝が伝送される。例えば、予測モジュール１３４が、特定のブロックｉ、ｊ（すなわち、図５の真ん中のブロック）のサンプルの逆トーンマッピングにパラメータｍi、j及びｎi、jを使用すると仮定する。その場合、予測モジュール１３４は、隣のブロック１７０のスケーリング係数及びオフセット値（例えば、ｍi、j-1及びｎi、j-1など）から予測値ｍi、j、pred及びｎi、j,predを計算するように構成される。この場合、予測モジュール１３４は、実際のパラメータｍi、j及びｎi、jと予測によるパラメータとの間の差ｍi、j−ｎi、j,pred及びｎi、j−ｎi、j,predを生じさせるであろう。これらの差はビットストリーム１１２へ挿入されるべきものである。これらの差は、図５においてΔｍi、j及びΔｎi、jとして示されており、添え字ｉ、ｊは、例えばピクチャ１６２の上からｊ番目のブロック及び左側からｉ番目のブロックを示している。あるいは、スケーリング係数ｍ及びオフセット値ｎの予測を、同じピクチャの隣のブロックではなく、すでに伝送済みのブロックから導出してもよい。例えば、予測値を、先行のピクチャにおいて同じ又は対応する空間位置に位置するブロック１７０から導出することができる。特に、予測値は、以下の値とすることができる。
【００５３】
サイド情報において伝送され、又はエンコーダ及びデコーダの両者にとって既知である固定の値。
対応する変数及び先行のブロックの値。
隣接ブロックの対応する変数の中央値。
隣接ブロックの対応する変数の平均値。
隣接ブロックの対応する変数の値から導出される線形な内挿又は外挿による値。
【００５４】
これらの予測機構のうちのどれが特定のブロックについて実際に使用されるかは、エンコーダ及びデコーダの両者にとって既知であってよく、又は隣接ブロック（存在する場合）のｍ、ｎの値に依存してもよい。
【００５５】
モジュール１３６、１３８及び１４０がＨ．２６４／ＡＶＣに沿ったエンコーディングを実行する場合、エントロピコーディングモジュール１４０によって出力されるコード済みの高品質向上信号において、各々のマクロブロックについて以下の情報を伝送することができる。マクロブロック内の４つの８×８の輝度変換ブロック及びマクロブロックの関連の色度変換ブロックのうちのどれが非ゼロの変換係数を含むことができるかを示す被コードブロックパターン（ＣＢＰ）情報が、含まれることができる。非ゼロの変換係数が存在しない場合、その特定のマクロブロックについて、さらなる情報は伝送されない。さらなる情報は、輝度成分のコーディングに使用される変換サイズ、すなわち１６×１６の輝度サンプルで構成されるマクロブロックが変換モジュール１３６において変換される変換ブロック（すなわち、４×４又は８×８の変換ブロック）のサイズに関することができる。さらに、高品質向上層データストリームは、量子化器のステップサイズを制御するために量子化モジュール１３８において使用された量子化パラメータＱＰを含むことができる。さらに、量子化された変換係数、すなわち変換係数レベルが、エントロピコーディングモジュール１４０によって出力される高品質向上層データストリームの各々のマクロブロックについて含まれることができる。
【００５６】
上述の情報の他に、以下の情報が、データストリーム１１２に含まれるべきである。例えば、２つ以上のグローバル逆トーンマッピングの仕組みが現在のピクチャについて使用される場合には、対応するインデックス値ｋも高品質向上信号の各ブロックについて伝送されなければならない。局所適応に関する限りにおいて、変数Δｍ及びΔｎをそれらのピクチャの各ブロックについて知らせることができ、その場合、対応する値の伝送は、例えばＨ．２６４／ＡＶＣのシーケンスパラメータセット及び／又はピクチャパラメータセットによってサイド情報に示される。３つの新たな変数ｋ、Δｍ、及びΔｎのすべてについて、対応する２値化の仕組みを有する新たなシンタックスエレメントが導入されなければならない。単純な単一要素からなる２値化を、Ｈ．２６４／ＡＶＣにおいて使用されるバイナリ算術コーディングの仕組みのための３つの変数を作成するために使用することができる。３つの変数はすべて、典型的には小さな大きさしか有さないため、単純な単一要素からなる２値化の仕組みがきわめてよく適している。Δｎ及びΔｎは、符号付きの整数値であるため、以下の表に記載のように符号なしの値へ変換することができる。
【００５７】
2011517245.tif 000003
【００５８】
したがって、上述の実施の形態のいくつかを要約すると、予測手段１３４がその動作の態様において以下のステップを実行することができる。特に、図６に示されるように、予測手段１３４が、ステップ１８０において、１つ以上のグローバルマッピング関数（単数又は複数）ｆ（ｘ）（２つ以上のグローバルマッピング関数の場合にはｆk（ｘ）であり、ｋはそれぞれのグローバルマッピング関数を指す対応するインデックス値を意味する）を設定することができる。上述のように、１つ以上のグローバルマッピング関数（単数又は複数）を、ビデオ１６０の全体にわたって一定であるように設定もしくは定義することができ、又は粗い粒度（例えば、ピクチャ１６２又はピクチャのシーケンス１６４のサイズの粒度など）で定義もしくは設定することができる。１つ以上のグローバルマッピング関数（単数又は複数）は、上述のように定義することができる。一般に、グローバルマッピング関数（単数又は複数）は、非自明な関数であってよく、すなわちｆ（ｘ）＝一定でなくてよく、特に非線形関数であってよい。いずれにせよ、グローバルマッピング関数について上述の例のいずれかを使用する場合、ステップ１８０は、粗い粒度に従って分割されたビデオの各部分について設定されるＫ、Ｄ、又は（ｘn、ｙn）（ｎ?（１，．．．Ｎ））などの対応するグローバルマッピング関数パラメータをもたらす。
【００５９】
さらに、予測モジュール１３４は、上述のようなローカルマッピング／適応関数、すなわちｍ・ｘ＋ｎによる線形関数を設定する。しかしながら、単にオフセット値を使用することによってパラメータ化される定数関数など、別のローカルマッピング／適応関数も実現可能である。設定１８２は、例えばピクチャよりも小さいサイズ（マクロブロック、変換ブロック、もしくはマクロブロックペア、又はピクチャ内のスライス（ピクチャのマクロブロック又はマクロブロックペアの部分集合）など）の粒度など、より細かい粒度にて実行される。したがって、ステップ１８２は、ローカルマッピング／適応関数についての上記実施の形態の場合には、より細かい粒度に従って分割されたビデオのピクチャ１６２の各ブロックについて設定又は定義される値Δｍ及びΔｎのペアをもたらす。
【００６０】
随意により、すなわち２つ以上のグローバルマッピング関数がステップ１８０において使用される場合に、予測手段１３４は、ステップ１８４において、ステップ１８２において使用されるとおりの細かい粒度の各ブロックについて、インデックスｋを設定する。
【００６１】
予測モジュール１３４が、元のピクチャサンプルのサンプルビット深度を減らすためにダウンコンバージョンモジュール１１６によって使用されるマッピング関数にのみ依存して、例えばそのようなマッピング関数の逆マッピング関数をステップ１８０においてグローバルマッピング関数として使用するなどによって、ステップ１８０において１つ以上のグローバルマッピング関数を設定することが可能であると考えられるが、予測手段１３４が、ステップ１８０、１８２、及び１８４におけるすべての設定を、特定の最適化基準（得られるビットストリーム１１２のレート／ひずみ比など）が極端化（最大化又は最小化、など）されるように実行することも可能であることに注意すべきである。この方策によって、グローバルマッピング関数（単数又は複数）及びグローバルマッピング関数への局所的な適応（すなわち、ローカルマッピング／適応関数）の両方がビデオのサンプル値のトーン統計量に合わせられるとともに、グローバルマッピングに必要なサイド情報のコーディングの諸経費と、小さなローカルマッピング／適応関数しか必要としないトーン統計量へのグローバルマッピング関数の最良の適合の実現との間に、最良の妥協が決定される。
【００６２】
ステップ１８６における実際の逆トーンマッピングの実行において、予測モジュール１３４は、再現された低品質信号の各サンプルについて、どちらも現在のサンプルが属するブロック又は部位において定められる一方と他方、すなわち１つのグローバルマッピング関数（グローバルマッピング関数が１つだけしか存在しない場合）又はグローバルマッピング関数のうちの１つ（２つ以上のグローバルマッピング関数が存在する場合）と、ローカルマッピング／適応関数との組み合わせを使用する。上述の例では、組み合わせは加算であった。しかしながら、任意の算術的組み合わせも可能であると考えられる。例えば、組み合わせが、両方の関数の連続適用であってよい。
【００６３】
さらに、逆トーンマッピングに使用された使用済みの組み合わせのマッピング関数をデコーダ側に知らせるために、予測モジュール１３４は少なくともローカルマッピング／適応関数についての情報をビットストリーム１１２を介してデコーダ側へ供給する。例えば、予測モジュール１３４は、ステップ１８８において、細かい粒度の各ブロックについてｍ及びｎの値をビットストリーム１１２へコードする。上述のように、ステップ１８８におけるコーディングは、ｍ及びｎの実際の値ではなくて予測残差がビットストリームへコードされる予測コーディングであってよく、その残差の値の予測は、隣接ブロック１７０のｍ及びｎの値から導出され、又は先行のピクチャの対応するブロックのｍ及びｎの値から導出される。換言すると、パラメータｍ及びｎをコードするために、場所的又は時間的な予測を残差コーディングとともに使用することができる。
【００６４】
同様に、２つ以上のグローバルマッピング関数がステップ１８０において使用される場合には、予測モジュール１３４は、ステップ１９０において各々のブロックについてインデックスｋをビットストリームへコードすることができる。さらに、予測モジュール１３４は、ｆ（ｘ）又はｆk（ｘ）についての情報を、その情報がデコーダにとって先験的には知られていない場合に、ビットストリームへコードすることができる。これが、ステップ１９２において行われる。さらに、予測モジュール１３４は、ローカルマッピング／適応関数及び／又はグローバルマッピング関数（単数又は複数）について、ビデオにおける粒度又は粒度の変化についての情報を、ステップ１９４においてビットストリームへコードすることができる。
【００６５】
ステップ１８０〜１９４がすべて、必ずしも上述の順序で実行される必要はないことに注意すべきである。これらのステップの厳密な順次的実行も不要である。むしろ、ステップ１８０〜１９４は単に説明の目的のために順番に示されており、これらのステップは、好ましくは重なり合った様相で実行される。
【００６６】
以上の説明においては明示的には述べられていないが、ステップ１９０〜１９４において生成されるサイド情報を、エントロピコーディングモジュール１４２から生じるベース品質部分ではなく、ビットストリーム１１２の高品質向上層信号又は高品質部分へ導入できることに注意すべきである。
【００６７】
エンコーダについての実施の形態を説明したので、図２を参照して、デコーダの実施の形態を説明する。図２のデコーダは、参照符号２００によって示されており、デマルチプレクサ手段２０２、ベースデコーディング手段２０４、予測手段２０６、残差デコーディング手段２０８及び再現手段２１０、ならびに入力部２１２、第１の出力部２１４、及び第２の出力部２１６を備えている。デコーダ２００は、自身の入力部２１２において、例えば図１のエンコーダ１００によって出力された品質スケーラブルなデータストリームを受信する。上述のように、品質スケーラビリティはビット深度に関し、随意により空間分解能に関する。換言すると、入力部２１２におけるデータストリームは、低いビット深度及び随意による低い空間分解能でビデオ信号を再現するために独立して使用することができる自己完結部分と、この第１の部分に組み合わせて使用され、より高いビット深度及び随意によるより高い空間分解能でのビデオ信号の再現を可能にする追加の部分とを有することができる。低品質の再現ビデオ信号が出力部２１６において出力される一方で、より高い品質の再現ビデオ信号が出力部２１４において出力される。
【００６８】
デマルチプレクサ手段２０２は、入力部２１２に到来する品質スケーラブルなデータストリームを、ベースエンコーディングデータストリーム及び高品質向上層データストリーム（どちらも図１に関して述べた）に分割する。ベースデコーディング手段２０４は、ベースエンコーディングデータストリームをビデオ信号のベース品質の表現へデコードし、図２の例の場合のように直接的に、又はこれを随意によりアーチファクト軽減フィルタ（図示されていない）を介して間接的に、出力部２１６に出力することができる。ベース品質の表現のビデオ信号にもとづいて、予測手段２０６は、高められたピクチャサンプルビット深度及び／又は高められた色度サンプリング分解能を有する予測信号を形成する。デコーディング手段２０８は、向上層データストリームをデコードし、高められたビット深度及び随意による高められた空間分解能を有する予測残差を得る。再現手段２１０は、予測及び予測残差から高品質のビデオ信号を得て、これを随意によるアーチファクト軽減フィルタを介して出力部２１４に出力する。
【００６９】
内部的には、デマルチプレクサ手段２０２はデマルチプレクサ２１８及びエントロピデコーディングモジュール２２０を備えている。デマルチプレクサ２１８の入力が入力部２１２へ接続され、デマルチプレクサ２１８の第１の出力が残差デコーディング手段２０８へ接続されている。エントロピデコーディングモジュール２２０がデマルチプレクサ２１８のもう１つの出力とベースデコーディング手段２０４との間に接続されている。デマルチプレクサ２１８は、品質スケーラブルなデータストリームを、上述のようにマルチプレクサ１４４へ別々に入力されたとおりのベース層データストリームと向上層データストリームとに分割する。エントロピデコーディングモジュール２２０は、ビデオ信号のベース表現を導出するために必要な変換係数レベル、動きベクトル、変換サイズ情報及び他のシンタックスエレメントを得るために、例えばハフマンデコーディング又は算術デコーディングアルゴリズムを実行する。エントロピデコーディングモジュール２２０の出力にベースエンコーディングデータストリームがもたらされる。
【００７０】
ベースデコーディング手段２０４は、逆変換モジュール２２２、加算器２２４、随意によるループフィルタ２２６及び予測モジュール２２８を備えている。ベースデコーディング手段２０４のモジュール２２２〜２２８は、機能及び互いの接続に関して、図１の構成要素１２４〜１３０に対応する。より正確には、逆変換モジュール２２２及び加算器２２４が、この順序で直列に、一方ではデマルチプレクサ手段２０２と、他方では予測手段２０６及びベース品質の出力部との間に接続され、随意によるループフィルタ２２６及び予測モジュール２２８が、この順序で直列に、加算器２２４の出力と加算器２２４のもう１つの入力との間に接続されている。この方策によって、加算器２２４は減らされたビット深度及び随意による減らされた空間分解能のベース表現のビデオ信号を出力し、これを外部から出力部２１６において受け取ることができる。
【００７１】
予測手段２０６は、随意によるアーチファクト軽減フィルタ２３０及び予測情報モジュール２３２を備えており、両方のモジュールが、図１の構成要素１３２及び１３４に対して同期した方法で機能する。換言すると、随意によるアーチファクト軽減フィルタ２３０が、ベース品質のビデオ信号をアーチファクトを軽減すべく随意によりフィルタ処理し、予測形成モジュール２３２は、予測モジュール１３４に関してすでに上述したやり方で、高められたビット深度及び随意による高められた空間分解能を有する予測によるピクチャを回復する。すなわち、予測情報モジュール２３２は、品質スケーラブルなデータストリームに含まれるサイド情報によって、到来するピクチャサンプルをより広いダイナミックレンジへ写像することができ、随意により空間分解能を高めるためにピクチャの内容へ空間補間フィルタを適用することができる。
【００７２】
残差デコーディング手段２０８は、エントロピデコーディングモジュール２３４及び逆変換モジュール２３６を、この順序でデマルチプレクサ２１８と再現手段２１０との間に直列に接続して備えている。エントロピデコーディングモジュール２３４及び逆変換モジュール２３６は、図１のモジュール１３６、１３８及び１４０によって実行されるエンコーディングの逆を行うように協働する。特に、エントロピデコーディングモジュール２３４は、例えばハフマンデコーディング又は算術デコーディングアルゴリズムを実行して、特に変換係数レベルを含むシンタックスエレメントを得、これが逆変換モジュール２３６によって逆変換され、予測残差信号又は残差ピクチャのシーケンスが得られる。さらに、エントロピデコーディングモジュール２３４は、すでに上述したように予測モジュール１３４によってエンコーダ側で行われた逆マッピング手順を予測形成モジュール２３２が模倣できるよう、エンコーダ側においてステップ１９０〜１９４で生成されたサイド情報を明らかにする。
【００７３】
エンコーダに関する図６と同様に、図７は、予測形成モジュール２３２の動作の態様及びエントロピデコーディングモジュール２３４の動作の態様の一部をさらに詳しく示している。図７に示されているように、デコーダ側において再現されたベース層信号から予測を得るプロセスは、ステップ１９４でコードされた粒度情報をステップ２８０において導出し、ステップ１９２でコードされたグローバルマッピング関数（単数又は複数）についての情報をステップ２８２において導出し、ステップ１９０でコードされたとおりの細かい粒度の各ブロックについてのインデックス値ｋをステップ２８４において導出し、ステップ１８８でコードされたとおりの各々の細かい粒度のブロックについてのローカルマッピング／適応関数パラメータｍ及びｎをステップ２８６において導出するための、デマルチプレクサ２１８及びエントロピデコーダ２３４の協働で始まる。破線によって示されているように、ステップ２８０〜２８４の適用は、現在使用されている実施の形態に応じて随意である。
【００７４】
ステップ２８８において、予測形成モジュール２３２は、ステップ２８０〜２８６において得られた情報にもとづいて逆トーンマッピングを実行し、ステップ１８６においてエンコーダ側で実行された逆トーンマッピングを正確に書き換える。ステップ１８８に関する説明と同様に、パラメータｍ、ｎの導出は予測デコーディングを含むことができ、予測デコーディングでは、デマルチプレクサ２１８へ進入するデータストリームの高品質部分から例えばエントロピデコーダ２３４によって実行されるようなエントロピデコーディングを使用することによって予測残差の値が導出され、これらの予測残差の値を場所的及び／又は時間的な予測によって導出される予測値へ加えることによってｍ及びｎの実際の値が得られる。
【００７５】
再現手段２１０は加算器２３８を備えており、加算器２３８の入力が予測情報モジュール２３２の出力及び逆変換モジュール２３６の出力にそれぞれ接続されている。加算器２３８は、予測残差及び予測信号を足し合わせ、高められたビット深度及び随意による高められた空間分解能を有する高品質のビデオ信号を得、これが随意によるアーチファクト軽減フィルタ２４０を介して出力部２１４へ供給される。
【００７６】
このようにして、図２から導き出すことができるように、ベース品質デコーダは、入力部２１２の品質スケーラブルなデータストリームからベース品質のビデオ信号を再現することができ、ベース品質のビデオ信号を再現するために、構成要素２３０、２３２、２３８、２３４、２３６及び２４０を含まなくてよい。他方で、高品質のデコーダは出力部２１６を含まなくてよい。
【００７７】
換言すると、デコーディングのプロセスにおいて、ベース品質の表現のデコーディングは単刀直入である。高品質の信号のデコーディングについては、最初にベース品質の信号をデコードしなければならず、これは、モジュール２１８〜２２８によって実行される。その後に、モジュール２３２及び随意によるモジュール２３０に関して上述した予測プロセスが、デコードされたベース表現を使用して行われる。高品質向上信号の量子化された変換係数が、例えばＨ．２６４／ＡＶＣに指定されているように逆変換モジュール２３６によってスケール及び逆変換されて、残差又は差信号サンプルが得られ、これらが予測モジュール２３２によってデコードされたベース表現サンプルから導出される予測に加えられる。出力部２１４に出力されるべき高品質のビデオ信号のデコーディングプロセスの最終段階として、随意によるフィルタを、視覚的に煩わしいコーディングアーチファクトを除去又は軽減するために使用することができる。モジュール２２６及び２２８を含む動き補償の予測ループはベース品質の表現のみを使用して完全に自己完結であることに、注意すべきである。したがって、デコーディングの複雑さが控えめであり、予測モジュール２２８の動き補償の予測プロセスにおいて、高いビット深度及び随意による高い空間分解能の画像データについて機能する補間フィルタが不要である。
【００７８】
上記の実施の形態に関して、アーチファクト軽減フィルタ１３２及び２３０が随意であって、取り除いてもよいことに触れておかなければならない。同じことが、ループフィルタ１２４及び２２６ならびにフィルタ２４０にも当てはまる。例えば、図１に関して、フィルタ１２４及び１３２を、例えばデブロッキングフィルタなどのたった１つの共通のフィルタによって置き換え、そのようなフィルタの出力を動き予測モジュール１２６の入力及び逆トーンマッピングモジュール１３４の入力の両方に接続してもよいことを述べた。同様に、フィルタ２２６及び２３０を、デブロッキングフィルタなどの１つの共通のフィルタによって置き換え、そのようなフィルタの出力を、出力部２１６、予測形成モジュール２３２の入力、及び予測器２２８の入力に接続することができる。さらに、完璧を期すために、予測モジュール２２８及び１２６のそれぞれが、必ずしも現在のピクチャのマクロブロック内のサンプルを時間的に予測しないことに注意すべきである。むしろ、同じピクチャのサンプルを使用する空間的な予測又はイントラ予測も使用することが可能である。特に、予測の種類を、例えばマクロブロックごとのやり方又は何らかの他の粒度で選択することができる。さらには、本発明は、ビデオコーディングに限られない。むしろ、以上の説明は、静止画のコーディングにも適用可能である。したがって、動き補償の予測ループに関する構成要素１１８、１２８、１３０、１２６及び１２４、ならびに構成要素２２４、２２８及び２２６も、省略することが可能である。同様に、上述したエントロピコーディングも必ずしも実行する必要はない。
【００７９】
さらにより正確には、上述の実施の形態において、ベース層エンコーディング１１８〜１３０、１４２は、すでに不可逆(lossy)にコードされたピクチャの表現にもとづく動き補償による予測にもとづいている。この場合、ベースエンコーディングプロセスの再現を、上記の説明において行われたように高品質の予測の形成プロセスの一部として見ることもできる。しかしながら、ベース表現の可逆エンコーディング(lossless encoding)の場合には、再現が不要であると考えられ、ダウンコンバートされた信号を手段１３２、１３４へそれぞれ直接転送することができる。不可逆なベース層エンコーディング(lossy base layer encoding)における非動き補償ベースの予測の場合には、エンコーダ側においてベース品質信号を再現するための再現が、１０４における高品質の予測の形成にとくに専用であると考えられる。換言すると、構成要素１１６〜１３４及び１４２の手段１０２、１０４及び１０８のそれぞれへの上記の関連付けを、別のやり方で実行することができる。特に、エントロピコーディングモジュール１４２をベースエンコーディング手段１０２の一部として見ることができ、その場合は、予測手段はモジュール１３２及び１３４のみを備え、結合手段１０８はマルチプレクサ１４４のみを備える。この見方は、予測手段２０６が動き補償ベースの予測を含まない点で、図２において使用されたモジュール／手段の組み合わせと関係がある。しかしながら、デマルチプレクサ手段２０２がエントロピモジュール２２０を含まず、ベースデコーディング手段がエントロピデコーディングモジュール２２０をさらに含むと見ることもできる。しかしながら、どちらの見方も、１０４における予測が、品質スケーラブルなビットストリームへ可逆に(losslessly)コードされ、ベース層データストリームから可逆に導出することができる下げられたビット深度及び随意により下げられた空間分解能の元材料の表現にもとづいて実行される点で、同じ結果をもたらす。図１の根底にある見方によれば、予測１３４は、ベースエンコーディングデータストリームの再現にもとづく一方で、別の見方の場合には、再現が、ベース層データストリームへ完全にコードされるためのモジュール１４２による可逆なエンコーディングを欠いているベース品質信号の中間的なエンコード済みバージョン又は途中までエンコードされたバージョンから出発すると考えられる。これに関し、モジュール１１６におけるダウンコンバージョンを、必ずしもエンコーダ１００によって実行しなくてもよいことにさらに注意すべきである。むしろ、エンコーダ１００が、一方が高品質の信号を受信し、他方がダウンコンバートされたバージョンを受信する外部からの２つの入力を有することができる。
【００８０】
上述の実施の形態において、品質スケーラビリティは、ビット深度及び随意による空間分解能にのみ関係している。しかしながら、上述の実施の形態を、時間的なスケーラビリティ、色度フォーマットのスケーラビリティ、及び細かい粒度の品質スケーラビリティを含むように容易に拡張することができる。
【００８１】
したがって、本発明の上述の実施の形態は、局所的な適応が可能な逆トーンマッピングを使用することによって、サンプルのビット深度及び随意による空間分解能に関して、さまざまな粒度でピクチャ又はビデオコンテンツをスケーラブルにコーディングするという考え方を形成している。本発明の実施の形態によれば、Ｈ．２６４／ＡＶＣのスケーラブルなビデオコーディングの拡張に指定されるような時間的及び空間的の両方の予測プロセスが、より低いサンプルビット深度忠実度からより高いサンプルビット深度忠実度へのマッピング、ならびにより低い空間分解能からより高い空間能への随意によるマッピングを含むようなやり方で拡張される。サンプルビット深度及び随意による空間分解能に関するスケーラビリティに向けたＳＶＣの上述の拡張は、エンコーダがビデオシーケンスのベース品質表現を保存することを可能にし、このビデオシーケンスのベース品質表現を、より高いビット深度及び随意によるより高い空間分解能のための向上信号とともに、任意の従来からのビデオデコーダによってデコードすることができる（ただし、従来からのビデオデコーダは、向上信号を無視する）。例えば、ベース品質表現が、ＣＩＦの分解能（すなわち、３５２×２８８のサンプル）のビデオシーケンスの８ビットのバージョンを含むことができる一方で、高品質の向上信号は、同じシーケンスについて４ＣＩＦの分解能（すなわち、７０４×４７６のサンプル）の１０ビットのバージョンへの「改善」を含む。別の構成においては、高品質の向上信号が例えば８ビットから１０ビットへのサンプルビット深度の改善だけを含むように、ベース品質の表現及び向上品質の表現の両方について同じ空間分解能を使用することも可能である。
【００８２】
換言すると、上述の実施の形態は、ベース品質層をコーディングするための標準的なビデオコーディング方法と、再現されたベース品質信号を使用することによって高品質向上層信号の予測を実行するための予測方法と、高品質向上層信号の予測残差のコーディングのための残差コーディング法とを含んでいるビデオ信号の層状の表現のコーディング（すなわち、エンコーディング又はデコーディング）のためのビデオコーダ（すなわち、エンコーダ又はデコーダ）の形成を可能にする。この点に関し、予測を、ベース品質層に関するダイナミックレンジから高品質向上層に関するダイナミックレンジへのマッピング関数を使用することによって実行することができる。さらに、マッピング関数を、上述した逆トーンマッピングの仕組みに従うグローバルマッピング関数と局所的適応との合計として構築することができる。局所的適応は、ｍ・ｘｎに従い、ベース品質層のサンプル値ｘをスケーリングし、オフセット値を加えることによって実行することができる。いずれの場合も、残差コーディングを、Ｈ．２６４／ＡＶＣに従って実行することができる。
【００８３】
実際の実施例に応じて、本発明のコーディングの仕組みを、ハードウェア又はソフトウェアにて実現することが可能である。したがって、本発明は、コンピュータにとって読み取り可能な媒体（ＣＤ、ディスク、又は他の任意のデータ担体など）に保存することができるコンピュータプログラムにも関する。したがって、本発明は、コンピュータ上で実行されたときに上述の図に関して説明された本発明の方法を実行するプログラムコードを有しているコンピュータプログラムでもある。特に、図１及び２の手段及びモジュールの実施例は、例えばＣＰＵ上で動作するサブルーチン、ＡＳＩＣなどの回路の各部などを含むことができる。
【図１】
2011517245.tif 000004
【図２】
2011517245.tif 000005
【図３】
2011517245.tif 000006
【図４】
2011517245.tif 000007
【図５】
2011517245.tif 000008
【図６】
2011517245.tif 000009
【図７】
2011517245.tif 000010
【図８】
2011517245.tif 000011
【国際調査報告】
2011517245.tif 000012
2011517245.tif 000013