(57)【要約】  本発明は、ビデオをデータストリーム（１４０’）に符号化するためのビデオエンコーダ（１４１）であって、ビデオエンコーダ（１４１）は、ビデオがデータストリーム（１４０’）に符号化される時間的階層に対するビデオのフレーム（１４２’ａから１４２’ｅ）の関連付けに応じて、量子化パラメータ−ＱＰ−が適用される粒度を変化させるように構成されている、ビデオエンコーダ（１４１）に関する。本発明はまた、それぞれのデコーダ（２４１）、符号化および復号化のそれぞれの方法、ならびに前記方法を実施するためのコンピュータプログラムにも関する。
2021515470.tif 000002
【特許請求の範囲】
【請求項１】
ビデオをデータストリーム（１４０’）に符号化するためのビデオエンコーダ（１４１）であって、前記ビデオエンコーダ（１４１）は、前記ビデオが前記データストリーム（１４０’）に符号化される時間的階層に対する前記ビデオのフレーム（１４２’ａから１４２’ｅ）の関連付けに応じて、量子化パラメータ−ＱＰ−が適用される粒度を変化させるように構成されている、ビデオエンコーダ（１４１）。
【請求項２】
前記ビデオエンコーダ（１４１）は、時間的階層符号化スキームを使用するように構成されており、少なくとも１つのフレーム（１４２’ａ）もしくは前記少なくとも１つのフレーム（１４２’ａ）の空間または彩度サブセット（１４４’１、１４４’２）は第１時間的階層に関連付けられ、少なくとも１つのさらなるフレーム（１４２’ｄ）もしくは前記１つのさらなるフレーム（１４２’ｄ）の空間または彩度サブセットは第２時間的階層に関連付けられている、請求項１に記載のビデオエンコーダ（１４１）。
【請求項３】
前記ビデオエンコーダ（１４１）は、符号化中に、所定の時間的階層に関連付けられた、１つ以上のフレーム（１４２’ａから１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＱＰ情報を前記データストリーム（１４０’）に符号化するのを省略するように構成されている、請求項１または２に記載のビデオエンコーダ（１４１）。
【請求項４】
前記ビデオエンコーダ（１４１）は、微分量子化パラメータ−ＤＱＰ−ベース符号化スキームを使用するように構成されており、前記ビデオエンコーダ（１４１）は、ＤＱＰベース符号化を無効化し、符号化中に、所定の時間的階層に関連付けられている、１つ以上のフレーム（１４２’ａから１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）に符号化するのを省略するように構成されている、請求項１から３のいずれか一項に記載のビデオエンコーダ（１４１）。
【請求項５】
前記ビデオエンコーダ（１４１）は、最上位の時間的階層に関連付けられている、１つ以上のフレーム（１４２’ａから１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）に符号化するのを省略するように構成されている、請求項４に記載のビデオエンコーダ（１４１）。
【請求項６】
前記ビデオエンコーダ（１４１）は、
フレーム（１４２’ａから１４２’ｅ）もしくは前記フレームの空間または彩度サブセットが関連付けられている時間的階層のインデックスを決定し、
前記インデックスを所定のインデックス閾値と比較する
ように構成されており、
前記インデックスが前記インデックス閾値以下である場合、前記ビデオエンコーダ（１４１）は、前記ＤＱＰベース符号化スキームを有効化し、前記インデックス閾値以下のインデックスを有する前記時間的階層に関連付けられているこれらのフレーム（１４２’ａ、１４２’ｂ、１４２’ｃ）について、ＤＱＰ情報を前記データストリーム（１４０’）に符号化するように構成されており、または
前記インデックスが前記インデックス閾値よりも大きい場合、前記ビデオエンコーダ（１４１）は、ＤＱＰベース符号化を無効化し、ＤＱＰ情報を前記データストリーム（１４０’）に符号化するのを省略し、前記インデックス閾値よりも大きいインデックスを有する前記時間的階層に関連付けられているこれらのフレーム（１４２’ｄ、１４２’ｅ）のＤＱＰ情報を前記データストリーム（１４０’）が含んでいないことを示すフラグ（１６５）を前記データストリーム（１４０’）に設定するように、構成されている、
請求項４または５に記載のビデオエンコーダ（１４１）。
【請求項７】
前記ビデオエンコーダ（１４１）は、ランダムアクセス−ＲＡ−符号化スキームを使用するように構成されており、前記ビデオエンコーダ（１４１）は、前記フレーム（１４２’ａから１４２’ｅ）を並べ替え、奇数の画像順序数−ＰＯＣ−を含む、および／または前記所定のインデックス閾値を超えるインデックスを有する時間的階層に関連付けられた、１つ以上のフレーム（１４２’ａから１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）に符号化するように構成されている、請求項６に記載のビデオエンコーダ（１４１）。
【請求項８】
前記ビデオエンコーダ（１４１）は、前記フラグ（１６５）をエントロピー符号化し、前記データストリーム（１４０’）の開始時に前記フラグ（１６５）を送信するように、またはランダムアクセス符号化スキームが使用される場合には、前記データストリーム（１４０’）のランダムアクセスポイントの開始時に前記フラグ（１６５）を送信するように構成されている、請求項６または７に記載のビデオエンコーダ（１４１）。
【請求項９】
データストリーム（１４０’）からビデオを復号化するためのビデオデコーダ（２４１）であって、前記ビデオデコーダ（２４１）は、時間的階層に対する前記ビデオのフレーム（１４２’ａから１４２’ｅ）の関連付けに応じて量子化パラメータ−ＱＰ−が適用される粒度を変化させるように構成されている、ビデオデコーダ（２４１）。
【請求項１０】
前記ビデオデコーダ（２４１）は、時間的階層符号化スキームを使用するように構成されており、少なくとも１つのフレーム（２４１’ａ）もしくは前記少なくとも１つのフレーム（１４２’ａ）の空間または彩度サブセット（１４４’１、１４４’２）は第１時間的階層に関連付けられ、少なくとも１つのさらなるフレーム（１４２’ｄ）もしくは前記１つのさらなるフレームの空間または彩度サブセットは第２時間的階層に関連付けられている、請求項９に記載のビデオデコーダ（２４１）。
【請求項１１】
前記ビデオデコーダ（２４１）は、復号化中に、所定の時間的階層に関連付けられた、１つ以上のフレーム（１４２’ｄ、１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＱＰ情報を前記データストリーム（１４０’）から復号化するのを省略するように構成されている、請求項９または１０に記載のビデオデコーダ（２４１）。
【請求項１２】
前記ビデオデコーダ（２４１）は、微分量子化パラメータ−ＤＱＰ−ベース符号化スキームを使用するように構成されており、前記デコーダ（２４１）は、前記ＤＱＰベース符号化を無効化し、復号化中に、所定の時間的階層に関連付けられた、１つ以上のフレーム（１４２’ｄ、１４２’ｅ）または前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）から復号化するのを省略するように構成されている、請求項９から１１のいずれか一項に記載のビデオデコーダ（２４１）。
【請求項１３】
前記ビデオデコーダ（２４１）は、ＤＱＰベース符号化スキームを使用するように構成されており、前記ビデオデコーダ（２４１）は、前記ＤＱＰベース符号化を無効化し、復号化中に、最上位の時間的階層に関連付けられた、１つ以上のフレーム（１４２’ｄ、１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）から復号化するのを省略するように構成されている、請求項９から１２のいずれか一項に記載のビデオデコーダ（２４１）。
【請求項１４】
前記ビデオデコーダ（２４１）は、ＤＱＰベース符号化スキームを使用するように構成されており、前記ビデオデコーダ（２４１）は、前記ＤＱＰベース符号化を無効化し、奇数の画像順序数−ＰＯＣ−を含む、および／または所定の時間的階層に関連付けられた、１つ以上のフレーム（１４２’ｄ、１４２’ｅ）もしくは前記１つ以上のフレームの空間または彩度サブセットについて、ＤＱＰ情報を前記データストリーム（１４０’）から復号化するのを省略するように構成されている、請求項９から１３のいずれか一項に記載のビデオデコーダ（２４１）。
【請求項１５】
前記ビデオデコーダ（２４１）は、
前記データストリーム（１４０’）からフラグ（１６５）を導出するように構成されており、前記フラグ（１６５）は、フレーム（１４２’ａから１４２’ｅ）もしくは前記フレームの空間または彩度サブセットが関連付けられている時間的階層のインデックスに基づいて、前記フレーム（１４２’ａから１４２’ｅ）もしくは前記フレームの前記空間または彩度サブセットを復号化する方法を示し、
前記フラグ（１６５）が設定されている場合、前記デコーダ（２４１）は、前記ＤＱＰベース符号化を無効化し、前記データストリーム（１４０’）からＤＱＰ情報を復号化するのを省略し、所定の量子化を使用して、前記フレーム（１４２’ｄ、１４２’ｅ）もしくは前記フレームの空間または彩度サブセットを逆量子化するように構成されている
請求項１２から１４のいずれか一項に記載のビデオデコーダ（２４１）。
【請求項１６】
前記ビデオデコーダ（２４１）は、前記フラグ（１６５）をエントロピー復号化し、前記データストリーム（１４０’）の開始時から前記フラグ（１６５）を導出し、またはランダムアクセス符号化スキームが使用される場合には、前記データストリーム（１４０’）のランダムアクセスポイントの開始時から前記フラグ（１６５）を導出するように構成されている、請求項１５に記載のビデオデコーダ（２４１）。
【請求項１７】
ビデオをデータストリーム（１４０’）に符号化する方法であって、前記方法は、
前記ビデオを符号化する際に量子化パラメータ−ＱＰ−を適用するステップと、
前記ビデオが前記データストリーム（１４０’）に符号化される時間的階層に対する前記ビデオのフレーム（１４２’ａから１４２’ｅ）の関連付けに応じて、前記量子化パラメータ−ＱＰ−が適用される粒度を変化させるステップと
を含む方法。
【請求項１８】
データストリーム（１４０’）からビデオを復号化する方法であって、前記方法は、
前記ビデオを復号化する際に量子化パラメータ−ＱＰ−を適用するステップと、
時間的階層に対する前記ビデオのフレーム（１４２’ａから１４２’ｅ）の関連付けに応じて前記量子化パラメータ−ＱＰ−が適用される粒度を変化させるステップと
を含む方法。
【請求項１９】
コンピュータまたは信号プロセッサ上で実行されるときに請求項１７または１８の方法を実施するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像コーデックおよび／またはたとえばハイブリッドビデオコーデックなどのビデオコーデックで使用するための符号化概念に関する。
【背景技術】
【０００２】
最新の知覚画像およびビデオコーデックは、エンコーダでは、その量子化に先立って変換係数を正規化するための除数として採用され、デコーダでは、再構築のための量子化された係数値をスケーリングするために採用されるレート制御に、量子化パラメータ−ＱＰ−を適用する。
【０００３】
いくつかのコーデック、たとえば［１］で指定されるようないわゆる高効率ビデオ符号化−ＨＥＶＣ−では、ＱＰ値は微分的に、すなわち前に符号化されたＱＰ値との差分として、Ｎ×Ｎブロックごとに、Ｎ＝８、１６、３２、または６４で、ほぼ１ｄＢのステップサイズを有する対数目盛上で符号化されることが可能である。
【０００４】
エンコーダ：ｑ＝ｒｏｕｎｄ（６ｌｏｇ２（ＱＰ＋４）、デコーダ：ＱＰ’＝２（ｑ−４）／６（１）
ここで、ｑは符号化されたＱＰインデックスであり、’は再構築を示す。微分ｑインデックスは通常、たとえばハフマンまたは算術符号化技術によって、エントロピー符号化される。なお、ＱＰ’はＱＰ量子化によるあらゆるエラー伝播の影響を回避するために、エンコーダ側正規化でも利用されることに留意されたい。知覚的ＱＰ適応方法は、所与のビットレート、すなわちビットストリームサイズのために（１つまたは複数の）入力画像の知覚的再構築品質を改善するために、前記画像の特性に基づいてローカルにｑを調整する。例示的なアプローチは、欧州特許出願第１７１９２４７７号［２］で提供されている。
【０００５】
上述の符号化概念は、ビットストリームサイズの削減を可能にする。
【０００６】
しかしながら、ビットストリームサイズをさらに削減するための符号化概念を提供することが望ましいだろう。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】欧州特許出願第１７１９２４７７号［２］
【発明の概要】
【発明が解決しようとする課題】
【０００８】
したがって、本発明の目的は、より効率的な静止画像および／またはビデオ符号化の概念を提供することである。
【課題を解決するための手段】
【０００９】
この目的は、本出願の独立請求項の主題によって達成される。
【００１０】
第１の態様は、ビデオをデータストリームに符号化するためのビデオエンコーダであって、ビデオエンコーダは、ビデオがデータストリームに符号化される時間的階層に対するビデオのフレームの関連付けに応じて、量子化パラメータ−ＱＰ−が適用される粒度を変化させるように構成されている、ビデオエンコーダに関する。
【００１１】
第２の態様は、データストリームからビデオを復号化するためのビデオデコーダであって、ビデオデコーダは、時間的階層に対するビデオのフレームの関連付けに応じて量子化パラメータ−ＱＰ−が適用される粒度を変化させるように構成されている、ビデオデコーダに関する。
【００１２】
第３の態様は、ビデオをデータストリームに符号化する方法であって、ビデオを符号化する際に量子化パラメータ−ＱＰ−を適用するステップと、ビデオがデータストリームに符号化される時間的階層に対するビデオのフレームの関連付けに応じて、量子化パラメータ−ＱＰ−が適用される粒度を変化させるステップとを含む方法に関する。
【００１３】
第４の態様は、データストリームからビデオを復号化する方法であって、時間的階層にビデオを復号化する際に量子化パラメータ−ＱＰ−を適用するステップと、時間的階層に対するビデオのフレームの関連付けに応じて量子化パラメータ−ＱＰ−が適用される粒度を変化させるステップとを含む方法に関する。
【００１４】
第５の態様によれば、コンピュータプログラムであって、コンピュータプログラムの各々は、コンピュータまたは信号プロセッサ上で実行されると上記の方法を実施するように構成されており、そのためコンピュータプログラムの１つによって上記の方法が実行されるようになっている、コンピュータプログラムが提供される。
【００１５】
本発明は、フレーム、またはフレームの空間または彩度サブセットに量子化パラメータ−ＱＰ−を選択的に送信および適用することで、少ないながらもかなりの量だけ全体的なビットストリームサイズを削減し得るという発見に基づいている。一般に、ＱＰは、各フレームに対してグローバルに適用され得る。このようなグローバルＱＰは、所定の固定値を含み得る。ＱＰはまた、ローカルＱＰとしてフレームまたはフレームの空間または彩度サブセットにローカルに適用されてもよい。本明細書においてサブセットという用語が使用される限り、これは空間サブセットおよび彩度サブセットを含む。フレームの空間サブセットは、たとえば、ブロックベースの変換コーデックで使用され得るスライスまたはブロックであり得、その一方でフレームの彩度サブセットは、（輝度値／輝度チャネルまたは成分または平面または別の色チャネルまたは成分または平面とは対照的に）前記フレームの特定の色チャネル、または色成分、または色平面であり得る。さらに、ＱＰ、特にローカルＱＰは、前に符号化されたＱＰとの差分として微分的に符号化され得る。このような微分的に符号化されたＱＰは、微分量子化パラメータ−ＤＱＰ−とも呼ばれ得る。本発明では、ＱＰが符号化の際にフレームまたはフレームのサブセットに適用され得る粒度は、フレームごとに、またはフレームのサブセットごとにも、選択的に変化することができる。前記変化する粒度は、どのグラデーションでエンコーダがフレームまたはフレームのサブセットにＱＰを適用し得るか、たとえばローカルＱＰまたはローカルＱＰ適応目的か否か、または符号化の際にローカルＱＰのないグローバルＱＰのみが適用され得るのか否かを定義し得る。後者の場合、ローカルＱＰ適応は実行されなくてもよい。言い換えると、データストリーム中のローカルＱＰ情報は、それぞれのフレームまたは前記フレームの空間または彩度サブセット（たとえば、スライスまたはチャネルまたは平面）のローカルＱＰ適応に使用され得る。上述のように、たとえばＤＱＰはローカルＱＰであってもよい。本発明によれば、本発明のエンコーダは、フレームの選択されたものに、または少なくとも前記フレームの選択されたサブセットに、ＱＰ適応を適用しないように、特にローカルＱＰ適応を適用しないように、選択的に選ぶことができる。したがって、ＱＰ適応が意図されないこれら１つ以上の選択されたフレームのデータストリームには、利用可能なローカルＱＰ情報がない場合がある。言い換えると、本発明のエンコーダは、ビデオのフレームの選択されたもの、または少なくとも前記フレームの選択されたサブセットのための適応可能なＱＰベース符号化、特に適応可能なローカルＱＰベース符号化を選択的に無効化することができる。したがって、本発明のエンコーダは、ＱＰ情報、特にローカルＱＰ情報をデータストリームに符号化しないように構成されてもよく、これは全体的なビットストリームサイズの節約につながり得る。たとえば、本発明のエンコーダは、グローバルＱＰ情報をデータストリームに符号化し得るが、これはローカルＱＰ情報、たとえばＤＱＰをデータストリームに符号化するのを選択的に省略してもよい。結果として、ローカルＱＰ適応は、フレームの選択されたもの、または前記フレームの空間または彩度サブセットのために選択的に省略され得る。本発明のエンコーダは、符号化中に、ＱＰ、たとえばグローバルＱＰおよび／またはローカルＱＰを適用する前記粒度を変化させるように構成されてもよい。つまり、エンコーダは、（ローカル）ＱＰベース符号化スキームを使用してもよく、（ローカル）ＱＰベース符号化スキームが選択的に無効化される個別のフレーム、または前記フレームのサブセットを選択してもよい。結果として、符号化されたデータストリームは、（ローカル）ＱＰベース符号化スキーム、たとえばＤＱＰベース符号化スキームを使用して符号化された可能性のあるフレーム、またはフレームのサブセットを含んでもよく、データストリームはまた、（ローカル）ＱＰベース符号化スキームを使用して符号化されていない可能性のあるフレーム、またはフレームのサブセットも同時に含んでもよい。したがって、データストリームは、いくつかのフレーム、またはフレームのサブセットについて、（ローカル）ＱＰ情報、たとえばＤＱＰ値を含んでもよく、データストリームは、（ローカル）ＱＰ情報が利用できない他のいくつかのフレームを含んでもよい。従来技術では、単に（ローカル）ＱＰベース符号化スキームを使用する機能のみが、ストリームの最初に通知され得る。このため、従来技術では、（ローカル）ＱＰベース符号化、たとえばＤＱＰベース符号化は、符号化の前にストリーム全体について有効化または無効化されるだけでよいが、本発明は、データストリームに含まれる、単一のフレーム、またはフレームの単一の空間または彩度サブセットについて、（ローカル）ＱＰ符号化を選択的かつ個別に無効化し得る。また、本発明のエンコーダは、符号化中にこれを行うことができる。本発明のエンコーダは、階層順に基づいて、前記個別のまたは単一のフレームを選択するように構成されてもよい。たとえば、時間的階層画像およびビデオ符号化用途では、入力フレーム、またはフレームの空間または彩度サブセットは、異なる時間的階層に関連付けられてもよい。前記異なる時間的階層は、フレーム、またはフレームの空間または彩度サブセットが符号化され得る時間順を示し得る。たとえば、第１時間的階層に関連付けられたフレーム、またはフレームのサブセットは、第２時間的階層に関連付けられたフレーム、またはフレームのサブセットの前に符号化され得る。典型的な例は、イントラオンリーフレームとも呼ばれるランダムアクセスポイント（ＲＡＰ）フレームであり、これは、先に復号化されたいずれのフレームにも依存することなく符号化および復号化可能である（可能でなければならない）。このため、これは通常、時間的階層の最も低い階数（通常はゼロ）を示す。本発明のエンコーダは、第１時間的階層に関連付けられたこれらのフレーム、またはフレームのサブセットについて（ローカル）ＱＰベース符号化スキームを有効化することができ、これは第２時間的階層に関連付けられたこれらのフレーム、またはフレームのサブセットについて（ローカル）ＱＰベース符号化スキームを無効化することができる。一般的に言えば、第２時間的階層は第１時間的階層よりも高い階数を有することができ、したがって、第１の時間的階層順に関連付けられているフレームは、第２時間的階層に関連付けられているフレームに先立って符号化および／または復号化され得る。たとえば、本発明のエンコーダは、ローカルＱＰ、たとえばＤＱＰ値を、より低い、すなわち第１時間的階層に関連付けられたこれらのフレームのサブセット、またはフレームのサブセットに適用してもよく、より高い、すなわち第２時間的階層に関連付けられたこれらのフレームのサブセット、またはフレームのサブセットについては、ローカルＱＰを適用しなくてもよい。結果として、本発明のエンコーダは、ビデオがデータストリームに符号化される時間的階層に対するビデオのフレーム、またはフレームのサブセットの関連付けに応じて、ＱＰが適用される粒度を選択的に変化させることができる。
【００１６】
本発明の有利な態様は、従属請求項の主題である。本出願の好適な実施形態は、以下の図面を参照して後述される。
【図面の簡単な説明】
【００１７】
【図１】本出願の実施形態によるイントラ予測概念が実装され得るエンコーダの例として画像を予測符号化するための装置のブロック図である。
【図２】本出願の実施形態によるイントラ予測概念が実装され得るデコーダの例として、図１の装置に適合する、画像を予測復号化するための装置のブロック図である。
【図３】それぞれ符号化モード選択、変換選択、および変換性能の細分化を設定する可能性を示すように、予測残差信号、予測信号、および再構築信号の間の関係の例を示す概略図である。
【図４】一実施形態によるエンコーダの概略ブロック図である。
【図５Ａ】時間的階層符号化スキームにおいてフレームを並べ替える例を示す。
【図５Ｂ】時間的階層符号化スキームにおいてフレームを並べ替える例を示す。
【図６】一実施形態によるエンコーダの概略ブロック図を示す。
【図７】一実施形態によるデコーダの概略ブロック図を示す。
【図８】一実施形態によるデコーダの概略ブロック図を示す。
【図９】一実施形態による、ビデオをデータストリームに符号化する方法の概略ブロック図を示す。
【図１０】一実施形態による、データストリームからビデオを複合化する方法の概略ブロック図を示す。
【発明を実施するための形態】
【００１８】
以下の説明において、等しいかまたは同等の要素、もしくは等しいかまたは同等の機能を有する要素は、等しいかまたは同等の参照番号で示される。
【００１９】
以下の図面の説明は、実施形態が組み込まれ得る符号化フレームワークの例を形成するためにビデオの画像を符号化するためのブロックベースの予測コーデックのエンコーダおよびデコーダの説明の提示で始まる。先のエンコーダおよびデコーダは、図１から図３を参照して説明される。以下、本出願の概念の実施形態の説明は、このような概念がどのようにしてそれぞれ図１および図２のエンコーダおよびデコーダに組み込まれ得るかという説明とともに提示されるが、後続の図４および以下で説明される実施形態もまた、図１および図２のエンコーダおよびデコーダの基礎となる符号化フレームワークにしたがって動作しないエンコーダおよびデコーダを形成するために使用され得る。
【００２０】
図１は、例示的に変換ベースの残差符号化を使用して、画像１２をデータストリーム１４に予測符号化するための装置を示す。装置、またはエンコーダは、参照符号１０を使用して示される。図２は、対応するデコーダ２０、すなわちやはり変換ベースの残差復号化を使用してデータストリーム１４から画像１２’を予測復号化するように構成された装置２０を示し、アポストロフィは、デコーダ２０によって再構築された画像１２’が予測残差信号の量子化によって導入された符号化損失に関して装置１０によって元々符号化された画像１２から逸脱していることを示すために使用されている。図１および図２は変換ベースの予測残差符号化を例示的に使用しているが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、以下に概説されるように、図１および図２に関して説明される他の詳細にも当てはまる。
【００２１】
エンコーダ１０は、予測残差信号を空間からスペクトルへの変換にかけ、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成されている。同様に、デコーダ２０は、データストリーム１４から予測残差信号を復号化し、こうして得られた予測残差信号をスペクトルから空間への変換にかけるように構成されている。
【００２２】
内部的には、エンコーダ１０は、元の信号からの、すなわち画像１２からの予測信号２６の偏差を測定するように予測残差２４を生成する、予測残差信号形成器２２を含み得る。予測残差信号形成器２２は、たとえば、元の信号から、すなわち画像１２から予測信号を減算する減算器であってもよい。次いでエンコーダ１０は、やはりエンコーダ１０に含まれる、量子化器３２によって後に量子化を受けるスペクトル領域予測残差信号２４’を取得するために、予測残差信号２４を空間からスペクトルへの変換にかける変換器２８をさらに含む。こうして量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。この目的のために、エンコーダ１０は、任意選択的に、データストリーム１４に変換および量子化された予測残差信号をエントロピー符号化するエントロピー符号化器３４を含んでもよい。予測残差２６は、データストリーム１４に符号化され、データストリーム１４から復号化可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測段３６によって生成される。この目的のために、予測段３６は、図１に示されるように、スペクトル領域予測残差信号２４’’’を取得するように予測残差信号２４’’を逆量子化する逆量子化器３８を内部に含んでもよく、これは量子化損失を除いて信号２４’に対応し、続いて量子化損失を除いて元の予測残差信号２４に対応する予測残差信号２４’’’’を取得するために、後者の予測残差信号２４’’’を逆変換に、すなわちスペクトルから空間への変換にかける逆変換器４０を含む。次いで予測段３６のコンバイナ４２は、再構築信号４６、すなわち元の信号１２の再構築を取得するように、加算などによって、予測信号２６および予測残差信号２４’’’’を再結合する。再構築信号４６は、信号１２’に対応し得る。次いで予測段３６の予測モジュール４４は、たとえば空間予測、すなわちイントラ予測、および／または時間予測、すなわちインター予測、および／または彩度予測、すなわちクロスコンポーネント予測を使用することにより、信号４６に基づいて予測信号２６を生成する。
【００２３】
同様に、図２に示されるように、デコーダ２０は、予測段３６に対応し、これに対応する方法で相互接続されたコンポーネントで内部的に構成されてもよい。特に、デコーダ２０のエントロピーデコーダ５０は、データストリームから量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号化してもよく、その際に、予測段３６に関して上記で説明された方法で相互接続および協働する逆量子化器５２、逆変換器５４、コンバイナ５６、および予測モジュール５８は、図２に示されるように、コンバイナ５６の出力が再構築信号、すなわち画像１２’を生じるように、予測残差信号２４’’に基づいて再構築信号を回復する。
【００２４】
上記で具体的に説明されていないが、エンコーダ１０が、たとえば何らかのレートおよび歪みに関する基準、すなわち符号化コストを最適化する方法などで、何らかの最適化スキームにしたがって、たとえば予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定し得ることは、容易に明らかである。たとえば、エンコーダ１０およびデコーダ２０ならびに対応するモジュール４４、５８はそれぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートし得る。エンコーダおよびデコーダがこれらの予測モードタイプの間で切り替わる粒度は、それぞれ符号化セグメントおよび符号化ブロックへの画像１２および１２’の細分化に対応し得る。たとえばこれらの符号化セグメントの単位で、画像は、イントラ符号化されているブロックおよびインター符号化されているブロックに細分割され得る。イントラ符号化ブロックは、以下により詳細に概説されるように、それぞれのブロックの空間的なすでに符号化／復号化された近傍に基づいて予測される。それぞれのイントラ符号化セグメントへの、それぞれの方向イントラ符号化モードに固有の特定の方向に沿って近傍のサンプル値を推定することによってそれぞれのセグメントが満たされる方向または角度イントラ符号化モードを含む、それぞれのイントラ符号化セグメントに対していくつかのイントラ符号化モードが存在でき、選択され得る。イントラ符号化モードはまた、たとえば、それぞれのイントラ符号化ブロックの予測がそれぞれのイントラ符号化セグメント内の全てのサンプルにＤＣ値を割り当てるＤＣ符号化モード、および／またはそれぞれのブロックの予測が、隣接するサンプルに基づく二次元一次関数によって定義された平面の駆動の傾きおよびずれを伴うそれぞれのイントラ符号化ブロックのサンプル位置に対する二次元一次関数によって記述されるサンプル値の空間分布に近づくように、またはそうなるように決定される平面イントラ符号化モードなど、１つ以上のさらなるモードを含み得る。これと比較して、インター符号化ブロックは、たとえば、時間的に予測され得る。インター符号化ブロックでは、動きベクトルはデータストリーム内で通知されてもよく、動きベクトルは、画像１２が属するビデオの前に符号化された画像の一部の空間変異を示し、そこで前に符号化／復号化された画像は、それぞれのインター符号化ブロックの予測信号を取得するためにサンプリングされる。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化された変換係数レベルなど、データストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４が、符号化モードを様々なブロックに割り当てるための符号化モードパラメータ、インター符号化セグメントの動きパラメータなどのブロックのいくつかの予測パラメータ、および任意選択的に画像１２および１２’のそれぞれのセグメントへの細分化を制御および通知するためのパラメータなどのさらなるパラメータを符号化していてもよいことを意味する。デコーダ２０は、エンコーダが行ったのと同じ方法で画像を細分割するため、セグメントに同じ予測モードを割り当てるため、および同じ予測信号をもたらす量に同じ予測を実行するために、これらのパラメータを使用する。
【００２５】
図３は、一方では再構築信号、すなわち再構築された画像１２’と、他方ではデータストリーム内で通知された予測残差信号２４’’’’と予測信号２６との組み合わせとの間の関係を示す。すでに上で示されたように、組み合わせは加算であり得る。予測信号２６は、ハッチングを用いて例示的に示されたイントラ符号化ブロック、およびハッチングなしで例示的に示されたインター符号化ブロックへの画像領域の細分化として、図３に示されている。細分化は、１つまたは複数のブロックの行と列への画像領域の通常の細分化、または四分木細分化などのような様々なサイズのリーフブロックへの画像１２のマルチツリー細分化のような、いずれのブロックへの細分化であってもよく、これらを混合したものが図３に示されており、ここで画像領域は最初にツリールートブロックの行と列に細分割され、次いで再帰的マルチツリー細分化にしたがってさらに細分割される。再び、データストリーム１４は、イントラ符号化ブロック８０のためにその中に符号化されたイントラ符号化モードを有することができ、これにより、いくつかのサポートされたイントラ符号化モードの１つをそれぞれのイントラ符号化ブロック８０に割り当てる。さらなる詳細が、以下で説明される。インター符号化ブロック８２では、データストリーム１４は、この中に符号化された１つ以上の動きパラメータを有し得る。一般的に言えば、インター符号化ブロック８２は、時間的に符号化されることに限定されない。あるいは、インター符号化ブロック８２は、画像１２が属するビデオの前に符号化された画像、もしくはエンコーダおよびデコーダがそれぞれスケーラブルエンコーダおよびデコーダである場合には別のビューまたは階層的に下位の層の画像など、現在の画像１２自体を超えて前に符号化された部分から予測されたいずれのブロックであってもよい。図３の予測残差信号２４’’’’もまた、ブロック８４への画像領域の細分化として示されている。これらのブロックは、符号化ブロック８０および８２と区別するために、変換ブロックと呼ばれてもよい。実際には、図３は、エンコーダ１０およびデコーダ２０が、２つのブロックへのそれぞれ画像１２および画像１２’の２つの異なる細分化、すなわち１つはそれぞれ符号化ブロック８０および８２への細分化、もう１つはブロック８４への細分化を使用し得ることを示している。両方の細分化は同じであってもよく、すなわち、各符号化ブロック８０および８２は同時に変換ブロック８４を形成し得るが、図３は、たとえば、変換ブロック８４への細分化が、ブロック８０および８２の２つのブロック間のいずれの境界も２つのブロック８４間の境界に重なるように、または別の言い方をすれば、各ブロック８０／８２が変換ブロック８４の１つと一致するかまたは変換ブロック８４のクラスタと一致するように、符号化ブロック８０／８２への細分化の拡張部を形成するケースを示している。しかしながら、細分化はまた、変換ブロック８４が代替的にブロック８０／８２間のブロック境界を横断できるように、互いに独立して決定または選択されてもよい。このため、変換ブロック８４への細分化に関する限り、ブロック８０／８２への細分化に関して進められてきたものと類似の内容が当てはまり、すなわちブロック８４は、（行と列への配置の有無にかかわらず）ブロックへの画像領域の通常の細分化の結果、画像領域の再帰的マルチツリー細分化の結果、またはこれらの組み合わせ、またはその他いずれかの種類のブロック化であり得る。単なる余談として、ブロック８０、８２、および８４が二次、矩形、またはその他いずれかの形状に限定されないことに留意されたい。
【００２６】
図３は、予測信号２６および予測残差信号２４’’’’の組み合わせが直接的に再構築信号１２’をもたらすことを示している。しかしながら、代替実施形態によれば、画像１２’をもたらすために２つ以上の予測信号２６が予測残差信号２４’’’’と組み合わせられてもよいことに留意すべきである。
【００２７】
図３では、変換セグメント８４は、以下の重要性を有することになる。変換器２８および逆変換器５４は、これらの変換セグメント８４の単位で変換を実行する。たとえば、多くのコーデックは、全ての変換ブロック８４に何らかの種類のＤＳＴまたはＤＣＴを使用する。いくつかのコーデックは、変換セグメント８４のいくつかについて、予測残差信号が空間領域内で直接符号化されるように、変換をスキップできるようにする。しかしながら、以下で説明される実施形態によれば、エンコーダ１０およびデコーダ２０は、いくつかの変換をサポートするように構成されている。たとえば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含むことができる。
【００２８】
・ＤＣＴ−ＩＩ（またはＤＣＴ−ＩＩＩ）、ＤＣＴは離散コサイン変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）の略
・ＤＳＴ−ＩＶ、ＤＳＴは離散サイン変換（Ｄｉｓｃｒｅｔｅ  Ｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）の略
・ＤＣＴ−ＩＶ
・ＤＳＴ−ＶＩＩ
・恒等変換（Ｉｄｅｎｔｉｔｙ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ＩＴ）
当然ながら、変換器２８はこれらの変換の順方向変換バージョンの全てをサポートするが、デコーダ２０または逆変換器５４は、これらの対応する逆方向または逆バージョンをサポートする。
【００２９】
・逆ＤＣＴ−ＩＩ（または逆ＤＣＴ−ＩＩＩ）
・逆ＤＳＴ−ＩＶ
・逆ＤＣＴ−ＩＶ
・逆ＤＳＴ−ＶＩＩ
・恒等変換（Ｉｄｅｎｔｉｔｙ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：ＩＴ）
以下の説明は、変換がエンコーダ１０およびデコーダ２０によってサポートされ得ることについてさらなる詳細を提供する。いずれの場合も、サポートされる変換のセットが、１つのスペクトルから空間へ、または空間からスペクトルへの変換など、１つの変換のみを含み得ることに留意すべきである。
【００３０】
すでに上記で概説されたように、図１から図３は、以下でさらに説明されるイントラ予測概念が、本出願によるエンコーダおよびデコーダの具体例を形成するために実装され得る例として、提示されてきた。これまでのところ、それぞれ図１および図２のエンコーダおよびデコーダは、本明細書で以下に説明されるエンコーダおよびデコーダの可能な実装を表している。以下でより詳細に概説されるように、図１および図２のエンコーダおよびデコーダに組み込まれた本出願によるイントラ予測について以下で説明される実施形態を有するとき、図１のエンコーダおよび図２のデコーダは、少なくとも１つの意見として、以下でより詳細に概説されるような方法でイントラ予測されたブロック８０を処理することをサポートする。このため、以下で説明される実施形態は、以下でより詳細に概説されるような方法でイントラ符号化ブロック８０を扱う図１のエンコーダ１０に等しいエンコーダを指し、したがって、以下でより詳細に概説されるような方法でイントラ符号化ブロックが扱われる一実施形態によるデコーダの例を表す図２のデコーダについても、同じことが当てはまる。しかしながら、図１および図２は単なる例である。しかしながら、本出願の実施形態によるエンコーダは、以下でより詳細に概説され、図１のエンコーダとは異なる概念を使用して、画像１２のブロックベースの符号化を実行し得るが、異なる点はたとえば、これがビデオエンコーダではなく静止画像エンコーダであること、インター予測をサポートしないこと、またはブロック８０への細分化が図３で例示されたのとは異なる方法で実行されること、またはこのエンコーダが、たとえば代わりに直接空間領域内で予測残差を符号化しながら変換予測残差符号化を使用しないことである。同様に、本出願の実施形態によるデコーダは、以下でさらに概説されるイントラ予測符号化概念を使用して、データストリーム１４からの画像１２’のブロックベースの復号化を実行するが、たとえば、これがビデオデコーダではなく静止画像デコーダであること、イントラ予測をサポートしないこと、または図３に関して説明されたのとは異なる方法で画像１２’をブロックに細分化すること、および／または変換領域ではなくたとえば空間領域内で、データストリーム１４から予測残差を導出しないことが、図２のデコーダ２０とは異なり得る。
【００３１】
図４は、本開示によるエンコーダ１４１の一実施形態を示す。画像のグループ−ＧＯＰ−１４３は、１つ以上の画像１４２ａから１４２ｅを含み得る。前記画像１４２ａから１４２ｅは、フレームとも呼ばれ得る。フレーム１４２ａから１４２ｅは、空間サブセットに細分化され得る。たとえば、フレーム１４２ａは、１つ以上のスライス１４４１、１４４２に細分化されてもよい。あるいは、または追加で、フレーム１４２ａはまた、１つ以上の彩度チャネルまたは成分または平面１４４１、１４４２に、たとえばＹＣｂＣｒ（またはＹＵＶ）符号化の場合には１つの輝度値（輝度）および少なくとも１つの彩度（クロマ）サブフレームに、もしくはＲＧＢ（赤、緑、青）符号化の場合には三色サブフレームに、細分化されてもよい。前記１つ以上の彩度チャネルまたは成分または平面１４４１、１４４２は、フレーム１４２ａのサブセットとも呼ばれ得る。
【００３２】
ＧＯＰ１４３は、エンコーダ１４１への入力として供給され得る。エンコーダ１４１は、ＧＯＰ１４３を、エンコーダ１４１の出力であるデータストリーム１４０’に変換し得る。このため、符号化されたデータストリーム１４０’は、符号化されたＧＯＰ１４３’を含み得る。エンコーダ１４１は、ＱＰベース符号化スキームとも呼ばれ得る量子化パラメータ−ＱＰ−を使用する符号化スキームを使用し得る。
【００３３】
したがって、データストリーム１４０’は符号化されたＧＯＰ１４３’を含むことができ、符号化されたＧＯＰ１４３’は、特定の符号化スキーム、この例ではＱＰベース符号化スキームを使用することによってデータストリーム１４０’に符号化されている、符号化されたフレーム１４２’ａから１４２’ｅを含むことができる。さらに、例示的な符号化されたフレーム１４２’は、やはりＱＰベース符号化スキームを使用して符号化されている、符号化された空間または彩度サブセット／スライス１４４’１、１４４’２を含むことができる。
【００３４】
符号化スキームは、１つ以上の時間的階層を含む時間的階層符号化順序を含み得る。符号化されたフレーム１４２’ａから１４２’ｅは、前記時間的階層の１つに関連付けられ得る。たとえば、最初の３つの符号化されたフレーム１４２’ａ、１４２’ｂ、１４３’ｃは、第１時間的階層に関連付けられてもよい。前記第１時間的階層は、丸で囲まれた数１によって表されるインデックス１（ｉ＝１）を含み得る。最後の２つの符号化されたフレーム１４２’ｄ、１４２’ｅは、第２時間的階層に関連付けられてもよい。前記第２時間的階層は、丸で囲まれた数２によって表されるインデックス２（ｉ＝２）を含み得る。
【００３５】
第１時間的階層に関連付けられている符号化されたフレーム１４２’ａ、１４２’ｂ、１４３’ｃは、第２時間的階層に関連付けられている他のフレーム１４２’ｄ、１４２’ｅに先立って符号化されてもよい。
【００３６】
さらに、第１時間的階層に関連付けられている符号化されたフレーム１４２’ａ、１４２’ｂ、１４３’ｃは、ローカルＱＰベース符号化スキームを使用して符号化されてもよく、すなわちエンコーダ１４１は、前記符号化されたフレーム１４２’ａ、１４２’ｂ、１４３’ｃのローカルＱＰ情報をデータストリーム１４０’に符号化し得る。このローカルＱＰ情報に基づいて、符号化されたフレーム１４２’ａ、１４２’ｂ、１４３’ｃは、ローカルＱＰ適応を受けてもよい。ローカルＱＰ適応は、フレーム全体で、またはフレームの空間または彩度サブセットで実行され得る。
【００３７】
しかしながら、第２時間的階層に関連付けられているこれらの符号化されたフレーム１４２’ｄ、１４２’ｅは、ローカルＱＰベース符号化スキームとは異なる符号化スキームで符号化されてもよい。したがって、エンコーダ１４１は、ローカルＱＰ情報をデータストリーム１４０’に符号化するのを省略してもよい。したがって、符号化されたフレーム１４２’ｄ、１４２’ｅは、ローカルＱＰ適応を受けなくてもよい。
【００３８】
上述のように、第２時間的階層に関連付けられている符号化されたフレーム１４２’ｄ、１４２’ｅは、たとえば全体的なＱＰとも呼ばれるグローバルＱＰが各符号化されたフレーム１４２’ａから１４２’ｅに適用されるグローバルＱＰベースの符号化スキームなど、ローカルＱＰベース符号化スキームとは異なる符号化スキームを使用して符号化されてもよい。たとえば、符号化されたフレーム１４２’ａから１４２’ｅは、ローカルＱＰベース符号化スキームとは異なる別の符号化スキームを使用して、所定のまたは固定された量子化で符号化されてもよい。
【００３９】
言い換えると、本発明のエンコーダ１４１は、符号化中にＱＰが適用される粒度を選択的に変更するように構成されてもよく、すなわちエンコーダ１４１は、ＱＰベース符号化スキームがフレームレベルでグローバルに適用されるか、もしくはフレームレベルおよび／または空間または彩度サブセットレベルで適用されるかを判断するように構成され得る。前記粒度は、それぞれの符号化されたフレーム１４２’ａから１４２’ｅが関連付けられているそれぞれの時間的階層に基づいて選択され得る。
【００４０】
エンコーダ１４１は、符号化されたＧＯＰ１４３’の各符号化されたフレーム１４２’ａから１４２’ｅの前記粒度を、個別に、符号化中に選択するように構成され得る。
【００４１】
言い換えると、一実施形態によるエンコーダ１４１は、時間的階層符号化スキームを使用するように構成されてもよく、少なくとも１つのフレーム１４２’ａまたは空間または彩度サブセット、たとえば前記少なくとも１つのフレーム１４２’ａのスライスまたはチャネルまたは成分または平面１４４’１、１４４’２は、第１時間的階層（丸で囲まれた数１）に関連付けられてもよく、少なくとも１つのさらなるフレーム１４２’ｄまたは前記１つのさらなるフレーム１４２’ｄの空間または彩度サブセット（図示せず）は、第２時間的階層（丸で囲まれた数２）に関連付けられてもよい。
【００４２】
以下で説明されるように、時間的階層符号化スキームはＱＰベース符号化スキームを含むことができ、ＱＰベース符号化スキームはＤＱＰベース符号化スキームを含むことができる。
【００４３】
ビデオエンコーダ１４１は、予測的ＱＰ符号化を使用するように構成され得、すなわちＱＰ値は前に符号化されたＱＰ値との差分として微分的に符号化され得る。このため、残差、すなわち微分量子化パラメータ−ＤＱＰ−のみが符号化中に適用されてもよく、対応するＤＱＰ情報はデータストリーム１４０’に符号化され得る。これはＤＱＰベース符号化スキームと呼ばれてもよく、ＤＱＰベース符号化スキームは、ローカルＱＰベース符号化スキームの一例であり得る。
【００４４】
言い換えると、ＤＱＰはＱＰのサブセットであり得、ＱＰベース符号化スキームはＤＱＰベース符号化スキームを含み得る。このため、ＱＰベース符号化に関連して本明細書に記載されるものは全て、ＤＱＰベース符号化にも相応に適用され得る。
【００４５】
したがって、一実施形態によれば、ビデオエンコーダ１４１はＤＱＰベース符号化スキームを使用するように構成されてもよく、エンコーダ１４１は特定のフレームについてＤＱＰ符号化を選択的に無効化し、少なくともこれらのフレーム１４２’ｄ、１４２’ｅ、またはフレームのサブセットについてＤＱＰ情報をデータストリーム１４０’に符号化するのを選択的に省略するように構成されてもよく、これらのフレームまたはフレームのサブセットは所定の時間的階層、たとえば第２時間的階層（丸で囲まれた数２によって表される）に関連付けられている。
【００４６】
ＤＱＰ符号化はローカルに適用されてもよく、すなわちローカルＤＱＰは、前に符号化されたフレームに基づいてフレーム全体を微分的に符号化するために、またはフレームの前に符号化された空間または彩度サブセット（たとえばスライス）に基づいてフレームの空間または彩度サブセット（たとえばスライス）を微分的に符号化するために、使用され得る。
【００４７】
図５Ａおよび図５Ｂは、ＱＰベース符号化スキームおよび／またはＤＱＰベース符号化スキームとともにエンコーダ１４１によって使用され得る時間的階層符号化スキームの例を示す。
【００４８】
従来の時間的階層画像およびビデオ符号化用途では、入力フレーム／スライスが並べ替えられてもよく、各フレーム／スライスは、これが属する時間的階層レベルに基づく特定の全体的な量子化設定で符号化され得る［３］。
【００４９】
図５Ａおよび図５Ｂは、本発明で適用され得る時間的階層符号化スキーム、すなわちランダムアクセス（ＲＡ）符号化スキームの例を示す。この符号化スキームでは、インデックス＃０、＃１、＃２、＃３、．．．、＃７、＃８（図５Ａ）を有する入力画像またはビデオフレーム１４２ａから１４２ｉは、＃０、＃８、＃４、＃２、＃１、＃３、＃６、＃５、＃７（図５Ｂ）に並べ替えられ、利用可能な場合にはできれば前に符号化されたフレームからの予測を使用して、この順序で符号化／復号化され得る。
【００５０】
この特定の例では、偶数インデックスのフレーム１４２’ａ（＃０）、１４２’ｉ（＃８）、１４２’ｅ（＃４）、１４２’ｃ（＃２）、１４２’ｇ（＃６）は、丸で囲まれた数１によって表される、第１時間的階層に関連付けられてもよい。奇数インデックスのフレーム１４２’ｂ（＃１）、１４２’ｄ（＃３）、１４２’ｆ（＃５）、１４２’ｈ（＃７）は、丸で囲まれた数２によって表される、第２時間的階層に関連付けられてもよい。前記時間的階層順によれば、第１時間的階層に関連付けられた偶数インデックスのフレームは、第２時間的階層に関連付けられた奇数インデックスのフレームに先立って符号化され得る。さらに、第１時間的階層に関連付けられた偶数インデックスのフレームは、ローカルＱＰベース符号化スキームを使用して符号化されてもよく、たとえばＤＱＰベース符号化スキームを使用して微分的に符号化されてもよい。
【００５１】
ＲＡ符号化設計を使用すると、前に符号化されたフレームからのすでに有効な予測により、このようなＱＰ適応は主観的再構築品質の無視できる改善しかもたらさない可能性があるので、さらにまたは最も上位の階層レベルに関連付けられた奇数インデックスのフレーム１４２’ｂ（＃１）、１４２’ｄ（＃３）、１４２’ｆ（＃５）、１４２’ｈ（＃７）はローカルＱＰ適応を受けなくてもよい。
【００５２】
このため、前記奇数インデックスのフレーム１４２’ｂ（＃１）、１４２’ｄ（＃３）、１４２’ｆ（＃５）、１４２’ｈ（＃７）のデータストリーム１４１’には、微分ＱＰ（すなわちＤＱＰ）情報は含まれなくてよい。
【００５３】
時間的階層順が例示的に説明された２つの時間的階層よりも多くを含み得ることは、一般的に、本明細書に記載される全ての実施形態に当てはまる。
【００５４】
さらに一般的な例として、前に符号化されたフレームからのすでに有効な予測により、このようなＱＰ適応は主観的再構築品質の無視できる改善しかもたらさない可能性があるので、最後に符号化されたフレーム、すなわち最上位の時間的階層に関連付けられたフレームは、ローカルＱＰ適応を受けなくてもよい。このため、最上位の階層に関連付けられている前記フレームのデータストリーム１４１’には、微分ＱＰ（ＤＱＰ）情報は含まれなくてよい。
【００５５】
これは、さらなる例において、最上位および上から２番目の時間的階層に関連付けられているフレーム、または最上位、上から２番目、および上から３番目の時間的階層に関連付けられているフレームにさえも、有効であり得る。
【００５６】
本発明の原理は、たとえば、ＨＥＶＣ（高効率ビデオ符号化：Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）のようなコーデックで使用され得る。
【００５７】
しかしながら、ＨＥＶＣのような現在のコーデックでは、一般的なＤＱＰ符号化機能のみがストリームの始めに通知され、符号化中に特定のフレームについて無効化されることはできない。その結果、ＤＱＰ符号化が必要とされず、したがって使用されない上述の奇数インデックスのフレームでも、（１つおきのフレームが実際に影響を受けるため）合計ビットストリームサイズの大部分を不必要に消費し得るビットストリームには、いくつかのゼロのデフォルトＤＱＰ値が含まれる必要が出てくる。
【００５８】
本発明は、圧縮画像またはビデオビットストリームのいくつかの指定されたフレーム（または、代替的に、フレームの空間または彩度サブセットであるスライス）での、ローカルＱＰデータ、またはＤＱＰデータの（冗長であるため）不必要な送信を回避する。これにより、少ないながらもかなりの量だけ全体的なビットストリームサイズが削減され得る。
【００５９】
より具体的には、本発明は、所与のフレーム１４２’ａから１４２’ｉもしくはスライスまたはチャネルまたは成分または平面１４４’１、１４４’２が属する階層のインデックスが所定の閾値を超えている場合に、時間的階層画像およびビデオ符号化用途の任意のＤＱＰ値をビットストリーム１４０’に符号化し、ビットストリーム１４０’から復号化する必要性を回避する。ランダムアクセス（ＲＡ）符号化構成の上記の例では、最高インデックス階層（たとえば丸で囲まれた数２）に関連付けられてもよい奇数の画像順序数（ＰＯＣ）を有する全てのフレームは、本発明によれば、ビットストリーム１４０’で送信される必要のない値ゼロ「０」のＤＱＰのみを有すると見なされる。
【００６０】
したがって、本発明の原理は、選択的ローカルＱＰ送信、または選択的ＤＱＰ送信とも呼ばれ得る。
【００６１】
言い換えると、本発明のエンコーダ１４１は、ビデオのフレームの選択されたもの、または少なくとも前記フレームの選択されたサブセットについて、ＱＰベース（またはＤＱＰベース）符号化、または特にローカルＱＰベース（またはＤＱＰベース）符号化を選択的に有効化することができ、ＱＰ情報（またはＤＱＰ情報）、特にローカルＱＰ情報は、これら選択されたフレーム、またはフレームのサブセットについてのみビットストリーム１４０’に符号化される。前記選択は、時間的階層順へのフレームの関連付けに基づいている。
【００６２】
逆に言うと、本発明のエンコーダ１４１は、ビデオのフレームの選択されたもの、または少なくとも前記フレームの選択されたサブセットについて、ＱＰベース（またはＤＱＰベース）符号化、または特にローカルＱＰベース（またはＤＱＰベース）符号化を選択的に無効化することができ、エンコーダ１４１は、これら選択されたフレーム、またはフレームのサブセットについて、ＱＰ情報（またはＤＱＰ情報）、特にローカルＱＰ情報を符号化するのを省略する。前記選択は、時間的階層順へのフレームの関連付けに基づいている。
【００６３】
図６は、上記の本発明の原理を利用するための本発明のエンコーダ１４１の例のより詳細な図を示す。不必要な繰り返しを回避するために、この例は、図４に関連して先に論じられた例示的なフレーム１４２’ａから１４２’ｅおよび空間または彩度サブセット１４４’１、１４４’２を参照し得る。
【００６４】
図６に見られるように、フレーム１４２’ａから１４２’ｅは、異なる時間的階層に関連付けられてもよい。フレーム１４２’ａ、１４２’ｂ、１４２’ｃは第１時間的階層に関連付けられてもよく、これは再び丸で囲まれたインデックス番号１によって表される。他のフレーム１４２’ｄ、１４２’ｅは第２時間的階層に関連付けられてもよく、これは丸で囲まれたインデックス番号２によって表される。
【００６５】
インデックス１およびインデックス２を有する時間的階層は、本明細書では非限定的な例としてのみ説明され得る。本発明の原理はまた、３つ以上の異なる時間的階層に関連付けられているフレームとともに使用されてもよい。
【００６６】
時間的階層の数とは無関係に、エンコーダ１４１は、フレームまたはフレームの空間または彩度サブセットが関連付けられる時間的階層のインデックスを決定するように構成され得る。つまり、エンコーダ１４１は、フレーム１４２’ａから１４２’ｅが関連付けられ得る時間的階層のインデックスを決定するためのインデックス決定段１６０を含み得る。
【００６７】
フレーム１４２’ａから１４２’ｅはまた、図５Ａおよび図５Ｂを参照して先に説明されたように、符号化中に並べ替えられてもよい。
【００６８】
エンコーダ１４１はまた、フレーム１４２’ａから１４２’ｅの決定されたインデックスを所定のインデックス閾値と比較するように構成され得る。このために、エンコーダ１４１は比較器段１６１を含み得る。この例では、インデックス閾値は、例示的に値１に設定され得る。しかしながら、インデックス閾値は、１以外のいずれの数値であってもよい。
【００６９】
遷移１６２では、比較の結果は負、すなわちこれらのフレームのインデックスはインデックス閾値（１）を超えてはならない。これは、インデックス１を有するフレーム、すなわちフレーム１４２’ａ、１４２’ｂ、１４２’ｃの場合であり得る。
【００７０】
このため、遷移１６３で示されるように、エンコーダは前記フレーム１４２’ａ、１４２’ｂ、１４２’ｃを符号化するためにローカルＱＰベースまたはＤＱＰベース符号化スキームを使用でき、それぞれのローカルＱＰまたはＤＱＰ情報はデータストリーム１４０’に符号化され得る。したがって、これらのフレーム１４２’ａ、１４２’ｂ、１４２’ｃは、上述のように、ローカルＱＰ適応を受ける候補であり得る。
【００７１】
言い換えると、フレーム１４２’ａから１４２’ｅが関連付けられ得る階層のインデックスがインデックス閾値（１）以下である場合、エンコーダ１４１はＤＱＰ符号化スキームを有効化し、インデックス閾値以下のインデックスを有する時間的階層に関連付けられているこれらのフレーム１４２’ａ、１４２’ｂ、１４２’ｃについて、ＤＱＰ情報をデータストリーム１４０’に符号化するように構成され得る。
【００７２】
遷移１６４では、閾値比較の結果は正、すなわちこれらのフレームのインデックスは、インデックス閾値（１）を超えてもよい。これは、インデックス２を有するフレーム、すなわちフレーム１４２’ｄ、１４２’ｅの場合である。
【００７３】
エンコーダ１４１は、これらのフレーム１４２’ｄ、１４２’ｅについてローカルＱＰベースまたはＤＱＰベース符号化を無効化してもよい。つまり、エンコーダ１４１は、ローカルＱＰまたはＤＱＰ情報をデータストリーム１４０’に符号化するのを省略してもよい。エンコーダ１４１は、フラグ１６５を設定することにより、ローカルＱＰベースまたはＤＱＰベース符号化の前記無効化を通知し得る。したがって、エンコーダ１４１は、選択されたフレーム１４２’ｄ、１４２’ｅをデータストリーム１４０’に符号化するために、ローカルＱＰベースまたはＤＱＰベース符号化スキームとは異なる符号化スキームを使用し得る。さらに、エンコーダ１４１は、データストリーム１４０’にフラグ１６５を設定することができる。
【００７４】
言い換えると、フレーム１４２’ａから１４２’ｅが関連付けられ得る時間的階層のインデックスがインデックス閾値（１）よりも大きい場合、エンコーダ１４１は、ローカルＱＰベースまたはＤＱＰベース符号化を無効化し、ローカルＱＰまたはＤＱＰ情報をデータストリーム１４０’に符号化するのを省略し、インデックス閾値を超えるインデックスを有する時間的階層に関連付けられているこれらのフレーム１４２’ｄ、１４２’ｅのローカルＱＰまたはＤＱＰ情報をデータストリーム１４０’が含んでいないことを示すフラグ１６５をデータストリーム１４０’に設定するように、構成されている。
【００７５】
したがって、データストリーム１４０’はフラグ１６５を含むことができ、データストリーム１４０’は両方のフレームタイプ、すなわちローカルＱＰまたはＤＱＰ情報が付加的にデータストリーム１４０’に符号化されているフレーム１４２’ａ、１４２’ｂ、１４２’ｃと、ローカルＱＰまたはＤＱＰ情報がデータストリーム１４０’  に符号化されていないフレーム１４２’ｄ、１４２’ｅとを含む、符号化されたＧＯＰ１４３’を含み得る。
【００７６】
フラグ１６５は、データストリーム１４１にエントロピー符号化され、データストリーム１４１の開始時に送信されてもよい。あるいは、たとえば上記で説明されたようにＲＡ符号化スキームが使用される場合、フラグ１６５は、データストリーム１４０’のランダムアクセスポイントの開始時に送信されてもよい。
【００７７】
たとえば、エンコーダ１４１において、１ビットのフラグｕｓｅＳｅｌｅｃｔｉｖｅＤＱＰは、ビットストリーム１４０’の開始時に（または、代替的に、ＲＡ符号化スキームが使用される場合、ストリームの各ランダムアクセスポイントの開始時に）エントロピー符号化および送信されてもよい。この１ビットのフラグは、本発明の原理（すなわち、ローカルＱＰまたはＤＱＰ情報を符号化するのを省略する）が適用されるか（値１）否か（値０）を示すために使用され得る。
【００７８】
符号化中に、（フレーム／スライスインデックスによって示されるように）ＤＱＰ符号化が使用されないフレーム１４２’ｄ、１４２’ｅ（または代替的にスライス）では、ＤＱＰ値は符号化され得ず、結果的にＤＱＰデータはビットストリーム１４０’で送信され得ず、後続のアルゴリズム演算は、各ＤＱＰ値をゼロであると見なし得る（すなわち、各実際のＱＰ値はその関連する予測ＱＰ値に等しくてもよい）。
【００７９】
従来技術は、ＤＱＰ符号化が実際に許可されているか否かにかかわらず、各フレーム／スライスのｓｌｉｃｅＱＰ値を送信する。このため、ＤＱＰ符号化が許可されているとき、フレーム／スライスの最初のＱＰ値に関連付けられた予測ＱＰ値は、（たとえば０の最初の予測ＱＰ値を単純に想定するのではなく）この最初の予測を改善するために、前記ｓｌｉｃｅＱＰ値に基づく。ＤＱＰ符号化が許可されないとき、ローカル（Ｄ）ＱＰ情報は利用できず、前記ｓｌｉｃｅＱＰは、フレーム／スライス全体を通じてローカルＱＰとして使用される。
【００８０】
より一般的な用語で要約すると、エンコーダ１４１は、第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃにＱＰを適用する第１粒度を使用してもよく、エンコーダ１４１は、第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅにＱＰを適用する第２粒度を使用してもよい。したがって、エンコーダ２４１は、ＱＰが特定のフレーム（またはフレームのサブセット）に適用され得る粒度を変化させることができる。たとえば、第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃでは、ローカルＱＰ情報はデータストリーム１４０’で利用可能である。このため、フレーム１４２’ａ、１４２’ｂ、１４２’ｃは、符号化中にローカルＱＰ適応を受ける候補であり得る。第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅでは、ローカルＱＰ情報はデータストリーム１４０’で利用可能ではないかもしれない。たとえば、グローバルまたは固定ＱＰ情報のみが利用可能であり得る。このため、これらのフレーム１４２’ｄ、１４２’ｅは、符号化中にローカルＱＰ適応を受けなくてもよい。
【００８１】
図７は、一実施形態による本発明のデコーダ２４１を示す。デコーダ２４１は、エンコーダ１４１を参照して上記で説明された符号化されたデータストリーム１４０’を受信し得る。符号化されたデータストリーム１４０’は符号化されたＧＯＰ１４３’を含んでもよく、符号化されたＧＯＰ１４３’は符号化されたフレーム１４２’ａから１４２’ｅを含んでもよく、符号化されたフレーム１４２’ａのいくつかは、ブロックまたはスライスなどの、１つ以上の空間または彩度サブセット１４４’１、１４４’２に細分化されてもよい。
【００８２】
さらに、符号化されたフレーム１４２’ａから１４２’ｅは、時間的階層を表すインデックスを含み得る。言い換えると、符号化されたフレーム１４２’ａから１４２’ｅは、エンコーダ１４１に関連して上記で説明されたように、時間的階層に関連付けられてもよい。
【００８３】
階層のインデックスは、符号化されたフレーム１４２’ａから１４２’ｅを復号化するときにローカルＱＰベースまたはＤＱＰベース符号化スキームを適用するか否かを、デコーダ２４１に向けて示すことができる。ローカルＱＰベースまたはＤＱＰベース符号化スキームは、ローカルＱＰ適応を提供し得る。上記の例を取り上げると、第１階層（丸で囲まれた数１）に関連付けられ得るこれらの符号化されたフレーム１４２’ａ、１４２’ｂ、１４２’ｃは、ローカルＱＰベースまたはＤＱＰベース符号化スキームを使用して復号化され得る。第２階層（丸で囲まれた数２）に関連付けられ得るこれらの符号化されたフレーム１４２’ｄ、１４２’ｅは、ローカルＱＰベースまたはＤＱＰベース符号化スキーム以外の符号化スキーム、たとえばローカルＱＰ適応を可能にしない可能性があるグローバルＱＰベース符号化スキームで、復号化され得る。
【００８４】
このため、フレーム１４２’ａから１４２’ｅの時間的階層のインデックスは、ローカルＱＰベースまたはＤＱＰベース符号化スキームを適用するか、またはたとえば固定またはグローバルＱＰベース符号化スキームなど、ローカルＱＰベースまたはＤＱＰベース符号化スキーム以外の符号化スキームを適用するかを、デコーダ２４１に向けて示すことができる。
【００８５】
言い換えると、本発明のデコーダ２４１は、フレーム１４２’ａから１４２’ｅまたはフレームの空間または彩度サブセットを復号化している間にＱＰが適用され得る粒度を変化させるように構成されてもよく、粒度の変化は、時間的階層とのビデオのフレーム１４２’ａから１４２’ｅの関連付けに依存し得る。
【００８６】
デコーダ２４１は、上述のような符号化スキームを使用して符号化されたフレーム１４２’ａから１４２’ｅを複合することができ、これは再構築フレーム１４２’’ａから１４２’’ｅを含む再構築ＧＯＰ１４３’’を作成することができ、いくつかの再構築フレーム１４２’’ａは、ブロックまたはスライスなどの再構築された空間または彩度サブセット１４４’’１、１４４’’２を含み得る。
【００８７】
したがって、デコーダ２４１は、符号化されたビデオの復号化および再構築フレーム１４２’’ａから１４２’’ｅを含む出力ビデオストリーム１４０’’を復号化してもよく、再構築フレーム１４２’’ａから１４２’’ｅは、量子化損失を除いて、元のフレーム１４２ａから１４２ｅ（図４）と同一であり得る。
【００８８】
デコーダ２４１は、時間的階層符号化スキームを使用するように構成されてもよく、少なくとも１つの受信および符号化されたフレーム１４２’ａまたは前記少なくとも１つのフレーム１４２’ａの空間または彩度サブセット１４４’１、１４４’２は第１時間的階層（丸で囲まれた数１）に関連付けられてもよく、少なくとも１つの受信および符号化されたさらなるフレーム１４２’ｄまたは前記１つのさらなるフレームの空間または彩度サブセットは、第２時間的階層（丸で囲まれた数２）に関連付けられてもよい。
【００８９】
受信したフレーム１４２’ａから１４２’ｅは、図５Ａおよび図５Ｂを参照して上記で説明されたように、並べ替えられる。デコーダ２４１は、復号化中に、フレーム１４２’ａから１４２’ｅを元の順序に並べ替えるように構成され得る。結果として、復号化および再構築フレーム１４２’’ａから１４２’’ｅは、元のフレーム１４２ａから１４２ｅと同じ順序を含むことができる。
【００９０】
第２時間的階層に関連付けられているこれらのフレーム１４２’ｄ、１４２’ｅについて、これらのフレームでは、エンコーダ１４１はいずれのローカルＱＰ情報またはＤＱＰ情報もデータストリーム１４０’に符号化していない可能性があるので、デコーダ２４１はデータストリーム１４０’からローカルＱＰ情報またはＤＱＰ情報を復号化するのを省略してもよい。デコーダ２４１は、復号化中にローカルＱＰ情報またはＤＱＰ情報を復号化するか復号化しないかを判断し得る。
【００９１】
一般的に言えば、この実施形態のビデオデコーダ２４１は、復号化中に、所定の時間的階層に関連付けられた、１つ以上のフレーム１４２’ｄ、１４２’ｅ、もしくは前記フレームの空間または彩度サブセットについて、データストリーム１４０’からローカルＱＰ情報またはＤＱＰ情報を復号化するのを省略するように構成されてもよい。
【００９２】
このため、いくつかの実施形態では、デコーダ２４１は、ＱＰを微分的に復号化するように構成され得る。たとえば、デコーダ２４１は、微分量子化パラメータ−ＤＱＰ−ベース符号化スキームを使用するように構成されてもよく、フレーム１４２’ｄ、１４２’ｅまたは前記フレーム１４２’ｄ、１４２’ｅの空間または彩度サブセットが所定の時間的階層に関連付けられている場合、デコーダ２４１は、ＤＱＰベース符号化を選択的に無効化し、前記１つ以上のフレーム１４２’ｄ、１４２’ｅまたは前記１つ以上のフレーム１４２’ｄ、１４２’ｅの前記空間または彩度サブセットについてデータストリーム１４０’からのＤＱＰ情報を復号化するのを省略するように構成されてもよい。
【００９３】
前記ＤＱＰベース符号化は、データストリーム１４０’からのローカルＤＱＰ情報を復号化するためのローカルＤＱＰベース符号化であってもよい。前記ローカルＤＱＰ情報を用いて、それぞれのフレームもしくはフレームの空間または彩度サブセットは、ローカルＱＰ適応を受けることができる。しかしながら、上述のように、デコーダ２４１が、１つ以上のフレーム１４２’ｄ、１４２’ｅについてデータストリーム１４０’からのこのようなＤＱＰ情報を復号化するのを省略し得る場合、前記フレーム１４２’ｄ、１４２’ｅはローカルＱＰ適応を受けなくてもよい。
【００９４】
このため、いくつかの実施形態では、デコーダ２４１は、ＤＱＰベース符号化を無効化し、１つ以上のフレーム１４２’ａから１４２’ｅもしくは前記１つ以上のフレームの空間または彩度サブセットについてデータストリーム１４０’からのＤＱＰ情報を復号化するのを省略するように構成されてもよく、これらは最上位の時間的階層に関連付けられている。上述のように、時間的階層順は、３つ以上の時間的階層を含むことができ、これらは本明細書では非限定的な例としてのみ言及される。
【００９５】
さらに別の実施形態によれば、デコーダ２４１は、ＤＱＰベース符号化を無効化し、１つ以上のフレーム１４２’ａから１４２’ｅもしくは前記１つ以上のフレームの空間または彩度サブセットについて、データストリーム１４０’からのＤＱＰ情報を復号化するのを省略するように構成されてもよく、これらは奇数の画像順序数−ＰＯＣ−を含み、たとえば本明細書で例示的に説明されたように第２時間的階層を有する、所定の時間的階層に関連付けられている。ＰＯＣの詳細については、図５Ａおよび図５Ｂ、ならびに上記の対応する説明を参照されたい。
【００９６】
図８は、符号化されたフレームを再構築し、復号化および再構築されたビデオストリーム１４０’’を提供するように、デコーダ２４１が符号化されたデータストリーム１４０’をどのようにして内部的に復号化し得るかの例を示す。
【００９７】
見てわかるように、デコーダ２４１は、符号化されたフレーム１４２’ａから１４２’ｅを含む符号化されたＧＯＰ１４３’を含み得る符号化されたデータストリーム１４０’を受信し得る。エンコーダ１４１に関連して上記で説明されたように、符号化されたデータストリーム１４０’はまた、フレーム１４２’ａから１４２’ｅを符号化する際にどの符号化スキームが適用されたか、たとえばデータストリーム１４０’に符号化されている可能性のあるローカルＱＰ情報またはＤＱＰ情報がないデータストリーム１４０’に１つ以上のフレーム１４２’ｄ、１４２’ｅが含まれ得るか否かを示すフラグ１６５も含み得る。
【００９８】
したがって、デコーダ２４１は、前記フラグ１６５が設定されているか否かを決定する決定段２６１を含み得る。遷移２６２によって示されるように、フラグ１６５が設定されていない場合には、デコーダ２４１は、復号化中にローカルＱＰまたはＤＱＰを適用し得る。つまり、デコーダ２４１は、第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃ（またはフレームのサブセット）を復号化するために、ローカルＱＰベースまたはＤＱＰベース符号化スキームを使用し得る。これらのフレーム１４２’ａ、１４２’ｂ、１４２’ｃでは、ローカルＱＰ情報またはＤＱＰ情報がデータストリーム１４０’に含まれ得る。したがって、デコーダ２４１は、データストリーム１４０’からの前記フレーム１４２’ａ、１４２’ｂ、１４２’ｃの前記ＱＰ情報またはＤＱＰ情報を復号化してもよく、デコーダ２４１は、対応するＱＰまたはＤＱＰ情報を使用して前記フレーム１４２’ａ、１４２’ｂ、１４２’ｃを復号化してもよい。符号化中、前記フレーム１４２’ａ、１４２’ｂ、１４２’ｃはローカルＱＰ適応を受けることができる。
【００９９】
遷移２６３によって示されるように、フラグ１６５が設定されていると決定段２６１が決定した場合には、所定の時間的階層（たとえば第２の層）に関連付けられた１つ以上のフレーム１４２’ｄ、１４２’ｅ（またはフレームのサブセット）を符号化されたＧＯＰ１４３’が含み得ることがデコーダ２４１に通知されてもよく、データストリーム１４０’は、これらのフレーム１４２’ｄ、１４２’ｅのローカルＱＰ情報またはＤＱＰ情報を含まなくてもよい。
【０１００】
しかしながら、データストリーム１４０’はまた、ＱＰ情報またはＤＱＰ情報がデータストリーム１４０’において符号化される１つ以上のフレーム１４２’ａ、１４２’ｂ、１４２’ｃを付加的に含んでもよい。
【０１０１】
このため、遷移２６３は、第１ブランチ２６３ａおよび第２ブランチ２６３ｂに分割される。第１ブランチ２６３ａでは、デコーダ２４１は、上述のような方法で第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃを復号化し得る。つまり、デコーダ２４１は、対応するフレーム１４２’ａ、１４２’ｂ、１４２’ｃがローカルＱＰ適応を受けられるように、データストリーム１４０’からのローカルＱＰ情報またはＤＱＰ情報を復号化し得る。
【０１０２】
第２ブランチ２６３ｂでは、デコーダ２４１は、所定の時間的階層（たとえば第２の層）に関連付けられ、ローカルＱＰ情報またはＤＱＰ情報がデータストリーム１４０’で利用できない可能性のある、これらのフレーム１４２’ｄ、１４２’ｅを符号化し得る。したがって、第２ブランチ２６３ｂでは、デコーダ２４１は、ローカルＱＰベースまたはＤＱＰベース復号化を無効化でき、これらのフレーム１４２’ｄ、１４２’ｅのデータストリーム１４０’からのローカルＱＰ情報またはＤＱＰ情報を復号化するのを省略してもよい。このため、これらのフレーム１４２’ｄ、１４２’ｅは、ローカルＱＰ適応を受けなくてもよい。
【０１０３】
言い換えると、デコーダ２４１は、データストリーム１４０’からフラグ１６５を導出するように構成されてもよく、フラグ１６５は、フレーム１４２’ａから１４２’ｅまたは前記フレームの空間または彩度サブセットが関連付けられている時間的階層のインデックスに基づいてフレーム１４２’ａから１４２’ｅまたは前記フレームの空間または彩度サブセットを復号化する方法を示す。
【０１０４】
言い換えると、デコーダ２４１は一般に、ＱＰベースまたはＤＱＰベース符号化、特にローカルＱＰベースまたはＤＱＰベース符号化を有効化し、データストリーム１４０’からのＱＰまたはＤＱＰ情報を復号化し、ＱＰまたはＤＱＰ情報に基づく量子化を使用してフレーム１４２’ａ、１４２’ｂ、１４２’ｃまたはフレームの空間または彩度サブセットを逆量子化するように構成され得る。たとえば、デコーダ２４１は、データストリーム１４０’からローカルＱＰまたはＤＱＰ情報を復号化し、第１時間的階層に関連付けられたフレーム１４２’ａ、１４２’ｂ、１４２’ｃを復号化するために前記ローカルＱＰまたはＤＱＰ情報を適用してもよい。したがって、前記フレーム１４２’ａ、１４２’ｂ、１４２’ｃ、または前記フレームの空間または彩度サブセットは、ローカルＱＰ適応を受けることができる。
【０１０５】
追加で、または代替的に、たとえばフラグ１６５が設定されている場合、デコーダ２４１は、ＱＰベースまたはＤＱＰベース符号化、特にローカルＱＰベースまたはＤＱＰベース符号化を無効化し、特定の１つ以上のフレーム１４２’ｄ、１４２’ｅ（たとえば第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅ）について、データストリーム１４０’からＱＰまたはＤＱＰ情報を復号化するのを省略し、所定の量子化、たとえばグローバルＱＰを使用してこれらの１つ以上のフレーム１４２’ｄ、１４２’ｅ、またはこれらの１つ以上のフレーム１４２’ｄ、１４２’ｅの空間または彩度サブセットを逆量子化するように構成されてもよい。たとえば、デコーダ２４１は、所定の、たとえば第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅについて、データストリーム１４０’からのローカルＱＰまたはＤＱＰ情報を復号化しなくてもよい。したがって、これらのフレーム１４２’ｄ、１４２’ｅ、またはこれらのフレームの空間または彩度サブセットは、ローカルＱＰを受けなくてもよい。
【０１０６】
結果として、デコーダ２４１は、上述のような方法で復号化された再構築フレーム１４２’’ａから１４２’’ｅを含む再構築ＧＯＰ１４３’’を含む再構築されたビデオストリーム１４０’’を作成することができ、使用される符号化スキームは、フラグ１６５に基づくことができ、すなわちそれぞれのフレームが関連付けられた時間的階層のインデックスに基づくことができる。
【０１０７】
言い換えると、デコーダ２４１において、同じ１ビットのフラグ１６５であるｕｓｅＳｅｌｅｃｔｉｖｅＤＱＰが受信したビットストリーム１４０’から読み取られてエントロピー復号化されてもよく、その値は、本発明の原理が適用されるか（１）否か（０）を制御し得る。
【０１０８】
復号化中、（デコーダ２４１にとって既知のフレーム／スライスインデックスによって示されるように）ＤＱＰ符号化が使用されないフレーム１４２’ｄ、１４２’ｅ（または代わりに、色チャネルまたは平面などのスライスまたは彩度サブセット）では、ＤＱＰ値は読み取られず、結果的に、ビットストリーム１４０’からＤＱＰ値は復号化されず、後続のアルゴリズム演算は、各ＤＱＰ値がゼロであると見なす（すなわち、実際のＱＰ値＝予測ＱＰ値）。
【０１０９】
エンコーダ１４１と同様に、従来技術は、ＤＱＰ符号化が実際に許可されているか否かにかかわらず、各フレーム／スライスのｓｌｉｃｅＱＰ値を送信する。このため、ＤＱＰ符号化が許可されるとき、フレーム／スライスの最初のＱＰ値に関連付けられた予測ＱＰ値は、前記ｓｌｉｃｅＱＰ値に基づく。このようにして、エンコーダ１４１およびデコーダ２４１は、完全に同期して動作することができ、その一方で同時に、ビットストリームサイズは、いくつかのゼロ値ＤＱＰを送信する必要がないことによって削減される。
【０１１０】
より一般的な用語で要約すると、デコーダ２４１は、第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃにＱＰを適用する第１粒度を使用することができ、デコーダ２４１は、第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅにＱＰを適用する第２粒度を使用することができる。したがって、デコーダ２４１は、ＱＰが特定のフレーム（またはフレームのサブセット）に適用され得る粒度を変化させることができる。たとえば、第１時間的階層に関連付けられているフレーム１４２’ａ、１４２’ｂ、１４２’ｃでは、グローバルおよびローカルＱＰ情報が利用可能であり得る。このため、これらのフレーム１４２’ａ、１４２’ｂ、１４２’ｃは、符号化中にローカルＱＰ適応を受けることができる。第２時間的階層に関連付けられているフレーム１４２’ｄ、１４２’ｅでは、ローカルＱＰ情報は利用可能ではないかもしれない。このため、これらのフレーム１４２’ｄ、１４２’ｅは、符号化中にローカルＱＰ適応を受けなくてもよい。
【０１１１】
上記の例は、ＱＰベース符号化スキームを参照して説明されてきた。しかしながら、ＤＱＰベース符号化スキームもまた使用され得る。つまり、符号化中および復号化中の両方で、ローカルＱＰは微分的に符号化され得る。このため、エンコーダ１４１およびデコーダ２４１はＤＱＰベース符号化スキームを使用することができ、これらはローカルＤＱＰ情報をデータストリーム１４０’に符号化し、またはデータストリーム１４０’から復号化することができる。上述のように、このようなＤＱＰベース符号化はＱＰ値の予測を伴う場合があり、予測ＱＰ値は、エンコーダ側で符号化するための微分ＱＰ（ＤＱＰ）値を取得するように実際のＱＰ値から減算され、（画像符号化中に使用するため）非微分的表現で実際のＱＰ値を再構築するように、同じ予測ＱＰ値がデコーダ側で復号化中にＤＱＰ値に再び加算される。ＱＰ予測器は、空間予測器または彩度（クロスコンポーネント）予測器であってもよい。
【０１１２】
図９は、一実施形態による、ビデオストリームを符号化する方法の概略ブロック図を示す。
【０１１３】
ブロック１９１では、ビデオを符号化する際に量子化パラメータ−ＱＰ−が適用される。
【０１１４】
ブロック１９２では、ビデオがデータストリーム１４０’に符号化される時間的階層とのビデオのフレーム１４２’ａから１４２’ｅの関連付けに応じて量子化パラメータ−ＱＰ−が適用される粒度が変化する。
【０１１５】
図１０は、一実施形態による、ビデオストリームを復号化する方法の概略ブロック図を示す。
【０１１６】
ブロック１９３では、ビデオを複合化する際に量子化パラメータ−ＱＰ−が適用される。
【０１１７】
ブロック１９４では、ビデオがデータストリーム１４０’に符号化される時間的階層とのビデオのフレーム１４２’ａから１４２’ｅの関連付けに応じて量子化パラメータ−ＱＰ−が適用される粒度が変化する。
【０１１８】
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上が、このような装置によって実行されてもよい。
【０１１９】
特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで、もしくは少なくとも部分的にハードウェアまたは少なくとも部分的にソフトウェアで実装され得る。本実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働可能な）、電子可読制御信号が記憶された、フロッピーディスク、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して、実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
【０１２０】
本発明によるいくつかの実施形態は、本明細書に記載される方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能な、電子可読制御信号を有するデータキャリアを備える。
【０１２１】
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
【０１２２】
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備える。
【０１２３】
したがって、言い換えると、本発明の方法の一実施形態は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
【０１２４】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の１つを実行するためのコンピュータプログラムを備え、該コンピュータプログラムが記録されたデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。
【０１２５】
したがって、本発明の方法のさらなる実施形態は、本明細書に記載された方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは一連の信号はたとえば、データ通信接続を介して、たとえばインターネットを介して転送されるように構成されてもよい。
【０１２６】
さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成または適合された、たとえばコンピュータまたはプログラマブル論理デバイスなどの処理手段を備える。
【０１２７】
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。
【０１２８】
本発明によるさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）送信するように構成された、装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
【０１２９】
いくつかの実施形態では、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）は、明細書に記載される方法の機能の一部または全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくはいずれかのハードウェア装置によって実行される。
【０１３０】
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実装され得る。
【０１３１】
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行され得る。
【０１３２】
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載される配置および詳細の修正および変形は、当業者にとって明らかとなることが理解される。したがって、喫緊の請求項の範囲によってのみ限定され、本明細書の実施形態の記載および説明によって提示される具体的詳細によっては限定されないことが意図される。
【０１３３】
出典
［１］  ＩＴＵ−Ｔ，  Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６５  ａｎｄ  ＩＳＯ／ＩＥＣ，  Ｉｎｔ．  Ｓｔａｎｄａｒｄ  ２３００８−２， “Ｈｉｇｈ  ｅｆｆｉｃｉｅｎｃｙ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”  Ｇｅｎｅｖａ，  Ｓｗｉｔｚｅｒｌａｎｄ，  Ｊａｎ．  ２０１７，  ｏｎｌｉｎｅ：  ｈｔｔｐ：／／ｗｗｗ．ｉｔｕ．ｉｎｔ／ｒｅｃ／Ｔ−ＲＥＣ−Ｈ．２６
【０１３４】
［２］  ＥＰ１７１９２４７７， “Ｍｅｔｈｏｄ ｆｏｒ ｖａｒｙｉｎｇ ａ ｃｏｄｉｎｇ ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ ａｃｒｏｓｓ ａ ｐｉｃｔｕｒｅ，”  ２０１７
【０１３５】
［３］  Ｖ．  Ｓｚｅ，  Ｍ．  Ｂｕｄａｇａｖｉ，  ａｎｄ  Ｇ．  Ｊ．  Ｓｕｌｌｉｖａｎ，  Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  （ＨＥＶＣ）  −  Ａｌｇｏｒｉｔｈｍｓ  ａｎｄ  Ａｒｃｈｉｔｅｃｔｕｒｅｓ，  Ｃｈａｍ，  Ｓｗｉｔｚｅｒｌａｎｄ：  Ｓｐｒｉｎｇｅｒ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｐｕｂｌｉｓｈｉｎｇ，  ２０１４．
【図１】
2021515470.tif 000003
【図２】
2021515470.tif 000004
【図３】
2021515470.tif 000005
【図４】
2021515470.tif 000006
【図５Ａ】
2021515470.tif 000007
【図５Ｂ】
2021515470.tif 000008
【図６】
2021515470.tif 000009
【図７】
2021515470.tif 000010
【図８】
2021515470.tif 000011
【図９】
2021515470.tif 000012
【図１０】
2021515470.tif 000013
【国際調査報告】
2021515470.tif 000014
2021515470.tif 000015
2021515470.tif 000016