(57)【特許請求の範囲】
【請求項１】
入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
前記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成するように構成されるＤＰＣＭ符号器と、
前記ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部と、
前記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための制御部と
を具備し、
前記制御部は、適用可能な一群の符号化モードの或るサブセットを用いて符号化されるデータに対しては動作するが、前記サブセットに該当しない、前記群の符号化モードを用いて符号化されるデータに対しては動作しない
ビデオデータ符号化装置。
【請求項２】
請求項１に記載のビデオデータ符号化装置であって、
前記制御部は、レート歪み最適化による量子化の制御部である
ビデオデータ符号化装置。
【請求項３】
請求項２に記載のビデオデータ符号化装置であって、
前記ＤＰＣＭ符号器に対して入出力されるデータ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
【請求項４】
請求項３に記載のビデオデータ符号化装置であって、
前記並び替え処理は、前記データ配列内のデータ値が、前記配列内の或る点を中心にした位置で回転される回転処理である
ビデオデータ符号化装置。
【請求項５】
請求項１に記載のビデオデータ符号化装置であって、
前記サブセットは、イントラ画像符号化を含む
ビデオデータ符号化装置。
【請求項６】
請求項５に記載のビデオデータ符号化装置であって、
前記群は、イントラ画像符号化、インター画像符号化及びイントラブロックコピー符号化を含む
ビデオデータ符号化装置。
【請求項７】
請求項１に記載のビデオデータ符号化装置であって、
前記ＤＰＣＭデータ値の配列に対して前記ＤＰＣＭデータ値を或る処理順でエントロピー符号化するように動作可能であるエントロピーエンコーダであって、前記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも前記処理順が遅いＤＰＣＭデータ値に依存性を有しないようにエントロピー符号化を行うエントロピーエンコーダ
をさらに具備する
ビデオデータ符号化装置。
【請求項８】
請求項７に記載のビデオデータ符号化装置であって、
前記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
前記現在の画像以外の１つ又は複数の画像から導出される、前記ビデオサンプルの予測バージョンとを含み、
任意の前記入力ビデオデータ値の配列に関して、前記処理順は常に、前記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも前記処理順が遅いＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
【請求項９】
請求項７に記載のビデオデータ符号化装置であって、
前記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
前記現在の画像から導出される、前記ビデオサンプルの予測バージョンとを含み、
任意の前記入力ビデオデータ値の配列に関して、前記処理順は常に、前記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも前記処理順が遅いＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
【請求項１０】
請求項９に記載のビデオデータ符号化装置であって、
前記予測バージョンは、前記各ビデオサンプルの画像位置に近接する基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
【請求項１１】
請求項９に記載のビデオデータ符号化装置であって、
前記予測バージョンは、１つ又は複数の動きベクトルによって前記各ビデオサンプルの前記画像位置に関して定義される基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
【請求項１２】
請求項７に記載のビデオデータ符号化装置であって、
周波数変換器をさらに具備し、
当該ビデオデータ符号化装置は、ＤＰＣＭ符号化が利用される第１のモードと、前記ＤＰＣＭ符号器がＤＰＣＭ処理を適用する代わりに、前記周波数変換器が周波数変換を適用するように動作可能である第２のモードとで動作可能である
ビデオデータ符号化装置。
【請求項１３】
請求項１２に記載のビデオデータ符号化装置であって、
前記周波数変換器は、前記第２のモードにおいて、周波数変換されたデータの配列を生成するように動作可能であり、
前記エントロピーエンコーダは、前記第２のモードにおいて、最高周波数成分の配列位置に対応する配列位置から始まり、最低周波数成分の配列位置に対応する配列位置で終了する処理順を適用するように動作可能である
ビデオデータ符号化装置。
【請求項１４】
請求項１３に記載のビデオデータ符号化装置であって、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
【請求項１５】
請求項１４に記載のビデオデータ符号化装置であって、
前記並び替え処理は、ブロック内のデータ値が前記ブロックの中心を軸として１８０度回転される回転処理である
ビデオデータ符号化装置。
【請求項１６】
請求項１４に記載のビデオデータ符号化装置であって、
第１のモードは、周波数変換を実行しない変換スキップモードであり、
前記データ並び替え部は、前記変換スキップモードにおいて、前記ＤＰＣＭ符号化されたデータに対して常に動作するように構成される
ビデオデータ符号化装置。
【請求項１７】
請求項１４に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、符号化パラメータの２つ以上の各順列に関して前記データ並び替え処理を適用すべきか否かを定義する２つ以上のフラグを、前記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
【請求項１８】
請求項１７に記載のビデオデータ符号化装置であって、
前記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか
ＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちのいくつか又は全てを含む
ビデオデータ符号化装置。
【請求項１９】
請求項１７に記載のビデオデータ符号化装置であって、
前記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか、
ＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちの全てを含む
ビデオデータ符号化装置。
【請求項２０】
請求項１４に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、前記データ並び替え処理はＤＰＣＭ符号化後のデータに適用されるのか又はＤＰＣＭ符号化前のデータに適用されるのかを示すフラグを前記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
【請求項２１】
請求項７に記載のビデオデータ符号化装置であって、
ＤＰＣＭデータに関して、前記処理順は、水平にスキャンされる処理順又は垂直にスキャンされる処理順である
ビデオデータ符号化装置。
【請求項２２】
請求項７に記載のビデオデータ符号化装置であって、
前記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダ
を復号化経路にさらに具備する 
ビデオデータ符号化装置。
【請求項２３】
請求項２２に記載のビデオデータ符号化装置であって、
前記ＤＰＣＭデコーダは、前記ＤＰＣＭ復号化されたデータを、当該データの許容可能な数値範囲に切り取るように動作可能である
ビデオデータ符号化装置。
【請求項２４】
請求項２２に記載のビデオデータ符号化装置であって、
前記ＤＰＣＭデコーダは、前記ＤＰＣＭ復号化されたデータ値の１つ又は複数が、当該データの許容可能な数値範囲を超える場合、前記エントロピー復号化されたビデオデータ値の復号化を中止するように動作可能である
ビデオデータ符号化装置。
【請求項２５】
請求項１に記載のビデオデータ符号化装置を具備する装置であって、ビデオデータキャプチャ装置、記憶装置、送信装置、及び記録装置のうち少なくとも１つの機能を有する装置。
【請求項２６】
入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
前記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成し、
前記ＤＰＣＭデータ値から導出されるデータを量子化し、
量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御し、
前記制御は、適用可能な一群の符号化モードの或るサブセットを用いて符号化されるデータに対しては動作するが、前記サブセットに該当しない、前記群の符号化モードを用いて符号化されるデータに対しては動作しない
ビデオデータ符号化方法。
【請求項２７】
コンピュータに、請求項２６に記載のビデオデータ符号化方法の各ステップを実行させるプログラム。
【請求項２８】
請求項２７に記載のプログラムが記録されたコンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１３年１０月１日出願のＧＢ１３１７４０６．５号、２０１３年１０月８日出願のＧＢ１３１７８０３．３号、２０１３年１０月２１日出願のＧＢ１３１８５９３．９号及び２０１３年１１月２５日出願のＧＢ１３２０７７２．５号の優先権を主張するものであり、参照によってそれらの全体が本明細書に援用される。
【０００２】
本発明は、データ符号化及び復号化に関する。
【背景技術】
【０００３】
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の側面と同様に、明示又は黙示を問わず、本出願に対する従来技術として認められるものではない。
【０００４】
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数にある種のエントロピー符号化を適用するビデオデータ圧縮システム及びビデオデータ解凍システムが存在する。
【０００５】
エンコーダ側での空間周波数領域への変換は、デコーダ側での逆変換に対応する。このような変換として、例えば、いわゆる離散コサイン変換（ＤＣＴ）と、いわゆる離散サイン変換（ＤＳＴ）とが挙げられる。いくつかの例では、このような変換は、（符号化されるビデオデータから導出される）入力サンプル配列に対して変換係数行列を用いた行列乗算を行うことで周波数変換されたデータを生成するように実行される。周波数変換されたデータは、この周波数変換されたデータ配列に対して逆変換係数行列を用いた行列乗算を行うことで、再びサンプルデータに変換される。このようにして得られたサンプルデータから、出力ビデオデータを導出することができる。
【０００６】
いわゆるＨＥＶＣ（High Efficiency Video Coding）規格等の、一部の規格及び規格案は、空間周波数変換が実際には利用されない符号化及び復号化モードを定義する。これらは、「変換スキップ」又は「変換及び量子化（trans-quant）スキップ」モードと称されることもある。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、効率的なエントロピー符号化処理を行うことができるデータ符号化装置及びビデオデータ符号化方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明によれば、請求項１に記載のデータ符号化装置、すなわち、入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、上記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成するように構成されるＤＰＣＭ符号器と、上記ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部と、上記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための制御部とを具備するビデオデータ符号化装置が提供される。
【０００９】
本発明の各側面及び特徴は、添付の特許請求の範囲において定義される。
【００１０】
なお、上述の一般的な説明及び以降の詳細な説明は、本発明の一例であり、本発明を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【００１１】
【図１】ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ（Ａ／Ｖ）データ送受信システムを示す概略図である。
【図２】ビデオデータ解凍を行うビデオ表示システムを示す概略図である。
【図３】ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。
【図４ａ】ビデオデータ圧縮を行うビデオカメラを示す概略図である。
【図４ｂ】ビデオカメラの一例をさらに詳細に示す概略図である。
【図４ｃ】ビデオカメラの別の例を示す概略図である。
【図４ｄ】データキャリアを示す概略図である。
【図４ｅ】データキャリアを示す概略図である。
【図５】ビデオデータ圧縮・解凍装置を示す概略図である。
【図６】予測画像の生成を示す概略図である。
【図７】最大符号化ユニット（ＬＣＵ：Largest Coding Unit）を示す概略図である。
【図８】４つの符号化ユニット（ＣＵ：Coding Unit）の組を示す概略図である。
【図９】小さな符号化ユニットに細分された図８の符号化ユニットを示す概略図である。
【図１０】小さな符号化ユニットに細分された図８の符号化ユニットを示す概略図である。
【図１１】予測ユニット（ＰＵ：Prediction Unit）の配列を示す概略図である。
【図１２】変換ユニット（ＴＵ：Transform Unit）の配列を示す概略図である。
【図１３】サンプルの配列を示す概略図である。
【図１４】周波数分離された係数の配列を示す概略図である。
【図１５】図１４の配列内の傾向を示す概略図である。
【図１６】逆スキャンを示す概略図である。
【図１７ａ】丸め技術を示す概略図である。
【図１７ｂ】丸め技術を示す概略図である。
【図１７ｃ】丸め技術を示す概略図である。
【図１８】ＲＤＯＱ装置を示す概略図である。
【図１９ａ】図１８の装置の動作を示す概略図である。
【図１９ｂ】図１８の装置の動作を示す概略図である。
【図２０】エンコーダの一部を示す概略図である。
【図２１】ＲＤＰＣＭ処理を示す概略図である。
【図２２】ＲＤＰＣＭ処理を示す概略図である。
【図２３ａ】ＲＤＰＣＭデータ配列内の傾向を示す概略図である。
【図２３ｂ】ＲＤＰＣＭデータ配列内の傾向を示す概略図である。
【図２４ａ】垂直符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２４ｂ】垂直符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２５ａ】水平符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２５ｂ】水平符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２６ａ】インター画像符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２６ｂ】インター画像符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。
【図２７】処理方法を示す概略フローチャートである。
【図２８】デコーダの一部を示す概略図である。
【図２９】エンコーダ及び／又はデコーダの動作の態様を示す概略フローチャートである。
【図３０】エンコーダ及び／又はデコーダの動作の態様を示す概略フローチャートである。
【図３１】エンコーダ及び／又はデコーダの動作の態様を示す概略フローチャートである。
【図３２】イントラ画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。
【図３３】インター画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。
【図３４】イントラ画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。
【図３５】インター画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。
【図３６】ＤＣ値のブロックを示す概略図である。
【図３７ａ】図３６のブロックを水平ＤＰＣＭ処理したものを示す概略図である。
【図３７ｂ】図３７ａのブロックを回転処理したものを示す概略図である。
【図３８ａ】図３６のブロックを垂直ＤＰＣＭ処理したものを示す概略図である。
【図３８ｂ】図３８ａのブロックを回転処理したものを示す概略図である。
【図３９】エンコーダの動作の一部を示す概略図である。
【図４０】デコーダの動作の一部を示す概略図である。
【図４１ａ】処理順の変化を示す概略図である。
【図４１ｂ】処理順の変化を示す概略図である。
【発明を実施するための形態】
【００１２】
添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びその優位性の多くが容易に理解される。
【００１３】
次に各図面を参照すると、図１〜図４ｅには、以下に説明する各実施形態に係る圧縮装置及び／又は解凍装置を利用する装置又はシステムが概略的に示されている。
【００１４】
以下に説明する全てのデータ圧縮装置及び／又はデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）、あるいはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的な機械可読データ記録媒体が、本発明の実施形態であると考えられることが理解されよう。
【００１５】
図１は、ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオデータ送受信システムを示す概略図である。
【００１６】
入力オーディオ／ビデオ信号１０は、少なくともオーディオ／ビデオ信号１０のビデオ要素を圧縮するビデオデータ圧縮装置２０に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信される。圧縮された信号は、解凍装置４０によって処理され、これにより、出力オーディオ／ビデオ信号５０が提供される。リターンパスでは、圧縮装置６０がオーディオ／ビデオ信号を圧縮し、当該オーディオ／ビデオ信号は送信ルート３０に沿って解凍装置７０に送信される。
【００１７】
したがって、圧縮装置２０及び解凍装置７０は、送信リンクにおける１つのノードを構成することができる。また、解凍装置４０及び圧縮装置６０は、送信リンクにおける他の１つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、一方のノードのみが圧縮装置を要求し、他方のノードのみが解凍装置を要求することになる。
【００１８】
図２は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、これにより、表示装置１２０上で表示することができる解凍信号が提供される。解凍装置１１０は、例えば、表示装置１２０と同じケーシング内に設けることにより、表示装置１２０と一体的に形成してもよい。あるいは、解凍装置１１０は、（例えば、）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。なお、「セットトップ」という表現は、当該ボックスを表示装置１２０に対して特定の方向又は位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野において使用しているに過ぎない。
【００１９】
図３は、ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、圧縮信号を生成する圧縮装置１４０に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、又は半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置１５０に記憶される。再生時においては、圧縮データが記憶装置１５０から読み出され、解凍装置１６０に渡されて解凍される。これにより、出力オーディオ／ビデオ信号１７０が提供される。
【００２０】
圧縮信号又は符号化信号、及び当該信号を記憶する記憶媒体又はデータキャリアは、本発明の実施形態であると考えられることが理解されよう。これについては、図４ｄ及び図４ｅを参照して後述する。
【００２１】
図４ａは、ビデオデータ圧縮を行うビデオカメラを示す概略図である。図４ａにおいて、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御・読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に渡されるビデオ信号を生成する。１つのマイクロフォン（あるいは複数のマイクロフォン）２００は、圧縮装置１９０に渡されるオーディオ信号を生成する。圧縮装置１９０は、記憶及び／又は送信される（ステージ２２０として包括的に表されている）圧縮オーディオ／ビデオ信号２１０を生成する。
【００２２】
以下に説明する技術は、主に、ビデオデータ圧縮に関する。オーディオデータ圧縮を行うために、以降に説明するビデオデータ圧縮技術とともに多くの既存の技術を用いて圧縮オーディオ／ビデオ信号を生成してもよいことが理解されよう。したがって、オーディオデータ圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは、（圧縮及び非圧縮を問わず）一般的に、オーディオデータに関連するデータレートよりもはるかに高いことも理解されよう。したがって、非圧縮オーディオデータは、圧縮ビデオデータに追加することができ、これにより、圧縮オーディオ／ビデオ信号を形成できることが理解されよう。さらに、本発明の実施形態（図１〜図４ｅ参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを扱う（すなわち、圧縮、解凍、記憶、表示、及び／又は送信する）システムに使用してもよいことが理解されよう。すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータ圧縮に適用することができる。
【００２３】
図４ｂは、ビデオカメラの一例をより詳細に示す概略図である。図４ａと共通の参照符号が付された特徴部については説明を省略する。図４ｂは、図４ａのカメラの一例（図４ａのステージ２２０が記憶機能を有する場合）である。同図では、圧縮データがまずバッファ２２１によってバッファリングされ、記憶媒体２２２に記憶される。記憶媒体２２２は、例えば、磁気ディスク、光ディスク、フラッシュメモリ、いわゆるソリッドステートドライブ（ＳＳＤ）等とすることができる。なお、図４ｂの構成は、単一の（物理的な）装置１８２として実装することができる。
【００２４】
図４ｃは、ビデオカメラの別の例を示す概略図である。同図では、図４ｂの記憶構成の代わりに、ネットワークインタフェース２２３を設けたことで、圧縮データを別の装置（図示せず）に送信可能となっている。また、ネットワークインタフェース２２３を通じて、ビデオカメラが制御データ等のデータを受信することも可能となっている。なお、図４ｂの構成は、単一の（物理的な）装置１８３として実装することができる。
【００２５】
図４ｄ及び図４ｅは、データキャリアを示す概略図である。このデータキャリアは、例えば、記憶媒体２２２として用いて、本願に記載される圧縮技術によって圧縮された圧縮データを保持する。図４ｄは、フラッシュメモリ等の固体メモリとして実装されるリムーバブルな不揮発性記憶媒体２２５の一例を示す概略図である。図４ｅは、光ディスク等のディスク型媒体として実装されるリムーバブルな不揮発性記憶媒体２２６の一例を示す概略図である。
【００２６】
図５は、ビデオデータ圧縮・解凍装置を示す概略図である。
【００２７】
連続画像の入力ビデオ信号３００は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図６を参照して後で詳述する。加算部３１０は、「＋」入力上で入力ビデオ信号３００を受信し、「−」入力上で画像予測部３２０の出力を受信する事実上の減算（負の加算）動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号３３０が生成される。
【００２８】
残差画像信号を生成する理由の１つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギー」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを指す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい（且つ、「効率的」と考えられる）。残差画像における「エネルギー」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に容易に少量の符号化データに符号化できる。一般的に、予測処理をある程度良好に実行することができる場合、残差画像データは、入力画像よりも情報が小さく（エネルギーが少ない）、容易に少量の符号化データに符号化することができると予想される。
【００２９】
残差画像データ３３０は、残差画像データの離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換部３４０に供給される。このＤＣＴ技術自体は広く知られており、ここでの詳細な説明は行わない。しかしながら、以降で詳細に説明する装置で用いられる技術の側面が存在する。これは、特に、ＤＣＴ演算が適用されるデータの様々なブロック選択に関する。これらについて、図７〜図１２を参照して後述する。
【００３０】
なお、いくつかの実施形態では、ＤＣＴの代わりに、離散サイン変換（ＤＳＴ：Discrete Cosine Transform）を用いる。他の実施形態においては、変換を実行しなくてもよい。この変換は選択的に行うことができ、例えば、「変換スキップ」コマンド／モードの制御により、変換ステージが事実上バイパスされる。
【００３１】
変換部３４０の出力、すなわち、画像データにおける各変換ブロックに対する一連の変換係数は、量子化部３５０に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには２つある。１つ目は、変換データが取り得る値を量子化処理により減少させることである。２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、エントロピー符号化処理をより効率的に行うことができる。
【００３２】
制御部３４５は、変換部３４０及び量子化部３５０（並びにこれらに対応して逆の処理を行う各部）の動作を、後でさらに詳しく説明する技術によって制御する。なお、制御部３４５は、図５の装置の動作の他の態様も制御してもよい。
【００３３】
スキャン部３６０により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを並び替えることである。これらの機能により、いわゆるランレングス符号化、又は同様の技術を効率的に適用することができる。したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、且つ、（ｂ）スキャンにより所望の並び替えを行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の１つの例は、いわゆるジグザグスキャン順である。
【００３４】
スキャンされた係数は、その後、エントロピーエンコーダ（ＥＥ）３７０に渡される。この場合もやはり、各種のタイプのエントロピー符号化を実行してもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＡＣは効率がよいと考えられている。ある研究では、ＣＡＢＡＣにおける符号化出力データの量は、同等の画像品質に対して、ＣＡＶＬＣよりも１０〜２０％少ないことが示されている。しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、又は、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これと同様の事は、各逆処理にも当てはまる。
【００３５】
エントロピーエンコーダ３７０の出力により、例えば、予測部３２０が予測画像を生成する方法を定義する（上述及び／又は後述の）追加データと共に、圧縮出力ビデオ信号３８０が提供される。
【００３６】
一方、予測部３２０自身の動作は解凍された圧縮出力データに依存するため、リターンパスも提供される。
【００３７】
この機能の理由は以下の通りである。解凍処理における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある（なぜなら、元の残差データは、入力画像と予測画像との差であったため）。圧縮側と解凍側との間でこの処理が同等となるように、予測部３２０によって生成される予測画像は、圧縮処理中及び解凍処理中において、同一であるべきである。もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスできるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくとも、インター画像符号化について）その予測を行う。
【００３８】
エントロピーエンコーダ３７０により実行されるエントロピー符号化処理は、「無損失（lossless）」であると考えられる。すなわち、エントロピーエンコーダ３７０に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるが、本実施形態では、リターンパス３９０は、量子化部３５０の出力から、補足逆量子化部４２０の入力までとされている。
【００３９】
一般的には、エントロピーデコーダ４１０、逆スキャン部４００、逆量子化部４２０、逆変換部４３０は、それぞれ、エントロピーエンコーダ３７０、スキャン部３６０、量子化部３５０、及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続ける。入力圧縮ビデオ信号を解凍するための処理は、圧縮処理のリターンパスに対応する。
【００４０】
圧縮処理において、量子化された係数は、リターンパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０に渡される。逆量子化処理及び逆変換処理が各部４２０、４３０により実行され、圧縮−解凍残差画像信号４４０が生成される。
【００４１】
画像信号４４０は、加算部４５０で予測部３２０の出力に追加され、再構築出力画像４６０が生成される。これにより、画像予測部３２０への１つの入力が構成される。
【００４２】
受信した圧縮ビデオ信号４７０に適用される処理について説明する。圧縮ビデオ信号４７０は、まず、エントロピーデコーダ４１０に供給され、そこから逆スキャン部４００、逆量子化部４２０、及び逆変換部４３０の順に供給される。その後、加算部４５０により画像予測部３２０の出力に追加される。単刀直入に言うと、加算部４５０の出力４６０は、出力解凍ビデオ信号４８０を形成する。実際には、信号の出力の前に、さらにフィルタリングを施してもよい。
【００４３】
図６は、予測画像の生成を示す概略図であり、特に、画像予測部３２０の動作を示している。
【００４４】
いわゆるイントラ画像予測、及びいわゆるインター画像予測又は動き補償（ＭＣ：Motion-Compensated）予測という２つの基本的な予測モードが存在する。
【００４５】
イントラ画像予測は、同一画像内から得られるデータにおける画像ブロックの内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩフレーム符号化に対応する。画像全体がイントラ符号化されるＩフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
【００４６】
動き補償予測においては、他の隣接画像又は近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における同じ位置もしくはわずかに異なる位置にある対応ブロックを示す参照（動きベクトル）として、非常に容易に符号化することができる。
【００４７】
図６に戻る。図６には（イントラ画像予測及びインター画像予測に対応する）２つの画像予測構成が示されており、その予測結果が、加算部３１０及び４５０に供給するための予測画像のブロックを提供するように、モード信号５１０の制御下において乗算部５００によって選択される。当該選択は、どちらを選択すれば最小の「エネルギー」（上述のように、符号化を要求する情報量と考えてもよい）となるかに基づいて行われ、また、当該選択は、符号化出力データストリーム内でエンコーダに通知される。これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギーを検出することができる。
【００４８】
イントラ予測システムにおいて、実際の予測は、信号４６０の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データを入力ビデオ信号３００から抽出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
【００４９】
インター画像予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から抽出された動きベクトル等の動き情報を用いる。これら動きベクトルは、インター画像予測のブロックを生成する動き補償予測部５４０によって、処理された再構築画像４６０に適用される。
【００５０】
ここで、信号４６０に適用される処理について説明する。まず、信号４６０は、フィルタ部５６０によってフィルタリングされる。この処理では、変換部３４０により実行されるブロックに基づく処理及び後続の動作に対する影響を除去するか、少なくとも低減させるために「非ブロック化（deblocking）」フィルタが適用される。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られた係数を使用して、適応ループフィルタが適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
【００５１】
フィルタ部５６０からのフィルタリングされた出力は、実際には、出力ビデオ信号４８０を形成する。この信号は、１つ又は複数の画像記憶部５７０に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において要求される。必要メモリを確保するため、画像記憶部５７０内の記憶画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に渡される。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補間予測部５４０への入力として渡される。
【００５２】
いくつかの実施形態では、乗算部６００を使用して、入力ビデオ信号のデータ値に因数４を乗算し（効率的には、単にデータ値を２ビット左にシフトさせる）、除算部又は右シフト部６１０を使用して、装置の出力で、対応する除算動作（２ビット右にシフト）を適用する任意のステージがさらに提供される。したがって、左へのシフト及び右へのシフトにより、単に装置の内部動作に対して、データが変更される。この方法により、あらゆるデータ丸め誤差の影響も低減されるので、装置内における高い計算精度を提供することができる。
【００５３】
ここで、圧縮処理のために画像を分割する方法について説明する。基本的なレベルでは、圧縮される画像はサンプルブロックの配列として考えることができる。検討されているこのようなブロックの中で最大のものは、便宜的に、６４×６４サンプルの正方形配列を表すいわゆる最大符号化ユニット（ＬＣＵ：Largest Coding Unit）７００とする（図７参照）。ここで、輝度サンプルについて説明する。４：４：４、４：２：２、４：２：０、又は４：４：４：４（ＧＢＲ＋キーデータ）等のクロミナンスモードによって、輝度ブロックに対応する、対応クロミナンスサンプルの数が異なる。
【００５４】
符号化ユニット、予測ユニット、及び変換ユニットという基本的な３つの種類のブロックについて説明する。一般的には、ＬＣＵの再帰的な分割により、例えば、ブロックサイズ及びブロック符号化パラメータ（予測又は残差符号化モード等）が、符号化される画像の特定の特徴に応じて設定されるといった方法で、入力画像が分割される。
【００５５】
ＬＣＵは、いわゆる符号化ユニット（ＣＵ）に分割されてもよい。符号化ユニットは、常に正方形であり、また、８×８サンプルから最大サイズのＬＣＵ７００までのサイズを有している。符号化ユニットは、ある種のツリー構造として配置されてもよい。その結果、例えば、第１の分割が図８に示すように行われて、３２×３２サンプルの符号化ユニット７１０が与えられる。続いて行われる分割は、１６×１６サンプルの符号化ユニット７２０（図９）及び潜在的な８×８サンプルの符号化ユニット７３０（図１０）が与えられるように、選択的な基準に基づいて行われてもよい。全体としては、この処理により、ＬＣＵと同じ大きさ、あるいは、８×８サンプルと同じ大きさを有するＣＵブロックの容量適応符号化ツリー構造を提供することができる。出力ビデオデータの符号化は、符号化ユニット構造に基づいて行われる。
【００５６】
図１１は、予測ユニット（ＰＵ）の配列を示す概略図である。予測ユニットは、画像予測処理に関連する情報を伝達するための基本的なユニットであり、換言すると、図５の装置からの出力ビデオ信号を形成するためのエントロピー符号化された残差画像データに追加される追加データである。一般的に、予測ユニットの形状は、正方形に限られない。これらは、最小（８×８）サイズより大きい限り、特に、１つの正方形符号化ユニットの半分を形成する長方形等、他の形状を採ることができる。その目的は、隣接する予測ユニットの境界が画像内の実オブジェクトの境界に（できるだけ近くに）合わせられるようにすることであり、その結果、様々な予測パラメータを異なる実オブジェクトに適用することができる。各符号化ユニットは、１つ又は複数の予測ユニットを含んでいてもよい。
【００５７】
図１２は、変換ユニット（ＴＵ）の配列を示す概略図である。変換ユニットは、変換・量子化処理における基本的なユニットである。変換ユニットは、常に正方形であり、４×４サンプルから３２×３２サンプルまでのサイズを採ることができる。各符号化ユニットは１つ又は複数の変換ユニットを含むことができる。図１２における頭字語ＳＤＩＰ−Ｐは、いわゆる短距離イントラ予測分割を示している。この配列では、１次元の変換のみが行われる。したがって、４×ＮブロックがＮ回の変換により渡され、変換における入力データは、現在のＳＤＩＰ−Ｐ内の既に復号化されている隣接ブロック及び既に符号化されている隣接線に基づく。
【００５８】
図１３は、サンプルの配列を示す概略図である。実際には、これらは、上述した残差画像３３０のサンプルを表し、適切な相対的な空間位置に描写される。つまり、１つの画像内のこれらのサンプルの位置に関して、サンプル８００は、４×４近接サンプルの配列の左上隅に位置し、サンプル８１０は、係る配列の右下隅に位置する。
【００５９】
もちろん、図１３の４×４配列は、単なる一例であることが理解されるであろう。ここで説明する技術及び属性は、８×８、１６×１６、３２×３２等の種々の異なるサイズの配列に適用することができる。
【００６０】
図１３のサンプルは、変換部３４０によって処理され、周波数分離された係数が生成される。図１４は、係る周波数分離された係数の配列を示す概略図である。ここで、配列内の係数の位置は、当該係数に対応する空間周波数を表す。慣例では、いわゆるＤＣ係数８２０は、左上配列位置を占める。図１４の配列内の右側移動は、水平周波数成分の増加を表し、図１４の配列の下方移動は、垂直周波数成分の増加を表す。なお、係数の配列をこのように（例えば、右下隅にＤＣ係数を有しないように）表現するのは慣例に過ぎず、係数の順番は、当該処理の他の部分に技術的に関連する。この理由の１つを、図１４に破線矢印８３０によって概略的に示す。これは、図１４の配列内の右下位置から左上位置への移動が画像再構築に対する係数の重要度の全体的な増加に対応することを示す。つまり、図１３のサンプルの配列又はブロックを再構築するために、図１４の係数のうちの最重要係数は、ＤＣ係数８２０である。当該ＤＣ係数８２０の次に高い重要度を有する係数として、その下側の水平及び垂直周波数係数が続く。
【００６１】
一般論として、このような重要度の傾向は、ＤＣ係数の大きさは、サンプルのブロックから導出された係数のセット内で最大となる傾向があり得るという点で、係数の大きさに関する傾向とも対応する。図１５は、図１４の配列内の係る傾向を示す概略図である。図中、より小さい値は、当該配列の右下に向かう傾向があり、より大きい値は、配列の左上に向かう傾向がある。もちろん、係数の特有の個々の配列は、この一般的な傾向とは異なる可能性がある。
【００６２】
これらの傾向が技術的に関連する一形態は、図５のエントロピーエンコーダ３７０によって実行されるエントロピー符号化ステージに関連する。この種のエントロピー符号化に適用される一般的な原則として、エントロピーエンコーダ３７０は、ブロック内のより小さいデータ値を処理した後により大きいデータ値を処理することでより効率的に動作する。したがって、（量子化ステージを間に挟むか否かに関係なく）周波数分離された係数がエントロピー符号化される場合、いわゆる「逆スキャン」パターンは、エントロピー符号化のために適切な順序でデータを選択するのに用いられる。図１６は、逆スキャンの一例を示す概略図である。この例は、係数の配列の右下隅の係数８４０で開始するいわゆる逆対角スキャン（reverse-diagonal scan）に関し、示される対角スキャンパターンに従ってＤＣ係数８２０まで進行する。このパターンは、一般的には、より小さい値の係数は、より大きい値の係数の前に符号化されることを意味する。これは、第２のモードで、最高周波数成分の配列位置に対応する配列位置から始まり、最低周波数成分の配列位置に対応する配列位置で終了する処理順を適用するように動作可能であるエントロピーエンコーダの一例である。
【００６３】
係数を処理する順番も、いわゆるレート歪み最適化による量子化（ＲＤＯＱ）処理に関連する。当該処理を説明するために、まず、量子化処理のいくつかの態様を説明し、次にＲＤＯＱ方式を説明する。
【００６４】
いくつかの実施形態では、量子化は、例えば、次の式に従って、当該ブロックＱｐに適用可能である量子化パラメータから導出された量子化除数ＱＳｔｅｐを用いた、変換ユニット（ＴＵ）の係数の大きさ（係数の符号は別個に保存される）の除算として、周波数分離された係数に適用される。
ｑＳｔｅｐ＝ｂａｓｅＱＳｔｅｐ［Ｑｐ％６］＜＜ｉｎｔ（Ｑｐ／６）
【００６５】
ここで、パーセント記号％は、モジュロ関数を示す。したがって、Ａ％Ｂは、ＡをＢで除算した場合の余りに等しい。＜＜記号は、＜＜記号の後の値分の左ビットシフトを示す。したがって、例えば、＜＜３は、ビット三個分の左シフトを表す。変数ｂａｓｅＱＳｔｅｐは、０〜５の指標関数であり、Ｑｐ％６で表される。したがって、ｂａｓｅＱＳｔｅｐの（潜在的に）異なる値は、関連の指標Ｑｐ％６に従って適用される。関数ｉｎｔは、整数値を示す。
【００６６】
計算を簡単にするため、エンコーダに関するいくつかの実施形態では、ｂａｓｅＱＳｔｅｐの逆数を事前に計算し、１４ビット等のビット数分左にシフトすることで、ｉｎｖｅｒｓｅＱＳｔｅｐの値が得られる。次いで、ｉｎｖｅｒｓｅＱＳｔｅｐの値を係数の大きさによって乗算する。この理由から、乗算動作は、いくつかの構成では、除算動作より実施が簡単である。
【００６７】
これによって、次のような組み合わせ演算が得られる。
出力＝（（入力×ｉｎｖｅｒｓｅＱＳｔｅｐ）＋ｒｏｕｎｄｉｎｇ）＞＞ｑＢｉｔｓ
式中、ｑＢｉｔｓ＝１４＋ｉｎｔ（Ｑｐ／６）＋ｔｒａｎｓｆｏｒｍＳｈｉｆｔ
【００６８】
式中、ｔｒａｎｓｆｏｒｍＳｈｉｆｔは、変換処理による任意の付加的なシフトに対する補正を表す。
【００６９】
いくつかの実施形態では、いわゆるスケーリングリストは、ＴＵ内の異なる係数に適用可能である量子化度をさらに変化させるメカニズムとして用いられる。各係数位置は、スケーリングリスト内の対応のエントリに関連付けられる。スケーリングリスト値は、量子化除数を変更するのに用いられる。いくつかの実施形態では、１０進法の１６のスケーリングリスト値は、変化なしに相当する。つまり、除数は変化しない。いくつかの実施形態では、スケーリングリスト値は、上記式で用いられる値ｉｎｖｅｒｓｅＱＳｔｅｐを修正するのに用いられ、以下のような結果が得られる。
ｉｎｖｅｒｓｅＱＳｔｅｐ＝（ｉｎｖｅｒｓｅＱＳｔｅｐ＜＜４）／スケーリングリスト値
【００７０】
変数「ｒｏｕｎｄｉｎｇ」（丸め）を上記で紹介した。ｑＢｉｔｓだけ右にシフトする前に、最終的な結果を丸めるために或る値が追加される。丸めは、様々な方法によって適用することができる。図１７ａ〜図１７ｃは、丸め技術の例を示す概略図である。なお、これらの図には、０．５という典型的な丸め基準（rounding point）が示されているが、他の丸め基準を用いてもよい。図１７ａは、２つの整数間にある値を当該２つの整数のうちの大きい方に丸めるいわゆる能動丸め（positive rounding）を示す概略図である。図１７ｂは、２つの整数間にある値を、絶対値がより大きい最も近い整数に丸めるいわゆる無限丸め（infinity rounding）を示す概略図である。図１７ｃは、２つの整数間にある値を最も近い偶数整数に丸めるいわゆる偶数丸め（even rounding）を示す概略図である。なお、偶数丸めは、ＨＥＶＣ方式の実施形態には使用されないことに留意されたい。
【００７１】
上述した丸めは全て、従来の丸めの例である。変形例として、ＲＤＯＱを用いることができる。このＲＤＯＱは、コスト関数の推定値に基づいて丸め方式を選択する技術であり、選択された丸め方式によって生じるコストの最小化を図ることを目的としている。ここで、コストは、選択された丸め方式を用いた場合の誤差と、当該丸め方式によって丸められたデータを符号化するのに必要なビット数とによって決まる。
【００７２】
図１８は、ＲＤＯＱ装置を示す概略図である。当該ＲＤＯＱ装置は、テスト部８５０と、選択部８６０とを有する。テスト部８５０は、以下に説明するような様々な丸め方式のテストを実行する。選択部８６０は、コスト関数が最小になるような丸め方式を選択する。なお、これらの機能は、実際には制御部３４５によって実行することができる。図１９ａ及び図１９ｂは、図１８の装置の動作を示す概略図である。以下、この動作について説明する。
【００７３】
上述したように、従来の丸めの代わりにＲＤＯＱを用いることができる。したがって、ここで説明するＲＤＯＱ技術及び装置は、可能性としては制御部３４５の制御下で、量子化部３５０の一部として実施され、当該量子化部３５０のＲＤＯＱに応じて処理を行うことができる。１つのＴＵに対して以下の工程が実施される。
【００７４】
大きさＸの量子化係数毎に、候補整数が次のように算出される。
（Ｘ％１）＞０．５の場合、Ｘ１＝ｉｎｔ（Ｘ）及びＸ２＝ｉｎｔ（Ｘ）＋１
それ以外の場合、Ｘ１＝ｉｎｔ（Ｘ）−１及びＸ２＝ｉｎｔ（Ｘ）
Ｘ２が３未満の場合、第３の候補Ｘ０が提供される。なお、Ｘ０の値は０である。
Ｘが０．５未満の場合、Ｘ０が選択される。それ以外の場合、各候補整数について、Ｘの真値からの絶対誤差（ｅｒｒｏｒ（Ｘｉ））が計算され、候補を符号化するのに必要とされるビット数が推定され、各候補Ｘｉのコスト関数が次のように算出される。
ｃｏｓｔ（Ｘｉ）＝（（ｅｒｒｏｒ（Ｘｉ）＜＜ｑＢｉｔｓ）２×ｅｒｒｏｒＳｃａｌｅ）＋（ｂｉｔｓ（Ｘｉ）×ｌａｍｂｄａ）
【００７５】
式中、ｅｒｒｏｒＳｃａｌｅは、誤差の２乗に対する重みとして適用されるスケール因子であり、ｌａｍｂｄａは、ビット数の推定値に対する重みとして適用されるスケール因子である。
【００７６】
コストが最低になる候補が選択される。これは、量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御する一例である。
【００７７】
図１９ａ及び図１９ｂは、Ｘ１＝３及びＸ２＝４（図１９ａ）の場合及びＸ１＝２及びＸ２＝３（図１９ｂ）の場合の誤差値の例を示す概略図である。この例示的な両図から明らかなように、単に誤差を低減するという点では、Ｘ２を選択した方がよい。しかし、実際には、符号化のために必要とされるビット数がＸ２よりＸ１の方が少ない場合には、Ｘ１を選択した方がよい場合がある。このような選択は、コスト関数の計算によって決定される。
【００７８】
ＴＵ内の各係数グループについて、全ての係数が０に量子化される場合のコストが計算される。このコストが、当該グループを符号化する総コストより低い場合、１６個全ての係数が０に置換される。
【００７９】
ＴＵは、上述したようなエントロピー符号化の順番に対応する逆スキャン順にスキャンされる。係数Ｘ毎に、ＴＵ内の最後の非ゼロ係数としてＸを有する場合のコストＣが計算される。最低コストＣを有する係数ＸＬが、最後の係数として選択される。ＸＬが、１を上回る大きさを有する任意の係数に（スキャン順において）先行することがないように確認が行われる。
【００８０】
図２０は、エンコーダの一部を示す概略図であり、図５の変換部３４０の動作の変更形態を示す。なお、逆変換部４３０にも対応の変更形態が適用されるであろう。
【００８１】
選択部９００は、実際には制御部３４５の機能の一部として実施することができるものだが、（模式スイッチ９１０を利用して）３つの動作モード間の選択を行うように設けられる。３つの動作モードとは、（変換部３４０を介してデータを回し）周波数変換を実施するモード、変換を実施しない変換スキップモード、及びＲＤＰＣＭ部３４２を用いるいわゆるＲＤＰＣＭ（residual differential pulse code modulation：残差差分パルス符号変調）モードである。これら３つのルートのいずれかを通って処理されたデータは、出力マルチプレクサ９２０によって合成される。なお、選択部９００は、エントロピーエンコーダ３７０の動作の一部を制御してもよい。以下、本特徴についてさらに説明する。なお、変換動作は、変換も量子化動作も行われない、いわゆる変換・量子化バイパスモードでは省略することができる。
【００８２】
図２１及び図２２は、ＲＤＰＣＭ処理を示す概略図である。この処理は、残差データ３３０のブロックに適用される。その一例を図２１に概略的に示す。図２１では、例示的な４×４サンプルブロックを用いるが、本技術は他のブロックサイズにも適用可能である。図２２においてＲＤＰＣＭ処理の効果が分かるように、ブロックの各サンプルにはＡ〜Ｐの固有の参照記号を付している。
【００８３】
ＲＤＰＣＭは、水平（左右）方向又は垂直（上下）方向に実行することができる。図２２は、水平ＲＤＰＣＭ処理を示す概略図であるが、垂直処理にも同様の技術が適用可能であることが理解されるであろう。
【００８４】
図２２から分かるように、左側の列のサンプル（Ａ、Ｅ、Ｉ、Ｍ）は、符号化処理後も変化しないままである。その後、行に沿った連続サンプルはそれぞれ、当該サンプルと、当該サンプルの左に再構築されたバージョンとの差分として形で符号化される。ここで、「再構築された」という表現は、（符号化及び復号化が両方、デコーダに利用可能なデータに対して作用するように）符号化及び復号化後の当該サンプルの値を指す。アステリスク（＊）は、サンプルの再構築バージョンを示すのに用いている。つまり、例えば、Ｂ＊は、サンプルＢの再構築バージョンを表す。したがって、例えば、サンプルＢは、値（Ｂ−Ａ＊）として符号化され、サンプルＫは、値（Ｋ−Ｊ＊）として符号化される。
【００８５】
ＲＤＰＣＭ符号化は、イントラ画像符号化又はインター画像符号化の際に用いることができる。ＨＥＶＣ方式の例において、イントラ画像符号化の場合、スキャン順が逆垂直スキャンとされる水平予測モードで水平ＲＤＰＣＭが用いられ、スキャン順が逆水平スキャンとされる垂直予測モードで垂直ＲＤＰＣＭが用いられる。インター画像符号化の場合、（例えば、コスト関数の計算に応じて、制御部３４５によって）水平ＲＤＰＣＭと、垂直ＲＤＰＣＭとが選択可能であり、そのスキャンは常に逆対角線順（斜め下方向）に実行される。
【００８６】
図２３ａ及び図２３ｂは、ＲＤＰＣＭ符号化データ配列内の傾向を示す概略図である。具体的には、図２３ａは、水平ＲＤＰＣＭ符号化に関する概略図である。図２３ａでは、データの左側の列９３０が符号化後も変化せず（したがって、任意の値を有し）、残りのデータが、差分のみを表すため、その値が徐々に小さくなる。また、図２３ｂは、垂直ＲＤＰＣＭ符号化に関する概略図である。図２３ｂでは、データ値の最上行９４０が符号化後も変化せず、残りのデータ値が差分によって表され、その大きさが徐々に小さくなる。
【００８７】
ＲＤＰＣＭデータの重要な態様として、符号化されるデータは、先に符号化されたデータに依存性を有する。具体的には、水平ＲＤＰＣＭの場合、各サンプル列は、左隣の列の再構築値を用いずに符号化又は復号化することはできない。また、垂直ＲＤＰＣＭの場合、各サンプル行は、サンプルの真上の行の再構築値を用いずに符号化又は復号化することはできない。したがって、必ずしもエンコーダ又はデコーダの動作の多くの態様に対する制限にはならないが、本実施形態では、この依存性は実際に上記ＲＤＯＱ方式を良好に適用する際の妨げとなり得ると考えられる。以下、この理由について説明する。
【００８８】
ＲＤＯＱは、エントロピー符号化機能によって適用されたスキャン順と同じスキャン順を用いるデータブロック全体のスキャン動作に依拠する。つまり、従来の逆スキャン方向を用いる場合を想定すると、ＲＤＯＱ処理では、各データ値が配列内で左（水平ＲＤＰＣＭの場合）又は上（垂直ＲＤＰＣＭの場合）に対して一連の依存性を有するため、まだ利用可能ではないデータ値にアクセスすることが必要となる。
【００８９】
上記問題に対する解決策は、単にＲＤＰＣＭ処理の順序を逆にすることで、垂直ＲＤＰＣＭ処理を下の行から上の行へ実行し、水平ＲＤＰＣＭ処理を右の列から左の列へ実行することのように思われるかもしれない。しかし、このような構成は、特にデータのイントラ画像予測の場合には望ましくないと考えられる。これは、イントラ画像予測の場合には、左側の列及び上側の行のサンプルが、これらのサンプルを予測するための基準サンプルの画像位置に最も近い空間位置にあるため、最も信頼性を有するものだと考えられているためである。したがって、上記解決策の代わりに、エントロピー符号化順の変更、次いで、ＲＤＯＱの処理順の変更を提案する。以下、これらの変更について説明する。
【００９０】
図２４ａ及び図２４ｂは、イントラ画像符号化の場合の、垂直符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。具体的には、図２４ａは、逆水平スキャン順を示す概略図である。図中、１〜１６の数字は、その順番に従って右下スキャン位置から始まる連続スキャン位置を示す。通常、垂直予測方向を有するデータブロックには、図２４ａに示すスキャン順が適用されるであろう。しかし、ＲＤＰＣＭが行われる場合、図２４ｂに示す、左上スキャン位置から始まる順水平スキャン順が用いられる。
【００９１】
図２５ａ及び図２５ｂは、水平符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。具体的には、図２５ａは、逆垂直スキャン順を示す概略図である。図中、１〜１６の数字は、上述と同様に、その順番に従って右下スキャン位置から始まる連続スキャン位置を示す。通常、水平予測方向を有するデータブロックには図２５ａに示すスキャン順が適用されるであろう。しかし、ＲＤＰＣＭが行われる場合、図２５ｂに示す、左上スキャン位置から始まる順垂直スキャン順が用いられる。
【００９２】
図２６ａ及び図２６ｂは、イントラ画像符号化の場合の、インター画像符号化されたＲＤＰＣＭデータのスキャン順に対する変更を示す概略図である。具体的には、図２６ａは、逆対角スキャン順を示す概略図である。図中、１〜１６の数字は、その順番に従って右下スキャン位置から始まる連続スキャン位置を示す。通常、インター画像符号化を用いるデータブロックには図２６ａに示すスキャン順が適用されるであろう。しかし、ＲＤＰＣＭが行われる場合、図２６ｂに示す、左上スキャン位置から始まる順対角スキャン順が用いられる。
【００９３】
図２４ｂ、図２５ｂ及び図２６ｂに示すスキャン順の全てに共通する特徴は、順スキャン順の任意のスキャン位置に関して、先にスキャンされるデータ値（スキャン順においてより若い数字で表す）が、ＲＤＰＣＭ方式によって符号化及び復号化されており、常に利用可能であることである。換言すると、これらの処理順の任意のＲＤＰＣＭデータ値は、当該処理順で後続に位置するＲＤＰＣＭデータ値に依存性を有しない。したがって、ＲＤＰＣＭを実行する場合に逆スキャン順の代わりに順スキャン順を採用することによって、ＲＤＯＱは、ＲＤＰＣＭデータの場合であっても依然として実行可能となる。
【００９４】
図２７は、処理方法を示す概略フローチャートである。当該処理方法は、ステップ１０００において、上述したようにＲＤＰＣＭ符号及び順スキャン順を用い、データブロックを試験的に符号化し、ステップ１０１０においてＲＤＯＱ処理を適用し、ステップ１０２０において、ＲＤＯＱ処理によって選択された符号化方式によってブロックを符号化する。換言すると、ＲＤＯＱは、（ＲＤＰＣＭデータ等）ＤＰＣＭ符号化されたデータの場合に用いられる（又は、変形例では、他のタイプのＤＰＣＭデータを用いることができる、つまり、ＤＰＣＭによって残差値以外のデータが符号化される）。いくつかの実施形態では、ＲＤＯＱは、インター符号化（又はイントラブロックコピー符号化（以下参照））データではなく、イントラ符号化データの場合に用いてもよい。つまり、これは、入力ビデオデータ値の配列を符号化するビデオデータ符号化方法の一例である。当該ビデオデータ符号化方法は、差分パルス符号変調（ＤＰＣＭ）処理を入力ビデオデータ値の配列に適用してＤＰＣＭデータ値の配列を生成し、ＤＰＣＭデータ値から導出されるデータを量子化し、量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御する。
【００９５】
図２８は、図２０に概略的に示したエンコーダの一部に対応するデコーダ（又はエンコーダの復号化経路）の一部を示す概略図である。制御部３４５は、模式スイッチ１１００を決定及び制御し、データを、ＲＤＰＣＭデコーダ１１１０、バイパス経路１１２０又は逆変換部４３０に回す。これらのルートのうちのいずれかを通って処理されたデータは、マルチプレクサ１１３０に転送されてさらなる処理を施される。
【００９６】
逆量子化部４２０が点線で示されているのは、変換・量子化バイパスモードでは、（制御部３４５の制御下で）一連の処理から省かれる場合があるためである。
【００９７】
なお、図２０及び図２８では、制御動作は、スイッチ９１０、１１００だけでなく、エントロピーエンコーダ及びデコーダ動作にも適用される。これは、ＲＤＰＣＭモードが選択された場合、エントロピー符号化及び復号化で用いられるスキャン順は、通常の逆スキャン順とは反対の順スキャン順であるためである。
【００９８】
上記技術を、エントロピー符号化（及び復号化）スキャン順と、ＲＤＰＣＭ符号化の利用との関係に関して説明した。これらの技術は、（限定はしないが）いわゆる変換スキップモードと、（周波数変換及び量子化を省く）変換・量子化バイパスモードとを有するＲＤＰＣＭモードにも適用可能である。
【００９９】
いくつかの例では、「回転」又は並べ替えと称される処理を符号化及び復号化処理に用いてもよい。
【０１００】
回転とは、正方形状に配列されたデータ配列値のデータ値を、当該配列の中心の回りに１８０度回転する処理のことである。したがって、例えば、左上隅の数字１から右下の隅の数字１６まで左から右へ各行に沿って順番に番号を付された上述したタイプの４×４配列の場合、１８０度回転の軸は、配列の中心となる。配列の中心とは、つまり、最初に６、７、１０及び１１という数字が付された配列要素間の接合点である。１８０度回転によって、各配列データ値が、当該配列要素から１８０度回転変位した別の配列データ値と交換される。例えば、１及び１６という数字を付された配列データ値は互いに交換され、２及び１５という数字を付された配列データ値は互いに交換される。したがって、この回転処理は、損失が少なく、完全に反転可能なものであることが理解されるであろう。
【０１０１】
回転を、先に提案したいくつかのエンコーダ及びデコーダで使用するように提案してきた。（なお、回転がエンコーダ側で適用される場合、回転は、デコーダ側及びエンコーダの復号化経路でも適用する必要がある。回転がエンコーダ側で適用されない場合、回転は、デコーダ側又はエンコーダの復号化経路でも適用する必要はない）。特に、回転は、変換スキップブロックに対して適用するように選択してもよい。先に提案したいくつかのシステムにおける変換スキップブロックでの使用のために回転が（強制ではないが）利用可能である理由は、次の通りである。エントロピー符号化処理は、「後方に」スキャンするように構成される。つまり、エントロピー符号化は、ブロックの右下領域から左上領域に向かって作用する。これは、１つのブロック内でより小さいデータ値から開始され、より大きいデータ値に向かって進行する場合に潜在的により効率的に動作するという原理に基づく。しかし、変換スキップモードでは、エントロピー符号化処理によって符号化されているのは残差データである。一般論として、イントラ予測を実行する場合、残差データ値は、予測を実行するための基準サンプルに画像位置が最も近いブロック位置で小さくなる（対応の画素のより良好な又は近い予測を表す）。イントラ画像符号化ブロックでは、基準サンプルは、予測されるブロックの左側に沿って且つ上部に沿って配置される。したがって、イントラ画像符号化ブロックの変換スキップ処理において、残差値は、ブロックの左上に向かって小さくなり、ブロックの右下に向かって大きくなる傾向がある。このため、エントロピー符号化処理がまずより小さい値に対して作用するように、係る変換スキップイントラ画像符号化ブロックに回転配列を適用することが有利であり得る。回転は、例えば、当該処理に含まれる回転ステップを用いて又は用いずに生成されるビット数及びビットエラー率のテストに応じて、例えば、制御部（制御部３４５等）によって選択することができる。
【０１０２】
周波数変換器を用いる場合、実施形態は、ＲＤＰＣＭ符号化が実行される第１のモード（変換スキップ等）と、ＲＤＰＣＭ符号器がＲＤＰＣＭ処理を実行する代わりに周波数変換器が周波数変換を実行するように動作可能である第２のモードとを有することができる。
【０１０３】
回転が選択された場合、その旨を出力データストリームにおいてフラグ化することができる。これによって、デコーダは、係るフラグに応じて回転を選択することができる。
【０１０４】
先に提案したシステムでは、回転は必須ではなく、符号化及び復号化経路内の回転の選択は、ＲＤＰＣＭを実行するエンコーダ側のいかなる決定からも完全に切り離されている。これらの先に提案したシステムでは、回転は、イントラ画像符号化された４×４ブロックの場合にのみ適用される。４×４ブロックよりも大きいブロックについては、回転は適用されない。
【０１０５】
ここで、本技術の実施形態に関連する、回転を適用する際の変形例及び他の特徴について説明する。まず、これらの概要を図２９〜図３１に示す。図２９〜図３１は、エンコーダ及び／又はデコーダの動作の態様を示す概略フローチャートであり、後で詳しく説明する。
【０１０６】
図２９は、回転が適用される状況に関する。図のステップ１２００において、変換スキップブロックに対してＲＤＰＣＭ又はＣＤＰＣＭ（係数差分パルス符号変調（下記参照））を実行する場合、ステップ１２１０において回転が常に適用される。なお、これは、先に提案した構成（（ａ）回転の適用が完全に任意選択であり、（ｂ）回転の選択がＤＰＣＭモードの選択から独立している）とは対照的である。なお、ＲＤＰＣＭ構成及びＣＤＰＣＭ構成は、ＤＰＣＭ構成の例である。
【０１０７】
図３０は、逆ＲＤＰＣＭ又はＣＤＰＣＭ処理の一態様に関する。この逆ＲＤＰＣＭ又はＣＤＰＣＭ処理は、デコーダ又はエンコーダの復号化経路で実行される処理である。係る処理が実行される（図のステップ１２２０）場合、図のステップ１２３０において、クリッピング処理も実行され、逆ＲＤＰＣＭ又はＣＤＰＣＭ処理後の出力データを、この処理（１２２０）によって生成された有効データの適切な又は許容可能な範囲を表す数値範囲（例えば、ビット数）に切り取り（clip）、又は、（例えば）出力されたＲＤＰＣＭデータ値のうちの１つ又は複数が許容可能な数値範囲内にない場合、ＲＤＰＣＭ復号化動作を選択的に中止する。以下、本開示の実施形態に適用可能なビット数について説明する。
【０１０８】
いくつかの実施形態では、ＲＤＰＣＭ復号化されたデータ値のうちの１つ又は複数が当該データの許容可能な数値範囲内にない場合、逆ＲＤＰＣＭ処理後の出力データを切り取るのではなく、逆ＲＤＰＣＭ処理を中止することができる。例えば、本特徴は、例えば、ＴＵ等のブロック（配列）毎に適用することができる。したがって、任意の１つの復号化されたＲＤＰＣＭ値が当該データの許容可能な数値範囲内にない場合、当該ブロックに対する逆ＲＤＰＣＭ処理が中止され、復号化データの代わりに、ゼロ、他の所定の値又はエラーコードが挿入される。ＲＤＰＣＭ／逆ＲＤＰＣＭ処理がブロック毎に独立しているため、次のブロックに対しては復号化を再開することができる。他の実施形態では、少なくとも所定数（例えば、２つ）の復号化データ値が許容可能な範囲内にない場合にこの中止処理を実行することもできる。この所定値は、ブロックのサイズに応じて（例えば、所定のルックアップテーブルによって）変化し得る。
【０１０９】
この文脈において、動作の中止は、復号化機能の停止、エラーメッセージの出力、係るエラー（つまり、許容可能な数値範囲を超える復号化されたＲＤＰＣＭデータ）が発生したＴＵの復号化値、符号化ユニット、画像スライス、画像領域又は画像の破棄、及び、当該データに伴う何らかの問題によって許容可能な数値範囲外のデータが復号化されそうになったことを表す任意の他の表示（上述したもの等）のうちの（例えば）１つ又は複数を意味し得る。
【０１１０】
この許容可能な数値範囲は、データストリームで定義することができる。いくつかの実施形態では、当該数値範囲は、ブロックサイズ及びビデオデータのビット深さ及び／又は内部処理のうちの１つ又は複数との所定の関係に従って定義することができる。
【０１１１】
図３１は、インター画像符号化されたＲＤＰＣＭ又はＣＤＰＣＭ  ＴＵに適用可能な（エントロピー符号化及び復号化ステージでの）スキャン順に関する。先に提案した構成では、インター画像符号化されたＴＵは、逆対角スキャン順にエントロピー符号化される。しかし、本技術の実施形態では、（図のステップ１２４０において）インター画像符号化されたＲＤＰＣＭ又はＣＤＰＣＭ  ＴＵが処理中である場合、図のステップ１２５０において、エントロピー符号化及び復号化ステージで水平又は垂直スキャンモードが用いられる。以下、適切なスキャンモードについてさらに詳細に説明する。
【０１１２】
エンコーダ又はデコーダで回転処理が適用される場合、先に提案した構成に従う結果を図３２及び図３３に示す。ここでは、当該構成に伴う潜在的な問題を示すために、これらの結果を説明する。図３２及び図３３の、既に説明した図と同一の参照符号が付された部分又は特徴については、その詳細な説明を省略する。
【０１１３】
図３２は、イントラ画像符号化ブロックに対して動作する、先に提案したエンコーダ及び／又はデコーダの一部を示す概略図である。上述したように、様々な点で、この構成は、図５に示した構成と類似している。ＲＤＰＣＭエンコーダ１３００は、符号化されたデータを回転（並び替え）部１３１０に供給する。ここで、回転処理（１３１０）は、４×４変換スキップ及び変換・量子化バイパスＴＵに対して実行される。変換部３４０及び量子化部３５０が示されているが、これらの部のうちの一方又は両方が、（変換部３４０が使用されない）変換スキップモード又は（いずれの部も使用されない）変換・量子化バイパスモードでバイパスされることもあり得る。１つの部（参照符号３６０、３７０、４００、４１０）でスキャン及びエントロピー符号化及び復号化の動作を示している。任意選択の逆量子化逆変換部が示されている。データは、回転部１３１０によって実行される処理とは逆の処理として元の順番を復元する逆回転部１３２０に渡される。最終的に、逆ＲＤＰＣＭ部（デコーダ）１３３０は、ＲＤＰＣＭエンコーダ１３００とは逆の処理を実行する。なお、上述したように、ＲＤＰＣＭエンコーダ１３００は、差分値を符号化するために、デコーダ１３３０から復号化された残差値を必要とする。
【０１１４】
図３３は、インター画像符号化ブロックに対して動作する、先に提案されたエンコーダ及び／又はデコーダの一部を示す概略図である。ここで、再び、４×４変換スキップ及び変換・量子化バイパスＴＵに対して回転処理（１３１０）が実行される。その他の点について、各部は図３２と同様に動作するが、その順番は図３２とは若干異なる。
【０１１５】
先に提案したこれらの構成に起因する数々の問題が認められる。
【０１１６】
第１の問題は、インター画像符号化ブロック及びイントラ画像符号化ブロックに対して異なる構成が使用されることに関する。先に提案した構成に認められる利点としては、インター画像符号化経路は、順番の違いによる精度向上の恩恵を享受する。また、インター画像符号化経路は、エンコーダフィードバック経路が短縮されることから恩恵を享受する。しかし、インター画像符号化経路及びイントラ画像符号化経路間で違いがあることは望ましくなく、インター画像符号化経路においてＲＤＰＣＭ前に回転を適用することは異常である。実際には、（残差サンプルに対して作用する）ＲＤＰＣＭ処理というよりも、インター画像符号化経路は、ＤＰＣＭがエンコーダにおいて変換スキップ後に適用されるため、「係数ＤＰＣＭ」（ＣＤＰＣＭ）処理（変換は行われないのだが）であると考えるべきである。
【０１１７】
第２の問題は、ＲＤＯＱが適用不可能であることに関する。上述したように、レート歪み最適化による量子化（ＲＤＯＱ）アルゴリズムは、先に提案した構成においてインター画像符号化の場合には適用することはできない。差分符号化は、順スキャン順で実行されるが、エントロピー符号器（ＲＤＯＱモデル）は、係数を逆スキャン順に処理する。イントラ画像符号化の場合にはＲＤＯＱを適用することができるが、これは、回転が実行される場合（つまり、４×４変換スキップＴＵの場合）に限られる。
【０１１８】
第３の問題は、インター画像符号化又はイントラ画像符号化における逆ＤＰＣＭ処理の数値的制限に関する。ビットストリームは、サイズに関して「ＭＴＤＲ＋１」の符号付きビット（典型的には１６ビット）より大きい値を有することができないという制限を有する。このＭＴＤＲは、変換処理の最大ダイナミックレンジを表すシステム変数の略であるが、この文脈では、データの適切な又は許容可能な数値範囲の大きさを表す。上記クリッピングの他には、唯一、逆量子化部の出力時に、つまり、再構築値が形成されるときにだけクリッピングが行われる（ここでも、非変換・量子化バイパスＴＵ用の「ＭＴＤＲ＋１」の符号付きビットに切り取られる）。つまり、図３２のイントラ符号化構成では、逆ＲＤＰＣＭへの入力時には、「ＭＴＤＲ＋１」の符号付きビットであり得る（実際には、この値は、残差係数程度であるか、又は「ｎ＋１」の符号付きビットとなるはずである）。さらに、逆ＲＤＰＣＭモジュールは、アキュムレータを利用するため、理論上は、出力（及びアキュムレータ）におけるビット数は、入力ＲＤＰＣＭデータ＋ｌｏｇ２（サイズ）ビットのビット深さと同程度となり得る（ここで、「サイズ」は、サンプルのブロックサイズの線形寸法を示す（つまり、４×４ブロックの場合、サイズは４である）。３２×３２ＴＵに関して言えば、出力（及びアキュムレータ）におけるビット数は、その入力より５ビット増える可能性がある。つまり、２１ビット（符号付き）となり得る。
【０１１９】
第４の問題は、並行処理能力（parallelisation）に対する制限に関する。いわゆるサンプル適応イントラ予測技術が、ＨＥＶＣ方式におけるツールとして提案されたとき、並行処理能力は、当該処理が損失の少ないブロックにのみ適用されるため、単純かつ容易に発揮された。エンコーダは、元の残差データ間の差分を簡単に生成することができた。デコーダは、ＲＤＰＣＭの方向とは反対方向に列又は行毎にアキュミュレータ値（accumulations）を簡単に生成することができた。すなわち、水平ＲＤＰＣＭの場合、データは、列毎に処理することができた。しかしながら、ブロックに対する復号化は、左上の係数の復号化が完了するまで開始することができなかった。この左上の係数は、逆スキャンのため、最後に復号化されるものである。したがって、ＴＵを一時的に保持するバッファが必要とされる。しかし、図３２に示すＲＤＰＣＭ方式に関して、実現可能な並行処理能力には制限がある。上述と同様に、水平ＲＤＰＣＭ構成の場合、エンコーダは列毎にデータを処理することができる。しかし、上述したように、デコーダは、左上係数が復号化されるまで待機する必要がある。４×４ブロックの場合又は回転が無効となる場合、左上係数は、ＴＵ内で最後に復号化されることになる。さらに、インター処理の場合、スキャンは常に対角線上に実施されるため、係数は適切な順番で復号化されない。４×４のイントラ符号化ブロックに回転が適用される場合、係数は適切な順番でエントロピーデコーダによって復号化される。すなわち、水平ＲＤＰＣＭの場合、水平ＲＤＰＣＭの実行を示すイントラ予測方向は垂直スキャン順の適用も示すため、係数は列毎に復号化される。つまり、回転を組み合わせて実行することで、復号化される第１のセットの値が実際には第１の列となるため、ＲＤＰＣＭを遅延なしで列毎に行うことができる。
【０１２０】
これらの問題を、図２９〜図３１を参照して上述した技術のうちの１つ又は複数を含む、図３４及び図３５のいわゆる一体構成によって緩和させてもよい。上述と同様に、既に説明したものに対応するブロック又は特徴については、その詳細な説明を省略する。
【０１２１】
いくつかの実施形態では、ＲＤＯＱは、少なくともイントラ符号化データの場合、また、任意選択で、インター符号化データの場合に実行してもよい。つまり、ＲＤＯＱは、符号化モードのグループ（例えば、イントラ、インター、及びイントラブロックコピー符号化）のうちのサブセットを用いて符号化されたデータに対して適用され、このサブセットに該当しない符号化モードに対しては適用されない。いくつかの実施形態では、回転は、ＲＤＯＱを採用する構成において実行してもよい。いくつかの実施形態では、回転は、インター符号化データではなく、イントラ符号化データに対して有効とされる。したがって、以下に説明する構成は、入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置の例であり得る。当該装置は、差分パルス符号変調処理を入力ビデオデータ値の配列に適用してＤＰＣＭデータ値の配列を生成するように構成される差分パルス符号変調（ＤＰＣＭ）符号器と、ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部と、量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための制御部とを具備する。制御部は、レート歪み最適化による量子化の制御部としてもよい。上述したように、ＤＰＣＭ符号器に対して入出力されるデータ配列に並び替え処理を適用するように構成されるデータ並び替え部の使用の一例として回転を実行してもよい。並び替え処理は、例えば、データ配列におけるデータ値を、当該配列内の或る一点を中心にした位置で回転する回転処理としてもよい。制御部は、イントラ画像符号化ビデオデータ値に対して動作可能とし、インター画像符号化ビデオデータ値に対して動作不可能としてもよい。
【０１２２】
いくつかの実施形態では、いわゆるイントラブロックコピー（ＩＢＣ）符号化を実行してもよい。ＩＢＣ符号化は、インター符号化及びイントラ符号化の組み合わせたものであり、いくつかの点で動きベクトルに類似すると見なし得る変位に応じて、同じ画像内の他の位置から別のブロックをコピーすることによってブロックが生成される。いくつかの実施形態では、ＩＢＣモードは、回転及びＲＤＯＱを実行するどうかの観点では、インター画像符号化と同様の扱いである。換言すると、いくつかの実施形態では、ＩＢＣブロックの場合、回転は無効とされる。したがって、利用可能な予測モードのグループのうちのサブセットが採用される（サブセットは、例えば、イントラ画像符号化であり、当該グループの残りの非サブセットは、例えば、インター画像符号化及び／又はイントラブロックコピー符号化である）いくつかの実施形態では、ＲＤＯＱ及び回転は、ＤＰＣＭと合わせて実行してもよい。
【０１２３】
図３４は、イントラ画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。
【０１２４】
本構成は、インター画像符号化の場合とイントラ画像符号化の場合の処理を統一すること、エンコーダが常に、変換がスキップされた場合に任意選択的にＲＤＯＱを実行することができるように構成すること、及び、並行処理能力が向上すると共にバッファの使用量が削減されるように係数の処理順を改善することを目的とする。本構成は、図３４及び図３５を参照して説明するように、２つの（例示的な）方法のうちの一方で実現することができる。これによって、図３４及び図３５に示される構成ではそれぞれ、少なくともいくつかの符号化モードにおいて、ＲＤＯＱと、ＤＰＣＭとが実行されてもよい。
【０１２５】
これらの構成では、常にＤＰＣＭモジュール後に回転を適用することで、ＲＤＯＱが実行可能になる。ここで、係数が符号化される順番は効果的には、左上から右下である（水平、垂直又は対角スキャン）。この順番は、ＲＤＰＣＭによって係数を生成することができる順番である。
【０１２６】
したがって、本構成は、入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置（及び対応の方法）の一例である。当該ビデオデータ符号化装置は、差分パルス符号変調処理を、図３４に示す装置に供給される残差データ等の入力ビデオデータ値の配列に適用して、ＤＰＣＭデータ値の配列を生成するように構成される符号器１３００又は１３００'等の差分パルス符号変調（ＤＰＣＭ）符号器と、ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部３５０等の量子化部と、量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための、つまり、純粋に例としてＲＤＯＱモードで動作するための制御部（例えば、量子化部３５０及び／又は制御部３４５によって実施される）とを具備する。これによって、係る構成は、ＲＤＯＱがＤＰＣＭ符号化と共に実行される符号化構成を提供する。実際、本開示の実施形態の特徴によって、このような環境でエンコーダがＲＤＯＱを選択することが容易に可能となる。ＤＰＣＭ符号器に対して入出力されるデータ配列に対する回転処理（例えば、データ配列内のデータ値が当該配列内の或る一点を中心とした位置で回転される回転処理）等の並び替え処理は、上述したように行ってもよい。このような技術は、本明細書に記載される他の技術と組み合わせてもよい。
【０１２７】
さらに、インターＲＤＰＣＭ係数の処理を容易にするために、インターＲＤＰＣＭ係数の符号化では対角スキャンが強制されることはなくなり、その代わり、水平インターＲＤＰＣＭの場合に垂直スキャンが実行され、（イントラ符号化の場合と同様に）垂直インターＲＰＣＤＭの場合に水平スキャンが実行される。
【０１２８】
また、逆ＲＤＰＣＭモジュールにおいてアキュムレータ値が過度に大きくならないように、クリッピング処理が実行される。
【０１２９】
必要であれば、ＲＤＰＣＭが残差に適用され、ＲＤＰＣＭが適用される場合又はＳＰＳフラグによって、係る変換スキップ／変換・量子化バイパスＴＵが回転されるべきであることが示される場合、ＴＵが回転される（ＳＰＳは、先に提案したシステムにおいて、回転を適用すべきかどうかを示すフラグとして用いられ、先に提案したシステムにおいて、回転は、４×４変換スキップ又は変換・量子化バイパスＴＵに適用可能である）。これに続いて、ＴＵは、変換され（又は変換が変換スキップモードでバイパスされ）、量子化される。逆ＲＤＰＣＭモジュールにおけるＲＤＰＣＭ値の蓄積中に、（上述したステップ１２３０に従って）クリッピングを行い、アキュムレータ値及び下流値（逆ＲＤＰＣＭモジュールの出力）をちょうどｎ＋１の符号付きビットに限定することができる。なお、回転は、量子化部の後で実行することもできる。あるいは、回転は、逆方向ではなく順方向の順番で効果的にスキャンするための、エントロピー符号器でのスキャン順に対する変更として解釈することもできる。
【０１３０】
したがって、図３４は、入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置（及び対応の方法）の一例を示している。当該ビデオデータ符号化装置は、残差差分パルス符号変調（ＲＤＰＣＭ）符号器と、エントロピーエンコーダとを具備する。残差差分パルス符号変調（ＲＤＰＣＭ）符号器は、差分パルス符号変調処理を入力ビデオデータ値の配列に適用してＲＤＰＣＭデータ値の配列を生成するように構成される。エントロピーエンコーダは、ＲＤＰＣＭデータ値に関して、或る処理順でＲＤＰＣＭデータをエントロピー符号化するように動作可能である。当該エントロピー符号化は、当該処理順の任意のＲＤＰＣＭデータ値が、当該処理順で後方に位置するＲＤＰＣＭデータ値に対して依存性を有しないように行われる。このような技術は、インター符号化データに適用可能である。この場合、入力ビデオデータ値の配列は、現在の画像の各ビデオサンプルと、これらのビデオサンプルの予測バージョンとの差分として生成される残差値の配列を含む。当該予測バージョンは、現在の画像以外の１つ又は複数の画像から導出される。任意の係る入力ビデオデータ値の配列に関して、処理順は常に、当該処理順の任意のＲＤＰＣＭデータ値が、当該処理順で後方に位置するＲＤＰＣＭデータ値に依存性を有しないようになっている。このような技術は、イントラ符号化データにも適用可能である。この場合、入力ビデオデータ値の配列は、現在の画像の各ビデオサンプルと、これらのビデオサンプルの予測バージョンとの差分として生成される残差値の配列を含む。当該予測バージョンは、現在の画像から導出される。任意の係る入力ビデオデータ値の配列に関して、処理順は常に、当該処理順の任意のＲＤＰＣＭデータ値が、当該処理順で後方に位置するＲＤＰＣＭデータ値に依存性を有しないようになっている。イントラ符号化データでは、予測バージョンは、各ビデオサンプルの画像位置に近接した基準領域内の１つ又は複数の基準画素から導出される。一変形例では、イントラブロックコピーと称される場合もあるが、予測バージョンは、１つ又は複数の動きベクトルによって各ビデオサンプルの画像位置に対して画定される（現在の画像の）基準領域内の１つ又は複数の基準画素から導出される。
【０１３１】
図３５は、最初に変換が実行される場合の、インター画像符号化ブロックに対して動作するエンコーダ及び／又はデコーダの一部を示す概略図である。したがって、その動作は、ＲＤＰＣＭではなく、ＣＤＰＣＭと称されるが、その原理は変わらない。特に、ＲＤＰＣＭについて本願で説明した技術は、ＣＤＰＣＭにも用いてもよい。実際には、ＲＤＰＣＭ及びＣＤＰＣＭに対する言及は、ＤＰＣＭ方式の相互交換可能な例として解釈されるべきである。両技術間で異なるのは、技術的特徴ではなく、単にＲＤＰＣＭ処理が実行される処理順である。
【０１３２】
まず、ＴＵが変換され（又は変換スキップが適用され）、次いで、ＣＤＰＣＭが、ＣＤＰＣＭエンコーダ１３００」（必要な場合）によって適用される。そして、ＴＵは、回転され（上述と同様に、ＣＤＰＣＭが適用される場合又はＳＰＳフラグによって、係る変換スキップ／変換・量子化バイパスＴＵが回転されるべきであることが示される場合、ＴＵが回転されるべきであることが示される場合のみ）、量子化される。上述と同様に、逆ＣＤＰＣＭモジュール１３３０'におけるＣＤＰＣＭ値の蓄積中に、（上述したステップ１２３０に従って）クリッピングを行い、アキュムレータ値及び下流値をちょうどＭＴＤＲ＋１の符号付きビットに限定することができる。なお、回転は、量子化部の後で実行することもできる。あるいは、回転は、逆方向ではなく順方向の順番で効果的にスキャンするための、エントロピー符号器でのスキャン順に対する変更として解釈することもできる。
【０１３３】
或る限定された環境下では、上記構成のうちのいくつかでは、ＤＰＣＭ処理後に回転処理を適用することで潜在的な問題が引き起こされることがある。このような環境として、例えば、ブロックが全体的に平坦である、つまり、ブロックが互いに同様の値を有する場合が挙げられる（なお、ＲＤＰＣＭでは、これらの値は、上述したように残差データの値である）。ブロックが「平坦」であることは、換言すると、当該ブロックが全体的にＤＣ値を含むということである。この用語は、ブロック内に或る程度のばらつきは存在し得るが、ブロックの内容の大部分を１つの値（周波数変換が実行された場合、この値はＤＣ係数に対応する）によって表せることを意味する。なお、このＤＣ値の周辺には、若干の空間周波数のばらつきが存在するのみである。
【０１３４】
図３６は、このようなＤＣ値のブロックを示す概略図である。図３６では、これらの値は、全て同じ（値ｘ）である。説明を容易にするために、仮説のブロック値を完全に同一の値にしているが、互いに類似する値から成るブロックの場合にも同様の特性が当てはまることを理解されたい。
【０１３５】
図３７ａは、図３６のブロックを水平ＤＰＣＭ処理したものを示す概略図である。上述したように、値の各行について、第１の値が送信され、次いで、残った値が、当該値と、この先行の値の再構築バージョンとの差分によって表される。これによって、図３７ａに示すｘ及び０のパターンが形成される。なお、図３６のブロックの元の値が同一ではない場合、図３７ａに示すものに類似するパターンが得られることになる。この場合、「０」となっているブロック位置には、代わりに小さい値の数字が入る。
【０１３６】
図３７ｂは、図３７ａのブロックを回転処理したものを示す概略図である。望ましくないことに、非ゼロ値（ｘ）は、当該ブロックの右端の列に回転されている。これは、エントロピー符号化の観点からふさわしい結果ではない。上述したように、当該エントロピー符号化は、符号化される予定にあるより高い値のデータがブロックの左上側に配置されている場合に効率的に達成される。このブロックが回転していない場合はこの条件が満たされるが、回転処理がＤＰＣＭ処理後に実行された場合、この条件は満たされなくなる。
【０１３７】
図３８ａは、図３６のブロックを垂直ＤＰＣＭ処理したものを示す概略図である。この結果は、図３７ａに示す結果に似ているが、この場合、符号化が上から下へ一列ずつ移動して行われ、非ゼロ値ｘが図３８ａのブロックの一番上の行内に配置されている。
【０１３８】
図３８ｂは、図３８ａのブロックを回転処理したものを示す概略図である。上述と同様に、回転処理によって、ブロックの右下部分に非ゼロ値が移動されている。これは、後続のエントロピー符号化処理の効率のためには望ましくない結果である。
【０１３９】
なお、この種の平坦なブロックを符号化するのに専ら適している符号化は、いわゆるイントラブロックコピー符号化である。このイントラブロックコピー符号化は、インター符号化とイントラ符号化との組み合わせたものであり、いくつかの点で動きベクトルに類似すると見なすことができる変位に応じて、同じ画像内の他の位置から別のブロックをコピーすることによってブロックが生成される。
【０１４０】
また、既に説明した回転処理は、回転フラグによって制御される。この回転フラグによって、ＤＰＣＭを実行するかどうかに関係なく、且つブロックがインター又はイントラブロックコピー符号化されるかどうかに関係なく、全ての変換スキップ（ＴＳ）及び変換・量子化バイパス（ＴＱＢ）ブロックに対して回転が有効又は無効とされる。
【０１４１】
次に、この問題を緩和するための様々な選択肢について説明する。
【０１４２】
可能性の一つとして、様々な符号化モードで回転を有効とするか又は無効とするかを示すために多数のフラグが提供されるように回転フラグの性質を変更する。これらフラグの例を以下の表に概略的に示す。
【０１４３】
【表１】
0006609753.tif 000002
【０１４４】
上記フラグの順番、及び、特定の極性によって回転の有効又は無効が示されるかどうかという疑問は、些末なことであって、根底にある技術にとって重要なものではないことを理解されたい。
【０１４５】
例えば、上記フラグは、シーケンスレベルパラメータセット（ＳＰＳ：sequence-level parameter set）に挿入されて送信されてもよい。あるいは、他の実施形態では、上記フラグは、画像レベルパラメータセット（ＰＰＳ：picture-level parameter set）、スライスヘッダ、符号化ユニットヘッダ、又は処理ユニットヘッダに挿入されて送信されてもよい。
【０１４６】
これらのフラグの効果として、回転が有効とされるパラメータのグループと、回転が有効とされないパラメータのグループとを設定できる。次いで、制御部３４５は、特定のＴＵに関して、当該ＴＵに関連する実際のパラメータを、フラグによって設定されたパラメータと比較する。これによって、当該ＴＵについて回転を適用すべきかどうかの判断がなされる。同様の動作がデコーダ及びエンコーダで行われる。なお、エンコーダ側では、実際の各フラグは、出力データストリームが生成されるまで作成されないが、それでも、これらのフラグの基となるパラメータは、回転を適用すべきかどうかの決定処理に用いられる。
【０１４７】
図３９は、エンコーダの動作の一部を示す概略図である。ステップ１５００において、制御部３４５は、上記表のフラグの基となるパラメータのセットを検出（又は実際には設定）する。ステップ１５１０において、制御部３４５は、特定のＴＵに関して、このパラメータのセットをこのＴＵのパラメータと比較する。これによって、当該ＴＵに対して回転を有効とするか又は無効とするかを決定（ステップ１５２０）することができる。
【０１４８】
図４０は、デコーダの動作の一部を示す概略図である。ステップ１５３０では、制御部３４５は、例えば、入力データストリームからフラグのセットを検出する。特定のＴＵについて、ステップ１５４０では、制御部３４５は、フラグが示すパラメータを、当該特定のＴＵのパラメータと比較する。これによって、当該ＴＵに対して回転を有効とするか又は無効とするかを決定（ステップ１５５０）することができる。
【０１４９】
なお、これらのフラグを全て用いる必要はない。また、サブセットを採用してもよい。例えば、フラグ５〜８は、イントラ符号化のための回転を制御し、特定の一実施形態で使用されるフラグのサブセットを生成することもできる。サブセットの別の例として、ＤＰＣＭを実行しない場合、イントラ符号化のための回転を制御するフラグ７及び８を用いることができる。したがって、フラグのいくつかの例示的なサブセットは、次のようになる。
・フラグ１〜４
・フラグ３〜４
・フラグ５〜８
・フラグ７〜８
・フラグ９〜１２
・フラグ１１〜１２
【０１５０】
同様に、いくつかの点からデフォルト値を想定することもできる。例えば、上記フラグのうちのいくつかが特別に制御されると、他のフラグは特定の方法で（所定のパラメータに従って）設定されることを推定してもよい。例えば、フラグ７及び８の組み合わせがＳＰＳで示された場合、他のフラグは所定のルールセットに従って０又は１となると推定してもよい。
【０１５１】
また、上記フラグの大半は、この回転用フラグよりも複雑な１つのフラグで表してもよい。例えば、１つの「回転」フラグは、上記フラグが有する意味のうちの２つ以上の意味を含んでもよい。１つのフラグ（又はフラグの小さいサブセットのうちの１つ）の一例として、フラグは、「ＩＢＣブロックとは別に、ＤＰＣＭが実行される全てのＴＳ／ＴＱＢブロックのために回転を適用すること」を示すこともできる。
【０１５２】
上述したものは全て、２つ以上のフラグを符号化データと関係付ける（又は、デコーダ側でこれを検出する）例である。これら２つ以上のフラグは、データ並び替え処理を符号化（復号化）パラメータの２つ以上の各順列に関して適用すべきか否かを定義する。いくつかの実施形態では、符号化パラメータは、
・インター画像モード、イントラ画像モード又はイントラブロックコピーモードが用いられるかどうか、
・ＲＤＰＣＭ処理が実行されるかどうか、及び
・変換スキップモード又は変換・量子化バイパスモードが用いられるかどうか
のうちのいくつか又は全てとしてもよい。
【０１５３】
上記技術と合わせて又は上記技術の代わりに用いてもよい別の選択肢として、回転処理の、処理順における位置を変更するフラグを採用することができる。
【０１５４】
図４１ａ及び図４１ｂは、処理順の変化を示す概略図である。これらは、図３２〜図３５を参照して上述した構成に関する。同図にはあえて、処理動作の２つの態様、すなわち、回転処理１６００と、包括的なＤＰＣＭ処理１６１０しか示していない。いくつかの実施形態では、上述したように、これらのモードは共に、インター符号化又はイントラブロックコピーブロックではなく、イントラ符号化ブロックに対して（ＲＤＯＱと合わせて）用いられる。上記２つの処理間を点線で繋いでいるが、これは、（潜在的に、少なくとも）他の処理をこの２つの処理の前後で実行してもよく、また、他の処理をこの２つの処理間で実行してもよいことを示している。この２つの選択肢は、エンコーダ及びデコーダ側で予め決められる。図４１ａでは、ＤＰＣＭ処理は回転処理の前に実行される。図４１ｂでは、ＤＰＣＭ処理は回転処理の後に実行される。次の表のように、１つのフラグによって、エンコーダ及びデコーダ間でこの２つの選択肢のうちのいずれを採用すべきかを示してもよい。
【０１５５】
【表２】
0006609753.tif 000003
【０１５６】
上記２つのフラグのいずれを用いるか、また、表１で説明したフラグ群をどのように設定するかは、制御部３４５が、試し符号化の結果に応じて、且つ／又は、エンコーダ側で決められた所定の規則に従って、且つ／又はユーザ設定に応じて決定することができる。上述したものは、ＲＤＰＣＭ符号化後のデータ又はＲＤＰＣＭ符号化前のデータにデータ並び替え処理を適用するかどうかを示すフラグを符号化データに関係付ける（又は、デコーダ側でこれを検出する）一例である。
【０１５７】
［データ信号］
上記符号化装置及び係る信号を保持する記憶装置又は送信媒体の変形例によって生成されるデータ信号は、本開示の実施形態を代表するものと見なされることが理解されるであろう。
【０１５８】
本開示の実施形態が、少なくとも部分的にソフトウェア制御式データ処理装置によって実施されるものとして記載されている限り、係るソフトウェアを保持する、光ディスク、磁気ディスク、半導体メモリ等の非一過性の装置可読媒体も、本開示の一実施形態を代表するものと見なされることが理解されるであろう。
【０１５９】
もちろん、本開示の多くの変更形態及び変形が上記教示を鑑みて可能である。したがって、添付の特許請求の範囲から逸脱しない限り、本技術は、本明細書で詳述したものとは異なる方法で実施してもよいことを理解されたい。
【０１６０】
上述した技術は全て、符号化装置及び符号化方法及び／又は復号化装置及び復号化方法に応用される。符号化について説明した技術は、復号化についても対応の特徴を有する。復号化について説明した技術は、エンコーダの復号化経路に応用される。したがって、符号化技術及び装置（復号化経路を有する）についての上記説明は、復号化技術及び装置の例としても関連していることが理解されるであろう。
【０１６１】
本開示の各特徴及び／又は実施形態は、以下の番号付けされた項によって定義される。
【０１６２】
１．  入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に残差差分パルス符号変調（ＲＤＰＣＭ）処理を適用してＲＤＰＣＭデータ値の配列を生成するように構成されるＲＤＰＣＭ符号器と、
上記ＲＤＰＣＭデータ値の配列に対して上記ＲＤＰＣＭデータ値を或る処理順でエントロピー符号化するように動作可能であるエントロピーエンコーダであって、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようにエントロピー符号化を行うエントロピーエンコーダ
を具備する
ビデオデータ符号化装置。
２．  上記１に記載のビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
上記現在の画像以外の１つ又は複数の画像から導出される、当該ビデオサンプルの予測バージョンとを含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
３．  上記１又は２に記載のビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
上記現在の画像から導出される、当該ビデオサンプルの予測バージョンとを含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
４．  上記３に記載のビデオデータ符号化装置であって、
上記予測バージョンは、上記各ビデオサンプルの画像位置に近接する基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
５．  上記３に記載のビデオデータ符号化装置であって、
上記予測バージョンは、１つ又は複数の動きベクトルによって上記各ビデオサンプルの上記画像位置に関して定義される基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
６．  上記１〜５のいずれか一項に記載のビデオデータ符号化装置であって、
周波数変換器をさらに具備し、
当該ビデオデータ符号化装置は、ＲＤＰＣＭ符号化が利用される第１のモードと、上記ＲＤＰＣＭ符号器がＲＤＰＣＭ処理を適用する代わりに、上記周波数変換器が周波数変換を適用するように動作可能である第２のモードとで動作可能である
ビデオデータ符号化装置。
７．  上記６に記載のビデオデータ符号化装置であって、
上記周波数変換器は、上記第２のモードにおいて、周波数変換されたデータの配列を生成するように動作可能であり、
上記エントロピーエンコーダは、上記第２のモードにおいて、最高周波数成分の配列位置に対応する配列位置から始まり、最低周波数成分の配列位置に対応する配列位置で終了する処理順を適用するように動作可能である
ビデオデータ符号化装置。
８．  上記７に記載のビデオデータ符号化装置であって、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
９．  上記８に記載のビデオデータ符号化装置であって、
上記並び替え処理は、ブロック内のデータ値が上記ブロックの中心を軸として１８０度回転される回転処理である
ビデオデータ符号化装置。
１０．  上記８又は９に記載のビデオデータ符号化装置であって、
第１のモードは、周波数変換を実行しない変換スキップモードであり、
上記データ並び替え部は、上記変換スキップモードにおいて、上記ＲＤＰＣＭ符号化後のデータに対して常に動作するように構成される
ビデオデータ符号化装置。
１１．  上記８又は９に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、符号化パラメータの２つ以上の各順列に関して上記データ並び替え処理を適用すべきか否かを定義する２つ以上のフラグを、上記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
１２．  上記１１に記載のビデオデータ符号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか
ＲＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちのいくつか又は全てを含む
ビデオデータ符号化装置。
１３．  上記１２に記載のビデオデータ符号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか、
ＲＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちの全てを含む
ビデオデータ符号化装置。
１４．  上記８〜１３のいずれか一項に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、上記データ並び替え処理はＲＤＰＣＭ符号化後のデータに適用されるのか又はＲＤＰＣＭ符号化前のデータに適用されるのかを示すフラグを上記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
１５．  上記１〜１４のいずれか一項に記載のビデオデータ符号化装置であって、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
１６．  上記１〜１５のいずれか一項に記載のビデオデータ符号化装置であって、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダ
を復号化経路にさらに具備する
ビデオデータ符号化装置。
１７．  上記１６に記載のビデオデータ符号化装置であって、
上記ＲＤＰＣＭデコーダは、上記ＲＤＰＣＭ復号化されたデータを当該データの許容可能な数値範囲に切り取るように動作可能である
ビデオデータ符号化装置。
１８．  上記１６に記載のビデオデータ符号化装置であって、
上記ＲＤＰＣＭデコーダは、上記ＲＤＰＣＭ復号化されたデータ値のうちの１つ又は複数が当該データの許容可能な数値範囲を超えた場合、上記エントロピー復号化されたビデオデータ値の復号化を中止するように動作可能である
ビデオデータ符号化装置。
１９．  インター画像符号化された入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭ符号器と、
上記ＲＤＰＣＭデータ値の配列に対して、上記ＲＤＰＣＭデータを、水平にスキャンされる処理順又は垂直にスキャンされる処理順である処理順にエントロピー符号化するように動作可能であるエントロピーエンコーダと
を具備する
ビデオデータ符号化装置。
２０．  符号化される入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダであって、上記ＲＤＰＣＭ復号化されたデータを当該データの許容可能な数値範囲に切り取るように動作可能であるＲＤＰＣＭデコーダ
を復号化経路に具備する 
ビデオデータ符号化装置。
２１．  符号化される入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用してＲＤＰＣＭデータ値の配列を生成するように構成され、上記残差差分パルス符号変調（ＲＤＰＣＭ）復号化されたデータ値のうちの１つ又は複数が、当該データの許容可能な数値範囲外の場合、入力符号化されたデータ値の上記配列の復号化を中止するように動作可能であるＲＤＰＣＭデコーダ
を復号化経路に具備する
ビデオデータ符号化装置。
２２．  インター画像符号化された入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭ符号器と、
上記ＲＤＰＣＭデータをエントロピー符号化するように動作可能であるエントロピーエンコーダと、
データ配列にデータ並び替え処理を適用するように構成されるデータ並び替え部と
を具備し、
当該ビデオデータ符号化装置は、上記データ並び替え処理はＲＤＰＣＭ符号化後のデータに適用されるのか又はＲＤＰＣＭ符号化前のデータに適用されるかを示すフラグを上記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
２３．  インター画像符号化された入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭ符号器と、
上記ＲＤＰＣＭデータをエントロピー符号化するように動作可能であるエントロピーエンコーダと、
データ配列にデータ並び替え処理を適用するように構成されるデータ並び替え部と
を具備し、
当該ビデオデータ符号化装置は、上記データ並び替え処理は符号化パラメータの２つ以上の各順列に関して適用されるべきか否かを定義する２つ以上のフラグを、上記符号化されたデータと関係付けるように動作可能である
ビデオデータ符号化装置。
２４．  上記１〜２３のいずれか一項に記載のビデオデータ符号化装置であって、
データ配列に対して、上記エントロピーエンコーダによって適用される処理順と同じ処理順に従って動作可能であるレート歪み最適化量子化プロセッサ
をさらに具備する
ビデオデータ符号化装置。
２５．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
エントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダと、
を具備し、
上記エントロピーデコーダは、上記ＲＤＰＣＭデータ値の配列に対して上記入力符号化されたビデオデータを或る処理順でエントロピー復号化するように動作可能であり、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようにエントロピー復号化を行う
ビデオデータ復号化装置。
２６．  上記２５に記載のビデオデータ復号化装置であって、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ復号化装置。
２７．  上記２６に記載のビデオデータ復号化装置であって、
上記データ並び替え処理は、ブロック内のデータ値が上記ブロックの中心を軸として１８０度回転される回転処理である
ビデオデータ復号化装置。
２８．  上記２５又は２６に記載のビデオデータ復号化装置であって、
当該ビデオデータ復号化装置は、上記データ並び替え処理は符号化パラメータの２つ以上の各順列に関して適用されるべきか否かを定義する２つ以上のフラグを、上記符号化されたデータと共に検出するように動作可能である
ビデオデータ復号化装置。
２９．  上記２８に記載のビデオデータ復号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードが用いられるかどうか、
ＲＤＰＣＭ処理が実行されるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードＲＤＰＣＭ処理が実行されるかどうか
のうちのいくつか又は全てを含む
ビデオデータ復号化装置。
３０．  上記２８に記載のビデオデータ復号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードが用いられるかどうか、
ＲＤＰＣＭ処理が実行されるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードＲＤＰＣＭ処理が実行されるかどうか
のうちの全てを含む
ビデオデータ復号化装置。
３１．  上記２６〜３０のいずれか一項に記載のビデオデータ復号化装置であって、
当該ビデオデータ復号化装置は、上記データ並び替え処理はＲＤＰＣＭ復号化後のデータに適用されるのか又はＲＤＰＣＭ復号化前のデータに適用されるのかを示すフラグを上記符号化されたデータと共に検出するように動作可能である
ビデオデータ復号化装置。
３２．  上記２５〜３１のいずれか一項に記載のビデオデータ復号化装置であって、
上記符号化された入力ビデオデータ値の配列は、インター画像符号化されたビデオデータ値の配列を含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ復号化装置。
３３．  上記２５〜３１のいずれか一項に記載のビデオデータ復号化装置であって、
上記入力ビデオデータ値の配列は、イントラ画像符号化されたデータ値の配列を含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ復号化装置。
３４．  上記３２に記載のビデオデータ復号化装置であって、
上記処理順は、水平にスキャンされる処理順又は垂直にスキャンされる処理順である
ビデオデータ復号化装置。
３５．  上記３１に記載のビデオデータ符号化装置であって、
上記ＲＤＰＣＭデコーダは、上記ＲＤＰＣＭ復号化されたデータを、当該データの許容可能な数値範囲に切り取るように動作可能である
ビデオデータ符号化装置。
３６．  上記３１に記載のビデオデータ符号化装置であって、
上記ＲＤＰＣＭデコーダは、上記ＲＤＰＣＭ復号化されたデータ値の１つ又は複数が、当該データの許容可能な数値範囲を超える場合、上記エントロピー復号化されたビデオデータ値の復号化を中止するように動作可能である
ビデオデータ符号化装置。
３７．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
エントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用してＲＤＰＣＭデータ値の配列を生成するように構成され、上記残差差分パルス符号変調（ＲＤＰＣＭ）復号化されたデータを当該データの許容可能な数値範囲に切り取るように動作可能であるＲＤＰＣＭデコーダと
を具備する
ビデオデータ復号化装置。
３８．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
上記符号化された入力ビデオデータ値の配列に対して、水平にスキャンされる処理順又は垂直にスキャンされる処理順である処理順で、上記入力符号化されたビデオデータをエントロピー復号化するように動作可能であるエントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダと
を具備する
ビデオデータ復号化装置。
３９．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
エントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成され、上記ＲＤＰＣＭ復号化されたデータ値のうちの１つ又は複数が、当該データの許容可能な数値範囲外の場合、入力符号化されたデータ値の上記配列の復号化を中止するように動作可能であるＲＤＰＣＭデコーダと
を具備する
ビデオデータ復号化装置。
４０．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
エントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダと、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部と
を具備し、
当該ビデオデータ復号化装置は、上記データ並び替え処理はＲＤＰＣＭ復号化後のデータに適用されるのか又はＲＤＰＣＭ復号化前のデータに適用されるのかを示すフラグを上記符号化されたデータと共に検出するように動作可能である
ビデオデータ復号化装置。
４１．  符号化された入力ビデオデータ値の配列を復号化するように動作可能であるビデオデータ復号化装置であって、
エントロピーデコーダと、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダと、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部と
を具備し、
当該ビデオデータ復号化装置は、上記データ並び替え処理は復号化パラメータの２つ以上の各順列に関して適用されるべきか否かを定義する２つ以上のフラグを、上記符号化されたデータと共に検出するように動作可能である
ビデオデータ復号化装置。
４２．  上記１〜４１のいずれか一項に記載のビデオデータ符号化装置を具備する装置であって、ビデオデータキャプチャ装置、記憶装置、送信装置、及び記録装置のうち少なくとも１つの機能を有する装置。
４３．  入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記入力ビデオデータ値の配列に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭデータ値の配列に対して上記ＲＤＰＣＭデータを或る処理順でエントロピー符号化することであって、上記処理順のＲＤＰＣＭデータ値がそれぞれ、当該ＲＤＰＣＭデータ値よりも上記処理順が遅いＲＤＰＣＭデータ値に依存性を有しないようにエントロピー符号化する
ビデオデータ符号化方法。
４４．  インター画像符号化された入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記入力ビデオデータ値の配列に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭデータ値の配列に対して、水平にスキャンされる処理順又は垂直にスキャンされる処理順で、上記ＲＤＰＣＭデータをエントロピー符号化する
ビデオデータ符号化方法。
４５．  符号化される入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
復号化経路において、残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記エントロピー復号化されたビデオデータ値に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭ復号化されたデータを当該データの許容可能な数値範囲に切り取る
ビデオデータ符号化方法。
４６．  インター画像符号化された入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記入力ビデオデータ値の配列に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭデータをエントロピー符号化し、
並び替え処理を適用してデータ配列を並び替え、
上記データ並び替え処理はＲＤＰＣＭ符号化後のデータに適用されるのか又はＲＤＰＣＭ符号化前のデータに適用されるかを示すフラグを上記符号化されたデータに関係付ける
ビデオデータ符号化方法。
４７．  インター画像符号化された入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記入力ビデオデータ値の配列に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭデータをエントロピー符号化し、
並び替え処理を適用してデータ配列を並び替え、
２つ以上のフラグを、上記符号化されたデータに関係付ける、上記２つ以上のフラグ上記データ並び替え処理は符号化パラメータの２つ以上の各順列に関して適用されるべきか否かを定義する
ビデオデータ符号化方法。
４８．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列に対して、処理順で、上記処理順での任意のＲＤＰＣＭデータ値に関して、上記ＲＤＰＣＭデータ値は、上記処理順において後方のＲＤＰＣＭデータ値に対して依存性を有しないように、上記符号化された入力ビデオデータ値をエントロピー復号化し、
ＲＤＰＣＭ動作を上記エントロピー復号化されたビデオデータ値に適用してＲＤＰＣＭデータ値の配列を生成する
ビデオデータ復号化方法。
４９．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記符号化された入力ビデオデータ値をエントロピー復号化し、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記エントロピー復号化されたビデオデータ値に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭ復号化されたデータを当該データの許容可能な数値範囲に切り取る
ビデオデータ復号化方法。
５０．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記データ配列値に対して、水平にスキャンされる処理順又は垂直にスキャンされる処理順で、上記符号化された入力ビデオデータ値をエントロピー復号化し、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記エントロピー復号化されたビデオデータ値に適用してＲＤＰＣＭデータ値の配列を生成する
ビデオデータ復号化方法。
５１．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記符号化された入力ビデオデータ値をエントロピー復号化し、
残差差分パルス符号変調（ＲＤＰＣＭ）動作を上記エントロピー復号化されたビデオデータ値に適用してＲＤＰＣＭデータ値の配列を生成し、
上記ＲＤＰＣＭ復号化されたデータ値のうちの１つ又は複数が、当該データの許容可能な数値範囲外の場合、入力符号化されたデータ値の上記配列の復号化を中止する
ビデオデータ復号化方法。
５２．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記符号化された入力ビデオデータ値をエントロピー復号化し、
残差差分パルス符号変調（ＲＤＰＣＭ）演算を適用してＲＤＰＣＭデータ値の配列を生成し、
データ並び替え処理をデータ配列に適用し、
上記データ並び替え処理は復号化パラメータの２つ以上の各順列に関して適用されるべきか否かを定義する、上記符号化されたデータによって２つ以上のフラグを検出する
ビデオデータ復号化方法。
５３．  符号化された入力ビデオデータ値の配列を復号化するためのビデオデータ復号化方法であって、
上記符号化された入力ビデオデータ値をエントロピー復号化し、
残差差分パルス符号変調（ＲＤＰＣＭ）演算を適用してＲＤＰＣＭデータ値の配列を生成し、
データ並び替え処理をデータ配列に適用し、
上記データ並び替え処理はＲＤＰＣＭ復号化後のデータに適用されるのか又はＲＤＰＣＭ復号化前のデータに適用されるのかを示すフラグを上記符号化されたデータと共に検出する
ビデオデータ復号化方法。
５４．  コンピュータに、請求項４３〜５３のいずれか一項に記載のビデオデータ復号化方法の各ステップを実行させるプログラム。
５５．  上記５４に記載のプログラムが記録されたコンピュータ可読記録媒体。
５６．  入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に差分パルス符号変調処理を適用してＤＰＣＭデータ値の配列を生成するように構成される差分パルス符号変調（ＤＰＣＭ）符号器と、
上記ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部と、
上記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための制御部と
を具備する
ビデオデータ符号化装置。
５７．  上記５６に記載のビデオデータ符号化装置であって、
上記制御部は、レート歪み最適化による量子化の制御部である
ビデオデータ符号化装置。
５８．  上記５６又は５７に記載のビデオデータ符号化装置であって、
上記ＤＰＣＭ符号器に対して入出力されるデータ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
５９．  上記５８に記載のビデオデータ符号化装置であって、
上記並び替え処理は、上記データ配列内のデータ値が、上記配列内の或る点を中心にした位置で回転される回転処理である
ビデオデータ符号化装置。
６０．  上記５６に記載のビデオデータ符号化装置であって、
上記制御部は、適用可能な一群の符号化モードの或るサブセットを用いて符号化されたデータに対しては動作するが、上記サブセットに該当しない上記群の符号化モードに対しては動作しない
ビデオデータ符号化装置。
６１．  上記６０に記載のビデオデータ符号化装置であって、
上記サブセットは、イントラ画像符号化を含む
ビデオデータ符号化装置。
６２．  上記６０又は６１に記載のビデオデータ符号化装置であって、
上記群は、イントラ画像符号化、インター画像符号化及びイントラブロックコピー符号化を含む
ビデオデータ符号化装置。
６３．  上記５６〜６２のいずれか一項に記載のビデオデータ符号化装置を具備する装置であって、ビデオデータキャプチャ装置、記憶装置、送信装置、及び記録装置のうち少なくとも１つの機能を有する装置。
６４．  入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
上記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成し、
上記ＤＰＣＭデータ値から導出されるデータを量子化し、
上記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御する
ビデオデータ符号化方法。
６５．  コンピュータに、上記６４に記載のビデオデータ符号化方法の各ステップを実行させるプログラム。
６６．  上記６５に記載のプログラムが記録されたコンピュータ可読記録媒体。
【０１６３】
本開示のさらなる特徴及び／又は実施形態は、以下の番号付けされた項によって定義される。
【０１６４】
１．  入力ビデオデータ値の配列を符号化するように動作可能であるビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成するように構成されるＤＰＣＭ符号器と、
上記ＤＰＣＭデータ値から導出されるデータを量子化するように動作可能である量子化部と、
上記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御するための制御部と
を具備する
ビデオデータ符号化装置。
２．  上記１に記載のビデオデータ符号化装置であって、
上記制御部は、レート歪み最適化による量子化の制御部である
ビデオデータ符号化装置。
３．  上記２に記載のビデオデータ符号化装置であって、
上記ＤＰＣＭ符号器に対して入出力されるデータ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
４．  上記３に記載のビデオデータ符号化装置であって、
上記並び替え処理は、上記データ配列内のデータ値が、上記配列内の或る点を中心にした位置で回転される回転処理である
ビデオデータ符号化装置。
５．  上記１〜４のいずれか一項に記載のビデオデータ符号化装置であって、
上記制御部は、適用可能な一群の符号化モードの或るサブセットを用いて符号化されるデータに対しては動作するが、上記サブセットに該当しない上記群の符号化モードに対しては動作しない
ビデオデータ符号化装置。
６．  上記５に記載のビデオデータ符号化装置であって、
上記サブセットは、イントラ画像符号化を含む
ビデオデータ符号化装置。
７．  上記５又は６に記載のビデオデータ符号化装置であって、
上記群は、イントラ画像符号化、インター画像符号化及びイントラブロックコピー符号化を含む
ビデオデータ符号化装置。
８．  上記１〜７のいずれか一項に記載のビデオデータ符号化装置であって、
上記ＤＰＣＭデータ値の配列に対して上記ＤＰＣＭデータ値を或る処理順でエントロピー符号化するように動作可能であるエントロピーエンコーダであって、上記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも上記処理順が遅いＤＰＣＭデータ値に依存性を有しないようにエントロピー符号化を行うエントロピーエンコーダ
をさらに具備する
ビデオデータ符号化装置。
９．  上記８に記載のビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
上記現在の画像以外の１つ又は複数の画像から導出される、当該ビデオサンプルの予測バージョンとを含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも上記処理順が遅いＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
１０．  上記８に記載のビデオデータ符号化装置であって、
上記入力ビデオデータ値の配列は、
現在の画像の各ビデオサンプル間の差分として生成される残差値の配列と、
上記現在の画像から導出される、当該ビデオサンプルの予測バージョンとを含み、
任意の係る入力ビデオデータ値の配列に関して、上記処理順は常に、上記処理順のＤＰＣＭデータ値がそれぞれ、当該ＤＰＣＭデータ値よりも上記処理順が遅いＤＰＣＭデータ値に依存性を有しないようになっている
ビデオデータ符号化装置。
１１．  上記１０に記載のビデオデータ符号化装置であって、
上記予測バージョンは、上記各ビデオサンプルの画像位置に近接する基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
１２．  上記１０に記載のビデオデータ符号化装置であって、
上記予測バージョンは、１つ又は複数の動きベクトルによって上記各ビデオサンプルの上記画像位置に関して定義される基準領域内の１つ又は複数の基準画素から導出される
ビデオデータ符号化装置。
１３．  上記８〜１２のいずれか一項に記載のビデオデータ符号化装置であって、
周波数変換器をさらに具備し、
当該ビデオデータ符号化装置は、ＤＰＣＭ符号化が利用される第１のモードと、上記ＤＰＣＭ符号器がＤＰＣＭ処理を適用する代わりに、上記周波数変換器が周波数変換を適用するように動作可能である第２のモードとで動作可能である
ビデオデータ符号化装置。
１４．  上記１３に記載のビデオデータ符号化装置であって、
上記周波数変換器は、上記第２のモードにおいて、周波数変換されたデータの配列を生成するように動作可能であり、
上記エントロピーエンコーダは、上記第２のモードにおいて、最高周波数成分の配列位置に対応する配列位置から始まり、最低周波数成分の配列位置に対応する配列位置で終了する処理順を適用するように動作可能である
ビデオデータ符号化装置。
１５．  上記１３又は１４に記載のビデオデータ符号化装置であって、
データ配列に並び替え処理を適用するように構成されるデータ並び替え部
をさらに具備する
ビデオデータ符号化装置。
１６．  上記１５に記載のビデオデータ符号化装置であって、
上記並び替え処理は、ブロック内のデータ値が上記ブロックの中心を軸として１８０度回転される回転処理である
ビデオデータ符号化装置。
１７．  上記１５又は１６に記載のビデオデータ符号化装置であって、
第１のモードは、周波数変換を実行しない変換スキップモードであり、
上記データ並び替え部は、上記変換スキップモードにおいて、上記ＤＰＣＭ符号化されたデータに対して常に動作するように構成される
ビデオデータ符号化装置。
１８．  上記１５〜１７のいずれか一項に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、符号化パラメータの２つ以上の各順列に関して上記データ並び替え処理を適用すべきか否かを定義する２つ以上のフラグを、上記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
１９．  上記１８に記載のビデオデータ符号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか
ＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちのいくつか又は全てを含む
ビデオデータ符号化装置。
２０．  上記１８に記載のビデオデータ符号化装置であって、
上記符号化パラメータは、
インター画像モード、イントラ画像モード又はイントラブロックコピーモードを用いるかどうか、
ＤＰＣＭ処理を用いるかどうか、及び
変換スキップモード又は変換・量子化バイパスモードを用いるかどうか
のうちの全てを含む
ビデオデータ符号化装置。
２１．  上記１５〜２０のいずれか一項に記載のビデオデータ符号化装置であって、
当該ビデオデータ符号化装置は、上記データ並び替え処理はＤＰＣＭ符号化後のデータに適用されるのか又はＤＰＣＭ符号化前のデータに適用されるのかを示すフラグを上記符号化されたデータに関係付けるように動作可能である
ビデオデータ符号化装置。
２２．  上記８〜２１のいずれか一項に記載のビデオデータ符号化装置であって、
ＤＰＣＭデータに関して、上記処理順は、水平にスキャンされる処理順又は垂直にスキャンされる処理順である
ビデオデータ符号化装置。
２３．  上記８〜２２のいずれか一項  請求項８に記載のビデオデータ符号化装置であって、
上記エントロピー復号化されたビデオデータ値に差分パルス符号変調処理を適用して残差差分パルス符号変調（ＲＤＰＣＭ）データ値の配列を生成するように構成されるＲＤＰＣＭデコーダ
を復号化経路にさらに具備する 
ビデオデータ符号化装置。
２４．  上記２３に記載のビデオデータ符号化装置であって、
上記ＤＰＣＭデコーダは、上記ＤＰＣＭ復号化されたデータを、当該データの許容可能な数値範囲に切り取るように動作可能である
ビデオデータ符号化装置。
２５．  上記２３に記載のビデオデータ符号化装置であって、
上記ＤＰＣＭデコーダは、上記ＤＰＣＭ復号化されたデータ値の１つ又は複数が、当該データの許容可能な数値範囲を超える場合、上記エントロピー復号化されたビデオデータ値の復号化を中止するように動作可能である
ビデオデータ符号化装置。
２６．  上記１〜２５のいずれか一項に記載のビデオデータ符号化装置を具備する装置であって、ビデオデータキャプチャ装置、記憶装置、送信装置、及び記録装置のうち少なくとも１つの機能を有する装置。
２７．  入力ビデオデータ値の配列を符号化するためのビデオデータ符号化方法であって、
上記入力ビデオデータ値の配列に差分パルス符号変調（ＤＰＣＭ）処理を適用してＤＰＣＭデータ値の配列を生成し、
上記ＤＰＣＭデータ値から導出されるデータを量子化し、
上記量子化部による、２つ以上の候補丸め処理からの丸め処理の選択を制御する
ビデオデータ符号化方法。
２８．  コンピュータに、上記２７に記載のビデオデータ符号化方法の各ステップを実行させるプログラム。
２９．  上記２８に記載のプログラムが記録されたコンピュータ可読記録媒体。
【図１】
0006609753.tif 000004
【図２】
0006609753.tif 000005
【図３】
0006609753.tif 000006
【図４ａ】
0006609753.tif 000007
【図４ｂ】
0006609753.tif 000008
【図４ｃ】
0006609753.tif 000009
【図４ｄ】
0006609753.tif 000010
【図４ｅ】
0006609753.tif 000011
【図５】
0006609753.tif 000012
【図６】
0006609753.tif 000013
【図７】
0006609753.tif 000014
【図８】
0006609753.tif 000015
【図９】
0006609753.tif 000016
【図１０】
0006609753.tif 000017
【図１１】
0006609753.tif 000018
【図１２】
0006609753.tif 000019
【図１３】
0006609753.tif 000020
【図１４】
0006609753.tif 000021
【図１５】
0006609753.tif 000022
【図１６】
0006609753.tif 000023
【図１７ａ】
0006609753.tif 000024
【図１７ｂ】
0006609753.tif 000025
【図１７ｃ】
0006609753.tif 000026
【図１８】
0006609753.tif 000027
【図１９ａ】
0006609753.tif 000028
【図１９ｂ】
0006609753.tif 000029
【図２０】
0006609753.tif 000030
【図２１】
0006609753.tif 000031
【図２２】
0006609753.tif 000032
【図２３ａ】
0006609753.tif 000033
【図２３ｂ】
0006609753.tif 000034
【図２４ａ】
0006609753.tif 000035
【図２４ｂ】
0006609753.tif 000036
【図２５ａ】
0006609753.tif 000037
【図２５ｂ】
0006609753.tif 000038
【図２６ａ】
0006609753.tif 000039
【図２６ｂ】
0006609753.tif 000040
【図２７】
0006609753.tif 000041
【図２８】
0006609753.tif 000042
【図２９】
0006609753.tif 000043
【図３０】
0006609753.tif 000044
【図３１】
0006609753.tif 000045
【図３２】
0006609753.tif 000046
【図３３】
0006609753.tif 000047
【図３４】
0006609753.tif 000048
【図３５】
0006609753.tif 000049
【図３６】
0006609753.tif 000050
【図３７ａ】
0006609753.tif 000051
【図３７ｂ】
0006609753.tif 000052
【図３８ａ】
0006609753.tif 000053
【図３８ｂ】
0006609753.tif 000054
【図３９】
0006609753.tif 000055
【図４０】
0006609753.tif 000056
【図４１ａ】
0006609753.tif 000057
【図４１ｂ】
0006609753.tif 000058