(57)【要約】【課題】効率的なエントロピー符号化処理を行うことができるデータ符号化装置及びデータ符号化装置の動作方法を提供すること。【解決手段】現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置の動作方法は、前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する。【選択図】図９
2017513437.tif 000002
【特許請求の範囲】
【請求項１】
現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置の動作方法であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する
画像データ符号化装置の動作方法。
【請求項２】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードの適用を示すフラグを、符号化画像データのデータストリームに設定するステップをさらに含む
画像データ符号化装置の動作方法。
【請求項３】
請求項２に記載の画像データ符号化装置の動作方法であって、
前記フラグは、シーケンスパラメータセットデータの一部を成す
画像データ符号化装置の動作方法。
【請求項４】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照画像内の前記参照ブロックの位置は、前記インター画像予測モードよりも低い精度で検出される
画像データ符号化装置の動作方法。
【請求項５】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照ブロックの前記候補位置を含む前記参照画像の探索領域は、前記インター画像予測モードでの探索領域よりも小さい
画像データ符号化装置の動作方法。
【請求項６】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、現在の画像と共に用いられる前記候補参照画像の数は、前記インター画像予測モードでの前記候補参照画像の数より少ない
画像データ符号化装置の動作方法。
【請求項７】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照画像内の前記参照ブロックの位置は、前記現在の画像内の前記ブロックの位置と同一である
画像データ符号化装置の動作方法。
【請求項８】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、現在の画像用の前記候補参照画像の数は、１である
画像データ符号化装置の動作方法。
【請求項９】
請求項８に記載の画像データ符号化装置の動作方法であって、
前記候補参照画像は、時間的に１つ前の（immediately temporally preceding）画像である
画像データ符号化装置の動作方法。
【請求項１０】
現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ復号化装置の動作方法であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する
画像データ復号化装置の動作方法。
【請求項１１】
請求項１に記載の画像データ符号化装置の動作方法であって、
前記現在の画像の前記ブロックを１つ又は複数の候補参照画像の探索領域における複数の候補ブロック位置と比較することによって前記参照ブロックを検出するステップ
をさらに含む
画像データ符号化装置の動作方法。
【請求項１２】
コンピュータによって実行され、請求項１に記載の画像データ符号化装置の動作方法を前記コンピュータに実行させるコンピュータ・ソフトウェアを記憶する非一過性の機械可読記憶媒体。
【請求項１３】
現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用するように構成される制御部
を具備する
画像データ符号化装置。
【請求項１４】
現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ復号化装置であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用するように構成される制御部
を具備する
画像データ復号化装置。
【請求項１５】
請求項１３に記載のデータ符号化装置を具備する装置であって、ビデオデータキャプチャ装置、送信装置、表示装置、及び記憶装置のうち少なくとも１つの機能を有する装置。
【請求項１６】
請求項１４に記載のデータ復号化装置を具備する装置であって、ビデオデータキャプチャ装置、送信装置、表示装置、及び記憶装置のうち少なくとも１つの機能を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本願は、２０１４年３月２８日出願のＧＢ１４０５６４９．３号の優先権を主張するものであり、参照によってそれらの全体が本明細書に援用される。
【０００２】
本発明は、データ符号化及び復号化に関する。
【背景技術】
【０００３】
本明細書の「背景技術」の記載は、本出願における背景を一般的に説明するためのものである。本発明者らの技術は、この背景技術の欄で説明される範囲において、本出願の出願時点で従来技術でないのであれば従来技術と見なしてはならない説明の側面と同様に、明示又は黙示を問わず、本出願に対する従来技術として認められるものではない。
【０００４】
ビデオデータを周波数領域表現に変換し、得られた周波数領域係数を量子化し、その後、当該量子化された係数にある種のエントロピー符号化を適用するビデオデータ圧縮システム及びビデオデータ解凍システムが存在する。
【０００５】
いわゆる「スクリーンコンテンツ（screen content）」シーケンス（カメラによって撮像されたものではない画像素材、例えば、コンピュータが生成した画像素材に関するもの）は、典型的には、完全にフラットなサンプル値、つまり、係る領域にわたって同じ値である各サンプル値の領域に伴って点在する鋭利な特徴部を特徴とすることが知られている。それゆえ、このようなシーケンスを符号化する際に、イントラブロックコピー等のツールが効果的である。
【０００６】
しかし、こういった特徴は、１つの画像内に空間的に存在しているだけでなく、複数の画像にわたって時間的にも存在している。スクリーンコンテンツシーケンスは、同一の複数のフレームから成る長い期間に伴って点在する実質的に１つのフレームの遷移も特徴とする。
【０００７】
このような理由から、インター予測符号化は、スクリーンコンテンツシーケンスの場合（いくつかの例では、１００〜１）に非常に高い圧縮比を実現することが分かっている。しかし、インター予測は、コーデック（コーダ−デコーダ）の実現のための演算が複雑であり、費用が嵩む。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の目的は、効率的なエントロピー符号化処理を行うことができるデータ符号化装置及びデータ符号化装置の動作方法を提供することである。
【課題を解決するための手段】
【０００９】
本開示によれば、請求項１に記載のデータ符号化装置、すなわち、現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置の動作方法であって、前記インター画像予測モードに比して前記候補ブロック位置の数および前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する画像データ符号化装置の動作方法が提供される。
【００１０】
本発明の各側面及び特徴は、添付の特許請求の範囲において定義される。
【００１１】
なお、上述の一般的な説明及び以降の詳細な説明は、本発明の一例であり、本発明を限定するものではないことが理解されるべきである。
【図面の簡単な説明】
【００１２】
【図１】ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ（Ａ／Ｖ）データ送受信システムを示す概略図である。
【図２】ビデオデータ解凍を行うビデオ表示システムを示す概略図である。
【図３】ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。
【図４】ビデオデータ圧縮を行うビデオカメラを示す概略図である。
【図５】ビデオデータ圧縮・解凍装置を示す概略図である。
【図６】予測画像の生成を示す概略図である。
【図７】イントラブロックコピー処理を示す概略図である。
【図８】インター画像予測処理を示す概略図である。
【図９】エンコーダ側でのフラグの使用法を示す概略フローチャートである。
【図１０】デコーダ側でのフラグの使用法を示す概略フローチャートである。
【図１１】限定（constrained）インターフラグを示す概略図である。
【図１２】限定インター画像符号化処理に関する例示的な技術を示す概略フローチャートである。
【図１３】限定インター画像符号化処理に関する例示的な技術を示す概略フローチャートである。
【図１４】限定インター画像符号化処理に関する例示的な技術を示す概略フローチャートである。
【図１５】限定インター画像符号化処理に関する例示的な技術を示す概略フローチャートである。
【発明を実施するための形態】
【００１３】
添付図面と共に以降の詳細な説明を参照することによって、本発明の完全な理解及びその優位性の多くが容易に理解される。
【００１４】
次に各図面を参照すると、図１〜図４には、以下に説明する各実施形態に係る圧縮装置及び／又は解凍装置を利用する装置又はシステムが概略的に示されている。
【００１５】
以下に説明する全てのデータ圧縮装置及び／又はデータ解凍装置は、ハードウェアで実現されてもよいし、例えば、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuit）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、あるいはこれらの組み合わせ等のようなプログラム可能なハードウェアとして、汎用コンピュータ等の汎用データ処理装置上で動作するソフトウェアで実現されてもよい。ソフトウェア及び／又はファームウェアで実現される実施形態の場合、このようなソフトウェア及び／又はファームフェア、並びに、このようなソフトウェア及び／又はファームウェアが記憶又は提供される非一時的な機械可読データ記憶媒体が、本発明の実施形態であると考えられることが理解されよう。
【００１６】
図１は、ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオデータ送受信システムを示す概略図である。
【００１７】
入力オーディオ／ビデオ信号１０は、少なくともオーディオ／ビデオ信号１０のビデオ要素を圧縮するビデオデータ圧縮装置２０に供給され、例えば、ケーブル、光ファイバ、無線リンク等の送信ルート３０に沿って送信される。圧縮された信号は、解凍装置４０によって処理され、これにより、出力オーディオ／ビデオ信号５０が提供される。リターンパスでは、圧縮装置６０がオーディオ／ビデオ信号を圧縮し、当該オーディオ／ビデオ信号は送信ルート３０に沿って解凍装置７０に送信される。
【００１８】
したがって、圧縮装置２０及び解凍装置７０は、送信リンクにおける１つのノードを構成することができる。また、解凍装置４０及び圧縮装置６０は、送信リンクにおける他の１つのノードを構成することができる。もちろん、送信リンクが単方向である場合は、一方のノードのみが圧縮装置を要求し、他方のノードのみが解凍装置を要求することになる。
【００１９】
図２は、ビデオデータ解凍を行うビデオ表示システムを示す概略図である。具体的には、圧縮されたオーディオ／ビデオ信号１００は解凍装置１１０によって処理され、これにより、表示装置１２０上で表示することができる解凍信号が提供される。解凍装置１１０は、例えば、表示装置１２０と同じケーシング内に設けることにより、表示装置１２０と一体的に形成してもよい。あるいは、解凍装置１１０は、（例えば）いわゆるセットトップボックス（ＳＴＢ：Set Top Box）として提供されてもよい。なお、「セットトップ」という表現は、当該ボックスを表示装置１２０に対して特定の方向又は位置に配置する必要があることを意味するわけではない。この用語は、単に、周辺機器として表示部に接続可能なデバイスを示すために当該技術分野において使用しているに過ぎない。
【００２０】
図３は、ビデオデータ圧縮及びビデオデータ解凍を行うオーディオ／ビデオ記憶システムを示す概略図である。入力オーディオ／ビデオ信号１３０は、圧縮信号を生成する圧縮装置１４０に供給され、例えば、磁気ディスク装置、光ディスク装置、磁気テープ装置、又は半導体メモリやその他の記憶装置等の固体記憶装置等の記憶装置１５０に記憶される。再生時においては、圧縮データが記憶装置１５０から読み出され、解凍装置１６０に渡されて解凍される。これにより、出力オーディオ／ビデオ信号１７０が提供される。
【００２１】
圧縮信号又は符号化信号、及び当該信号を記憶する記憶媒体又はデータキャリアは、本発明の実施形態であると考えられることが理解されよう。特に、本開示の実施形態は、複数のデータ部に区画される符号化データの分配例を含む。この符号化データは、インター画像予測モードに比して候補ブロック位置の数及び候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを示すフラグを有する。
【００２２】
図４は、ビデオデータ圧縮を行うビデオカメラを示す概略図である。図４において、ＣＣＤ（Charge Coupled Device）イメージセンサ及びそれに付随する制御・読出電子機器等の画像キャプチャ装置１８０は、圧縮装置１９０に渡されるビデオ信号を生成する。１つのマイクロフォン（あるいは複数のマイクロフォン）２００は、圧縮装置１９０に渡されるオーディオ信号を生成する。圧縮装置１９０は、記憶及び／又は送信される（図４においては、ステージ２２０として包括的に表されている）圧縮オーディオ／ビデオ信号２１０を生成する。
【００２３】
以下に説明する技術は、主に、ビデオデータ圧縮に関する。オーディオデータ圧縮を行うために、以降に説明するビデオデータ圧縮技術と共に多くの既存の技術を用いて圧縮オーディオ／ビデオ信号を生成してもよいことが理解されよう。したがって、オーディオデータ圧縮について別途説明は行わない。また、特に、放送品質ビデオデータにおいて、ビデオデータに関連するデータレートは、（圧縮及び非圧縮を問わず）一般的に、オーディオデータに関連するデータレートよりもはるかに高いことも理解されよう。したがって、非圧縮オーディオデータは、圧縮ビデオデータに追加することができ、これにより、圧縮オーディオ／ビデオ信号を形成できることが理解されよう。さらに、本発明の実施形態（図１〜図４参照）はオーディオ／ビデオデータに関するものであるが、以下に説明する技術は、単にビデオデータを扱う（すなわち、圧縮、解凍、記憶、表示、及び／又は送信する）システムに使用してもよいことが理解されよう。すなわち、これらの実施形態は、必ずしもオーディオデータ処理と関連している必要はなく、ビデオデータ圧縮に適用することができる。
【００２４】
図５は、ビデオデータ圧縮・解凍装置を示す概略図である。ビデオデータ圧縮・解凍装置は、制御部３４５の制御下で動作する。
【００２５】
連続画像の入力ビデオ信号３００は、加算部３１０及び画像予測部３２０に供給される。画像予測部３２０については、図６を参照して後で詳述する。加算部３１０は、「＋」入力で入力ビデオ信号３００を受信し、「−」入力で画像予測部３２０の出力を受信する事実上の減算（負の加算）動作を実行する。これにより、入力画像から予測画像が減算される。この結果、実画像と予測画像との差を表すいわゆる残差画像信号３３０が生成される。
【００２６】
残差画像信号を生成する理由の１つは次の通りである。説明を行うデータ符号化技術、すなわち、残差画像信号に適用される技術は、符号化される画像において「エネルギー」が少ない場合に、より効率的に作用する傾向がある。ここで、「効率的」という用語は、生成した符号化データの量が少ないことを指す。特定の画像品質レベルにおいては、生成するデータができるだけ少ないことが望ましい（かつ、「効率的」と考えられる）。残差画像における「エネルギー」は、残差画像に含まれる情報量に関連する。仮に、予測画像と実画像とが同一だとすると、これら２つの画像の差（すなわち、残差画像）は、ゼロの情報（ゼロエネルギー）を含み、非常に容易に少量の符号化データに符号化できる。一般的に、予測処理をある程度良好に実行できる場合、残差画像データは、入力画像よりも情報が少なく（エネルギーが少ない）、容易に少量の符号化データに符号化することができると予想される。
【００２７】
残差画像データ３３０は、残差画像データの離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）表現を生成する変換部３４０に供給される。このＤＣＴ技術自体は広く知られており、ここでの詳細な説明は行わない。しかしながら、特に、ＤＣＴ動作が適用されるデータの様々なブロックの選択に関して、以降で詳細に説明する装置で用いられる技術の側面が存在する。
【００２８】
なお、いくつかの実施形態では、ＤＣＴの代わりに、離散サイン変換（ＤＳＴ：discrete sine transform）を用いる。他の実施形態においては、変換を実行しなくてもよい。この変換は選択的に行うことができ、例えば、「変換スキップ」コマンド／モードの制御により、変換ステージが事実上バイパスされる。
【００２９】
変換部３４０の出力、すなわち、画像データにおける各変換ブロックに対する一連の変換係数は、量子化部３５０に供給される。量子化スケーリング要素による単純な乗算から、量子化パラメータの制御下における複雑なルックアップテーブルの応用に至るまで、様々な量子化技術がビデオデータ圧縮の分野において広く知られている。その目的として一般的なものには２つある。１つ目は、変換データが取り得る値を量子化処理により減少させることである。２つ目は、変換データの値がゼロである可能性を量子化処理により増加させることである。これらにより、少量の圧縮ビデオデータの生成において、エントロピー符号化処理をより効率的に行うことができる。
【００３０】
スキャン部３６０により、データスキャン処理が適用される。スキャン処理の目的は、非ゼロの量子化変換係数をできるだけひとまとめにするため、また、もちろん、これにより、ゼロ値の係数をできるだけひとまとめにするために、量子化変換データを再整理することである。これらの機能により、いわゆるランレングス符号化、又は同様の技術を効率的に適用することができる。したがって、スキャン処理は、（ａ）スキャンの一部として全ての係数が一度は選択されるように、かつ、（ｂ）スキャンにより所望の再整理を行うことができるように、「スキャン順」に従って、量子化変換データ、及び、特に、変換及び量子化された画像データのブロックに対応する係数のブロックから係数を選択することを含む。有効な結果をもたらすスキャン順の１つの例は、いわゆるジグザグスキャン順である。
【００３１】
スキャンされた係数は、その後、エントロピーエンコーダ（ＥＥ）３７０に渡される。この場合もやはり、様々なタイプのエントロピー符号化を実行してもよい。２つの例は、いわゆるＣＡＢＡＣ（Context Adaptive Binary Coding）システムの変形、及び、いわゆるＣＡＶＬＣ（Context Adaptive Variable-Length Coding）システムの変形である。一般的に、ＣＡＢＡＣは効率がよいと考えられている。ある研究では、ＣＡＢＡＣにおける符号化出力データの量は、同等の画像品質について、ＣＡＶＬＣよりも１０〜２０％少ないことが示されている。しかしながら、ＣＡＶＬＣが示す（実行する上での）複雑性のレベルは、ＣＡＢＡＣの複雑性のレベルよりもはるかに低いと考えられている。
【００３２】
なお、スキャン処理及びエントロピー符号化処理は、別々の処理として示されているが、実際には、組み合わせるか、又は、一緒に扱うことができる。すなわち、エントロピーエンコーダへのデータの読み出しは、スキャン順で行うことができる。これと同様の事は、各逆処理にも当てはまる。
【００３３】
エントロピーエンコーダ３７０の出力により、例えば、予測部３２０が予測画像を生成する方法を定義する（上述及び／又は後述の）追加データと共に、圧縮出力ビデオ信号３８０が提供される。
【００３４】
一方、予測部３２０自体の動作は解凍された圧縮出力データに依存するため、リターンパスも提供される。
【００３５】
この機能の理由は以下の通りである。解凍処理における適切なステージで、解凍された残差データが生成される。この解凍残差データは、出力画像を生成するために、予測画像に追加する必要がある（なぜなら、元の残差データは、入力画像と予測画像との差であったため）。圧縮側と解凍側との間でこの処理が同等となるように、予測部３２０によって生成される予測画像は、圧縮処理及び解凍処理において、同一であるべきである。もちろん、装置は、解凍時において元の入力画像にアクセスすることができない。装置がアクセスできるのは、解凍画像のみである。したがって、圧縮時において、予測部３２０は、解凍された圧縮画像に基づいて（少なくとも、インター画像符号化について）その予測を行う。
【００３６】
エントロピーエンコーダ３７０により実行されるエントロピー符号化処理は、「無損失（lossless）」であると考えられる。すなわち、エントロピーエンコーダ３７０に最初に供給されたデータと全く同じデータに置き換えることができる。したがって、リターンパスは、エントロピー符号化ステージよりも前に実装することができる。実際、スキャン部３６０によって実行されるスキャン処理も無損失であると考えられるが、本実施形態では、リターンパス３９０は、量子化部３５０の出力から補足逆量子化部４２０の入力までとされている。
【００３７】
一般的には、エントロピーデコーダ（ＥＤ）４１０、逆スキャン部４００、逆量子化部４２０、逆変換部４３０は、それぞれ、エントロピーエンコーダ３７０、スキャン部３６０、量子化部３５０、及び変換部３４０の逆機能を提供する。ここでは、圧縮処理について説明を続け、入力圧縮ビデオ信号を解凍するための処理については、これとは別に後述する。
【００３８】
圧縮処理において、量子化された係数は、リターンパス３９０により量子化部３５０から、スキャン部３６０の逆動作を実行する逆量子化部４２０に渡される。逆量子化処理及び逆変換処理がユニット４２０、４３０により実行され、圧縮−解凍残差画像信号４４０が生成される。
【００３９】
画像信号４４０は、加算部４５０で予測部３２０の出力に追加され、再構築出力画像４６０が生成される。これにより、以下に説明するように、画像予測部３２０への１つの入力が構成される。
【００４０】
受信した圧縮ビデオ信号４７０に適用される処理について説明する。圧縮ビデオ信号４７０は、まず、エントロピーデコーダ４１０に供給され、そこから逆スキャン部４００、逆量子化部４２０、及び逆変換部４３０の順に供給される。その後、加算部４５０により画像予測部３２０の出力に追加される。単刀直入に言うと、加算部４５０の出力４６０は、出力解凍ビデオ信号４８０を形成する。実際には、信号の出力の前に、さらにフィルタリングを施してもよい。したがって、受信した圧縮ビデオ信号４７０に適用される処理は、デコーダの動作に対応する。
【００４１】
図６は、予測画像の生成、特に、画像予測部３２０の動作を示す概略図である。
【００４２】
基本的な予測モードは、３つあり、そのうちの２つが、いわゆるイントラ画像予測、及びいわゆるインター画像予測、すなわち、動き補償（ＭＣ）予測である。そして、３つ目は、いくつかの点では、これらの２つのモードを組み合わせたハイブリッドモードである。つまり、イントラブロックコピーモードで、現在のブロックの予測として他のブロックが用いられるが、これらの他のブロックは、当該現在のブロックと同じ画像から抽出されたものである。
【００４３】
同様の画像予測技術が、画像のサブブロックである予測ユニット（ＰＵ）全体にわたって用いられる。ＰＵ間で異なる予測技術を用いてもよい。ＰＵに対する予測技術、実際には、画像をＰＵに分割する方法は、制御部３４５が、例えば、１つの画像のうちのいくつか又は全てのトライアル又はテスト予測に基づいて、必要とされるパラメータセット内の、性能（例えば、圧縮／解凍画像の信号対ノイズ比）対「費用」（生成されるデータ量という意味）のバランスを適切な（又は、例えば、最良の）ものとする技術はどれかを見極めて選択してもよい。
【００４４】
イントラ画像予測は、同一画像内から得られる近傍データにおける画像ブロックの内容の予測を基礎としている。これは、他のビデオ圧縮技術における、いわゆるＩフレーム符号化に対応する。画像全体がイントラ符号化されるＩフレーム符号化とは対照的に、本実施形態では、イントラ符号化及びインター符号化の選択を、ブロック毎に行うことができる。他の実施形態では、当該選択が依然として画像毎に行われる。
【００４５】
動き補償予測においては、他の隣接画像又は近接画像において、現在の画像において符号化される画像詳細のソースを定義しようとする動き情報が用いられる。したがって、理想的な例では、予測画像における画像データのブロックの内容は、隣接画像における同じ位置もしくはわずかに異なる位置にある対応ブロックを示す参照（動きベクトル）として、非常に容易に符号化することができる。
【００４６】
図６に戻る。図６には（イントラ画像予測及びインター画像予測に対応する）２つの画像予測構成が示されており、その予測結果が、加算部３１０及び４５０に供給するための予測画像のブロックを提供するように、モード信号５１０の制御下において乗算部５００によって選択される。当該選択は、どちらを選択すれば最小の「エネルギー」（上述のように、符号化を要求する情報量と考えてもよい）となるかに基づいて行われ、また、当該選択は、符号化出力データストリーム内でエンコーダに通知される。これに関して、例えば、入力画像から、２つのバージョンの予測画像の領域を試行減算し、差分画像の各ピクセル値を２乗し、乗算値を合計し、当該２つのバージョンのうち、その画像領域に関連する差分画像の平均乗算値が低いのはどちらのバージョンかを特定することによって、画像エネルギーを検出することができる。
【００４７】
いくつかの例では、イントラブロックコピー予測を行う３つ目の予測構成を用いることができるが、本実施形態では、イントラブロックコピー予測は、（別の画像ではなく）同じ画像に関する動きベクトルの予測及び生成に単に基づくことによって、インター画像予測と同じ構成によって実施される。
【００４８】
イントラ予測システムにおいて、実際の予測は、信号４６０の一部として受信された画像ブロックに基づいて行われる。すなわち、予測は、解凍装置において全く同じ予測を行うことができるように、符号化−復号化画像ブロックに基づいて行われる。しかしながら、データを入力ビデオ信号３００から抽出して、イントラモード選択部５２０により、イントラ画像予測部５３０の動作を制御することもできる。
【００４９】
インター画像予測及びイントラブロックコピー予測では、動き補償（ＭＣ）予測部５４０は、例えば、動き推定部５５０によって入力ビデオ信号３００から抽出された動きベクトル等の動き情報を用いる。これら動きベクトルは、インター画像予測又はイントラブロックコピー予測のブロックを生成する動き補償予測部５４０によって、処理された再構築画像４６０に適用される。
【００５０】
ここで、信号４６０に適用される処理について説明する。まず、信号４６０は、フィルタ部５６０によってフィルタリングされる。この処理では、変換部３４０により実行されるブロックに基づく処理及び後続の動作に対する影響を除去するか、少なくとも低減させるために「非ブロック化（deblocking）」フィルタが適用される。また、再構築信号４６０及び入力ビデオ信号３００を処理することによって得られた係数を使用して、適応ループフィルタが適用される。この適応ループフィルタは、公知の技術を使用して、フィルタリング対象のデータに対して適応フィルタ係数を適用するフィルタの一種である。すなわち、フィルタ係数は、各種要素に基づいて変化し得る。どのフィルタ係数を用いるかを定義するデータは、符号化出力データストリームの一部に挿入される。
【００５１】
フィルタ部５６０からのフィルタリングされた出力は、実際には、出力ビデオ信号４８０を形成する。この信号は、１つ又は複数の画像記憶部５７０に記憶される。連続画像の記憶は、動き補償予測処理、特に、動きベクトルの生成において要求される。必要メモリを確保するため、画像記憶部５７０内の記憶画像は、圧縮形式で保持され、その後、動きベクトルの生成に用いるために解凍されてもよい。この特定の目的のために、公知のいかなる圧縮／解凍システムを用いてもよい。記憶画像は、より高い解像度の記憶画像を生成する補間フィルタ５８０に渡される。この例では、補間フィルタ５８０によって出力される補間画像の解像度が、画像記憶部５７０に記憶された画像の８倍（各寸法）となるように、中間サンプル（サブサンプル）が生成される。補間画像は、動き推定部５５０及び動き補間予測部５４０への入力として渡される。
【００５２】
いくつかの実施形態では、乗算部６００を使用して、入力ビデオ信号のデータ値に因数４を乗算し（効率的には、単にデータ値を２ビット左にシフトさせる）、除算部又は右シフト部６１０を使用して、装置の出力で、対応する除算動作（２ビット右にシフト）を適用する任意のステージがさらに提供される。したがって、左へのシフト及び右へのシフトにより、単に装置の内部動作に対して、データが変更される。この方法により、あらゆるデータ丸め誤差の影響も低減されるので、装置内における高い計算精度を提供することができる。
【００５３】
インター画像符号化は、スクリーンコンテンツシーケンスの場合（いくつかの例では、１００〜１）に非常に高い圧縮比を実現することが分かっている。しかし、インター予測は、コーデック（コーダ−デコーダ）実施のための演算が複雑であり、費用が嵩む。
【００５４】
なお、用語「スクリーンコンテンツシーケンス」は、スクリーンコンテンツ（カメラで撮像されたものではない画像素材）を含む連続画像から成る複数のシーケンスに関する。当該用語は、各画像の全体がスクリーンコンテンツから成ることを意味するものではないが、もちろん、（当該用語のより一般的な意味の具体例として）そう言った場合もあり得る。
【００５５】
より単純な、「限定」バージョンのインター予測によって、全イントラコーデックにわたって複雑さを著しく増すことなく、同様の圧縮性能を実現することができる可能性がある。
【００５６】
以下、構成例について論じる。しかし、一般的に、係る限定は、（より小さい領域への）動きベクトルの長さに対する限定あるいは単一の値０への当該長さに対する制限、又は、予測精度の低減（１／４輝度（luma）サンプルの代わりに１／２輝度サンプル又は整数サンプルだけ）、又は、用いてもよい参照フレームの数に対する限定、又は、これら及び/又は他の制約の組合せとを含み得る。
【００５７】
スクリーンコンテンツにおける多数のフレーム（又は複数のフレームの複数の領域）が、先行のフレームと全く同じものであることを考慮すると、インター予測符号化を通じて利用可能な利点の、全てではないが大半は、動きベクトル及び参照インデックスが全てのインター符号化ＰＵについて値０に固定された限定インター予測モードを用いることによって得られると仮定される。
【００５８】
係るモードは、２以上のフレームの補間又はバッファリングが不要であるため、フルインター予測に比べてかなり簡単に実施されることになる。さらに、エンコーダでの、動きベクトルの探索が不要となる。
【００５９】
当該モードを実施するのに必要とされるシンタックス及びツールは、ＨＥＶＣ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓに既に存在する。いくつかの実施形態では、シーケンスパラメータセットエクステンションにおける（の一部を成す）フラグが１つ必要となる。こういったツールは、イントラオンリープロファイル（intra-only profiles）または新しい「拡張イントラ」プロファイル（フルインター予測を既にサポートしているデコーダに対する実施の利点がないため）で利用可能としてもよい。
【００６０】
これより、具体的な構成例を説明する。
【００６１】
図７は、イントラブロックコピー処理を示す概略図である。このイントラブロックコピー処理によって、上述したように、スクリーンコンテンツシーケンスを符号化するのに適した技術が提供される。
【００６２】
特定の画像７００内において、イントラブロックコピー予測を行うブロック７１０について、相関性（例えば、探索領域７２０内のブロック７１０と各候補ブロック位置との絶対的な差異の合計）を検出することによって、探索領域７２０内の最も近似する対応サイズのブロックを特定する。最も近似したブロック７３０が特定されると、ブロック７１０と最も近似したブロック７２０との間の変位７４０によって、ブロック７１０に関係する動きベクトルが形成される。なお、ブロック７１０は、例えば、ｎ×ｍ（ｎ及びｍは１以上の整数）の矩形のサンプルアレイとすることができる。
【００６３】
図８は、インター画像予測処理を示す概略図である。上述のように、この構成は、とりわけ、複数の連続画像を含むスクリーンコンテンツシーケンスに適する。しかし、これより、より一般的な用語で説明する。
【００６４】
現在の画像８００について、制御部３４５は、１つ又は複数の参照画像８１０、８２０…を選択する。分かり易いように、各参照画像のうちの１つ及び画像８１０に関する処理について説明するが、２以上の参照画像について当該処理を行い、最も良い結果を処理の終わりに選択することができることを理解されたい。
【００６５】
画像８００におけるｎ×ｍサンプルの現在のテストブロック８３０に関して、例えば図７に関連して上記した技術を用いて、参照画像８１０内の探索領域８４０において最も近似したブロック８５０を検出する。画像８００における、最も近似したブロック８５０の位置と、ブロック８３０の位置に対応する画像８１０内の位置８６０との変位８７０は、ブロック８３０に関係する動きベクトルを表す。なお、ある状況下において、現在のブロック８３０を、参照画像８１０、８２０の複数のブロックにおけるブロック８５０等の重み付けしたブロックの組合せを用いて予測してもよい。一般的に、ブロック８３０の予測に必要とされる情報には、１つ又は複数の動きベクトルが含まれる。また、この情報が明示的又は所定のものでない限り、ブロック８３０の予測に必要とされる情報には、１つ又は複数の参照画像のアイデンティティも含まれる。いくつかの例では、いわゆる参照インデックスを用い、ゼロの参照インデックスによって時間的に１つ前の画像（図８の例では、画像８１０）が指定されるようにする。いくつかの実施形態では、ゼロである参照インデックスによって、参照リストの先頭に当該画像を指定する。いくつかの実施形態では、参照リストには、１つしか画像がない。
【００６６】
図８に関して示す処理は、「通常の」又は「非限定」インター予測動作を表している。以下、当該処理、例えば、当該処理に付随する処理オーバーヘッドを限定するために制限することができる技術についていかに説明する。
【００６７】
図９は、エンコーダ側でのフラグの使用法を示す概略フローチャートである。ある条件下では、限定インター画像予測モードを使用中であることを示すためにフラグを用いてもよい。なお、他の状況下では、係るフラグは必要とされない。例を以下に挙げる。
【００６８】
ステップ９００において、制御部３４５は、限定インター画像予測モードの利用を示すフラグを、エンコーダのビットストリームに設定する。例えば、当該フラグは、いわゆるシーパラメータセットの一部として、例えば、シーケンスパラメータセットエクステンションデータとして実装してもよい。ステップ９１０において、エンコーダは、限定インター画像モードを用いてフラグの設定後の各画像を符号化する。
【００６９】
図９の処理は、インター画像予測モードをとる画像データ符号化装置の動作方法であって、現在の画像の１つ又は複数のサンプルの１つのブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置する各サンプルから成る参照ブロックから予測される、画像データ符号化装置の動作方法の一例である。当該画像データ符号化装置の動作方法は、インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用することを含む。いくつかの実施形態では、現在の画像のブロックを、１つ又は複数の候補参照画像の探索領域内の複数の候補ブロック位置と比較することによって、参照ブロックが検出される。
【００７０】
図１０は、デコーダ側でのフラグの使用法を示す概略フローチャートである。なお、フラグは、限定の特性やデコーダの処理能力に応じて、デコーダに必要でなくてもよい。しかし、フラグがデコーダに関連する場合、ステップ９２０において、デコーダの制御部（制御部３４５に対応）は、フラグが、限定インター画像予測モードを示すように設定されていることを検出し、ステップ９３０において、デコーダは、限定インター画像予測モードを用いてビットストリームを復号化する。
【００７１】
図１０の処理は、インター画像予測モードをとる画像データ復号化装置の動作方法であって、現在の画像の１つ又は複数のサンプルの１つのブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置する各サンプルから成る参照ブロックから予測される、画像データ復号化装置の動作方法の一例である。当該画像データ復号化装置の動作方法は、インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方を減少させる限定インター画像予測モードを選択的に適用することを含む。いくつかの実施形態では、現在の画像のブロックを、１つ又は複数の候補参照画像の探索領域内の複数の候補ブロック位置と比較することによって、参照ブロックが検出される。
【００７２】
図１１は、例えば、符号化データストリーム９６０のシーケンスパラメータセット９５０の一部を成す限定インターフラグ９４０を示す概略図である。図１１に示すように、時間に関して言えば、フラグ９４０の設定に続いて符号化される画像は、概略的に示すフラグ９４０の右側に示されるビットストリーム９６０部分によって表される。上述したように、これらの画像は、設定したフラグ９４０に対応する限定インター画像予測モードを用いて符号化される。
【００７３】
したがって、これは、限定インター画像予測モードが適用されること示すフラグを符号化画像データのデータストリームに設定する例である。当該フラグは、シーケンスパラメータセットデータの一部を成し得る。
【００７４】
図１２〜図１５は、限定インター画像符号化処理に関する技術例を示す概略フローチャートである。
【００７５】
図１２では、ステップ１０００では、制御部３４５は、動きベクトル探索領域８４０を、より小さい領域８４５（図８）に限定する。少なくともいくつかの実施形態では、当該領域８４５は、依然として、対象であるブロック８３０の位置に対応する位置８６０を含む。動きベクトル探索領域を限定することによって、探索を実行するための処理要件が減る。ステップ１０１０において、動き推定部５５０は、低減された探索領域に応じて動きベクトルを検出する。したがって、限定インター画像予測モードでは、参照ブロックの各候補位置を含む参照画像の探索領域は、インター画像予測モードでの探索領域よりも小さい。
【００７６】
図１３では、ステップ１０２０において、制御部３４５は、例えば、補間フィルタ５８０の使用を不能にすることによって、例えば、１／４サンプル精度の代わりに、１／２サンプル又は整数サンプル精度をインター画像予測処理に用いるように予測精度を低下させる。ここでも、これによって、処理を実行するための処理要件が減る。ステップ１０３０において、動き推定部５５０は、低下された精度に応じて動きベクトルを検出する。したがって、限定インター画像予測モードでは、参照ブロックの参照画像における位置が、インター画像予測モードよりも低い正確さで検出される。
【００７７】
図１４では、通常のインター画像予測動作に比べて、参照画像８１０、８２０…の選択が制限される。予測されたブロックの最終生成物（ultimate generation）の一部として又は候補参照画像のうちいずれの候補参照画像が最良の結果をもたらすかを検出するために生成処理に用いられる画像が減るため、処理を実行するための処理要件が減る。ステップ１０５０において、動き推定部５５０は、制限された一組の参照画像に応じて動きベクトルを検出する。したがって、限定インター画像予測モードでは、現在の画像と共に用いられる候補参照画像の数は、インター画像予測モードでの候補参照画像の数より少ない。
【００７８】
なお、図１２〜図１５を参照して説明した技術のいずれかを組み合わせてもよい。
【００７９】
図１５は、図１２及び図１４の構成に関する特別な事例を示す。ここでは、動きベクトルをゼロの変位に制限することで、参照画像内の対応の位置８６０のブロックを用いてインター画像予測を実行する。同様に、参照インデックスは、値０に制限される。これは、時間的に１つ前の画像が参照画像として定義されることを示す。本例では、探索が全く必要ない。インター画像予測モードが、これらの制約の下に選択される場合、探索を一切必要とすることなく、動きベクトル及び参照インデックスが直ちに既知となる。なお、図１５の２つの処理（動きベクトルをゼロに設定すること及び参照インデックスをゼロに設定すること）は、一緒に実行してもよいし、別々に実行してもよい。いくつかの実施形態では、限定インター画像予測モードでは、参照画像内の参照ブロックの位置は、現在の画像内の当該ブロックの位置と同一である。いくつかの実施形態では、限定インター画像予測モードでは、現在の画像のための候補参照画像の数は１とされる。候補参照画像は、時間的に１つ前の画像であってもよい。
【００８０】
いわゆるＡＨＧ８無損失テスト条件について、イントラブロックコピーを有効又は無効にして経験的なテストを行った。この結果を、表１及び表２にそれぞれ示す。
【００８１】
【表１】
2017513437.tif 000003
表１−ＡＨＧ８無損失イントラ及び低遅延テスト条件下の限定インター予測（イントラブロックコピー有効）の場合のビットレートの変化及び符号化時間
【００８２】
【表２】
2017513437.tif 000004
表２−ＡＨＧ８無損失イントラ及び低遅延テスト条件下の限定インター予測（イントラブロックコピー無効）の場合のビットレートの変化及び符号化時間
【００８３】
ＡＧＨＳ８無損失テスト条件は、「Common Test Conditions and Software Reference Configurations for HEVC Range Extensions（ＨＥＶＣ  Ｒａｎｇｅ  Ｅｘｔｅｎｓｉｏｎｓのための共通テスト条件及びソフトウェア基準構成）」（２０１４年１月２４日の第１版及び２０１４年２月５日の第２版）と題する文献Ｐ１００６に定義されている。
【００８４】
上記結果に示されるように、この方式のためのビットレートは、フルインター符号化のビットレートのたったの２倍であり、全イントラ符号化のビットレートの２０％と低いものである。スクリーンコンテンツシーケンスの場合、この方式によって、複雑さが大幅に低減されると共に、インター符号化のほとんどすべての利点が得られることが分かる。
【００８５】
要するに、時間的な相関性が非常に高い複数のシーケンスに用いられるインター予測の単純化したバージョンを可能とするイントラ符号化に対するエクステンションについて説明した。本方式によって、全イントラ符号化と比較した場合、スクリーンコンテンツのビットレートが大幅に（８０％超）低減されることが示されている。
【００８６】
本開示の実施形態の各態様及び特徴は、以下の番号付けされた項によって定義される。
【００８７】
１．  現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置の動作方法であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する
画像データ符号化装置の動作方法。
２．  請求項１に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードの適用を示すフラグを、符号化画像データのデータストリームに設定するステップをさらに含む
画像データ符号化装置の動作方法。
３．  上記２に記載の画像データ符号化装置の動作方法であって、
前記フラグは、シーケンスパラメータセットデータの一部を成す
画像データ符号化装置の動作方法。
４．  上記１〜３のいずれか一項に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照画像内の前記参照ブロックの位置は、前記インター画像予測モードよりも低い精度で検出される
画像データ符号化装置の動作方法。
５．  上記１〜４のいずれか一項に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照ブロックの前記候補位置を含む前記参照画像の探索領域は、前記インター画像予測モードでの探索領域よりも小さい
画像データ符号化装置の動作方法。
６．  上記１〜５のいずれか一項に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、現在の画像と共に用いられる前記候補参照画像の数は、前記インター画像予測モードでの前記候補参照画像の数より少ない
画像データ符号化装置の動作方法。
７．  上記１〜６のいずれか一項に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、前記参照画像内の前記参照ブロックの位置は、前記現在の画像内の前記ブロックの位置と同一である
画像データ符号化装置の動作方法。
８．  上記１〜７のいずれか一項に記載の画像データ符号化装置の動作方法であって、
前記限定インター画像予測モードでは、現在の画像用の前記候補参照画像の数は、１である
画像データ符号化装置の動作方法。
９．  上記８に記載の画像データ符号化装置の動作方法であって、
前記候補参照画像は、時間的に１つ前の画像である
画像データ符号化装置の動作方法。
１０．  現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ復号化装置の動作方法であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用する
画像データ復号化装置の動作方法。
１１．  上記１〜１０のいずれか一項に記載の画像データ符号化（復号化）装置の動作方法であって、
前記現在の画像の前記ブロックを１つ又は複数の候補参照画像の探索領域における複数の候補ブロック位置と比較することによって前記参照ブロックを検出するステップ
をさらに含む
画像データ符号化装置の動作方法。
１２．  コンピュータによって実行され、上記１〜１１のいずれか一項に記載の画像データ符号化（復号化）装置の動作方法を前記コンピュータに実行させるコンピュータ・ソフトウェア。
１３．  上記１２に記載のコンピュータ・ソフトウェアを記憶する非一過性の機械可読記憶媒体。
１４．  現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ符号化装置であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用するように構成される制御部
を具備する
画像データ符号化装置。
１５．  現在の画像の１つ又は複数のサンプルから成るブロックが、参照画像内の複数の候補ブロック位置のうちの１つに位置するサンプルから成る参照ブロックから予測されるインター画像予測モードをとる画像データ復号化装置であって、
前記インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを選択的に適用するように構成される制御部
を具備する
画像データ復号化装置。
１６．  上記１４又は上記１５に記載のデータ符号化（復号化）装置を具備する装置であって、ビデオデータキャプチャ装置、送信装置、表示装置、及び記憶装置のうち少なくとも１つの機能を有する装置。
１７．  インター画像予測モードに比して前記候補ブロック位置の数及び前記候補参照画像の数の一方又は両方が低減される限定インター画像予測モードを示すフラグを含む符号化データであって、各データ部に区画される符号化データの分配例。
【００８８】
上述のように、上記の項の装置特徴は、上述のエンコーダ又はデコーダの特徴により実現されてもよいことが理解されるであろう。
【図１】
2017513437.tif 000005
【図２】
2017513437.tif 000006
【図３】
2017513437.tif 000007
【図４】
2017513437.tif 000008
【図５】
2017513437.tif 000009
【図６】
2017513437.tif 000010
【図７】
2017513437.tif 000011
【図８】
2017513437.tif 000012
【図９】
2017513437.tif 000013
【図１０】
2017513437.tif 000014
【図１１】
2017513437.tif 000015
【図１２】
2017513437.tif 000016
【図１３】
2017513437.tif 000017
【図１４】
2017513437.tif 000018
【図１５】
2017513437.tif 000019
【国際調査報告】
2017513437.tif 000020
2017513437.tif 000021
2017513437.tif 000022
2017513437.tif 000023
2017513437.tif 000024