(57)【要約】  複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成する。次に、該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成する。続いて、該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成する。続いて、符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成する。続いて、前記フィルタ係数情報と前記フィルタ適用情報とを第１符号化データとして、前記量子化変換係数情報と前記ブロック分割情報を第２符号化データとして、それぞれ別々に符号化する。最後に、前記第１符号化データと前記第２符号化データとを結合する。
2011161823.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成し、
該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成し、
該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成し、
符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成し、
前記フィルタ係数情報と前記フィルタ適用情報とを第１符号化データとして、前記量子化変換係数情報と前記ブロック分割情報を第２符号化データとして、それぞれ別々に符号化し、
前記第１符号化データと前記第２符号化データとを結合することを特徴とする動画像符号化方法。
【請求項２】
前記結合することは、前記第１符号化データを前記第２符号化データの前に結合することを特徴とする請求項１に記載の動画像符号化方法。
【請求項３】
前記符号化することは、フィルタ処理を行う符号化ブロック数を示す値を前記フィルタ適用情報の先頭に付加して符号化することを特徴とする請求項２に記載の動画像符号化方法。
【請求項４】
前記値は、画像サイズと、符号化ブロックの最大サイズと、符号化ブロックの最小サイズと、前記符号化ブロックにフィルタを適用するか否かを判定する単位となる画素領域であるフィルタ適用判定領域の最小サイズとのうちの少なくとも１つを用いて決定される値であることを特徴とする請求項３に記載の動画像符号化方法。
【請求項５】
前記符号化することは、前記フィルタ適用情報の終端を規定する終端コードを、フィルタ適用情報の終端に付加して符号化することを特徴とする請求項２に記載の動画像符号化方法。
【請求項６】
複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成し、
該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成し、
該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成し、
符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成し、
前記フィルタ係数情報と前記フィルタ適用情報と前記ブロック分割情報とを第１符号化データとして、前記量子化変換係数情報を第２符号化データとして、それぞれ別々に符号化し、
前記第１符号化データと前記第２符号化データとを結合し、
前記第１符号化データは、前記第２符号化データの前に結合され、前記ブロック分割情報は、前記フィルタ適用情報の前に付加されて符号化されることを特徴とする動画像符号化方法。
【請求項７】
フィルタのフィルタ係数を示すフィルタ係数情報と、符号化の対象となる画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報と、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報と、量子化変換係数情報とを含んで符号化された符号化データを復号し、前記フィルタ係数情報、前記フィルタ適用情報、前記ブロック分割情報および前記量子化変換係数情報を得、
前記フィルタ係数情報と前記フィルタ適用情報とを記憶し、
前記量子化変換係数情報を逆量子化して逆変換した予測誤差画像と画像の予測画像とを加算した復号画像について、前記符号化ブロック分割情報と前記フィルタ適用情報とを対応付けて、フィルタが適用される復号画像の領域に前記フィルタ係数情報により表されるフィルタを適用して復元画像を生成することを特徴とする動画像復号方法。
【請求項８】
前記復号することは、前記フィルタ係数情報と前記フィルタ適用情報とを符号化した第１符号化データが、前記量子化変換係数情報と前記符号化ブロック分割情報とを符号化した第２符号化データよりも前に付加された符号化データを復号することを特徴とする請求項７に記載の動画像復号方法。
【請求項９】
前記復号することは、フィルタ処理を行なうべきブロック数を示す値が前記フィルタ適用情報の先頭に付加された符号化データを復号し、該値に応じた数のフィルタ適用情報を特定することを特徴とする請求項８に記載の動画像復号方法。
【請求項１０】
前記値は、画像サイズと、符号化ブロックの最大サイズと、符号化ブロックの最小サイズと、前記符号化ブロックにフィルタを適用するか否かを判定する単位となる画素領域であるフィルタ適用判定領域の最小サイズとのうちの少なくとも１つを用いて決定される値であることを特徴とする請求項９に記載の動画像復号方法。
【請求項１１】
前記復号することは、前記フィルタ適用情報の終端を規定する終端コードがフィルタ適用情報の終端に付加された符号化データを復号して、該フィルタ適用情報の終端を特定することを特徴とする請求項８に記載の動画像復号方法。
【請求項１２】
前記復号することは、前記ブロック分割情報が前記フィルタ適用情報の先頭に付加された符号化データを復号して、該フィルタ適用情報の数を特定することを特徴とする請求項７に記載の動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、動画像を符号化及び復号するために用いる動画像符号化方法及び復号方法に関する。
【背景技術】
【０００２】
符号化側でフィルタ係数及びフィルタを適用する領域を示す情報を設定して復号側に送信し、復号側では受信したフィルタ情報を用いてフィルタ適用領域にループフィルタ処理を行い、復号画像の符号化歪を低減する技術としてＱｕａｄ−ｔｒｅｅ ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｌｏｏｐ Ｆｉｌｔｅｒ（以下、ＱＡＬＦという）がある。ＱＡＬＦは四分木の木構造を用いて画像を可変サイズのブロックに分割してブロックごとにフィルタを適用するかどうかを切り替えて決定できる。  
一方で、Ｈ．２６４ではマクロブロックと呼ばれる固定サイズのブロックを符号化の処理単位となる符号化ブロックとして、そのブロック内で予測方法や予測ブロックサイズ、変換ブロックサイズ等を設定しているが、この符号化ブロックを四分木で制御する手法がある。この手法、符号化ブロックを木構造で再帰的に表現することにより、符号化ブロックのサイズを画面内で可変としている。また、フィルタ適用の切り替えは各符号化ブロックに対して行なっており、フィルタ適用情報を符号化ブロックの符号化データ中に多重化している。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Ｔ．  Ｃｈｕｊｏｈ，  他，  “Specification and experimental results of Quadtree-based Adaptive Loop Filter,”  ＩＴＵ−Ｔ  Ｑ．６／ＳＧ１６  Ｄｏｃ．  ＶＣＥＧ−ＡＫ２２，  Ｙｏｋｏｈａｍａ，  Ａｐｒｉｌ  ２００９．
【非特許文献２】Ｋ．  ＭｃＣａｎｎ，  他，  “Samsung’s Response to the Call for Proposals on Video Compression Technology,”  ＪＣＴ−ＶＣ  Ｄｏｃ．  ＪＴＣＶＣ−Ａ１２４，  Ｄｒｅｓｄｅｎ，  Ａｐｒｉｌ，  ２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来のＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４等の動画像符号化方式では、符号化処理と同時に符号化データが生成される。一方で、対象となる領域（ピクチャまたはスライス等）の符号化が完了してからでなければ適切なフィルタ適用情報を求めることができない。そのため、フィルタ適用情報を符号化ブロックの符号化データ中へ多重化するためには、符号化ブロックの符号化データにおけるフィルタ適用情報の位置を１度記憶し、適切なフィルタ適用情報を求めてから適宜書き換える必要がある。【０００５】
本開示は、上述の課題を解決するためになされたものであり、符号化の処理量を削減することができる動画像符号化方法および復号方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本実施形態に係る動画像符号化方法は、複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成する。次に、該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成する。次に、該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成する。次に、符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成する。次に、前記フィルタ係数情報と前記フィルタ適用情報とを第１符号化データとして、前記量子化変換係数情報と前記ブロック分割情報を第２符号化データとして、それぞれ別々に符号化する。最後に、前記第１符号化データと前記第２符号化データとを結合する。【０００７】
また、本実施形態に係る動画像復号方法は、フィルタのフィルタ係数を示すフィルタ係数情報と、符号化の対象となる画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報と、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報と、量子化変換係数情報とを含んで符号化された符号化データを復号し、前記フィルタ係数情報、前記フィルタ適用情報、前記ブロック分割情報および前記量子化変換係数情報を得る。次に、前記フィルタ係数情報と前記フィルタ適用情報とを記憶する。次に、前記量子化変換係数情報を逆量子化して逆変換した予測誤差画像と画像の予測画像とを加算した復号画像について、前記符号化ブロック分割情報と前記フィルタ適用情報とを対応付けて、フィルタが適用される復号画像の領域に前記フィルタ係数情報により表されるフィルタを適用して復元画像を生成する。
【図面の簡単な説明】
【０００８】
【図１】動画像符号化装置を示すブロック図。
【図２】ループフィルタ情報生成部を示すブロック図。
【図３】エントロピー符号化部を示すブロック図。
【図４】符号化ブロックの分割例を示す図。
【図５】符号化ブロックへのフィルタ適用の制御例を示す図。
【図６】本実施形態に係るシンタクス構造の一例を示す図。
【図７】エントロピー符号化部の動作例を示すフローチャート。
【図８】ループフィルタデータシンタクスのシンタクス構造の第１の記述例を示す図。
【図９Ａ】ループフィルタデータシンタクスのシンタクス構造の第２の記述例を示す図。
【図９Ｂ】ループフィルタデータシンタクスのシンタクス構造の第３の記述例を示す図。
【図１０】ループフィルタデータシンタクスのシンタクス構造の第４の記述例を示す図。
【図１１】エントロピー符号化部の別例を示すブロック図。
【図１２】動画像復号装置を示すブロック図。
【図１３】エントロピー復号部を示すブロック図。
【図１４】エントロピー復号化部の別例を示すブロック図。
【図１５】デブロッキングフィルタ処理を含む場合の動画像符号化装置を示すブロック図。
【図１６】デブロッキングフィルタ処理を含む場合の動画像復号装置を示すブロック図。
【図１７】動画像復号装置の別例を示すブロック図。
【図１８】ポストフィルタとして用いる場合の動画像符号化装置を示すブロック図。
【図１９】ポストフィルタとして用いる場合の動画像復号装置を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら本実施形態に係る動画像符号化方法および復号方法について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。
【００１０】
（符号化装置）  
本実施形態に係る動画像符号化方法を行なう動画像符号化装置について図１を参照して詳細に説明する。  
本実施形態に係る動画像符号化装置１００は、予測画像生成部１０１、減算部１０２、変換及び量子化部１０３、逆量子化及び逆変換部１０４、加算部１０５、ループフィルタ情報生成部１０６、ループフィルタ処理部１０７およびエントロピー符号化部１０８を含む。また、動画像符号化装置１００は、符号化制御部１０９によって全体の動作を制御される。
【００１１】
予測画像生成部１０１は、外部から入力された複数の画素信号からなる画像（以下、入力画像という）について所定の予測処理を行ない、予測画像を生成する。予測処理は、例えば、動き補償による時間方向の予測、または画面内の符号化済みの画素を用いた空間方向の予測等一般的な処理を用いればよく、ここでの詳細な説明は省略する。  
減算部１０２は、入力画像と予測画像生成部１０１から予測画像とを受け取り、入力画像と予測画像との差分を計算して、予測誤差画像を生成する。  
変換及び量子化部１０３は、減算部１０２から予測誤差画像を受け取り、予測誤差画像について変換処理を行なって変換係数を生成し、その後、変換係数について量子化処理を行なって量子化された変換係数である量子化変換係数を生成する。変換処理は、例えばＤＣＴ（Discrete Cosine Transform：離散コサイン変換）を用いた直交変換を行なう。なお、ウェーブレット変換、独立成分解析等の手法を用いて変換係数を生成してもよい。量子化処理は、後述する符号化制御部１０９で設定される量子化パラメータに基づいて、変換係数を量子化する。
【００１２】
逆量子化及び逆変換部１０４は、変換及び量子化部１０３から量子化変換係数を受け取り、量子化パラメータに基づいて逆量子化し、その後、得られた変換係数について逆変換（例えば、逆ＤＣＴ）して予測誤差画像を生成する。なお、逆量子化及び逆変換部１０４は、変換及び量子化部１０３の処理に対して逆処理を行えばよく、例えば、変換及び量子化部１０３がウェーブレット変換及び量子化を行なっている場合は、逆量子化及び逆変換部１０４が逆量子化及び逆ウェーブレット変換を行えばよい。  
加算部１０５は、予測画像生成部１０１から予測画像を、逆量子化及び逆変換部１０４から予測誤差画像をそれぞれ受け取り、予測画像と予測誤差画像とを加算して局所復号画像を生成する。
【００１３】
ループフィルタ情報生成部１０６は、入力画像と、加算部１０５から局所復号画像と、符号化制御部１０９から符号化ブロック分割情報とをそれぞれ受け取る。符号化ブロック分割情報は、符号化の処理単位となる符号化ブロックがどのように分割されているかを示す情報である。ループフィルタ情報生成部１０６はその後、フィルタ係数情報とフィルタ適用情報とを生成する。フィルタ係数情報は、画素領域（以下、単に領域ともいう）に適用するフィルタのフィルタ係数を示す情報である。フィルタ適用情報は、フィルタ処理を符号化ブロックに適用するかどうかを示す情報である。ループフィルタ情報生成部１０６の詳細については、図２を用いて後述する。
【００１４】
ループフィルタ処理部１０７は、加算部１０５から局所復号画像を、ループフィルタ情報生成部１０６からフィルタ適用情報とフィルタ係数情報とを、符号化制御部１０９から符号化ブロック分割情報をそれぞれ受け取る。ループフィルタ処理部１０７はその後、局所復号画像に関してフィルタ適用情報が示す領域に、フィルタ係数情報に示されるフィルタを適用し、フィルタ適用後の画像である復元画像を生成する。また、生成された復元画像は、予測画像生成部１０１によって予測画像を生成する際に参照される。
【００１５】
エントロピー符号化部１０８は、変換及び量子化部１０３から量子化変換係数を、ループフィルタ情報生成部１０６からフィルタ係数情報とフィルタ適用情報とを、符号化制御部１０９から符号化パラメータをそれぞれ受け取る。エントロピー符号化部１０８はその後、量子化変換係数、フィルタ係数情報、フィルタ適用情報および符号化パラメータをエントロピー符号化（例えば、ハフマン符号化または算術符号化）して符号化データとして外部に出力する。符号化パラメータは、予測モード情報、動き情報、符号化ブロック分割情報、量子化パラメータ等の情報である。エントロピー符号化部１０８の詳細については、図３を用いて後述する。  
符号化制御部１０９は、符号化ブロック分割制御、発生符号量のフィードバック制御、量子化制御及びモード制御等を行ない、符号化全体の制御を行なう。
【００１６】
次に、ループフィルタ情報生成部１０６について図２を参照して説明する。  
ループフィルタ情報生成部１０６は、フィルタ係数情報生成部２０１及びフィルタ適用情報生成部２０２を含む。
【００１７】
フィルタ係数情報生成部２０１は、入力画像と、加算部１０５から復号画像とをそれぞれ受け取り、復号画像に対して適用するループフィルタのフィルタ係数を設定してフィルタ係数情報を生成する。
【００１８】
フィルタ適用情報生成部２０２は、入力画像と、加算部１０５から復号画像と、フィルタ係数情報生成部２０１からフィルタ係数情報と、符号化制御部１０９から符号化ブロック分割情報とをそれぞれ受け取り、復号ブロックを参照して１以上の符号化ブロックに対してフィルタを適用するかどうかの判定を行ない、フィルタ適用情報を生成する。フィルタ適用情報生成部２０２のフィルタ適用に関する判定方法については後述する。
【００１９】
次に、エントロピー符号化部１０８について図３を参照して説明する。  
エントロピー符号化部１０８は、符号化ブロックレベルシンタクス符号化部３０１とループフィルタデータシンタクス符号化部３０２とを含む。
【００２０】
符号化ブロックレベルシンタクス符号化部３０１は、変換及び量子化部１０３から量子化変換係数を、符号化制御部１０９から符号化ブロック分割情報をそれぞれ受け取り、量子化変換係数と符号化ブロック分割情報とを含む情報についてエントロピー符号化を行なう。  
ループフィルタデータシンタクス符号化部３０２は、ループフィルタ情報生成部１０６からフィルタ係数情報とフィルタ適用情報とを受け取り、フィルタ係数情報とフィルタ適用情報とについてエントロピー符号化を行なう。エントロピー符号化部１０８の詳細な動作については後述する。
【００２１】
ここで、本実施形態で想定する可変サイズの符号化ブロックについて図４を参照して詳細に説明する。  
符号化処理は、画像を複数のブロックに分割した各符号化ブロックについて行われる。Ｈ．２６４等従来の動画像符号化の標準規格においてはマクロブロックと呼ばれる固定サイズのブロックが用いられているが、本実施形態では画面内で可変サイズの符号化ブロックを用いる動画像符号化方法を対象とする。一例として、本実施形態では四分木の木構造によってブロック分割を制御する場合について説明するが、どのようなブロック分割方法についても適応できる。ブロックの分割は、四分木の木構造によって分割を制御することにより、可変サイズの符号化ブロックを調整することができ、具体的には、例えば符号化制御部１０９がシンタクスにおけるパラメータであるｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅとｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒとを制御することにより、符号化ブロックのサイズを調整できる。
【００２２】
ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅは、符号化ブロックの最大サイズを示し、ｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒは、四分木の木構造の最大の深さを示す。これらから符号化ブロックの最小サイズであるｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅが決定される。例えば、図４の符号化ブロック４０１の例では、ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ＝６４、ｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒ＝２である場合、符号化ブロックの最大サイズから深さ２の木構造を取るので、ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ＝１６となる。また、この符号化ブロック４０１の四分木の木構造を模式的に表したものが模式図４０２である。各符号化ブロックはさらに４つの符号化ブロックに分割することができ、ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅよりも大きなサイズの符号化ブロックには、さらにブロックの分割を行なうかどうかの情報が付加される。ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅとｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒとは、シーケンスに対して固定の値を用いてもよく、またスライス等の単位で可変としてもよい。これらの場合、それぞれの単位でｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅとｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒとを符号化する必要がある。さらに、符号化側と復号側とで一意なパラメータを用いてもよく、この場合にはパラメータを符号化する必要はない。
【００２３】
また、各符号化ブロックのサイズは自由に設定することが可能であるが、ここでは次式により表される符号化コストに基づいて設定する。  
ｃｏｓｔ＝Ｄ＋λ×Ｒ・・・（１）  
ただし、式（１）におけるＤは残差二乗和、Ｒは符号量を表す。
【００２４】
符号化制御部１０９は、各符号化ブロックを用いて符号化を行なった場合と、さらに４つの符号化ブロックに分割して符号化を行った場合とのそれぞれについて式（１）を用いて符号化コストを算出し、符号化コストが小さくなる符号化ブロックのサイズを選択する。このように画面内で符号化ブロックのサイズを可変とすることで、画像における領域ごとの特性を考慮して符号化を行うことが可能となる。
【００２５】
次に、本実施形態に係る動画像符号化装置の符号化処理について説明する。  
まず、本実施形態に係る動画像符号化装置１００は、入力画像を受け取り、減算部１０２において、入力画像と予測画像生成部１０１からの予測画像とについて減算処理を行ない予測誤差画像を生成する。続いて、生成された予測誤差画像は、変換及び量子化部１０３において変換して量子化され、結果として量子化変換係数が生成される。量子化変換係数はエントロピー符号化部１０８で符号化される。一方、量子化変換係数は、逆量子化及び逆変換部１０４で逆量子化して逆変換され、予測誤差画像として出力される。予測誤差画像は、加算部１０５において予測画像生成部１０１からの予測画像と加算され、局所復号画像が生成される。
【００２６】
上述した一連の処理は、予測処理と変換処理とを行なう、いわゆるハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。なお、ここでは予測、変換、量子化を行なう符号化処理を説明したが、ＤＰＣＭ（Differential Pulse Code Modulation）が隣接画素からの予測のみを行なうように、いくつかの処理を行なわなくてもよい。
【００２７】
次に、ループフィルタ情報生成部１０６の動作について説明する。  
フィルタ係数情報生成部２０１は、局所復号画像と入力画像とに基づいて、局所復号画像にフィルタ処理を施した場合の画像と、入力画像との平均二乗誤差が最小となるようにフィルタ係数を設定する。
【００２８】
フィルタ適用情報生成部２０２は、フィルタ係数情報と符号化ブロック分割情報とに基づいて、１以上の符号化ブロックについてフィルタを適用したことにより、フィルタ適用後の画像と入力画像との平均二乗誤差が低減しているか否かを符号化ブロックごとに判定してブロックごとのフィルタ適用情報を生成する。つまり、フィルタ適用情報は、フィルタを適用することで各ブロックにおける原画像との誤差が低減される場合にフィルタを適用するように設定される。  
続いて、フィルタ適用情報生成部２０２は、上述の判定を、複数のｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒに対して行ない、符号化コストが最も小さくなるｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒを選択する。ｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒは、符号化ブロックの分割における四分木の第何階層目までをフィルタ適用情報の設定に用いるかを示すパラメータである。また、この符号化ブロックの分割形状とｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒで示される、フィルタを適用するか否かを判定する単位となる領域をフィルタ適用判定領域とも呼ぶ。  
なお、符号化ブロックのフィルタ適用情報に加え、複数の符号化ブロックを含む処理単位にフィルタ適用情報を設定してもよい。例えば、符号化スライスごとにフィルタ適用情報を設定してもよく、この場合は、符号化スライスに対して全くフィルタを適用しない場合のコストと、ブロックごとにフィルタを適用する場合のコストとを算出して比較することで、符号化スライスにおけるフィルタ適用情報を設定することができる。
【００２９】
符号化ブロックのフィルタ適用判定領域について図５を参照して説明する。  
図５（ａ）は、図４における符号化ブロック４０１の分割形状を示す。また、図５（ｂ）から（ｃ）までの各符号化ブロック内の「ＯＮ」及び「ＯＦＦ」は、フィルタを適用するかどうかを示し、「ＯＮ」の場合はフィルタを適用し、「ＯＦＦ」の場合はフィルタを適用しない。図５（ｂ）に示すように、ｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒ＝２、ｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒ＝２である場合は、実際に符号化で用いられた木構造の符号化ブロックと、フィルタ適用判定領域とが深さ２（第２階層目）で一致するため、符号化ブロックごとにフィルタを適用するかどうかが決定される。  
一方、図５（ｃ）に示すように、ｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒ＝１である場合は、フィルタ適用判定領域は深さ１（第１階層目）であるから、符号化ブロックの最大サイズ（ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ）を一度４分割した符号化ブロックについて、それぞれフィルタを適用するかどうかが決定される。また、図５（ｄ）に示すように、ｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒ＝０である場合は、符号化ブロックは分割されないので、符号化ブロックの最大サイズの符号化ブロックについてフィルタを適用するかどうかが決定される。
【００３０】
また、本実施形態ではフィルタとして画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ ｆｉｌｔｅｒを用いる。また、符号化スライス単位でフィルタを非適用と設定した場合にはスライス内の全画素についてフィルタは適用されず、ブロックごとのフィルタ適用情報は破棄される。一方、符号化スライス単位でフィルタを適用とした場合にはブロックごとのフィルタ適用情報に従ってフィルタを適用する。  
なお、ここではフィルタが１つの場合を説明したが、複数のフィルタを用意して、フィルタを適用するかどうかに加え、フィルタの種類についても同様にフィルタ適用情報によって切り替えてもよい。さらに、フィルタを適用するかどうかについては、フィルタ適用情報によって切り替え、フィルタの種類については、復号画像の画素ごとまたはブロックごとにアクティビティや画素値によって切り替えてもよい。
【００３１】
次に、本実施形態に係るシンタクス要素について図６を参照して詳細に説明する。  
以下では、フィルタ係数情報とフィルタ適用情報とをスライス単位で送信するものとする。
【００３２】
図６に示すようにシンタクスは、主にハイレベルシンタクス、スライスレベルシンタクス及び符号化ブロックレベルシンタクスの３つを含む。ハイレベルシンタクス６０１では、スライス以上の上位レイヤのシンタクス情報が記述され、スライスレベルシンタクス６０４では、スライスごとに必要な情報が記述され、符号化ブロックレベルシンタクス６０７では、符号化ブロック分割情報または符号化ブロックごとに必要とされる変換係数、予測モード情報および動きベクトル等が記述される。
【００３３】
さらに、ハイレベルシンタクス６０１では、シーケンスパラメータセットシンタクス６０２とピクチャパラメータセットシンタクス６０３といった、シーケンスまたはピクチャレベルのシンタクスを含む。スライスレベルシンタクス６０４では、スライスヘッダーシンタクス６０５、およびフィルタ係数情報とフィルタ適用情報とを含むループフィルタデータシンタクス６０６を含む。符号化ブロックレベルシンタクス６０７は、符号化ブロック分割情報を含む符号化ブロックレイヤーシンタクス６０８、符号化ブロックプレディクションシンタクス６０９を含む。
【００３４】
例えば、上述の符号化ブロックの分割を制御するためのパラメータｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅとｍａｘ＿ｃｏｄｉｎｇ＿ｌａｙｅｒとがシーケンスで固定であるならばシーケンスパラメータセットシンタクス６０２にこれらのパラメータを付加し、スライスごとに可変とするならばスライスヘッダーシンタクス６０５にこれらのパラメータを付加すればよい。
【００３５】
ここで、エントロピー符号化部の動作について図７のフローチャートを参照して説明する。  
ステップＳ７０１では、符号化ブロックレベルシンタクス符号化部３０１が、符号化ブロック分割情報、量子化変換係数情報に加えてモード情報や動き情報を符号化ブロックレベルシンタクスの一連の符号化データとして符号化する。  
ステップＳ７０２では、ループフィルタデータシンタクス符号化部３０２が、フィルタ係数情報とフィルタ適用情報とをループフィルタデータシンタクスの一連の符号化データとして、符号化ブロックレベルシンタクスの符号化とは別々に符号化する。  
ステップＳ７０３では、ループフィルタデータシンタクス及び符号化ブロックレベルシンタクスのそれぞれの符号化データが結合され、復号側に送られる１つの符号化データとして生成される。
【００３６】
フィルタ係数情報とフィルタ適用情報との設定は、１スライス分の符号化が完了して復号画像が生成されてから行われるため、符号化ブロックレベルシンタクスを符号化する時点ではフィルタ適用情報が決定されていない。よって、符号化ブロックレベルシンタクス中にフィルタ適用情報を付加するとすれば、フィルタが適用される領域の画素位置を符号化ブロックごとに記憶し、フィルタ適用情報が設定された後にその符号化ブロックの領域にフィルタが適用されるかどうかを改めて書き換える必要があり、符号化の処理が煩雑となり処理量が増えることになる。  
本実施形態では、フィルタ適用情報を、符号化ブロックレベルシンタクスではなくループフィルタデータシンタクスに、フィルタが適用される符号化ブロック数がわかるようにして１スライス分まとめて符号化する。
【００３７】
ループフィルタデータシンタクスの記述例について図８から図１０までを参照して詳細に説明する。  
図８に示すループフィルタデータシンタクス６０６には、本実施形態のループフィルタに関するパラメータであるフィルタ係数情報とフィルタ適用情報とが記述される。ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｉｄｘは、ループフィルタの形状またはタップ長を示すインデクスである。ｆｉｌｔｅｒ＿ｔｙｐｅ＿ｉｄｘは、フィルタ係数の数であるＮｕｍＯｆＦｉｌｔｅｒＣｏｅｆｆと対応しており、ｆｉｌｔｅｒ＿ｃｏｅｆｆは、フィルタ係数である。また、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは、各符号化ブロックにループフィルタを適用するかどうかを示す１ビットのフラグである。例えば、フィルタを適用する場合は「１」、フィルタを適用しない場合は「０」とすればよい。ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇは、フィルタ適用判定領域の総数である。  
ここで、ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇをｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの前に付加する。こうすることで、復号側でＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇが示すブロック数だけフィルタ適用情報が存在することがわかる。例えば、図５（ｂ）が１つのスライスを構成している場合は、ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇ＝１０であり、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは「０１００１０１１０１」と表されるので、復号側ではループフィルタデータシンタクスに含まれる情報のみを用いてｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを正しく復号することができる。さらに、符号化ブロック分割情報とｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒに基づいて対応する符号化ブロックごとにフィルタを適用するかどうかを判定してフィルタ処理を行なうことができる。
【００３８】
このように、符号化側でフィルタが適用される符号化ブロックの領域内の全ての画素位置を記憶して書き換えるような煩雑な処理を行なわなくとも、ループフィルタデータシンタクスへ符号化ブロック数を挿入するだけでよく、符号化の処理量を削減することができる。
【００３９】
また、ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇは可変長符号化により符号化してもよいし、固定長で符号化してもよい。符号化方法としては、画像サイズまたは符号化ブロックの分割に関するパラメータに基づいて変更する方法がある。  
１スライスは１画面より大きな領域をとることはないため、画像サイズ、ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ、ｍｉｎ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅ及びｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒの少なくとも１つから、１スライスに存在し得る最小のブロック数と最大のブロック数、即ちブロック数の取り得る値の範囲を得ることができる。よって、ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇを可変長で符号化する場合には、ブロック数のとり得る値の範囲に応じた確率モデルを用いて符号テーブルを変更する。ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇを固定長で符号化する場合には、ブロック数のとり得る値の範囲を表現できる最小のビット長によりＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇを符号化する。こうすることで、画像サイズまたはブロックサイズが変動した場合にも適切な符号化方法を選択することができる。  
さらに、上記のパラメータは復号側でも利用できるため、符号化側と復号側とで同一のビット長を選択することで正しく復号を行なうことができる。
【００４０】
ループフィルタデータシンタクス６０６の別の記述例として、図９Ａ及び図９Ｂに示すように、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｄａｔａの終端に固有なビット列を符号化してｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの終端を判定してもよい。図９Ａは、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが設定されていなくてもよい場合の記述例、図９Ｂは、必ず１以上のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが設定されていることを前提とした場合の記述例である。  
ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｄａｔａの終端に、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｄａｔａの終端位置を示すための固有なビット列を付加することで、固有なビット列が現れるまでのビットにフィルタ適用情報が設定されていると復号側で判定できるので、ＮｕｍＯｆＬｏｏｐＦｉｌｔｅｒＦｌａｇがわからない場合にも適切な数のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを復号することができる。
【００４１】
さらに別の手法としては、符号化ブロック分割情報を四分木の木構造でｌｏｏｐ＿ｆｉｌｔｅｒ＿ｄａｔａに記述してもよい。この場合のループフィルタデータシンタクス６０６の記述例を図１０に示す。  
図１０におけるＮｕｍＯｆＰａｒｅｎｔＢｌｏｃｋは、１スライス中に含まれるｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅのブロックの数を表しており、ＮｕｍＯｆＰａｒｅｎｔＢｌｏｃｋだけ四分木が存在する。ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋはある階層まで分割を行なった場合に１つのｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅから分割された符号化ブロックの数を表している。ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅの各ブロックを四分木の開始点として、ｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇにより符号化ブロックをさらに４つに分割するかどうかを表現する。ｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇ＝１である場合には符号化ブロックがさらに分割され、１つ下の階層に位置するブロックのｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇが１となる。それ以上分割されない場合、ｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇ＝０となり、１つ下の階層に位置するブロックのｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇは０となる。このように記述することで、図４に示したような四分木の木構造を表現することができる。ただし、１スライスが１画面よりも小さな領域である場合には、ｍａｘ＿ｃｏｄｉｎｇ＿ｂｌｏｃｋ＿ｓｉｚｅだけではＮｕｍＯｆＰａｒｅｎｔＢｌｏｃｋを特定することはできないため、スライスの形状または大きさを示す情報が必要となる。
【００４２】
図１０に示すループフィルタデータシンタクスを用いる場合のエントロピー符号化部について図１１のブロック図を参照して詳細に説明する。  
図１１に示すエントロピー符号化部１１００は、符号化ブロックレベルシンタクス符号化部１１０１とループフィルタデータシンタクス符号化部１１０２とを含む。  
符号化ブロックレベルシンタクス符号化部１１０１は、図３に示す符号化ブロックレベルシンタクス符号化部３０１とほぼ同様の動作を行なうが、符号化ブロック分割情報の符号化は行わず、量子化変換係数を符号化する点が異なる。
【００４３】
ループフィルタデータシンタクス符号化部１１０２は、図３に示すループフィルタデータシンタクス符号化部３０２とほぼ同様の動作を行なうが、フィルタ係数情報とフィルタ適用情報とに加え、符号化ブロック分割情報も含めて一連の符号化データとして符号化する点が異なる。その際、符号化ブロック分割情報は符号化ブロックデータシンタクス中に付加する必要はないため、オーバヘッドとしては著しく変化することはない。
【００４４】
なお、本実施例ではスライスヘッダーシンタクスとループフィルタデータシンタクスとを異なるものとして説明したが、ループフィルタデータシンタクスの一部または全部がスライスヘッダーシンタクスに含まれていてもよい。  
さらに、上述したようにループフィルタの適用はスライス単位での切り替えもでき、スライス単位のフィルタ適用情報はスライスヘッダーシンタクス６０５に格納される。このとき、スライスに対してループフィルタが適用されると判定された場合は、ループフィルタデータシンタクス６０６がスライスレベルシンタクス６０４に格納される。  
また、スライスとは独立した単位でループフィルタを制御してもよい。これをループフィルタスライスと呼ぶ。１つのスライスに複数のループフィルタスライスが含まれる場合、ループフィルタスライスの数だけループフィルタデータシンタクス６０６が生成される。さらに、ループフィルタスライスが複数のスライスにまたがって存在する等、スライス単位では処理しきれないような場合にはループフィルタデータシンタクス６０６はピクチャパラメータセットシンタクス６０３等のハイレベルシンタクス６０１に含まれていてもよい。  
画像を構成するコンポーネントが複数存在する場合、コンポーネントごとにシンタクスが生成されてもよく、また２つ以上のコンポーネントに対して共通のシンタクスが生成されてもよい。
【００４５】
（復号装置）  
次に、動画像符号化装置に対応する動画像復号装置について図１２を参照して詳細に説明する。
【００４６】
本実施形態に係る動画像復号装置１２００は、エントロピー復号部１２０１、フィルタ情報バッファ１２０２、逆量子化及び逆変換部１２０３、加算部１２０４、ループフィルタ処理部１２０５及び予測画像生成部１２０６を含む。また、動画像復号装置１２００は、復号制御部１２０７によって全体の動作を制御される。逆量子化及び逆変換部１２０３、加算部１２０４及び予測画像生成部１２０６の動作については、本実施形態に係る動画像符号化装置１００に含まれる対応する部と同様の動作を行うためここでの説明は省略する。
【００４７】
エントロピー復号部１２０１は、図６に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、符号化ブロックレベルシンタクスのそれぞれについて、順次符号化データの各シンタクスの符号列を復号し、量子化変換係数、フィルタ係数情報とフィルタ適用情報、符号化ブロック分割情報等を復号する。
【００４８】
フィルタ情報バッファ１２０２は、エントロピー復号部１２０１から復号されたフィルタ係数情報とフィルタ適用情報とを受け取って格納する。
【００４９】
ループフィルタ処理部１２０５は、本実施形態に係るループフィルタ処理部１０７とほぼ同様の動作を行ない、エントロピー復号部１２０１から符号化ブロック分割情報を、加算部１２０４から復号画像を、フィルタ情報バッファ１２０２からフィルタ係数情報とフィルタ適用情報とをそれぞれ受け取る。ループフィルタ処理部１２０７はその後、フィルタ適用情報に基づいて復号画像の特定の領域に対してフィルタ係数情報により示されるフィルタを適用し、フィルタ適用後の画像を復元画像として生成する。また、復元画像は、出力画像として外部に出力される。また、復元画像は、予測画像生成部１２０６によって予測画像を生成する際に参照される。
【００５０】
復号制御部１２０７は、符号化ブロック分割の制御または復号タイミングの制御等、復号全体の制御を行なう。
【００５１】
次に、エントロピー復号部１２０１について図１３を参照して説明する。  
エントロピー復号部１２０１は、符号化ブロックレベルシンタクス復号部１３０１及びループフィルタデータシンタクス復号部１３０２を含む。  
符号化ブロックレベルシンタクス復号部１３０１は、符号化データから符号化ブロックレベルシンタクスに相当する符号列を受け取って復号処理を行ない、量子化変換係数及び符号化ブロック分割情報を復号する。  
ループフィルタデータシンタクス復号部１３０２は、符号化データからループフィルタデータシンタクスに相当する符号列を受け取って復号処理を行ない、フィルタ係数情報とフィルタ適用情報とを復号する。
【００５２】
次に、動画像復号装置１２００の動作について説明する。なお、ここでは、ループフィルタデータシンタクスが図８、図９Ａ及び図９Ｂのシンタクス構造に従っている場合について説明する。  
動画像復号装置１２００に符号化データが入力されると、エントロピー復号部１２０１によって、符号化データのループフィルタデータシンタクスに相当する符号列がループフィルタデータシンタクス復号部１３０２に入力されて図６のシンタクス構造に従った復号処理が行われる。得られたフィルタ係数情報とフィルタ適用情報とは、フィルタ情報バッファ１２０２に格納される。  
次に、符号化データの符号化ブロックレベルシンタクスに相当する符号列が符号化ブロックレベルシンタクス復号部１３０１に入力されて復号処理が行なわれ、変換係数及び符号化ブロック分割情報に加え、予測モード情報、動き情報、符号化ブロック分割情報、量子化パラメータ等が図６のシンタクス構造に従って復号される。得られた符号化ブロック分割情報は、復号制御部１２０７が復号処理において符号化ブロック分割制御を行なう際に利用される。その後、逆量子化及び逆変換部１２０３が、エントロピー復号部１２０１によって復号された変換係数を受け取って、復号制御部１２０７によって設定されている量子化パラメータに従って逆量子化され、得られた変換係数に対して逆変換（例えば、離散コサイン変換）を行ない、予測誤差画像を生成する。次に、加算部１２０４は、逆量子化及び逆変換部１２０３から予測誤差画像と、予測画像生成部１２０６から予測画像とをそれぞれ受け取って加算し、復号画像を生成する。
【００５３】
上述の符号化ブロックレベルシンタクスの復号に関する一連の処理は、予測処理と変換処理とを行なういわゆるハイブリッド符号化と呼ばれる動画像符号化における一般的な復号処理であるため、ここでの詳細な説明は省略する。
【００５４】
続いて、ループフィルタ処理部１２０５は、加算部１２０４から復号画像を、フィルタ情報バッファ１２０２からフィルタ係数情報とフィルタ適用情報とを、エントロピー復号部１２０１から符号化ブロック分割情報をそれぞれ受け取り、復号画像に対してフィルタ処理を行なう。このとき、ループフィルタ処理部１２０５は、符号化ブロック分割情報とフィルタ適用情報との対応付けを行なうことによりフィルタを適用する領域を判定することが可能となる。具体的には、図８、図９Ａ及び図９Ｂのシンタクス構造に示されるｍａｘ＿ｆｉｌｔｅｒｉｎｇ＿ｌａｙｅｒと符号化ブロックの分割形状とからフィルタ適用判定領域を求め、各フィルタ適用判定領域に対してｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを対応付けることで、復号側では符号化側で設定したブロックに対してフィルタを適用することができる。ループフィルタを適用する領域については、フィルタ適用後の画素値を復元画像の画素値とする。一方、ループフィルタを適用しない領域については、復号画像における同一位置の画素値を復元画像の画素値とする。復元画像は、出力画像として出力されると共に、予測画像生成部において必要に応じて参照される。
【００５５】
なお、ここではループフィルタデータシンタクスが図８、図９Ａ及び図９Ｂのシンタクス構造に従う場合について説明したが、図１０のシンタクス構造に従っていてもよい。
【００５６】
図１０のシンタクス構造に従うエントロピー復号部の例について図１４を参照して説明する。  
図１４に示すエントロピー復号部１４００は、図１３に示すエントロピー復号部１２０１と同じ構成であるが、ループフィルタデータシンタクスに相当する符号列がループフィルタデータシンタクス復号部１４０２に入力されて復号処理が行なわれたときに、フィルタ係数情報とフィルタ適用情報とに加えて符号化ブロック分割情報を復号する点が異なる。よって、ループフィルタデータシンタクス復号部１４０２で復号された符号化ブロック分割情報は、上述した用途に加え、符号化ブロックレベルシンタクス復号部１４０１が符号化ブロックレベルシンタクスに相当する符号列を復号する際に用いることができる。
【００５７】
以上に示した本実施形態によれば、フィルタ適用情報を符号化ブロックの符号化データ中に多重化せずに、一連の符号化データとしてフィルタ適用情報をまとめて符号化して結合することで、符号化ブロックの符号化データにおけるフィルタ適用情報の位置を記憶して書き換える処理を行なう必要がない。よって、ループフィルタデータシンタクスにまとめて符号化するだけでよく、符号化の処理が簡便になり処理量を削減することができる。また、動画像符号化装置で符号化された符号化データに関して、フィルタ適用情報をバッファに格納し、符号化ブロックレベルシンタクスの復号を行いながら符号化ブロック分割情報を復号してフィルタ適用情報との対応付けを行なうことで、符号化側で設定した領域に対してフィルタを適用することができ、動画像を復号することができる。
【００５８】
（本実施形態の変形例）  
なお、本実施形態に係る動画像符号化装置１００及び動画像復号装置１２００では、符号化側では局所復号画像、復号側では復号画像に対してフィルタ処理を行なっているが、局所復号画像及び復号画像は、従来のデブロッキングフィルタ処理を施した後の画像を用いてもよい。
【００５９】
デブロッキングフィルタ処理を施す場合の動画像符号化装置及び動画像復号装置の一例を図１５及び図１６をそれぞれ参照して詳細に説明する。  
図１５は動画像符号化装置１５００を示し、図１に示す動画像符号化装置１００に加えて、デブロッキングフィルタ処理部１５０１を含む点が図１に示す動画像符号化装置１００と異なる。  
同様に、図１６は動画像復号装置１６００を示し、図１２に示す動画像復号装置１２００に加えて、デブロッキングフィルタ処理部１５０１を含む点が図１２に示す動画像復号装置１２００と異なる。  
デブロッキングフィルタ処理部１５０１は、加算部１０５（１２０４）から復号画像を受け取り、復号画像についてデブロッキングフィルタ処理を行い、デブロック処理された復号画像を生成する。このように、デブロック処理された復号画像を用いてループフィルタ処理を行なうことで予測画像の劣化を防ぐことができる。
【００６０】
また、本実施形態に係る動画像符号化装置１００及び動画像復号装置１２００では、符号化側及び復号側の両方でループフィルタを用いたが、復号画像にフィルタを適用し、出力画像についてフィルタを適用しない場合でも動画像符号化方法及び復号方法を用いることができる。  
この場合の動画像復号装置について図１７を参照して説明する。  
動画像復号装置１７００は、加算部１２０４からの復号画像をそのまま出力画像として出力する点が、図１２に示す動画像復号装置１２００と異なる。なお、動画像符号化装置に関しては、図１の動画像符号化装置をそのまま利用することができる。
【００６１】
さらに、本実施形態に係る動画像符号化装置１００及び動画像復号装置１２００をポストフィルタとして用いてもよい。  
ポストフィルタとして用いる場合の動画像符号化装置および動画像復号装置を図１８及び図１９に示す。  
動画像符号化装置１８００は、図１の動画像符号化装置１００におけるループフィルタ処理部１０７を取り除き、予測画像生成部１８０１に復号画像を入力することで実現される。また、動画像復号装置１９００は、予測画像生成部１９０１に加算部１２０４からの復号画像を入力することで実現される。
【００６２】
よって、本変形例によっても本実施形態と同様の効果を得ることができる。
【００６３】
また、上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した動画像符号化装置及び復号装置による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ等）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の動画像符号化装置及び復号装置と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。  
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。  
さらに、本開示における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。  
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本開示における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００６４】
なお、本開示におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。  
また、本開示の実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本開示の実施形態における機能を実現することが可能な機器、装置を総称している。
【００６５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００６６】
１００，１５００，１８００・・・動画像符号化装置、１０１，１２０６，１８０１，１９０１・・・予測画像生成部、１０２・・・減算部、１０３・・・変換及び量子化部、１０４，１２０３・・・逆量子化及び逆変換部、１０５，１２０４・・・加算部、１０６・・・ループフィルタ情報生成部、１０７，１２０５・・・ループフィルタ処理部、１０８，１１００・・・エントロピー符号化部、１０９・・・符号化制御部、２０１・・・フィルタ係数情報生成部、２０２・・・フィルタ適用情報生成部、３０１，１１０１・・・符号化ブロックレベルシンタクス符号化部、３０２，１１０２・・・ループフィルタデータシンタクス符号化部、４０１・・・符号化ブロック、４０２・・・模式図、６０１・・・ハイレベルシンタクス、６０２・・・シーケンスパラメータセットシンタクス、６０３・・・ピクチャパラメータセットシンタクス、６０４・・・スライスレベルシンタクス、６０５・・・スライスヘッダーシンタクス、６０６・・・ループフィルタデータシンタクス、６０７・・・符号化ブロックレベルシンタクス、６０８・・・符号化ブロックレイヤーシンタクス、６０９・・・符号化ブロックプレディクションシンタクス、１２００，１６００，１７００，１９００・・・動画像復号装置、１２０１，１４００・・・エントロピー復号部、１２０２・・・フィルタ情報バッファ、１２０７・・・復号制御部、１３０１，１４０１・・・符号化ブロックレベルシンタクス復号部、１３０２，１４０２・・・ループフィルタデータシンタクス復号部、１５０１・・・デブロッキングフィルタ処理部。
【図１】
2011161823.tif 000003
【図２】
2011161823.tif 000004
【図３】
2011161823.tif 000005
【図４】
2011161823.tif 000006
【図５】
2011161823.tif 000007
【図６】
2011161823.tif 000008
【図７】
2011161823.tif 000009
【図８】
2011161823.tif 000010
【図９Ａ】
2011161823.tif 000011
【図９Ｂ】
2011161823.tif 000012
【図１０】
2011161823.tif 000013
【図１１】
2011161823.tif 000014
【図１２】
2011161823.tif 000015
【図１３】
2011161823.tif 000016
【図１４】
2011161823.tif 000017
【図１５】
2011161823.tif 000018
【図１６】
2011161823.tif 000019
【図１７】
2011161823.tif 000020
【図１８】
2011161823.tif 000021
【図１９】
2011161823.tif 000022
【手続補正書】
【提出日】平成24年1月25日(2012.1.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成し、
該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成し、
該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成し、
符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成し、
前記フィルタ係数情報と前記フィルタ適用情報とを第１符号化データとして、前記量子化変換係数情報と前記ブロック分割情報とを第２符号化データとして、それぞれ別々に符号化し、
前記第１符号化データと前記第２符号化データとを結合し、
前記符号化することは、フィルタ処理を行う符号化ブロック数を示す値を前記フィルタ適用情報の先頭に付加して符号化する動画像符号化方法。
【請求項２】
前記値は、画像サイズと、符号化ブロックの最大サイズと、符号化ブロックの最小サイズと、前記符号化ブロックにフィルタを適用するか否かを判定する単位となる画素領域であるフィルタ適用判定領域の最大サイズと、前記フィルタ適用判定領域の最小サイズとのうちの少なくとも１つを用いて決定される符号化方法にて符号化される請求項１に記載の動画像符号化方法。
【請求項３】
（削除）
【請求項４】
前記結合することは、前記第１符号化データを前記第２符号化データの前に結合する請求項１に記載の動画像符号化方法。
【請求項５】
複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成し、
該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成し、
該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成し、
符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成し、
前記フィルタ係数情報と前記フィルタ適用情報とを第１符号化データとして、前記量子化変換係数情報と前記ブロック分割情報とを第２符号化データとして、それぞれ別々に符号化し、
前記第１符号化データと前記第２符号化データとを結合し、
前記符号化することは、前記フィルタ適用情報の終端を規定する終端コードを、フィルタ適用情報の終端に付加して符号化する動画像符号化方法。
【請求項６】
複数の画素信号を含む入力画像と該入力画像の予測画像との差分を示す予測誤差画像を変換及び量子化して量子化変換係数情報を生成し、
該量子化変換係数情報を逆量子化及び逆変換して局所復号画像を生成し、
該局所復号画像中の画素領域について適用するフィルタのフィルタ係数を示すフィルタ係数情報を生成し、
符号化の対象となる入力画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報に基づいて、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報を１以上の符号化ブロックを含む処理単位ごとに生成し、
前記フィルタ係数情報と前記フィルタ適用情報と前記ブロック分割情報とを第１符号化データとして、前記量子化変換係数情報を第２符号化データとして、それぞれ別々に符号化し、
前記第１符号化データと前記第２符号化データとを結合し、
前記第１符号化データは、前記第２符号化データの前に結合され、前記ブロック分割情報は、前記フィルタ適用情報の前に付加されて符号化される動画像符号化方法。
【請求項７】
フィルタのフィルタ係数を示すフィルタ係数情報と、符号化の対象となる画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報と、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報と、量子化変換係数情報とを含んで符号化された符号化データを復号し、前記フィルタ係数情報、前記フィルタ適用情報、前記ブロック分割情報および前記量子化変換係数情報を得、
前記量子化変換係数情報を逆量子化して逆変換した予測誤差画像と画像の予測画像とを加算した復号画像について、前記符号化ブロック分割情報と前記フィルタ適用情報とを対応付けて、フィルタが適用される復号画像の領域に前記フィルタ係数情報により表されるフィルタを適用して復元画像を生成し、
前記復号することは、フィルタ処理を行なうべきブロック数を示す値が前記フィルタ適用情報の先頭に付加された符号化データを復号し、該値に応じた数のフィルタ適用情報を特定する動画像復号方法。
【請求項８】
前記値は、画像サイズと、符号化ブロックの最大サイズと、符号化ブロックの最小サイズと、前記符号化ブロックにフィルタを適用するか否かを判定する単位となる画素領域であるフィルタ適用判定領域の最大サイズと、前記フィルタ適用判定領域の最小サイズとのうちの少なくとも１つを用いて決定される復号方法にて復号される請求項７に記載の動画像復号方法。
【請求項９】
（削除）
【請求項１０】
前記復号することは、前記フィルタ係数情報と前記フィルタ適用情報とを符号化した第１符号化データが、前記量子化変換係数情報と前記符号化ブロック分割情報とを符号化した第２符号化データよりも前に付加された符号化データを復号する請求項７に記載の動画像復号方法。
【請求項１１】
フィルタのフィルタ係数を示すフィルタ係数情報と、符号化の対象となる画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報と、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報と、量子化変換係数情報とを含んで符号化された符号化データを復号し、前記フィルタ係数情報、前記フィルタ適用情報、前記ブロック分割情報および前記量子化変換係数情報を得、
前記量子化変換係数情報を逆量子化して逆変換した予測誤差画像と画像の予測画像とを加算した復号画像について、前記符号化ブロック分割情報と前記フィルタ適用情報とを対応付けて、フィルタが適用される復号画像の領域に前記フィルタ係数情報により表されるフィルタを適用して復元画像を生成し、
前記復号することは、前記フィルタ適用情報の終端を規定する終端コードがフィルタ適用情報の終端に付加された符号化データを復号して、該フィルタ適用情報の終端を特定する動画像復号方法。
【請求項１２】
フィルタのフィルタ係数を示すフィルタ係数情報と、符号化の対象となる画像中の画素領域を示す符号化ブロックがどのように分割されているかを示すブロック分割情報と、フィルタ処理を前記符号化ブロックに適用するかどうかを示すフィルタ適用情報と、量子化変換係数情報とを含んで符号化された符号化データを復号し、前記フィルタ係数情報、前記フィルタ適用情報、前記ブロック分割情報および前記量子化変換係数情報を得、
前記量子化変換係数情報を逆量子化して逆変換した予測誤差画像と画像の予測画像とを加算した復号画像について、前記符号化ブロック分割情報と前記フィルタ適用情報とを対応付けて、フィルタが適用される復号画像の領域に前記フィルタ係数情報により表されるフィルタを適用して復元画像を生成し、
前記復号することは、前記ブロック分割情報が前記フィルタ適用情報の先頭に付加された符号化データを復号して、該フィルタ適用情報の数を特定する動画像復号方法。
【国際調査報告】
2011161823.tif 000023
2011161823.tif 000024