(57)【要約】【課題】局所的に発生する予測誤差を低減して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。【解決手段】イントラ予測部４が、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、そのフィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を減算部６に出力するように構成している。【選択図】図１
2013098713.tif 000002
【特許請求の範囲】
【請求項１】
符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、入力画像を上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりイントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記イントラ予測手段は、予め用意された１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化装置。
【請求項２】
ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりインター符号化モードが選択された場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックとイントラ予測手段又は上記動き補償予測手段により生成された予測画像との差分画像を生成することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
画像圧縮手段は、上記符号化制御手段により決定された変換ブロックサイズ単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータを用いて、上記差分画像の変換係数を量子化することで、量子化後の変換係数を上記差分画像の圧縮データとして出力し、
可変長符号化手段は、上記画像圧縮手段から出力された圧縮データ及び上記符号化制御手段により選択された符号化モードを可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータと、量子化パラメータ及び変換ブロックサイズとを可変長符号化して、上記圧縮データ、上記符号化モード、上記イントラ予測パラメータ又は上記インター予測パラメータ、上記量子化パラメータ及び上記変換ブロックサイズの符号化データが多重化されたビットストリームを生成することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
イントラ予測手段は、イントラ予測を行うブロックのサイズ、符号化制御手段により決定された量子化パラメータ、予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離、及び上記符号化制御手段により決定されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項３記載の動画像符号化装置。
【請求項５】
イントラ予測を行うブロックのサイズ、符号化制御手段により決定された量子化パラメータ、予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離、及び上記符号化制御手段により決定されたイントラ予測パラメータの中で、フィルタを選択する際に考慮する組み合わせ毎に、フィルタ処理に用いるフィルタを示すフィルタ選択用のテーブルが用意されており、
イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記イントラ予測手段は、予め用意された１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成された予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号装置。
【請求項７】
可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項６記載の動画像復号装置。
【請求項８】
可変長復号手段は、ビットストリームに多重化された符号化データから各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、量子化パラメータ及び変換ブロックサイズを可変長復号し、
差分画像生成手段は、上記可変長復号手段により可変長復号された符号化ブロックに係る量子化パラメータを用いて、当該符号化ブロックに係る圧縮データを逆量子化し、上記変換ブロックサイズ単位で、逆量子化後の圧縮データの逆変換処理を実施することで、圧縮前の差分画像を生成することを特徴とする請求項７記載の動画像復号装置。
【請求項９】
イントラ予測手段は、イントラ予測を行うブロックのサイズ、可変長復号手段により可変長復号された量子化パラメータ、予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離、及び上記可変長復号手段により可変長復号されたイントラ予測パラメータの中で、少なくとも１つ以上を考慮して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項８記載の動画像復号装置。
【請求項１０】
イントラ予測を行うブロックのサイズ、可変長復号手段により可変長復号された量子化パラメータ、予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離、及び上記可変長復号手段により可変長復号されたイントラ予測パラメータの中で、フィルタを選択する際に考慮する組み合わせ毎に、フィルタ処理に用いるフィルタを示すフィルタ選択用のテーブルが用意されており、
イントラ予測手段は、上記テーブルを参照して、フィルタ処理に用いるフィルタを選択することを特徴とする請求項９記載の動画像復号装置。
【請求項１１】
符号化制御手段が、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、入力画像を上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、イントラ予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでイントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記イントラ予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ及び上記符号化制御処理ステップで選択された符号化モードを可変長符号化して、上記圧縮データ及び上記符号化モードの符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記イントラ予測処理ステップでは、予め用意された１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記差分画像生成手段に出力することを特徴とする動画像符号化方法。
【請求項１２】
可変長復号手段が、ビットストリームに多重化された符号化データから階層的に分割された各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、イントラ予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記イントラ予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップとを備え、
上記イントラ予測処理ステップでは、予め用意された１以上のフィルタの中から所定のフィルタを選択し、上記フィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を上記復号画像生成手段に出力することを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）や「ＩＴＵ−Ｔ  Ｈ．２６ｘ」などの国際標準映像符号化方式では、入力映像フレームを矩形のブロック（符号化ブロック）に分割し、その符号化ブロックに対して、符号化済みの画像信号を用いる予測処理を実施することで予測画像を生成し、その符号化ブロックと予測画像の差分である予測誤差信号をブロック単位に直交変換や量子化処理を行うことで、情報圧縮を行うようにしている。
【０００３】
例えば、国際標準方式であるＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４（ＩＳＯ／ＩＥＣ  １４４９６−１０｜ＩＴＵ−Ｔ  Ｈ．２６４）では、符号化済みの近傍画素からのイントラ予測処理又は近接フレーム間での動き補償予測処理を行っている（例えば、非特許文献１を参照）。
ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４において、輝度のイントラ予測モードでは、ブロック単位に、複数の予測モードの中から１つの予測モードを選択することができる。
図１６は輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
図１６では、ブロック内の白丸が符号化対象の画素を表し、黒丸は予測に用いる画素である符号化済みの画素を表している。輝度のブロックサイズが４×４画素の場合には、モード０からモード８の９つのイントラ予測モードが規定されている。
【０００４】
図１６において、モード２は平均値予測を行うモードであり、ブロックの上と左の隣接画素の平均値で、ブロック内の画素を予測するものである。
モード２以外のモードは方向性予測を行うモードである。モード０は垂直方向予測であり、ブロックの上の隣接画素を垂直方向に繰り返すことで予測画像を生成するものである。例えば、縦縞模様のときにはモード０が選択される。
モード１は水平方向予測であり、ブロックの左の隣接画素を水平方向に繰り返すことで予測画像を生成するものである。例えば、横縞模様のときにはモード１が選択される。
モード３からモード８は、ブロックの上又は左の符号化済みの画素を用いて、所定の方向（矢印が示す方向）に補間画素を生成して予測画像を生成するものである。
【０００５】
ここで、イントラ予測を適用する輝度のブロックサイズは、４×４画素、８×８画素、１６×１６画素の中から選択することができ、８×８画素の場合には、４×４画素と同様に、９つのイントラ予測モードが規定されている。ただし、予測に用いる画素については、符号化済みの画素そのものではなく、これらの画素に対してフィルタ処理を施したものを用いている。
これに対し、１６×１６画素の場合には、平均値予測、垂直方向予測及び水平方向予測に係るイントラ予測モードに加えて、Ｐｌａｎｅ予測と呼ばれる４つのイントラ予測モードが規定されている。
Ｐｌａｎｅ予測に係るイントラ予測モードは、ブロックの上と左の符号化済みの隣接画素を斜め方向に内挿補間して生成された画素を予測値とするモードである。
【０００６】
方向性予測を行うイントラ予測モードは、例えば、４５度など、モードによって予め定められた方向で予測値を生成するため、ブロック内のオブジェクトの境界（エッジ）の方向が、予測モードが示す方向と一致する場合、予測効率が高くなって符号量を削減することができる。
しかし、エッジの方向と予測モードが示す方向との間に僅かにずれが生じていたり、方向が一致していても符号化対象ブロック内のエッジが僅かに歪んで（揺らぐ、曲がる等）いたりすると、局所的に大きな予測誤差が発生してしまい、予測効率が極端に低下することがある。
このような予測効率の低下を防ぐために、８×８画素の方向性予測では、符号化済みの隣接画素に対して平滑化処理を施したものを用いて予測処理を行うことで、平滑化された予測画像を生成し、予測方向の僅かなずれや、エッジに僅かな歪みが生じている場合に発生する予測誤差を低減させている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】ＭＰＥＧ−４  ＡＶＣ（ＩＳＯ／ＩＥＣ  １４４９６−１０）／ＩＴＵ−Ｔ  Ｈ．２６４規格
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像符号化装置は以上のように構成されているので、平滑化された予測画像を生成すれば、予測方向の僅かなずれや、エッジに僅かな歪みが生じても、発生する予測誤差を低減することができる。しかし、非特許文献１では、８×８画素のブロック以外には平滑化処理を実施しておらず、８×８画素のブロックにおいても一通りの平滑化処理だけである。
実際には、８×８画素以外のサイズのブロックでも同様に、予測画像と符号化対象画像の絵柄が似ていても、エッジの僅かなミスマッチによって、局所的に大きな予測誤差が発生して、予測効率の大幅な低下が生じることがある課題があった。
また、同一サイズのブロックにおいても、予測モードが異なると、ブロック内で予測誤差が発生し易い箇所や、予測誤差を低減するのに適している処理が異なるにもかかわらず、一通りの平滑化処理しか用意されていないため、予測誤差を十分に低減することができないことがある課題があった。
【０００９】
特に、図１６におけるモード３やモード７のような方向性予測（右上から左下方向の方向性予測）では、予測に用いるブロックの上の隣接画素からの距離が離れるブロックの左端の画素の予測信号と、隣接する符号化済み画素信号との間で不連続となり易く、ブロックの境界で歪みが発生してしまうことがある課題があった。ブロックの境界での歪みは、モード８のように、左下から右上方向の方向性予測におけるブロックの上端のブロック境界でも生じる。
さらに、平均値予測による予測を行う場合には、ブロック内の予測値を全てブロックに隣接する画素の平均値とするため、ブロック境界に位置する画素の予測信号が周囲の符号化済み画素信号に対して不連続な信号となり易いため、ブロックの境界部分に歪みが発生しやすいという課題があった。
【００１０】
この発明は上記のような課題を解決するためになされたもので、局所的に発生する予測誤差を低減して、画像品質を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る動画像符号化装置は、イントラ予測手段が、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、そのフィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を差分画像生成手段に出力するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、イントラ予測手段が、予め用意されている１以上のフィルタの中から所定のフィルタを選択し、そのフィルタを用いて、フレーム内予測処理を実施して生成している予測画像のブロック境界に対するフィルタ処理を実施し、フィルタ処理後の予測画像を差分画像生成手段に出力するように構成したので、局所的に発生する予測誤差を低減して、画像品質を高めることができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【図５】最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
【図６】（ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を示す説明図である。
【図７】符号化ブロックＢｎ内の各予測ブロックＰｉｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図８】ｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図９】イントラ方向性予測に対するフィルタ処理の参照画素配置を示す説明図である。
【図１０】ｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素と参照画素との距離の関係を示す説明図である。
【図１１】ｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素におけるフィルタ係数ａ０，ａ１の変化を示す説明図である。
【図１２】予測ブロックＰｉｎ内の左上画素を原点とする相対座標を示す説明図である。
【図１３】平均値予測に対するフィルタ処理を行う際のブロック内の画素の分類を示す説明図である。
【図１４】平均値予測に対するフィルタ処理の参照画素配置を示す説明図である。
【図１５】イントラ予測モードインデックスと予測ブロックサイズの組み合わせ毎に、どのフィルタを使用するかを決めるテーブルの一例を示す説明図である。
【図１６】輝度のブロックサイズが４×４画素の場合のイントラ予測モードを示す説明図である。
【発明を実施するための形態】
【００１４】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、ブロック分割部１は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１は入力画像を符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。
【００１５】
符号化制御部２は予測処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（１以上のイントラ符号化モード、１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部２は符号化制御手段を構成している。
【００１６】
切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００１７】
イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部４は、上記のイントラ予測画像を生成した後、予め用意されている１以上のフィルタの中から、動画像復号装置により上記イントラ予測画像と同一のイントラ予測画像が生成される時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像のブロック境界に対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像を減算部６及び加算部９に出力する。
なお、イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。
【００１８】
具体的には、各種パラメータとして、次の４個のパラメータがあり、４個のパラメータの中の少なくとも１つ以上のパラメータの状態に応じてフィルタが一意に決定される。
・パラメータ（１）
上記の予測画像のブロックサイズ
・パラメータ（２）
符号化制御部２により決定された量子化パラメータ
・パラメータ（３）
予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離
・パラメータ（４）
符号化制御部２により決定されたイントラ予測パラメータ
【００１９】
動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部５及び動き補償予測フレームメモリ１２から動き補償予測手段が構成されている。
【００２０】
減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータを参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。なお、変換・量子化部７は画像圧縮手段を構成している。
【００２１】
逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータを参照して、変換・量子化部７から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
【００２２】
イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１２はフィルタ処理後の局所復号画像を格納する記録媒体である。
【００２３】
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。なお、可変長符号化部１３は可変長符号化手段を構成している。
【００２４】
図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【００２５】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームから圧縮データ、ブロック分割情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。
【００２６】
逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部３１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。なお、逆量子化・逆変換部３２は差分画像生成手段を構成している。
【００２７】
切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
【００２８】
イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）に係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
ただし、イントラ予測部３４は上記のイントラ予測画像を生成した後、予め用意されている１以上のフィルタの中から、そのイントラ予測画像を生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像のブロック境界に対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像を加算部３６に出力する。
なお、イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。
【００２９】
具体的には、各種パラメータとして、次の４個のパラメータがあり、４個のパラメータの中の少なくとも１つ以上のパラメータの状態に応じてフィルタが一意に決定される。
ただし、使用するパラメータは、予め、図１の動画像符号化装置と同一のパラメータに決められている。即ち、動画像符号化装置側でイントラ予測部４がパラメータ（３）及び（４）を用いてフィルタ処理を行う場合、動画像復号装置側も同様に、イントラ予測部３４がパラメータ（３）及び（４）を用いてフィルタ処理を行うように、動画像符号化装置及び動画像復号装置で使用するパラメータが統一されている。
・パラメータ（１）
上記の予測画像のブロックサイズ
・パラメータ（２）
可変長復号部３１により可変長復号された量子化パラメータ
・パラメータ（３）
予測画像を生成する際に用いる参照画素とフィルタ処理対象画素の距離
・パラメータ（４）
可変長復号部３１により可変長復号されたイントラ予測パラメータ
【００３０】
動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
なお、動き補償部３５及び動き補償予測フレームメモリ３９から動き補償予測手段が構成されている。
【００３１】
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部３６は復号画像生成手段を構成している。
【００３２】
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ３９はフィルタ処理後の復号画像を格納する記録媒体である。
【００３３】
図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【００３４】
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００３５】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００３６】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【００３７】
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【００３８】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
【００３９】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００４０】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）の符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
【００４１】
また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【００４２】
ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００４３】
また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロックサイズを決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
【００４４】
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
【００４５】
ブロック分割部１は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【００４６】
ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌｎ＝Ｍｎのケースを示している。
【００４７】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
【００４８】
以降、第ｎ階層の符号化ブロックをＢｎで表し、符号化ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００４９】
符号化ブロックＢｎは、図６に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢｎに属する予測ブロックをＰｉｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ００とＰ１０の例を示している。
符号化ブロックＢｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
予測ブロックＰｉｎは、全て符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、予測ブロックＰｉｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
【００５０】
符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００５１】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢｎを動き補償予測部５に出力する。
【００５２】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像ＰＩＮＴＲＡｉｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。
【００５３】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、その符号化ブロックＢｎ内の各予測ブロックＰｉｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像ＰＩＮＴＥＲｉｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００５４】
減算部６は、ブロック分割部１から符号化ブロックＢｎを受けると、その符号化ブロックＢｎ内の予測ブロックＰｉｎから、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【００５５】
変換・量子化部７は、減算部６から予測差分信号ｅｉｎを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅｉｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。
【００５６】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部８は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅｉｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
【００５７】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【００５８】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
なお、ループフィルタ部１１によるフィルタ処理は、入力される局所復号画像の最大符号化ブロックあるいは個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は２種類以上行ってもよい。
ただし、映像信号が示す入力画像と局所復号画像との間の誤差が最小となるように局所復号画像の歪みを補償するフィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように図１の動画像符号化装置を変更する必要がある。
【００５９】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
【００６０】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
【００６１】
次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢｎ内の各予測ブロックＰｉｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、ＮＩはイントラ予測モード数を表す。
図７では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００６２】
イントラ予測部４は、上述したように、予測ブロックＰｉｎのイントラ予測パラメータを参照して、その予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成するが、ここでは、輝度信号における予測ブロックＰｉｎのイントラ予測信号を生成するイントラ処理について説明する。
【００６３】
予測ブロックＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
図８はｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰｉｎの上の符号化済みの画素（２×ｌｉｎ＋１）個と、左の符号化済みの画素（２×ｍｉｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰｉｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
【００６４】
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値が２（平均値予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素の平均値を予測ブロックＰｉｎ内の画素の予測値として予測画像を生成する。
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値がＮＩ−１（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰｉｎ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
イントラ予測モードのインデックス値が２（平均値予測）とＮＩ−１（平面予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰｉｎ内の画素の予測値を生成する。
図１２に示すように、予測ブロックＰｉｎの左上画素を原点として、予測ブロックＰｉｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
2013098713.tif 000003
【００６５】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
【００６６】
そして、上記の手順によって生成された予測ブロックＰｉｎ内の予測値で構成される予測画像を中間予測画像と定義し、その中間予測画像に対して後述するフィルタ処理を行うことで、最終的なイントラ予測画像Ｐｉｎを取得し、そのイントラ予測画像Ｐｉｎを減算部６及び加算部９に出力する。
また、イントラ予測画像Ｐｉｎの生成に用いられたイントラ予測パラメータは、ビットストリームに多重化するために可変長符号化部１３に出力する。
【００６７】
以下、具体的なフィルタ処理について説明する。
予め用意されている少なくとも一つ以上のフィルタの中から、使用するフィルタを後述する手法で選択し、中間予測画像の各画素に対して、下記の式（２）に従ってフィルタ処理を行う。
2013098713.tif 000004
【００６８】
式（２）において、ａｎ（ｎ＝０，１，・・・，Ｎ）は、参照画素にかかる係数（ａ０，ａ１，・・・，ａＮ−１）とオフセット係数ａＮから構成されるフィルタ係数である。
ｐｎ（ｎ＝０，１，・・・，Ｎ−１）は、フィルタ処理対象画素ｐ０を含むフィルタの参照画素を表している。Ｎは任意の参照画素数である。
ｓ（ｐｎ）は各参照画素の輝度値、ｓハット（ｐ０）はフィルタ処理対象画素ｐ０におけるフィルタ処理後の輝度値を示している。
ただし、フィルタ係数はオフセット係数ａＮがないものとして構成してもよい。また、予測ブロックＰｉｎ内にある各参照画素の輝度値ｓ（ｐｎ）については、中間予測画像の各画素の輝度値としてもよいし、フィルタ処理済み画素位置のみフィルタ処理後の輝度値とするようにしてもよい。
【００６９】
予測ブロックＰｉｎの外となる各参照画素の輝度値ｓ（ｐｎ）については、符号化済み領域ならば、符号化後の輝度値（復号される輝度値）、まだ符号化が行われていない領域ならば、上記で定義した予測ブロックＰｉｎ内にある各参照画素の輝度値ｓ（ｐｎ）及び符号化済み領域の符号化後の輝度値の中から、所定の手順で代用する信号値を選択する（例えば、候補となる画素の中で、最も近い位置にある信号値を選択する）。
【００７０】
上記のフィルタ処理を行う際、下記の４つのパラメータ（１）〜（４）を考慮して、フィルタを選択するように構成する。
（１）予測ブロックＰｉｎのサイズ（ｌｉｎ×ｍｉｎ）
（２）予測誤差符号化パラメータに含まれている量子化パラメータ
（３）中間予測画像の生成時に使用する参照画素（図８に示す“参照画素”）とフィルタ処理対象画素との距離
（４）中間予測画像を生成した際のイントラ予測モードのインデックス値
【００７１】
上記のパラメータの組み合わせのそれぞれに対して、予め用意したフィルタ群の中から適切なフィルタの対応付けをしておくことで、上記のパラメータに応じたフィルタの適応選択を実現することができる。
このとき、あるパラメータの組み合わせに対して“フィルタ処理なし”と対応付けてフィルタ処理を実施しないケースを用意してもよい。
また、４つのパラメータ（１）〜（４）は、動画像復号装置側でも既知のパラメータであることから、上記のフィルタ処理を行うために必要な符号化すべき付加情報は一切発生しない。
なお、上記の説明では、必要な数のフィルタを予め用意して適応選択することで、フィルタの切り替えを行っているが、上記フィルタ選択パラメータの値に応じてフィルタが算出されるようにフィルタを上記フィルタ選択パラメータの関数として定義することで、フィルタの切り替えを実現するようにしてもよい。
【００７２】
上記の説明では、４つのパラメータ（１）〜（４）を考慮して、フィルタを選択するように構成するものを示したが、４つのパラメータ（１）〜（４）のうち、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成してもよい。
以下、パラメータ（３），（４）を用いた場合について具体的に説明する。
【００７３】
一般に、中間予測画像の生成に用いる予測ブロックＰｉｎに隣接する符号化済み画素（図８に示す“予測に用いる画素”）から遠い画素程、中間予測画像と入力画像との間にエッジ等のずれが生じ易い。
特に、図７におけるイントラ予測モードのインデックス値が４，２５，１３，２４，７，２３，１２，２２となる右上から左下方向の方向性予測では、ブロックの左端の画素と隣接する符号化済み画素との間で不連続になり易く、ブロックの境界に歪みが発生してしまう場合が多い。
同様に、図７におけるイントラ予測モードのインデックス値が５，３３，１７，３２，９，３１，１６，３０となる左下から右上方向の方向性予測でも、ブロックの上端の境界に歪みが発生し易い。
【００７４】
したがって、この実施の形態１では、「（３）中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離」が予測方向に沿って最も離れる画素（右上から左下方向の方向性予測でのブロックの左端の画素、左下から右上方向の方向性予測でのブロックの上端の画素）に対して、「（４）中間予測画像を生成した際のイントラ予測モードのインデックス値」に応じたフィルタ処理を行うことで、予測ブロックの境界に発生する歪みを低減させるようにする。
【００７５】
図９はフィルタ処理の参照画素配置を示す説明図である。
図９では、イントラ予測モードのインデックス値が４，２５，１３，２４，７，２３，１２，２２となる予測モードをグループ（１）、イントラ予測モードのインデックス値が５，３３，１７，３２，９，３１，１６，３０となる予測モードをグループ（２）に分類し、フィルタ処理対象画素ｐ０と参照画素ｐ１との間の垂直方向（グループ（１））または水平方向（グループ（２））の画素のずれをｄで表している。
図９の例では、ｄ＝３を表している。そして、図９のフィルタ処理対象画素ｐ０に対し、参照画素数Ｎを２、オフセット係数ａＮは無効として、式（２）にしたがったフィルタ処理を行う。
【００７６】
上記より、フィルタ処理対象画素ｐ０毎や予測モード毎にパラメータｄや、フィルタ係数ａ０，ａ１の画素配置を適応的に切り替えることで、予測画像の歪みを高精度に補償するフィルタ処理を実現することができる。
【００７７】
下記のフィルタ係数ａ０，ａ１は一例である。
ａ０＝３／４，ａ１＝１／４
予測方向に沿った参照画素ｐ１を用いた平滑化フィルタ処理を行うことで、予測方向への画素値の連続性が向上し、ブロック境界の歪みを軽減することができる。
パラメータｄの一例は下記の通りである。
ｄ＝１：
図７のインデックス値が４，５，２５，３３，１３，１７の予測モード
ｄ＝２：
図７のインデックス値が２４，３２，７，９の予測モード
ｄ＝３：
図７のインデックス値が２３，３１の予測モード
ｄ＝６：
図７のインデックス値が１２，１６の予測モード
ｄ＝１６：
図７のインデックス値が２２，３０の予測モード
【００７８】
一般にパラメータｄを予測方向になるべく沿うように実数精度で与えることで高精度なフィルタ処理を実現することができるが、ｄが整数でないときに周囲の符号化済み画素からｄの位置にある仮想画素を生成する処理が必要となるため、演算処理の簡易化を目的に上記例ではｄを整数値に近似している。このようにすることで仮想画素を生成する処理は発生しない。また、一般的に画素間が離れるほど相関が低くなることを考慮し、整数値近似する際にｄが小さい値を取りやすいように、上記例での整数値近似には四捨五入を用いず五捨六入を用いている（六捨七入、七捨八入でも近似結果は同じとなる）。ただし、整数値近似の手法は、この限りではない。
【００７９】
上記のフィルタ処理において、一般的に画素間が離れるほど相関が低くなることを考慮してｄの値が一定値以上となるイントラ予測モードでは、フィルタ処理を行なわないようにしてもよい。
このようにすることで、フィルタ処理を行う予測モードを限定することができ、フィルタ処理による演算負荷の増加を軽減することができる。グループ（１）、（２）の方向性予測において、簡易化した場合の一例は下記の通りである。
ｄ＝１：
図７のインデックス値が４，５，２５，３３，１３，１７の予測モード
ｄ＝２：
図７のインデックス値が２４，３２，７，９の予測モード
フィルタ処理なし：
図７のインデックス値が２３，３１，１２，１６，２２，３０の予測モード
【００８０】
また、上記のフィルタ処理では、予測モードによってパラメータｄの異なるフィルタ処理を行うため、予測モードによるフィルタの切り替え処理が必要となる。したがって、フィルタ処理を行う予測モードに対して一律に同じｄの値のフィルタ処理を行うようにしてもよい。
このようにすることで、フィルタ処理の性能は下がるが、用意するフィルタはｄの値が固定化された１種類のフィルタだけで済み、簡易なフィルタ処理を実現することができる。グループ（１）、（２）の方向性予測において、ｄ＝１に固定した場合の一例は下記の通りである。
ｄ＝１：
図７のインデックス値が４，５，２５，３３，１３，１７，２４，３２，７，９の
予測モード
フィルタ処理なし：
図７のインデックス値が２３，３１，１２，１６，２２，３０の予測モード
【００８１】
なお、これまでに述べたフィルタ処理は、ブロックの境界に隣接する画素のみフィルタ処理するようにしているが、ブロックの境界に隣接する画素以外のブロック境界周辺の予測ブロック内の画素も隣接ブロックの画素を用いたフィルタ処理を行うようにしてもよい。このようにすることで、予測ブロック境界に隣接する画素だけでなくその境界周辺の画素も隣接ブロックとの相関を高めることができる。
【００８２】
また、図１０に示すようにフィルタ処理を行う画素毎に「（３）中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離」が異なる。
したがって、この距離が遠い画素程、ブロック境界の歪みが発生し易いため、図１１に示すように、フィルタ係数ａ０，ａ１を画素位置によって変更するようにしてもよい。
グループ（１）の方向性予測に対するフィルタ処理の一例は下記の通りである。ただし、座標（ｘ，ｙ）は図１２の通りとし、グループ（２）については下記の式（３）（４）のｙをｘに置き替えた式で表される。
2013098713.tif 000005
【００８３】
上記のグループ（１），（２）の方向性予測と同様に、イントラ予測モードのインデックス値が２で表される平均値予測による予測を行う場合には、ブロック内の予測値を全てブロックに隣接する画素の平均値とするため、ブロック境界に位置する画素の予測信号が周囲の符号化済み画素に対して不連続な信号になり易く、ブロックの境界部分に歪みが発生し易い。
【００８４】
そこで、図１３に示す領域毎に下記のフィルタ処理を行う。ただし、下記のフィルタの参照画素配置は図１４の通りである。
・領域Ａ（予測ブロックＰｉｎの左上の画素）
ａ０＝１／２，ａ１＝１／４，ａ２＝１／４（参照画素数Ｎ＝３）
・領域Ｂ（領域Ａ以外の予測ブロックＰｉｎの上端の画素）
ａ０＝３／４，ａ２＝１／４（参照画素数Ｎ＝２）
・領域Ｃ（領域Ａ以外の予測ブロックＰｉｎの左端の画素）
ａ０＝３／４，ａ１＝１／４（参照画素数Ｎ＝２）
・領域Ｄ（領域Ａ、Ｂ，Ｃ以外の予測ブロックＰｉｎの画素）
フィルタ処理なし
【００８５】
また、イントラ予測モードのインデックス値がＮＩ−１で表される平面予測においても平均値予測と同じフィルタ処理を行ってもよい。このようにすることで、平面予測を行ったブロックの境界が平滑化されて連続性を高めることができる。
【００８６】
処理の簡易化のため、上記のグループ（１），（２）の方向性予測や、平均値予測、平面予測におけるフィルタ処理を行うブロックサイズを限定するようにしてもよい。
さらに、限定するブロックサイズは予測モード毎に定めてもよい。その場合、予測モードとブロックサイズに基づいたテーブルを参照する形でフィルタ処理を切り替えるようにしてもよい。
【００８７】
図１５はイントラ予測モードインデックスと予測ブロックサイズの組み合わせ毎に、どのフィルタを使用するかを決めるテーブルの一例を示す説明図である。
図１５において、“０”がフィルタ処理なし、“１”がｄ＝１，ａ０＝３／４，ａ１＝１／８とする方向性予測へのフィルタ処理、“２”がｄ＝２，ａ０＝３／４，ａ１＝１／８とする方向性予測へのフィルタ処理、“３”が上述した平均値予測及び平面予測におけるフィルタ処理とする。
このように、パラメータ（３），（４）だけでなく、パラメータ「（１）予測ブロックＰｉｎのサイズ（ｌｉｎ×ｍｉｎ）」も考慮したフィルタ処理を行うことで、フィルタ処理を行うケースを抑えて処理負荷を軽減することができる。
ただし、フィルタ処理の実装の形態としては、テーブル参照によって対応するフィルタインデックスのフィルタを選択する形で実装されているものに限るものではなく、予測ブロックＰｉｎのサイズ及び予測モードのインデックス毎に実行するフィルタ処理が直接実装されている形態でもよい。
このように、テーブルを参照する形でなくても、フィルタ処理を行った結果得られる予測画像が等価であれば、実装の形態は問わない。
【００８８】
また、ブロックサイズを制限しない場合においても、予測モードに基づいたテーブル参照によるフィルタ処理を構成してもよいし、予測モード毎に実行するフィルタ処理が直接実装されている形態でもよい。
このように、テーブルを参照する形でなくても、フィルタ処理を行った結果得られる予測画像が等価であれば、実装の形態は問わない。
【００８９】
さらに、一般的に量子化パラメータが大きい（量子化ステップサイズが大きい）ほど、符号化済み画像に量子化誤差が生じ易いため、グループ（１）の方向性予測における予測ブロックの左端でのブロック歪みや、グループ（２）の方向性予測における予測ブロックの上端でのブロック歪みが発生し易くなる。
したがって、上述したフィルタ処理について、「（２）予測誤差符号化パラメータに含まれている量子化パラメータ」を考慮して量子化パラメータが大きいほど、フィルタ係数ａ０の値を小さくして、フィルタ係数ａ１の値を大きくするようにしてもよい。
このようにすることで、ブロック歪みが生じ易い量子化パラメータが大きい場合においても、ブロック歪みを効率的に低減することができる。
【００９０】
なお、先に説明したＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４において、予測ブロックＰｉｎの中間予測画像を生成する際の参照画素を、予測ブロックＰｉｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
【００９１】
上述した処理によって、予測ブロックＰｉｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像ＰＩＮＴＲＡｉｎを出力する。
なお、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００９２】
予測ブロックＰｉｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号のイントラ予測については、上記で説明したフィルタ処理を、輝度信号と同様に行うものとして構成してもよいし、行わないものとして構成してもよい。
さらに、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。
【００９３】
次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
【００９４】
可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でビットストリームに多重化されている場合には、ビットストリームから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【００９５】
次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
【００９６】
即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
【００９７】
さらに、可変長復号部３１は、復号ブロックを予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数の変換ブロックに分割し、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
【００９８】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【００９９】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モード（ｍ（Ｂｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ２６）。
即ち、イントラ予測部３４は、上記のイントラ予測画像ＰＩＮＴＲＡｉｎを生成後、図１のイントラ予測部４と同一の手法で、予め用意されている１以上のフィルタの中から、そのイントラ予測画像ＰＩＮＴＲＡｉｎを生成した時点で既知である各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、そのイントラ予測画像ＰＩＮＴＲＡｉｎに対するフィルタ処理を実施して、フィルタ処理後のイントラ予測画像ＰＩＮＴＲＡｉｎを最終的なイントラ予測画像としている。
即ち、イントラ予測部４におけるフィルタ選択に使用するパラメータと同一のパラメータを用いて、イントラ予測部４におけるフィルタ選択手法と同一の手法でフィルタを選択し、フィルタ処理を行う。
【０１００】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モード（ｍ（Ｂｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ２７）。
【０１０１】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
【０１０２】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部３５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【０１０３】
ループフィルタ部３８は、全ての復号ブロックＢｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
なお、ループフィルタ部３８によるフィルタ処理は、入力される復号画像の最大復号ブロックあるいは個々の復号ブロック単位で行ってもよいし、１ピクチャ分の復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタ処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。これらフィルタ処理は２種類以上行ってもよく、ループフィルタ部１１と同じフィルタ処理を行う。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【０１０４】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置のイントラ予測部４がフレーム内の符号化済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの符号化に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測ブロックＰｉｎの境界に対するフィルタ処理を実施するように構成したので、予測ブロックＰｉｎの境界に発生する歪みを低減して、画像品質を高めることができる効果を奏する。
【０１０５】
また、この実施の形態１によれば、イントラ予測部４が、（１）パーティションＰｉｎのサイズ（ｌｉｎ×ｍｉｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測や平均値予測、平面予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、予測効率を改善することができる効果を奏する。
【０１０６】
この実施の形態１によれば、動画像復号装置のイントラ予測部３４がフレーム内の復号済みの画像信号を用いて、フレーム内予測処理を実施することでイントラ予測画像を生成する際、予め用意されている１以上のフィルタの中から、フィルタ処理対象ブロックの復号に係る各種パラメータの状態に応じてフィルタを選択し、そのフィルタを用いて、予測画像に対するフィルタ処理を実施するように構成したので、フィルタ処理対象ブロックの境界に発生する歪みを低減して、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
【０１０７】
また、この実施の形態１によれば、イントラ予測部３４が、（１）パーティションＰｉｎのサイズ（ｌｉｎ×ｍｉｎ）、（２）予測誤差符号化パラメータに含まれている量子化パラメータ、（３）中間予測画像の生成時に使用する参照画素とフィルタ処理対象画素との距離、（４）中間予測画像を生成した際のイントラ予測モードのインデックス値の中で、少なくとも１つ以上のパラメータを考慮して、フィルタを選択するように構成したので、方向性予測や平均値予測、平面予測を行った際に隣接する符号化済み信号との連続性が失われることによって生じるブロックの境界部分の予測誤差を抑制する効果が得られ、動画像符号化装置側で生成されたイントラ予測画像と同一のイントラ予測画像を動画像復号装置側でも生成することができる効果を奏する。
【０１０８】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【０１０９】
１  ブロック分割部（ブロック分割手段）、２  符号化制御部（符号化制御手段）、３  切換スイッチ、４  イントラ予測部（イントラ予測手段）、５  動き補償予測部（動き補償予測手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部、９  加算部、１０  イントラ予測用メモリ（イントラ予測手段）、１１  ループフィルタ部、１２  動き補償予測フレームメモリ（動き補償予測手段）、１３  可変長符号化部（可変長符号化手段）、３１  可変長復号部（可変長復号手段）、３２  逆量子化・逆変換部（差分画像生成手段）、３３  切換スイッチ、３４  イントラ予測部（イントラ予測手段）、３５  動き補償部（動き補償予測手段）、３６  加算部（復号画像生成手段）、３７  イントラ予測用メモリ（イントラ予測手段）、３８  ループフィルタ部、３９  動き補償予測フレームメモリ（動き補償予測手段）。
【図１】
2013098713.tif 000006
【図２】
2013098713.tif 000007
【図３】
2013098713.tif 000008
【図４】
2013098713.tif 000009
【図５】
2013098713.tif 000010
【図６】
2013098713.tif 000011
【図７】
2013098713.tif 000012
【図８】
2013098713.tif 000013
【図９】
2013098713.tif 000014
【図１０】
2013098713.tif 000015
【図１１】
2013098713.tif 000016
【図１２】
2013098713.tif 000017
【図１３】
2013098713.tif 000018
【図１４】
2013098713.tif 000019
【図１５】
2013098713.tif 000020
【図１６】
2013098713.tif 000021