(57)【要約】【課題】同一のパラメータの再符号化を不要にして、符号化効率を高めることができるようにする。【解決手段】可変長符号化部１３が、適応パラメータセットを可変長符号化する際、ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行う。【選択図】図１
2015080002.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を複数の部分画像であるスライスに分割するスライス分割手段と、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記スライス分割手段により分割されたスライスを上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データから差分画像を復号し、復号後の差分画像と上記動き補償予測手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、上記局所復号画像生成手段により生成された局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記参照画像として上記動き補償予測手段に出力するフィルタリング手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード、上記画像圧縮手段により変換係数が量子化される際に用いられる量子化マトリクスを表す生成する量子化マトリクスパラメータ及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタパラメータから成る適応パラメータセット、上記スライス分割手段によるスライスの分割情報を含む各スライスのヘッダ情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記適応パラメータセット、上記ヘッダ情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長符号化手段は、上記適応パラメータセットを可変長符号化する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行うことを特徴とする動画像符号化装置。
【請求項２】
適応パラメータセットが備えるフラグとして、変換処理に係る直交変換のサイズ又は画像の色信号毎に、量子化マトリクスが存在しているか否かを示すフラグを備えていることを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
フィルタリング手段は、符号化ブロック単位に局所復号画像生成手段により生成された局所復号画像のクラス分けを実施するとともに、各クラスに属する局所復号画像毎に、重畳されている歪みを補償するフィルタを設計し、上記フィルタを用いて、当該局所復号画像のフィルタ処理を実施する適応フィルタ処理から構成されており、
適応パラメータセットが備えるフラグとして、クラス毎にフィルタが存在しているか否かを示すフラグを備えていることを特徴とする請求項１記載の動画像符号化装置。
【請求項４】
入力画像を複数の部分画像であるスライスに分割するスライス分割手段と、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御手段と、上記スライス分割手段により分割されたスライスを上記符号化制御手段により決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御手段により決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割手段と、上記ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、上記符号化制御手段によりインター符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段と、上記ブロック分割手段により分割された符号化ブロックと上記動き補償予測手段により生成された予測画像との差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮手段と、上記画像圧縮手段から出力された圧縮データから差分画像を復号し、復号後の差分画像と上記動き補償予測手段により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成手段と、上記局所復号画像生成手段により生成された局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記参照画像として上記動き補償予測手段に出力するフィルタリング手段と、上記画像圧縮手段から出力された圧縮データ、上記符号化制御手段により選択された符号化モード、上記画像圧縮手段により変換係数が量子化される際に用いられる量子化マトリクスを表す量子化マトリクスパラメータ及び上記フィルタリング手段によりフィルタ処理が実施される際に用いられるフィルタパラメータから成る適応パラメータセット、上記スライス分割手段によるスライスの分割情報を含む各スライスのヘッダ情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記適応パラメータセット、上記ヘッダ情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長符号化手段は、上記適応パラメータセットを可変長符号化する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスと、上記適応パラメータセットの更新情報とを保持している場合、上記更新情報にしたがって上記インデックスに対応する適応パラメータセットを更新し、更新後の適応パラメータセットを上記スライス内で使用する適応パラメータセットとすることを特徴とする動画像符号化装置。
【請求項５】
適応パラメータセットの更新情報は、量子化マトリクスパラメータ及びフィルタパラメータが当該セット内に存在しているか否かを示すフラグであることを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
適応パラメータセットが備えるフラグ及び上記適応パラメータセットの更新情報は、変換処理に係る直交変換のサイズ又は画像の色信号毎に、量子化マトリクスが存在しているか否かを示すフラグであることを特徴とする請求項４記載の動画像符号化装置。
【請求項７】
フィルタリング手段は、符号化ブロック単位に局所復号画像生成手段により生成された局所復号画像のクラス分けを実施するとともに、各クラスに属する局所復号画像毎に、重畳されている歪みを補償するフィルタを設計し、上記フィルタを用いて、当該局所復号画像のフィルタ処理を実施する適応フィルタ処理から構成されており、
適応パラメータセットが備えるフラグ及び上記適応パラメータセットの更新情報は、クラス毎にフィルタが存在しているか否かを示すフラグであることを特徴とする請求項４記載の動画像符号化装置。
【請求項８】
ブロック分割手段により分割された符号化ブロックに対応する符号化モードとして、符号化制御手段によりイントラ符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を設け、
差分画像生成手段は、上記ブロック分割手段により分割された符号化ブロックと上記イントラ予測手段又は動き補償予測手段により生成された予測画像との差分画像を生成し、
局所復号画像生成手段は、復号後の差分画像と上記イントラ予測手段又は上記動き補償予測手段により生成された予測画像を加算して局所復号画像を生成し、
フィルタリング手段は、上記局所復号手段により生成された局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を参照画像として上記動き補償予測手段に出力することを特徴とする請求項１から請求項７のうちのいずれか１項記載の動画像符号化装置。
【請求項９】
符号化制御手段は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられるイントラ予測パラメータ又はインター予測パラメータを当該符号化ブロックの予測ブロック毎に決定し、
イントラ予測手段は、上記符号化制御手段により決定されたイントラ予測パラメータを用いて、フレーム内予測処理を実施し、
動き補償予測手段は、上記符号化制御手段により決定されたインター予測パラメータを用いて、動き補償予測処理を実施し、
画像圧縮手段は、上記符号化制御手段により決定された変換ブロック単位で、差分画像生成手段により生成された差分画像の変換処理を実施するとともに、上記符号化制御手段により決定された量子化パラメータ及び量子化マトリクスパラメータを用いて、上記差分画像の変換係数を量子化して量子化後の変換係数を上記差分画像の圧縮データとして出力し、
可変長符号化手段は、上記圧縮データ、符号化モード、上記量子化マトリクスパラメータとフィルタパラメータから成る適応パラメータセット、各スライスのヘッダ情報を可変長符号化する際、上記符号化制御手段により決定されたイントラ予測パラメータ又はインター予測パラメータ及び変換ブロック分割情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記適応パラメータセット、上記ヘッダ情報、上記イントラ予測パラメータ又は上記インター予測パラメータ及び上記変換ブロック分割情報の符号化データが多重化されたビットストリームを生成することを特徴とする請求項８記載の動画像符号化装置。
【請求項１０】
ビットストリームに多重化された符号化データから各スライスのヘッダ情報、量子化マトリクスパラメータ及びフィルタパラメータから成る適応パラメータセットを可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに応じて予測処理を実施して予測画像を生成する予測手段と、上記可変長復号手段により可変長復号された量子化パラメータ及び適応パラメータセット内の量子化マトリクスパラメータを用いて、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段により生成された復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を再生画像として出力するフィルタリング手段とを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長復号手段は、上記適応パラメータセットを可変長復号する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行うことを特徴とする動画像復号装置。
【請求項１１】
適応パラメータセットが備えるフラグとして、逆変換処理に係る逆直交変換のサイズ又は画像の色信号毎に、量子化マトリクスが存在しているか否かを示すフラグを備えていることを特徴とする請求項１０記載の動画像復号装置。
【請求項１２】
フィルタリング手段は、符号化ブロック単位に復号画像生成手段により生成された復号画像のクラス分けを実施するとともに、可変長復号手段により可変長復号された適応パラメータセット内のフィルタパラメータを参照して、各クラスに属する復号画像のフィルタを特定し、上記フィルタを用いて、上記復号画像に重畳されている歪みを補償するフィルタ処理を実施する適応フィルタ処理から構成されており、
上記適応パラメータセットが備えるフラグとして、クラス毎にフィルタが存在しているか否かを示すフラグを備えていることを特徴とする請求項１０記載の動画像復号装置。
【請求項１３】
ビットストリームに多重化された符号化データから各スライスのヘッダ情報、量子化マトリクスパラメータ及びフィルタパラメータから成る適応パラメータセットを可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号手段と、上記可変長復号手段により可変長復号された符号化ブロックに係る符号化モードに応じて予測処理を行う予測手段と、上記可変長復号手段により可変長復号された量子化パラメータ及び適応パラメータセット内の量子化マトリクスパラメータを用いて、上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成手段と、上記差分画像生成手段により生成された差分画像と上記予測手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段と、上記復号画像生成手段により生成された復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を再生画像として出力するフィルタリング手段とを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長復号手段は、上記適応パラメータセットを可変長復号する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスと、上記適応パラメータセットの更新情報とを保持している場合、上記更新情報にしたがって上記インデックスに対応する適応パラメータセットを更新し、更新後の適応パラメータセットを上記スライス内で使用する適応パラメータセットとすることを特徴とする動画像復号装置。
【請求項１４】
適応パラメータセットの更新情報は、量子化マトリクスパラメータ及びフィルタパラメータが当該セット内に存在しているか否かを示すフラグであることを特徴とする請求項１３記載の動画像復号装置。
【請求項１５】
適応パラメータセットが備えるフラグ及び上記適応パラメータセットの更新情報は、逆変換処理に係る逆直交変換のサイズ又は画像の色信号毎に、量子化マトリクスが存在しているか否かを示すフラグであることを特徴とする請求項１３記載の動画像復号装置。
【請求項１６】
フィルタリング手段は、符号化ブロック単位に復号画像生成手段により生成された復号画像のクラス分けを実施するとともに、可変長復号手段により可変長復号された適応パラメータセット内のフィルタパラメータを参照して、各クラスに属する復号画像のフィルタを特定し、上記フィルタを用いて、上記復号画像に重畳されている歪みを補償するフィルタ処理を実施する適応フィルタ処理から構成されており、
上記適応パラメータセットが備えるフラグ及び上記適応パラメータセットの更新情報は、クラス毎にフィルタが存在しているか否かを示すフラグであることを特徴とする請求項１３記載の動画像復号装置。
【請求項１７】
可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがイントラ符号化モードである場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、上記イントラ符号化モードに対応するフレーム内予測処理を実施して予測画像を生成するイントラ予測手段を設け、
復号画像生成手段は、差分画像生成手段により生成された差分画像と上記イントラ予測手段により生成された予測画像とを加算して復号画像を生成することを特徴とする請求項１０から請求項１６のうちのいずれか１項記載の動画像復号装置。
【請求項１８】
可変長復号手段により可変長復号された符号化ブロックに係る符号化モードがインター符号化モードである場合、符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測手段を設け、
復号画像生成手段は、差分画像生成手段により生成された差分画像とイントラ予測手段又は上記動き補償予測手段により生成された予測画像とを加算して復号画像を生成し、
フィルタリング手段は、上記復号画像生成手段により得られた復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を参照画像として上記動き補償予測手段に出力することを特徴とする請求項１７記載の動画像復号装置。
【請求項１９】
可変長復号手段は、ビットストリームに多重化された符号化データから圧縮データ、符号化モード、適応パラメータセットを可変長復号する際、イントラ予測パラメータ又はインター予測パラメータ及び変換ブロック分割情報を可変長復号し、
イントラ予測手段は、上記可変長復号手段により可変長復号されたイントラ予測パラメータを用いて、フレーム内予測処理を実施し、
動き補償予測手段は、上記可変長復号手段により可変長復号されたインター予測パラメータを用いて、動き補償予測処理を実施し、
差分画像生成手段は、上記可変長復号手段により可変長復号された変換ブロック分割情報から得られる変換ブロック単位で、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成することを特徴とする請求項１８記載の動画像復号装置。
【請求項２０】
スライス分割手段が、入力画像を複数の部分画像であるスライスに分割するスライス分割処理ステップと、符号化制御手段が、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、上記スライス分割処理ステップで分割されたスライスを上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでインター符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮処理ステップと、局所復号画像生成手段が、上記画像圧縮処理ステップで出力された圧縮データから差分画像を復号し、復号後の差分画像と上記動き補償予測処理ステップで生成された予測画像を加算して局所復号画像を生成する局所復号画像生成処理ステップと、フィルタリング手段が、上記局所復号画像生成処理ステップで生成された局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記参照画像として上記動き補償予測手段に出力するフィルタリング処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード、上記画像圧縮処理ステップで変換係数が量子化される際に用いられる量子化マトリクスを表す量子化マトリクスパラメータ及び上記フィルタリング処理ステップでフィルタ処理が実施される際に用いられるフィルタパラメータから成る適応パラメータセット、上記スライスの分割情報を含む各スライスのヘッダ情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記適応パラメータセット、上記ヘッダ情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長符号化処理ステップは、上記適応パラメータセットを可変長符号化する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行うことを特徴とする動画像符号化方法。
【請求項２１】
スライス分割手段が、入力画像を複数の部分画像であるスライスに分割するスライス分割処理ステップと、符号化制御手段が、符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定し、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する符号化制御処理ステップと、ブロック分割手段が、上記スライス分割処理ステップで分割されたスライスを上記符号化制御処理ステップで決定された最大サイズの符号化ブロックに分割するとともに、上記符号化制御処理ステップで決定された上限の階層数に至るまで、上記符号化ブロックを階層的に分割するブロック分割処理ステップと、動き補償予測手段が、上記ブロック分割処理ステップで分割された符号化ブロックに対応する符号化モードとして、上記符号化制御処理ステップでインター符号化モードが選択された場合、上記符号化ブロックの予測処理を行う際の予測処理単位となる予測ブロック毎に、参照画像を用いて、当該予測ブロックに対する動き補償予測処理を実施して予測画像を生成する動き補償予測処理ステップと、差分画像生成手段が、上記ブロック分割処理ステップで分割された符号化ブロックと上記動き補償予測処理ステップで生成された予測画像との差分画像を生成する差分画像生成処理ステップと、画像圧縮手段が、上記差分画像生成処理ステップで生成された差分画像の変換処理を実施して、上記差分画像の変換係数を量子化し、量子化後の変換係数を圧縮データとして出力する画像圧縮処理ステップと、局所復号画像生成手段が、上記画像圧縮処理ステップで出力された圧縮データから差分画像を復号し、復号後の差分画像と上記動き補償予測処理ステップで生成された予測画像を加算して局所復号画像を生成する局所復号画像生成処理ステップと、フィルタリング手段が、上記局所復号画像生成処理ステップで生成された局所復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の局所復号画像を上記参照画像として上記動き補償予測手段に出力するフィルタリング処理ステップと、可変長符号化手段が、上記画像圧縮処理ステップで出力された圧縮データ、上記符号化制御処理ステップで選択された符号化モード、上記画像圧縮処理ステップで変換係数が量子化される際に用いられる量子化マトリクスを表す量子化マトリクスパラメータ及び上記フィルタリング処理ステップでフィルタ処理が実施される際に用いられるフィルタパラメータから成る適応パラメータセット、上記スライスの分割情報を含む各スライスのヘッダ情報を可変長符号化して、上記圧縮データ、上記符号化モード、上記適応パラメータセット、上記ヘッダ情報の符号化データが多重化されたビットストリームを生成する可変長符号化処理ステップとを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長符号化処理ステップは、上記適応パラメータセットを可変長符号化する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスと、上記適応パラメータセットの更新情報とを保持している場合、上記更新情報にしたがって上記インデックスに対応する適応パラメータセットを更新し、更新後の適応パラメータセットを上記スライス内で使用する適応パラメータセットとすることを特徴とする動画像符号化方法。
【請求項２２】
可変長復号手段が、ビットストリームに多重化された符号化データから各スライスのヘッダ情報、量子化マトリクスパラメータ及びフィルタパラメータから成る適応パラメータセットを可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに応じて予測処理を実施して予測画像を生成する予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された量子化パラメータ及び適応パラメータセット内の量子化マトリクスパラメータを用いて、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、フィルタリング手段が、上記復号画像生成処理ステップで生成された復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を再生画像として出力するフィルタリング処理ステップとを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長復号処理ステップは、上記適応パラメータセットを可変長復号する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行うことを特徴とする動画像復号方法。
【請求項２３】
可変長復号手段が、ビットストリームに多重化された符号化データから各スライスのヘッダ情報、量子化マトリクスパラメータ及びフィルタパラメータから成る適応パラメータセットを可変長復号し、上記符号化データから階層的に分割されている各々の符号化ブロックに係る圧縮データ及び符号化モードを可変長復号する可変長復号処理ステップと、予測手段が、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る符号化モードに応じて予測処理を実施して予測画像を生成する予測処理ステップと、差分画像生成手段が、上記可変長復号処理ステップで可変長復号された量子化パラメータ及び適応パラメータセット内の量子化マトリクスパラメータを用いて、上記可変長復号処理ステップで可変長復号された符号化ブロックに係る圧縮データである変換係数を逆量子化し、逆量子化後の変換係数を逆変換して、圧縮前の差分画像を生成する差分画像生成処理ステップと、復号画像生成手段が、上記差分画像生成処理ステップで生成された差分画像と上記予測処理ステップで生成された予測画像とを加算して復号画像を生成する復号画像生成処理ステップと、フィルタリング手段が、上記復号画像生成処理ステップで生成された復号画像に重畳されている歪みを補償するフィルタ処理を実施し、フィルタ処理後の復号画像を再生画像として出力するフィルタリング処理ステップとを備え、
上記適応パラメータセットには、上記量子化マトリクスパラメータ及び上記フィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、
上記可変長復号処理ステップは、上記適応パラメータセットを可変長復号する際、上記ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスと、上記適応パラメータセットの更新情報とを保持している場合、上記更新情報にしたがって上記インデックスに対応する適応パラメータセットを更新し、更新後の適応パラメータセットを上記スライス内で使用する適応パラメータセットとすることを特徴とする動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
従来、ＭＰＥＧやＩＴＵ−Ｔ  Ｈ．２６ｘ等の国際標準映像符号化方式では、入力映像フレームを、１６×１６画素ブロックからなるマクロブロックの単位に分割して、動き補償予測を実施した後、予測誤差信号をブロック単位に直交変換・量子化することによって情報圧縮を行うようにしている。
ただし、圧縮率が高くなると、動き補償予測を実施する際に用いる予測参照画像の品質が低下することに起因して、圧縮効率が妨げられる問題がある。
そのため、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４の符号化方式（非特許文献１を参照）では、ループ内デブロッキングフィルタの処理を実施することで、直交変換係数の量子化に伴って発生する予測参照画像のブロック歪みを除去するようにしている。
【０００３】
ここで、図１５は非特許文献１に開示されている画像符号化装置を示す構成図である。
この画像符号化装置では、ブロック分割部１０１が符号化対象の画像信号を入力すると、その画像信号をマクロブロック単位に分割し、マクロブロック単位の画像信号を分割画像信号として予測部１０２に出力する。
予測部１０２は、ブロック分割部１０１から分割画像信号を受けると、マクロブロック内の各色成分の画像信号をフレーム内又はフレーム間で予測して、予測誤差信号を算出する。
【０００４】
特に、フレーム間で動き補償予測を実施する場合、マクロブロック自体、または、マクロブロックをさらに細かく分割したサブブロックの単位で動きベクトルを探索する。
そして、その動きベクトルを用いて、メモリ１０７により格納されている参照画像信号に対する動き補償予測を実施することで動き補償予測画像を生成し、その動き補償予測画像を示す予測信号と分割画像信号の差分を求めることで予測誤差信号を算出する。
また、予測部１０２は、予測信号を得る際に決定した予測信号生成用パラメータを可変長符号化部１０８に出力する。
なお、予測信号生成用パラメータには、例えば、フレーム内での空間予測をどのように行うかを示すイントラ予測モードや、フレーム間の動き量を示す動きベクトル等の情報が含まれる。
【０００５】
圧縮部１０３は、予測部１０２から予測誤差信号を受けると、その予測誤差信号に対するＤＣＴ（離散コサイン変換）処理を実施することで信号相関を除去した後、量子化することで圧縮データを得る。
局所復号部１０４は、圧縮部１０３から圧縮データを受けると、その圧縮データを逆量子化して、逆ＤＣＴ処理を実施することで、予測部１０２から出力された予測誤差信号に相当する予測誤差信号を算出する。
【０００６】
加算器１０５は、局所復号部１０４から予測誤差信号を受けると、その予測誤差信号と予測部１０２から出力された予測信号を加算して、局所復号画像を生成する。
ループフィルタ１０６は、加算器１０５により生成された局所復号画像を示す局所復号画像信号に重畳されているブロック歪みを除去し、歪み除去後の局所復号画像信号を参照画像信号としてメモリ１０７に格納する。
【０００７】
可変長符号化部１０８は、圧縮部１０３から圧縮データを受けると、その圧縮データをエントロピー符号化し、その符号化結果であるビットストリームを出力する。
なお、可変長符号化部１０８は、ビットストリームを出力する際、予測部１０２から出力された予測信号生成用パラメータをビットストリームに多重化して出力する。
【０００８】
ここで、非特許文献１に開示されている方式では、ループフィルタ１０６が、ＤＣＴのブロック境界の周辺画素に対して、量子化の粗さ、符号化モード、動きベクトルのばらつき度合い等の情報に基づいて平滑化強度を決定して、ブロック境界に発生する歪みの低減を図っている。
これによって、参照画像信号の品質が改善され、以降の符号化における動き補償予測の効率を高めることができる。
【０００９】
一方、非特許文献１に開示されている方式では、高圧縮率で符号化する程、信号の高周波成分が失われてしまい、画面全体が過度に平滑化されて映像がぼやけてしまうという問題がある。
この問題を解決するために、特許文献１には、ループフィルタ１０６としてウィーナフィルタ（Ｗｉｅｎｅｒ  Ｆｉｌｔｅｒ）を適用し、原画像信号である符号化対象の画像信号と、その画像信号に対応する参照画像信号との二乗誤差歪みが最小化するように、ループフィルタ１０６を構成する技術が提案されている。
【００１０】
その他にも、非特許文献２には、ループフィルタ１０６として、画像の局所的特性に応じて、原画像信号である符号化対象の画像信号と、その画像信号に対応する参照画像信号との二乗誤差歪みを最小化するように各画素の輝度値にオフセット値を加算する適応オフセット処理（画素適応オフセット処理）が提案されている。
【００１１】
このようにループフィルタでのフィルタ処理は様々な手法が提案されており、非特許文献３では、上記で述べた画素単位に適応的にオフセットを加算する（画素適応オフセット）処理や、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理を行う上で、符号化が必要なパラメータを符号化データのヘッダ情報として、１つのパラメータセットにまとめている。このパラメータセットを「適応パラメータセット」と称する。
【００１２】
また、非特許文献３では、上記の２種類のループフィルタ処理に必要なパラメータに加えて、非特許文献１にも存在する各変換係数の量子化ステップサイズをスケーリングする量子化マトリクスも適応パラメータセットのパラメータとして定義している。
さらに、適応パラメータセットは、上記の３つのパラメータがそれぞれ存在するか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を備えている。
したがって、適応パラメータセットは、３種類のパラメータ（画素適応オフセット処理のパラメータ、適応フィルタ処理のパラメータ、量子化マトリクス）の全てを持つ必要はなく、少なくとも１つを持てばよいことになる。
【００１３】
そして、非特許文献３では、図１６に例示するように、符号化ストリームが構成され、ピクチャデータを構成するスライスデータのヘッダ（スライスレベルヘッダ）に、スライス内で参照する適応パラメータセットの数と、その数分の適応パラメータセットインデックス（ａｐｓ＿ｉｄ）を符号化するようにしている。
ただし、スライスデータは、符号化処理単位のブロックの符号化データを１つ以上まとめたデータを示しており、シーケンスレベルヘッダは、画像サイズ等の一般的にシーケンス単位に共通となるヘッダ情報をまとめたものを示している。また、ピクチャレベルヘッダは、動き補償時の参照ピクチャ数等のピクチャ単位で必要となるヘッダ情報をまとめたものを示している。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】国際公開第２００８／０１０９２９号公報
【非特許文献】
【００１５】
【非特許文献１】ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）／ＩＴＵ−Ｔ Ｈ.２６４規格
【非特許文献２】“CE13：Sample Adaptive Offset with LCU-Independent Decoding”，JCT-VC Document JCTVC-E049，March 2011, Geneva，CH.
【非特許文献３】“Using Multiple APSs for Quantization Matrix Parameters Signaling”，JCT-VC Document JCTVC-G1026，Nov. 2011, Geneva，CH.
【発明の概要】
【発明が解決しようとする課題】
【００１６】
従来の動画像符号化装置は以上のように構成されているので、スライス単位に複数の適応パラメータセットを参照することができる。このため、スライス単位に画素適応オフセット処理のパラメータ、適応フィルタ処理のパラメータ、量子化マトリクスの最適な組み合わせを設定することができる。しかし、各パラメータの一部分だけ（例えば、適応フィルタ処理の特定のフィルタや、特定の直交変換サイズの量子化マトリクスなど）をスライス間で変更して、それ以外のパラメータについてはスライス間で共有したい場合でも、各パラメータの一部分だけを更新することができず、各パラメータの全体を別のインデックスの適応パラメータセットで定義する必要がある。したがって、スライス間で共有したいパラメータを再度符号化することになり、冗長なビットが発生して符号化効率が低下してしまう課題があった。
【００１７】
この発明は上記のような課題を解決するためになされたもので、更新しないパラメータの符号化を不要にして、符号化効率を高めることができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１８】
この発明に係る動画像符号化装置は、適応パラメータセットには、量子化マトリクスパラメータ及びフィルタパラメータが当該セット内に存在しているか否かを示すフラグが備えられており、可変長符号化手段が、スライスを符号化する際、スライスのヘッダ情報にスライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各インデックスが示す適応パラメータセットが備えている量子化マトリクスパラメータ及びフィルタパラメータが当該セット内に存在しているか否かを示すフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、スライスのヘッダ情報に含まれる上記インデックスの符号化順に各適応パラメータセット内に存在するパラメータで更新した適応パラメータセットをスライス内で使用する適応パラメータセットとするように構成したものである。
【発明の効果】
【００１９】
この発明によれば、可変長符号化手段が、スライスを符号化する際、スライスのヘッダ情報にスライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各インデックスが示す適応パラメータセットが備えている量子化マトリクスパラメータ及びフィルタパラメータが当該セット内に存在しているか否かを示すフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、スライスのヘッダ情報に含まれる上記インデックスの符号化順に各適応パラメータセット内に存在するパラメータで更新した適応パラメータセットをスライス内で使用する適応パラメータセットとするように構成したので、更新しないパラメータの符号化を不要にして、符号化効率を高めることができる効果がある。
【図面の簡単な説明】
【００２０】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【図３】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図４】この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【図５】最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
【図６】（ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を示す説明図である。
【図７】符号化ブロックＢｎ内の各予測ブロックＰｉｎが選択可能なイントラ予測パラメータ（イントラ予測モード）の一例を示す説明図である。
【図８】ｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
【図９】予測ブロックＰｉｎ内の左上画素を原点とする相対座標を示す説明図である。
【図１０】量子化マトリクスの一例を示す説明図である。
【図１１】この発明の実施の形態１による動画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。
【図１２】この発明の実施の形態１による動画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。
【図１３】画素適応オフセット処理を行う場合のクラス分類手法の一部を示す説明図である。
【図１４】スライスで複数の適応フィルタセットを参照する際の一例を示す説明図である。
【図１５】非特許文献１に開示されている画像符号化装置を示す構成図である。
【図１６】ビットストリームの一例を示す説明図である。
【発明を実施するための形態】
【００２１】
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、スライス分割部１４は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。なお、スライス分割部１４はスライス分割手段を構成している。
【００２２】
ブロック分割部１はスライス分割部１４により分割されたスライスを入力する毎に、そのスライスを符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
即ち、ブロック分割部１はスライスを符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
なお、ブロック分割部１はブロック分割手段を構成している。
【００２３】
符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる直交変換ブロックの分割情報を示す直交変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
なお、符号化制御部２は符号化制御手段を構成している。
【００２４】
切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。
【００２５】
イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、その符号化ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部４及びイントラ予測用メモリ１０からイントラ予測手段が構成されている。
【００２６】
動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を予測処理単位である予測ブロック単位に比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を予測ブロック単位に実施してインター予測画像を生成する処理を実施する。
なお、動き補償予測部５及び動き補償予測フレームメモリ１２から動き補償予測手段が構成されている。
【００２７】
減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。なお、減算部６は差分画像生成手段を構成している。
変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
なお、変換・量子化部７は画像圧縮手段を構成している。
【００２８】
変換・量子化部７は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
図１０は８×８ＤＣＴの量子化マトリクスの一例を示す説明図である。
図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している（この図では、０は“量子化なし”を示す）。
例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報は落とさず符号化することができる。
このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。また、量子化マトリクスは直交変換サイズや色信号毎に独立したマトリクスを使用することができ、初期値として、予め画像符号化装置に用意されている量子化マトリクス以外の量子化マトリクスを用いる場合は、その量子化マトリクスを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
【００２９】
逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部７での量子化処理に量子化マトリクスを用いている場合は、逆量子化処理時にも、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
なお、逆量子化・逆変換部８及び加算部９から局所復号画像生成手段が構成されている。
【００３０】
イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１１に示すように、２つ以上のフィルタ処理を行うように構成してもよい。
一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にあるため、動画像符号化装置が許容する処理負荷にしたがって構成を決めればよい。
なお、ループフィルタ部１１はフィルタリング手段を構成している。
【００３１】
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が最小となるオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
なお、上記画素適応オフセット処理において、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行ってもよい。このようにした場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量を削減することができる。
【００３２】
また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置共通の値に設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。
前者と比較して後者の方が使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
さらに、上記適応フィルタ処理のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、最大符号化ブロック毎に行ってもよい。すなわち、最大符号化ブロック内の複数のブロック単位に画像の局所的な特性（分散など）に応じてクラス分類し、クラス毎にフィルタ設計及びフィルタ処理を行う。したがって、最大符号化ブロック毎に各クラスのフィルタを適応パラメータセットの一部として符号化する。このようにすることで、画像全体に対してクラス分類及びフィルタ設計・処理を実施した場合よりも局所的な性質に応じた高精度なフィルタ処理が実現できる。
なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように図１の動画像符号化装置を変更する必要がある。
【００３３】
動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する。
また、可変長符号化部１３は、図１６に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータと共にビットストリームを生成する。
なお、可変長符号化部１３は可変長符号化手段を構成している。
【００３４】
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ等の一般的にシーケンス単位に共通となるヘッダ情報をまとめたものであり、ピクチャレベルヘッダは、動き補償時の参照ピクチャ数等のピクチャ単位で必要となるヘッダ情報をまとめたものであり、スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかの位置情報、どのピクチャレベルヘッダを参照するかのインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）などといったスライス単位で設定可能なパラメータをまとめたものである。
適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるパラメータ（フィルタパラメータ）と、量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）とを持つパラメータセットである。
【００３５】
図１の例では、動画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２及び可変長符号化部１３のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１及び可変長符号化部１３の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図２はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【００３６】
図３はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図３において、可変長復号部３１は図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセット、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、そのビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。
また、可変長復号部３１は、各ヘッダ情報を参照して、スライスデータに含まれる最大復号ブロック（図１の動画像符号化装置の「最大符号化ブロック」に相当するブロック）を特定し、ブロック分割情報を参照して、最大復号ブロックを階層的に分割して復号処理を行う単位である復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定し、各々の復号ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトル（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。なお、可変長復号部３１は可変長復号手段を構成している。
【００３７】
逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを直交変換ブロック単位に逆量子化するとともに逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
ここで、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、参照先の適応パラメータセットにある量子化マトリクスを用いて逆量子化処理を行う。なお、逆量子化・逆変換部３２は差分画像生成手段を構成している。
【００３８】
切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
【００３９】
イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがイントラ符号化モードである場合、その復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。
なお、イントラ予測部３４及びイントラ予測用メモリ３７からイントラ予測手段が構成されている。
【００４０】
動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される復号ブロックに係る符号化モードがインター符号化モードである場合、上記復号ブロックの予測処理を行う際の予測処理単位である予測ブロック毎に、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
なお、動き補償部３５及び動き補償予測フレームメモリ３９から動き補償予測手段が構成されている。
【００４１】
加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。なお、加算部３６は復号画像生成手段を構成している。
【００４２】
イントラ予測用メモリ３７は加算部３６により算出された復号画像を格納する記録媒体である。
ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１２に示すように、２つ以上のフィルタ処理を行うように構成してもよいが、動画像符号化装置のループフィルタ部１１で行われるフィルタ処理と同じフィルタ処理を行うように構成しなくてはならない。したがって、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うフィルタ処理を特定する。
なお、ループフィルタ部３８はフィルタリング手段を構成している。
【００４３】
ここで、デブロッキングフィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
画素適応オフセット処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて分割し、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素をクラス分類する。
そして、適応パラメータセットに含まれるクラス毎のオフセットを対応する復号画像の輝度値に加算する処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行うように構成した場合、ループフィルタ部３８も同様に、最大符号化ブロック単位に画素適応オフセット処理を実施する。
適応フィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の適応フィルタ処理において、上記のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、最大符号化ブロック毎に行うように構成した場合、ループフィルタ部３８は最大符号化ブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類及びフィルタ処理を行う。
動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像を格納する記録媒体である。
【００４４】
図３の例では、動画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
図４はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【００４５】
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００４６】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【００４７】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【００４８】
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【００４９】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
【００５０】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【００５１】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずに動画像復号装置側も同一の決定処理を行うようにしてもよい。前者はヘッダ情報の符号量が増加するものの、動画像復号装置側で上記決定処理を行わずに済むため、動画像復号装置の処理負荷を抑えることができる上、動画像符号化側で最適な値を探索して送ることができる。後者は反対に、動画像復号装置側で上記決定処理を行うため、動画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。
【００５２】
また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【００５３】
ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。すなわち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【００５４】
また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
【００５５】
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
【００５６】
スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【００５７】
ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌｎ＝Ｍｎのケースを示している。
【００５８】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
【００５９】
以降、第ｎ階層の符号化ブロックをＢｎで表し、符号化ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【００６０】
符号化ブロックＢｎは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢｎに属する予測ブロックをＰｉｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ００とＰ１０の例を示している。
符号化ブロックＢｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
予測ブロックＰｉｎは、全て符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、予測ブロックＰｉｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
【００６１】
符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００６２】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢｎを動き補償予測部５に出力する。
【００６３】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像ＰＩＮＴＲＡｉｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。
【００６４】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、その符号化ブロックＢｎ内の各予測ブロックＰｉｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像ＰＩＮＴＥＲｉｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
【００６５】
減算部６は、ブロック分割部１から符号化ブロックＢｎを受けると、その符号化ブロックＢｎ内の予測ブロックＰｉｎから、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【００６６】
変換・量子化部７は、減算部６から予測差分信号ｅｉｎを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号ｅｉｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
量子化マトリクスは、直交変換サイズや色信号毎に独立したマトリクスを使用することができ、初期値として、予め画像符号化装置に用意されている量子化マトリクス以外の量子化マトリクスを用いる場合は、その量子化マトリクスを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
【００６７】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。なお、変換・量子化部７での量子化処理に量子化マトリクスを用いている場合は、逆量子化処理時にも、その量子化マトリクスを参照して対応した逆量子化処理を実施する。
また、逆量子化・逆変換部８は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅｉｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
【００６８】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【００６９】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１１に示すように、２つ以上のフィルタ処理を行うように構成してもよい。
一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にあるため、動画像符号化装置が許容する処理負荷にしたがって構成を決めればよい。
【００７０】
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が最小となるオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
【００７１】
クラス分類を行う所定の手法としては、局所復号画像の輝度値の大きさで分類する手法や、図１３に示すようなエッジの方向毎に、各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法がある。これらの手法は、予め画像符号化装置及び画像復号装置共通で用意されており、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、符号化側では、これらの手法のうち、どの手法でクラス分類を行うかを上記ブロック単位に選択する。
したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
なお、上記画素適応オフセット処理において、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行ってもよい。このようにした場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量を削減することができる。
【００７２】
また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置共通の値に設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。
前者と比較して後者の方が使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
さらに、上記適応フィルタ処理のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、最大符号化ブロック毎に行ってもよい。すなわち、最大符号化ブロック内の複数のブロック単位に画像の局所的な特性（分散など）に応じてクラス分類し、クラス毎にフィルタ設計及びフィルタ処理を行う。したがって、最大符号化ブロック毎に各クラスのフィルタを適応パラメータセットの一部として符号化する。このようにすることで、画像全体に対してクラス分類及びフィルタ設計・処理を実施した場合よりも局所的な性質に応じた高精度なフィルタ処理が実現できる。
【００７３】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
【００７４】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。
【００７５】
また、可変長符号化部１３は、図１６に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータと共にビットストリームを生成する。
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ等の一般的にシーケンス単位に共通となるヘッダ情報をまとめたものであり、ピクチャレベルヘッダは、動き補償時の参照ピクチャ数等のピクチャ単位で必要となるヘッダ情報をまとめたものであり、スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかの位置情報、どのピクチャレベルヘッダを参照するかのインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）などといったスライス単位で設定可能なパラメータをまとめたものである。
【００７６】
適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるパラメータ（フィルタパラメータ）と、量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）とを持つパラメータセットであり、符号化ビットストリームに多重されている複数の適応パラメータセットを識別するために、各適応パラメータセットはインデックス（ａｐｓ＿ｉｄ）を持っている。
そして、各適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるそれぞれのフィルタパラメータと、量子化マトリクスパラメータとがそれぞれ存在しているか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を持ち、さらに、量子化マトリクスパラメータの存在フラグが“有効”の場合、量子化マトリクスは直交変換サイズ及び色信号毎に、それぞれマトリクスが存在するか否かを示すフラグを持ち、適応フィルタ処理のフィルタパラメータの存在フラグが“有効”の場合、適応フィルタ処理はクラス毎にそれぞれフィルタ係数が存在するか否かを示すフラグを持っている。
【００７７】
そして、各存在フラグが“有効”の場合は、それに対応するパラメータを持っている。
したがって、適応パラメータセットは、各パラメータがあるか否かを自由に設定することができる。
各スライスは、スライスヘッダ内にスライスの復号処理時に参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を少なくとも１つ以上持っており、対応する適応パラメータセットを参照して、量子化処理・逆量子化処理やループフィルタ処理を実施する。
ただし、スライスヘッダに適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）が複数存在する場合、当該スライスでのみ用いる適応パラメータセットとして、スライスヘッダに符号化されている順に各インデックスに対応する適応パラメータセットで更新したものを当該スライスで持つことにする。
このようにすることで、スライス単位での適応パラメータセットのパラメータの部分更新が可能になる。
【００７８】
図１４は適応フィルタ処理のフィルタ係数における一例を示す説明図である。
これより、ａｐｓ＿ｉｄ＝０，１を順にスライスヘッダで符号化するスライスは、ａｐｓ＿ｉｄ＝０のフィルタに対して、クラス番号が１０〜１５のフィルタのみをａｐｓ＿ｉｄ＝１のフィルタに書き換えて使用することができる。
一方、ａｐｓ＿ｉｄ＝０，２を順にスライスヘッダで符号化するスライスは、ａｐｓ＿ｉｄ＝０のフィルタに対して、クラス番号が０〜３のフィルタのみをａｐｓ＿ｉｄ＝２のフィルタに書き換えて使用することができる。
量子化マトリクスにおいても同様に、例えば、４×４変換の量子化マトリクスのみを持つ適応パラメータセットを用意することで、上記の４×４変換の量子化マトリクスのみを更新することができる。
【００７９】
また、適応パラメータセットを符号化して符号化ビットストリームに多重する際、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に符号化ビットストリームに存在する場合は、そのインデックスを持つ適応パラメータセットが、上記の符号化対象の適応パラメータセットに置き換えられる。
したがって、新しい適応パラメータセットを符号化する際、既に符号化された適応パラメータセットが不要の場合は、その不要な適応パラメータセットのインデックスで符号化することで、適応パラメータセットの上書き更新が可能になり、保存しなければならない適応パラメータセットの数を増やさずに済むため、使用するメモリの容量を抑えることができる。
【００８０】
次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢｎ内の各予測ブロックＰｉｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、ＮＩはイントラ予測モード数を表す。
図７では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【００８１】
イントラ予測部４は、上述したように、予測ブロックＰｉｎのイントラ予測パラメータを参照して、その予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成するが、ここでは、輝度信号における予測ブロックＰｉｎのイントラ予測信号を生成するイントラ処理について説明する。
【００８２】
予測ブロックＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
図８はｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰｉｎの上の符号化済みの画素（２×ｌｉｎ＋１）個と、左の符号化済みの画素（２×ｍｉｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰｉｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
【００８３】
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰｉｎ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値が２（平均値（ＤＣ）予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素の平均値を予測ブロックＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面予測）と２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰｉｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰｉｎの左上画素を原点として、予測ブロックＰｉｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
2015080002.tif 000003
【００８４】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
【００８５】
以上に述べた処理によって、予測ブロックＰｉｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像ＰＩＮＴＲＡｉｎを出力する。
なお、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。
【００８６】
なお、先に説明したＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４において、予測ブロックＰｉｎの中間予測画像を生成する際の参照画素を、予測ブロックＰｉｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
【００８７】
予測ブロックＰｉｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。
【００８８】
次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、フレームサイズの情報などの１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、適応パラメータセットとして符号化されたループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライスのピクチャ分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。このとき、各スライスで用いる適応パラメータセットは、スライスヘッダ内に存在する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を参照することで特定する。
ただし、スライスヘッダ内に適応パラメータセットのインデックスが複数存在する場合、当該スライスでのみ用いる適応パラメータセットとして、インデックスが復号される順に対応する適応パラメータセットで更新したものを当該スライスの復号処理で用いる。
また、適応パラメータセットを復号した際に、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に復号済みの適応パラメータセットの中に存在する場合は、そのインデックスを持つ適応パラメータセットは、新しく復号された適応パラメータセットに更新される。
【００８９】
また、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【００９０】
次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
【００９１】
即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
【００９２】
さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づき、直交変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
【００９３】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【００９４】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モード（ｍ（Ｂｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ２６）。
【００９５】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モード（ｍ（Ｂｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ２７）。
【００９６】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、参照先の適応パラメータセットにある量子化マトリクスを用いて逆量子化処理を行う。
また、逆量子化・逆変換部３２は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
【００９７】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部３５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【００９８】
ループフィルタ部３８は、全ての復号ブロックＢｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１２に示すように、２つ以上のフィルタ処理を行うように構成してもよいが、動画像符号化装置のループフィルタ部１１で行われるフィルタ処理と同じフィルタ処理を行うように構成しなくてはならない。したがって、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うフィルタ処理を特定する。
【００９９】
ここで、デブロッキングフィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
画素適応オフセット処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて分割し、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素をクラス分類する。
そして、適応パラメータセットに含まれるクラス毎のオフセットを対応する復号画像の輝度値に加算する処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行うように構成した場合、ループフィルタ部３８も同様に最大符号化ブロック単位に画素適応オフセット処理を実施する。
適応フィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の適応フィルタ処理において、上記のクラス分類及びフィルタ設計・処理を画像全体に対してではなく最大符号化ブロック毎に行うように構成した場合、ループフィルタ部３８は最大符号化ブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類及びフィルタ処理を行う。
このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【０１００】
以上で明らかなように、この実施の形態１によれば、動画像符号化装置の変換・量子化部７、逆量子化・逆変換部８、ループフィルタ部１１で用いる適応パラメータセットをスライス単位で複数参照して、適応パラメータセットの一部更新を行えるようにすることで、スライス間で変更したいパラメータのみ符号化することができるため、冗長な情報を符号化することなく、符号化効率の低下を抑えることができる効果を奏する。
【０１０１】
また、この実施の形態１によれば、動画像復号装置の逆量子化・逆変換部３２、ループフィルタ部３８で用いる適応パラメータセットをスライス単位で複数参照して適応パラメータセットの一部更新を行えるようにすることで、スライス間で変更したいパラメータのみ符号化して冗長な情報を符号化しない動画像復号装置で符号化したビットストリームを正しく復号することができる効果を奏する。
【０１０２】
実施の形態２．
上記実施の形態１では、可変長符号化部１３が、適応パラメータセットを可変長符号化する際、ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスを複数保持している場合、各適応パラメータセットが備えているフラグを参照して、各適応パラメータセット内に存在しているパラメータを特定し、複数のインデックスの符号化順に各適応パラメータセット内に存在するパラメータをスライス内で使用する適応パラメータセットとして上書き処理を行うものを示したが、この実施の形態２では、可変長符号化部１３が、適応パラメータセットを可変長符号化する際、ヘッダ情報が、スライス内で使用する適応パラメータセットを識別するインデックスと、その適応パラメータセットの更新情報とを保持している場合、その更新情報にしたがって上記インデックスに対応する適応パラメータセットを更新し、更新後の適応パラメータセットを上記スライス内で使用する適応パラメータセットとするものについて説明する。
【０１０３】
動画像符号化装置及び動画像復号装置の構成は、上記実施の形態１と同一であるため、この実施の形態２でも、図１や図３等を参照しながら説明する。
この実施の形態２では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【０１０４】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
【０１０５】
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
【０１０６】
この実施の形態２では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【０１０７】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の階調は、８ビットでもよいし、１０ビットや１２ビットなどの階調でもよい。
【０１０８】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号の各フレームに対応する処理データ単位を「ピクチャ」と称する。
この実施の形態２では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレーム信号として説明を行うが、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
【０１０９】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限はシーケンスレベルヘッダなどに符号化してもよいし、符号化せずに動画像復号装置側も同一の決定処理を行うようにしてもよい。前者はヘッダ情報の符号量が増加するものの、動画像復号装置側で上記決定処理を行わずに済むため、動画像復号装置の処理負荷を抑えることができる上、動画像符号化側で最適な値を探索して送ることができる。後者は反対に、動画像復号装置側で上記決定処理を行うため、動画像復号装置の処理負荷が増加するものの、ヘッダ情報の符号量は増加しない。
【０１１０】
また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
【０１１１】
ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。すなわち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
【０１１２】
また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び直交変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
さらに、符号化モードがイントラ符号化モードである符号化ブロックにおいては、詳細は後述するが、イントラ予測処理を行う際に予測ブロックに隣接する符号化済みの画素を用いることから、予測ブロック単位に符号化を行う必要があるため、選択可能な変換ブロックサイズは予測ブロックのサイズ以下に制限される。
【０１１３】
符号化制御部２は、量子化パラメータ及び変換ブロックサイズを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
【０１１４】
スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
【０１１５】
ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
深さｎにおいては、符号化ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌｎ＝Ｍｎのケースを示している。
【０１１６】
以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
【０１１７】
以降、第ｎ階層の符号化ブロックをＢｎで表し、符号化ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
【０１１８】
符号化ブロックＢｎは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
以降、符号化ブロックＢｎに属する予測ブロックをＰｉｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ００とＰ１０の例を示している。
符号化ブロックＢｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
予測ブロックＰｉｎは、全て符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、予測ブロックＰｉｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
【０１１９】
符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロック）である。
この４分木グラフの情報は符号化モードｍ（Ｂｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
【０１２０】
切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢｎをイントラ予測部４に出力する。
一方、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢｎを動き補償予測部５に出力する。
【０１２１】
イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ４）。
なお、動画像復号装置がイントラ予測画像ＰＩＮＴＲＡｉｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
イントラ予測部４の処理内容の詳細は後述する。
【０１２２】
動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、その符号化ブロックＢｎ内の各予測ブロックＰｉｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ５）。
なお、動画像復号装置がインター予測画像ＰＩＮＴＥＲｉｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
【０１２３】
減算部６は、ブロック分割部１から符号化ブロックＢｎを受けると、その符号化ブロックＢｎ内の予測ブロックＰｉｎから、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅｉｎを変換・量子化部７に出力する（ステップＳＴ６）。
【０１２４】
変換・量子化部７は、減算部６から予測差分信号ｅｉｎを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる直交変換ブロック分割情報を参照して、その予測差分信号ｅｉｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤSＴ(離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を直交変換ブロック単位に実施して、変換係数を算出する。
また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その直交変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
量子化マトリクスは、直交変換サイズや色信号毎に独立したマトリクスを使用することができ、初期値として、予め画像符号化装置に用意されている量子化マトリクス以外の量子化マトリクスを用いる場合は、その量子化マトリクスを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
【０１２５】
逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。なお、変換・量子化部７での量子化処理に量子化マトリクスを用いている場合は、逆量子化処理時にも、その量子化マトリクスを参照して対応した逆量子化処理を実施する。
また、逆量子化・逆変換部８は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅｉｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
【０１２６】
加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
【０１２７】
ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１１に示すように、２つ以上のフィルタ処理を行うように構成してもよい。
一般に、使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にあるため、動画像符号化装置が許容する処理負荷にしたがって構成を決めればよい。
【０１２８】
ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化対象画像と局所復号画像との間の輝度値の二乗誤差和が最小となるオフセット値を算出する。
最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
【０１２９】
クラス分類を行う所定の手法としては、局所復号画像の輝度値の大きさで分類する手法や、図１３に示すようなエッジの方向毎に、各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法がある。これらの手法は、予め画像符号化装置及び画像復号装置共通で用意されており、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、符号化側では、これらの手法のうち、どの手法でクラス分類を行うかを上記ブロック単位に選択する。
したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
なお、上記画素適応オフセット処理において、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行ってもよい。このようにした場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量を削減することができる。
【０１３０】
また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
そして、クラス毎に設計したフィルタを符号化すべき適応パラメータセットの一部として可変長符号化部１３に出力する。
ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置共通の値に設定してもよいし、符号化すべき適応パラメータセットの一部としてもよい。
前者と比較して後者の方が使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
さらに、上記適応フィルタ処理のクラス分類及びフィルタ設計・処理を画像全体に対してではなく、最大符号化ブロック毎に行ってもよい。すなわち、最大符号化ブロック内の複数のブロック単位に画像の局所的な特性（分散など）に応じてクラス分類し、クラス毎にフィルタ設計及びフィルタ処理を行う。したがって、最大符号化ブロック毎に各クラスのフィルタを適応パラメータセットの一部として符号化する。このようにすることで、画像全体に対してクラス分類及びフィルタ設計・処理を実施した場合よりも局所的な性質に応じた高精度なフィルタ処理が実現できる。
【０１３１】
ステップＳＴ３〜ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
【０１３２】
可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。
【０１３３】
また、可変長符号化部１３は、図１６に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダ、適応パラメータセットを符号化し、ピクチャデータと共にビットストリームを生成する。
ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
シーケンスレベルヘッダは、画像サイズ等の一般的にシーケンス単位に共通となるヘッダ情報をまとめたものであり、ピクチャレベルヘッダは、動き補償時の参照ピクチャ数等のピクチャ単位で必要となるヘッダ情報をまとめたものであり、スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかの位置情報、どのピクチャレベルヘッダを参照するかのインデックス、スライスの符号化タイプ（オールイントラ符号化、インター符号化など）などといったスライス単位で設定可能なパラメータをまとめたものである。
【０１３４】
適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるパラメータ（フィルタパラメータ）と、量子化マトリクスに関わるパラメータ（量子化マトリクスパラメータ）とを持つパラメータセットであり、符号化ビットストリームに多重されている複数の適応パラメータセットを識別するために、各適応パラメータセットはインデックス（ａｐｓ＿ｉｄ）を持っている。
そして、各適応パラメータセットは、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるそれぞれのフィルタパラメータと、量子化マトリクスパラメータとがそれぞれ存在しているか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を持ち、さらに、量子化マトリクスパラメータの存在フラグが“有効”の場合、量子化マトリクスは直交変換サイズ及び色信号毎に、それぞれマトリクスが存在するか否かを示すフラグを持ち、適応フィルタ処理のフィルタパラメータの存在フラグが“有効”の場合、適応フィルタ処理はクラス毎にそれぞれフィルタ係数が存在するか否かを示すフラグを持っている。
【０１３５】
そして、各存在フラグが“有効”の場合は、それに対応するパラメータを持っている。
したがって、適応パラメータセットは、各パラメータがあるか否かを自由に設定することができる。
各スライスは、スライスヘッダ内にスライスの復号処理時に参照する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を持つことで、対応する適応パラメータセットを参照して、量子化処理・逆量子化処理やループフィルタ処理を実施する。
さらに、スライスヘッダには、適応パラメータセットの更新パラメータ情報を持っている否かを示すフラグ（ｏｖｅｒｒｉｄｅ＿ｆｌａｇ）を有している。
上記フラグが“更新パラメータ情報を持つ”ことを示している場合、スライスヘッダは、適応パラメータセットと同様に、適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理に関わるそれぞれのフィルタパラメータと量子化マトリクスパラメータがそれぞれ存在するか否かを示すフラグ（ｐｒｅｓｅｎｔ＿ｆｌａｇ）を持ち、さらに、量子化マトリクスパラメータの存在フラグが“有効”の場合、量子化マトリクスは直交変換サイズ及び色信号毎にそれぞれマトリクスが存在するか否かを示すフラグを持ち、適応フィルタ処理のフィルタパラメータの存在フラグが“有効”の場合、適応フィルタ処理はクラス毎にそれぞれフィルタ係数が存在するか否かのフラグを持っている。
【０１３６】
そして、各存在フラグが“有効”の場合は、それに対応するパラメータを持っている。
したがって、スライスヘッダに適応パラメータの更新情報を有する場合、当該スライスでのみ用いる適応パラメータセットとして、スライスヘッダ内のパラメータセットのインデックス（ａｐｓ＿ｉｄ）が示す適応パラメータセットに対して、上記スライスヘッダ内の適応パラメータセットの更新パラメータ情報を上書きしたものを当該スライスで持つことで、スライス単位での適応パラメータセットのパラメータの部分更新が可能になる。
【０１３７】
また、上記のようにスライスレベルヘッダ内に適応パラメータセットの更新パラメータ情報を持つことを可能とした上で、実施ぼ形態１のようにスライスレベルヘッダ内で適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を複数持つことができるように構成してもよい。
この場合、ある特定の適応パラメータセットを複数のスライスで使用するような場合は適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）をスライスレベルヘッダ内で複数持つ形で表現した方が同じ適応パラメータを複数回符号化せずに済むため、高効率な符号化が実現できる。一方、ある１つのスライスでしか使用しない適応パラメータセットがある場合は、スライスレベルヘッダ内に適応パラメータセットの更新パラメータ情報として持つ方がスライスレベルヘッダ内に適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を複数持つ必要がなく、高効率な符号化が実現できる。このように、スライスレベルヘッダ内に適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を複数持つことと、適応パラメータセットの更新パラメータ情報を持つことを可能とすることで、より高効率な適応パラメータセットの符号化が可能となる。
ただし、スライスレベルヘッダ内に適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）が複数ある上に、適応パラメータセットの更新パラメータ情報も存在する場合は、まずインデックスが符号化される順に対応する適応パラメータセットで更新し、そして、適応パラメータセットの更新情報にしたがって上記更新済みの適応パラメータセットを上書きしたものを当該スライスで用いる適応パラメータセットとする。
【０１３８】
また、適応パラメータセットを符号化して符号化ビットストリームに多重する際、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に符号化ビットストリームに存在する場合は、そのインデックスを持つ適応パラメータセットが、上記の符号化対象の適応パラメータセットに置き換えられる。
したがって、新しい適応パラメータセットを符号化する際、既に符号化された適応パラメータセットが不要の場合は、その不要な適応パラメータセットのインデックスで符号化することで適応パラメータセットの上書き更新が可能になり、保存しなければならない適応パラメータセットの数を増やさずに済むため、使用するメモリの容量を抑えることができる。
【０１３９】
次に、イントラ予測部４の処理内容を詳細に説明する。
図７は符号化ブロックＢｎ内の各予測ブロックＰｉｎが選択可能なイントラ予測パラメータであるイントラ予測モードの一例を示す説明図である。ただし、ＮＩはイントラ予測モード数を表す。
図７では、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示しており、図７の例では、選択可能なイントラ予測モードの個数が増えるに従って、予測方向ベクトル同士の相対角度が小さくなるように設計されている。
【０１４０】
イントラ予測部４は、上述したように、予測ブロックＰｉｎのイントラ予測パラメータを参照して、その予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成するが、ここでは、輝度信号における予測ブロックＰｉｎのイントラ予測信号を生成するイントラ処理について説明する。
【０１４１】
予測ブロックＰｉｎのサイズをｌｉｎ×ｍｉｎ画素とする。
図８はｌｉｎ＝ｍｉｎ＝４の場合の予測ブロックＰｉｎ内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
図８では、予測ブロックＰｉｎの上の符号化済みの画素（２×ｌｉｎ＋１）個と、左の符号化済みの画素（２×ｍｉｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
また、図８では、予測ブロックＰｉｎの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
【０１４２】
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素を用いて、これら画素と予測ブロックＰｉｎ内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
予測ブロックＰｉｎに対するイントラ予測モードのインデックス値が２（平均値（DC）予測）の場合には、予測ブロックＰｉｎの上に隣接する符号化済み画素と予測ブロックＰｉｎの左に隣接する符号化済み画素の平均値を予測ブロックＰｉｎ内の画素の予測値として予測画像を生成する。
イントラ予測モードのインデックス値が０（平面予測）と２（平均値予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、予測ブロックＰｉｎ内の画素の予測値を生成する。
図９に示すように、予測ブロックＰｉｎの左上画素を原点として、予測ブロックＰｉｎ内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。
2015080002.tif 000004
【０１４３】
参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する動画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
【０１４４】
以上に述べた処理によって、予測ブロックＰｉｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像ＰＩＮＴＲＡｉｎを出力する。
なお、イントラ予測画像ＰＩＮＴＲＡｉｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。
【０１４５】
なお、先に説明したＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画像に対して施される平滑化処理と同様に、イントラ予測部４において、予測ブロックＰｉｎの中間予測画像を生成する際の参照画素を、予測ブロックＰｉｎに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の中間予測画像に対するフィルタ処理を行うことができる。
【０１４６】
予測ブロックＰｉｎの色差信号に対しても、輝度信号と同様の手順で、イントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
ただし、色差信号で選択可能なイントラ予測パラメータ（イントラ予測モード）は輝度信号と異なっていてもよい。例えば、ＹＵＶ信号４：２：０フォーマットの場合、色差信号（Ｕ、Ｖ信号）は、輝度信号（Ｙ信号）に対して解像度を水平方向、垂直方向共に１／２に縮小した信号であり、輝度信号に比べて画像信号の複雑性が低く予測が容易であることから、選択可能なイントラ予測パラメータは輝度信号よりも少ない数としてイントラ予測パラメータを符号化するのに要する符号量の削減や、予測処理の低演算化を図ってもよい。
【０１４７】
次に、図３の動画像復号装置の処理内容を具体的に説明する。
可変長復号部３１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、フレームサイズの情報などの１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、適応パラメータセットとして符号化されたループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
そして、ピクチャ単位のデータを構成するスライスデータから、スライスのピクチャ分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。このとき、各スライスで用いる適応パラメータセットはスライスヘッダ内に存在する適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を参照することで特定する。
ただし、スライスヘッダ内に適応パラメータセットの更新情報が存在する場合、当該スライスでのみ用いる適応パラメータセットとして、その更新情報にしたがって上記適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）が示す適応パラメータセットを上書きしたものを当該スライスの復号処理で用いる。
また、適応パラメータセットを復号した際に、同じインデックス（ａｐｓ＿ｉｄ）を持つ適応パラメータセットが既に復号済みの適応パラメータセットの中に存在する場合は、そのインデックスを持つ適応パラメータセットは、新しく復号された適応パラメータセットに更新される。
【０１４８】
なお、上記のようにスライスレベルヘッダ内に適応パラメータセットの更新パラメータ情報を持つことを可能とした上で、実施例１のようにスライスレベルヘッダ内で適応パラメータセットのインデックス（ａｐｓ＿ｉｄ）を複数持つことができるように動画像符号化装置を構成している場合、当該スライスでのみ用いる適応パラメータセットとして、まずスライスヘッダ内に適応パラメータセットのインデックスが複数存在する場合はインデックスが復号される順に対応する適応パラメータセットで更新し、さらに、スライスヘッダ内に適応パラメータセットの更新情報が存在する場合はその更新情報にしたがって上記更新済みの適応パラメータセットを上書きしたものを当該スライスの復号処理で用いる。
【０１４９】
また、可変長復号部３１は、図１の動画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を動画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数の上限が、動画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いる。
以降、動画像復号装置では、上記最大符号化ブロックサイズを最大復号ブロックサイズと称し、最大符号化ブロックを最大復号ブロックと称する。
可変長復号部３１は、決定された最大復号ブロック単位に、図６で示されるような最大復号ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号ブロック（図１の動画像符号化装置の「符号化ブロック」に相当するブロック）を特定する（ステップＳＴ２３）。
【０１５０】
次に、可変長復号部３１は、復号ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、復号ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
【０１５１】
即ち、可変長復号部３１は、復号ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
一方、復号ブロックに割り当てられている符号化モードがインター符号化モードである場合、復号ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
【０１５２】
さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる直交変換ブロック分割情報に基づき、直交変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
【０１５３】
切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
【０１５４】
イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モード（ｍ（Ｂｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉｎを生成する（ステップＳＴ２６）。
【０１５５】
動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モード（ｍ（Ｂｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた復号ブロックＢｎ内の各予測ブロックＰｉｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉｎを生成する（ステップＳＴ２７）。
【０１５６】
逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び直交変換ブロック分割情報を参照して、直交変換ブロック単位にその圧縮データを逆量子化する。
このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が当該スライスで量子化マトリクスを用いて逆量子化処理を実施することを示している場合は、参照先の適応パラメータセットにある量子化マトリクスを用いて逆量子化処理を行う。
また、逆量子化・逆変換部３２は、直交変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
【０１５７】
加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰＩＮＴＲＡｉｎ、または、動き補償部３５により生成されたインター予測画像ＰＩＮＴＥＲｉｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
【０１５８】
ループフィルタ部３８は、全ての復号ブロックＢｎに対するステップＳＴ２３〜ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
具体的には、直交変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理の中の１つの処理を行うように構成してもよいし、図１２に示すように、２つ以上のフィルタ処理を行うように構成してもよいが、動画像符号化装置のループフィルタ部１１で行われるフィルタ処理と同じフィルタ処理を行うように構成しなくてはならない。したがって、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うフィルタ処理を特定する。
【０１５９】
ここで、デブロッキングフィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
画素適応オフセット処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるブロック分割情報に基づいて分割し、そのブロック単位に、その適応パラメータセットに含まれるブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素をクラス分類する。
そして、適応パラメータセットに含まれるクラス毎のオフセットを対応する復号画像の輝度値に加算する処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を最大符号化ブロック単位に分割して、その最大符号化ブロック毎にクラス分類手法を選択してクラス毎の適応オフセット処理を行うように構成した場合、ループフィルタ部３８も同様に最大符号化ブロック単位に画素適応オフセット処理を実施する。
適応フィルタ処理では、当該スライスが参照する適応パラメータセットを参照し、その適応パラメータセットに含まれるクラス毎のフィルタを用いて、図１の動画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
ただし、動画像符号化装置のループフィルタ部１１の適応フィルタ処理において、上記のクラス分類及びフィルタ設計・処理を画像全体に対してではなく最大符号化ブロック毎に行うように構成した場合、ループフィルタ部３８は最大符号化ブロック毎に、各クラスで用いるフィルタを復号して上記クラス分類及びフィルタ処理を行う。
このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【０１６０】
以上で明らかなように、この実施の形態２によれば、動画像符号化装置の変換・量子化部７、逆量子化・逆変換部８、ループフィルタ部１１で用いる適応パラメータセットの更新情報をスライスヘッダで持つようにすることで、スライス単位での適応パラメータセットの一部更新を行えるようにすることで、冗長な情報を符号化することなく、符号化効率の低下を抑えることができる効果を奏する。
【０１６１】
また、この実施の形態２によれば、動画像復号装置の逆量子化・逆変換部３２、ループフィルタ部３８で用いる適応パラメータセットの更新情報をスライスヘッダで持つようにすることで、スライス単位での適応パラメータセットの一部更新を行えるようになり、スライス間で変更したいパラメータのみ符号化して冗長な情報を符号化しない動画像復号装置で符号化したビットストリームを正しく復号することができる効果を奏する。
【０１６２】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【０１６３】
１  ブロック分割部（ブロック分割手段）、２  符号化制御部（符号化制御手段）、３  切換スイッチ、４  イントラ予測部（イントラ予測手段）、５  動き補償予測部（動き補償予測手段）、６  減算部（差分画像生成手段）、７  変換・量子化部（画像圧縮手段）、８  逆量子化・逆変換部（局所復号画像生成手段）、９  加算部（局所復号画像生成手段）、１０  イントラ予測用メモリ（イントラ予測手段）、１１  ループフィルタ部（フィルタリング手段）、１２  動き補償予測フレームメモリ（動き補償予測手段）、１３  可変長符号化部（可変長符号化手段）、１４  スライス分割部（スライス分割手段）、３１  可変長復号部（可変長復号手段）、３２  逆量子化・逆変換部（差分画像生成手段）、３３  切換スイッチ、３４  イントラ予測部（イントラ予測手段）、３５  動き補償部（動き補償予測手段）、３６  加算部（復号画像生成手段）、３７  イントラ予測用メモリ（イントラ予測手段）、３８  ループフィルタ部（フィルタリング手段）、３９  動き補償予測フレームメモリ（動き補償予測手段）、１０１  ブロック分割部、１０２  予測部、１０３  圧縮部、１０４  局所復号部、１０５  加算器、１０６  ループフィルタ、１０７  メモリ、１０８  可変長符号化部。
【図１】
2015080002.tif 000005
【図２】
2015080002.tif 000006
【図３】
2015080002.tif 000007
【図４】
2015080002.tif 000008
【図５】
2015080002.tif 000009
【図６】
2015080002.tif 000010
【図７】
2015080002.tif 000011
【図８】
2015080002.tif 000012
【図９】
2015080002.tif 000013
【図１０】
2015080002.tif 000014
【図１１】
2015080002.tif 000015
【図１２】
2015080002.tif 000016
【図１３】
2015080002.tif 000017
【図１４】
2015080002.tif 000018
【図１５】
2015080002.tif 000019
【図１６】
2015080002.tif 000020