(57)【要約】  符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、前記フィルタのフィルタ係数情報を設定するステップと、前記フィルタ係数情報を符号化するステップと、参照画像として使用する前記局所復号画像又は前記復元画像を示す特定情報を符号化するステップと、前記特定情報に基づいて前記局所復号画像または前記復元画像の何れか一つを参照画像としてメモリに保存するステップとを有する。
2009110160.tif 000002
【特許請求の範囲】
【請求項１】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像符号化方法。
【請求項２】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を復号化するステップと、
参照画像として使用する前記復号画像又は前記復元画像を示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像復号化方法。
【請求項３】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像として予測に用いるステップと、
を備えることを特徴とする動画像符号化方法。
【請求項４】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像として予測に用いるステップと、
を備えることを特徴とする動画像復号化方法。
【請求項５】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像符号化方法。
【請求項６】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像復号化方法。
【請求項７】
復号化側で前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を符号化側で符号化するステップと、
を備えることを特徴とする請求項１又は３記載の動画像符号化方法。
【請求項８】
前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
を備えることを特徴とする請求項２又は４記載の動画像復号化方法。
【請求項９】
前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を生成するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
を備えることを特徴とする請求項６記載の動画像復号化方法。
【請求項１０】
前記特定情報を、フレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
【請求項１１】
前記特定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２、４、８のいずれか1項に記載の動画像復号化方法。
【請求項１２】
前記局所復号画像及び前記復元画像と入力原画像との誤差を計算するステップと、誤差が小さい画像を参照画像とすることを示す前記特定情報を生成するステップとを含むことを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
【請求項１３】
前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
【請求項１４】
前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
【請求項１５】
符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
【請求項１６】
符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
【請求項１７】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化装置であって、
符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成する復元画像生成部と、
前記フィルタのフィルタ係数情報を設定する設定部と、
前記フィルタ係数情報を符号化する復号部と、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化する符号化部と、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
を備えることを特徴とする動画像符号化装置。
【請求項１８】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化装置であって、
復号画像に対してフィルタを適用して復元画像を生成する復元画像生成部と、
前記フィルタのフィルタ係数情報を復号化する第1復号化部と、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化する第2復号化部と、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
を備えることを特徴とする動画像復号化装置。
【請求項１９】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してフィルタを適用することによって生成される復元画像を前記参照画像として用いるか、又は、前記局所復号画像を参照画像として用いるか、を示す特定情報を符号化する特定情報符号化ステップと、
前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像としてメモリに保存する保存ステップと、
を備えることを特徴とする動画像符号化方法。
【請求項２０】
前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に設定して符号化するため前記局所領域の大きさを決める領域設定情報を符号化するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
【請求項２１】
前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に符号化するために前記特定情報に基づいて前記フィルタのフィルタ係数情報を設定するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
【請求項２２】
前記特定情報符号化ステップは前記領域設定情報をフレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１９記載の動画像符号化方法。
【請求項２３】
前記領域設定情報は、前記局所領域の大きさを示す値であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項２４】
前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項２５】
前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記局所領域の大きさまたは前記分割方法を示すインデクスを示すことを特徴とする請求項２４記載の動画像符号化方法。
【請求項２６】
複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ及び量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項２５記載の動画像符号化方法。
【請求項２７】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してフィルタを適用することによって生成される復元画像を参照画像として用いるか、又は、前記復号画像を参照画像として用いるか、を示す特定情報を復号化する特定情報復号化ステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存ステップと、
を含むことを特徴とする動画像復号化方法。
【請求項２８】
前記特定情報復号化ステップは前記特定情報を復号化してフレーム内の局所領域毎に設定するため前記局所領域の大きさを決める領域設定情報を復号化する領域設定情報復号化ステップを含むことを特徴とする請求項２７記載の動画像復号化方法。
【請求項２９】
前記領域設定情報復号化ステップは前記領域設定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２７記載の動画像復号化方法。
【請求項３０】
前記領域設定情報は、前記局部領域の大きさを示す値であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３１】
前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３２】
前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記領域の大きさまたは前記分割方法を示すインデクスであることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３３】
複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ、量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項３２記載の動画像復号化方法。
【請求項３４】
請求項１、３、５、１３、１５、１９、２０、２１、２２、及び２４のいずれか１記載の符号化済みの局部復号画像にフィルタを適用して復元画像を生成するステップは、
局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うことを特徴とする動画像符号化方法。
【請求項３５】
請求項２、４、６、９、２７、２８及び２９のいずれか１に記載の復号画像にフィルタを適用して復元画像を生成するステップは、
局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うステップを含むことを特徴とする動画像復号化方法。
【請求項３６】
符号化済みの画像を参照画像として動き補償予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと
を備えることを特徴とする動画像符号化方法。
【請求項３７】
復号化済みの画像を参照画像として動き補償予測に用いる動画像復号化方法であって、
復号画像に対してフィルタを適用して復元画像を生成するステップと、
前記フィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと、
を備えることを特徴とする動画像復号化方法。
【請求項３８】
前記領域設定情報は、前記局所領域内部を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項３９】
前記階層分割情報は、各階層における個々の領域を分割するか否かを示す領域分割情報であることを特徴とする請求項３８記載の動画像符号化方法。
【請求項４０】
前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項３８記載の動画像符号化方法。
【請求項４１】
前記領域設定情報は、前記局所領域を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項４２】
前記階層分割情報は、各階層における個々の領域を分割するか否かを示した領域分割情報であることを特徴とする請求項４１記載の動画像復号化方法。
【請求項４３】
前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項４１記載の動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化／復号化方法及び装置に係わり、特に符号化側でループフィルタのフィルタ係数情報を設定して伝送し、復号化側で用いることにより、画質を向上させる効果が得られるようにした動画像符号化／復号化方法及び装置に関する。
【背景技術】
【０００２】
画像を画素ブロック単位で直交変換し、変換係数の量子化処理を行う動画像符号化／復号化方法では、復号画像にブロック歪と呼ばれる画質劣化が生じる。これに対し、G.Bjontegaard,“Deblocking filter for 4x4 based coding”,ITU-T Q.15/SG16 VCEG document,Q15-J-27,May 2000（以後“Deblocking filter for 4x4 based coding”と称する）に記載のデブロッキングフィルタは、ブロック境界にローパスフィルタを適用することによって上記ブロック歪を視覚的に目立たないようにし、主観的に良好な画像を得ることができる。“Deblocking filter for 4x4 based coding”におけるデブロッキングフィルタを備えた符号化／復号化装置のブロック図を図３４に示す。【０００３】
上記デブロッキングフィルタは、図３４のデブロッキングフィルタ処理部９０１のように符号化及び復号化装置のループ内で用いられることからループフィルタとも呼ばれる。ループフィルタとすることによって、予測に用いられる参照画像のブロック歪を低減することができ、特にブロック歪の発生しやすい高圧縮なビットレート帯で符号化効率を向上させる効果がある。【０００４】
しかし、上記デブロッキングフィルタは、ブロック境界をぼかすことによって視覚的に目立つ劣化を低減する処理であり、必ずしも入力画像との誤差が小さくなるものではなく、逆に細かいテクスチャなどが失われて画質が低下する場合がある。さらに、フィルタ処理後の画像を参照画像として次に符号化する画像の予測に用いるため、フィルタによる画質低下の影響が予測画像に伝播するという問題がある。【０００５】
一方、ループフィルタとは異なり、デコーダで出力する画像にのみ作用するフィルタをポストフィルタと呼ぶ。ポストフィルタは、フィルタ処理後の画像を参照画像として用いないため、フィルタの影響が予測画像に伝播しないという特徴がある。特開２００１‐２７５１１０公報は、復号化側において、デブロッキングフィルタをループフィルタとして用いるか、ポストフィルタとして用いるかを動的に切り替える動画像復号化方法を提供している。特開２００１‐２７５１１０公報におけるループ／ポストフィルタリングの切り替え方法を備えた符号化／復号化装置のブロック図を図３５に示す。【０００６】
特開２００１‐２７５１１０公報における動画像復号化方法では、図３５における動画像復号化装置内部に備えたデブロッキングフィルタ処理部９０２によってデブロッキングフィルタを適用した復号画像を生成し、出力画像として出力する。一方、符号化パラメータ抽出部９０４では、符号化データから量子化パラメータを抽出し、切替部９０３では、フィルタ処理後の画像を参照画像として用いるか否かを前記量子化パラメータの値に基づいて制御する。切替部９０３における動作により、デブロッキングフィルタの効果が高い高圧縮なビットレート帯ではデブロッキングフィルタをループフィルタとして用い、低圧縮なビットレート帯ではデブロッキングフィルタをポストフィルタとして用いるような制御が可能となる。しかし、特開２００１‐２７５１１０公報では、符号化側で同様の処理を行っていないため、符号化側と復号化側でのミスマッチが生じるという問題がある。また、符号化側で参照画像の画質を向上させるものではないため、符号化効率を向上させる効果を得ることができない。【０００７】
一方、S.Wittmann and T.Wdi,“Post-filter SEI message for 4:4:4 coding”,JVT of ISO/IEC MPEG & ITU-T VCEG,JVT-S030,April 2006（以後“Post-filter SEI message for 4:4:4 coding”と称する）には、符号化側でポストフィルタのフィルタ係数情報を設定して符号化し、復号化側で復号化したフィルタ係数情報を用いてポストフィルタ処理を行なう動画像符号化／復号化方法が記載されている。“Post-filter SEI message for 4:4:4 coding”における動画像符号化／復号化装置のブロック図を図３６に示す。【０００８】
図３６の動画像符号化装置が備えるポストフィルタ設定部９０５は、所定のフィルタ係数情報を設定し、フィルタ係数情報９０を出力する。フィルタ係数情報９０は符号化され、復号化側で復号し、動画像復号化装置が備えるポストフィルタ処理部９０６で用いてポストフィルタ処理を行なう。【０００９】
“Post-filter SEI message for 4:4:4 coding”における動画像符号化／復号化方法では、符号化側で復号画像と入力画像との誤差が小さくなるようにフィルタ係数情報を設定することによって、復号化側でポストフィルタを適用した出力画像の画質を向上させることが可能である。しかし、“Post-filter SEI message for 4:4:4 coding”の方法は、画質を向上させた画像を参照画像として用いるものではなく、符号化側で符号化効率を向上させる効果を得ることができない。
【発明の開示】
【００１０】
上述したように、 “Deblocking filter for 4x4 based coding”に開示されている方法は、必ずしも画質を向上させるものではなく、フィルタによって生じた画質劣化が予測画像に伝播するという問題があった。
【００１１】
また、特開２００１‐２７５１１０公報に開示されている方法は、復号化側でのみループ／ポストフィルタリングの切り替えを行うものであり、符号化側と復号化側のミスマッチが生じるという問題があった。
【００１２】
また、“Post-filter SEI message for 4:4:4 coding”に開示されている方法は、復号化側で出力する画像の画質を向上させる処理であり、予測に用いる参照画像の画質を向上させて符号化効率を向上させる効果を得ることができない。
【００１３】
本発明は、符号化側で設定したフィルタ係数情報を符号化し、フィルタ係数情報を復号化側で復号化して用いる動画像符号化／復号化において、符号化側と復号化側が同様の処理でループフィルタ処理を切り替えることによって、画質劣化の伝播を抑制しつつ、予測に用いる参照画像の画質を向上させることによって、符号化効率を向上させることを可能とする動画像符号化／復号化方法及び装置を提供することを目的とする。
【００１４】
本発明の一態様は、符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、符号化済みの画像の局所復号画像に対してフィルタを適用して復元画像を生成するステップと、前記フィルタのフィルタ係数情報を設定するステップと、前記フィルタ係数情報を符号化するステップと、参照画像として使用する前記局所復号画像又は前記復元画像を示す特定情報を符号化するステップと、前記特定情報に基づいて前記局所復号画像または前記復元画像の何れか一つを参照画像としてメモリに保存するステップと、を備えることを特徴とする動画像符号化方法を提供する。
【００１５】
本発明の他の態様は復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、復号画像に対してフィルタを適用して復元画像を生成するステップと、フィルタのフィルタ係数情報を復号化するステップと、参照画像として使用する復号画像又は復元画像を示す特定情報を復号化するステップと、特定情報に基づいて復号画像または復元画像を参照画像としてメモリに保存するステップと、を備えることを特徴とする動画像復号化方法を提供する。
【図面の簡単な説明】
【００１６】
【図１】図１は、第１の実施形態に係わる動画像符号化装置のブロック図である。
【図２】図２は、第１の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。
【図３】図３は、第１の実施形態に係わる動画像符号化装置における切替フィルタ処理部のブロック図である。
【図４】図４は、第1の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【図５】図５は、第1の実施形態に係わる動画像復号化装置のブロック図である。
【図６】図６は、第1の実施形態に係わる動画像復号化装置における第１の切替フィルタ処理部のブロック図である。
【図７】図７は、第1の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。
【図８】図８は、第1の実施形態に係わる動画像復号化装置における第２の切替フィルタ処理部のブロック図である。
【図９】図９は、第1の実施形態に係わる動画像復号化装置における第３の切替フィルタ処理部のブロック図である。
【図１０】図１０は、第1の実施形態に係わる動画像復号化装置における第４の切替フィルタ処理部のブロック図である。
【図１１】図１１は、第２の実施形態に係わる第１の動画像符号化装置のブロック図である。
【図１２】図１２は、第２の実施形態に係わる第１の動画像符号化装置における切替情報生成予測部のブロック図である。
【図１３】図１３は、第２の実施形態に係わる第１の動画像符号化装置における参照切替予測部のブロック図である。
【図１４】図１４は、第２の実施形態に係わる第１の動画像符号化装置におけるループフィルタ処理部のブロック図である。
【図１５】図１５は、第２の実施形態に係わる第１の動画像符号化装置の動作を示すフローチャートである。
【図１６】図１６は、第２の実施形態に係わる第１の動画像復号化装置のブロック図である。
【図１７】図１７は、第２の実施形態に係わる第１の動画像復号化装置における参照切替予測部のブロック図である。
【図１８】図１８は、第２の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。
【図１９】図１９は、第２の実施形態に係わる第２の動画像符号化装置のブロック図である。
【図２０】図２０は、第２の実施形態に係わる第２の動画像符号化装置における切替情報生成予測部のブロック図である。
【図２１】図２１は、第２の実施形態に係わる第２の動画像符号化装置における参照切替予測部のブロック図である。
【図２２】図２２は、第２の実施形態に係わる第２の動画像復号化装置のブロック図である。
【図２３】図２３は、第２の実施形態に係わる第２の動画像復号化装置における参照切替予測部のブロック図である。
【図２４】図２４は、第３の実施形態に係わる動画像符号化装置のブロック図である。
【図２５】図２５は、第３の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。
【図２６】図２６は、第３の実施形態に係わる動画像符号化装置における切替情報生成フィルタ処理部のブロック図である。
【図２７】図２７は、第３の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【図２８】図２８は、第３の実施形態に係わる動画像復号化装置のブロック図である。
【図２９】図２９は、第３の実施形態に係わる動画像復号化装置における切替情報生成フィルタ処理部のブロック図である。
【図３０】図３０は、第３の実施形態に係わる動画像復号化装置の動作を示すフローチャートである。
【図３１】図３１は、第１、第２、第３の実施形態に係わるシンタクス構造を示す図である。
【図３２】図３２は、第１、第２、第３の実施形態に係わるループフィルタデータシンタクスを示す図である。
【図３３】図３３は、マクロブロック毎にループフィルタの切り替えた場合の参照画像の例である。
【図３４】図３４は、非特許文献１における符号化／復号化装置のブロック図である。
【図３５】図３５は、特許文献１における符号化／復号化装置のブロック図である。
【図３６】図３６は、非特許文献２における符号化／復号化装置のブロック図である。
【図３７】図３７は、第４の実施形態に係わる動画像符号化装置における切替フィルタ処理部のブロック図である。
【図３８】図３８は、第４の実施形態に係わる動画像復号化装置における切替フィルタ処理部のブロック図である。
【図３９】図３９は、第４の実施形態に係わるブロックサイズ及びブロック分割方法を決める参照テーブルを示す図である。
【図４０】図４０は、第４の実施形態に係わるブロック分割の例を示す図である。
【図４１】図４１は、第４の実施形態に係わるブロック分割方法を切り替えた場合の参照画像の例である。
【図４２】図４２は、第４の実施形態に係わるループフィルタデータシンタクスを示す図である。
【図４３】図４３は、第５の実施形態に係わる動画像符号化装置におけるループフィルタ処理部のブロック図である。
【図４４】図４４は、第５の実施形態に係わる動画像符号化装置の動作を示すフローチャートである。
【図４５】図４５は、第６の実施形態に係わる局部復号画像フィルタ処理部のブロック図である。
【図４６】図４６は、第７の実施形態に係わる動画像符号化装置のブロック図である。
【図４７】図４７は、第８の実施形態に係わる動画像復号化装置のブロック図である。
【図４８】図４８は、第７の実施形態に係わる予測画像作成部の一例のブロック図である。
【図４９】図４９は、第７の実施形態に係わる予測画像作成部の別の例のブロック図である。
【図５０】図５０は、第９の実施形態に係わる階層的ブロック分割の例を示す図である。
【図５１】図５１は、第９の実施形態に係わる分割木及び分割されたブロックの例を示す図である。
【図５２】図５２は、第９の実施形態に係わる分割されたブロックの例を示す図である。
【図５３】図５３は、第９の実施形態に係わる各階層のブロックサイズの例を示した図である。
【図５４】図５４は、第９の実施形態に係わるブロック分割情報を含むシンタクスを示す図である。
【図５５】図５５は、第９の実施形態に係わるブロック分割情報を含む他のシンタクスを示す図である。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施形態について図面を参照して説明する。【００１８】
（第１の実施形態）
図１を参照して第１の実施形態に係わる動画像符号化装置を説明する。以下、図１の構成要素についてそれぞれ述べる。  
図１に示す動画像符号化装置１０００は、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、ループフィルタ処理部１０７、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。【００１９】
予測信号生成部１０１は、参照画像用バッファ１０８に格納されている符号化済みの参照画像信号１９を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き予測・動き補償による時間方向の予測や、画面内の符号化済みの画素からの空間方向の予測などを用いて良い。【００２０】
減算器１０２は、取得した入力画像信号１０と予測画像信号１１との差分を計算し、予測誤差画像信号１２を出力する。変換・量子化部１０３は、まず、予測誤差画像信号１２を取得して変換処理を行う。ここでは、変換・量子化部１０３は、例えばＤＣＴ（離散コサイン変換）などを用いて予測誤差画像信号１２の直交変換を行い、変換係数を生成する。別の実施形態として、ウェーブレット変換や独立成分解析などの手法を用いて変換係数を生成しても良い。次に、変換・量子化部１０３は、後述する符号化制御部１０９に設定されている量子化パラメータに基づいて生成した変換係数の量子化処理を行い、量子化後の変換係数１３を出力する。量子化後の変換係数１３は、後述するエントロピー符号化部１０４へ入力されると同時に、逆変換・逆量子化部１０５へも入力される。【００２１】
逆変換・逆量子化部１０５は、量子化後の変換係数１３を符号化制御部１０９に設定されている量子化パラメータに従って逆量子化し、得られた変換係数に対して逆変換（例えば、逆離散コサイン変換など）を行い、予測誤差画像信号１５を出力する。加算器１０６は、逆変換・逆量子化部１０５から取得した予測誤差画像信号１５と、予測信号生成部１０１で生成された予測画像信号１１とを加算し、局所復号画像信号１６を出力する。【００２２】
ループフィルタ処理部１０７は、局所復号画像信号１６及び入力画像信号１０を取得し、参照画像信号１９、フィルタ係数情報１７及び局所復号画像又は復元画像を参照画像として使用することを示す特定情報、具体的には局所復号画像か復元画像かを切り替える切替情報１８を出力する。ループフィルタ処理部１０７についての詳しい説明は後述する。参照画像用バッファ１０８は、ループフィルタ処理部１０７から取得した参照画像信号１９を一時保存する。参照画像用バッファ１０８に保存した参照画像信号１９は、予測信号生成部１０１によって予測画像信号１１を生成する際に参照される。【００２３】
一方、エントロピー符号化部１０４は、量子化後の変換係数１３に加えて、フィルタ係数情報１７、切替情報１８、その他、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどの符号化パラメータを取得し、エントロピー符号化（例えばハフマン符号化又は算術符号化など）して符号化データ１４として出力する。符号化制御部１０９は、発生符号量のフィードバック制御及び量子化制御、モード制御などを行ない、符号化全体の制御を行なう。【００２４】
次に、第1の実施形態に係わる動画像符号化装置におけるループフィルタ処理部１０７について、図２及び図３を用いて詳しく述べる。以下、図２及び図３の構成要素についてそれぞれ述べる。【００２５】
図２に示すループフィルタ処理部１０７は、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成部１１２を有し、更に、切替フィルタ処理部１１１は、図３に示すように、フィルタ処理部１１３及びループフィルタ切替部１１４を有する。図３のスイッチＳＷは、端子Ａと端子Ｂの接続を切り替える。フィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を取得し、所定のフィルタ係数情報１７を設定する。フィルタ係数情報１７の設定方法の詳細については後述する。設定したフィルタ係数情報１７は、後述する切替フィルタ処理部１１１及びエントロピー符号化部１０４へ入力される。【００２６】
切替フィルタ処理部１１１は、内部にフィルタ処理部１１３及びループフィルタ切替部１１４を有し、局所復号画像１６、フィルタ係数情報１７及び切替情報１８を取得して、参照画像信号１９を出力する。切替情報生成部１１２は、切替フィルタ処理部１１１から参照画像信号１９を取得するとともに、入力画像信号１０を取得し、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部１１１へ入力されるとともに、エントロピー符号化部１０４へ入力される。切替判定方法の詳細については後述する。【００２７】
フィルタ処理部１１３は、局所復号画像信号１６及びフィルタ係数情報１７を取得し、フィルタ係数情報１７に従って局所復号画像信号１６に対しフィルタ処理を行い、復元画像信号２０を生成する。生成した復元画像信号２０は、後述するループフィルタ切替部１１４へ入力される。ループフィルタ切替部１１４は、切替情報１８を取得し、切替情報１８に従って内部に有するスイッチＳＷにより端子Ａと端子Ｂの接続を切り替え、局所復号画像信号１６又は復元画像信号２０を参照画像信号１９として出力する。【００２８】
以上が第１の実施形態に係わる動画像符号化装置の構成である。【００２９】
次に、図１、図２、図３及び図４を用いて、第１の実施形態に係わる動画像符号化装置におけるループフィルタに関する動作について詳しく説明する。なお、図４は、第１の実施形態に係わる動画像符号化装置１０００におけるループフィルタに関する動作を示すフローチャートである。【００３０】
まず、図１の動画像符号化装置１０００に入力画像信号１０が入力されると、減算器１０２はと入力画像信号１０と予測信号生成部１０１から取得した予測画像信号１１との減算処理を行い、予測誤差画像信号１２を生成する。生成した予測誤差画像信号１２は、変換・量子化部１０３において変換、量子化され、量子化された変換係数１３として出力され、エントロピー符号化部１０４で符号化される。一方、量子化された変換係数１３は、動画像符号化装置１０００の内部に備えた逆変換・逆量子化部１０５で逆変換及び逆量子化され、予測誤差画像信号１５として出力される。予測誤差画像信号１５は、予測信号生成部１０１で出力される予測画像信号１１と加算器１０６で加算され、局所復号画像信号１６が生成される。  
上記一連の処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な符号化処理である。【００３１】
ここでは、第１の実施形態に係わる動画像符号化装置１０００における特徴的な処理であるループフィルタに関する動作について図２、図３及び図４を用いて詳しく説明する。【００３２】
まず、図２のループフィルタ処理部１０７の内部に有するフィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を受け、フィルタ係数情報１７の設定を行なう（ステップＳ１１００）。ここでは、フィルタ設定部１１０は画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。フィルタ設定部１１０は設定したフィルタ係数情報１７を、図３のフィルタ処理部１１３へ出力するとともに、エントロピー符号化部１０４へ出力する。【００３３】
次に、図２の切替フィルタ処理部１１１は、局所復号画像信号１６、フィルタ係数情報１７及び切替情報１８を受け、切替情報１８に基づいて、局所復号画像信号１６またはフィルタ処理部１１３で生成した復元画像信号２０を参照画像信号１９として出力する（ステップＳ１１０１〜Ｓ１１０９）。ここでは、まず、局所復号画像信号１６を参照画像信号１９とした場合と、復元画像信号２０を参照画像信号１９とした場合とについて、切替情報生成部１１２が切替判定処理を行い、局所復号画像信号１６または復元画像信号２０のどちらを参照画像信号１９とするかを決定するための切替情報１８を生成する。生成した切替情報１８に基づいてループフィルタ切替部１１４の内部のスイッチＳＷが切り替えられ、参照画像信号１９が出力される。ループフィルタ処理部１０７におけるステップＳ１１０１からステップＳ１１０９までの動作の詳細な説明を以下で述べる。【００３４】
まず、図３のループフィルタ切替部１１４におけるスイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として切替情報生成部１１２へ入力する（ステップＳ１１０１）。次に、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として切替情報生成部１１２へ入力する（ステップＳ１１０２）。ここで、スイッチＳＷが端子Ｂに接続されると、フィルタ処理部１１３は、フィルタ係数情報１７に基づいて局所復号画像信号１６に対してフィルタ処理を施し、復元画像信号２０を生成する。例として、局所復号画像上の位置（ｘ，ｙ）の画素をＦ（ｘ，ｙ）とし、２次元フィルタの幅をＷ、高さをＨとし、フィルタ係数をｈ（ｉ，ｊ）（−ｗ≦ｉ≦ｗ、−ｈ≦ｊ≦ｈ、ｗ＝Ｗ／２、ｈ＝Ｈ／２）とすると、復元画像Ｇ（ｘ，ｙ）は以下の式で表わされる。
【数１】
2009110160.tif 000003
【００３５】
次に、図２の切替情報生成部１１２は、局所復号画像信号１６と入力画像信号１０との残差二乗和ＳＳＤＡ、及び復元画像信号２０と入力画像信号１０との残差二乗和ＳＳＤＢを算出する（ステップＳ１１０３）。ここでは、切替判定処理を画像の局所領域毎に行うこととし、局所領域内の画素位置をｉ、全画素数Ｎとし、局所復号画像信号１６をＦi、復元画像信号２０をＧi、入力画像信号１０をＩiとすると、ＳＳＤＡ及びＳＳＤＢは次式で表わされる。
【数２】
2009110160.tif 000004
【００３６】
次に、ＳＳＤＡ及びＳＳＤＢに基づいて以下の切替判定処理を行う（ステップＳ１１０４）。ＳＳＤＡがＳＳＤＢ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ１１０５）。逆に、ＳＳＤＡがＳＳＤＢより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ１１０６）。ここで、画像を１６×１６画素単位で分割して得られるマクロブロックと呼ばれる単位で上記切替判定処理を行った場合の参照画像の例を図３３に示す。局所領域をマクロブロックとした場合、上記［数２］のＮは２５６となり、切替情報１８はマクロブロック単位で出力される。別の実施形態として、切替判定処理は、フレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位に画像信号を判定しても良く、その場合、切替情報１８も判定結果に対応した単位で出力する。【００３７】
次に、図３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受け、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ１１０７）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４はスイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として参照画像用バッファ１０８に一時保存する（ステップＳ１１０８）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４はスイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ１０８に一時保存する（スイッチＳ１１０９）。  
以上が、ループフィルタ処理部１０７におけるステップＳ１１０１からステップＳ１１０９までの動作である。【００３８】
最後に、フィルタ設定部１１０で生成したフィルタ係数情報１７、及び切替情報生成部１１２で生成した切替情報１８は、エントロピー符号化部１０４で符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置２０００へと送信される（ステップＳ１１１０）。【００３９】
ここで、フィルタ係数情報１７及び切替情報１８の符号化方法に関して、本実施形態で用いられるシンタクス構造の概略を図３１を参照して詳しく説明する。以下の例では、フィルタ係数情報１７をスライス単位で設定し、切替情報１８をマクロブロック単位で設定するものとする。【００４０】
シンタクスは主に３つのパートからなり、ハイレベルシンタクス（１９００）には、スライス以上の上位レイヤのシンタクス情報が詰め込まれている。スライスレベルシンタクス（１９０３）には、スライス毎に必要な情報が明記されており、マクロブロックレベルシンタクス（１９０７）には、マクロブロック毎に必要とされる変換係数データや予測モード情報、動きベクトルなどが明記されている。各シンタックスは、更に詳細なシンタクスで構成されており、ハイレベルシンタクス（１９００）は、シーケンスパラメータセットシンタクス（１９０１）とピクチャパラメータセットシンタクス（１９０２）などのシーケンス、ピクチャレベルのシンタクスから構成されている。スライスレベルシンタクス（１９０３）は、スライスヘッダーシンタクス（１９０４）、スライスデータシンタクス（１９０５）、ループフィルタデータシンタクス（１９０６）などから成る。更に、マクロブロックレベルシンタクス（１９０７）は、マクロブロックレイヤーシンタクス（１９０８）、マクロブロックプレディクションシンタクス（１９０９）などから構成されている。【００４１】
ループフィルタデータシンタクス（１９０６）には、図３２（ａ）に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ係数情報１７及び切替情報１８が記述されている。ここで、フィルタ係数情報１７である図３２（ａ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置１０００及び後述する動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、図３２（ａ）のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは切替情報１８であり、スライス内のマクロブロック数の合計であるＮｕｍＯｆＭａｃｒｏｂｌｏｃｋ分のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを伝送する。  
以上が、動画像符号化装置１０００におけるループフィルタに係わる動作についての説明である。【００４２】
次に、動画像符号化装置１０００に対する動画像復号化装置について説明する。  
図５を参照して第１の実施形態に係わる動画像復号化装置を説明する。以下、図５の構成要素についてそれぞれ述べる。  
図５に示す動画像復号化装置２０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、切替フィルタ処理部２０５、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。【００４３】
エントロピー復号化部２０１は、図３１に示されるシンタクス構造に従って、ハイレベルシンタクス、スライスレベルシンタクス、マクロブロックレベルシンタクスの夫々に対して、順次符号化データ１４の各シンタクスの符号列が復号され、量子化された変換係数１３、フィルタ係数情報１７、切替情報１８などが復元される。【００４４】
逆変換・逆量子化部２０２は、量子化された変換係数１３を取得して逆量子化し、逆直交変換（例えば逆離散コサイン変換など）を行ない、予測誤差画像信号１５を出力する。ここでは、逆直交変換について説明したが、動画像符号化装置１０００でウェーブレット変換などが行なわれている場合、逆変換・逆量子化部２０２は、対応する逆量子化及び逆ウェーブレット変換などを実行する。【００４５】
予測信号生成部２０３は、参照画像用バッファ２０６に格納されている復号化済みの参照画像信号１９を取得して所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置１０００と同様の予測処理が実行されることに注意する。  
加算器２０４は、取得した予測誤差画像信号１５及び予測画像信号１１を加算し、復号画像信号２１を生成する。【００４６】
切替フィルタ処理部２０５は、復号画像信号２１、フィルタ係数情報１７及び切替情報１８を取得し、参照画像信号１９を出力する。切替フィルタ処理部２０５についての詳しい説明は後述する。  
参照画像用バッファ２０６は、切替フィルタ処理部２０５から取得した参照画像信号１９を一時保存する。参照画像用バッファ２０６に保存した参照画像信号１９は、予測信号生成部２０３によって予測画像信号１１を生成する際に参照される。【００４７】
復号化制御部２０７は、復号化タイミングの制御などを行い、復号化全体の制御を行う。【００４８】
次に、第1の実施形態に係わる動画像復号化装置における切替フィルタ処理部２０５について図６を用いて詳しく述べる。以下、図６の構成要素についてそれぞれ述べる。  
図６に示す切替フィルタ処理部２０５Ａは、フィルタ処理部２０８及びループフィルタ切替部２０９を有する。スイッチＳＷは、端子Ａと端子Ｂの接続を切り替える。【００４９】
フィルタ処理部２０８は、復号画像信号２１及びエントロピー復号化部２０１で復元したフィルタ係数情報１７を受け、フィルタ係数情報１７に従って復号画像信号２１に対しフィルタ処理を行い、復元画像信号２０を生成する。生成した復元画像２０は、後述するループフィルタ切替部２０９へ入力されるとともに、出力画像信号２２として復号化制御部２０７が管理するタイミングで出力される。【００５０】
ループフィルタ切替部２０９は、エントロピー復号化部２０１で復元した切替情報１８を受け、切替情報１８に従って内部に有するスイッチＳＷにより端子Ａと端子Ｂの接続を切り替え、復号画像信号２１又は復元画像信号２０を参照画像信号１９として出力する。  
以上が第１の実施形態に係わる動画像復号化装置の構成である。【００５１】
次に、図５、図６及び図７を用いて、第１の実施形態に係わる動画像復号化装置におけるループフィルタに関する動作について詳しく説明する。なお、図７は、第１の実施形態に係わる動画像復号化装置２０００におけるループフィルタに関する動作を示すフローチャートである。【００５２】
まず、図５の動画像復号化装置２０００に符号化データ１４が入力されると、エントロピー復号化部２０１によって、変換係数１３、フィルタ係数情報１７、切替情報１８に加え、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図３１のシンタクス構造に従って復号される。次に、エントロピー復号化部２０１によって復号された変換係数１３は、逆変換・逆量子化部２０２へと入力され、復号化制御部２０７にて設定されている量子化パラメータに従って逆量子化される。逆量子化された変換係数に対して逆直交変換（例えば離散コサイン変換など）が行われ、予測誤差画像信号１５が復元される。予測誤差画像信号１５は、予測信号生成部２０３によって出力された予測画像信号１１と加算器２０４にて加算され、復号画像信号２１が生成される。  
上記一連の処理は、予測処理と変換処理を行う所謂ハイブリッド符号化と呼ばれる動画像符号化における一般的な復号化処理である。【００５３】
ここでは、第１の実施形態に係わる動画像復号化装置２０００における特徴的な処理であるループフィルタに関する動作について図６及び図７を用いて詳しく説明する。  
まず、エントロピー復号化部２０１は、図３１のシンタクス構造に従って、フィルタ係数情報１７及び切替情報１８をエントロピー復号化する（ステップＳ２１００）。図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）には、図３２（ａ）に示すように、本実施形態のループフィルタに関するパラメータであるフィルタ係数情報１７及び切替情報１８が記述されている。ここで、フィルタ係数情報１７である図３２（ａ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、前述した動画像符号化装置１０００と動画像復号化装置２０００において同様の値を用いなければならないことに注意する。また、図３２（ａ）のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは切替情報１８であり、スライス内のマクロブロック数の合計であるＮｕｍＯｆＭａｃｒｏｂｌｏｃｋ分のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが復号される。【００５４】
次に、図６のフィルタ処理部２０８は、復号したフィルタ係数情報１７を受ける（ステップＳ２１０１）。ループフィルタ切替部２０９は、復号した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受けると（ステップＳ２１０２）、このｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ２１０３）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ２１０４）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ２１０５）。ここで、スイッチＳＷが端子Ｂに接続されると、フィルタ処理部１１３は、フィルタ係数情報１７に基づいて復号画像信号２１に対してフィルタ処理を施し、復元画像信号２０を生成する。例として、復号画像上の位置（ｘ，ｙ）の画素をＦ（ｘ，ｙ）とし、２次元フィルタの幅をＷ、高さをＨとし、フィルタ係数をｈ（ｉ，ｊ）（−ｗ≦ｉ≦ｗ、−ｈ≦ｊ≦ｈ、ｗ＝Ｗ／２、ｈ＝Ｈ／２）とすると、復元画像Ｇ（ｘ，ｙ）は［数１］で表わされる。【００５５】
ここでは、ループフィルタ切替部２０９は、図３２（ａ）のシンタクスに従って、マクロブロック単位で切替情報１８を受けてスイッチＳＷを切り替える。別の実施形態として、動画像符号化装置１０００がフレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位で切替情報１８を符号化する場合、動画像復号化装置２０００では、同様の単位で切替情報１８の復号化、及び切替部２０９におけるスイッチＳＷの切り替えを実行する。  
以上が、動画像復号化装置２０００におけるループフィルタに係わる動作についての説明である。【００５６】
このように、第１の実施形態の係わる動画像符号化装置によれば、入力画像と予測信号との誤差が最小となるようにループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、復元画像の画質を向上させることが可能となる。また、ループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号２０のどちらを参照画像として用いるかを局所領域毎に切り替えることにより、フィルタにより画質が低下する領域については復元画像信号２０を参照画像として用いないことで画質低下の伝播を防ぐとともに、画質が向上する領域については復元画像信号２０を参照画像として用いることで予測精度を向上させることが可能となる。【００５７】
また、第１の実施形態の係わる動画像復号化装置２０００によれば、動画像符号化装置１０００と同様のフィルタ係数情報、切替情報を用いてフィルタ処理及び切替処理を行なうことにより、動画像符号化装置１０００における参照画像と動画像復号化装置２０００における参照画像とが同期することを保証することができる。【００５８】
なお、第１の実施形態に係わる動画像復号化装置２０００における切替フィルタ処理部２０５Ａでは、出力画像信号２２として参照画像信号１９を出力していたが、図８の切替フィルタ処理部２０５Ｂのように復号画像信号２１を出力画像信号２２として出力しても良く、また、図９の切替フィルタ処理部２０５Ｃのように復元画像信号２０を出力画像信号２２として出力しても良い。この場合、復号画像又は復元画像を出力画像として使用することを示す切替情報が生成される。【００５９】
また、図１０の切替フィルタ処理部２０５Ｄのように、ポストフィルタ切替部２１０を新たに備え、切替情報１８によってスイッチＳＷ２を切り替えて、出力画像信号２２を切り替えても良い。この場合、出力画像信号２２を切り替える切替情報１８として、例えば、図３２（ｄ）のようにｐｏｓｔ＿ｆｉｌｔｅｒ＿ｆｌａｇをスライス単位でシンタクスに記述し、それによってスイッチＳＷ２を切り替える。ｐｏｓｔ＿ｆｉｌｔｅｒ＿ｆｌａｇは、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇと同様に、フレーム単位又はマクロブロック単位若しくはマクロブロックとは異なるサイズのブロック単位に記述しても良い。【００６０】
なお、第１の実施形態に係わる動画像符号化装置１０００及び動画像復号化装置２０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。【００６１】
なお、この動画像符号化装置１０００及び動画像復号化装置２０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、ループフィルタ処理部１０７、参照画像用バッファ１０８、符号化制御部１０９、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成部１１２、フィルタ処理部１１３、ループフィルタ切替部１１４、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、ループフィルタ処理部２０５、参照画像用バッファ２０６、復号化制御部２０７、フィルタ処理部２０８、ループフィルタ切替部２０９及びポストフィルタ切替部２１０は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置１０００及び動画像復号化装置２０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスク又はＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。【００６２】
（第２の実施形態）
図１１を参照して第２の実施形態に係わる動画像符号化装置を説明する。以下、図１１の構成要素についてそれぞれ述べる。  
図１１に示す動画像符号化装置３０００は、切替情報生成予測部３０１Ａ、ループフィルタ処理部３０２、局所復号画像用バッファ３０３、復元画像用バッファ３０４、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６を有し、符号化制御部１０９によって制御される。【００６３】
ここで、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６及び符号化制御部１０９は、第１の実施形態に係わる図１の動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【００６４】
切替情報生成予測部３０１Ａは、図１２に示すように、内部に参照切替予測部３０５Ａ及び切替情報生成部１１２を有する。ここで、切替情報生成部１１２は、第１の実施形態に係わる動画像符号化装置における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。切替情報生成予測部３０１Ａは、局所復号画像信号１６、復元画像信号２０及び入力画像信号１０を取得し、予測画像信号１１及び切替情報１８を出力する。【００６５】
ループフィルタ処理部３０２は、図１４に示すように、フィルタ設定部１１０及びフィルタ処理部１１３を有する。フィルタ設定部１１０及びフィルタ処理部１１３は、第１の実施形態に係わる動画像符号化装置における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。ループフィルタ処理部３０２は、局所復号画像信号１６及び入力画像信号１０を取得し、復元画像信号２０及びフィルタ係数情報１７を出力する。【００６６】
局所復号画像用バッファ３０３は、加算器１０６で生成した局所復号画像信号１６を取得し、一時保存する。局所復号画像用バッファ３０３に保存した局所復号画像信号１６は、切替情報生成予測部３０１Ａに入力される。  
復元画像用バッファ３０４は、ループフィルタ処理部３０２で生成した復元画像信号２０を取得し、一時保存する。復元画像用バッファ３０４に保存した復元画像信号２０は、切替情報生成予測部３０１Ａに入力される。【００６７】
参照切替予測部３０５Ａは、図１３に示すように、予測信号生成部１０１及びループフィルタ切替部１１４を有する。ここで、予測信号生成部１０１及びループフィルタ切替部１１４は、それぞれ第１の実施形態に係わる動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。参照切替予測部３０５Ａは、局所復号画像信号１６、復元画像信号２０及び切替情報１８を取得し、取得した切替情報１８に基づいて、局所復号画像信号１６または復元画像信号２０の何れかを参照画像として所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き予測・動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良い。  
以上が第２の実施形態に係わる動画像符号化装置の構成である。【００６８】
次に、図１１、図１２、図１３、図１４及び図１５を用いて、第２の実施形態に係わる動画像符号化装置の動作について詳しく説明する。なお、図１５は、第２の実施形態に係わる動画像符号化装置３０００におけるループフィルタに関する動作を示すフローチャートである。【００６９】
まず、従来のハイブリッド符号化や第１の実施形態に係わる動画像符号化装置１０００と同様に、予測、変換、量子化、エントロピー符号化を行なうとともに、符号化装置内部で局所復号を行い、局所復号画像信号１６を生成する。次に、生成した局所復号画像信号１６を局所復号画像用バッファ３０３に一時保存する（ステップＳ３１００）。ループフィルタ処理部３０２内部のフィルタ設定部１１０において、局所復号画像信号１６及び入力画像信号１０を取得し、フィルタ係数情報１７の設定を行なう（ステップＳ３１０１）。ここでは、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。設定したフィルタ係数情報１７は、同じくループフィルタ処理部３０２内部のフィルタ処理部１１３へ出力されるとともに、エントロピー符号化部１０４へ出力される。【００７０】
ループフィルタ処理部３０２内部のフィルタ処理部１１３は、局所復号画像信号１６に対してフィルタ設定部１１０より取得したフィルタ係数情報１７を用いてフィルタ処理を行い、復元画像信号２０を生成する（ステップＳ３１０２）。生成した復元画像信号２０は復元画像用バッファ３０４に一時保存される（ステップＳ３１０３）。【００７１】
フィルタ設定部１１０で生成したフィルタ係数情報１７をエントロピー符号化部１０４で符号化し、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化して、後述する動画像復号化装置４０００へと送信する（ステップＳ３１０４）。この際、フィルタ係数情報１７は、図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）において、図３２（ｂ）のように記述される。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、当該動画像符号化装置３０００と後述する動画像復号化装置４０００において同様の値を用いなければならないことに注意する。【００７２】
次に、切替情報生成予測部３０１Ａは、局所復号画像信号１６または復元画像信号２０を参照画像として所定の予測処理を行い、予測画像信号１１を出力する（ステップＳ３１０５〜３１１３）。ここでは、まず、参照切替予測部３０５Ａは局所復号画像を参照画像とした場合の予測画像と、復元画像を参照画像とした場合の予測画像をそれぞれ取得し、それらに基づいて切替情報生成部１１２は切替判定処理を行い、局所復号画像または復元画像のどちらを参照画像とするかを決定するための切替情報１８を生成する。参照切替予測部３０５Ａは生成した切替情報１８に基づいて図１３のループフィルタ切替部１１４内部のスイッチＳＷを切り替えて、予測画像信号１１を出力する。ステップ３１０５からステップ３１１３までの動作の詳細な説明を以下で述べる。【００７３】
まず、参照切替予測部３０５Ａは図１３のループフィルタ切替部１１４におけるスイッチＳＷを端子Ａに接続し、予測信号生成部１０１において局所復号画像信号１６を参照画像として予測画像信号１１を取得し、図１２の切替情報生成部１１２へ入力する（ステップＳ３１０５）。次に、参照切替予測部３０５ＡはスイッチＳＷを端子Ｂに接続し、予測信号生成部１０１において復元画像信号２０を参照画像として予測画像信号１１を取得し、図１２の切替情報生成部１１２へ入力する（ステップＳ３１０６）。【００７４】
切替情報生成部１１２は、局所復号画像信号１６から取得した予測画像と入力画像信号１０との残差二乗和ＳＳＤＡ及び、復元画像信号２０から取得した予測画像と入力画像信号１０との残差二乗和ＳＳＤＢを算出する（ステップＳ３１０７）。ＳＳＤＡ及びＳＳＤＢは、局所復号画像信号１６から取得した予測画像をＦi、復元画像信号２０から取得した予測画像をＧiとすると、［数２］と同様の式で表される。【００７５】
切替情報生成部１１２は、ＳＳＤＡ及びＳＳＤＢに基づいて以下の切替判定処理を行う（ステップＳ３１０８）。ＳＳＤＡがＳＳＤＢ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ３１０９）。逆に、ＳＳＤＡがＳＳＤＢより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ３１１０）。ここでは、上記切替判定処理をマクロブロック毎に行い、切替情報１８をマクロブロック単位で出力する。別の実施形態として、切替判定処理を、フレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８も判定結果に対応した単位で出力する。【００７６】
また、予測信号生成部１０１における予測処理が動き予測である場合、上記切替判定処理は、動き予測処理として一般的な方法を用いて良く、例えば、残差二乗和Ｄに対し、切替情報、参照画像インデクス、動きベクトルなどのパラメータ情報の符号量Ｒを加味した次式のようなコストＪを局所復号画像及び復元画像それぞれについて計算し、コストＪを用いて判定を行っても良い。
【数３】
2009110160.tif 000005
【００７７】
［数３］のλは定数で与えられ、量子化幅や量子化パラメータの値に基づいて決められる。このようにして得られたコストＪがもっとも小さい値を与える切替情報、参照画像インデクス、動きベクトルを符号化する。また、本実施形態では、残差二乗和を用いたが、別の実施形態として、残差絶対値和を用いても良いし、これらをアダマール変換したり、近似した値を利用したりしても良い。また、入力画像のアクティビティを用いてコストを作成しても良いし、量子化幅、量子化パラメータを利用してコスト関数を作成しても良い。また、予測処理は動き予測に限るものではなく、予測処理として何らかのパラメータを必要とする予測であれば、そのパラメータの符号量をＲとして上記の式を用いてコストＪを算出しても良い。【００７８】
次に、図１３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを受け、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ３１１１）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として出力して、予測信号生成部１０１において予測画像信号１１を生成する（ステップＳ３１１２）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として出力して、予測信号生成部１０１において予測画像信号１１を生成する（ステップＳ３１１３）。  
以上が、切替情報生成予測部３０１Ａにおけるステップ３１０５からステップ３１１３までの動作である。【００７９】
最後に、エントロピー符号化部１０４は切替情報１８を符号化し、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化して後述する動画像復号化装置４０００へと送信する（ステップＳ３１１４）。この際、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇは、図３１のシンタクス構造におけるマクロブロックレベルシンタクス（１９０７）に属するマクロブロックレイヤーシンタクス（１９０８）において、図３２（ｃ）のように記述される。  
以上が、動画像符号化装置３０００におけるループフィルタに係わる動作についての説明である。【００８０】
次に、動画像符号化装置３０００に対する動画像復号化装置について説明する。図１６を参照して第２の実施形態に係わる動画像復号化装置を説明する。以下、図１６の構成要素についてそれぞれ述べる。  
図１６に示す動画像復号化装置４０００は、参照切替予測部４０１Ａ、復号画像用バッファ４０２、復元画像用バッファ４０３、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、フィルタ処理部２０８を有し、復号化制御部２０６によって制御される。【００８１】
ここで、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、フィルタ処理部２０８、及び復号化制御部２０６は、第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【００８２】
参照切替予測部４０１Ａは、図１７に示すように、予測信号生成部２０３及びループフィルタ切替部２０９を有する。予測信号生成部２０３及びループフィルタ切替部２０９は、それぞれ第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。参照切替予測部４０１Ａは、復号画像信号２１、復元画像信号２０及びエントロピー復号化部２０１で復号した切替情報１８を受け、受けた切替情報１８に基づいて、復号画像信号２１または復元画像信号２０の何れかを参照画像として所定の予測処理を行い、予測画像信号１１を出力する。予測処理は、例えば、動き補償による時間方向の予測や、画面内の復号化済みの画素からの空間方向の予測などを用いて良いが、動画像符号化装置３０００と同様の予測処理が実行されることに注意する。【００８３】
復号画像用バッファ４０２は、加算器２０４で生成した復号画像信号２１を取得し、一時保存する。復号画像用バッファ４０２に保存した復号画像信号２１は、参照切替予測部４０１Ａに入力される。復元画像用バッファ４０３は、フィルタ処理部２０８で生成した復元画像信号２０を取得し、一時保存する。復元画像用バッファ４０３に保存した復元画像信号２０は、参照切替予測部４０１Ａに入力される。  
以上が第２の実施形態に係わる動画像復号化装置の構成である。【００８４】
次に、図１６、図１７及び図１８を用いて、第２の実施形態に係わる動画像復号化装置の動作について詳しく説明する。なお、図１８は、第２の実施形態に係わる動画像復号化装置４０００におけるループフィルタに関する動作を示すフローチャートである。【００８５】
まず、符号化データ１４が動画像復号化装置４０００に入力されると、エントロピー復号化部２０１によって、フィルタ係数情報１７、切替情報１８に加え、変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどが図３１のシンタクス構造に従って復号される（ステップＳ４１００）。【００８６】
図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）内には、図３２（ｂ）に示すように、フィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置３０００と動画像復号化装置４０００において同様の値を用いなければならないことに注意する。【００８７】
また、図３１のシンタクス構造におけるマクロブロックレベルシンタクス（１９０７）に属するマクロブロックレイヤーシンタクス（１９０８）内には、図３２（ｃ）に示すように、切替情報１８としてｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが記述されている。【００８８】
エントロピー復号化部２０１によって復号された変換係数１３は、従来のハイブリッド符号化や第１の実施形態に係わる動画像復号化装置２０００と同様に、エントロピー復号化、逆量子化、逆変換され、参照切替予測部４０１Ａで出力された予測画像信号１１と加算されて、復号画像信号２１として出力される。復号画像信号２１は、フィルタ処理部２０８へ出力されるとともに、復号画像用バッファ４０２に一時保存される（ステップＳ４１０１）。【００８９】
フィルタ処理部２０８は、エントロピー復号化部２０１で復元したフィルタ係数情報１７を取得する（ステップＳ４１０２）。また、フィルタ処理部２０８は、復号画像信号２１を受け、復号画像に対してフィルタ係数情報１７を用いてフィルタ処理を行い、復元画像信号２０を生成する（ステップＳ４１０３）。フィルタ処理部２０８は、生成した復元画像信号２０を出力画像信号２２として出力するとともに、復元画像用バッファ４０３に一時保存する（ステップＳ４１０４）。【００９０】
次に、参照切替予測部４０１Ａは、復号画像信号２１または復元画像信号２０を参照画像として予測画像信号１１を生成する（ステップ４１０５〜４１０８）。以下、ステップ４１０５からステップ４１０８の動作について説明する。【００９１】
まず、図１７の参照切替予測部４０１Ａは、復号した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得する（ステップＳ４１０５）。次に、参照切替予測部４０１Ａ内部のループフィルタ切替部２０９は、取得したｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに基づいてスイッチＳＷを切り替える（ステップＳ４１０６）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として取得して、予測信号生成部２０３に送る。予測信号生成部２０３は復号画像信号２１に対応する参照画像信号１９に基づいて予測画像信号１１を生成する（ステップＳ４１０７）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０９は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として取得して、予測信号生成部２０３に送る。予測信号生成部２０３は復元画像信号２０に対応する参照画像信号１９に基づいて予測画像信号１１を生成する（ステップＳ４１０８）。  
以上が、参照切替予測部４０１ＡにおけるステップＳ４１０５からステップＳ４１０８までの動作である。【００９２】
ここでは、参照切替予測部４０１Ａは、図３２（ｃ）のシンタクスに従って、マクロブロック単位で切替情報１８を取得するとともに、スイッチＳＷを切り替える。別の実施形態として、動画像符号化装置３０００がフレーム単位又はスライス単位若しくはマクロブロックとは異なるサイズのブロック単位で切替情報１８を符号化する場合、動画像復号化装置４０００は、同様の単位で切替情報１８の復号化、及びループフィルタ切替部２０９におけるスイッチＳＷの切り替えを実行する。  
以上が、動画像復号化装置４０００におけるループフィルタに係わる動作についての説明である。【００９３】
このように、第２の実施形態の係わる動画像符号化装置によれば、入力画像と予測信号との誤差が最小となるようなループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、参照画像の画質を向上させることが可能となる。また、切替情報生成予測部３０１Ａの内部に備えたループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号２０のどちらを参照画像として予測処理を行なうかを切り替えることにより、フィルタにより画質が低下する領域については、復元画像信号２０を参照画像として用いないことで画質低下の伝播を防ぐとともに、画質が向上する領域については、復元画像信号２０を参照画像として用いることで予測精度を向上させることが可能となる。【００９４】
また、第２の実施形態の係わる動画像復号化装置４０００によれば、動画像符号化装置３０００と同様のフィルタ係数情報、切替情報を用いてフィルタ処理及び参照画像の切替を行なうことにより、動画像符号化装置３０００における参照画像と動画像復号化装置４０００における参照画像とが同期することを保証することができる。【００９５】
なお、第２の実施形態に係わる動画像復号化装置４０００においては、フィルタ処理部２０８で生成した復元画像信号２０を出力画像信号２２として出力していたが、別の実施形態として、復号画像信号２１を出力画像信号２２として出力しても良い。また、第２の実施形態に係わる動画像符号化装置３０００及び動画像復号化装置４０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。【００９６】
また、第２の実施形態に係わる動画像符号化／復号化装置において、上記実施形態では、復元画像用バッファに一時保存しておいた復元画像信号２０を参照切替予測部４０１Ａで取得して用いているが、別の実施形態として、復元画像用バッファを持たずに参照切替予測部内部にフィルタ処理部を備えることにより、参照画像切替予測部内部で復元画像を生成しても良い。このような実施形態における動画像符号化装置及び動画像復号化装置に関する図を図１９〜図２３に示す。【００９７】
図１９の動画像符号化装置３００１は、切替情報生成予測部３０１Ｂを有し、図２０の切替情報生成予測部３０１Ｂは、参照切替予測部３０５Ｂを有する。図２１の参照切替予測部３０５Ｂは、内部にフィルタ処理部１１３を備え、これにより、局所復号画像信号１６及びフィルタ係数情報１７を取得することで復元画像信号２０を生成することができる。また、図２２の動画像復号化装置４００１は、参照切替予測部４０１Ｂを有する。図２３の参照切替予測部４０１Ｂは、内部にフィルタ処理部２０８を備え、これにより、復号画像信号２１及びフィルタ係数情報１７を取得することで復元画像信号２０を生成することができる。【００９８】
このように、動画像符号化装置３００１及び動画像復号化装置４００１のような構成をとることによって、復元画像用バッファに必要なメモリ量を削減しつつ、動画像符号化装置３０００及び動画像復号化装置４０００と同じ動作を実現することが可能となる。【００９９】
なお、この動画像符号化装置３０００、３００１、及び動画像復号化装置４０００、４００１は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、切替情報生成予測部３０１、ループフィルタ処理部３０２、局所復号画像用バッファ３０３、復元画像用バッファ３０４、参照切替予測部３０５、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、符号化制御部１０９、フィルタ設定部１１０、切替情報生成部１１２、フィルタ処理部１１３、ループフィルタ切替部１１４、参照切替予測部４０１、復号画像用バッファ４０２、復元画像用バッファ４０３、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、復号化制御部２０６、フィルタ処理部２０８、及びループフィルタ切替部２０９は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置３０００、３００１及び動画像復号化装置４０００、４００１は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、局所復号画像用バッファ３０３、復元画像用バッファ３０４、復号画像用バッファ４０２、及び復元画像用バッファ４０３は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。【０１００】
（第３の実施形態）
図２４を参照して第３の実施形態に係わる動画像符号化装置を説明する。以下、図２４の構成要素についてそれぞれ述べる。  
図２４に示す動画像符号化装置５０００は、ループフィルタ処理部５０１、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８を有し、符号化制御部１０９によって制御される。【０１０１】
ここで、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８、及び符号化制御部１０９は、第１の実施形態に係わる図１の動画像符号化装置１０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。  
ループフィルタ処理部５０１は、局所復号画像信号１６及び入力画像信号１０を受け、参照画像信号１９及びフィルタ係数情報１７を出力する。ループフィルタ処理部５０１についての詳しい説明は後述する。【０１０２】
次に、第３の実施形態に係わる動画像符号化装置におけるループフィルタ処理部５０１について、図２５及び図２６を用いて詳しく述べる。以下、図２５及び図２６の構成要素についてそれぞれ述べる。  
図２５に示すループフィルタ処理部５０１は、フィルタ設定部１１０及び切替情報生成フィルタ処理部５０２を有し、更に、切替情報生成フィルタ処理部５０２は、図２６に示すように、切替フィルタ処理部１１１及び切替情報生成部５０３を有する。ここで、フィルタ設定部１１０、切替フィルタ処理部１１１は、第1の実施形態に係わる図２のループフィルタ処理部１０７における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【０１０３】
切替情報生成部５０３は、符号化制御部１０９によって制御され、局所復号画像信号１６を受け、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部１１１へ入力される。切替判定方法の詳細については後述する。  
以上が第３の実施形態に係わる動画像符号化装置の構成である。【０１０４】
次に、図２５、図２６及び図２７を用いて、第３の実施形態に係わる動画像符号化装置におけるループフィルタの動作について詳しく説明する。なお、図２７は、第３の実施形態に係わる動画像符号化装置５０００におけるループフィルタに関する動作を示すフローチャートである。【０１０５】
まず、図２５に示すフィルタ設定部１１０は、局所復号画像信号１６及び入力画像信号１０を取得し、フィルタ係数情報１７の設定を行なう（ステップＳ５１００）。ここでは、フィルタ設定部１１０は、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施した画像と、入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。設定したフィルタ係数情報１７は、図２５に示す切替情報生成フィルタ処理部５０２へ出力するとともに、エントロピー符号化部１０４へ出力する。【０１０６】
次に、図２６に示す切替情報生成フィルタ処理部５０２内部に備えた切替情報生成部５０３は、局所復号画像信号１６を取得する（ステップＳ５１０１）。切替情報生成部５０３は、局所復号画像信号１６における注目画素と、その周辺の画素との差分絶対値和ＳＡＤを画素単位に算出する（ステップＳ５１０２）。ＳＡＤは、局所復号画像内の画素の座標をｘ、ｙとし、局所復号画像をＦ（ｘ，ｙ）とすると、次式で表わされる。
【数４】
2009110160.tif 000006
【０１０７】
次に、ＳＡＤと予め符号化制御部１０９に設定したしきい値Ｔを用いて、以下の切替判定処理を行う（ステップＳ５１０３）。ＳＡＤがＴ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ５１０４）。逆に、ＳＡＤがＴより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ５１０５）。ここでは、切替情報１８を画素単位に求めたが、別の実施形態として、切替判定処理をフレーム単位又はスライス単位又はマクロブロック単位又はマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８もそれに対応した単位で出力する。【０１０８】
また、ここでは対象画素と周辺画素との差分絶対値和を用いたが、別の実施形態として、差分二乗和を用いても良いし、局所復号画像から算出できる指標であれば、アクティビティや空間周波数、エッジ強度、エッジ方向などの指標を用いても良い。また、ここでは、上記指標を局所復号画像から算出したが、局所復号画像に対してフィルタ処理を行った後の復元画像を取得し、復元画像から上記指標を算出しても良い。  
また、別の実施形態として、符号化情報の一部である量子化パラメータや、ブロックサイズ、予測モード、動きベクトル、変換係数などに基づいて切替判定処理を行っても良い。【０１０９】
次に、図２６に示す切替フィルタ処理部１１１は、生成した切替情報１８に加え、局所復号画像信号１６及びフィルタ係数情報１７を取得し、第１の実施形態に係わる動画像符号化装置１０００における図４のステップＳ１１０７からステップＳ１１０９と同様の動作を行なうことにより、参照画像信号１９を出力する。つまり、図３のループフィルタ切替部１１４は、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得し、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ５１０６）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ａに接続し、局所復号画像信号１６を参照画像信号１９として参照画像用バッファ１０８に一時保存する（ステップＳ５１０７）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部１１４は、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ１０８に一時保存する（スイッチＳ５１０８）。【０１１０】
最後に、フィルタ設定部１１０で生成したフィルタ係数情報１７は、エントロピー符号化部１０４で符号化され、量子化後の変換係数１３、予測モード情報、ブロックサイズ切替情報、動きベクトル、量子化パラメータなどと共にビットストリームに多重化されて後述する動画像復号化装置６０００へと送信される（ステップＳ５１０９）。この際、フィルタ係数情報１７は、図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）において、図３２（ｂ）のように記述される。フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値をフィルタサイズとして用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置５０００と後述する動画像復号化装置６０００において同様の値を用いなければならないことに注意する。  
以上が、動画像符号化装置５０００におけるループフィルタに係わる動作についての説明である。【０１１１】
次に、動画像符号化装置６０００に対する動画像復号化装置について説明する。図２８を参照して第３の実施形態に係わる動画像復号化装置を説明する。以下、図２８の構成要素についてそれぞれ述べる。【０１１２】
図２８に示す動画像復号化装置６０００は、切替情報生成フィルタ処理部６０１、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、参照画像用バッファ２０６を有し、復号化制御部２０７によって制御される。【０１１３】
ここで、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、参照画像用バッファ２０６、及び復号化制御部２０７は、第１の実施形態に係わる図５の動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【０１１４】
切替情報生成フィルタ処理部６０１は、復号画像信号２１及びフィルタ係数情報１７を取得し、参照画像信号１９及び出力画像信号２２を出力する。切替情報生成フィルタ処理部６０１についての詳しい説明は後述する。【０１１５】
次に、第３の実施形態に係わる動画像復号化装置における切替情報生成フィルタ処理部６０１について図２９を用いて詳しく述べる。以下、図２９の構成要素についてそれぞれ述べる。  
図２９に示す切替情報生成フィルタ処理部６０１は、切替情報生成部６０２及び切替フィルタ処理部２０５を有する。ここで、切替フィルタ処理部２０５は、第1の実施形態に係わる図５の動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【０１１６】
切替情報生成部６０２は、復号化制御部２０７によって制御され、復号画像信号２１を取得し、所定の切替判定方法に従って切替情報１８を生成する。生成した切替情報１８は、切替フィルタ処理部２０５へ入力される。切替判定方法の詳細については後述する。【０１１７】
以上が第３の実施形態に係わる動画像復号化装置の構成である。【０１１８】
次に、図２８、図２９及び図３０を用いて、第３の実施形態に係わる動画像復号化装置の動作について詳しく説明する。なお、図３０は、第３の実施形態に係わる動画像復号化装置６０００におけるループフィルタに関する動作を示すフローチャートである。【０１１９】
まず、エントロピー復号化部２０１は、図３１のシンタクス構造に従って、フィルタ係数情報１７を復号する（ステップＳ６１００）。図３１のシンタクス構造におけるスライスレベルシンタクス（１９０３）に属するループフィルタデータシンタクス（１９０６）内には、図３２（ｂ）に示すように、フィルタ係数情報１７が記述されている。ここで、フィルタ係数情報１７である図３２（ｂ）のｆｉｌｔｅｒ＿ｃｏｅｆｆ［ｃｙ］［ｃｘ］は、２次元フィルタの係数であり、ｆｉｌｔｅｒ＿ｓｉｚｅ＿ｙ及びｆｉｌｔｅｒ＿ｓｉｚｅ＿ｘは、フィルタサイズを決める値である。ここではフィルタサイズを示す値をシンタクスに記述しているが、別の実施形態として、シンタクスに記述せずに予め定めた固定の値を用いても良い。ただし、フィルタサイズを固定値とした場合、動画像符号化装置５０００と動画像復号化装置６０００において同様の値を用いなければならないことに注意する。【０１２０】
切替情報生成フィルタ処理部６０１は、復号したフィルタ係数情報１７を取得する（ステップＳ６１０１）。また、切替情報生成フィルタ処理部６０１は、加算器２０４より取得した復号画像信号２１を取得する（ステップＳ６１０２）。図２９に示す切替情報生成フィルタ処理部６０１の内部に備えた切替情報生成部６０２は、復号画像信号２１における注目画素と、その周辺の画素との差分絶対値和ＳＡＤを画素単位に算出する（ステップＳ６１０３）。ＳＡＤは、復号画像内の画素の座標をｘ、ｙとし、復号画像をＦ（ｘ，ｙ）とすると、［数４］で表わされる。【０１２１】
ＳＡＤと予め復号化制御部２０７に設定したしきい値Ｔを用いて、以下の切替判定処理を行う（ステップＳ６１０４）。ここで、しきい値Ｔは、動画像符号化装置５０００で設定したしきい値Ｔと同じ値を用いることに注意する。ＳＡＤがＴ以下であれば、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに０を設定する（ステップＳ６１０５）。逆に、ＳＡＤがＴより大きい値であれば、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１を設定する（ステップＳ６１０６）。ここでは、切替情報１８を画素単位に求めたが、別の実施形態として、切替判定処理をフレーム単位又はスライス単位又はマクロブロック単位若しくはマクロブロックとは異なるサイズのブロック単位に判定しても良く、その場合、切替情報１８もそれに対応した単位で復号する。【０１２２】
また、ここでは対象画素と周辺画素との差分絶対値和を用いたが、別の実施形態として、差分二乗和を用いても良いし、復号画像から算出できる指標であれば、アクティビティや空間周波数、エッジ強度、エッジ方向などの指標を用いても良い。また、ここでは、上記指標を復号画像から算出したが、復号画像に対してフィルタ処理を行った後の復元画像を取得し、復元画像から上記指標を算出しても良い。【０１２３】
また、別の実施形態として、符号化情報の一部である量子化パラメータや、ブロックサイズ、予測モード、動きベクトル、変換係数などに基づいて切替判定処理を行っても良い。何れにせよ、動画像復号化装置６０００における切替情報生成部６０２は、動画像符号化装置５０００における切替情報生成部５０３と同様の切替判定処理を行わなくてはならないことに注意する。【０１２４】
図２９に示す切替フィルタ処理部２０５は、生成した切替情報１８に加え、復号画像信号２１及びフィルタ係数情報１７を取得し、第１の実施形態に係わる動画像復号化装置２０００における図７のステップＳ２１０３からステップＳ２１０５と同様の動作を行なうことにより、参照画像信号１９を出力する。つまり、図６のループフィルタ切替部２０５Ａは、生成した切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを取得し、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇの値に基づいて内部に備えたスイッチＳＷを切り替える（ステップＳ６１０７）。ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが０の場合には、ループフィルタ切替部２０５Ａは、スイッチＳＷを端子Ａに接続し、復号画像信号２１を参照画像信号１９として参照画像用バッファ２０６に一時保存する（ステップＳ６１０８）。一方、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１の場合には、ループフィルタ切替部２０５Ａは、スイッチＳＷを端子Ｂに接続し、復元画像信号２０を参照画像信号１９として参照画像用バッファ２０６に一時保存する（スイッチＳ６１０９）。【０１２５】
以上のように、切替情報生成フィルタ処理部６０１は、取得した復号画像信号２１を用いて、第３の実施形態に係わる動画像符号化装置における図２６の切替情報生成フィルタ処理部５０２と同様の動作により切替情報１８を生成するとともに、参照画像信号１９を出力する。  
以上が、動画像復号化装置６０００におけるループフィルタに係わる動作についての説明である。【０１２６】
このように、第３の実施形態の係わる動画像符号化装置によれば、入力画像と予測画像との誤差が最小となるようなループフィルタのフィルタ係数情報を設定してフィルタ処理を行なうことにより、参照画像の画質を向上させることが可能となる。また、ループフィルタ切替部１１４で局所復号画像信号１６と復元画像信号１８のどちらを参照画像として保持するかを局所復号画像１６から算出される指標を用いて局所領域毎に切り替えることにより、フィルタによる画質低下の伝播を防ぐことが可能であり、符号化効率を向上させることが可能である。【０１２７】
また、第３の実施形態の係わる動画像復号化装置によれば、動画像符号化装置と同様のフィルタ係数情報を用いてフィルタ処理を行なうとともに、同様の切替判定処理を行なうことにより、動画像符号化装置における参照画像と動画像復号化装置における参照画像とが同期することを保証することができる。【０１２８】
また、第３の実施形態に係わる動画像符号化装置及び動画像復号化装置によれば、符号化側で切替情報を局所復号画像から算出できる指標に基づいて生成することにより、復号化側でも同様の切替情報を復号画像から算出することが可能となる。そのため、切替情報を符号化したときの符号量を削減することが可能となる。【０１２９】
なお、第３の実施形態に係わる動画像復号化装置６０００では、第１の実施形態に係わる動画像復号化装置２０００と同様に、切替フィルタ処理部２０５を図８又は図９のような構成にすることによって、復号画像２１又は参照画像１９を出力画像信号２２として出力しても良い。【０１３０】
また、切替フィルタ処理部２０５を図１０のような構成にし、切替情報生成部で新たにポストフィルタ用の切替情報を生成することによって、図１０のポストフィルタ切替部２１０に備えたスイッチＳＷ２を切り替えて、出力画像信号２２を切り替えても良い。【０１３１】
なお、第３の実施形態に係わる動画像符号化装置５０００及び動画像復号化装置６０００では、局所復号画像信号１６に対してフィルタ処理を行っているが、局所復号画像信号１６は、従来のデブロッキングフィルタ処理を施した後の画像を用いても良い。【０１３２】
なお、動画像符号化装置５０００及び動画像復号化装置６０００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、ループフィルタ処理部５０１、切替情報生成フィルタ処理部５０２、切替情報生成部５０３、予測信号生成部１０１、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、参照画像用バッファ１０８、符号化制御部１０９、フィルタ設定部１１０、切替フィルタ処理部１１１、切替情報生成フィルタ処理部６０１、切替情報生成部６０２、エントロピー復号化部２０１、逆変換・逆量子化部２０２、予測信号生成部２０３、加算器２０４、切替フィルタ処理部２０５、参照画像用バッファ２０６及び復号化制御部２０７は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、動画像符号化装置５０００及び動画像復号化装置６０００は、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、参照画像用バッファ１０８及び参照画像用バッファ２０６は、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。【０１３３】
（第４の実施形態）
上記第１の実施形態では、切替情報を１６×１６画素のマクロブロック単位で設定する例を示した。一方、本実施形態における切替情報を設定する単位は、上記マクロブロックに限るものではなく、シーケンス、フレーム、又は画面内を分割したスライスや画素ブロックなどを用いることができる。【０１３４】
本実施形態では、上述した第１の実施形態に係わる符号化及び復号化方法において、切替情報を設定する単位を画素ブロック毎とし、画素ブロックのサイズを適応的に切り替える方法について説明する。【０１３５】
第４の実施形態に係わる符号化装置及び復号化装置における切替フィルタ処理部１１１について、図３７、図３８を用いて説明する。図３７及び図３８の切替フィルタ処理部１１１は、図３及び図６の切替フィルタ処理部１１１の変形例であり、スイッチＳＷによって、復元画像信号２０を参照画像とする場合のみフィルタ処理を行う構成となっている。即ち、図３７においては、フィルタ処理部１１３の前段にスイッチＳＷが設けられ、スイッチＳＷの端子Ａは直接参照画像用バッファ１０８に導出され、局所復号画像信号１６をそのまま参照画像信号としてバッファ１０８に格納される。スイッチＳＷの端子Ｂはフィルタ処理部１１３を介して参照画像用バッファ１０８に導出され、局所復号画像信号１６はフィルタ処理部１１３でフィルタ係数情報１７に応じてフィルタ処理されてから参照画像信号としてバッファ１０８に格納される。また、図３８においては、フィルタ処理部２０８の前段にスイッチＳＷが設けられ、スイッチＳＷの端子Ａは直接出力ラインに導出され、復号画像信号２１はそのまま出力ラインに出力される。スイッチＳＷの端子Ｂはフィルタ処理部２０８を介して出力ラインに導出され、復号画像信号はフィルタ処理部２０８によってフィルタ係数情報１７に応じてフィルタ処理されてから参照画像信号１９及び出力画像信号２２として出力ラインに出力される。このような構成により、切替情報１８であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１となる場合のみフィルタ処理部１１３又は２０８がフィルタ処理を行えばよいため、図３及び図６の構成に比べて処理コストを削減することができる。図３７及び３８の変形例は第１乃至第３の実施形態に適用できることは言うまでもない。【０１３６】
本実施形態に係わる図３７及び図３８の切替フィルタ処理部１１１は、上述する第１の実施形態における切替フィルタ処理部１１１と同様に、内部にフィルタ処理部１１３及びループフィルタ切替部１１４を有し、局所復号画像信号１６または復号画像信号２１、フィルタ係数情報１７、及び切替情報１８を取得して、参照画像信号１９を出力する。また、本実施形態では同時に領域設定情報２３を取得し、ループフィルタ切替部１１４に入力する。【０１３７】
ここで、領域設定情報２３は、ブロックサイズに応じてスイッチＳＷを切り替えるタイミングを制御する情報であり、画面を矩形ブロックに分割した場合の１つのブロックの大きさを示すものである。領域設定情報２３は、ブロックサイズの値そのものを用いても良いし、また、予め用意したブロックサイズを決める領域サイズ規定テーブルにおけるインデクスであっても良い。【０１３８】
上記領域サイズ規定テーブルの一例を図３９（ａ）に示す。図３９（ａ）の領域サイズ規定テーブルでは、最も小さいブロックサイズである縦横４画素の正方形ブロックのインデクスを０に設定し、一辺の画素数を２倍ずつ増加して５１２×５１２画素までの８つのブロックサイズを用意している。符号化及び復号化側で同じ領域サイズ規定テーブルを保持することによって、符号化側では、図３９（ａ）の領域サイズ規定テーブルで決定したインデクスをブロック情報として符号化し、復号化側では同様の領域サイズ規定テーブルを用いて復号化したブロック情報からブロックサイズを決定する。なお、領域サイズ規定テーブル（ａ）は符号化制御部及び復号化制御部に設けられる。【０１３９】
次に、本実施形態に係わる領域設定情報２３を含むシンタクスについて、図４２を用いて説明する。本実施形態に係わる図３１のシンタクス構造におけるループフィルタデータシンタクス（１９０６）は、例えば図４２のように記述される。図４２（ａ）のｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅが領域設定情報２３を示しており、ＮｕｍＯｆＢｌｏｃｋは、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅが示すブロックサイズによって決まる１スライス内のブロック総数である。例えば、図３９（ａ）の領域サイズ規定テーブルを用いた場合、領域設定情報であるインデクスが０に設定されると、スライスを４×４画素ブロックで分割し、４×４画素ブロック毎にｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを符号化する。これによって、スライスでは、符号化側及び復号化側の双方で、切替フィルタ処理部１１１におけるスイッチＳＷを４×４画素ブロック毎に切り替えることが可能となる。【０１４０】
また、別の実施形態として、基本となるブロックサイズに対する分割方法を領域設定情報として用いても良い。例えば、図３９（ｂ）の領域サイズ規定テーブルのように、「分割なし」、「横２分割」、「縦２分割」、「縦横２分割」の４つのブロック分割方法を用意し、それぞれにインデクス番号を割り当てる。これにより、基本となるブロックサイズを１６×１６画素ブロック及び８×８画素ブロックとした場合、それぞれ図４０のようなブロック形状をとることができる。これに関するシンタクスは、図４２（ｂ）のように、基本となるブロックサイズのループの中に領域設定情報であるｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅを記述し、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅによって決まるサブブロック数であるＮｕｍＯｆＳｕｂｂｌｏｃｋの分だけｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを符号化する。例として基本ブロックサイズを１６×１６及び８×８とした場合の参照画像の例を図４１に示す。なお、領域サイズ規定テーブル（ｂ）は符号化制御部及び復号化制御部に設けられる。【０１４１】
このように、第４の実施形態に係わる動画像符号化及び復号化方法によれば、画面内を領域分割するための領域設定情報を設定及び符号化することによって、画面のブロック分割に多様性を持たせることができ、分割した各ブロックに対して切替情報を設定することによって、フレーム又はフレーム内の局所領域毎に適応的にフィルタ処理の切り替えタイミングを制御することが可能となる。【０１４２】
ここで、ブロックサイズを適応的に切り替えた場合、切替情報を符号化するために必要な符号量は、ブロックサイズが小さくなるほど、つまり画面を細かく分割すればするほど増加してしまい、符号化効率の低下を招く恐れがある。そこで、上述した領域サイズ規定テーブルを複数用意し、ループフィルタを適用する画像の符号量に寄与し、且つ符号化及び復号化側の双方で得られる所定の情報に基づいて領域サイズ規定テーブルを切り替えて用いても良い。例えば、図３９（ｃ）で示すような複数の領域サイズ規定テーブルを例えば符号化制御部及び復号化制御部に用意し、画像サイズ、ピクチャタイプ、量子化の粗さを決める量子化パラメータに応じて領域サイズ規定テーブルを切り替えることができる。画像サイズについては、画像サイズが相対的に大きくなればなるほど、大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。【０１４３】
また、ピクチャタイプについては、一般的な使われ方をした場合、符号量はＩピクチャ＞Ｐピクチャ＞Ｂピクチャとなる傾向があるため、少ない符号量で符号化されるＢピクチャなどでは、大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。【０１４４】
また、量子化パラメータについては、量子化パラメータの値が大きくなるほど変換係数の符号量が小さくなるため、相対的に大きいサイズのブロックを用意した領域サイズ規定テーブルを用いる。【０１４５】
上記のようにブロックサイズの異なる複数の領域サイズ規定テーブルを切り替えることによって、限られたインデクス番号を用いて、より適応的にブロックサイズを選択することができる。また、変換係数や符号化パラメータの符号量と切替情報に必要な符号量とのバランスを効率よく制御することができる。【０１４６】
更に別の実施形態として、ブロック情報は、局所復号画像または復号画像を生成する際の符号化及び復号化に用いた動き補償ブロックサイズ及び変換ブロックサイズなどと同期させたブロックサイズを用いても良く、この場合、ループフィルタデータシンタクス（１９０６）にブロック情報を記述することなく、フィルタ処理の切り替えタイミングを変更することができ、ブロック情報にかかる符号量を削減することができる。【０１４７】
また、ここでは画面内を矩形ブロックに分割する場合について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、矩形ブロックに限るものではない。【０１４８】
（第５の実施形態）
次に、図４３及び図４４を参照して第５の実施形態に係わる動画像符号化方法について説明する。【０１４９】
図４３のループフィルタ処理部１０７は、上述した第１の実施形態における図２のループフィルタ処理部１０７と同様の構成要素を持ち、内部にフィルタ設定部１１０、切替フィルタ処理部１１１及び切替情報生成部１１２を有し、局所復号画像信号１６及び入力画像信号１０を取得して、フィルタ係数情報１７、切替情報１８、及び参照画像信号１９を出力する。【０１５０】
一方、本実施形態では、画面内を分割した局所領域毎に切替情報１８を設定することとし、切替情報１８をフィルタ設定部１１０に入力することによって、切替情報１８に基づいてフィルタ設定に用いる領域を選択的に取得する。【０１５１】
第５の実施形態に係わる動画像符号化装置におけるループフィルタに関する動作について、図４４のフローチャートを用いて詳しく説明する。【０１５２】
図４４のフローチャートにおいて、Ｒはフィルタ係数情報の設定回数の最大値とし、Ｎは画面を分割した局所領域の総数とする。まず、フィルタ係数情報設定回数ｒに０をセットし（ステップＳ７１００）、切替情報であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇを全ての領域で１にセットする（ステップＳ７１０１）。次に、ｒを１だけインクリメントする（ステップＳ７１０２）。【０１５３】
その後、図４３におけるフィルタ設定部１１０において、フィルタ係数情報の設定を行なう（ステップＳ１１００）。ここでは、第１の実施形態と同様に、画像復元で一般的に用いられる２次元のＷｉｅｎｅｒ  ｆｉｌｔｅｒを用い、局所復号画像信号１６にフィルタ処理を施して得られる画像（参照画像信号１９）と入力画像信号１０との平均二乗誤差が最小となるようにフィルタ係数を設計し、設計したフィルタ係数及びフィルタサイズを示す値をフィルタ係数情報１７として設定する。ここで、第５の実施形態における図４３のフィルタ設定部１１０では、入力された切替情報であるｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１に設定された領域のみを用いて平均二乗誤差を算出することとする。ここで、ｒ＝１となる初回のフィルタ係数情報の設定では、ステップＳ７１０１において全ての領域のｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇに１をセットしているため、第１の実施形態と同様、画面全体の平均二乗誤差が最小となるように設計されたフィルタ係数情報が生成される。【０１５４】
次に、図４３の切替フィルタ処理部１１１は、画面を分割した各々の局所領域に対して切替情報１８を設定する。つまり、領域番号をｎとすると、まずｎに０をセットし（ステップＳ７１０３）、ｎを１だけインクリメントする（ステップＳ７１０４）。次に、ｎ番目の領域に対して第１の実施形態と同様なステップＳ１１０１〜ステップＳ１１０９の処理を行う。以上の処理をｎが総数Ｎに達するまで繰り返す（ステップＳ７１０５）。【０１５５】
画面内の全ての領域に対してｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが設定された後は、フィルタ係数情報設定回数ｒが、予め決められたフィルタ係数情報の設定回数の最大値Ｒに達するまで上記一連の処理を反復する（ステップＳ７１０６）。このように、第５の実施形態に係わる動画像符号化方法によれば、２回目以降のフィルタ係数情報の設定は、ｌｏｏｐ＿ｆｉｌｔｅｒ＿ｆｌａｇが１に設定された領域に限定して平均二乗誤差を最小化するフィルタを設定することが可能となる。例えば、１回目に設定された切替情報によって得られた参照画像が図３３のようになる場合、２回目のフィルタ係数情報の設定は、「ループフィルタが適用されるマクロブロック」のみに限定して平均二乗誤差を最小化するフィルタを設定することができる。これにより、「ループフィルタが適用されるマクロブロック」に対しては、より画質改善効果の大きいフィルタを設定することができる。【０１５６】
なお、本発明は上記第１乃至第３の実施形態等にそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。【０１５７】
（第６の実施形態）
次に、第６の実施形態に関する動画像符号化装置及び動画像復号化装置について説明する。図４５は、動画像符号化装置及び動画像復号化装置の双方に存在するフィルタ処理部を示し、第１及び第２の実施形態のフィルタ処理部１１３並びに第３の実施形態と第４の実施形態におけるフィルタ処理部２０８に相当するフィルタ処理部を示している。【０１５８】
図４５の局部復号画像フィルタ処理部７０１には、動画像符号化装置の場合、局部復号画像信号と切替情報とフィルタ情報と符号化情報が入力され、動画像復号化装置の場合、復号画像信号と切替情報とフィルタ情報と符号化情報が入力され、参照画像信号が生成される。フィルタ処理部７０１は、フィルタ境界判定処理部７０２とスイッチ７０３とデブロッキングフィルタ処理部７０４とスイッチ７０５と画像復元フィルタ処理部７０６から構成されている。【０１５９】
フィルタ境界判定処理部７０２は、局部復号画像信号または復号化像信号からの符号化情報を用いて、変換処理や動き補償の単位であるブロックの境界部分の画素のうちデブロッキングフィルタ処理を行うべき画素を判定して、スイッチ７０３とスイッチ７０５を制御する。この時、フィルタ境界判定処理部７０２は、入力画素がブロック境界画素であると判定した場合は、スイッチ７０３及びスイッチ７０５を端子Ａに接続し、デブロッキングフィルタ処理部７０４で画素信号に対してデブロッキングフィルタ処理を行い、入力画素がブロック境界画素でないと判定した場合には、スイッチ７０３及びスイッチ７０５を端子Ｂに接続して、画像復元フィルタ処理部７０６で入力画素に対して画像復元フィルタ処理を行う。【０１６０】
デブロッキングフィルタ処理部７０４は、ブロック境界判定処理部７０２がブロック境界と判定した画素に対して、予め作成しておいたフィルタ係数又は局部復号画像フィルタ処理部７０１の外から与えられるフィルタ係数情報を用いて、変換処理や動き補償処理によって生じるブロック歪を打ち消すようなフィルタ処理（例えば、画素信号の平均化処理）を行う。【０１６１】
画像復元フィルタ処理部７０６は、ブロック境界判定処理部７０２がブロック境界でないと判定した画素に対して、局部復号画像フィルタ処理部７０１の外から与えられるフィルタ係数によって、局部復号画像の復元処理を行う。画像復元フィルタ処理部７０６に関しては、第１の実施形態の図３及び図６及び図８及び図９及び図１０の切替フィルタ処理部１１１、２０５Ａ，２０５Ｂ，２０５Ｃ，２０５Ｄ、第２の実施形態の図１４及び図１６のフィルタ処理部１１３、２０８，第２の実施形態の図２１及び図２３の参照切替予測部３０５Ｂ、４０１Ｂ、第３の実施形態の図２６及び図２９の切替情報生成フィルタ処理部５０２、６０１、第４の実施形態の図３７及び図３８の切替フィルタ処理部１１１，２０５Ａをそのまま置き換えたものとする。【０１６２】
このように第６の実施形態によれば、ブロック境界部分は、変換処理や動き補償処理によるブロック歪が生じることによる復号画像信号の性質の違いを考慮したフィルタ処理を行うことができ、画像全体の復元の性能を向上させることができる。【０１６３】
（第７の実施形態）
次に図４６乃至図４９を用いて、第７の実施形態に関する動画像符号化装置及び復号化装置について説明する。まず、図４６を参照して第７の実施形態に係わる動画像符号化装置を説明する。以下、図４６の構成要素についてそれぞれ説明する。【０１６４】
図４６に示す動画像符号化装置７０００は、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６、Deblockingフィルタ部８０１、フィルタ設定・切替情報生成部８０２、復号画像用バッファ８０３、予測画像作成部８０４、動きベクトル生成部８０５を有し、符号化制御部１０９によって制御される。【０１６５】
ここで、減算器１０２、変換・量子化部１０３、エントロピー符号化部１０４、逆変換・逆量子化部１０５、加算器１０６及び符号化制御部１０９は、第２の実施形態に係わる図１１の動画像符号化装置３０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【０１６６】
また、フィルタ設定・切替情報生成部８０２は、第１の実施形態に係わる図２のループフィルタ処理部１０７内のフィルタ設定部１１０と切替情報生成部１１２と同様の動作をする。【０１６７】
具体的な動作として、従来のハイブリッド符号化や第１の実施形態に係わる動画像符号化装置１０００や第２の実施形態に係わる動画像符号化装置３０００と同様に、動画像符号化装置７０００は、予測誤差に対して変換、量子化、エントロピー符号化を行なうとともに、逆量子化、逆変換による局所復号を行う。局部復号信号に対してDeblockingフィルタ部８０１によってブロック境界の歪を除去するフィルタ処理を行った後にそのフィルタ処理後の局所復号信号を復号画像用バッファ８０３に一時保存する。フィルタ設定・切替情報生成部８０２は、フィルタ処理済みの局所復号画像信号及び入力画像信号を受け、フィルタ係数及び切替情報を生成する。フィルタ設定・切替情報生成部８０２は、生成したフィルタ係数情報を復号画像用バッファ８０３へ出力するとともに、エントロピー符号化部１０４へ出力する。エントロピー符号化部１０４はフィルタ設定・切替情報生成部８０２で生成したフィルタ係数、切替情報を符号化し、また、量子化後の変換係数を、予測モード情報、ブロックサイズ切替情報、動きベクトル情報、量子化パラメータなどと共にビットストリームに多重化して、後述する動画像復号化装置８０００へと送信する。この際、フィルタ係数情報、切替情報は、入力画像の符号化情報として、図３２等のシンタクスに従って送信される。【０１６８】
復号画像用バッファ８０３には、予測画像作成部８０４で参照される局所復号画像およびその局所復号画像に対応するフィルタ係数、切替情報が蓄えられている。【０１６９】
予測画像作成部８０４は、復号画像用バッファ８０３で管理されている局所復号画像とフィルタ係数と切替情報及び動きベクトル生成部８０５で生成された動きベクトル情報を用いて、動き補償を行った予測画像を作成する。減算器１０２は作成された予測画像と入力画像との予測誤差信号を生成する。一方、動きベクトル情報は、エントロピー符号化部１０４で符号化され、他の情報と多重化される。【０１７０】
図４７を参照して第７の実施形態に係わる動画像復号化装置を説明する。以下、図４７の構成要素についてそれぞれ説明する。図４７に示す動画像復号化装置８０００は、エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４、Deblockingフィルタ部８１１、復号画像用バッファ８１３、予測画像作成部８１４を有し、復号化制御部２０６によって制御される。【０１７１】
エントロピー復号化部２０１、逆変換・逆量子化部２０２、加算器２０４及び復号化制御部２０６は、第１の実施形態に係わる動画像復号化装置２０００における同番号の構成要素と同様の動作をするため、ここでは説明を省略する。【０１７２】
具体的な動作として、従来のハイブリッド符号化の復号化や第１の実施形態に係わる動画像復号化装置２０００や第２の実施形態に係わる動画像符号化装置４０００と同様に、エントロピー復号化部２０１で復号した信号を逆量子化、逆変換し、予測誤差信号を生成し、加算器２０４で予測画像と加算することで、復号画像を生成する。この復号信号に対してDeblockingフィルタ部８１１でブロック境界の歪を除去するフィルタ処理を行った後、復号画像が出力されるとともに復号画像用バッファ８１３に蓄えられる。【０１７３】
復号画像用バッファ８１３では、予測画像作成部８１４で参照される復号画像およびエントロピー復号化部２０１で復号されたその復号画像に対応するフィルタ係数、切替情報が蓄えられている。予測画像作成部８１３では、エントロピー復号化部２により復号された動きベクトル情報と復号画像用バッファ４０２からの復号画像、フィルタ係数及び切替情報から、復元フィルタ処理と動き補償を行った予測画像を作成する。【０１７４】
図４６および図４７のような動画像符号化装置及び動画像復号化装置のような構成によって適応的な画像復元処理を動き補償予測に適用することにより、符号化効率の改善が実現できる。図４８は、図４６と図４７の予測画像作成部８１４の具体的な実施の一実施形態である。以下、図４８の構成要素についてそれぞれ説明する。【０１７５】
図４８に示す予測画像作成部８０４は、スイッチ８２１と復元画像作成部８２２と補間画像作成部８２３からなっている。スイッチ８２１は、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行うか否かを切り替えるスイッチであり、フィルタ設定・切替情報生成部８０２で生成された切替情報に基づいて、切り替えられる。スイッチ８２１が端子Ａに切り替えられた場合、復元画像作成部８２２は、フィルタ設定・切替情報生成部８０２で設定されたフィルタ係数を用いて、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行う。スイッチ８２１が端子Ｂに切り替えられた場合、復号画像は、そのまま補間画像作成部８２３の入力となる。補間画像作成部８２３は、動きベクトル情報に基づいて、小数点画素位置の補間画像を生成し、予測画像とする。このような構成にすることにより、適応的な画像復元処理と動き補償予測の組み合わせが実現できる。【０１７６】
図４９は、図４６と図４７の予測画像作成部の具体的な実施の別実施形態である。以下、図４９の構成要素についてそれぞれ述べる。【０１７７】
図４９に示す予測画像作成部８０４は、スイッチ８３１と整数画素フィルタ部８３２、ビット拡張部８３３、補間画像作成部８３４、スイッチ８３５、重み付予測画像作成部８３６、ビット縮退部８３７から構成されている。スイッチ８３１は、動きベクトル情報に基づいて参照された復号画像に対して、整数画素単位で復元フィルタ処理を行うか否かを切り替えるスイッチであり、図４６のフィルタ設定・切替情報生成部８０２で生成された切替情報に基づいて、切り替えられる。スイッチ８３１が端子Ａに切り替えられた場合、整数画素フィルタ部８３２は、フィルタ設定・切替情報生成部８０２で設定されたフィルタ係数を用いて、動きベクトル情報に基づいて参照された復号画像に対して、復元フィルタ処理を行う。このときの特徴としては、復号画像の画素ビット長がＮ−ｂｉｔであった場合、整数画素フィルタ部８３２の出力の画素ビット長は、Ｍ≧ＮとなるＭ−ｂｉｔになるようにすることである。スイッチ８３１が端子Ｂに切り替えられた場合には、復号画像は、ビット拡張部８３３に入力され、Ｎ−ｂｉｔの復号画像がＭ≧ＮとなるＭ−ｂｉｔになるよう拡張される。具体的には、ビット拡張部８３３は画素値Ｖを左に（Ｍ−Ｎ）ビット算術シフトする処理を行う。【０１７８】
補間画像作成部８３４は、動きベクトル情報に基づいて、小数点画素位置の補間画像を生成する。このときの特徴としては、入力がＭ−ｂｉｔの画素ビット長に対して、出力がＬ≧ＮとなるＬ−ｂｉｔの画素ビット長になるようにすることである。スイッチ８３５は、符号化制御部１０９あるいは、符号化情報に基づいて復号化制御部２０６によって制御されるスイッチであり、重み付予測を行うかどうかを切り替えている。スイッチ８３５が端子Ａに切り替えられた場合、重み付予測画像作成部８３６は、Ｈ．２６２／ＡＶＣ等で行われている重み付予測式に基づいて予測画像を作成する。このときの特徴としては、Ｌ−ｂｉｔの画素ビット長の入力に対してＮ−ｂｉｔの画素ビット長の出力になるように処理が行われる。スイッチ８３５が単位Ｂに切り替えられた場合、ビット縮退部８４７は、Ｌ−ｂｉｔの入力がＬ≧ＮとなるＮ−ｂｉｔになるように丸め処理を行う。【０１７９】
このように復号画像の画素ビット長よりも大きな画素ビット長となるように、予測画像作成部８０４の内部を構成することにより、復元処理と補間処理と重み付予測処理における演算の丸め誤差を減らし、より符号化効率の優れた予測画像作成が実現できる。【０１８０】
（第８の実施形態）
第４の実施形態では、切替情報を設定する単位を画素ブロック毎とし、画素ブロックの大きさ又は分割方法を示す領域設定情報を用いて画素ブロックサイズを適応的に切り替える方法について説明する。本実施形態では、画素ブロックサイズを画面内で適応的に切り替える方法として、所定の大きさの親ブロック内部を小さいサイズの子ブロックに階層的に分割する方法について図５０乃至図５５を用いて説明する。【０１８１】
ここでは、４分木構造を用いて親ブロックを階層的に子ブロックに分割する方法について述べる。図５０は、４分木構造による階層的ブロック分割を表わしている。図５０における階層０の親ブロックＢ０，０は、階層１では子ブロックＢ１，０〜Ｂ１，３に分割され、階層２では子ブロックＢ２，０〜Ｂ２，１５に分割される。【０１８２】
次に、４分木構造の分割木を表現する方法について述べる。図５１は、０又は１で表わされるブロック分割情報を用いて、階層３までの分割木を表現している。ブロック分割情報が１の場合は下の階層の子ブロックに分割することを示し、０の場合は分割しないことを示す。図５１のように設定したブロック分割情報によって表されるブロックは、図５２のように親ブロックが４つの子ブロックに分割され、この子ブロックが更に４つの子（孫）ブロックに分割され、この子（孫）ブロックが更に４つの子（ひ孫）ブロックに分割される。このように分割された大きさの異なるブロック一つ一つに対して切替情報を設定する。つまり、図５１の分割木におけるブロック分割情報が０の場合に対応するブロックに切替情報を設定することと等しい。【０１８３】
親ブロック内の子ブロックのサイズは、親ブロックサイズと階層の深さによって決まる。図５３は、４分木構造を用いた場合の親ブロックサイズに対する階層０〜４の子ブロックのサイズを示した図である。図５３において、例えば親ブロックサイズが３２×３２の場合、階層４の子（ひ孫）ブロックサイズは２×２となる。画面内の局所領域である親ブロックの内部は、階層の深さに従って順次小さくなる領域である子ブロックに分割される。【０１８４】
次に、本実施形態に係わる領域設定情報を含むシンタクスについて、図５４を用いて説明する。本実施形態に係わる図３１のシンタクス構造におけるループフィルタデータシンタクス（１９０６）は、例えば図５４のように記述される。図５４のｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅは、第４の実施形態と同様にブロックサイズを決める値であり、ここでは親ブロックサイズを表わす。【０１８５】
次に、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌは、取り得る階層の深さの最大値を示す値である。本実施形態では、図５４のシンタックスで示すようにｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをスライス単位で符号化しているが、別の実施形態として、シーケンス、フレーム又は親ブロック単位で符号化しても良い。図５５は親ブロック単位で符号化する際のシンタックスを示している。また、符号化装置及び復号化装置の双方で同じ階層の深さの最大値を示す値を用いるのであれば、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをシンタクスに含めずに予め設定された値を用いても良い。【０１８６】
また、本実施形態ではｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅによって親ブロックサイズを示したが、最小の子ブロックサイズを示す値としても良く、その場合はｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌとｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅを用いて所定の計算式により親ブロックサイズを導出する。例として４分木構造の場合、ｆｉｌｔｅｒ＿ｂｌｏｃｋ＿ｓｉｚｅをＢ、ｍａｘ＿ｌａｙｅｒ＿ｌｅｖｅｌをＬとすると、親ブロックサイズＰは、Ｐ＝Ｂ×２Ｌで表わすことができる。【０１８７】
次に、ＮｕｍＯｆＰａｒｅｎｔＢｌｏｃｋは、１スライス内の親ブロックの総数であり、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［ｌａｙｅｒ］は、１つの親ブロック内におけるｌａｙｅｒによって示された階層の子ブロックの総数である。例として、４分木構造の場合、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［０］＝１、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［１］＝４、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［２］＝１６、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［３］＝６４となり、ＮｕｍＯｆＣｈｉｌｄＢｌｏｃｋ［ｌａｙｅｒ］は、４ｌａｙｅｒで表わすことができる。【０１８８】
次に、ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇ及びｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇについて説明する。ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇは０又は１の値をとり、ｖａｌｉｄ＿ｂｌｏｃｋ＿ｆｌａｇの初期値は０が設定されているものとする。ｂｌｏｃｋ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｆｌａｇはブロック分割情報であり、上記で述べたように、分割する場合は１、分割しない場合には０が設定される。【０１８９】
このように、第８の実施形態に係わる動画像符号化及び復号化方法によれば、領域分割情報として階層ブロック分割情報を用いることによって、基準となる親ブロックを階層的に子ブロックに分割することができ、分割した各子ブロックに対して切替情報を設定することによって、フレーム内の局所領域毎に適応的にフィルタ処理の切り替えタイミングを制御することが可能となる。また、このように切替情報を設定する単位を画面内で可変にすることにより、ループフィルタが画質に及ぼす影響が大きい領域では細かく領域を分割し、ループフィルタが画質に及ぼす影響が小さい領域では粗く領域を分割することによって、切替情報を効率良く設定することが可能となる。【０１９０】
また、ここでは親ブロックの分割方法として４分木構造による分割方法について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、４分木構造に限るものではない。【０１９１】
また、ここでは親ブロック内を階層的に矩形ブロックに分割する場合について述べたが、符号化装置及び復号化装置の双方で同じ領域分割を実現できる分割方法であれば、矩形ブロックに限るものではない。【０１９２】
本発明によれば、符号化側で設定したフィルタ係数情報を符号化し、フィルタ係数情報を復号化側で復号化して用いる動画像符号化／復号化において、符号化側と復号化側が同様の処理でループフィルタ処理を切り替えることによって、画質劣化の伝播を抑制しつつ、予測に用いる参照画像の画質を向上させ、符号化効率の向上を可能とする。
【産業上の利用可能性】
【０１９３】
本発明にかかる画像符号化及び復号化方法及び装置は、通信メディア、蓄積メディアおよび放送メディアなどにおける画像圧縮処理に使用される。
【図１】
2009110160.tif 000007
【図２】
2009110160.tif 000008
【図３】
2009110160.tif 000009
【図４】
2009110160.tif 000010
【図５】
2009110160.tif 000011
【図６】
2009110160.tif 000012
【図７】
2009110160.tif 000013
【図８】
2009110160.tif 000014
【図９】
2009110160.tif 000015
【図１０】
2009110160.tif 000016
【図１１】
2009110160.tif 000017
【図１２】
2009110160.tif 000018
【図１３】
2009110160.tif 000019
【図１４】
2009110160.tif 000020
【図１５】
2009110160.tif 000021
【図１６】
2009110160.tif 000022
【図１７】
2009110160.tif 000023
【図１８】
2009110160.tif 000024
【図１９】
2009110160.tif 000025
【図２０】
2009110160.tif 000026
【図２１】
2009110160.tif 000027
【図２２】
2009110160.tif 000028
【図２３】
2009110160.tif 000029
【図２４】
2009110160.tif 000030
【図２５】
2009110160.tif 000031
【図２６】
2009110160.tif 000032
【図２７】
2009110160.tif 000033
【図２８】
2009110160.tif 000034
【図２９】
2009110160.tif 000035
【図３０】
2009110160.tif 000036
【図３１】
2009110160.tif 000037
【図３２】
2009110160.tif 000038
【図３３】
2009110160.tif 000039
【図３４】
2009110160.tif 000040
【図３５】
2009110160.tif 000041
【図３６】
2009110160.tif 000042
【図３７】
2009110160.tif 000043
【図３８】
2009110160.tif 000044
【図３９】
2009110160.tif 000045
【図４０】
2009110160.tif 000046
【図４１】
2009110160.tif 000047
【図４２】
2009110160.tif 000048
【図４３】
2009110160.tif 000049
【図４４】
2009110160.tif 000050
【図４５】
2009110160.tif 000051
【図４６】
2009110160.tif 000052
【図４７】
2009110160.tif 000053
【図４８】
2009110160.tif 000054
【図４９】
2009110160.tif 000055
【図５０】
2009110160.tif 000056
【図５１】
2009110160.tif 000057
【図５２】
2009110160.tif 000058
【図５３】
2009110160.tif 000059
【図５４】
2009110160.tif 000060
【図５５】
2009110160.tif 000061
【手続補正書】
【提出日】平成21年12月25日(2009.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記復元画像と入力画像とに基づいて前記ループフィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像符号化方法。
【請求項２】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記ループフィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像復号化方法。
【請求項３】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記復元画像と入力画像とに基づいて前記ループフィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像として予測に用いるステップと、
を備えることを特徴とする動画像符号化方法。
【請求項４】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記ループフィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像として予測に用いるステップと、
を備えることを特徴とする動画像復号化方法。
【請求項５】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記復元画像と入力画像とに基づいて前記ループフィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像符号化方法。
【請求項６】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記ループフィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存するステップと、
を備えることを特徴とする動画像復号化方法。
【請求項７】
復号化側で前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を符号化側で符号化するステップと、
を備えることを特徴とする請求項１又は３記載の動画像符号化方法。
【請求項８】
前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
を備えることを特徴とする請求項２又は４記載の動画像復号化方法。
【請求項９】
前記復号画像又は前記復元画像を出力画像として使用することを示す特定情報を生成するステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を出力画像として出力するステップと、
を備えることを特徴とする請求項６記載の動画像復号化方法。
【請求項１０】
前記特定情報を、フレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
【請求項１１】
前記特定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２、４、８のいずれか１項に記載の動画像復号化方法。
【請求項１２】
前記局所復号画像及び前記復元画像と入力原画像との誤差を計算するステップと、誤差が小さい画像を参照画像とすることを示す前記特定情報を生成するステップとを含むことを特徴とする請求項１、３、７のいずれか１項に記載の動画像符号化方法。
【請求項１３】
前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
【請求項１４】
前記局所復号画像又は前記復号画像から取得できる指標である周辺画素との差分絶対値和、差分二乗和、アクティビティ、空間周波数、エッジ強度、エッジ方向、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
【請求項１５】
符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項５記載の動画像符号化方法。
【請求項１６】
符号化情報の一部である量子化パラメータ、ブロックサイズ、予測モード、動きベクトル、変換係数情報、の何れか一つ以上を用いて前記特定情報を生成するステップを含むことを特徴とする請求項６又は９記載の動画像復号化方法。
【請求項１７】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化装置であって、
符号化済みの画像の局所復号画像に対してループフィルタを適用して復元画像を生成する復元画像生成部と、
前記復元画像と入力画像とに基づいて前記ループフィルタのフィルタ係数情報を設定する設定部と、
前記フィルタ係数情報を符号化する復号部と、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化する符号化部と、
前記特定情報に基づいて前記局所復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
を備えることを特徴とする動画像符号化装置。
【請求項１８】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化装置であって、
復号画像に対してループフィルタを適用して復元画像を生成する復元画像生成部と、
前記ループフィルタのフィルタ係数情報を復号化する第１復号化部と、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化する第２復号化部と、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存部と、
を備えることを特徴とする動画像復号化装置。
【請求項１９】
符号化済みの画像を参照画像として次に符号化する画像の予測に用いる動画像符号化方法であって、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて、符号化済みの画像の局所復号画像に対してループフィルタを適用することによって生成される復元画像を前記参照画像として用いるか、又は、前記局所復号画像を参照画像として用いるか、を示す特定情報を符号化する特定情報符号化ステップと、
前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像としてメモリに保存する保存ステップと、
を備えることを特徴とする動画像符号化方法。
【請求項２０】
前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に設定して符号化するため前記局所領域の大きさを決める領域設定情報を符号化するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
【請求項２１】
前記特定情報符号化ステップは前記特定情報をフレーム内の局所領域毎に符号化するために前記特定情報に基づいて前記フィルタのフィルタ係数情報を設定するステップを含むことを特徴とする請求項１９記載の動画像符号化方法。
【請求項２２】
前記特定情報符号化ステップは前記領域設定情報をフレーム又はフレーム内の局所領域毎に符号化することを特徴とする請求項１９記載の動画像符号化方法。
【請求項２３】
前記領域設定情報は、前記局所領域の大きさを示す値であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項２４】
前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項２５】
前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記局所領域の大きさまたは前記分割方法を示すインデクスを示すことを特徴とする請求項２４記載の動画像符号化方法。
【請求項２６】
複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ及び量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項２５記載の動画像符号化方法。
【請求項２７】
復号化済みの画像を参照画像として次に復号化する画像の予測に用いる動画像復号化方法であって、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて復号画像に対してループフィルタを適用することによって生成される復元画像を参照画像として用いるか、又は、前記復号画像を参照画像として用いるか、を示す特定情報を復号化する特定情報復号化ステップと、
前記特定情報に基づいて前記復号画像または前記復元画像を参照画像としてメモリに保存する保存ステップと、
を含むことを特徴とする動画像復号化方法。
【請求項２８】
前記特定情報復号化ステップは前記特定情報を復号化してフレーム内の局所領域毎に設定するため前記局所領域の大きさを決める領域設定情報を復号化する領域設定情報復号化ステップを含むことを特徴とする請求項２７記載の動画像復号化方法。
【請求項２９】
前記領域設定情報復号化ステップは前記領域設定情報を、フレーム又はフレーム内の局所領域毎に復号化することを特徴とする請求項２７記載の動画像復号化方法。
【請求項３０】
前記領域設定情報は、前記局部領域の大きさを示す値であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３１】
前記領域設定情報は、所定の大きさの局所領域内部を分割するための分割方法を示すことを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３２】
前記領域設定情報は、予め用意された領域サイズ規定テーブルによって決められる前記領域の大きさまたは前記分割方法を示すインデクスであることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項３３】
複数の前記領域サイズ規定テーブルを用意し、画像サイズ、ピクチャタイプ、量子化の粗さを規定する量子化パラメータの１つ以上に基づいて切り替えることを特徴とする請求項３２記載の動画像復号化方法。
【請求項３４】
請求項１、３、５、１３、１５、１９、２０、２１、２２、及び２４のいずれか１記載の符号化済みの局部復号画像にフィルタを適用して復元画像を生成するステップは、
局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うことを特徴とする動画像符号化方法。
【請求項３５】
請求項２、４、６、９、２７、２８及び２９のいずれか１に記載の復号画像にフィルタを適用して復元画像を生成するステップは、
局部復号画像をブロック境界か否かを判定するステップと、前記局部復号画像をブロック境界と判定した画素に対して、ブロック歪を除去するフィルタ処理を行うステップを含むことを特徴とする動画像復号化方法。
【請求項３６】
符号化済みの画像を参照画像として動き補償予測に用いる動画像符号化方法であって、
符号化済みの画像の局所復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記復元画像と入力画像とに基づいて前記ループフィルタのフィルタ係数情報を設定するステップと、
前記フィルタ係数情報を符号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を符号化するステップと、
前記特定情報に基づいて前記局所復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと
を備えることを特徴とする動画像符号化方法。
【請求項３７】
復号化済みの画像を参照画像として動き補償予測に用いる動画像復号化方法であって、
復号画像に対してループフィルタを適用して復元画像を生成するステップと、
前記ループフィルタのフィルタ係数情報を復号化するステップと、
前記局所復号画像と前記入力画像信号との残差及び前記復元画像と前記入力画像との残差に基づいて前記局所復号画像又は前記復元画像を参照画像として使用することを示す特定情報を復号化するステップと、
前記特定情報に基づいて前記復号画像又は前記復元画像を参照画像として動き補償予測に用いるステップと、
を備えることを特徴とする動画像復号化方法。
【請求項３８】
前記領域設定情報は、前記局所領域内部を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２０又は２２記載の動画像符号化方法。
【請求項３９】
前記階層分割情報は、各階層における個々の領域を分割するか否かを示す領域分割情報であることを特徴とする請求項３８記載の動画像符号化方法。
【請求項４０】
前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項３８記載の動画像符号化方法。
【請求項４１】
前記領域設定情報は、前記局所領域を階層の深さに従って順次小さくなる領域に分割するための階層分割情報であることを特徴とする請求項２８又は２９記載の動画像復号化方法。
【請求項４２】
前記階層分割情報は、各階層における個々の領域を分割するか否かを示した領域分割情報であることを特徴とする請求項４１記載の動画像復号化方法。
【請求項４３】
前記階層分割情報は、階層の深さの最大値を示す最大階層情報を含むことを特徴とする請求項４１記載の動画像復号化方法。
【国際調査報告】
2009110160.tif 000062
2009110160.tif 000063
2009110160.tif 000064
2009110160.tif 000065
2009110160.tif 000066
2009110160.tif 000067
2009110160.tif 000068