(57)【要約】  入力画像に対応する局所復号画像を生成する画像処理部（１１２）と、所定のパラメータを用いて前記局所復号画像を複数の領域に分類する領域分割部（１１４）と、分類された領域毎にフィルタ係数を設計するフィルタ設計部（１１５）と、分類された領域毎に対応するフィルタ係数に従って前記局所復号画像にフィルタ処理を行なうフィルタ処理部（１１６）と、フィルタ処理が施された画像を蓄積するフレームメモリ（１１３）と、蓄積された画像を用いて予測画像を生成する予測器（１１７）と、領域の分類に用いるパラメータ及び分類された領域毎のフィルタ係数の情報を符号化データとして出力する符号化器（１１８）とを備える。
2009110559.tif 000002
【特許請求の範囲】
【請求項１】
予測画像を生成する予測部と、
予測画像と入力画像との予測残差に対して直交変換を行なって変換係数を生成する直交変換部と、
前記変換係数を量子化する量子化部と、
量子化された変換係数を逆量子化する逆量子化部と、
逆量子化された変換係数に対して逆直交変換を行い、前記予測残差に対応する局所復号残差を求める逆直交変換部と、
前記局所復号残差と前記予測画像を加算して局所復号画像を生成する加算部と、
所定のパラメータを用いて前記局所復号画像を複数の領域に分類する分類部と、
分類された領域毎のフィルタ係数を設計する設計部と、
前記量子化された変換係数及び分類された領域毎の前記フィルタ係数の情報を符号化データとして出力する符号化部と、
を備える動画像符号化装置。
【請求項２】
分類された領域毎の前記フィルタ係数に従って前記局所復号画像にフィルタ処理を行なうフィルタリング部をさらに備え、
前記予測部は、フィルタ処理が施された画像を用いて前記予測画像を生成する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記設計部は、分類された領域毎にフィルタ処理を適用するか否かを指定するとともに、フィルタを適用すべき領域に対するフィルタを設計し、
前記フィルタリング部は、分類された領域毎にフィルタ処理を適用するか否かを切り替えて、前記局所復号画像にフィルタ処理を行い、
前記符号化部は、分類された領域毎にフィルタ処理を適用するか否かを指定する情報をさらに含む符号化データを出力する、
ことを特徴とする、請求項２に記載の動画像符号化装置。
【請求項４】
前記設計部は、分類された領域毎にフィルタ処理を適用するか否かを指定するとともに、フィルタを適用すべき領域に対するフィルタを設計し、
前記符号化部は、領域の分類に用いる前記パラメータ、分類された領域毎にフィルタ処理を適用するか否かを指定する情報及びフィルタ処理が適用される領域に対するフィルタ係数の情報を符号化データとして出力する、
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項５】
前記分類部は前記局所復号画像の画素値に応じて前記局所復号画像を複数の領域に分類する、請求項３の動画像符号化装置。
【請求項６】
前記分類部は符号化パラメータに応じて前記局所復号画像を複数の領域に分類する、請求項３の動画像符号化装置。
【請求項７】
前記分類部は前記予測残差に対応する局所復号残差に応じて前記局所復号画像を複数の領域に分類する、請求項３の動画像符号化装置。
【請求項８】
前記分類部は、予め用意された複数の分類基準のうちひとつの分類基準を用いて領域分類を行い、領域分類に用いた分類基準を指定する情報を含む前記パラメータを出力する、請求項３の動画像符号化装置。
【請求項９】
前記分類部は、所定の閾値を用いて前記符号化パラメータに応じて領域分類を行い、前記閾値の情報を含む符号化データを出力する、請求項６の動画像符号化装置。
【請求項１０】
前記分類部は、前記局所復号画像の各画素とその周辺の画素の絶対値差分の平均値が閾値を超えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する請求項５の動画像符号化装置。
【請求項１１】
前記分類部は、前記局所復号画像の各画素とその周辺の画素の絶対値差分の最大値が閾値を超えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する請求項５の動画像符号化装置。
【請求項１２】
前記分類部は、前記局所復号画像の各画素の周辺の領域の画像信号を周波数成分に変換し、予め決められた周波数帯域に含まれる成分の量を表す値を求め、その値が予め決められた値を超えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する請求項５の動画像符号化装置。
【請求項１３】
前記分類部は、前記局所復号画像の各画素の周辺の領域の画像信号に高域通過フィルタ処理を施し、処理後の各画素の画素値が閾値を越えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する請求項５の動画像符号化装置。
【請求項１４】
前記分類部は、前記局所復号画像にフィルタ処理を行なって得られる画像と前記局所復号画像の差分から得られる画像との画素値の絶対値が閾値を越えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する請求項５の動画像符号化装置。
【請求項１５】
前記分類部は、前記局所復号画像に対して適用された予測が画面内予測であるか画面間予測であるかによって、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項１６】
前記分類部は、前記局所復号画像の予測に用いられた動きベクトルが指す画素位置によって、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項１７】
前記分類部は、前記局所復号画像と対応する量子化パラメータの値によって、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項１８】
分類された領域毎に異なるように予め設定されたフィルタ窓サイズに基づいて前記局所復号画像にフィルタ処理を行なうフィルタリング部を更に含む請求項３の動画像符号化装置。
【請求項１９】
分類された領域毎にフィルタ窓サイズを設定する設定部と、
分類された領域毎に設定された前記フィルタ窓サイズに基づいて前記局所復号画像にフィルタ処理を行なうフィルタリング部と、
分類された領域毎の前記フィルタ窓サイズの情報を符号化データとして出力する符号化部と、
を更に含む請求項３の動画像符号化装置。
【請求項２０】
前記分類部は、前記局所復号画像の各領域に対して適用された予測が単方向予測であるか双方向予測であるかによって、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項２１】
前記分類部は、動き補償予測に用いられたブロックサイズに従って、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項２２】
前記分類部は、直交変換のブロックサイズに従って、前記局所復号画像を分類する、請求項６の動画像符号化装置。
【請求項２３】
前記分類部は、所定の閾値を用いて前記局所復号残差に応じて領域分類を行い、
前記符号化部は、前記閾値の情報を含む符号化データを出力する、
請求項７の動画像符号化装置。
【請求項２４】
前記分類部は、前記局所復号残差の存在する領域を第１の領域、前記残差の存在しない領域を第２の領域に分類する、請求項７の動画像符号化装置。
【請求項２５】
前記分類部は、前記局所復号残差の分散が閾値を超えるか否かによって領域を分類する、請求項７の動画像符号化装置。
【請求項２６】
前記分類部は、前記局所復号残差の大きさが閾値を超えるか否かによって領域を分類する、請求項７の動画像符号化装置。
【請求項２７】
符号化データを復号し、復号データから量子化された変換係数及び領域毎のフィルタ係数の情報を取得する復号部と、
予測画像を生成する予測部と、
量子化された変換係数を逆量子化する逆量子化部と、
逆量子化された変換係数に対して逆直交変換を行い、残差を生成する逆直交変換部と、
前記残差と前記予測画像を加算して復号画像を生成する加算部と、
所定のパラメータを用いて前記復号画像を複数の領域に分類する分類部と、
分類された領域毎に前記フィルタ係数の情報を用いて前記復号画像にフィルタ処理を行なうフィルタリング部と、
を備える動画像復号装置。
【請求項２８】
分類された領域毎に前記フィルタ係数の情報を用いて前記復号画像にフィルタ処理を行なうフィルタリング部を更に備え、
前記予測部はフィルタ処理が施された画像を用いて予測画像を生成する、請求項２７の動画像復号装置。
【請求項２９】
前記フィルタリング部は分類された前記領域に対してフィルタ処理を適用するか否かを指定する情報とフィルタ処理が適用される領域に対するフィルタ係数の情報を用いて、前記復号画像にフィルタ処理を行なう、請求項２８の動画像復号装置。
【請求項３０】
前記フィルタリング部は分類された領域に対してフィルタ処理を適用するか否かを指定する情報及びフィルタ処理が適用される領域に対するフィルタ係数の情報を用いて前記復号画像にフィルタ処理を行なう、請求項２７の動画像復号装置。
【請求項３１】
前記分類部は復号画像の画素値に応じて前記復号画像を複数の領域に分類する、請求項２９の動画像復号装置。
【請求項３２】
前記分類部は領域の分類に用いる符号化パラメータを用いて復号画像を複数の領域に分類する、請求項２９の動画像復号装置。
【請求項３３】
前記分類部は前記残差を用いて前記復号画像を複数の領域に分類する、請求項２９の動画像復号装置。
【請求項３４】
前記分類部は、領域の分類に用いる前記パラメータに含まれる、領域分類に用いた分類基準を指定する情報を基に、予め用意された複数の分類基準のうち一つを選択し、それを用いて領域を分類する、請求項２９の動画像復号装置。
【請求項３５】
前記分類部は、符号化データに含まれる閾値の情報を用いて前記符号化パラメータに応じて領域を分類する、請求項３２の動画像復号装置。
【請求項３６】
前記分類部は、画素とその周辺の画素の絶対値差分の平均値が閾値を超えるか否かによって、前記局所復号画素を平坦部と非平坦部とに分類する、請求項３１の動画像復号装置。
【請求項３７】
前記分類部は、前記局所復号画像の各画素とその周辺の画素の絶対値差分の最大値が閾値を超えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する、請求項３１の動画像復号装置。
【請求項３８】
前記分類部は、前記局所復号画像の各画素の周辺の領域の画像信号を周波数成分に変換し、予め決められた周波数帯域に含まれる成分の量を表す値を求め、その値が予め決められた値を超えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する、請求項３１の動画像復号装置。
【請求項３９】
前記分類部は、前記局所復号画像の各画素の周辺の領域の画像信号に高域通過フィルタ処理を施し、処理後の各画素の画素値が閾値を越えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する、請求項３１の動画像復号装置。
【請求項４０】
前記分類部は、前記局所復号画像にフィルタ処理を行なって得られる画像と前記局所復号画像との差分から得られる画像との画素値の絶対値が閾値を越えるか否かによって、前記局所復号画像を平坦部と非平坦部とに分類する、請求項３１の動画像復号装置。
【請求項４１】
前記分類部は、前記局所復号画像に対して適用された予測が画面内予測であるか画面間予測であるかによって、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４２】
前記分類部は、前記局所復号画像の予測に用いられた動きベクトルが指す画素位置によって、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４３】
前記分類部は、前記局所復号画像と対応する量子化パラメータの値によって、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４４】
分類された領域毎に異なるように予め設定されたフィルタ窓サイズに基づいて前記復号画像にフィルタ処理を行なうフィルタリング部を更に含む請求項２９の動画像復号装置。
【請求項４５】
符号化データを復号し、復号データから分類された領域毎のフィルタ窓サイズの情報を取得する復号部と、
前記フィルタ窓サイズの情報に基づいて復号画像にフィルタ処理を行なうフィルタリング部と、
を更に含む請求項２９の動画像復号装置。
【請求項４６】
前記分類部は、前記局所復号画像の各領域に対して適用された予測が単方向予測であるか双方向予測であるかによって、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４７】
前記分類部は、動き補償予測に用いられたブロックサイズに従って、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４８】
前記分類部は、直交変換のブロックサイズに従って、前記局所復号画像を分類する、請求項３２の動画像復号装置。
【請求項４９】
前記分類部は、符号化データに含まれる閾値の情報を用いて前記残差に応じて領域を分類する、請求項３３の動画像復号装置。
【請求項５０】
前記分類部は、前記残差の存在する領域を第１の領域、前記残差の存在しない領域を第２の領域に分類する、請求項３３の動画像復号装置。
【請求項５１】
前記分類部は、前記局所復号残差の分散が閾値を超えるか否かによって領域を分類する、請求項３３の動画像復号装置。
【請求項５２】
前記分類部は、前記局所復号残差の大きさが閾値を超えるか否かによって領域を分類する、請求項３３の動画像復号装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像復号装置で行なわれるフィルタ処理を制御するための情報を符号化データに付加する動画像符号化装置及び符号化データに付加されたフィルタ処理を制御するための情報に基づいて復号画像にフィルタ処理を行なう動画像復号装置に関する。
【背景技術】
【０００２】
復号画像にフィルタ処理した画像を出力する技術として、符号化装置で符号化対象画像と復号画像にフィルタ処理を行なった画像との誤差を最小化するようにフィルタを設計し、フィルタの情報を送信し、復号装置ではその情報を基に復号画像にフィルタ処理した画像を出力する技術がある（S.Wittmann and T.Wedi,“Post-filter SEI message for 4:4:4 coding”,JVT of ISO/IEC MPEG&ITU-T VCEG,JVT-S030,April 2006（以後S.Wittmann et al.とする））。これにより、復号装置では原画との誤差が少ない出力画像を得ることができる。【０００３】
類似する技術として、S.Wittmann et al.と同様の処理に加えて復号画像にフィルタ処理を行って得られる画像を予測画像生成の際に参照画像として用いる技術が考えられる。これにより、参照画像と符号化対象画像との誤差が少なくなるため、次のフレームを予測した際に予測誤差を削減する効果を得ることができる。S.Wittmann et al.では、フレーム単位でフィルタを設計する。この場合、フレーム内の領域によって異なる画像の性質に合わせてフィルタを設計することができない。S.Wittmann et al.の類似技術についても、フレーム単位でフィルタを設計するのであれば同様の問題がある。
【発明の開示】
【０００４】
従来技術はフレーム単位でフィルタを設計するため、フレーム内の領域によって異なる画像の性質に合わせてフィルタを設計することができないという問題があった。
【０００５】
本発明は、画像を所定の基準によって複数の領域に分類し、分類された領域毎にフィルタ処理を行なうことにより、符号化対象画像と参照画像との誤差及び符号化対象画像と出力画像との誤差を減少させる動画像符号化・復号装置及び方法を提供することを目的とする。
【０００６】
本発明によると、動画像符号化に際してフレーム内の領域を予め決められた基準で分類して分割し、分類された領域毎に局所復号画像に対するフィルタ処理を行なう。また、フィルタの情報に加えて領域の分類に用いるパラメータを符号化データとして出力する。
【０００７】
本発明の一態様は入力画像に対応する局所復号画像を生成する画像処理部と、所定のパラメータを用いて局所復号画像を複数の領域に分類する分類部と、分類された領域毎にフィルタ係数を設計する設計部と、分類された領域毎に対応するフィルタ係数に従って前記局所復号画像にフィルタ処理を行なうフィルタリング部と、フィルタ処理が施された画像を蓄積する蓄積部と、蓄積された画像を用いて予測画像を生成する予測部と、領域の分類に用いるパラメータ及び分類された領域毎のフィルタ係数の情報を符号化データとして出力する符号化部とを備える動画像符号化装置を提供する。
【図面の簡単な説明】
【０００８】
【図１】図１は第1の実施形態に係わる動画像符号化装置のブロック図である。
【図２】図２は第1の実施形態に係わる動画像符号化装置の信号処理器のブロック図である。
【図３】図３は図２の動画像符号化装置による動画像符号化を示すフローチャートである。
【図４】図４はフレームの分類状態を示す図である。
【図５】図５は第１の実施形態の領域分割器による領域分割を示すフローチャートである。
【図６】図６は第１の実施形態の領域情報の例を示す図である。
【図７】図７は高域通過フィルタのフィルタ係数の例を示す図である。
【図８】図８は一次元離散コサイン変換の対象となる画素を示す図である。
【図９】図９は一次元離散コサイン変換の係数と分類基準の関係を示す図である。
【図１０】図１０はフィルタ係数テーブルを示す図である。
【図１１】図１１はインデックスと閾値とを示すテーブルの図である。
【図１２】図１２は第１の実施形態のフィルタ設計器のブロック図である。
【図１３】図１３は第１の実施形態のフィルタ処理器のブロック図である。
【図１４】図１４は第２の実施形態に係わる動画像復号装置のブロック図である。
【図１５】図１５は第２の実施形態に係わる動画像復号装置の信号処理器のブロック図である。
【図１６】図１６は第２の実施形態に係わる動画像復号装置による動画像復号化を示すフローチャートである。
【図１７】図１７は第３の実施形態に係わる動画像符号化装置の信号処理器のブロック図である。
【図１８】図１８は第４の実施形態に係わる動画像復号装置のブロック図である。
【図１９】図１９は第５の実施形態のフィルタ設計器のブロック図である。
【図２０】図２０は第５の実施形態のフィルタ適用・非適用情報の例を示す図である。
【図２１】図２１は第５の実施形態のフィルタ処理器のブロック図である。
【図２２】図２２は第９の実施形態のフィルタ設計器のブロック図である。
【図２３】図２３はフィルタ係数とそれを示すインデックスの例を示す図である。
【図２４】図２４は第９の実施形態のフィルタ処理器のブロック図である。
【図２５】図２５は第１３の実施形態に係わる動画像符号化装置のブロック図である。
【図２６】図２６は第１３の実施形態の領域情報の例を示す図である。
【図２７】図２７は第1４の実施形態に係わる動画像復号装置のブロック図である。
【図２８】図２８は第１５の実施形態に係わる動画像符号化装置のブロック図である。
【図２９】図２９は第1６の実施形態に係わる動画像復号装置のブロック図である。
【図３０】図３０は第２５の実施形態に係わる動画像符号化装置のブロック図である。
【図３１】図３１は第２５の実施形態の領域情報の例を示す図である。
【図３２】図３２は第２６の実施形態に係わる動画像復号装置のブロック図である。
【図３３】図３３は第２７の実施形態に係わる動画像符号化装置のブロック図である。
【図３４】図３４は第２８の実施形態に係わる動画像復号装置のブロック図である。
【図３５】図３５はフィルタ係数を示す図である。
【図３６】図３６は第３８の実施形態に係わる動画像符号化装置のブロック図である。
【図３７】図３７は第３９の実施形態に係わる動画像復号装置のブロック図である。
【図３８】図３８は第４０の実施形態に係わる動画像符号化装置のブロック図である。
【図３９】図３９は第４１の実施形態に係わる動画像復号装置のブロック図である。
【図４０】図４０は第４８の実施形態に係わる動画像符号装置のブロック図である。
【図４１】図４１は第５０の実施形態に係わる動画像符号装置のブロック図である。
【図４２】図４２は第６０の実施形態に係わる動画像符号装置のブロック図である。
【図４３】図４３は第６１の実施形態に係わる動画像復号装置のブロック図である。
【図４４】図４４は第６２の実施形態に係わる動画像符号装置のブロック図である。
【図４５】図４５は第６３の実施形態に係わる動画像復号装置のブロック図である。
【図４６】図４６は第７２の実施形態に係わる動画像符号装置のブロック図である。
【図４７】図４７は第７４の実施形態に係わる動画像符号装置のブロック図である。
【図４８】図４８は第８４の実施形態に係わる動画像符号装置のブロック図である。
【図４９】図４９は第８５の実施形態に係わる動画像復号装置のブロック図である。
【図５０】図５０は第８６の実施形態に係わる動画像符号装置のブロック図である。
【図５１】図５１は第８７の実施形態に係わる動画像復号装置のブロック図である。
【図５２】図５２は領域と分類の対応を示す情報を示す図である。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態について説明する。【００１０】
（第１の実施形態）
図１を用いて本発明の第一の実施形態に係る動画像符号化装置について説明する。入力画像信号１０１が入力される信号処理器１１２は入力画像信号１０１と予測画像信号１０９との残差信号を生成し、残差信号を直交変換し、量子化することによって残差情報１０２を生成し、残差情報１０２を逆量子化及び逆直交変換し、予測画像信号と加算することによって局所復号画像信号１０３を生成するように構成されている。信号処理器１１２の残差情報出力端は可変長符号化器１１８に接続され、局所復号信号出力端はフレームメモリ１１３の書込端に接続される。【００１１】
フレームメモリ１１３の局所復号画像信号読出し端は領域分割器１１４に接続される。この領域分割器１１４は後述するように局所復号画像信号１０４を所定の基準に従って複数の領域に分類し、分割し、領域と分類の対応を示す領域情報１０５を出力する。領域分割器１１４の領域情報出力端はフィルタ設計器１１５及びフィルタ処理器１１６に接続される。フィルタ設計器１１５は入力画像信号１０１、領域情報１０５及びフレームメモリ１１３の局所復号画像信号１０４を受けて分類領域毎にフィルタ係数を設計する。フィルタ設計器１１５の出力端はフィルタ処理器１１６に接続される。【００１２】
フィルタ処理器１１６は局所復号画像信号１０４，領域情報１０５及びフィルタ情報１０６を受け、領域情報１０５に対応する、局所復号画像信号１０４の画像信号領域に対してフィルタ情報１０６に応じてフィルタ処理を行い、分類画像領域毎にフィルタ処理された画像信号１０７を生成する。フィルタ処理器１１６の画像信号出力端はフレームメモリ１１３の書込端に接続される。フレームメモリ１１３はフィルタ処理された画像信号１０７を記憶し、参照画像信号１０８として予測器１１７に読み出す。予測器１１７は参照画像信号１０８から予測画像信号１０９を生成する。【００１３】
上記構成の画像符号化装置を図２及び図３を参照して具体的に説明する。【００１４】
図２に示されるように信号処理器１１２は入力画像信号１０１と予測画像信号１０９との差分を計算して残差信号１１９を出力する減算器１２３と、残差信号１１９を直交変換し、直交変換係数（例えば、ＤＣＴ係数）１２０を出力する直交変換器１２４と、直交変換係数を量子化し、量子化変換係数信号、即ち残差情報１０２を出力する量子化器１２５を有する。信号処理器１１２は更に残差情報１０２を逆量子化して変換係数１２１を出力する逆量子化器１２６と変換係数１２１を逆直交変換して残差信号１２２を再生する逆直交変換器１２７と、再生残差信号１２２と予測画像信号１０９とを加算して局所復号信号１０３を生成する加算器１２８とを有する。【００１５】
図３のフローチャートに示されるように入力画像信号１０１が画像信号処理部１１２に入力されると（Ｓ１１）、減算器１２３では、入力画像信号１０１と予測画像信号１０９の差分をとることにより残差信号１１９が生成される（Ｓ１２）。直交変換器１２４では、残差信号１１９に直交変換が施され、変換係数が生成され（Ｓ１３）、この変換係数が量子化器１２５により量子化される（Ｓ１４）。量子化された変換係数は、一方で残差情報１０２として可変長符号化器に入力され、他方で逆量子化器１２６によって逆量子化された後、逆直交変換器１２７で逆直交変換される。加算器１２８では、再生された残差信号１２２と予測画像信号１０９が加算されることによって、局所復号画像信号１０３が生成される（Ｓ１５）。局所復号画像信号１０３はフレームメモリ１１３に記憶される（Ｓ１６）。フレームメモリ１１３から読み出される局所復号画像信号１０４は、領域分割器１１４、フィルタ設計器１１５及びフィルタ処理器１１６に入力される。【００１６】
領域分割器１１４では入力された局所復号画像信号１０４の領域が予め決められた基準（以下、分類基準）で例えば図４に示されるように分類され、領域と分類の対応を示す領域情報１０５が生成される（Ｓ１７）。領域分割器１１４からは分類基準の計算及びその基準による分類に必要な領域分割パラメータ１１１及び領域情報１０５が出力される。領域分割パラメータ１１１は可変長符号化器１１８に入力され、領域情報１０５はフィルタ設計器１１５及びフィルタ処理器１１６に入力される。【００１７】
領域分割器１１４おける分類処理（Ｓ１７）について図５のフローチャートを用いて説明する。分類の対象は復号画像上の位置（ｘ，ｙ）の画素（以下Ｓ（ｘ，ｙ））とし、画素値の変化の滑らかな平坦部及び画素値の変化の激しい非平坦部の２つに分類するものとする。分類の対象となる領域が各画素であることに注意する。最も細かく領域を分類した場合，領域は画素単位となる。ステップ１０１では、局所復号画像信号１０４から分類基準C（ｘ，ｙ）を計算する。ステップ１０２では、分類基準C（ｘ，ｙ）が閾値Tより小さいか否かを判定する。分類基準C（ｘ，ｙ）が予め決められた閾値Tより小さい場合、ステップ１０３で位置（ｘ，ｙ）は平坦部に分類される。そうでない場合、ステップ１０４で位置（ｘ，ｙ）は非平坦部に分類される。【００１８】
以上の処理により領域と分類の対応がつく。したがって、領域と分類の対応を示す領域情報として図６に示すテーブルを構成することができる。領域分割器１１４からは領域分割パラメータ１１３として閾値Tが、領域情報１０５として図６のテーブルの情報が出力される。【００１９】
分類基準としては、Ｓ（ｘ，ｙ）とその周辺画素の絶対値差分の平均値、即ち次式（１）により計算される平均値を用いることができる。
【数１】
2009110559.tif 000003
【００２０】
ここで、Ｎは任意の自然数とする。式（１）の演算を行なう場合、式（１）を予め決められた丸めのためのオフセット値ＲＣを用いて整数除算により次式（２）で表すことにより浮動小数点演算を避けることができる。
【数２】
2009110559.tif 000004
【００２１】
また、Ｓ（ｘ，ｙ）とその周辺画素の絶対値差分の最大値、即ち次式（３）によって求められる最大値を分類基準に用いることができる。
【数３】
2009110559.tif 000005
【００２２】
また、高域通過フィルタ処理後の値の絶対値、即ち次式（４）によって求められる絶対値を分類基準に用いることができる。
【数４】
2009110559.tif 000006
【００２３】
高域通過フィルタのフィルタ係数は、例えば図７に示すようにN=1として次式（５）によって求めることができる。
【数５】
2009110559.tif 000007
【００２４】
また、位置（ｘ，ｙ）を含む信号を周波数成分に変換し、高域に含まれる周波数成分を分類基準に用いることができる。説明のため、図８に示すように位置（ｘ，ｙ）を含む水平方向に並んだ８画素に一次元離散コサイン変換を施す場合を考える。変換係数を低域から高域の順にＸ（０），Ｘ（１），・・・，Ｘ（７）とするとき、図９に示すように４番目以降の係数の総和、即ち次式（６）により求められる総和を分類基準に用いる。
【数６】
2009110559.tif 000008
【００２５】
係数の総和をとる範囲を４番目の係数以降と固定したが、何番目以降の係数の総和をとるのかを、閾値Ｔと合わせて領域分割パラメータとして出力してもよい。一次元の場合を説明したが、二次元の場合についても同様にすることができる。【００２６】
また、局所復号画像にフィルタ処理を行なった画像と局所復号画像との差分から得られる画像の画素値の絶対値を用いることができる。フィルタ処理を行なった画像は次式（７）により求めることができる。
【数７】
2009110559.tif 000009
【００２７】
フィルタ係数は，例えばN=2として図３５に示すようにすればよい。【００２８】
差分から得られる画像の画素値の絶対値は次式（８）により求めることができる。
【数８】
2009110559.tif 000010
【００２９】
予め用意された複数の分割基準から一つの分類基準を選択して領域分類を行なってもよい。この場合，選択した分類基準を指定する情報を領域分割パラメータに付加する。例えば，複数の高域通過フィルタを用意し，どちらかを選択して領域分類を行なうとする。ここで，図１０に示すように高域通過フィルタにはそれぞれインデックスが対応付けられているとする。インデックス１の高域通過フィルタを用いて領域分類を行なう場合，図１１に示すようにフィルタを指定するためのインデックスと領域分類を行なうための閾値Ｔの情報が領域分類パラメータとして出力される。【００３０】
領域分類が行われると、フィルタ係数の設計が行われる（Ｓ１８）。即ち、フィルタ設計器１１５では、領域情報１０５、入力画像信号１０１及び局所復号画像信号１０４から、領域と対応する分類毎にフィルタ（フィルタ係数）が設計される。設計されたフィルタに関するフィルタ情報１０６はフィルタ処理器１１６及び可変長符号化器１１８に入力される。【００３１】
図１２を用いてフィルタ設計器１１５について説明する。図１２は領域分割器１１４の例のように領域を平坦部と非平坦部に２分類する場合のフィルタ設計器の構成を示している。領域情報１０５は切替制御器１３１に、局所復号画像信号１０４は局所復号画像信号切替器１３２に、入力画像信号１０１は入力画像信号切り替え器１３３に入力される。切替制御器１３１は領域情報１０５を基に局所復号画像信号切替器１３２、入力画像信号切替器１３３、平坦部フィルタ設計器１３４及び非平坦部フィルタ設計器１３５を制御する。領域情報１０５より領域が平坦部であれば、局所復号画像信号１０４及び入力画像信号１０１はともに平坦部フィルタ設計器１３４に、非平坦部であれば非平坦部フィルタ設計器１３５に入力される。【００３２】
平坦部フィルタ設計器１３４では、平坦部に分類された入力画像信号１０１及び局所復号画像信号１０４からフィルタが設計される。非平坦部フィルタ設計器１３５では、非平坦部に分類された入力画像信号１０１及び局所復号画像信号１０４からフィルタが設計される。平坦部フィルタ設計器１３４又は非平坦部フィルタ設計器１３５のどちらにおいても、入力画像信号１０１と局所復号画像信号１０４からWiener-Hopf方程式を構成し解を求めることにより、入力画像信号１０１と局所復号画像信号１０４にフィルタ処理を行って得られる画像信号との二乗誤差を最小にするフィルタを設計することができる。平坦部フィルタ設計器１３４及び非平坦部フィルタ設計器１３５よりそれぞれ平坦部のフィルタ係数１２９及び非平坦部のフィルタ係数１３０が出力され、両者はフィルタ情報多重化器１３６に入力される。フィルタ情報多重化器１３６では、平坦部のフィルタ係数１２９及び非平坦部のフィルタ係数１３０が多重化され、フィルタ情報１０６として出力される。【００３３】
上述のようにしてフィルタ係数が設計されると、フィルタ処理が行われる（Ｓ１９）。即ち、フィルタ処理器１１６において、領域情報１０５から領域と対応する分類に応じて局所復号画像信号１０４に対してフィルタ処理を行い、画像信号１０９を生成する。【００３４】
フィルタ処理器１１６について図１３を用いて説明する。図１３は領域分割器１１４の例のように領域を平坦部と非平坦部に分類する場合のフィルタ処理器１１６の構成を示している。領域情報１０５は切替制御器１４２に、局所復号画像信号１０４は平坦部フィルタ処理器１４３及び非平坦部フィルタ処理器１４４に入力され、フィルタ情報１０６はフィルタ情報分離器１４１に入力される。フィルタ情報分離器１４１はフィルタ情報１０６を平坦部のフィルタ係数１３７及び非平坦部のフィルタ係数１３８に分離する。平坦部のフィルタ係数１３７及び非平坦部のフィルタ係数１３８はそれぞれ平坦部フィルタ処理器１４３及び非平坦部フィルタ処理器１４４に入力される。【００３５】
切替制御器１４２は領域情報１０５を基に平坦部フィルタ処理器１４３、非平坦部フィルタ処理器１４４及び信号切替器１４５を制御する。領域情報１０５が平坦部領域を示していれば、平坦部フィルタ処理器１４３は局所復号画像信号１０４に対して平坦部のフィルタ係数１３７でフィルタ処理を行い、フィルタ処理された画像信号１３９を生成する。フィルタ処理された画像信号１３９は平坦部フィルタ処理器１４３から出力され、信号切替器１４５を通してフィルタ処理器１１６の外部へ出力される。領域情報１０５が非平坦部領域を示していれば、非平坦部フィルタ処理器１４４は局所復号画像信号１０４に対して非平坦部のフィルタ係数１３８でフィルタ処理を行い、フィルタ処理された画像信号１４０を生成する。フィルタ処理された画像信号１４０は非平坦部フィルタ処理器１４４から出力され、信号切替器１４５を通してフィルタ処理器１１６の外部へ出力される。【００３６】
フィルタ処理については、位置（ｘ，ｙ）が平坦部の場合、フィルタ係数ｈ（ｉ，ｊ）（−Ｎ≦ｉ≦Ｎ，−Ｎ≦ｊ≦Ｎ）に対して平坦部のフィルタ係数１３７を設定し、次式（９）により決定すればよい。
【数９】
2009110559.tif 000011
【００３７】
非平坦部の場合、フィルタ係数ｈ（ｉ，ｊ）（−Ｎ≦ｉ≦Ｎ，−Ｎ≦ｊ≦Ｎ）に対して非平坦部のフィルタ係数１３８を設定し、式（６）により決定すればよい。式（６）の演算を行なう場合、フィルタ係数として整数値ｈint（ｉ，ｊ）（−Ｎ≦ｉ≦Ｎ，−Ｎ≦ｊ≦Ｎ）を用意し、予め決められた丸めのためのオフセット値Ｒ及び整数値Dを用いて整数除算により次式（１０）に基づき演算を行えば、浮動小数点演算を避けることができる。
【数１０】
2009110559.tif 000012
【００３８】
画像信号１０３はフレームメモリ１１３に蓄積される。フレームメモリ１１３に蓄積された画像信号が参照画像信号として読み出され、予測器１１７に入力される。予測器１１７では、参照画像信号１０８を用いて予測が行なわれ、予測画像信号１０９が生成される。予測画像信号１０９は信号処理器１１２に入力される。可変長符号化器１１８では、残差情報１０２、領域分割パラメータ１１１及びフィルタ情報１０６が可変長符号化され、それらの符号を含む符号化データ１１０が生成される。【００３９】
（第２の実施形態）
図１４を用いて第２の実施形態に係る動画像復号装置について説明する。この動画像復号装置は復号対象データとしての符号化データ２０１が入力される可変長復号器２１１を有する。この可変長復号器２１１は符号化データ２０１を可変長復号化し、残差情報２０２、領域分割パラメータ２０９及びフィルタ情報２１０を出力する。可変長復号器２１１の残差情報出力端は残差情報２０２と予測画像信号２０８とから復号画像信号２０３を生成する信号処理器２１２に接続され、領域分割パラメータ出力端及びフィルタ情報出力端は領域分割パラメータ２０９により復号画像信号２０４の領域を第一の実施形態の領域分割器１１４と同様に分類し、領域情報２０５を生成する領域分割器２１４及び第一の実施形態のフィルタ処理器１１６と同様に領域情報２０５、フィルタ情報２１０を用いて復号画像信号２０４に対してフィルタ処理を行い、画像信号２０６を生成するフィルタ処理器２１５にそれぞれ接続される。【００４０】
信号処理器２１２の出力端はフレームメモリ２１３に接続され、領域分割器２１４及びフィルタ処理器２１５の出力端はフィルタ処理器２１５及びフレームメモリ２１３に接続される。フレームメモリ２１３の復号画像信号読出し端は領域分割器２１４及びフィルタ処理器２１５に接続され、その参照画像信号出力端は参照画像信号２０７を用いて予測画像信号２０８を生成する予測器２１６に接続される。【００４１】
上記構成の動画像復号装置により実施される動画像復号について図１６のフローチャートを参照して説明する。復号対象の符号化データ２０１として、図１の動画像符号化装置から出力される符号化データ１１０が蓄積系または伝送系を経て入力される（Ｓ３１）。復号対象の符号化データ２０１に含まれる残差情報、領域分割パラメータ及びフィルタ情報の符号が可変長復号化器２１１によって復号され（Ｓ３２）、残差情報２０２、領域分割パラメータ２０９及びフィルタ情報２１０が生成される。残差情報２０２は信号処理器２１２に、領域分割パラメータ２０９は領域分割器２１４に、フィルタ情報２１０はフィルタ処理器２１５に入力される。【００４２】
信号処理器２１２では残差情報２０２を基に残差が再生され、予測画像信号２０８と再生された残差から復号画像信号２０３が生成される。即ち、図１５に示されるように残差情報２０２として量子化された直交変換係数が逆量子化器２１９により逆量子化される（Ｓ３３）。逆量子化された直交変換係数は逆直交変換器２２０により逆直交変換されることによって、残差信号２１８が生成される（Ｓ３４）。加算器２２１では残差信号２１８に予測画像信号２０８が加算されることにより、復号画像信号２０３が得られる（Ｓ３５）。【００４３】
復号画像信号２０３はフレームメモリ２１３に蓄積され（Ｓ３６）、フレームメモリ２１３から読み出される復号画像信号２０４は領域分割器２１４及びフィルタ処理器２１５に入力される。領域分割器２１４では、領域分割パラメータ２０９により復号画像信号２０４の領域が第一の実施形態の領域分割器１１４と同様に分類され、領域情報２０５が生成される（Ｓ３７）。領域情報２０５はフィルタ処理器２１５に入力される。フィルタ処理器２１５では、第一の実施形態のフィルタ処理器１１６と同様に領域情報２０５及びフィルタ情報２１０を用いて復号画像信号２０４に対してフィルタ処理が行われ、画像信号２０６が生成される（Ｓ３８）。画像信号２０６は出力画像信号として出力され（Ｓ３９）、フレームメモリ２１３に蓄積される（Ｓ４０）。フレームメモリ２１３に蓄積された画像信号が参照画像信号として読み出され、予測器２１６に入力される。予測器２１６では参照画像信号２０７を用いて予測が行なわれ、予測画像信号２０８が生成される（Ｓ４１）。予測画像信号２０８は復号画像信号２０３を生成するため信号処理器２１２に入力される。符号化データの入力が確認され、符号化データの入力があると、処理はステップＳ３２に戻り、符号化データの入力がないと、処理は終了する（Ｓ４２）。【００４４】
（第３の実施形態）
図１７を用いて本発明の第３の実施形態に係る動画像符号化装置について説明する。入力画像信号３０１は信号処理器３１０に入力される。画像信号処理部３１０では、予測画像信号３０５と入力画像信号３０１の残差信号が生成され、残差信号を（例えばＤＣＴ係数に）変換した残差情報３０２が生成され、出力される。また、予測画像信号３０５と残差信号３０２から局所復号画像信号３０３が生成され、出力される。残差情報３０２は可変長符号化器３１５に入力され、局所復号画像信号３０３はフレームメモリ３１１に蓄積される。信号処理器３１０の内部の構成については、図２を用いて説明した第１の実施形態の例と同様にすればよい。【００４５】
フレームメモリ３１１から読み出される局所復号画像信号３０４は、予測器３１２、領域分割器３１３及びフィルタ設計器３１４に入力される。予測器３１２では、局所復号画像信号３０４を用いて予測が行なわれ、予測画像信号３０５が生成される。予測画像信号３０５は信号処理器３１０に入力される。領域分割器３１３では、第1の実施形態の領域分割器１１４と同様に、入力された局所復号画像信号３０４の領域が予め決められた分類基準で分類され、領域と分類の対応を示す領域情報３０６が生成される。領域分割器３１３からは分類基準の計算及びその基準による分類に必要な領域分割パラメータ３０７及び領域情報３０６が出力される。領域分割パラメータ３０７は可変長符号化器３１５に入力され、領域情報３０６はフィルタ設計器３１４に入力される。フィルタ設計器３１４では、領域情報３０６、入力画像信号３０１及び局所復号画像信号３０４から領域と対応する分類毎にフィルタ（フィルタ係数）が設計される。フィルタの設計は、第１の実施形態のフィルタ設計器１１５と同様にすればよい。設計されたフィルタに関するフィルタ情報３０８は、可変長符号化器３１５に入力される。可変長符号化器３１５では、残差情報３０２、領域分割パラメータ３０７及びフィルタ情報３０８は可変長符号化され、それらの符号を含む符号化データ３０９が生成される。【００４６】
（第４の実施形態）
図１８を用いて本発明の第４の実施形態に係る動画像復号装置について説明する。復号対象の符号化データ４０１として、図１７の動画像符号化装置から出力される符号化データ３０９が蓄積系または伝送系を経て入力される。復号対象の符号化データ４０１には、残差情報、領域分割パラメータ及びフィルタ情報の符号が含まれている。これらの各符号は可変長復号化器４１０によって復号されることにより、残差情報４０２、領域分割パラメータ４０７及びフィルタ情報４０８が出力される。残差情報４０２は信号処理器４１１に、領域分割パラメータ４０７は領域分割器４１４に、フィルタ情報４０８はフィルタ処理器４１５に入力される。信号処理器４１１では残差情報４０２を基に残差が再生され、予測画像信号４０５と再生された残差から復号画像信号４０３が生成される。信号処理器の内部の構成については、図１５を用いて説明した第２の実施形態の例と同様にすればよい。【００４７】
復号画像信号４０３は領域分割器４１４、フィルタ処理器４１５及びフレームメモリ４１２に入力される。領域分割器４１４では、第３の実施形態の領域分割器３１３と同様の処理を行い、領域分割パラメータ４０７と復号画像信号４０３から領域情報４０９が生成される。領域情報４０９はフィルタ処理器４１５に入力される。フィルタ処理器４１５は、第一の実施形態のフィルタ処理器１１６と同様に領域情報４０９及びフィルタ情報４０８を用いて復号画像信号４０３に対してフィルタ処理を行い、画像信号４０６を生成する。画像信号４０６は出力画像信号として出力される。フレームメモリ４１２に蓄積された復号画像信号は参照画像として読み出され、予測器４１３に入力される。予測器４１３では参照画像信号４０４を用いて予測が行なわれ、予測画像信号４０５が生成される。予測画像信号４０５は信号処理器４１１に入力される。【００４８】
（第５の実施形態）
第５の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。本実施形態のフィルタ設計器１１５では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報１０５、入力画像信号１０１及び局所復号画像１０４により、フィルタを適用する分類に対してフィルタが設計される。各分類にフィルタが適用されるか否かの情報（以下、フィルタ適用・非適用情報）と適用する分類のフィルタ係数がフィルタ情報として出力される。【００４９】
図１９を用いてフィルタ設計器１１５について説明する。図１９は領域分割器１１４の例のように領域を平坦部と非平坦部に２分類し、それぞれについてフィルタを適用するか否かを指定する場合のフィルタ設計器１１５の構成を示している。領域情報１０５は切替制御器１４９に入力され、局所復号画像信号１０４は局所復号画像信号を切換えるための切替器１５０に入力され、入力画像信号１０１は入力画像信号を切換えるための切り替え器１５１に入力される。【００５０】
切替制御器１４９は領域情報１０５を基に切替器１５０、切替器１５１、平坦部フィルタ設計器１５２及び非平坦部フィルタ設計器１５３を制御する。また、切替制御器１４９は平坦部、非平坦部それぞれについてフィルタを適用するか否かを指定し、フィルタ適用・非適用情報１４６を出力する。領域が平坦部であり、かつ切替制御器１４９において平坦部にフィルタ処理を行なうと指定されている場合、局所復号画像信号１０４及び入力画像信号１０１はともに平坦部フィルタ設計器１５２に入力される。領域が非平坦部であり、かつ切替制御器１４９において非平坦部にフィルタ処理を行なうと指定されている場合、局所復号画像信号１０４及び入力画像信号１０１はともに非平坦部フィルタ設計器１５３に入力される。【００５１】
平坦部フィルタ設計器１５２では、平坦部に分類された入力画像信号１０１及び局所復号画像信号１０４からフィルタが設計され、平坦部のフィルタ係数１４７が出力される。非平坦部フィルタ設計器１５３では、非平坦部に分類された入力画像信号１０１及び局所復号画像信号１０４からフィルタが設計され、非平坦部のフィルタ係数１４８が出力される。平坦部フィルタ設計器１５２及び非平坦部フィルタ設計器１５３どちらにおいても、入力画像信号１０１と局所復号画像信号１０４からWiener-Hopf方程式を構成し解を求めることにより、入力画像信号１０１と局所復号画像信号１０４にフィルタ処理を行って得られる画像信号との二乗誤差を最小にするフィルタを設計することができる。【００５２】
切替制御器１４９から出力されたフィルタ適用・非適用情報１４６はフィルタ情報多重化器１５４に入力される。フィルタ情報多重化器１５４では、フィルタ適用・非適用情報１４６に基づいてフィルタ情報に必要なフィルタ係数が選択され、フィルタ適用・非適用情報１４６、選択したフィルタ係数が多重化されたフィルタ情報１０６が生成され、出力される。例えば、切替制御器１４９において平坦部にのみにフィルタを適用すると指定された場合、図１９に示すテーブルの情報がフィルタ適用・非適用情報１４６としてフィルタ情報多重化器１５４に入力され、フィルタ情報多重化器１５４では、フィルタが適用される平坦部のフィルタ係数１４７と図１９のフィルタ適用・非適用情報が多重化されたフィルタ情報１０６が生成され、出力される。フィルタ処理器１１６は、領域情報１０５とフィルタ情報１０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号１０４に対してフィルタ処理を行い、画像信号１０７を生成する。【００５３】
図２１を用いてフィルタ処理器１１６について説明する。図２１は領域分割器１１４の例のように領域を平坦部と非平坦部に分類し、それぞれについてフィルタを適用するか否かを指定する場合のフィルタ処理器１１６の構成を示している。領域情報１０５は切替制御器１６１に、局所復号画像信号１０４は平坦部フィルタ処理器１６２、非平坦部フィルタ処理器１６３及び信号切替器１６４に、フィルタ情報１０６はフィルタ情報分離器１６０に入力される。フィルタ情報分離器１６０ではフィルタ情報１０６がフィルタ適用・非適用情報１５５及びフィルタ係数に分離される。フィルタ適用・非適用情報１５５は切替制御器１６１に入力される。フィルタ情報１０６に平坦部のフィルタ係数が存在すれば、平坦部のフィルタ係数１５６は平坦部フィルタ処理器１６２に入力される。フィルタ情報１０６に非平坦部のフィルタ係数が存在すれば、非平坦部のフィルタ係数１５７は非平坦部フィルタ処理器１６３に入力される。【００５４】
切替制御器１６１は領域情報１０５とフィルタ適用・非適用情報１５５を基に平坦部フィルタ処理器１６２、非平坦部フィルタ処理器１６３及び信号切替器１６４を制御する。領域情報１０５より領域が平坦部であって、かつフィルタ適用・非適用情報１５５により平坦部にフィルタ処理を行なうと指定されている場合、平坦部フィルタ処理器１６２では局所復号画像信号１０４に対して平坦部のフィルタ係数１５６でフィルタ処理が行われ、フィルタ処理された画像信号１５８が生成される。フィルタ処理された画像信号１５８は平坦部フィルタ処理器１６２から出力され、信号切替器１６４を通してフィルタ処理器１１６の外部へ出力される。【００５５】
領域が非平坦部であって、かつ非平坦部にフィルタ処理を行なうと指定されている場合、非平坦部フィルタ処理器１６３では局所復号画像信号１０４に対して非平坦部のフィルタ係数１５７でフィルタ処理が行われ、フィルタ処理された画像信号１５９が生成される。フィルタ処理された画像信号１５９は非平坦部フィルタ処理器１６３から出力され、信号切替器１６４を通してフィルタ処理器１１６の外部へ出力される。領域が平坦部であって、かつ平坦部にフィルタ処理を行なわないと指定されている場合、局所復号画像信号１０４が信号切替器１６４を通り、フィルタ処理器１１６の外部へ出力される。領域が非平坦部であって、非平坦部にフィルタ処理を行なわないと指定されている場合は、領域が平坦部であって、かつ平坦部にフィルタ処理を行なわないと指定されている場合と同様とする。【００５６】
（第６の実施形態）
第６の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１４に示す第２の実施形態と同様である。本実施形態では、フィルタ処理器２１５は図２１に示す第５の実施形態のフィルタ処理器１１６と同様の動作を行なうものとする。即ち、フィルタ処理器１１６は、領域情報１０５とフィルタ情報１０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号１０４に対してフィルタ処理を行い、画像信号１０７を生成する。【００５７】
（第７の実施形態）
第７の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図１７に示す第３の実施形態と同様である。本実施形態では、図１７のフィルタ設計器３１４は図１９に示す第５の実施形態のフィルタ設計器１１５と同様の動作を行なうものとする。【００５８】
（第８の実施形態）
第８の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１８に示す第４の実施形態と同様である。本実施形態では、フィルタ処理器４１５は図２１示す第５の実施形態のフィルタ処理器１１６と同様の動作を行なうものとする。【００５９】
（第９の実施形態）
第９の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。本実施形態のフィルタ設計器１１５では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報１０５、入力画像信号１０１及び局所復号画像１０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報１０６として出力される。【００６０】
フィルタ設計器１１５について領域分割器１１４の例のように領域が平坦部と非平坦部に分類されている場合を例に図２２を用いて説明する。領域情報１０５は制御器１６８に入力され、局所復号画像信号１０４は平坦部フィルタ設計器１６９及び非平坦部フィルタ設計器１７０に入力され、入力画像信号１０１は平坦部フィルタ設計器１６９及び非平坦部フィルタ設計器１７０に入力される。制御器１６８は領域情報１０５を基に平坦部フィルタ設計器１６９及び非平坦部フィルタ設計器１７０を制御する。また、制御器１６８は平坦部及び非平坦部それぞれについてフィルタを適用するか否かを指定し、フィルタ適用・非適用情報１６５を出力する。【００６１】
領域が平坦部であり、かつ制御器１６８において平坦部にフィルタ処理を行なうと指定されている場合、平坦部フィルタ設計器１６９では局所復号画像信号１０４及び入力画像信号１０１から予め用意されたフィルタ係数から適用するフィルタ係数が選択され、選択されたフィルタ係数を示すインデックスが出力される。例えば、図２３に示すようなフィルタ係数とそのインデックスが与えられている場合に、入力画像信号と局所復号画像にフィルタ処理を行なった画像の誤差を最小とするフィルタ係数が選択され、選択されたフィルタ係数と対応するインデックスが出力される。インデックス１６６はフィルタ情報多重化器１７１に入力される。領域が非平坦部であり、かつ制御器１６８において非平坦部にフィルタ処理を行なうと指定されている場合、非平坦部フィルタ設計器１７０では平坦部フィルタ設計器１６９と同様にフィルタ係数が選択され、それと対応するインデックスが出力される。インデックス１６７はフィルタ情報多重化器１７１に入力される。【００６２】
フィルタ情報多重化器１７１では、フィルタ適用・非適用情報１６５に基づいてフィルタ情報に必要なインデックスが選択され、フィルタ適用・非適用情報１６５及び選択したインデックスが多重化されたフィルタ情報が生成され、出力される。例えば、制御器１６８において平坦部にのみにフィルタを適用すると指定され、平坦部フィルタ設計器１６９でインデックス１のフィルタ係数が選択されていた場合、図２０に示すテーブルの情報がフィルタ適用・非適用情報１６５としてフィルタ情報多重化器１７１に入力され、フィルタ情報多重化器１７１では、平坦部のフィルタ係数のインデックス１と図２０のフィルタ適用・非適用情報が多重化されたフィルタ情報が生成され、出力される。【００６３】
フィルタ処理器１１６は、領域情報１０５とフィルタ情報１０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像信号１０４に対してフィルタ処理を行い、画像信号１０７を生成する。【００６４】
フィルタ処理器１１６について領域分割器１１４の例のように領域が平坦部と非平坦部に分類されている場合を例に図２４を用いて説明する。領域情報１０５は切替制御器１７８に、局所復号画像信号１０４は平坦部フィルタ処理器１７９、非平坦部フィルタ処理器１８０及び信号切替器１８１に、フィルタ情報１０６はフィルタ情報分離器１７７に入力される。フィルタ情報分離器１７７ではフィルタ情報１０６がフィルタ適用・非適用情報１７２及びフィルタ係数のインデックスに分離される。フィルタ適用・非適用情報１７２は切替制御器１７８に入力される。フィルタ情報１０６に平坦部のフィルタ係数のインデックスが存在すれば、平坦部のフィルタ係数のインデックス１７３は平坦部フィルタ処理器１７９に入力される。フィルタ情報１０６に非平坦部のフィルタ係数のインデックスが存在すれば、非平坦部のフィルタ係数のインデックス１７４は非平坦部フィルタ処理器１８０に入力される。【００６５】
切替制御器１７８は領域情報１０５とフィルタ適用・非適用情報１７２を基に平坦部フィルタ処理器１７９、非平坦部フィルタ処理器１８０及び信号切替器１８１を制御する。領域情報１０５より領域が平坦部であって、かつフィルタ適用・非適用情報１７２により平坦部にフィルタ処理を行なうと指定されている場合、平坦部フィルタ処理器１７９では平坦部のフィルタ係数のインデックスからフィルタ係数が選択され、選択されたフィルタ係数により局所復号画像信号１０４に対してフィルタ処理が行われ、フィルタ処理された画像信号１７５が生成される。フィルタ処理された画像信号１７５は平坦部フィルタ処理器１７９から出力され、信号切替器１８１を通してフィルタ処理器１１６の外部へ出力される。【００６６】
領域が非平坦部であって、かつ非平坦部にフィルタ処理を行なうと指定されている場合、非平坦部フィルタ処理器１８０では非平坦部のフィルタ係数のインデックスからフィルタ係数が選択され、選択されたフィルタ係数により局所復号画像信号１０４に対してフィルタ処理が行われ、フィルタ処理された画像信号１７６が生成される。フィルタ処理された画像信号１７６は非平坦部フィルタ処理器１８０から出力され、信号切替器１８１を通してフィルタ処理器１１６の外部へ出力される。領域が平坦部であって、かつ平坦部にフィルタ処理を行なわないと指定されている場合、局所復号画像信号１０４が信号切替器１８１を通り、フィルタ処理器１１６の外部へ出力される。領域が非平坦部であって、非平坦部にフィルタ処理を行なわないと指定されている場合は、領域が平坦部であって、かつ平坦部にフィルタ処理を行なわないと指定されている場合と同様とする。【００６７】
（第１０の実施形態）
第１０の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１４に示す第２の実施形態と同様である。本実施形態では、フィルタ処理器２１５は図２４に示す第９の実施形態のフィルタ処理器１１６と同様の動作を行なうものとする。【００６８】
（第１１の実施形態）
第１１の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図１７に示す第３の実施形態と同様である。本実施形態では、フィルタ設計器１１５は図２２に示す第９の実施形態のフィルタ設計器と同様の動作を行なうものとする。【００６９】
（第１２の実施形態）
第１２の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１８に示す第４の実施形態と同様である。本実施形態では、フィルタ処理器４１５は図２４に示す第９の実施形態のフィルタ処理器１１６と同様の動作を行なうものとする。【００７０】
（第１３の実施形態）
図２５を用いて第１３の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態と同様である。但し、領域分割器５１４に信号処理器５１２からの局所復号画像信号５０３の入力がなく、代わりに予測器５１７からの予測モード情報５１９が領域分割器５１４に入力されている点が第１の実施形態とは異なっている。領域分割器５１４では予測モード情報５１９により、領域と分類の対応を示す領域情報５０５が生成され、出力される。更に分類に必要な領域分割パラメータ５１１として予測モード情報が出力される。【００７１】
例えば、予測モード情報としてブロック単位に画面内予測モード及び画面間予測モードの２種類があるとする。このとき領域分割器５１４では、予測モード情報５１９により領域が画面内予測モードであるブロック（以下、画面内予測ブロック）及び画面間予測モードであるブロック（以下、画面間予測ブロック）に分類される。以上の処理により領域と分類の対応がつく。したがって、領域と分類の対応を示す領域情報として図２６に示すテーブルを構成することができる。領域分割器５１４からは、領域分割パラメータ５１１として予測モード情報が、領域情報５０５として図２６に示すテーブルが出力される。【００７２】
予測器５１７においてブロック単位で小数画素精度の動き補償予測が行なわれる場合、予測モード情報５１９を各ブロックの動きベクトルとし、動きベクトルが小数画素位置を指すか整数画素位置を指すかによってブロックを分類してもよい。【００７３】
（第１４の実施形態）
図２７を用いて第１４の実施形態に係る動画像復号装置について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態と同様である。但し、領域分割器６１４にフレームメモリ６１３からの復号画像信号６０４の入力がない点が第２の実施形態とは異なっている。領域分割器６１４では、領域分割パラメータ６０９により第１３の実施形態の領域分割器５１４と同様に画像が分類され、領域情報６０５が生成される。【００７４】
（第１５の実施形態）
図２８を用いて第１５の実施形態に係る動画像符号化装置について説明する。本実施形態に関する動画像符号化装置の基本構成は、第３の実施形態と同様である。但し、領域分割器７１３に信号処理器７１０からの局所復号画像信号７０３の入力がなく、代わりに予測器７１２からの予測モード情報７１６の入力がある点が第３の実施形態とは異なっている。領域分割器７１３では予測モード情報７１６により、領域と分類の対応を示す領域情報７０６が生成され、出力される。更に分類に必要な領域分割パラメータ７０７として予測モード情報が出力される。予測モード情報としては、第１３の実施形態の例と同様、画面内・画面間予測モードや動きベクトルを用いることができる。【００７５】
（第１６の実施形態）
図２９を用いて第１６の実施形態に係る動画像復号装置について説明する。本実施形態に関する動画像復号装置の基本構成は、第４の実施形態と同様である。但し、領域分割器８１４にフレームメモリ８１２からの復号画像信号８０４の入力がない点が第４の実施形態とは異なっている。領域分割器８１４では、領域分割パラメータ８０７により第１５の実施形態の領域分割器７１３と同様に画像が分類され、領域情報８０９が生成される。【００７６】
（第１７の実施形態）
第１７の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２５に示す第１３の実施形態と同様である。本実施形態のフィルタ設計器５１５では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報５０５、入力画像信号５０１及び局所復号画像信号５０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報５０６として出力される。【００７７】
フィルタ処理器５１６は、領域情報５０５とフィルタ情報５０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号５０４に対してフィルタ処理を行い、画像信号５０７を生成する。【００７８】
（第１８の実施形態）
第１８の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図２７に示す第１４の実施形態と同様である。本実施形態では、フィルタ処理器６１５は第１７の実施形態のフィルタ処理器５１６と同様の動作を行なうものとする。即ち、フィルタ処理器６１５は、領域情報６０５とフィルタ情報６１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号６０４に対してフィルタ処理を行い、画像信号５０７を生成する。【００７９】
（第１９の実施形態）
第１９の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２８に示す第１５の実施形態と同様である。本実施形態では、フィルタ設計器７１４は第１７の実施形態のフィルタ設計器５１５と同様の動作を行なうものとする。即ち、フィルタ設計器７１４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報７０６、入力画像信号７０１及び局所復号画像信号７０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報７０８として出力される。【００８０】
（第２０の実施形態）
第２０の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図２９に示す第１６の実施形態と同様である。本実施形態では、フィルタ処理器８１５は第１７の実施形態のフィルタ処理器５１６と同様の動作を行なうものとする。即ち、フィルタ処理器８１５は、領域情報８０９とフィルタ情報８０８から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号８０３に対してフィルタ処理を行い、画像信号８０６を生成する。【００８１】
（第２１の実施形態）
第２１の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２５に示す第１３の実施形態と同様である。本実施形態のフィルタ設計器５１５では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報５０５、入力画像信号５０１、局所復号画像５０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報５０６として出力される。【００８２】
フィルタ処理器５１６は、領域情報５０５とフィルタ情報５０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像信号５０４に対してフィルタ処理を行い、画像信号５０７を生成する。【００８３】
（第２２の実施形態）
第２２の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図２７に示す第１４の実施形態と同様である。本実施形態では、フィルタ処理器６１５は第２１の実施形態のフィルタ処理器５１６と同様の動作を行なうものとする。即ち、フィルタ処理器６１５は、領域情報６０５とフィルタ情報６１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号６０４に対してフィルタ処理を行い、画像信号６０６を生成する。【００８４】
（第２３の実施形態）
第２３の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２８に示す第１５の実施形態と同様である。本実施形態のフィルタ設計器７１４は第２１の実施形態のフィルタ設計器５１６と同様の動作を行なうものとする。【００８５】
（第２４の実施形態）
第２４の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図２９に示す第１６の実施形態と同様である。本実施形態のフィルタ処理器８１５は第２１の実施形態のフィルタ処理器５１６と同様の動作を行なうものとする。【００８６】
（第２５の実施形態）
図３０を用いて第２５の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態の図２と同様である。但し、領域分割器９２６に加算器からの局所復号画像信号の入力がなく、代わりに量子化器９１８からの量子化パラメータの入力がある点が第１の実施形態とは異なっている。領域分割器９２６では量子化パラメータ９２９により、領域と分類の対応を示す領域情報９１４が生成され、出力される。更に分類に必要な領域分割パラメータ９１３として量子化パラメータが出力される。【００８７】
例えば、ブロック単位に量子化パラメータが存在するとする。このとき領域分割器９２６では、量子化パラメータが予め決められた閾値を越えるか否かによって各ブロックを細かく量子化された領域及び粗く量子化された領域に分類することができる。以上の処理により領域と分類の対応がつく。したがって、領域と分類の対応を示す領域情報として図３１に示すテーブルを構成することができる。領域分割器９２６からは、領域分割パラメータ９１３として量子化パラメータと閾値が、領域情報９１４として図３１に示すテーブルの情報が出力される。【００８８】
（第２６の実施形態）
図３２を用いて第２６の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態の図１５と同様である。但し、領域分割器１０１７にフレームメモリ１０１９からの復号画像信号の入力がない点が異なっている。領域分割器１０１７では、領域分割パラメータにより第２５の実施形態の領域分割器９２６と同様に分類され、領域情報１００７が生成される。【００８９】
（第２７の実施形態）
図３３を用いて第２７の実施形態に係る動画像符号化装置について説明する。本実施形態に関する動画像符号化装置の基本構成は、信号処理部が図２と同様の構成を持つ第３の実施形態と同様である。但し、領域分割器１１２３にフレームメモリ１１０８からの局所復号画像信号の入力がなく、代わりに量子化器１１１６からの量子化パラメータの入力がある点が第３の実施形態とは異なっている。領域分割器１１２３では予め決められた閾値と量子化パラメータ１１２５により、領域と分類の対応を示す領域情報１１１１が生成され、出力される。更に分類に必要な領域分割パラメータ１１１２として量子化パラメータと閾値が出力される。【００９０】
（第２８の実施形態）
図３４を用いて第２８の実施形態に係る動画像復号装置について説明する。本実施形態に関する動画像復号装置の基本構成は、信号処理部が図１５と同様の構成を持つ第４の実施形態と同様である。但し、領域分割器１２１８にフレームメモリ１２１６からの復号画像信号の入力がない点が第４の実施形態とは異なっている。領域分割器１２１８では、領域分割パラメータ１２０９により第２７の実施形態の領域分割器１１２３と同様に分類され、領域情報１２１１が生成される。【００９１】
（第２９の実施形態）
第２９の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図３０に示す第２５の実施形態と同様である。本実施形態のフィルタ設計器９２８では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報９１４、入力画像信号９０１及び局所復号画像信号９０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報として出力される。【００９２】
フィルタ処理器９２８は、領域情報９１４とフィルタ情報９１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号９０８に対してフィルタ処理を行い、画像信号９０９を生成する。【００９３】
（第３０の実施形態）
第３０の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３２に示す第２６の実施形態と同様である。本実施形態のフィルタ処理器は第２９の実施形態のフィルタ処理器９２８と同様の動作を行なうものとする。即ち、フィルタ処理器１０１８は、領域情報１００７とフィルタ情報１０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号１００６に対してフィルタ処理を行い、画像信号１００８を生成する。【００９４】
（第３１の実施形態）
第３１の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図３３に示す第２７の実施形態と同様である。本実施形態のフィルタ設計器は第２９の実施形態のフィルタ設計器９２７と同様の動作を行なうものとする。即ち、フィルタ設計器１１２４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報１１１１、入力画像信号１１０１、局所復号画像信号１１０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報１１１３として出力される。【００９５】
（第３２の実施形態）
第３２の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３４に示す第２８の実施形態と同様である。本実施形態のフィルタ処理器は第２９の実施形態のフィルタ処理器９２８と同様の動作を行なうものとする。即ち、フィルタ処理器１２１９は、領域情報１２１１とフィルタ情報１２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号１２０５に対してフィルタ処理を行い、画像信号１２０８を生成する。【００９６】
（第３３の実施形態）
第３３の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図３０に示す第２５の実施形態と同様である。本実施形態のフィルタ設計器９２７では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報９１４、入力画像信号９０１及び局所復号画像９０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報９１５として出力される。【００９７】
フィルタ処理器９２８は、領域情報９１４とフィルタ情報９１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像信号９０８に対してフィルタ処理を行い、画像信号９０９を生成する。【００９８】
（第３４の実施形態）
第３４の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３２に示す第２６の実施形態と同様である。本実施形態のフィルタ処理器は第３３の実施形態のフィルタ処理器９２８と同様の動作を行なうものとする。即ち、フィルタ処理器１０１８は、領域情報１００７とフィルタ情報１０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号１００６に対してフィルタ処理を行い、画像信号１００８を生成する。【００９９】
（第３５の実施形態）
第３５の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図３３に示す第２７の実施形態と同様である。本実施形態のフィルタ設計器１１２４は第３３の実施形態のフィルタ設計器９２７と同様の動作を行なうものとする。即ち、フィルタ設計器１１２４では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報１１１１、入力画像信号１１０１及び局所復号画像１１０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報１１１３として出力される。【０１００】
（第３６の実施形態）
第３６の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３４に示す第２８の実施形態と同様である。本実施形態のフィルタ処理器は第３３の実施形態のフィルタ処理器９２８と同様の動作を行なうものとする。即ち、フィルタ処理器１２１９は、領域情報１２１１とフィルタ情報１２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号１２０５に対してフィルタ処理を行い、画像信号１２０８を生成する。【０１０１】
（第３７の実施形態）
第３７の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図１に示す第１の実施形態と同様である。本実施形態では、フィルタ処理に用いる局所復号画像の画素の範囲（以下、フィルタ窓サイズとする）を領域毎に異なるように予め復号装置と共通に設定しておき、領域毎に異なったフィルタ窓サイズでフィルタ処理を行なう。【０１０２】
領域を平坦部と非平坦部に２分類する場合を例に説明する。予め平坦部については大きなフィルタ窓サイズ、非平坦部については小さなフィルタ窓サイズに設定しておく。例えば平坦部の場合、式（９）においてＮ＝３、非平坦部の場合Ｎ＝１とする。フィルタ処理器１１６の平坦部フィルタ処理器１４３及び非平坦部フィルタ処理器１４４では予め設定された値に基づいてフィルタ処理が行なわれる。【０１０３】
画像のエッジ等を含む非平坦部については小さなフィルタ窓サイズに設定することにより、フィルタの平滑化効果を抑制し、フィルタ処理後の画像のエッジの再現性を向上させることができる。【０１０４】
第２、４、６、８の実施形態の復号装置、第５の実施形態の符号化装置についても同様に領域毎に異なる予め決められたフィルタ窓サイズによってフィルタ処理を行なうことができる。【０１０５】
（第３８の実施形態）
第３８の実施形態について図３６を用いて説明する。本実施形態に関する動画像符号化装置の基本構成は、図１に示す第１の実施形態と同様である。但し、フィルタ窓サイズ設定器１３２０が追加され、フィルタ窓サイズ設定器１３２０から出力されたフィルタ窓サイズの情報１３１９が、フィルタ設計器１３１５、フィルタ処理器１３１６、可変長符号化器１３１８に入力されている点が異なる。【０１０６】
フィルタ窓サイズ設定器１３２０では、分類される領域毎にフィルタ窓サイズが設定され、設定されたフィルタ窓サイズの情報１３１９が出力される。フィルタ窓サイズの設定については、符号化器を操作する作業者が符号化する映像に合わせて経験的に設定してもよいし、また事前にいくつかの異なったフィルタ窓サイズで映像の仮符号化を行ない、フィルタ処理を行なって得られた画像が高画質であったフィルタ窓サイズを選択して設定してもよい。【０１０７】
フィルタ設計器１３１５では、入力画像１３０１、局所復号画像１３０４、領域情報１３０５及びフィルタ窓サイズの情報１３１９を用いて、領域毎にWiener-Hopf方程式を構成し解を求めることにより、局所復号画像信号１３０４にフィルタ処理を行なって得られる画像と入力画像信号１３０１との二乗誤差を最小にするフィルタを領域毎に設計することができる。設計されたフィルタ係数に関するフィルタ情報１３０６が出力される。【０１０８】
フィルタ処理器１３１６では、領域情報１３０５、局所復号画像１３０４、フィルタ情報１３０６及びフィルタ窓サイズ情報１３１９を用いてフィルタ処理を行ない、画像信号１３０７が生成される。フィルタ処理はフィルタ窓サイズ情報１３１９により領域毎に指定されたフィルタ窓サイズを用いて行なわれる。画像信号１３０７はフレームメモリ１３１３に記憶される。このフレームメモリ１３１３から読み出される画像信号１３０８が予測器１３１７で予測信号１３０９を生成するために用いられる。【０１０９】
可変長符号化器１３１８では、残差情報１３０２、領域分割パラメータ１３１１、フィルタ情報１３０６及びフィルタ窓サイズ情報１３１９が可変長符号化され、それらの符号を含む符号化データが生成される。【０１１０】
（第３９の実施形態）
第３９の実施形態について図３７を用いて説明する。本実施形態に関する動画像復号装置の基本構成は、図１４に示す第２の実施形態と同様である。但し、可変長復号器１４１１から出力されたフィルタ窓サイズ情報１４１７が、フィルタ処理器１４１５に入力されている点が第２の実施形態から異なる。本実施形態では第３８の実施形態の動画像符号化装置から出力された符号化データが蓄積系又は伝送系を経て入力される。【０１１１】
可変長復号器１４１１では、符号化データ１４０１が復号され、残差情報１４０２、領域分割パラメータ１４０９、フィルタ情報１４１０及びフィルタ窓サイズ情報１４１７が出力される。【０１１２】
フィルタ処理器１４１５では、領域情報１４０５、復号画像信号１４０４、フィルタ情報１４１０及びフィルタ窓サイズ情報１４１７を用いてフィルタ処理を行ない、画像信号１４０６が生成される。フィルタ処理はフィルタ窓サイズ情報１４１７により領域毎に指定されたフィルタ窓サイズを用いて行なわれる。【０１１３】
なお、信号処理器１４１２，フレームメモリ１４１３，領域分割器１４１４及び予測器１４１６は図１４の信号処理器２１２，フレームメモリ２１３，領域分割器２１４及び予測器２１６にそれぞれ対応する。また、信号１４０３，１４０７及び１４０８は図１４の信号２０３，２０７及び２０８にそれぞれ対応する。【０１１４】
（第４０の実施形態）
第４０の実施形態について図３８を用いて説明する。本実施形態に関する動画像符号化装置の基本構成は、図１７に示す第３の実施形態と同様である。但し、フィルタ窓サイズ設定器１５１７が追加され、フィルタ窓サイズ設定器１５１７から出力されたフィルタ窓サイズ情報１５１６が、フィルタ設計器１５１４及び可変長符号化器１５１５に入力されている点が異なる。【０１１５】
フィルタ窓サイズ設定器１５１７では、第３８の実施形態のフィルタ窓サイズ設定器１３２０と同様にフィルタ窓サイズが設定され、設定されたフィルタ窓サイズ情報１５１６が出力される。  
フィルタ設計器１５１４では、第３８の実施形態のフィルタ設計器１３１５と同様に領域毎のフィルタが設計され、フィルタ情報１５０８が出力される。  
可変長符号化器１５１５では、第３８の実施形態の可変長符号化器１３１８と同様に符号化データ１５０９が出力される。【０１１６】
なお、信号処理器１５１０，フレームメモリ１５１１，予測器１５１２及び領域分離器１５１３は図１７の信号処理器３１０，フレームメモリ３１１，予測器３１２，領域分離器３１３にそれぞれ対応する。また、信号１５０１，１５０２，１５０３，１５０４，１５０５，１５０６及び１５０７は図１７の信号３０１，３０２，３０３，３０４，３０５，３０６及び３０７にそれぞれ対応する。【０１１７】
（第４１の実施形態）
第４１の実施形態について図３９を用いて説明する。本実施形態に関する動画像復号装置の基本構成は、図１８に示す第４の実施形態と同様である。但し、可変長復号器１６１０から出力されたフィルタ窓サイズの情報１６１６が、フィルタ処理器１６１５に入力されている点が第４の実施形態とは異なる。本実施形態では第４０の実施形態の動画像符号化装置から出力された符号化データが蓄積系又は伝送系を経て入力される。【０１１８】
可変長復号器１６１０では、符号化データ１６０１が復号され、残差情報１６０２、領域分割パラメータ１６０７、フィルタ情報１６０８及びフィルタ窓サイズ情報１６１６が出力される。【０１１９】
フィルタ処理器１６１５では、領域情報１６０９、復号画像信号１６０３、フィルタ情報１６０８及びフィルタ窓サイズ情報１６１６を用いてフィルタ処理を行ない、画像信号１６０６が生成される。フィルタ処理は領域毎に指定されたフィルタ窓サイズを用いて行なわれる。【０１２０】
なお、信号処理器１６１１，フレームメモリ１６１２，領域分割器１６１４及び予測器１６１３は図１８の信号処理器４１１，フレームメモリ４１２，領域分割器４１４及び予測器４１３にそれぞれ対応する。また、信号１６０４及び１６０５は図１８の信号４０４及び４０５にそれぞれ対応する。【０１２１】
（第４２の実施形態）
第４２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第５の実施形態と同様である。基本構成の図は、第３８の実施形態の図３６と同一となるため、図３６を用いて説明する。第５の実施形態と異なる点は、フィルタ窓サイズ設定器１３２０が追加され、フィルタ窓サイズ設定器１３２０から出力されたフィルタ窓サイズの情報１３１９が、フィルタ設計器１３１５、フィルタ処理器１３１６及び可変長符号化器１３１８に入力されていることである。フィルタ窓サイズ設定器１３２０では、第３８の実施形態と同様に分類される領域毎にフィルタ窓サイズが設定され、設定されたフィルタ窓サイズ情報１３１９が出力される。【０１２２】
フィルタ設計器１３１５では、入力画像１３０１、局所復号画像１３０４、領域情報１３０５及びフィルタ窓サイズ情報１３１９を用いて、フィルタが適用される領域に対してWiener-Hopf方程式を構成し解を求めることにより、局所復号画像信号１３０４にフィルタ処理を行なって得られる画像と入力画像信号１３０１との二乗誤差を最小にするフィルタを設計することができる。フィルタを適用する領域に対して設計されたフィルタ係数に関するフィルタ情報１３０６が出力される。【０１２３】
フィルタ処理器１３１６では、領域情報１３０５、局所復号画像１３０４、フィルタ情報１３０６及びフィルタ窓サイズ情報１３１９を用いてフィルタ処理を行ない、画像信号１３０７が生成される。フィルタ処理は、フィルタ情報１３０６によってフィルタを用いると指定された領域に対して、フィルタ窓サイズ情報１３１９によって指定されたフィルタ窓サイズを用いて行なわれる。【０１２４】
可変長符号化器１３１８では、残差情報１３０２、領域分割パラメータ１３１１、フィルタ情報１３０６及びフィルタ窓サイズ情報１３１９が可変長符号化され、それらの符号を含む符号化データが生成される。但し、フィルタ窓サイズの情報１３１９については、フィルタ情報１３０６によってフィルタを用いると指定された領域に対するフィルタ窓サイズの情報のみが符号化される。【０１２５】
（第４３の実施形態）
第４３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第６の実施形態と同様である。基本構成の図は、第３９の実施形態の図３７と同一となるため、図３７を用いて説明する。第６の実施形態と異なる点は、可変長復号器１４１１から出力されたフィルタ窓サイズ情報１４１７が、フィルタ処理器１４１５に入力されていることである。本実施形態では第４２の実施形態の動画像符号化装置から出力された符号化データが蓄積系又は伝送系を経て動画像復号装置に入力される。可変長復号器１４１１では、符号化データ１４０１が復号され、残差情報１４０２、領域分割パラメータ１４０９、フィルタ情報１４１０及びフィルタ窓サイズ情報１４１７が出力される。【０１２６】
フィルタ処理器１４１５では、領域情報１４０５、復号画像信号１４０４、フィルタ情報１４１０及びフィルタ窓サイズ情報１４１７を用いてフィルタ処理を行ない、画像信号１４０６が生成される。フィルタ処理は、フィルタ情報１４１０によってフィルタ処理を適用すると指定された領域に対して、フィルタ窓サイズの情報１４１７によって指定されたフィルタ窓サイズを用いて行なわれる。【０１２７】
（第４４の実施形態）
第４４の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第７の実施形態と同様である。基本構成の図は、第４０の実施形態の図３８と同一となるため、図３８を用いて説明する。第７の実施形態と異なる点は、フィルタ窓サイズ設定器１５１７が追加され、フィルタ窓サイズ設定器１５１７から出力されたフィルタ窓サイズの情報１５１６が、フィルタ設計器１５１４及び可変長符号化器１５１５に入力されていることである。フィルタ窓サイズ設定器１５１７では、第３８の実施形態のフィルタ窓サイズ設定器１３２０と同様にフィルタ窓サイズが設定され、設定されたフィルタ窓サイズの情報１５１６が出力される。【０１２８】
フィルタ設計器１５１４では、第４２の実施形態のフィルタ設計器と同様にフィルタを適用する領域に対してフィルタが設計され、フィルタ情報１５０８が出力される。可変長符号化器１５１５では、第４２の実施形態の可変長符号化器１３１８と同様に符号化データ１５０９が出力される。【０１２９】
（第４５の実施形態）
第４５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第８の実施形態と同様である。基本構成の図は、第４１の実施形態の図３９と同一となるため、図３９を用いて説明する。第８の実施形態と異なる点は、可変長復号器１６１０から出力されたフィルタ窓サイズの情報１６１６が、フィルタ処理器１６１５に入力されていることである。本実施形態では第４４の実施形態の動画像符号化装置から出力された符号化データが蓄積系又は伝送系を経て動画像復号装置に入力される。可変長復号器１６１０では、符号化データ１６０１が復号され、残差情報１６０２、領域分割パラメータ１６０７、フィルタ情報１６０８及びフィルタ窓サイズの情報１６１６が出力される。フィルタ処理器１６１５では、第４３の実施形態のフィルタ処理器１４１５と同様にフィルタ処理が行なわれる。【０１３０】
（第４６の実施形態）
第４６の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２５に示した第１３の実施形態と同様である。本実施形態では、特に予測器から出力される予測モード情報５１９が単方向予測・双方向予測を示す情報であるとする。【０１３１】
例えば、予測モード情報５１９としてブロック単位に画面間単方向予測モード及び画面間双方向予測モードの２種類があるとする。このとき領域分割器５１４では、領域を画面間単方向予測モードであるブロック及び画面間双方向予測モードであるブロックに分類する。【０１３２】
このように分類することによって、画面内双方向予測の平滑化効果によって画像がぼけている領域については、平滑化効果の低いフィルタを適用することが可能になる。したがって、画面内双方向予測の平滑化効果とフィルタの平滑化効果によって画像が過度にぼけてしまうことを防ぐことができる。【０１３３】
第１４、１６、１８、２０、２２及び２４の実施形態の復号装置、及び第１５、１７、１９、２１及び２３の実施形態の符号化装置についても同様に単方向予測及び双方向予測を示す情報によって領域を分類して符号化及び復号を行なうことができる。【０１３４】
（第４７の実施形態）
第４７の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図２５に示した第１３の実施形態と同様である。本実施形態では、特に予測器から出力される予測モード情報５１９が動き補償予測に用いられるブロックサイズの情報であるとする。例えば、動き補償予測に用いられるブロックサイズが４×４または８×８であるとする。このとき予測器からは予測モード情報として動き補償予測に用いられるブロックサイズの情報が出力され、領域分割器ではその情報を用いて４×４ブロックで動き補償予測が行なわれる領域及び８×８ブロックで動き補償予測が行なわれる領域に分類する。【０１３５】
第１４、１６、１８、２０、２２及び２４の実施形態の復号装置、及び第１５、１７、１９、２１及び２３の実施形態の符号化装置についても同様に動き補償予測に用いられるブロックサイズの情報によって領域を分類して符号化及び復号を行なうことができる。【０１３６】
（第４８の実施形態）
図４０を用いて第４８の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態の図２と同様である。但し、領域分割器１７２６にフレームメモリ１７２３からの局所復号画像１７０８の入力がなく、代わりに直交変換器１７１７からの直交変換のブロックサイズの情報１７２９の入力がある点が第１の実施形態とは異なっている。領域分割器１７２６では直交変換のブロックサイズの情報１７２９により、領域と分類の対応を示す領域情報１７１４が生成され、出力される。更に分類に必要な領域分割パラメータ１７１３として直交変換のブロックサイズの情報１７２９が出力される。例えば、直交変換のブロックサイズとして４×４及び８×８の２種類が存在するとする。このとき、領域分割器１７２６では、４×４ブロック単位で直交変換が行なわれるか、８×８ブロック単位で直交変換が行なわれるかによって領域を２つに分類する。このようにすることにより、変換サイズによって性質の異なる符号化歪みに応じてフィルタ処理を行なうことが可能になる。【０１３７】
（第４９の実施形態）
図３２を用いて第４９の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態の図１５と同様である。但し、領域分割器１０１７にフレームメモリ１０１９からの復号画像の入力がない点が第２の実施形態とは異なっている。本実施形態では、第４８の実施形態の動画像符号化装置から出力された符号化データが可変長復号器１０１３に入力される。可変長復号器１０１３では、符号化データ１００１を復号し、領域分割パラメータ１０１１、フィルタ情報１０１２が出力される。領域分割パラメータ１０１１は直交変換のブロックサイズの情報である。【０１３８】
（第５０の実施形態）
図４１を用いて第５０の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１の実施形態の図２と同様の構成の信号処理部を持つ第３の実施形態と同様である。但し、領域分割器１８２３にフレームメモリ１８２０からの局所復号画像の入力がなく、代わりに直交変換器１８１５からの直交変換のブロックサイズの情報１８２５の入力がある点が第３の実施形態とは異なっている。領域分割器１８２３では直交変換のブロックサイズの情報１８２５により、領域と分類の対応を示す領域情報１８１１が生成され、出力される。更に分類に必要な領域分割パラメータ１８１２として直交変換のブロックブロックサイズの情報１８２５が出力される。【０１３９】
なお、減算器１８１４，量子化器１８１６，逆量子化器１８１７，逆直交変換器１８１８，加算器１８１９，予測器１８２１，可変長符号化器１８２２及びフィルタ設計器１８２４は図２の減算器１２３，量子化器１２５，逆量子化器１２６，逆直交変換器１２７及び加算器１２８，並びに図１７の予測器３１２，可変長符号化器３１５及びフィルタ設計器３１４にそれぞれ対応する。また、信号１８０１，１８０２，１８０３，１８０４，１８０５，１８０６，１８０７，１８０８，１８０９，１８１０及び１８１３は図２の信号１０１，１１９，１２０，１０２，１２１及び１２２，並びに図１７の信号３０３，３０４，３０５，３０９及び３０８にそれぞれ対応する。【０１４０】
（第５１の実施形態）
図３４を用いて第５１の実施形態に係る動画像復号装置について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態の図１５と同様の構成の信号処理部を持つ第４の実施形態と同様である。但し、領域分割器１２１８にフレームメモリ１２１６からの復号画像の入力がない点が第４の実施形態とは異なっている。本実施形態では、第５０の実施形態の動画像符号化装置から出力された符号化データが可変長復号器１２１２に入力される。可変長復号器１２１２では、符号化データ１２０１を復号し、領域分割パラメータ１２０９、フィルタ情報１２１０が出力される。領域分割パラメータ１２０９は直交変換のブロックサイズの情報である。【０１４１】
（第５２の実施形態）
第５２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４０に示す第４８の実施形態と同様である。本実施形態のフィルタ設計器１７２７では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報１７１４、入力画像信号１７０１及び局所復号画像信号１７０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報１７１５として出力される。【０１４２】
フィルタ処理器１７２８は、領域情報１７１４とフィルタ情報１７１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号１７０８に対してフィルタ処理を行ない、画像信号１７０９を生成する。【０１４３】
（第５３の実施形態）
第５３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は図３２に示す第４９の実施形態と同様である。本実施形態のフィルタ処理器１０１８は第５２の実施形態のフィルタ処理器１７２７と同様の動作を行なうものとする。即ち、フィルタ処理器１０８０は、領域情報１０１１とフィルタ情報１０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号１００６に対してフィルタ処理を行ない、画像信号１００８を生成する。【０１４４】
（第５４の実施形態）
第５４の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４１に示す第５０の実施形態と同様である。本実施形態のフィルタ設計器１８２４は第５２の実施形態のフィルタ設計器１７２７と同様の動作を行なうものとする。即ち、フィルタ設計器１８２４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報１８１１、入力画像信号１８０１及び局所復号画像信号１８０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報１８１３として出力される。【０１４５】
（第５５の実施形態）
第５５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３４に示す第５１の実施形態と同様である。本実施形態のフィルタ処理器１２１９は第５２の実施形態のフィルタ処理器１７２８と同様の動作を行なうものとする。即ち、フィルタ処理器１２１９は、領域情報１２１１とフィルタ情報１２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像信号１２０５に対してフィルタ処理を行ない、画像信号１２０８を生成する。【０１４６】
（第５６の実施形態）
第５６の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４０に示す第４８の実施形態と同様である。本実施形態のフィルタ設計器１７２７では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報１７１４、入力画像信号１７０１、局所復号画像信号１７０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報１７１５として出力される。【０１４７】
フィルタ処理器１７２８は領域情報１７１４とフィルタ情報１７１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像信号１７０８に対してフィルタ処理を行ない、画像信号１７０９を生成する。【０１４８】
（第５７の実施形態）
第５７の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３２に示す第４９の実施形態と同様である。本実施形態のフィルタ処理器１０１８は第５６の実施形態のフィルタ処理器１７２８と同様の動作を行なうものとする。即ち、フィルタ処理器１０１８は、領域情報１００７とフィルタ情報１０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像１００６に対してフィルタ処理を行ない、画像信号１００８を生成する。【０１４９】
（第５８の実施形態）
第５８の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図４１に示す第５０の実施形態と同様である。本実施形態のフィルタ設計器１８２４は第５６の実施形態のフィルタ設計器１７２７と同様の動作を行なうものとする。即ち、フィルタ設計器１８２４では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報１８１１、入力画像信号１８０１及び局所復号画像信号１８０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報１８１３として出力される。【０１５０】
（第５９の実施形態）
第５９の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図３４に示す第５１の実施形態と同様である。本実施形態のフィルタ処理器１２１９は第５６の実施形態のフィルタ処理器１７２８と同様の動作を行なうものとする。即ち、フィルタ処理器１２１９は、領域情報１２１１とフィルタ情報１２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号１２０５に対してフィルタ処理を行ない、画像信号１２０８を生成する。【０１５１】
（第６０の実施形態）
図４２を用いて第６０の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は第１の実施形態の図２と同様である。但し、領域分割器１９２６にフレームメモリ１９２３からの局所復号画像信号１９０８の入力がなく、代わりに逆直交変換器からの残差信号１９０６がある点が第１の実施形態とは異なっている。【０１５２】
領域分割器１９２６において基本となる分類処理は第１の実施形態の領域分割器１１４と同様である。但し、分類基準を画素単位で計算するのではなく、ブロック単位に計算する点が第１の実施形態とは異なる。ラスタスキャン順で位置iにあるブロックに対する分類基準をC(i)とするとき、分類基準C(i)が予め決められた閾値Tより小さいか否かによって領域を分類する。閾値Tについては、図４２の動画像符号化装置を制御する外部の符号化制御器から値を与えてもよい。【０１５３】
分類基準としては、ラスタスキャン順で位置iにあるブロックの残差信号の絶対値和、即ち次式（１１）で求められる絶対値和を用いることができる。
【数１１】
2009110559.tif 000013
【０１５４】
ここでR(x,y)は位置（ｘ，ｙ）の残差信号、B(i)はラスタスキャン順で位置iにあるブロックに含まれる座標（ｘ，ｙ）の集合であるとする。【０１５５】
また、ラスタスキャン順で位置iにあるブロックの残差信号の二乗和、即ち次式（１２）によって求められる二乗和を分類基準として用いることができる。
【数１２】
2009110559.tif 000014
【０１５６】
また、ラスタスキャン順で位置iにあるブロックの残差信号の分散、即ち次式（１３）によって求められる分散を分類基準として用いることができる。
【数１３】
2009110559.tif 000015
【０１５７】
領域分割器１９２６からは、領域分割パラメータ１９１３と領域情報１９１４が出力される。ここで領域分割パラメータとして出力されるのは、閾値Tである。【０１５８】
なお、減算器１９１６，直交変換器１９１７，量子化器１９１８，逆量子化器１９１９，逆直交変換器１９２０，加算器１９２１，予測器１９２４，可変長符号器１９２５，フィルタ設計器１９２７及びフィルタ処理器１９２８は図２の減算器１２３，直交変換器１２４，量子化器１２５，逆量子化器１２６，逆直交変換器１２７，加算器１２８，予測器１１７，可変長符号器１１８，フィルタ設計器１１５及びフィルタ処理器１１６にそれぞれ対応する。また、信号１９０１，１９０２，１９０３，１９０４，１９０５，１９０７，１９０９，１９１０，１９１１，１９１２及び１９１５は図２の１０１，１１９，１２０，１０２，１２１，１０３，１０７，１０８，１０９、１１０及び１０６にそれぞれ対応する。【０１５９】
（第６１の実施形態）
図４３を用いて第６１の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態の図１５と同様である。但し、領域分割器２０１７にフレームメモリ２０１９からの復号画像信号の入力がなく、逆直交変換器２０１５からの残差信号２００４の入力がある点が第２の実施形態とは異なっている。【０１６０】
本実施形態では第６０の実施形態の符号化装置から出力された符号化データが可変長復号器２０１３に入力される。可変長復号器２０１３では、符号化データ２００１を復号し、領域分割パラメータ２０１１、フィルタ情報２０１２が出力される。領域分割パラメータ２０１１は領域分割器２０１７において領域を分類するために用いる閾値である。領域分割器２０１７では、残差信号２００４及び領域分割パラメータ２０１１により第６０の実施形態の領域分割器１９２６と同様に領域が分類され、領域情報２００７が生成される。【０１６１】
なお、逆量子化器２０１４，加算器２０１６，フィルタ処理器２０１８及び予測器２０２０は図１５の逆量子化器２１９，加算器２２１，フィルタ処理器２１５及び予測器２１６にそれぞれ対応する。また、信号２００２，２００３，２００５，２００６，２００８，２００９及び２０１０は図１５の信号２０２，２１７，２０３，２０４，２０６，２０７及び２０８にそれぞれ対応する。【０１６２】
（第６２の実施形態）
図４４を用いて第６２の実施形態について説明する。実施形態に関する動画像符号化装置の基本構成は、第１の実施形態の図２と同様の構成の信号処理部を持つ第３の実施形態と同様である。但し、領域分割器２１２３にフレームメモリ２１２０からの局所復号画像の入力がなく、代わりに逆直交変換器２１１８からの残差信号２１０６の入力がある点が第３の実施形態とは異なっている。領域分割器２１２３では、残差信号２１０６により第６０の実施形態の領域分割器と同様に領域が分類され、領域分割パラメータ２１１２と領域情報２１１１が出力される。ここで領域分割パラメータ２１１２として出力されるのは、領域の分類に用いられた閾値である。【０１６３】
なお、減算器２１１４，直交変換器２１１５，量子化器２１１６，逆量子化器２１１７，逆直交変換器２１１８，加算器２１１９，予測器２１２１，可変長符号器２１２２，フィルタ設計器２１２４は図２の減算器１２３，直交変換器１２４，量子化器１２５，逆量子化器１２６，逆直交変換器１２７及び加算器１２８，並びに図１６の予測器３１２，可変長符号器３１５及びフィルタ設計器３１４にそれぞれ対応する。また、信号２１０１，２１０２，２１０３，２１０４，２１０５，２１０７，２１０８，２１０９，２１１０及び２１１３は図２の信号１０１，１１９，１２０，１０２及び１２１，並びに図１６の信号３０３，３０４，３０５，３０９及び３０８にそれぞれ対応する。【０１６４】
（第６３の実施形態）
図４５を用いて第６３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第２の実施形態の図１５と同様の構成の信号処理部を持つ第４の実施形態と同様である。但し、領域分割器２２１８にフレームメモリ２２１６からの復号画像信号の入力がなく、逆直交変換器２２１４からの残差信号２２０４の入力がある点が第４の実施形態とは異なっている。【０１６５】
本実施形態では第６２の実施形態の符号化装置から出力された符号化データが可変長復号器２２１２に入力される。可変長復号器２２１２では、符号化データ２２０１を復号し、領域分割パラメータ２２０９及びフィルタ情報２２１０が出力される。領域分割パラメータ２２０９は領域分割器２２１８において領域を分類するために用いる閾値である。領域分割器２２１８では、残差信号２２０４及び領域分割パラメータ２２０９により第６０の実施形態の領域分割器１９２６と同様に領域が分類され、領域情報２２１１が生成される。【０１６６】
なお、逆量子化器２２１３，加算器２２１５，予測器２２１７及びフィルタ処理器２２１９は図１５の逆量子化器２１９及び減算器２２１，並びに図１７の予測器４１３及びフィルタ処理器４１５にそれぞれ対応する。また、信号２２０２，２２０３，２２０５，２２０６，２２０７，２２０８及び２２１０は図１５の信号２０２及び２１７，並びに図１７の信号４０３，４０４，４０５，４０６及び４０８にそれぞれ対応する。【０１６７】
（第６４の実施形態）
第６４の実施形態について説明する。実施形態に関する動画像符号化装置の基本構成は図４２に示す第６０の実施形態と同様である。本実施形態のフィルタ設計器１９２７では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報１９１４、入力画像信号１９０１及び局所復号画像信号１９０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報１９１５として出力される。【０１６８】
フィルタ処理器１９２８は、領域情報１９１４とフィルタ情報１９１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号１９０８に対してフィルタ処理を行ない、画像信号１９０９を生成する。【０１６９】
（第６５の実施形態）
第６５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図４３に示す第６１の実施形態と同様である。本実施形態のフィルタ処理器２０１８は第６４の実施形態のフィルタ処理器１９２８と同様の動作を行なうものとする。即ち、フィルタ処理器２０１８は、領域情報２００７とフィルタ情報２０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像２００６に対してフィルタ処理を行ない、画像信号２００８を生成する。【０１７０】
（第６６の実施形態）
第６６の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４４に示す第６２の実施形態と同様である。本実施形態のフィルタ設計器２１２４は第６４の実施形態のフィルタ設計器１９２７と同様の動作を行なうものとする。即ち、フィルタ設計器２１２４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報２１１１、入力画像信号２１０１及び局所復号画像２１０８により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報２１１３として出力される。【０１７１】
（第６７の実施形態）
第６７の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は図４５に示す第６３の実施形態と同様である。本実施形態のフィルタ処理器２２１９は第６４の実施形態のフィルタ処理器１９２８と同様の動作を行なうものとする。即ち、フィルタ処理器２２１９は、領域情報２２１１とフィルタ情報２２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像２２０５に対してフィルタ処理を行ない、画像信号２２０８を生成する。【０１７２】
（第６８の実施形態）
第６８の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４２に示す第６０の実施形態と同様である。本実施形態のフィルタ設計器１９２７では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報１９１４、入力画像信号１９０１、局所復号画像１９０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報１９１５として出力される。【０１７３】
フィルタ処理器１９２８は、領域情報１９１４とフィルタ情報１９１５から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像１９０８に対してフィルタ処理を行ない、画像信号１９０９を生成する。【０１７４】
（第６９の実施形態）
第６９の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図４３に示す第６１の実施形態と同様である。本実施形態のフィルタ処理器２０１８は第６８の実施形態のフィルタ処理器１９２８と同様の動作を行なうものとする。即ち、フィルタ処理器２０１８は、領域情報２００７とフィルタ情報２０１２から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号２００６に対してフィルタ処理を行ない、画像信号２００８を生成する。【０１７５】
（第７０の実施形態）
第７０の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図４４に示す第６２の実施形態と同様である。本実施形態のフィルタ設計器２１２４は第６８の実施形態のフィルタ設計器１９２７と同様の動作を行なうものとする。即ち、フィルタ設計器２１２４では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報２１１１、入力画像信号２１０１及び局所復号画像信号２１０８により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報２１１３として出力される。【０１７６】
（第７１の実施形態）
第７１の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図４５に示す第６３の実施形態と同様である。本実施形態のフィルタ処理器２２１９は第６８の実施形態のフィルタ処理器１９２８と同様の動作を行なうものとする。即ち、フィルタ処理器２２１９は、領域情報２２１１とフィルタ情報２２１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号２２０５に対してフィルタ処理を行ない、画像信号２２０８を生成する。【０１７７】
（第７２の実施形態）
図４６を用いて第７２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は第１３の実施形態の図２５と同様である。但し、領域分割器２３１４に予測器２３１７からの予測モード情報の入力がなく、代わりに符号化制御器２３２０から残差の有無に関する情報２３１９の入力がある点、符号化制御器２３２０から可変長符号化器２３１８に残差の有無に関する情報の入力がある点、及び領域分割器２３１４から可変長符号化器２３１８への領域分割パラメータの出力がない点が第１３の実施形態とは異なっている。【０１７８】
領域分割器２３１４は、符号化制御器２３２０から入力される残差の有無に関する情報を用いて、領域を残差が存在する領域及びしない領域に分類する。入力される残差の有無に関する情報については、例えば、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣにおいてマクロブックがスキップモードで符号化されていることを示すシンタクスエレメントであるmb_skip_flagに相当するシンタクスエレメントやマクロブロックの残差が存在するブロックを示すシンタクスエレメントであるcoded_block_patternに相当するシンタクスエレメントを用いることができる。【０１７９】
可変長符号化器２３１８では、残差情報２３０２、フィルタ情報２３０６及び残差の有無に関する情報２３１９が符号化される。【０１８０】
残差が存在しない領域では、予測画像が双方向予測の平滑化効果や小数画素位置の補間フィルタの平滑化効果によってぼけていた場合、予測画像がそのまま局所復号画像に用いられるため、予測画像のぼけの影響を受ける。残差の有無によって領域を分類することによって、ぼけやすい残差が存在しない領域では、平滑化効果の低いフィルタを用いることが可能になり、画像が過度にぼけてしまうことを防ぐことができる。【０１８１】
なお、信号処理器２３１２，フレームメモリ２３１３，フィルタ設計器２３１５及びフィルタ処理器２３１６は図２４の信号処理器５１２，フレームメモリ５１３，フィルタ設計器５１５及びフィルタ処理器５１６にそれぞれ対応する。また、信号２３０１，２３０３，２３０４，２３０５，２３０７，２３０８，２３０９及び２３１０は図２４の信号５０１，５０３，５０４，５０５，５０７，５０８，５０９及び５１０にそれぞれ対応する。【０１８２】
（第７３の実施形態）
第７３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第１４の実施形態の図２７と同様である。但し、領域分割パラメータの代りに残差の有無に関する情報６０９が領域分割器６１４に入力される点が第１４の実施形態とは異なる。【０１８３】
本実施形態では第７２の実施形態の符号化装置から出力された符号化データが可変長復号器６１１に入力される。可変長復号器６１１では、符号化データ６０１を復号し、残差の有無に関する情報６０９及びフィルタ情報６１０が出力される。領域分割器６１４では、残差の有無に関する情報６０９により第７２の実施形態の領域分割器２３１６と同様に領域が分類され、領域情報６０５が生成される。【０１８４】
（第７４の実施形態）
図４７を用いて第７４の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、第１５の実施形態の図２８と同様である。但し、領域分割器２４１３に予測器２４１２からの予測モード情報の入力がなく、代わりに符号化制御器２４１６から残差の有無に関する情報２４０７の入力がある点、符号化制御器２４１６から可変長符号化器２４１５に残差の有無に関する情報２４０７の入力がある点、及び領域分割器２４１３から可変長符号化器２４１５への領域分割パラメータの出力がない点が第１５の実施形態とは異なっている。領域分割器２４１３では、残差の有無に関する情報２４０７により第７２の実施形態の領域分割器２３１４と同様に領域が分類され、領域情報２４０６が出力される。可変長符号化器２４１５では、残差情報２４０２、フィルタ情報２４０８、残差の有無に関する情報２４０７が符号化される。【０１８５】
なお、信号処理器２４１０、フレームメモリ２４１１及びフィルタ設計器２４１４は図２７の信号処理器７１０、フレームメモリ７１１及びフィルタ設計器７１４にそれぞれ対応する。また、信号２４０１，２４０３，２４０４，２４０５及び２４０９は図２７の信号７０１，７０３，７０４，７０５及び７０９にそれぞれ対応する。【０１８６】
（第７５の実施形態）
第７５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第１６の実施形態の図２９と同様である。但し、領域分割器８１４に領域分割パラメータの代わりに残差の有無に関する情報８０７が入力される点が異なる。【０１８７】
本実施形態では第７４の実施形態の符号化装置から出力された符号化データが可変長復号器８１０に入力される。可変長復号８１０では、符号化データ８０１を復号し、残差の有無に関する情報８０７及びフィルタ情報８０８が出力される。領域分割器８１４では、残差の有無に関する情報８０７により第７２の実施形態の領域分割器２３１４と同様に領域が分類され、領域情報８０９が生成される。【０１８８】
（第７６の実施形態）
第７６の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４６に示す第７２の実施形態と同様である。本実施形態のフィルタ設計器２３１５では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報２３０５、入力画像信号２３０１及び局所復号画像信号２３０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報２３０６として出力される。【０１８９】
フィルタ処理器２３１６は、領域情報２３０５とフィルタ情報２３０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号２３０４に対してフィルタ処理を行ない、画像信号２３０７を生成する。【０１９０】
（第７７の実施形態）
第７７の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第７３の実施形態と同様である。本実施形態のフィルタ処理器６１５は第７６の実施形態のフィルタ処理器２３１６と同様の動作を行なうものとする。即ち、フィルタ処理器６１５は、領域情報６０５とフィルタ情報６１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像６０４に対してフィルタ処理を行ない、画像信号６０６を生成する。【０１９１】
（第７８の実施形態）
第７８の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４７に示す第７４の実施形態と同様である。本実施形態のフィルタ設計器２４１４は第７６の実施形態のフィルタ設計器２３１５と同様の動作を行なうものとする。即ち、フィルタ設計器２４１４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報２４０６、入力画像信号２４０１及び局所復号画像２４０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報２４０８として出力される。【０１９２】
（第７９の実施形態）
第７９の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は第７５の実施形態と同様である。本実施形態のフィルタ処理器８１５は第７６の実施形態のフィルタ処理器２３１６と同様の動作を行なうものとする。即ち、フィルタ処理器８１５は、領域情報８０９とフィルタ情報８０８から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像８０３に対してフィルタ処理を行ない、画像信号８０６を生成する。【０１９３】
（第８０の実施形態）
第８０の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４６に示す第７２の実施形態と同様である。本実施形態のフィルタ設計器２３１５では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報２３０５、入力画像信号２３０１及び局所復号画像２３０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報２３０６として出力される。【０１９４】
フィルタ処理器２３１６は、領域情報２３０５とフィルタ情報２３９６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像２３０４に対してフィルタ処理を行ない、画像信号２３０７を生成する。【０１９５】
（第８１の実施形態）
第８１の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第７３の実施形態と同様である。本実施形態のフィルタ処理器６１４は第８０の実施形態のフィルタ処理器２３１６と同様の動作を行なうものとする。即ち、フィルタ処理器６１４は、領域情報６０５とフィルタ情報６１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号６０４に対してフィルタ処理を行ない、画像信号６０６を生成する。【０１９６】
（第８２の実施形態）
第８２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図４７に示す第７４の実施形態と同様である。本実施形態のフィルタ設計器２４１４は第８０の実施形態のフィルタ設計器２３１５と同様の動作を行なうものとする。即ち、フィルタ設計器２４１４では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報２４０６、入力画像信号２４０１及び局所復号画像信号２４０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報２４０８として出力される。【０１９７】
（第８３の実施形態）
第８３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、第７５の実施形態と同様である。本実施形態のフィルタ処理器８１５は第８０の実施形態のフィルタ処理器２３１６と同様の動作を行なうものとする。即ち、フィルタ処理器８１５は、領域情報８０９とフィルタ情報８０８から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号８０３に対してフィルタ処理を行ない、画像信号８０６を生成する。【０１９８】
（第８４の実施形態）
図４８を用いて第８４の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は第１の実施形態の図２と同様である。但し、領域分割器２７１４に入力画像信号２７０１が入力されている点、及び領域分割パラメータとして領域情報２７０５が可変長符号化器２７１８に入力されている点が第１の実施形態とは異なっている。【０１９９】
領域分割器２７１４において基本となる分類処理は第１の実施形態の領域分割器１１４と同様である。但し、分類基準を画素単位で計算するのではなく、ブロック単位に計算する点、及び領域分割器２７１４によって分類基準が入力画像信号２７０１と局所復号画像信号２７０４から計算される点が第１の実施形態とは異なる。ラスタスキャン順で位置iにあるブロックに対する分類基準をC’(i)とするとき、分類基準C’(i)が予め決められた閾値Tより小さいか否かによって領域を分類する。閾値Tについては、図４８の動画像符号化装置を制御する外部の符号化制御器から与えてもよい。【０２００】
分類基準としては、ラスタスキャン順で位置iにあるブロックの符号化誤差の絶対値和、即ち次式（１４）によって求められる絶対値和を用いることができる。
【数１４】
2009110559.tif 000016
【０２０１】
ここでSorg(x,y)は位置（ｘ，ｙ）の入力画像信号の画素である。【０２０２】
また、ラスタスキャン順で位置iにあるブロックの符号化誤差の二乗和、即ち次式（１５）によって求められる二乗和を分類基準として用いることができる。
【数１５】
2009110559.tif 000017
【０２０３】
また、ラスタスキャン順で位置iにあるブロックの符号化誤差の分散、即ち次式（１６）によって求められる分散を分類基準として用いることができる。
【数１６】
2009110559.tif 000018
【０２０４】
領域分割器２７１４からは、領域と分類の対応を表す領域情報２７０５が出力される。例えばC’SSD(i)<Tのとき「符号化誤差が小さいブロック」、それ以外のとき「符号化誤差が大きいブロック」として領域を分類する場合、領域と分類の対応を示す情報は図５２のように表せる。出力された領域情報２７０５はフィルタ設計器２７１５、フィルタ処理器２７１６及び可変長符号化器２７１８に入力される。【０２０５】
本実施形態のように領域分割パラメータとして領域と分類の対応を示す領域情報を復号装置に送信すれば、符号化装置が入力画像、符号化歪等の復号装置側で得られない情報を用いて領域を分類する場合においても、復号装置は領域情報によって符号化装置と同様に領域を分類することができる。【０２０６】
なお、信号処理器２７１２，フレームメモリ２７１３及び予測器２７１７は図２の信号処理器１１２，フレームメモリ１１３及び予測器１１７にそれぞれ対応する。また、信号２７０２，２７０３，２７０６，２７０７，２７０８，２７０９及び２７１０は図２の信号１０２，１０３，１０６，１０７，１０８，１０９及び１１０にそれぞれ対応する。【０２０７】
（第８５の実施形態）
図４９を用いて第８５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１５の第２の実施形態と同様である。但し、領域分割器が存在せず、フィルタ処理器に領域分割パラメータが直接入力されている点が第２の実施形態とは異なっている。【０２０８】
本実施形態では第８４の実施形態の符号化装置から出力された符号化データが可変長復号器２８１１に入力される。可変長復号器２８１１は、符号化データ２８０１を復号し、領域分割パラメータ２８０９及びフィルタ情報２８１０を出力する。フィルタ処理器２８１５では、フィルタ係数２８１０及び領域分割パラメータ２８０９を用いて復号画像２８０４にフィルタ処理が行われ、画像信号２８０６が出力される。領域分割パラメータ２８０９は領域と分類の対応を表す領域情報であるから、第２の実施形態のフィルタ処理器２１４と同様にフィルタ処理を行なうことができる。【０２０９】
なお、信号処理器２８１２，フレームメモリ２８１３及び予測器２８１６は図１５の信号処理器２１２，フレームメモリ２１３及び予測器２１６にそれぞれ対応する。また、信号２８０２，２８０３，２８０４，２８０７及び２８０８は図１５の２０２，２０３，２０４，２０７及び２０８にそれぞれ対応する。【０２１０】
（第８６の実施形態）
図５０を用いて第８６の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図１７の第３の実施形態と同様である。但し、領域分割器２９１３に入力画像信号２９０１が入力されている点、及び領域分割パラメータとして領域情報２９０６が可変長符号化器２９１５に入力されている点が第３の実施形態とは異なっている。領域分割器２９１３では、第８４の実施形態の領域分割器２７１４と同様に領域が分類され、領域情報２９０６が出力される。【０２１１】
なお、信号処理器２９１０，フレームメモリ２９１１及び予測器２９１２は信号処理器３１０，フレームメモリ１１３及び予測器３１２にそれぞれ対応する。また、信号２９０２，２９０３，２９０４，２９０５，２９０７，２９０８及び２９０９は図１６の信号３０２，３０３，３０４，３０５，３０７，３０８及び３０９にそれぞれ対応する。【０２１２】
（第８７の実施形態）
図５１を用いて第８７の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図１８の第４の実施形態と同様である。但し、領域分割器が存在せず、フィルタ処理器３０１５に領域分割パラメータ３００７が直接入力されている点が第４の実施形態とは異なっている。【０２１３】
本実施形態では第８６の実施形態の符号化装置から出力された符号化データが可変長復号器３０１０に入力される。可変長復号器３０１０は、符号化データ３００１を復号し、領域分割パラメータ３００７及びフィルタ情報３００８を出力する。フィルタ処理器３０１５では、フィルタ係数３００８及び領域分割パラメータ３００７を用いて復号画像３００３にフィルタ処理が行なわれ、画像信号３００６が出力される。領域分割パラメータ３００７は領域と分類の対応を表す領域情報であるから、第２の実施形態のフィルタ処理器２１４と同様に行なうことができる。【０２１４】
なお、信号処理器３０１１，フレームメモリ３０１２及び予測器３０１３は図１７の信号処理器４１１，フレームメモリ４１２及び予測器４１３にそれぞれ対応する。また、信号３００２，３００３，３００４，３００５及び３００６は図１８の信号４０２，４０３，４０４，４０５及び４０６にそれぞれ対応する。【０２１５】
（第８８の実施形態）
第８８の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４８に示す第８４の実施形態と同様である。本実施形態のフィルタ設計器２７１５では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報２７０５、入力画像信号２７０１及び局所復号画像信号２７０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報２７０６として出力される。【０２１６】
フィルタ処理器２７１６は、領域情報２７０５とフィルタ情報２７０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、局所復号画像信号２７０４に対してフィルタ処理を行ない、画像信号２７１６を生成する。【０２１７】
（第８９の実施形態）
第８９の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図４９に示す第８５の実施形態と同様である。本実施形態のフィルタ処理器２８１５は第８８の実施形態のフィルタ処理器２７１６と同様の動作を行なうものとする。即ち、フィルタ処理器２８１５は、領域分割パラメータ２８０９として得られる、領域と分類の対応を表す領域情報とフィルタ情報２８１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像２８０４に対してフィルタ処理を行ない、画像信号２８０６を生成する。【０２１８】
（第９０の実施形態）
第９０の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図５０に示す第８６の実施形態と同様である。本実施形態のフィルタ設計器２９１４は第８８の実施形態のフィルタ設計器２７１５と同様の動作を行なうものとする。即ち、フィルタ設計器２９１４では、領域の分類毎にフィルタを適用するか否かが指定され、領域情報２９０６、入力画像信号２９０１及び局所復号画像２９０４により、フィルタを適用する分類に対してフィルタが設計される。フィルタ適用・非適用情報と適用する分類のフィルタ係数がフィルタ情報２９０８として出力される。【０２１９】
（第９１の実施形態）
第９１の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は図５１に示す第８７の実施形態と同様である。本実施形態のフィルタ処理器３０１５は第８８の実施形態のフィルタ処理器２７１５と同様の動作を行なうものとする。即ち、フィルタ処理器３０１５は、領域分割パラメータ３００７して得られる、領域と分類の対応を表す領域情報とフィルタ情報３００８から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、復号画像３００３に対してフィルタ処理を行ない、画像信号３００６を生成する。【０２２０】
（第９２の実施形態）
第９２の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は図４７に示す第８４の実施形態と同様である。本実施形態のフィルタ設計器２７１５では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報２７０５、入力画像信号２７０１及び局所復号画像２７０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報２７０６として出力される。【０２２１】
フィルタ処理器２７１６は、領域情報２７０５とフィルタ情報２７０６から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して局所復号画像２７０４に対してフィルタ処理を行ない、画像信号２７１６を生成する。【０２２２】
（第９３の実施形態）
第９３の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図４９に示す第８５の実施形態と同様である。本実施形態のフィルタ処理器２８１５は第９２の実施形態のフィルタ処理器２７１６と同様の動作を行なうものとする。即ち、フィルタ処理器２８１５は、領域分割パラメータ２８０９として得られる、領域と分類の対応を表す領域情報とフィルタ情報２８１０から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号２８０４に対してフィルタ処理を行ない、画像信号２８０６を生成する。【０２２３】
（第９４の実施形態）
第９４の実施形態について説明する。本実施形態に関する動画像符号化装置の基本構成は、図５０に示す第８６の実施形態と同様である。本実施形態のフィルタ設計器２９１４は第９２の実施形態のフィルタ設計器２７１５同様の動作を行なうものとする。即ち、フィルタ設計器２７１５では、領域の分類毎にフィルタを適用するか否かが指定され、フィルタを適用する分類に対しては領域情報２９０６、入力画像信号２９０１及び局所復号画像信号２９０４により、予め用意されたフィルタから適用するフィルタが選択される。フィルタ適用・非適用情報と適用する分類のフィルタ係数を指定する情報がフィルタ情報２９０８として出力される。【０２２４】
（第９５の実施形態）
第９５の実施形態について説明する。本実施形態に関する動画像復号装置の基本構成は、図５１に示す第８７の実施形態と同様である。本実施形態のフィルタ処理器３０１５は第９２の実施形態のフィルタ処理器２７１６と同様の動作を行なうものとする。即ち、フィルタ処理器２６１９は、領域分割パラメータ３００７として得られる、領域と分類の対応を表す領域情報とフィルタ情報３００８から領域と対応する分類に応じてフィルタを適用する領域及び適用しない領域を判定し、フィルタを適用する領域については、予め用意されたフィルタから適用するフィルタを選択して復号画像信号３００３に対してフィルタ処理を行ない、画像信号３００６を生成する。【０２２５】
本発明によれば、フレーム内の領域を予め決められた基準で分類して領域分割を行ない、分類された領域毎にフィルタ設計を行なうことにより、符号化対象画像と参照画像の誤差及び符号化対象画像と出力画像の誤差を減少させることが可能となる。【０２２６】
本発明の実施の形態に記載した本発明の手法は、コンピュータによって実行させることができ、また、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤなど）、半導体メモリなどの記録媒体に格納して頒布することもできる。【０２２７】
本発明は、上記各実施形態に示される例に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の少なくとも１つが解決でき、発明の効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【産業上の利用可能性】
【０２２８】
本発明にかかる画像符号化及び復号化方法及び装置は、通信メディア、蓄積メディアおよび放送メディアなどにおける画像圧縮処理に使用される。
【図１】
2009110559.tif 000019
【図２】
2009110559.tif 000020
【図３】
2009110559.tif 000021
【図４】
2009110559.tif 000022
【図５】
2009110559.tif 000023
【図６】
2009110559.tif 000024
【図７】
2009110559.tif 000025
【図８】
2009110559.tif 000026
【図９】
2009110559.tif 000027
【図１０】
2009110559.tif 000028
【図１１】
2009110559.tif 000029
【図１２】
2009110559.tif 000030
【図１３】
2009110559.tif 000031
【図１４】
2009110559.tif 000032
【図１５】
2009110559.tif 000033
【図１６】
2009110559.tif 000034
【図１７】
2009110559.tif 000035
【図１８】
2009110559.tif 000036
【図１９】
2009110559.tif 000037
【図２０】
2009110559.tif 000038
【図２１】
2009110559.tif 000039
【図２２】
2009110559.tif 000040
【図２３】
2009110559.tif 000041
【図２４】
2009110559.tif 000042
【図２５】
2009110559.tif 000043
【図２６】
2009110559.tif 000044
【図２７】
2009110559.tif 000045
【図２８】
2009110559.tif 000046
【図２９】
2009110559.tif 000047
【図３０】
2009110559.tif 000048
【図３１】
2009110559.tif 000049
【図３２】
2009110559.tif 000050
【図３３】
2009110559.tif 000051
【図３４】
2009110559.tif 000052
【図３５】
2009110559.tif 000053
【図３６】
2009110559.tif 000054
【図３７】
2009110559.tif 000055
【図３８】
2009110559.tif 000056
【図３９】
2009110559.tif 000057
【図４０】
2009110559.tif 000058
【図４１】
2009110559.tif 000059
【図４２】
2009110559.tif 000060
【図４３】
2009110559.tif 000061
【図４４】
2009110559.tif 000062
【図４５】
2009110559.tif 000063
【図４６】
2009110559.tif 000064
【図４７】
2009110559.tif 000065
【図４８】
2009110559.tif 000066
【図４９】
2009110559.tif 000067
【図５０】
2009110559.tif 000068
【図５１】
2009110559.tif 000069
【図５２】
2009110559.tif 000070
【国際調査報告】
2009110559.tif 000071
2009110559.tif 000072
2009110559.tif 000073
2009110559.tif 000074
2009110559.tif 000075
2009110559.tif 000076
2009110559.tif 000077
2009110559.tif 000078
2009110559.tif 000079
2009110559.tif 000080