(57)【要約】【課題】εフィルタやBilateralフィルタなどのフィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供する。【解決手段】テクスチャ特徴量算出部１１０は、画像データに基づいて、ブロックごとに画像の複雑さを示すテクスチャ特徴量を算出する。テクスチャ判定部１２０は、各ブロックについてのテクスチャ特徴量に基づいて、εフィルタなどによりフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象のブロックの映像が単調な場合には、フィルタ１３０により、通常のフィルタリングを行い、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、εフィルタなどによりフィルタを再構成する処理を実施して、フィルタリングを行うようにしたものである。【選択図】      図２
2011034226.tif 000002
【特許請求の範囲】
【請求項１】
フレームを構成するブロックごとにフィルタリングを行う画像処理装置において、
前記ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、
このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備したことを特徴とする画像処理装置。
【請求項２】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、輝度値の最大値と最小値を検出し、その差を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、輝度値の分散を求め、この分散を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、輝度値の最大値と最小値の差を検出するとともに、前記ブロックごとに、輝度値の分散を求め、前記差と前記分散に基づく値を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、色差の最大値と最小値を検出し、その差を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、色差の分散を求め、この分散を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、色差の最大値と最小値の差を検出するとともに、前記ブロックごとに、色差の分散を求め、前記差と前記分散に基づく値を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、輝度値の最大値と最小値の差を検出するとともに、前記ブロックごとに、色差の分散を求め、前記差と前記分散に基づく値を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記テクスチャ特徴量検出手段は、前記ブロックごとに、色差の最大値と最小値の差を検出するとともに、前記ブロックごとに、輝度値の分散を求め、前記差と前記分散に基づく値を画像の複雑さを示すテクスチャ特徴量として求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
さらに、処理対象のフレームよりも時間的に前の過去フレームの画像データを記憶する画像データ記憶手段を備え、
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックと、このブロックと同じ位置の過去フレームのブロックに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
さらに、前記テクスチャ特徴量検出手段が求めた、処理対象のフレームよりも時間的に前の過去フレームの前記テクスチャ特徴量を第１テクスチャ特徴量として記憶するテクスチャ特徴量記憶手段を備え、
前記テクスチャ特徴量検出手段は、処理対象のフレームのブロックに基づいて、第２テクスチャ特徴量を求め、この第２テクスチャ特徴量と、前記テクスチャ特徴量記憶手段が記憶する第１テクスチャ特徴量とに基づいて、前記テクスチャ特徴量を求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記フィルタリング手段は、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタをεフィルタを用いて再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１３】
前記フィルタリング手段は、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタをBilateralフィルタを用いて再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
前記フィルタリング手段は、前記テクスチャ特徴量検出手段が処理対象のフレームのすべてのブロックについて前記テクスチャ特徴量を求めた後に、前記テクスチャ特徴量に基づきフィルタリングを行うことを特徴とする請求項１に記載の画像処理装置。
【請求項１５】
前記テクスチャ特徴量検出手段は、画像の複雑さを示すテクスチャ特徴量を、ブロックサイズの画像データに基づいて求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１６】
前記テクスチャ特徴量検出手段は、画像の複雑さを示すテクスチャ特徴量を、ブロックサイズと異なるサイズの画像データに基づいて求めることを特徴とする請求項１に記載の画像処理装置。
【請求項１７】
さらに、前記ブロックに含まれるエッジの特徴量とフィルタを対応づけて記憶するフィルタ記憶手段と、
前記ブロックごとにエッジの特徴量を検出するエッジ特徴量検出手段と、
このエッジ特徴量検出した特徴量に基づいて、前記ブロックごとにフィルタを選択するフィルタ選択手段とを備え、
前記フィルタリング手段は、前記テクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、前記フィルタ選択手段が選択したフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記フィルタ選択手段が選択したフィルタを再構成したフィルタを用いて該当ブロックの画像データにフィルタリングを行うことを特徴とする請求項１に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像再生機器などに用いられる画像処理装置に関する。
【背景技術】
【０００２】
近年、携帯電話機での動画再生時に映像補正処理を行い、ユーザに高品位な映像を提供することが一般的になってきている。そして、低ビットレート映像の品質の改善を行うために、予め設計された複数のフィルタの中から最適なフィルタを選択して適用する手法がある。
【０００３】
フィルタリングにおいては、エッジの境界付近において選択されたフィルタを適用すると、エッジ情報やテクスチャ情報が失われることがある。このため、選択されたフィルタを適用する前にエッジ情報を保存するフィルタ（εフィルタやBilateralフィルタなど）によりフィルタの再構成が行われる場合がある（例えば、特許文献１参照）。
【０００４】
しかし、全ての画素に対し、上記のフィルタを施す画像処理装置では、演算量が多いという問題があった。この問題は、携帯電話機に限らず、映像再生を行う機器の画像処理装置において、広く共通する問題となっている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２４２６９６公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
εフィルタやBilateralフィルタをすべての画素に対して適用する従来の画像処理装置では、演算量が多いという問題があった。  
この発明は上記の問題を解決すべくなされたもので、εフィルタやBilateralフィルタなどのフィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、この発明は、フレームを構成するブロックごとにフィルタリングを行う画像処理装置において、ブロックごとに、画像の複雑さを示すテクスチャ特徴量を求めるテクスチャ特徴量検出手段と、このテクスチャ特徴量検出手段が検出したテクスチャ特徴量に基づき、ブロックごとにその画像の複雑さが閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、ブロックごとにその画像の複雑さが閾値を超える場合には、前記第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うフィルタリング手段とを具備して構成するようにした。
【発明の効果】
【０００８】
以上述べたように、この発明では、画像の複雑さを示すテクスチャ特徴量が閾値を超えない場合には、第１のフィルタを用いて該当ブロックの画像データにフィルタリングを行い、一方、テクスチャ特徴量が閾値を超える場合には、第１のフィルタを再構成した第２のフィルタを用いて該当ブロックの画像データにフィルタリングを行うようにしている。
【０００９】
したがって、この発明によれば、処理対象の画像が複雑な場合にだけ、フィルタの再構成を行うので、再構成フィルタを効果的に適用して映像品質の改善を行いながら、演算量を抑制することが可能な画像処理装置を提供できる。
【図面の簡単な説明】
【００１０】
【図１】この発明に係わる画像処理装置の第１の実施形態および第２の実施形態の構成を示す回路ブロック図。
【図２】図１に示した画像処理装置のフィルタリング処理部の構成を示す回路ブロック図。
【図３】第１の実施形態に係わる画像処理装置の動作を説明するためのフローチャート。
【図４】第２の実施形態に係わる画像処理装置の動作を説明するためのフローチャート。
【図５】この発明に係わる画像処理装置の第３の実施形態および第４の実施形態の構成を示す回路ブロック図。
【図６】図５に示した画像処理装置のフィルタリング処理部の構成を示す回路ブロック図。
【図７】第３の実施形態に係わる画像処理装置の動作を説明するためのフローチャート。
【図８】第４の実施形態に係わる画像処理装置の動作を説明するためのフローチャート。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、この発明の一実施形態について説明する。  
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器１０と、メモリ２０と、特徴量算出部３０と、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００とを備える。
【００１２】
復号器１０は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。
【００１３】
メモリ２０は、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器１０から出力される画像データを記憶する。
【００１４】
特徴量算出部３０は、メモリ２０から処理対象となるフレーム（以下、処理対象フレームと称する）の画像データを読み出す。そして、特徴量算出部３０は、１つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部５０に出力される。なお、特徴量算出部３０は、復号器１０によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
【００１５】
フィルタ情報記憶部４０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素あるいはその周辺画素を含んだブロックにそれぞれ適用するフィルタ係数のセットであって、このフィルタを適用することにより、画像のエッジ特徴を考慮した出力画像が得られる。
【００１６】
フィルタ選択部５０は、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、特徴量算出部３０が求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力する。
【００１７】
フィルタリング処理部１００は、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図２に示すように構成され、テクスチャ特徴量算出部１１０と、テクスチャ判定部１２０と、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
【００１８】
テクスチャ特徴量算出部１１０は、フィルタ選択部５０からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力する。
【００１９】
テクスチャ判定部１２０は、テクスチャ特徴量算出部１１０からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象のブロック（以下、処理対象ブロックと称する）の映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
【００２０】
フィルタ１３０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００２１】
再構成フィルタ１４０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００２２】
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
【００２３】
次に、上記構成の画像処理装置の動作について説明する。図３は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ２０が記憶するフレーム毎の画像データについて、ステップ３ａ〜３ｉを繰り返すフレームループ制御を実行する。
【００２４】
ステップ３ａでは、特徴量算出部３０が、メモリ２０から処理対象フレームの画像データを読み出し、ステップ３ｂに移行する。  
ステップ３ｂでは、特徴量算出部３０が、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０に出力して、ステップ３ｃに移行する。
【００２５】
ステップ３ｃでは、フィルタ選択部５０が、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力し、ステップ３ｄに移行する。
【００２６】
ステップ３ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ３ｅに移行する。
【００２７】
ステップ３ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
【００２８】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０に出力して、ステップ３ｆに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ３ｇに移行する。
【００２９】
ステップ３ｆでは、フィルタ１３０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
【００３０】
具体的には、下式（１）で示すような演算を行う。なお、下式において、(x,y)はフィルタリング対象の画素の座標を示し、(m,n)はフィルタリング対象の画素を中心とする相対的な座標を示す。そして、h(m,n)はフィルタ、S(x,y)は、フィルタリング対象の画素の輝度値、D(x,y)はフィルタリングされた対象画素の輝度値をそれぞれ示している。
【数１】
2011034226.tif 000003
【００３１】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
【００３２】
一方、ステップ３ｇでは、再構成フィルタ１４０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
【００３３】
具体的には、下式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０と同じフィルタリングを行っている。
【数２】
2011034226.tif 000004
【００３４】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
【００３５】
ステップ３ｈでは、統合部１５０が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０および再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
【００３６】
ステップ３ｉでは、ステップ３ｈの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ３ａから新たな処理を開始する。
【００３７】
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。  
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
【００３８】
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ３ｇにおいて以下の処理を行う。
【００３９】
再構成フィルタ１４０は、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。  
具体的には、下式（４）、（５）で示すような演算を行う。
【数３】
2011034226.tif 000005
【００４０】
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。  
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
【００４１】
また上記実施の形態では、テクスチャ特徴量算出部１１０は、ステップ３ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
【００４２】
すなわち、ステップ３ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ３ｅに移行する。
【００４３】
そして、ステップ３ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。  
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
【００４４】
また、テクスチャ特徴量算出部１１０は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０は、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【００４５】
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データに基づいて、テクスチャ特徴量を求めるようにしてもよい。
【００４６】
この場合、テクスチャ特徴量算出部１１０は、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【００４７】
（第２の実施形態）
以下、この発明の第２の実施形態に係わる画像処理装置について説明する。第２の実施形態に係わる画像処理装置の構成は、第１の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図１に示すように、復号器１０と、メモリ２０と、特徴量算出部３０と、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００とを備える。
【００４８】
第１の実施形態に係わる画像処理装置と第２の実施形態に係わる画像処理装置は、フィルタリング処理部１００の処理内容が異なっているが、見かけ上の構成は同じであることより、図２を参照して説明する。
【００４９】
すなわち、第２の実施形態に係わる画像処理装置のフィルタリング処理部１００は、テクスチャ特徴量算出部１１０と、テクスチャ判定部１２０と、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
【００５０】
テクスチャ特徴量算出部１１０は、フィルタ選択部５０からフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力する。
【００５１】
テクスチャ判定部１２０は、テクスチャ特徴量算出部１１０からテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
【００５２】
フィルタ１３０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００５３】
再構成フィルタ１４０は、テクスチャ判定部１２０からフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００５４】
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
【００５５】
次に、上記構成の画像処理装置の動作について説明する。図４は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、メモリ２０が記憶するフレーム毎の画像データについて、ステップ４ａ〜４ｉを繰り返すフレームループ制御を実行する。
【００５６】
ステップ４ａでは、特徴量算出部３０が、メモリ２０から処理対象フレームの画像データを読み出し、ステップ４ｂに移行する。  
ステップ４ｂでは、特徴量算出部３０が、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０は、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０に出力して、ステップ４ｃに移行する。
【００５７】
ステップ４ｃでは、フィルタ選択部５０が、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０が求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０は、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００に出力し、ステップ４ｄに移行する。
【００５８】
ステップ４ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ４ｅに移行する。
【００５９】
ステップ４ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
【００６０】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０に出力して、ステップ４ｆに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ４ｇに移行する。
【００６１】
ステップ４ｆでは、フィルタ１３０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
【００６２】
具体的には、前述した式（１）で示すような演算を行う。  
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。
【００６３】
一方、ステップ４ｇでは、再構成フィルタ１４０が、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
【００６４】
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０と同じフィルタリングを行っている。
【００６５】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。  
ステップ４ｈでは、統合部１５０が、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０および再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
【００６６】
ステップ４ｉでは、ステップ４ｈの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ４ａから新たな処理を開始する。
【００６７】
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。  
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
【００６８】
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ４ｇにおいて以下の処理を行う。
【００６９】
再構成フィルタ１４０は、テクスチャ判定部１２０から与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。  
具体的には、前述した式（４）、（５）で示すような演算を行う。
【００７０】
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。  
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
【００７１】
また上記実施の形態では、テクスチャ特徴量算出部１１０は、ステップ４ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
【００７２】
すなわち、ステップ４ｄでは、テクスチャ特徴量算出部１１０が、フィルタ選択部５０から与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０は、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０は、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０に出力し、ステップ４ｅに移行する。
【００７３】
そして、ステップ４ｅでは、テクスチャ判定部１２０が、テクスチャ特徴量算出部１１０から与えられたテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。  
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
【００７４】
また、テクスチャ特徴量算出部１１０は、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０は、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【００７５】
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０は、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
【００７６】
この場合、テクスチャ特徴量算出部１１０は、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【００７７】
（第３の実施形態）
図５は、この発明の第３の実施形態に係わる画像処理装置の構成を示すものである。この画像処理装置は、復号器１０と、メモリ２０ａと、特徴量算出部３０ａと、フィルタ情報記憶部４０と、フィルタ選択部５０ａと、フィルタリング処理部１００ａとを備える。
【００７８】
復号器１０は、動画像の映像信号を符号化した符号化ストリームが入力され、この符号化ストリームを復号し、これによって、フレームごとの画像データと符号化情報を得る。符号化情報には、、量子化パラメータや動きベクトル、ピクチャ情報が含まれる。  
メモリ２０ａは、例えば半導体メモリなどを記憶媒体として用いたものであって、復号器１０から出力される画像データおよび後述するテクスチャデータを記憶する。
【００７９】
特徴量算出部３０ａは、メモリ２０ａから処理対象となるフレーム（以下、処理対象フレームと称する）の画像データを読み出す。そして、特徴量算出部３０ａは、１つのフレームを所定のサイズのブロックに分け、各ブロック毎に、上記画像データに基づいて、映像のエッジ特徴量を算出する。このブロックごとに求めたエッジ特徴量は、ブロックを識別するブロックインデックスが付与されて、フィルタ選択部５０ａに出力される。なお、特徴量算出部３０ａは、復号器１０によって得られた符号化情報に基づいて、上記ブロックごとのエッジ特徴量を求めるようにしてもよい。
【００８０】
フィルタ情報記憶部４０は、種々のエッジ特徴量のテンプレートとフィルタを対応づけて、フィルタ情報として予め記憶する。すなわち、各エッジ特徴量に適用すべきフィルタを、エッジ特徴量のテンプレートに対応づけて、フィルタ情報として予め記憶する。なお、上記フィルタは、フィルタリング対象の画素およびその周辺画素にそれぞれ適用するフィルタ係数のセットである。
【００８１】
フィルタ選択部５０ａは、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に対応するフィルタを検出し、この検出したフィルタのインデックス（以下、フィルタインデックスと称する）を上記エッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力する。
【００８２】
フィルタリング処理部１００ａは、上記フィルタデータと画像データに基づいて、フレームを構成する上記ブロック毎に、画像データに対してフィルタリング処理を施すものであって、例えば、図６に示すように構成され、テクスチャ特徴量算出部１１０ａと、テクスチャ判定部１２０ａと、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
【００８３】
テクスチャ特徴量算出部１１０ａは、フィルタ選択部５０ａからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０ａに出力する。
【００８４】
テクスチャ判定部１２０ａは、テクスチャ特徴量算出部１１０ａからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
【００８５】
フィルタ１３０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００８６】
再構成フィルタ１４０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【００８７】
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
【００８８】
次に、上記構成の画像処理装置の動作について説明する。図７は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、１つのフレームを構成するすべてのブロックについて、ステップ７ａ〜７ｅを繰り返すフレームループ制御を実行し、これが完了すると、ステップ７ｆ〜７ｋの処理を実行する。
【００８９】
ステップ７ａでは、特徴量算出部３０ａが、メモリ２０ａから処理対象フレームの画像データを読み出し、ステップ７ｂに移行する。  
ステップ７ｂでは、特徴量算出部３０ａが、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０ａは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０ａに出力して、ステップ７ｃに移行する。
【００９０】
ステップ７ｃでは、フィルタ選択部５０ａが、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０ａは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力し、ステップ７ｄに移行する。
【００９１】
ステップ７ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、最大の輝度値と、最小の輝度値を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ７ｅに移行する。
【００９２】
ステップ７ｅでは、テクスチャ特徴量算出部１１０ａが、ステップ７ａで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ７ｆに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ７ｂに移行して、残るブロックについて処理を継続させる。
【００９３】
ステップ７ｆでは、テクスチャ判定部１２０ａが、メモリ２０ａから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ７ｇに移行する。  
ステップ７ｇでは、テクスチャ判定部１２０ａが、ステップ７ｆで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
【００９４】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０ａに出力して、ステップ７ｈに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ７ｉに移行する。
【００９５】
ステップ７ｈでは、フィルタ１３０ａが、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０ａは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
【００９６】
具体的には、前述した式（１）で示すような演算を行う。  
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
【００９７】
一方、ステップ７ｉでは、再構成フィルタ１４０が、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
【００９８】
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０ａと同じフィルタリングを行っている。
【００９９】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
【０１００】
ステップ７ｊでは、統合部１５０ａが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０ａおよび再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
【０１０１】
ステップ７ｋでは、ステップ７ｊの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ７ａから新たな処理を開始する。
【０１０２】
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。  
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
【０１０３】
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ７ｉにおいて以下の処理を行う。
【０１０４】
再構成フィルタ１４０は、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。  
具体的には、前述した式（４）、（５）で示すような演算を行う。
【０１０５】
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。  
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
【０１０６】
また上記実施の形態では、テクスチャ特徴量算出部１１０ａは、ステップ７ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
【０１０７】
すなわち、ステップ７ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、最大の色差と、最小の色差を検出し、その差を、画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ７ｅに移行する。  
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
【０１０８】
また、テクスチャ特徴量算出部１１０ａは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０ａは、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【０１０９】
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０ａは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
【０１１０】
この場合、テクスチャ特徴量算出部１１０ａは、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【０１１１】
さらにまた、メモリ２０ａは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部１２０ａは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
【０１１２】
そして、その差が予め設定した閾値を超える場合には、ステップ７ｈに移行し、一方、超えない場合には、ステップ７ｉに移行して、それぞれフィルタリングを行うようにしてもよい。
【０１１３】
（第４の実施形態）
以下、この発明の第４の実施形態に係わる画像処理装置について説明する。第４の実施形態に係わる画像処理装置の構成は、第３の実施形態に係わる画像処理装置の構成と見かけ上、同じであり、図５に示すように、復号器１０と、メモリ２０ａと、特徴量算出部３０ａと、フィルタ情報記憶部４０と、フィルタ選択部５０と、フィルタリング処理部１００ａとを備える。
【０１１４】
第３の実施形態に係わる画像処理装置と第４の実施形態に係わる画像処理装置は、フィルタリング処理部１００ａの処理内容が異なっているが、見かけ上の構成は同じであることより、図６を参照して説明する。
【０１１５】
すなわち、第４の実施形態に係わる画像処理装置のフィルタリング処理部１００ａは、テクスチャ特徴量算出部１１０ａと、テクスチャ判定部１２０ａと、フィルタ１３０と、再構成フィルタ１４０と、統合部１５０とを備える。
【０１１６】
テクスチャ特徴量算出部１１０ａは、フィルタ選択部５０ａからフィルタデータが入力されると、このフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、該当ブロックの画像の複雑さを示すテクスチャ特徴量を算出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、テクスチャ判定部１２０ａに出力する。
【０１１７】
テクスチャ判定部１２０ａは、テクスチャ特徴量算出部１１０ａからテクスチャデータが入力されると、このテクスチャデータに含まれるテクスチャ特徴量に基づいて、上記テクスチャデータに含まれるフィルタインデックスに基づくフィルタを再構成する必要性を判定する。ここで、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記テクスチャデータに含まれるフィルタデータをフィルタ１３０に出力し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記フィルタデータを再構成フィルタ１４０に出力する。
【０１１８】
フィルタ１３０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【０１１９】
再構成フィルタ１４０は、テクスチャ判定部１２０ａからフィルタデータが入力されると、このフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。また再構成フィルタ１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、このブロックを構成する各画素毎に、読み出したフィルタをεフィルタを用いて再構成して、この再構成したフィルタを対応する各画素に適用してフィルタリング処理を施す。このようにしてフィルタリングされた上記ブロックの画像データは、ブロックインデックスとともに統合部１５０に出力される。
【０１２０】
統合部１５０は、処理対象フレームを構成するすべてのブロックについて、フィルタリング処理を施した画像データを得ると、フィルタ１３０および再構成フィルタ１４０にてフィルタリング処理された画像データを、それぞれ対応づけられたブロックインデックスに基づいて、１つのフレームの画像データに統合し、出力する。
【０１２１】
次に、上記構成の画像処理装置の動作について説明する。図８は、上記画像処理装置の動作を説明するためのフローチャートである。この図に示すように、画像処理装置は、１つのフレームを構成するすべてのブロックについて、ステップ８ａ〜８ｅを繰り返すフレームループ制御を実行し、これが完了すると、ステップ８ｆ〜８ｋの処理を実行する。
【０１２２】
ステップ８ａでは、特徴量算出部３０ａが、メモリ２０ａから処理対象フレームの画像データを読み出し、ステップ８ｂに移行する。  
ステップ８ｂでは、特徴量算出部３０ａが、１つのフレームを構成するブロック毎に、読み出した画像データに対して、例えばSobelフィルタやPrewittフィルタ、Robinsonフィルタ、近傍差分フィルタなどのいずれかのフィルタを適用して、エッジの方向や強度を示すエッジ特徴量を算出する。そして、特徴量算出部３０ａは、このブロックごとに求めたエッジ特徴量にブロックインデックスを付与し、フィルタ選択部５０ａに出力して、ステップ８ｃに移行する。
【０１２３】
ステップ８ｃでは、フィルタ選択部５０ａが、フィルタ情報記憶部４０が記憶するフィルタ情報を参照し、テンプレートマッチングにより、特徴量算出部３０ａが求めた各ブロックのエッジ特徴量に一致する、もしくは最も類似したテンプレートを検出し、これに対応づけられたフィルタインデックスを読み出す。そして、フィルタ選択部５０ａは、この読み出したフィルタインデックスを、テンプレートマッチングに用いたエッジ特徴量に付与されたブロックインデックスに対応づけて、フィルタデータとしてフィルタリング処理部１００ａに出力し、ステップ８ｄに移行する。
【０１２４】
ステップ８ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の輝度値を参照し、輝度値の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ８ｅに移行する。
【０１２５】
ステップ８ｅでは、テクスチャ特徴量算出部１１０ａが、ステップ８ａで読み出した画像データのフレームを構成するすべてのブロックについて、テクスチャデータを生成したことを確認すると、ステップ８ｆに移行し、一方、すべてのブロックについてテクスチャデータが生成されていない場合には、ステップ８ｂに移行して、残るブロックについて処理を継続させる。
【０１２６】
ステップ８ｆでは、テクスチャ判定部１２０ａが、メモリ２０ａから処理対象フレームを構成するブロックのテクスチャデータを読み出し、ステップ８ｇに移行する。  
ステップ８ｇでは、テクスチャ判定部１２０ａが、ステップ８ｆで読み出したテクスチャデータに含まれるテクスチャ特徴量に基づいて、各テクスチャデータに含まれるフィルタインデックスのフィルタを再構成する必要性があるか否かを判定する。
【０１２７】
具体的には、テクスチャ特徴量が閾値を超えない場合、すなわち処理対象ブロックの映像が単調な場合には、上記フィルタデータをフィルタ１３０ａに出力して、ステップ８ｈに移行し、一方、テクスチャ特徴量が閾値を超える場合、すなわち処理対象ブロックの映像が複雑な場合には、上記テクスチャデータに含まれるフィルタデータを再構成フィルタ１４０に出力して、ステップ８ｉに移行する。
【０１２８】
ステップ８ｈでは、フィルタ１３０ａが、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ１３０ａは、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、このブロックを構成する各画素の輝度値に対して上記フィルタを適用してフィルタリング処理を施す。
【０１２９】
具体的には、前述した式（１）で示すような演算を行う。  
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
【０１３０】
一方、ステップ８ｉでは、再構成フィルタ１４０が、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０から読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをεフィルタを用いて再構成して、フィルタリングを行う。
【０１３１】
具体的には、前述した式（２）、（３）で示すような演算を行う。すなわち、この式の例では、フィルタリング対象の画素の輝度値S(x,y)がその周辺の画素の輝度値S(x-m,y-n)と比べて差が大きい場合（閾値Thより大きい場合）には、輝度値S(x,y)のみをフィルタリングに用いることで、再構成したフィルタを用いた場合と同じフィルタリングを行う。一方、それ以外の場合には、フィルタ１３０ａと同じフィルタリングを行っている。
【０１３２】
このようにして、フィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０ａに出力される。
【０１３３】
ステップ８ｊでは、統合部１５０ａが、それぞれ対応づけられたブロックインデックスに基づいて、フィルタ１３０ａおよび再構成フィルタ１４０から、処理対象フレームを構成するすべてのブロックの画像データが入力されたことを検出すると、これらの画像データを統合する。
【０１３４】
ステップ８ｋでは、ステップ８ｊの統合により、１つのフレームの画像データが完成されたことを確認すると、この画像データを出力し、そして、次のフレームについてステップ８ａから新たな処理を開始する。
【０１３５】
以上のように、上記構成の画像処理装置では、すべてのブロックの画像データに対して再構成フィルタ１４０（εフィルタ）を適用するのではなく、テクスチャ特徴量が閾値を超える、すなわち処理対象ブロックの映像が複雑な場合に限って、再構成フィルタ１４０を適用するようにしている。  
したがって、上記構成の画像処理装置によれば、再構成フィルタ１４０がその効果を発揮する複雑なブロックについてのみ適用されるので、演算量を抑制しながら、映像品質を改善することができる。
【０１３６】
なお、上記実施の形態では、再構成フィルタ１４０がεフィルタである場合を例に挙げて説明したが、Bilateralフィルタを採用する場合にも適用できる。すなわち、再構成フィルタ１４０がBilateralフィルタの場合、再構成フィルタ１４０は、ステップ８ｉにおいて以下の処理を行う。
【０１３７】
再構成フィルタ１４０は、テクスチャ判定部１２０ａから与えられたフィルタデータに含まれるフィルタインデックスに対応するフィルタをフィルタ情報記憶部４０から読み出す。またフィルタ再構成部１４０は、上記フィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出し、この画像データに基づいて、ブロックを形成する各画素毎に、適用するフィルタをBilateralフィルタを用いて再構成して、フィルタリングを行う。  
具体的には、前述した式（４）、（５）で示すような演算を行う。
【０１３８】
このようにして、再構成されたフィルタを用いてフィルタリングされた輝度値は、ブロックごとにまとめられた画像データに統合され、ブロックインデックスとともに統合部１５０に出力される。  
このように、Bilateralフィルタを用いてフィルタを再構成する場合にも適用できる。
【０１３９】
また上記実施の形態では、テクスチャ特徴量算出部１１０ａは、ステップ８ｄで説明したように、テクスチャ特徴量を、処理対象のブロックの画像を構成する画素の輝度値に基づいて求めるようにしたが、輝度値に代わって画像データに含まれる色差信号に基づいて、上記テクスチャ特徴量を求めるようにしてもよい。
【０１４０】
すなわち、ステップ８ｄでは、テクスチャ特徴量算出部１１０ａが、フィルタ選択部５０ａから与えられたフィルタデータに含まれるブロックインデックスに対応する画像データをメモリ２０ａから読み出す。そして、テクスチャ特徴量算出部１１０ａは、この画像データに基づいて、該当ブロックの画像を構成する画素の色差信号を参照し、色差信号の分散（variance）を算出し、その値を画像の複雑さを示すテクスチャ特徴量として検出する。そして、テクスチャ特徴量算出部１１０ａは、このテクスチャ特徴量と上記フィルタデータを対応づけて、テクスチャデータとして、メモリ２０ａに記録し、ステップ８ｅに移行する。  
このように、色差信号に基づいてテクスチャ特徴量を求めるようにしても、同様の効果が得られる。
【０１４１】
また、テクスチャ特徴量算出部１１０ａは、上述した手法により輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めるようにしてもよい。この場合、テクスチャ特徴量算出部１１０ａは、輝度値に基づく第１テクスチャ特徴量と、色差信号に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、輝度値と色差信号の両方に基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【０１４２】
そしてまた、上記実施の形態では、テクスチャ特徴量算出部１１０ａは、テクスチャ特徴量を、処理対象ブロックの画像データのみに基づいて検出するようにしたが、これに代わって例えば、処理対象ブロックの画像データと、上記処理対象ブロックと同じブロック位置の過去のフレーム（処理対象フレームよりも時間的に前のフレーム）の画像データとに基づいて、テクスチャ特徴量を求めるようにしてもよい。
【０１４３】
この場合、テクスチャ特徴量算出部１１０ａは、処理対象ブロックの画像データに基づく第１テクスチャ特徴量と、過去フレームで処理対象ブロックに相当するブロックの画像データに基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０ａが、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。  
このように、現在と過去の両方の画像データに基づいて、テクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。
【０１４４】
さらにまた、メモリ２０ａは、過去の複数のフレームについて、テクスチャデータを記憶しておくようにし、テクスチャ判定部１２０ａは、処置対象となるブロックについて、このブロックのテクスチャデータに含まれるテクスチャ特徴量と、過去の同じ位置のブロックのテクスチャデータに含まれるテクスチャ特徴量を比較する。
【０１４５】
そして、その差が予め設定した閾値を超える場合には、ステップ８ｈに移行し、一方、超えない場合には、ステップ８ｉに移行して、それぞれフィルタリングを行うようにしてもよい。
【０１４６】
なお、この発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また上記実施形態に開示されている複数の構成要素を適宜組み合わせることによって種々の発明を形成できる。また例えば、実施形態に示される全構成要素からいくつかの構成要素を削除した構成も考えられる。さらに、異なる実施形態に記載した構成要素を適宜組み合わせてもよい。
【０１４７】
その一例として例えば、上記実施の形態では、特徴量算出部３０が求めたエッジ特徴量に応じてフィルタ選択部５０が適用するフィルタを選択するものとして説明したが、これに代わって例えば、エッジ特徴量によらず、所定のフィルタを適用することを前提とする画像処理装置に適用することも可能である。すなわち、フィルタ１３０が予め設定されたフィルタを適用する画像処理装置に適用しても、同様の効果を奏する。
【０１４８】
また上記実施の形態では、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、テクスチャ特徴量を、フィルタが参照するブロックに含まれる画素の情報（輝度値または／および色差信号）に基づいて求めるようにしたが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲の画素の情報（輝度値または／および色差信号）に基づいて求めるようにしてもよい。
【０１４９】
そして、上記実施の形態では、適用するフィルタの切り替えを、ブロック単位で行うものとして説明したが、これに限定されるものではなく、ブロックよりも大きい所定の範囲、もしくはブロックよりも小さい所定の範囲について、適用するフィルタを切り替えるようにしてもよい。
【０１５０】
すなわち、フレームをSxT画素、テクスチャ特徴量算出をIxJ画素、フィルタのタップをMxN画素とした場合、S,T,I,J,MおよびNの値をそれぞれ１以上の任意の整数に設定して実現することができ、前述したように、上記の実施の形態に例示したサイズに限定されるものではない。
【０１５１】
また例えば、画素の輝度値あるいは色差信号について、その最大値・最小値、あるいは分散のいずれか一方に基づいて、テクスチャ特徴量を求めるようにしたが、両方を用いるようにしてもよい。
【０１５２】
例えば、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、輝度値の最大値・最小値の差に基づく第１テクスチャ特徴量と、輝度値の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
【０１５３】
あるいは、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、色差信号の最大値・最小値の差に基づく第１テクスチャ特徴量と、色差信号の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
【０１５４】
また、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、輝度値の最大値・最小値の差に基づく第１テクスチャ特徴量と、色差信号の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
【０１５５】
あるいは、テクスチャ特徴量算出部１１０（あるいはテクスチャ特徴量算出部１１０ａ）は、色差信号の最大値・最小値の差に基づく第１テクスチャ特徴量と、輝度値の分散に基づく第２テクスチャ特徴量をそれぞれ求め、それぞれに重み付けを行って、第１および第２テクスチャ特徴量を合わせたテクスチャ特徴量を算出する。そして、テクスチャ判定部１２０（あるいはテクスチャ判定部１２０ａ）が、このテクスチャ特徴量に基づいて、画像の複雑さを判定する。
【０１５６】
このように、１種類の情報を異なる２種類の評価、あるいは２種類の情報を異なる２種類の評価によってテクスチャ特徴量を求めることにより、より正確に画像の複雑さを判定することができる。  
その他、この発明の要旨を逸脱しない範囲で種々の変形を施しても同様に実施可能であることはいうまでもない。
【符号の説明】
【０１５７】
１０…復号器、２０，２０ａ…メモリ、３０，３０ａ…特徴量算出部、４０…フィルタ情報記憶部、５０，５０ａ…フィルタ選択部、１００，１００ａ…フィルタリング処理部、１１０，１１０ａ…テクスチャ特徴量算出部、１２０，１２０ａ…テクスチャ判定部、１３０…フィルタ、１４０…再構成フィルタ、１５０…統合部。
【図１】
2011034226.tif 000006
【図２】
2011034226.tif 000007
【図３】
2011034226.tif 000008
【図４】
2011034226.tif 000009
【図５】
2011034226.tif 000010
【図６】
2011034226.tif 000011
【図７】
2011034226.tif 000012
【図８】
2011034226.tif 000013