(57)【要約】【課題】  画素値の不自然な不連続が生じない自然な画像を得る。【解決手段】  ノイズ判定部２５は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定し、その判定結果をスムージング処理部２６に供給する。スムージング処理部２６は、ノイズ判定部２５から供給された注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する。本発明は、例えば、画像からノイズを除去するノイズ除去処理装置に適用できる。【選択図】図２
2005151385.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する画像処理装置において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段と、
注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、前記注目画素に対する前記フィルタリング処理のフィルタ強度を調整する調整手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記画素の特徴を判定する特徴判定手段をさらに備え、
前記実行判定手段は、前記特徴判定手段により判定された前記画素の特徴に基づき、その画素に対するフィルタリング処理の実行の有無を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴判定手段は、前記画素における複数の特徴を判定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴判定手段は、
前記画素が、画素値の波形の形状がＶ字状になっているＶパターンエッジの特徴を有するかどうかを判定するＶパターンエッジ判定手段と、
前記画素が平坦部の特徴を有するかどうかを判定する平坦部判定手段と、
前記画素がモスキートノイズの特徴を有するかどうかを判定するモスキートノイズ判定手段と
を備える
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記特徴判定手段は、前記画素の特徴を複数の段階に判定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記特徴判定手段が前記画素の特徴を判定するために用いる閾値を設定する設定手段をさらに備える
ことを特徴とする請求項２に記載の画像処理装置。
【請求項７】
前記設定手段は、前記注目画素を含むブロックを構成する画素の画素値のダイナミックレンジ、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、前記閾値を設定する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記実行判定手段が前記画素に対するフィルタリング処理の実行の有無を判定する場合における処理の順序を示す情報を供給する順序供給手段をさらに備え、
前記実行判定手段は、前記順序供給手段により供給された前記情報により示される順序に応じて、前記画素に対するフィルタリング処理の実行の有無を判定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記注目画素を含む所定のブロックを構成する画素の画素値のダイナミックレンジを演算するダイナミックレンジ演算手段と、
前記画素のアクティビティを演算するアクティビティ演算手段と
をさらに備え、
前記特徴判定手段は、前記ダイナミックレンジ演算手段により演算された前記ダイナミックレンジと前記アクティビティ演算手段により演算された前記アクティビティとに基づき、前記画素の特徴を判定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項１０】
前記調整手段により調整された前記フィルタ強度に基づき、前記注目画素に対する前記フィルタリング処理のフィルタ係数を決定するフィルタ係数決定手段をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
デフォルトのフィルタ係数を設定するフィルタ係数設定手段と、
前記画素の特徴を判定する特徴判定手段と
をさらに備え、
前記フィルタ係数決定手段は、さらに、前記特徴判定手段により判定された前記画素の特徴と、前記フィルタ係数設定手段により設定された前記デフォルトのフィルタ係数とにも基づき、最終的なフィルタ係数を決定する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記フィルタ係数設定手段は、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、前記デフォルトのフィルタ係数を設定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記特徴判定手段は、
前記画素が、画素値の波形の形状がＶ字状になっているＶパターンエッジの特徴を有するかどうかを判定するＶパターンエッジ判定手段と、
前記画素が平坦部に存在するインパルスエッジの特徴を有するかどうかを判定するインパルスエッジ判定手段と
を備え、
前記フィルタ係数設定手段は、前記Ｖパターンエッジ判定手段により判定されたＶパターンエッジ判定結果と、前記インパルスエッジ判定手段により判定されたインパルスエッジ判定結果とに基づき、前記最終的なフィルタ係数を決定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記特徴判定手段は、前記画素の特徴を複数の段階に判定する
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１５】
前記特徴判定手段が前記画素の特徴を判定するために用いる閾値を設定する設定手段をさらに備える
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１６】
前記設定手段は、前記注目画素を含むブロックを構成する画素の画素値のダイナミックレンジ、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、前記閾値を設定する
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記調整手段は、前記実行判定手段により前記注目画素に対するフィルタリング処理の実行の有無が有と判定された場合に、前記隣接画素に対するフィルタリング処理の実行の有無の判定結果に応じて、前記注目画素に対する前記フィルタリング処理の前記フィルタ強度を調整する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１８】
画像を処理する画像処理方法において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、前記注目画素に対する前記フィルタリング処理のフィルタ強度を調整する調整ステップと
を含むことを特徴とする画像処理方法。
【請求項１９】
画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、前記注目画素に対する前記フィルタリング処理のフィルタ強度を調整する調整ステップと
を含むことを特徴とするプログラム。
【請求項２０】
画像を処理する画像処理を、コンピュータに実行させるプログラムが記録されている記録媒体において、
前記画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、
注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、前記注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、前記注目画素に対する前記フィルタリング処理のフィルタ強度を調整する調整ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、プログラム、並びに記録媒体に関し、特に、例えば、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができるようにする画像処理装置および画像処理方法、プログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
従来において、静止画データや動画データ等を効率よく圧縮符号化するための符号化方式として、離散コサイン変換後（ＤＣＴ（Discrete Cosine Transform）変換）に高域成分を制限すること、即ち、ＤＣＴ係数を量子化することによってデータ圧縮を行うＭＰＥＧ（Moving Picture Experts Group）方式が良く用いられる。
【０００３】
しかしながら、ＭＰＥＧ方式のように周波数変換および非可逆圧縮といった技術により圧縮符号化された画像をデコードして得られる復号画像は、原理的に、原画像に対して、誤差を有したものとなり、特に量子化/逆量子化による量子化誤差によりが画質が劣化する。例えば、復号画像において、隣接ブロックとの境界部での画素値のずれが生じ、これは、ブロック歪みとして知覚される。また、復号画像においては、高周波成分が不足して、波上の符号化雑音をが発生し、これがモスキートノイズとして知覚される。
【０００４】
周波数変換および非可逆圧縮といった技術により圧縮符号化された画像をデコード（復号）に得られる復号画像において、圧縮のさいに原理的に発生するノイズを低減させる技術としては、復号画像をＬＰＦ（Low Pass Filter）でフィルタリング処理することによるノイズ除去がある。
【０００５】
しかしながら、復号画像全体を、ＬＰＦ（Low Pass Filter）でフィルタリング処理した場合、復号画像にエッジが含まれているときには、エッジに対応する高周波数成分が失われることによりエッジが鈍り、そのエッジに対応する部分の画像の画質が劣化する。一方そのような、画質の劣化を防止するために、例えば、ＬＰＦのカットオフ周波数を高く設定した場合には、ノイズが十分に除去されないこととなる。
【０００６】
そこで、特許文献１には、閾値を設けることにより画像を構成する画素の画素値を２値化し、その結果に応じて画素単位でフィルタリング処理を施すフィルタが選択することにより、画素の種類に応じてフィルタリング処理を施すノイズ除去技術が記載されている。
【０００７】
【特許文献１】特開平８−１８６７１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、画像に対して画素単位でフィルタリング処理を施す場合には、その画像を構成する画素のうちフィルタリング処理が施された画素と、フィルタリング処理が施されない画素とが生じうる。このような画素どうしが隣接する場合、その隣接する画素どうしの画素値が不自然に不連続になることにより、画像全体が不自然になることがあった。
【０００９】
本発明はこのような状況に鑑みてなされたものであり、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができるようにするものである。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段と、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整手段とを備えることを特徴とする。
【００１１】
本発明の画像処理方法は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整ステップとを含むことを特徴とする。
【００１２】
本発明のプログラムは、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整ステップとを含むことを特徴とする。
【００１３】
本発明のコンピュータが読み取り可能なプログラムが記録されている記録媒体は、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップと、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整ステップとを含むことを特徴とする。
【００１４】
本発明の画像処理装置、画像処理方法、プログラム、および記録媒体においては、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無が判定され、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度が調整される。
【発明の効果】
【００１５】
本発明によれば、隣接する画素間において、画素値の不自然な不連続が生じない自然な画像を得ることができる。
【発明を実施するための最良の形態】
【００１６】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、実施の形態との対応関係を例示すると、次のようになる。なお、明細書には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００１７】
さらに、この記載は、明細書に記載されている発明が、全て記載されていることを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により出願したり、追加される発明の存在を否定するものではない。
【００１８】
本発明によれば、画像処理装置が提供される。この画像処理装置は、画像を処理する画像処理装置において、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定手段（例えば、図２のノイズ判定部２５）と、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整手段（例えば、図２のスムージング処理部２６）とを備えることを特徴とする。
【００１９】
この画像処理装置には、画素の特徴を判定する特徴判定手段（例えば、図２の特徴判定部２４）をさらに備えることができ、実行判定手段（例えば、図２のノイズ判定部２５）は、特徴判定手段により判定された画素の特徴に基づき、その画素に対するフィルタリング処理の実行の有無を判定することができる。
【００２０】
この特徴判定手段では、画素における複数の特徴を判定することができる。
【００２１】
この特徴判定手段には、画素が、画素値の波形の形状がＶ字状になっているＶパターンエッジの特徴を有するかどうかを判定するＶパターンエッジ判定手段（例えば、図２のＶパターンエッジ判定部３１）と、画素が平坦部の特徴を有するかどうかを判定する平坦部判定手段（例えば、図２の平坦部判定部３３）と、画素がモスキートノイズの特徴を有するかどうかを判定するモスキートノイズ判定手段（例えば、図２のモスキートノイズ判定部３４）とを備えることができる。
【００２２】
この特徴判定手段では、画素の特徴を複数の段階に判定することができる。
【００２３】
この画像処理装置には、特徴判定手段が画素の特徴を判定するために用いる閾値を設定する設定手段（例えば、図２の制御部２３）をさらに備えることができる。
【００２４】
この設定手段では、注目画素を含むブロックを構成する画素の画素値のダイナミックレンジ、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、閾値を設定することができる。
【００２５】
この画像処理装置には、実行判定手段が画素に対するフィルタリング処理の実行の有無を判定する場合における処理の順序を示す情報を供給する順序供給手段（例えば、図２の制御部２３）をさらに備えることができ、実行判定手段では、順序供給手段により供給された情報により示される順序に応じて、画素に対するフィルタリング処理の実行の有無を判定することができる。
【００２６】
この画像処理装置には、注目画素を含む所定のブロックを構成する画素の画素値のダイナミックレンジを演算するダイナミックレンジ演算手段（例えば、図２のダイナミックレンジ演算部２１）と、画素のアクティビティを演算するアクティビティ演算手段（例えば、図２のアクティビティ演算部２２）とをさらに備えることができ、特徴判定手段では、ダイナミックレンジ演算手段により演算されたダイナミックレンジとアクティビティ演算手段により演算されたアクティビティとに基づき、画素の特徴を判定することができる。
【００２７】
この画像処理装置には、調整手段により調整されたフィルタ強度に基づき、注目画素に対するフィルタリング処理のフィルタ係数を決定するフィルタ係数決定手段（例えば、図２のフィルタ係数決定部２７）をさらに備えることができる。
【００２８】
この画像処理装置には、デフォルトのフィルタ係数を設定するフィルタ係数設定手段（例えば、図２の制御部２３）と、画素の特徴を判定する特徴判定手段（例えば、図２の特徴判定部２４）とをさらに備えることができ、フィルタ係数決定手段では、さらに、特徴判定手段により判定された画素の特徴と、フィルタ係数設定手段により設定されたデフォルトのフィルタ係数とにも基づき、最終的なフィルタ係数を決定することができる。
【００２９】
このフィルタ係数設定手段では、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、デフォルトのフィルタ係数を設定することができる。
【００３０】
この画像処理装置には、特徴判定手段は、画素が、画素値の波形の形状がＶ字状になっているＶパターンエッジの特徴を有するかどうかを判定するＶパターンエッジ判定手段（例えば、図２のＶパターンエッジ判定部３１）と、画素が平坦部に存在するインパルスエッジの特徴を有するかどうかを判定するインパルスエッジ判定手段（例えば、図２のインパルスエッジ判定部３２）とを備えることができ、フィルタ係数設定手段では、Ｖパターンエッジ判定手段により判定されたＶパターンエッジ判定結果と、インパルスエッジ判定手段により判定されたインパルスエッジ判定結果とに基づき、最終的なフィルタ係数を決定することができる。
【００３１】
この特徴判定手段では、画素の特徴を複数の段階に判定することができる。
【００３２】
この画像処理装置には、特徴判定手段が画素の特徴を判定するために用いる閾値を設定する設定手段（例えば、図２の制御部２３）をさらに備えることができる。
【００３３】
この設定手段では、注目画素を含むブロックを構成する画素の画素値のダイナミックレンジ、ユーザが設定した外部設定値、または、量子化されたＤＣＴ係数を前記画像にデコードするのに用いられる情報に基づき、閾値を設定することができる。
【００３４】
この調整手段では、実行判定手段により注目画素に対するフィルタリング処理の実行の有無が有と判定された場合に、隣接画素に対するフィルタリング処理の実行の有無の判定結果に応じて、注目画素に対するフィルタリング処理のフィルタ強度を調整することができる。
【００３５】
また、本発明によれば、画像処理方法が提供される。この画像処理方法では、画像を処理する画像処理方法において、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップ（図７のプログラムの処理ステップＳ３）と、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整ステップ（図７のプログラムの処理ステップＳ４）とを含むことを特徴とする。
【００３６】
また、本発明によれば、プログラムが提供される。画像を処理する画像処理を、コンピュータに実行させるプログラムにおいて、画像を構成する画素ごとに、その画素に対するフィルタリング処理の実行の有無を判定する実行判定ステップ（図７のプログラムの処理ステップＳ３）と、注目している注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整する調整ステップ（図７のプログラムの処理ステップＳ４）とを含むことを特徴とする。
【００３７】
このプログラムは、記録媒体に記録することができる。
【００３８】
以下に、本発明の実施の形態を説明する。
【００３９】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。図１の画像処理装置は、ＭＰＥＧデコード部１とノイズ除去部２から構成されている。
【００４０】
ＭＰＥＧデコード部１には、図示せぬエンコーダにより符号化（ＭＰＥＧエンコード）されて伝送された符号化データが供給される。ＭＰＥＧデコード部１は、そこに供給された符号化データをデコードし、その結果得られる復号画像の画像信号をノイズ除去部２に供給する。さらに、ＭＰＥＧデコード部１は、符号化データに含まれる、その符号化データのデコードに必要な情報である、例えば、量子化ステップを表す量子化情報などをノイズ除去部２に供給する。
【００４１】
ノイズ除去部２には、ＭＰＥＧデコード部１から復号画像の画像信号および量子化情報が供給される他、図示せぬ入力装置をユーザが操作することにより入力される外部設定値が供給される。ノイズ除去部２は、ＭＰＥＧデコード部１から供給される量子化情報、および図示せぬ入力装置から供給される外部設定値を必要に応じて用いながら、ＭＰＥＧデコード部１から供給される復号画像に対して、その復号画像に含まれるノイズ（歪）を除去するノイズ除去処理としての画像処理を施し、ブロック歪やモスキートノイズ等が効果的に除去された画像信号を出力する。
【００４２】
図１において、ＭＰＥＧデコード部１は、可変長復号部１１、逆量子化部１２、逆ＤＣＴ変換部１３、逆ブロック化部１４、および動き補償実行部１５から構成されている。
【００４３】
可変長復号部１１には、符号化データが供給され、可変長復号部１１は、その符号化データを可変長復号し、例えば、量子化されたＤＣＴ係数、その量子化されたＤＣＴ係数を画像にデコードするのに用いられる情報である量子化情報、動きベクトル、ブロックタイプなどを出力する。可変長復号部１１が出力する量子化されたＤＣＴ係数は逆量子化部１２に、量子化情報は逆量子化部１２およびノイズ除去部２に、動きベクトルおよびブロックタイプは動き補償実行部１５に、それぞれ供給される。
【００４４】
逆量子化部１２は、可変長復号部１１から供給された量子化されたＤＣＴ係数を、同じく可変長復号部１１から供給された量子化情報が表す量子化ステップで逆量子化し、その結果得られるＤＣＴ係数を８×８画素のフロック単位で、逆ＤＣＴ変換部１３に供給する。
【００４５】
逆ＤＣＴ変換部１３は、逆量子化部１２からのブロック単位のＤＣＴ係数を逆ＤＣＴ変換し、これにより得られる画素値で構成されるブロックを、逆ブロック化部１４に供給する。
【００４６】
一方、動き補償実行部１５は、可変長復号部１１から供給される動きベクトルおよびブロックタイプに基づき、逆ブロック化部１４に記憶された、既にデコードされている復号画像（Ｉ（Intra）ピクチャまたはＰ（Predictive）ピクチャ）を動き補償し、その結果得られる予測画像（動き補償された画像）を、逆ブロック化部１４に供給する。
【００４７】
逆ブロック化部１４は、逆ＤＣＴ変換部１３から供給されるブロック（から構成されるマクロブロック）に、動き補償実行部１５から供給される予測画像を必要に応じて加算することにより、元の画素値でなるブロックを得る。さらに、逆ブロック化部１４は、そのブロックを逆ブロック化することにより、即ち、例えば、ブロックを、図示せぬメモリの対応する位置のアドレスに記憶することにより、１フレーム（またはフィールド）の復号画像を構成し、ノイズ除去部２に供給するとともに、必要に応じて、動き補償実行部１５に供給する。
【００４８】
図２は、ノイズ除去部２の構成例を示すブロック図である。ノイズ除去部２は、ダイナミックレンジ演算部２１、アクティビティ演算部２２、制御部２３、特徴判定部２４、ノイズ判定部２５、スムージング処理部２６、フィルタ係数決定部２７、およびフィルタ２８から構成されている。
【００４９】
ダイナミックレンジ演算部２１には、ＭＰＥＧデコード部１から復号画像（の画像信号）が供給される。ダイナミックレンジ演算部２１は、ＭＰＥＧデコード部１から供給された復号画像を構成する各画素を、順次、注目画素として、注目画素を含む所定のブロックについて、そのブロック内の画素の画素値のダイナミックレンジＤＲ1を演算し、制御部２３および特徴判定部２４に供給する。ここで、注目画素を含むブロックとしては、例えば、ＭＰＥＧエンコード時にＤＣＴ処理の対象となる８×８画素のブロックを採用することができる。
【００５０】
アクティビティ演算部２２には、ＭＰＥＧデコード部１から復号画像（の画像信号）が供給される。アクティビティ演算部２２は、ＭＰＥＧデコード部１から供給された復号画像を構成する各画素を、順次、注目画素として、注目画素を含む所定のブロックについて、そのブロック内の画素の画素値のアクティビティＡＣＴ1を演算し、特徴判定部２４に供給する。ここで、注目画素を含むブロックとしては、例えば、注目画素を中心とした３×３画素のブロックを採用することができる。
【００５１】
制御部２３には、ダイナミックレンジ演算部２１からダイナミックレンジＤＲ1が供給される他、上述したように、ＭＰＥＧデコード部１から、量子化情報が、図示せぬ入力装置から、外部設定値が供給される。制御部２３は、必要に応じて、量子化情報、外部設定値、またはダイナミックレンジＤＲ1に基づき、特徴判定部２４で用いられる閾値、ノイズ判定部２５で用いられる後述する判定順番、フィルタ２８で用いられるデフォルトのフィルタ係数を設定（決定）し、特徴判定部２４、ノイズ判定部２５、フィルタ係数決定部２７にそれぞれ供給する。
【００５２】
なお、制御部２３は、閾値を設定する部分、判定順番を設定する部分、およびフィルタ係数を設定する部分を、それぞれ独立に構成することができる。
【００５３】
また、制御部２３が設定する閾値としては、Ｖパターンエッジ判定部３１で用いられるダイナミックレンジの閾値ａ1および閾値ａ2、インパルスエッジ判定部３２で用いられるアクティビティのＴＨACT1およびＴＨACTard、平坦部判定部３３で用いられるダイナミックレンジの閾値ＴＨDR1およびＴＨACT1、モスキートノイズ判定部３４で用いられるモスキートノイズの閾値ＴＨNがそれぞれ設定される。
【００５４】
特徴判定部２４には、ダイナミックレンジ演算部２１からダイナミックレンジＤＲ1が、アクティビティ演算部２２からアクティビティＡＣＴ1が、制御部２３から閾値が、それぞれ供給される他、ＭＰＥＧデコード部１から復号画像の画像信号が供給される。特徴判定部２４は、ダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ1が、アクティビティ演算部２２から供給されるアクティビティＡＣＴ1、制御部２３から供給される閾値に基づき、注目画素の特徴を判定し、その判定結果を、ノイズ判定部２５とフィルタ係数決定部２７に供給する。
【００５５】
即ち、特徴判定部２４は、Ｖパターンエッジ判定部３１、インパルスエッジ判定部３２、平坦部判定部３３、およびモスキートノイズ判定部３４から構成されている。
【００５６】
Ｖパターンエッジ判定部３１は、制御部２３から供給されるダイナミックレンジの閾値ａ1および閾値ａ2に基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素が、後述するＶパターンエッジである可能性を、なし、小、大の３段階に判定し、画素がＶパターンエッジである可能性（画素がＶパターンエッジの特徴を有する程度）を示したＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給する。
【００５７】
インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ1、並びに制御部２３から供給されるアクティビティの閾値ＴＨACT1およびの閾値ＴＨACTardに基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素にインパルスエッジが存在する可能性の有無を判定し、画素がインパルスエッジである可能性（画素がインパルスエッジの特徴を有する程度）を示したインパルスエッジ判定結果を、フィルタ係数決定部２７に供給する。
【００５８】
平坦部判定部３３は、ダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ1、アクティビティ演算部２２から供給されるアクティビティＡＣＴ1、並びに制御部２３から供給されるダイナミックレンジＤＲ1の閾値ＴＨDR1およびアクティビティの閾値ＴＨACT2に基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素が平坦部であるかどうかを判定し、画素が平坦部である可能性（画素が平坦部の特徴を有する程度）を示した平坦部判定結果を、ノイズ判定部２５に供給する。
【００５９】
モスキートノイズ判定部３４は、制御部２３から供給される閾値ＴＨNに基づき、ＭＰＥＧデコード部１から供給される復号画像を構成する画素がモスキートノイズであるかどうかを判定し、画素がモスキートノイズである可能性（画素がモスキートノイズの特徴を有する程度）を示したモスキートノイズ判定結果を、ノイズ判定部２５に供給する。
【００６０】
なお、制御部２３からインパルスエッジ判定部３２に供給される閾値ＴＨACT1および閾値ＴＨACTard、制御部２３から平坦部判定部３３に供給される閾値ＴＨACT2としては、同一の値であってもよいし、異なる値であってもよい。
【００６１】
ノイズ判定部２５は、制御部２３から供給される判定順番に応じて、特徴判定部２４から供給される、復号画像を構成する各画素についてのＶパターンエッジ判定結果、平坦部判定結果、およびモスキートノイズ判定結果を処理し、これにより、復号画像を構成する各画素について、フィルタリング処理の実行の有無を判定し、その判定結果をスムージング処理部２６に供給する。
【００６２】
スムージング処理部２６は、ノイズ判定部２５から供給される注目画素についてのフィルタリング処理の実行の有無の判定結果と、注目画素の水平、垂直、または斜めに隣接する画素（以下、適宜、隣接画素と称する）についてのフィルタリング処理の実行の有無の判定結果とに基づき、注目画素をフィルタリング処理するときのフィルタ強度を調整し、そのフィルタ強度を表すフィルタ強度情報を、フィルタ係数決定部２７に供給する。
【００６３】
ここで、フィルタリング処理のフィルタ強度とは、例えば、信号をフィルタリング処理したときの、その信号の高域への影響を表し、フィルタ強度が強いフィルタリング処理とは、例えば、カットオフ周波数が低い、または、ロールオフが急峻なＬＰＦによるフィルタリング処理をいう。
【００６４】
フィルタ係数決定部２７は、特徴判定部２４から供給される注目画素の特徴の判定結果としてのＶパターンエッジ判定結果およびインパルスエッジ判定結果、並びにスムージング処理部２６から供給されるフィルタ強度情報に基づき、制御部２３から供給される、注目画素に対するフィルタリング処理に用いるフィルタ係数の値を調整、決定（確定）し、フィルタ２８に供給する。
【００６５】
フィルタ２８には、フィルタ係数決定部２７からフィルタ係数が供給される他、ＭＰＥＧデコード部１から復号画像の画像信号が供給される。フィルタ２８は、フィルタ係数決定部２７から供給されるフィルタ係数に基づき、注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力する。また、フィルタ２８は、フィルタタップ数を任意に設定し、フィルタリング処理を行うことができる。
【００６６】
図３を参照して、図２のダイナミックレンジ演算部２１が行う処理について説明する。
【００６７】
ダイナミックレンジ演算部２１は、注目画素について、例えば、ＭＰＥＧエンコード時にＤＣＴ処理の対象となる８×８画素のブロック（以下、適宜、ＤＣＴブロックという）を構成し、そのダイナミックレンジＤＲ1を求める。
【００６８】
図３は、注目画素についてのＤＣＴブロックを構成する各画素と、その画素値との関係を示している。
【００６９】
ダイナミックレンジ演算部２１は、注目画素についてのＤＣＴブロック（注目画素を含むＤＣＴブロック）を構成する各画素の画素値の最大値と最小値とを求める。さらに、ダイナミックレンジ演算部２１は、その最大値から最小値を減算し、その減算値を、注目画素（のＤＣＴブロック）のダイナミックレンジＤＲ1として求める。
【００７０】
なお、ダイナミックレンジＤＲ1を求める対象となるブロックは、８×８画素のＤＣＴブロックに限定されるものではない。即ち、ダイナミックレンジＤＲ1は、注目画素を中心とする所定画素数のブロックを対象に用いることが可能である。
【００７１】
図４を参照して、図２のアクティビティ演算部２２が行う処理について説明する。
【００７２】
図４において、太線で示す８×８画素のブロックは、ＤＣＴブロックを示している。従って、太線で囲まれている８×８画素のいずれかが注目画素とされた場合は、図２のダイナミックレンジ演算部２１では、いずれの場合も、図４に示したＤＣＴブロックのダイナミックレンジＤＲ1が求められる。
【００７３】
アクティビティ演算部２２は、例えば、注目画素を中心とする縦に３画素、横に３画素の全部で９画素から構成されるブロック（以下、適宜、小ブロックと称する）を用いて、注目画素のアクティビティＡＣＴ1を演算する。図４において、例えば、画素Ｅを注目画素とすると、その注目画素Ｅについての小ブロックは、注目画素Ｅと、その注目画素Ｅの縦方向、横方向、および斜め方向の隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ、およびＩとから構成される。アクティビティ演算部２２は、注目画素についての小ブロックを構成する画素の画素値の空間的な変化値を、注目画素のアクティビティＡＣＴ1として求める。
【００７４】
なお、ここでは、小ブロックとしては、注目画素を中心とする縦に３画素、横に３画素のブロックを採用したが、その他の任意の大きさのブロックを採用することができる。
【００７５】
図５を参照して、図２のＶパターンエッジ判定部３１が行う処理について説明する。
【００７６】
Ｖパターンエッジ判定部３１は、注目画素を含む、その近傍の各画素と、その画素値との関係から、注目画素がＶパターンエッジであるかどうかを判定する。
【００７７】
図５は、注目画素を通るある空間方向に並ぶ各画素と、その画素値との関係を示している。
【００７８】
ここで、図５において、横軸は、注目画素を通るある空間方向に並ぶ複数の画素の位置を表し、縦軸は、その各画素の画素値を表している。
【００７９】
Ｖパターンエッジ判定部３１は、注目画素を通るある空間方向にい並ぶ複数の画素の画素値でなる波形の形状がＶ字状になっており、注目画素の画素値が、そのＶ字状の形状の先端部分に対応する場合に、注目画素がＶパターンエッジである判定する。
【００８０】
図６を参照して、図２のインパルスエッジ判定部３２が行う処理について説明する。
【００８１】
インパルスエッジ判定部３２は、注目画素を含むＤＣＴブロックを構成する各画素と、その画素値との関係から、注目画素がインパルスエッジであるかどうかを判定する。
【００８２】
図６は、注目画素についてのＤＣＴブロックを構成する画素のうちの注目画素を通るある空間方向に並ぶ画素と、その画素値との関係を示している。
【００８３】
ここで、図６において、横軸は、注目画素を通るある空間方向に並ぶ複数の画素の位置を表し、縦軸は、その各画素の画素値を表している。
【００８４】
インパルスエッジ判定部３２は、ＤＣＴブロックを構成する画素のうちの注目画素を通るある空間方向に並ぶ複数の画素の画素値でなる波形の形状がエッジ部に対応する場合に、注目画素がインパルスエッジである判定する。
【００８５】
図７は、図２のノイズ除去部２の動作を説明するフローチャートである。
【００８６】
ノイズ除去部２では、まず最初に、ステップＳ１−１、ステップＳ１−２、ステップＳ１−３からなるステップＳ１の処理が行われる。
【００８７】
即ち、ステップＳ１−１において、ダイナミックレンジ演算部２１は、ＭＰＥＧデコード部１から供給される復号画像を構成する画素を、順次、注目画素として、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1を演算し、制御部２３および特徴判定部２４に供給する。
【００８８】
具体的には、ステップＳ１−１において、ダイナミックレンジ演算部２１は、注目画素についてのＤＣＴブロック内の全６４画素の画素値のうちの最大値と最小値を求め、さらに、ダイナミックレンジＤＲ1＝（最大値）−（最小値）を演算することにより、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1を得る。
【００８９】
ステップＳ１−２において、アクティビティ演算部２２は、注目画素のアクティビティＡＣＴ1を演算し、特徴判定部２４に供給する。
【００９０】
即ち、ステップＳ１−２において、アクティビティ演算部２２は、図４に示したように、注目画素（の画素値）をＥとするとともに、注目画素Ｅを中心とする小ブロック内における、注目画素Ｅに隣接する８つの隣接画素をＡ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ、およびＩとすることとすると、注目画素Ｅの画素値と、隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ,Ｉの画素値それぞれとの差の絶対値の２乗和の平方根を演算することにより、即ち、アクティビティＡＣＴ1＝√（|Ａ−Ｅ|2＋|Ｂ−Ｅ|2＋|Ｃ−Ｅ|2＋|Ｄ−Ｅ|2＋|Ｆ−Ｅ|2＋|Ｇ−Ｅ|2＋|Ｈ−Ｅ|2＋|I−Ｅ|2）を演算することにより、注目画素ＥのアクティビティＡＣＴ1を得る。
【００９１】
なお、アクティビティＡＣＴ1としては、その他、例えば、注目画素の画素値と隣接画素の画素値との差の絶対値の２乗の平均値や、注目画素の画素値と隣接画素の画素値との差の絶対値の平均値などを用いてもよい。
【００９２】
ステップＳ１−３において、制御部２３は、量子化情報、外部設定値、およびダイナミックレンジ演算部２１から供給されるダイナミックレンジＤＲ1に基づき、閾値、判定順番、およびフィルタ係数を設定し、閾値を特徴判定部２４に、判定順番をノイズ判定部２５に、フィルタ係数をフィルタ係数決定部２７に、それぞれ供給する。
【００９３】
即ち、ステップＳ１−３において、制御部２３は、Ｖパターンエッジについての閾値ａ1および閾値ａ2、アクティビティＡＣＴ1についての閾値である閾値ＴＨACT1、ダイナミックレンジＤＲ1についての閾値である閾値ＴＨDR1、並びにモスキートノイズについての閾値ＴＨNを設定する。さらに、制御部２３は、ステップＳ１−３において、閾値ａ1および閾値ａ2をＶパターンエッジ判定部３１に、閾値ＴＨACT1を平坦部判定部３３に、閾値ＴＨDR1および閾値ＴＨACT1を平坦部判定部３３に、閾値ＴＨNをモスキートノイズ判定部３４に、それぞれ供給する。
【００９４】
ここで、制御部２３は、例えば、Ｖパターンエッジについての閾値ａ1および閾値ａ2とする２つの値の組み合わせを複数セット記憶しており、ダイナミックレンジ演算部２１からの注目画素についてのダイナミックレンジＤＲ1に基づき、複数セットの２つの値の組み合わせのうちのいずれかのセットの２つの値を、閾値ａ1および閾値ａ2に設定する。
【００９５】
具体的に、制御部２３は、例えば、式
ｉｆ(ダイナミックレンジＤＲ1＞ＶＡＬＵＥ＿Ａ) {
ａ1＝ＶＡＬＵＥ＿Ｂ；
ａ2＝ＶＡＬＵＥ＿Ｃ；
} else {
ａ1＝ＶＡＬＵＥ＿Ｄ；
ａ2＝ＶＡＬＵＥ＿Ｅ；
}
にしたがって、閾値ａ1および閾値ａ2に設定する。この場合、注目画素についてのダイナミックレンジＤＲ1が値Ａよりも大きいときは、閾値ａ1は値Ｂに、閾値ａ2は値Ｃに、それぞれ設定する。一方、注目画素についてのダイナミックレンジＤＲ1が値Ａと等しい、または値Ａよりも小さい場合、閾値ａ1は値Ｄに、閾値ａ2を値Ｅに設定する。
【００９６】
なお、閾値ａ1と閾値ａ2の大小関係は、閾値ａ1が閾値ａ2よりも大きい、即ち、閾値ａ1＞閾値ａ2である。なお、閾値ＴＨNを設定する処理としては、ダイナミックレンジＤＲ1と比較する設定値は１個であるが、設定値を複数個設けることにより、３個以上の閾値の組み合わせから閾値を設定することができる。
【００９７】
また、制御部２３は、閾値ＴＨDR1および閾値ＴＨACT1を設定する場合において、ある値を記憶し、その値に基づいて、閾値ＴＨDR1および閾値ＴＨACT1をそれぞれ設定する。さらに、閾値ＴＨNの設定方法は、図１２を用いて後述する。
【００９８】
なお、Ｖパターンエッジの大きさに応じて、ダイナミックレンジの閾値の値を変化させることができる。
【００９９】
また、制御部２３は、例えば、次のようにして、フィルタ係数を設定する。
【０１００】
即ち、注目画素に対する量子化情報が表す量子化ステップが大きい（粗い）場合（あるいは、符号化データのデータレートが低い場合）には、量子化誤差が大きくなり、モスキートノイズが発生する可能性が高い。このため、制御部２３は、注目画素に対する量子化ステップが大きい場合には、モスキートノイズを十分に除去することができるように、フィルタ強度の強いフィルタ係数、即ち、カットオフ周波数が低いＬＰＦ、または、ロールオフが急峻なＬＰＦを実現するフィルタ係数を設定し、フィルタ係数決定部２７に供給する。
【０１０１】
一方、注目画素に対する量子化情報が表す量子化ステップが小さい（細かい）場合（あるいは、符号化データのデータレートが高い場合）には、量子化誤差が小さくなり、モスキートノイズが発生している可能性は小さい。このため、制御部２３は、注目画素に対する量子化ステップが小さい場合には、フィルタ強度の弱いフィルタ係数、即ち、カットオフ周波数が高いＬＰＦ、または、ロールオフが滑らかなＬＰＦを実現するフィルタ係数を設定し、フィルタ係数決定部２７に供給する。
【０１０２】
以上のように、量子化ステップに応じて、フィルタ係数を設定することにより、画像に対して、例えば、モスキートノイズを十分に除去するような、効果的にフィルタリング処理を施すことができる。
【０１０３】
なお、制御部２３は、閾値ａ1および閾値ａ2、閾値ＴＨACT1、閾値ＴＨDR1および閾値ＴＨACT1、並びに閾値ＴＨNを、外部設定値にも基づいて設定できることが可能である。
【０１０４】
さらに、制御部２３では、ユーザの操作に対応して供給される外部設定値に基づいて、フィルタ係数を設定することができる。即ち、制御部２３は、外部設定値が表すフィルタ強度のフィルタ係数を設定することができる。この場合、ユーザの好みに応じた画質の画像をなるようなフィルタリング処理を行うことができる。
【０１０５】
なお、制御部２３は、量子化情報および外部設定値の両方を考慮したフィルタ強度のフィルタ係数を設定することができる。
【０１０６】
また、制御部２３は、例えば、外部設定値に基づいて、判定順番を設定する。
【０１０７】
ステップＳ１のステップＳ１−１乃至ステップＳ１−３の各処理が終了すると、ステップＳ２に進み、ステップＳ２−１乃至ステップＳ２−３の処理が行われる。
【０１０８】
即ち、ステップＳ２−１において、Ｖパターンエッジ判定部３１は、制御部２３から供給される閾値ａ1および閾値ａ2に基づき、注目画素がＶパターンエッジである可能性を、なし、小、大の３段階に判定し、その判定結果であるＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給する。
【０１０９】
ステップＳ２−２において、インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ1および制御部２３から供給されるアクティビティの閾値ＴＨACT1などに基づき、注目画素がインパルスエッジである可能性の有無を判定する。
【０１１０】
なお、画像の平坦部に存在するインパルスエッジが、誤って、モスキートノイズとして検出され、モスキートノイズを除去するためのフィルタリング処理が施されると、インパルスエッジが鈍り、画質が劣化する。さらに、インパルスエッジが、誤って、モスキートノイズとして検出されることと、検出されないこととが、時間方向に繰り返され、これにより、時系列のフレーム（またはフィールド）の、空間的に同一位置の画素に対して、フィルタリング処理が行われたり、または行われなかったりすることが繰り返されると、インパルスエッジ部分の画質の劣化が目立つようになる。
【０１１１】
このため、インパルスエッジ判定部３２は、インパルスエッジの有無を、後述するように、注目画素のアクティビティのみならず、必要に応じて、周囲のアクティビティをも用いて、確実に判定して、その判定結果であるインパルスエッジ判定結果を、フィルタ係数決定部２７に供給する。
【０１１２】
ステップＳ２−３において、平坦部判定部３３は、ダイナミックレンジ演算部２１から供給される注目画素のダイナミックレンジＤＲ1、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ1、並びに制御部２３から供給される閾値ＴＨDR1および閾値ＴＨACTに基づき、注目画素が平坦部であるかどうかを判定し、その判定結果である平坦部判定結果を、ノイズ判定部２５に供給する。
【０１１３】
ステップＳ２−４において、モスキートノイズ判定部３４は、制御部２３から供給される閾値ＴＨNに基づき、注目画素がモスキートノイズを有するかどうかを判定し、その判定結果であるモスキートノイズ判定結果を、モスキートノイズ判定部２５に供給する。
【０１１４】
そして、ステップＳ２のステップＳ２−１乃至ステップＳ２−４の各処理が終了すると、ステップＳ３に進む。
【０１１５】
ステップＳ３において、ノイズ判定部２５は、制御部２３から供給される判定順番に応じて、特徴判定部２４から供給される注目画素についてのＶパターンエッジ判定結果、平坦部判定結果、およびモスキートノイズ判定結果を処理し、これにより、注目画素に対してフィルタリング処理を実行するかどうかのフィルタリング処理実行の有無を判定する。さらに、ノイズ判定部２５は、その判定結果を、スムージング処理部２６に供給し、ステップＳ３からステップＳ４に進む。
【０１１６】
ここで、画素に対してフィルタリング処理を施すのは、その画素が有するノイズを除去するためである。従って、画素に対してフィルタリング処理を実行すると判定することは、その画素がノイズを有すると判定することと等価である。かかる観点からは、ノイズ判定部でのフィルタリング処理実行の有無を判定する処理は、画素がノイズを有しているかどうかのノイズ判定処理であるということできる。
【０１１７】
ステップＳ４において、スムージング処理部２６は、ノイズ判定部２５から供給される注目画素についてのフィルタリング処理実行の有無の判定結果と、その注目画素に対する隣接画素についてのフィルタリング処理実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整し、そのフィルタ強度を表すフィルタ強度情報をフィルタ係数決定部２７に供給して、ステップＳ５に進む。
【０１１８】
なお、ステップＳ４において、スムージング処理部２６は、注目画素に対する隣接画素について、フィルタリング処理実行の有無の判定結果が得られていない場合には、注目画素に対するフィルタ強度の調整を待機し、ノイズ判定部２５において隣接画素に対するフィルタリング処理実行の有無の判定結果が得られてから、注目画素についてのフィルタ強度を調整する。
【０１１９】
ステップＳ５において、フィルタ係数決定部２７は、特徴判定部２４から供給される注目画素の特徴の判定結果としてのＶパターンエッジ判定結果およびインパルスエッジ判定結果、スムージング処理部２６から供給される注目画素についてのフィルタ強度情報、並びに、制御部２３から供給されるフィルタ係数に基づき、注目画素のフィルタリング処理に用いる最終的なフィルタ係数を決定する。そして、フィルタ係数決定部２７は、そのフィルタ係数をフィルタ２８に供給し、ステップＳ６に進む。
【０１２０】
即ち、ステップＳ５において、フィルタ係数決定部２７は、インパルスエッジ判定部３２からのインパルスエッジ判定結果が、注目画素がインパルスエッジであることを表している場合、制御部２３からのフィルタ係数を、例えば、フィルタ強度が弱いＬＰＦが実現されるように補正する。この場合、平坦部に存在するインパルスエッジが損なわれるようなフィルタリング処理が行われることを防止することができる。
【０１２１】
また、フィルタ係数決定部２７は、例えば、注目画素がＶパターンエッジである可能性が小さいというＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、注目画素に対してフィルタ強度がある程度強いフィルタリング処理が施されたとしても、画質の劣化が生ずる可能性が小さいため、制御部２３からのフィルタ係数を、フィルタ強度がある程度強いフィルタを実現するフィルタ係数に補正する。
【０１２２】
さらに、フィルタ係数決定部２７は、例えば、注目画素がＶパターンエッジである可能性がないというＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、制御部２３からのフィルタ係数を、Ｖパターンエッジである可能性が小さい場合よりもフィルタ強度が強いフィルタを実現するフィルタ係数に補正する。また、フィルタ係数決定部２７は、注目画素がＶパターンエッジである可能性があるいうＶパターンエッジ判定結果がダイナミックレンジ判定部３１から供給された場合、Ｖパターンエッジである可能性が小さい場合よりもフィルタ強度が強いフィルタを実現するフィルタ係数をフィルタ部２８に供給する。
【０１２３】
ステップＳ６において、フィルタ２８は、フィルタ係数決定部２７から供給されるフィルタ係数によって構成されるＬＰＦにより、ＭＰＥＧデコード部１から供給される注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力して、処理を終了する。
【０１２４】
なお、図７の処理は、ＭＰＥＧデコード部１から供給される復号画像を構成する画素すべてに対して、各画素を注目画素として行われる。
【０１２５】
図７の処理により、Ｖパターンエッジおよびインパルスエッジが判定され、さらに、アクティビティの変化により、画像の平坦部やモスキートノイズが判定される。したがって、元の画像の画質を損なわず精度の高いノイズ除去処理を行うことができる。
【０１２６】
図８は、図２のＶパターンエッジ判定部３１が図７のステップＳ２−１で行う処理を説明するフローチャートである。
【０１２７】
ステップＳ２１において、Ｖパターンエッジ判定部３１は、注目画素の画素値と、注目画素に隣接する８つの隣接画素の画素値それぞれとの差分値を演算し、ステップＳ２２に進み、その差分値を用いて注目画素が極値を持つかどうかを判定する。
【０１２８】
即ち、例えば、図４に示した画素Ｅを注目画素とすると、Ｖパターンエッジ判定部３１は、注目画素Ｅの画素値と、その注目画素に隣接する隣接画素Ａ,Ｂ,Ｃ,Ｄ,Ｆ,Ｇ,Ｈ,Ｉの画素値それぞれとの差分値の符号を用いて、注目画素Ｅを中心とする水平方向、垂直方向、右肩下がりの斜め方向、および右肩上がりの斜め方向の４方向それぞれについて、各歩行に対して得られる２つの差分値の符号の排他的論理和が１になるかどうかを判定することにより、注目画素Ｅが極値を持つかどうかを判定する。なお、差分値の符号としては、正を０、負を１で表すこととする。
【０１２９】
例えば、水平方向については、隣接画素Ｄの画素値から注目画素Ｅの画素値を減算して得られる差分値を表す符号と、注目画素Ｅの画素値から隣接画素Ｆの画素値を減算して得られる差分値を表す符号との排他的論理和ＥＯＲ（exclusive OR）が１になる場合、即ち、式（Ｄ−Ｅの符号）ＥＯＲ（Ｅ−Ｆの符号）＝１を満たす場合、注目画素Ｅは水平方向に極値を持つ（注目画素Ｅが極小値または極大値の画素値を有する画素となっている）と判定される。
【０１３０】
一方、隣接画素Ｄの画素値から注目画素Ｅの画素値を減算して得られる差分値を表す符号と、注目画素Ｅの画素値から隣接画素Ｆの画素値を減算して得られる差分値を表す符号との排他的論理和ＥＯＲが１にならない場合、即ち、式（Ｄ−Ｅの符号）ＥＯＲ（Ｅ−Ｆの符号）＝１を満たさない場合、注目画素Ｅは水平方向に極値を持たない（注目画素Ｅが極小値または極大値の画素値を有する画素ではない）と判定される。
【０１３１】
Ｖパターンエッジ判定部３１は、水平方向と同様に、垂直方向、右肩下がりの斜め方向、右肩上がりの斜め方向それぞれについても、式（Ｂ−Ｅの符号）ＥＯＲ（Ｅ−Ｈの符号）＝１、（Ａ−Ｅの符号）ＥＯＲ（Ｅ−Ｉの符号）＝１、（Ｃ−Ｅの符号）ＥＯＲ（Ｅ−Ｇの符号）＝１をそれぞれ満たすかどうかを判定することにより、注目画素Ｅか垂直方向、右肩下がりの斜め方向、右肩上がりの斜め方向に極値を持つかどうかをそれぞれ判定する。
【０１３２】
ステップＳ２２において、注目画素が水平方向、垂直方向、右肩下がりの斜め方向、および右肩上がりの斜め方向のいずれの方向にも極値を持たないと判定された場合、ステップＳ２３に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性がないというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。
【０１３３】
一方、ステップＳ２２において、注目画素が水平方向、垂直方向、右肩下がりの斜め方向、または右肩上がりの斜め方向のうち少なくとも１方向に極値を持つと判定された場合、ステップＳ２４に進み、Ｖパターンエッジ判定部３１は、極値が存在する１以上の方向についての注目画素と隣接画素との差分値のうち最大値（の絶対値）が閾値ａ1より小さい（または以下）かどうかを判定する。
【０１３４】
ステップＳ２４において、Ｖパターンエッジ判定部３１は、差分値の最大値が閾値ａ1より小さくないと判定した場合、即ち、画素値として極値を有する注目画素と隣接画素との差分が非常に大である場合、ステップＳ２５に進み、注目画素にＶパターンエッジが存在する可能性が大きいというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。
【０１３５】
一方、ステップＳ２４において、差分値の最大値が閾値ａ1より小さいと判定された場合、ステップＳ２６に進み、Ｖパターンエッジ判定部３１は、差分値（の絶対値）の最大値が閾値ａ1より小さい閾値ａ2より小さいか（または以下）どうかを判定する。
【０１３６】
ステップＳ２６において、差分値の最大値が閾値ａ2より小さくないと判定された場合、即ち、画素値として有する注目画素と隣接画素との差分が閾値ａ1から閾値ａ1の範囲の、ある程度大きい場合、ステップＳ２７に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性が小さいというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。
【０１３７】
一方、ステップＳ２６において、差分値の最大値が閾値ａ2より小さいと判定された場合、即ち、画素値として有する注目画素と隣接画素との差分が閾値ａ1から閾値ａ1の範囲の、ある程度小さい場合、ステップＳ２８に進み、Ｖパターンエッジ判定部３１は、注目画素にＶパターンエッジが存在する可能性がないというＶパターンエッジ判定結果を、ノイズ判定部２５およびフィルタ係数決定部２７に供給して、リターンする。
【０１３８】
なお、図８の処理では、２個の閾値（閾値ａ1および閾値ａ2）に基づき、注目画素ＥがＶパターンエッジである可能性を、可能性なし、可能性小、および可能性大の３段階に区別するように採用したが、Ｖパターンエッジについての判定には、閾値ａiをＮ個設定し、そのＮ個の閾値ａi（但し、ｉ＝１・・・Ｎとする）により、注目画素がＶパターンエッジである可能性をＮ段階に判定することが可能である。
【０１３９】
また、図８では、注目画素と隣接画素との差分値（の絶対値）のうちの最大値を、閾値ａ1や閾値ａ2とに比較するようにしたが、閾値ａ1や閾値ａ2との比較は、その他、例えば、注目画素が極値をとる１以上の方向の隣接画素との差分値すべての乗算値などの、注目画素が極値をとる方向の画素値の変化を表す情報を対象に行うことができる。
【０１４０】
図９は、図２のインパルスエッジ判定部３２が図７のステップＳ２−２で行う処理を説明するフローチャートである。
【０１４１】
ステップＳ４１において、インパルスエッジ判定部３２は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ1が制御部２３から供給されるアクティビティの閾値ＴＨACT1より大きい（または以上である）かどうかを判定する。ステップＳ４１において、注目画素のアクティビティＡＣＴ1がアクティビティの閾値ＴＨACT1より大きくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ1が小さい場合、ステップＳ４４に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性がないというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。
【０１４２】
一方、ステップＳ４１において、注目画素のアクティビティＡＣＴ1が、アクティビティの閾値ＴＨACT1より大きいと判定された場合、ステップＳ４２に進み、インパルスエッジ判定部３２は、注目画素についての小ブロックに接する８つの小ブロック（以下、適宜、隣接小ブロックと称する）のアクティビティＡＣＴardそれぞれを求め、そのうちのいずれかが、制御部２３からのアクティビティの閾値ＴＨACTardより小さいかどうかを判定する。
【０１４３】
ステップＳ４２において、８つの隣接小ブロックのアクティビティＡＣＴardのいずれもが、アクティビティの閾値ＴＨACTardより小さくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ1も、その周辺のアクティビティＡＣＴardも、ある程度大きい場合、ステップＳ４４に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性がないというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。
【０１４４】
一方、ステップＳ４２において、１以上の隣接小ブロックのアクティビティＡＣＴardがアクティビティの閾値ＴＨACTardより小さいと判定された場合、即ち、注目画素のアクティビティＡＣＴ1が大きいのに、その周辺にアクティビティが小さい部分が存在す場合、ステップＳ４３に進み、インパルスエッジ判定部３２は、注目画素にインパルスエッジが存在する可能性が大きいというインパルスエッジ判定結果を、フィルタ係数決定部２７に供給して、リターンする。
【０１４５】
なお、図９の処理では、注目画素がインパルスエッジである可能性を、可能性なし、および可能性大の２段階に区別するようにしたが、例えば、閾値ＴＨACT1や閾値ＴＨACTardとして、複数の値を用いることにより、注目画素がインパルスエッジである可能性を３段階以上に判定することが可能である。
【０１４６】
図１０は、図２の平坦部判定部３３が図７のステップＳ２−３で行う処理を説明するフローチャートである。
【０１４７】
ステップＳ５１において、平坦部判定部３３は、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1が制御部２３から供給されるダイナミックレンジの閾値ＴＨDR1より小さい（または以下）かどうかを判定する。
【０１４８】
ステップＳ５１において、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1が、制御部２３から供給されるダイナミックレンジの閾値ＴＨDR1より小さくないと判定された場合、即ち、注目画素についてのダイナミックレンジＤＲ1がある程度大きい場合、ステップＳ５４に進み、平坦部判定部３３は、注目画素が平坦部の画素でないという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。
【０１４９】
一方、ステップＳ５１において、ダイナミックレンジ演算部２１から供給される注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1が、制御部２３から供給されるダイナミックレンジの閾値ＴＨDR1より小さいと判定された場合、ステップＳ５２に進み、平坦部判定部３３は、アクティビティ演算部２２から供給される注目画素のアクティビティＡＣＴ1が、制御部２３から供給されるアクティビティの閾値ＴＨACT2より小さい（または以下）かどうかを判定する。
【０１５０】
ステップＳ５２において、注目画素のアクティビティＡＣＴ1が、アクティビティの閾値ＴＨACT2より小さくないと判定された場合、即ち、注目画素のアクティビティＡＣＴ1がある程度大きい場合、ステップＳ５４に進み、平坦部判定部３３は、注目画素が平坦部の画素でないという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。
【０１５１】
一方、ステップＳ５２において、注目画素のアクティビティＡＣＴ1がアクティビティの閾値ＴＨACTより小さいと判定された場合、即ち、注目画素についてのダイナミックレンジＤＲ1が小さく、かつ、そのアクティビティＡＣＴ1も小さい場合、ステップＳ５３に進み、平坦部判定部３３は、注目画素が平坦部の画素であるという平坦部判定結果を、ノイズ判定部２５に供給して、リターンする。
【０１５２】
なお、図１０の処理では、注目画素が平坦部である可能性を、可能性なし、および可能性大の２段階に区別するようにしたが、例えば、閾値ＴＨDR1や閾値ＴＨACTとして、複数の値を用いることにより、注目画素が平坦部である可能性を３段階以上に判定することが可能である。
【０１５３】
図１１は、図２のモスキートノイズ判定部３４が図７のステップＳ２−４で行う処理を説明するフローチャートである。
【０１５４】
ここで、注目画素の周辺のダイナミックレンジに対する、注目画素のアクティビティが小さいほど、注目画素はモスキートノイズを有する画素である可能性が高い。一方、注目画素の周辺のダイナミックレンジに対する、注目画素のアクティビティが大きいほど、注目画素は、本来の画素値を有する画素である可能性が高い。そこで、モスキートノイズ判定部３４においては、注目画素の周辺のアクティビティおよびダイナミックレンジに基づいて、注目画素がモスキートノイズを有する可能性が判定される。
【０１５５】
即ち、ステップＳ６１において、モスキートノイズ判定部３４は、例えば、注目画素を中心とする３×３画素の小ブロックを構成する画素の画素値の最大値および最小値を求め、その最大値から最小値を減算することにより、注目画素についての小ブロックのダイナミックレンジＤＲ2を演算し、ステップＳ６２進む。
【０１５６】
ステップＳ６２では、モスキートノイズ判定部３４は、注目画素についての小ブロックのダイナミックレンジＤＲ2を、簡易的な注目画素周辺のアクティビティとして、その簡易的なアクティビティであるダイナミックレンジＤＲ2が、閾値ＴＨNよりも小さいかどうかを判定する。
【０１５７】
ここで、ステップＳ６２で用いられる閾値ＴＨNは、制御部２３が、図７のステップＳ１−３において、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1を基準として求めたもので、制御部２３からモスキートノイズ判定部３４に供給される。制御部２３での閾値ＴＨNの求め方については、後述する。
【０１５８】
ステップＳ６２において、注目画素についての小ブロックのダイナミックレンジＤＲ2が、制御部２３から供給される閾値ＴＨNより小さくない、即ち、注目画素についての小ブロックのダイナミックレンジＤＲ2が閾値ＴＨNと等しい、または注目画素についての小ブロックのダイナミックレンジＤＲ2が閾値ＴＨNより大きいと判定された場合、ステップＳ６４進み、モスキートノイズ判定部３４は、注目画素がモスキートノイズを有する可能性がないことを示すモスキートノイズ判定結果を、ノイズ判定部２５に供給して、リターンする。
【０１５９】
一方、ステップＳ６２において、注目画素についての小ブロックのダイナミックレンジＤＲ2が、制御部２３から供給される閾値ＴＨNよりも小さいと判定された場合、ステップＳ６３進み、モスキートノイズ判定部３４は、注目画素がモスキートノイズである可能性が高いことを示すモスキートノイズ判定結果、をノイズ判定部２５に供給して、リターンする。
【０１６０】
なお、図１１の処理では、閾値ＴＨNに基づき、注目画素Ｅがモスキートノイズを有する可能性を、可能性なし、または可能性大の２段階に区別するように採用したが，モスキートノイズについての判定には、制御部２３において閾値ＴＨNiをＮ個設定し、そのＮ個の閾値ＴＨNi（但し、ｉ＝１・・・Ｎとする）により、注目画素がモスキートノイズを有する可能性を示すモスキートノイズ判定結果をＮ段階に判定することが可能である。
【０１６１】
図１２は、図７のステップＳ１−３の処理において、制御部２３がモスキートノイズ判定部３４に供給する閾値ＴＨNの設定方法の例を説明する図である。
【０１６２】
図７のステップＳ１−３において、制御部２３は、図１２に示すように、ダイナミックレンジ演算部２１から供給される注目画素についてのダイナミックレンジＤＲ1に応じて、モスキートノイズ判定部３４で、注目画素がモスキートノイズを有するかどうかの判定にで用いられる閾値ＴＨNをダイナミックレンジＤＲ1／ｋ（図１２では、ｋは整数）に設定する。
【０１６３】
さらに、制御部２３は、図１２に示すように、ＭＰＥＧデコード部１から供給される注目画素についての量子化情報が表す量子化ステップから予測される量子化誤差の程度（例えば、大、中、および小の３段階）や、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度（例えば、弱、中、および強の３段階）にも応じて、閾値ＴＨNを設定する。
【０１６４】
即ち、制御部２３は、量子化誤差が大きい場合（量子化ステップが大きい場合）には、閾値ＴＨNを大きい値に設定し、量子化誤差が小さい場合（量子化ステップが小さい場合）には、閾値ＴＨNを小さい値に設定する。
【０１６５】
さらに、制御部２３は、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度が強い場合には、閾値ＴＨNを大きい値に設定し、ユーザの操作に応じて供給される外部設定値が表すフィルタ強度が弱い場合には、閾値ＴＨNを小さい値に設定する。
【０１６６】
図１２によれば、制御部２３は、外部設定値が表すフィルタ強度が「弱」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨNを、注目画素についてのダイナミックレンジＤＲ1の４分の１（ＴＨN＝ＤＲ1／４）に、量子化誤差が中であるときには、閾値ＴＨNをダイナミックレンジＤＲ1の８分の１（ＴＨN＝ＤＲ1／８）に、量子化誤差が小であるときには、閾値ＴＨNダイナミックレンジＤＲ1の１０分の１（ＴＨN＝ＤＲ1／１０）に、それぞれ設定する。
【０１６７】
また、外部設定値が表すフィルタ強度が「中」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨNを、注目画素についてのダイナミックレンジＤＲ1の３分の１（ＴＨN＝ＤＲ1／３）に、量子化誤差が中であるときには、閾値ＴＨNをダイナミックレンジＤＲ1の４分の１（ＴＨN＝ＤＲ1／４）に、量子化誤差が小であるときには、閾値ＴＨNダイナミックレンジＤＲ1の８分の１（ＴＨN＝ＤＲ1／８）に、それぞれ設定する。
【０１６８】
さらに、外部設定値が表すフィルタ強度が「強」である場合、注目画素についての量子化情報が表す量子化ステップが大であり、このため、量子化誤差も大であるときには、閾値ＴＨNを、注目画素についてのダイナミックレンジＤＲ1の２分の１（ＴＨN＝ＤＲ1／２）に、量子化誤差が中であるときには、閾値ＴＨNをダイナミックレンジＤＲ1の３分の１（ＴＨN＝ＤＲ1／３）に、量子化誤差が小であるときには、閾値ＴＨNダイナミックレンジＤＲ1の４分の１（ＴＨN＝ＤＲ1／４）に、それぞれ設定する。
【０１６９】
例えば、量子化情報が表す量子化ステップが小さく、符号化データのビットレートが高い場合には、制御部２３においては、フィルタ強度が弱いフィルタを実現するフィルタ係数を設定することができる。一方、量子化情報が表す量子化ステップが大きく、符号化データのビットレートが低い場合には、フィルタ強度が強いフィルタを実現するフィルタ係数を設定することができる。
【０１７０】
なお、注目画素に対する閾値ＴＨNは、その他、例えば，注目画素についてのダイナミックレンジＤＲ1が所定の値より大きいかどうかを判定し、その判定結果に応じて設定することができる。
【０１７１】
即ち、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1が値αより大きい場合には、閾値ＴＨNを大きい値である、例えば、ＤＲ1／２に設定し、注目画素についてのＤＣＴブロックのダイナミックレンジＤＲ1が所定の閾αより大きない場合には、閾値ＴＨNを小さい値である、例えば、ＤＲ1／４に設定することが可能である。
【０１７２】
図１３は、図２のノイズ判定部２５が図７のステップＳ３で行う処理を説明するフローチャートである。
【０１７３】
ノイズ判定部２５では、上述したように、注目画素に対するフィルタリング処理の実行の有無、即ち、注目画素に対して、フィルタリング処理を施すか否かが判定される。
【０１７４】
ここで、Ｖパターンエッジとなっている画素、即ち、エッジの先端部になっている画素にフィルタリング処理が施された場合、擬似エッジが発生し、その結果、画質の劣化が生じてしまう。一方、エッジが存在しない平坦部を構成する画素に対してフィルタリング処理を施しても、復号画像本来の情報が失われず、平坦部には、画質の劣化が生じない。さらに、平坦部にノイズが存在する場合には、そのノイズが目立つため、平坦部には、フィルタリング処理を積極的に施すことが望ましい。また、画素がモスキートノイズを有する場合には、そのモスキートノイズをフィルタリング処理によって除去する必要がある。
【０１７５】
そこで、ノイズ判定部２５は、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、次のように処理して、注目画素に対してフィルタリング処理を施すかどうかを判定する。
【０１７６】
ステップＳ７１において、ノイズ判定部２５は、平坦部判定部３３から供給された注目画素についての平坦部判定結果に基づき、注目画素が平坦部の画素であるかどうかを判定する。ステップＳ７１において、注目画素が平坦部の画素であると判定された場合、ステップＳ７３に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。
【０１７７】
一方、ステップＳ７１において、注目画素が平坦部の画素でないと判定された場合には、ステップＳ７２に進み、ノイズ判定部２５は、Ｖパターンエッジ判定部３１から供給された注目画素についてのＶパターンエッジ判定結果に基づき、注目画素がＶパターンエッジを有する画素（Ｖパターンエッジの先端部の画素）であるかどうかを判定する。
【０１７８】
ステップＳ７２において、注目画素がＶパターンエッジを有する画素であると判定された場合、即ち、注目画素がＶパターンエッジである可能性が大きい、またはＶパターンエッジである可能性が小さいというＶパターンエッジ判定結果がＶパターンエッジ判定部３１からノイズ判定部２５に供給された場合、ステップＳ７５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。
【０１７９】
一方、ステップＳ７２において、注目画素がＶパターンエッジを有する画素でないと判定された場合には、ステップＳ７４に進み、ノイズ判定部２５は、モスキートノイズ判定部３４から供給された注目画素についてのモスキートノイズ判定結果に基づき、注目画素がモスキートノイズを有する画素であるかどうかを判定する。
【０１８０】
ステップＳ７４において、注目画素がモスキートノイズを有すると判定された場合、ステップＳ７３に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。
【０１８１】
一方、ステップＳ７４において、注目画素がモスキートノイズを有しないと判定された場合、ステップＳ７５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。
【０１８２】
なお、ノイズ判定部２５では、上述した処理順に限らず、制御部２３から供給された判定順番に応じたその他の処理順で処理を行うことができる。
【０１８３】
また、図１３では、注目画素にフィルタリング処理を施す、または注目画素にフィルタリング処理を施さないという２通りの判定を行うようにしたが、その他、例えば、注目画素に対するフィルタリング処理におけるフィルタ強度を強、中、弱にするといった３以上の判定を行うようにすることも可能である。この場合、２通りの判定を行う場合に比較して、より適切にノイズ除去を行うことができる。
【０１８４】
即ち、図１３では、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、平坦部判定結果、Ｖパターンエッジ判定結果、モスキートノイズ判定結果の順で処理することとしたが、この処理順は、閾値設定部２３からノイズ判定部２５に供給される判定順番に基づいて決定される。従って、ノイズ判定部２５においては、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、図１３における場合と異なる順序で処理することもできる。
【０１８５】
即ち、ノイズ判定部２５においては、Ｖパターンエッジ判定結果、平坦部判定結果、モスキートノイズ判定結果を、閾値設定部２３から供給される判定順番にしたがい、例えば、まず、モスキートノイズ判定結果を処理し、その処理結果に応じて、Ｖパターンエッジ判定結果または平坦部判定結果を処理することができる。
【０１８６】
図１４は、図１３と異なる処理順により図２のノイズ判定部２５が図７のステップＳ３で行う処理を説明するフローチャートである。
【０１８７】
ステップＳ８１において、ノイズ判定部２５は、モスキートノイズ判定部３４から供給された注目画素についてのモスキートノイズ判定結果に基づき、注目画素がモスキートノイズを有するかどうかを判定する。ステップＳ８１において、注目画素がモスキートノイズを有しないと判定された場合には、ステップＳ８３に進み、ノイズ判定部２５は、平坦部判定部３３から供給された注目画素についての平坦部判定結果に基づき、注目画素が平坦部の画素であるかどうかを判定する。
【０１８８】
ステップＳ８３において、注目画素が平坦部の画素であると判定された場合、ステップＳ８６に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。
【０１８９】
一方、ステップＳ８３において、注目画素が平坦部の画素でないと判定された場合、ステップＳ８５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。
【０１９０】
一方、ステップＳ８１において、注目画素がモスキートノイズを有すると判定された場合には、ステップＳ８２に進み、ノイズ判定部２５は、Ｖパターンエッジ判定部３１から供給された注目画素についてのＶパターンエッジ判定結果に基づき、注目画素がＶパターンエッジの画素（先端部分の画素）であるかどうかを判定する。ステップＳ８２において、注目画素がＶパターンエッジの画素であると判定された場合、ステップＳ８５に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施さないという信号をスムージング処理部２６に供給して、リターンする。
【０１９１】
一方、ステップＳ８２において、注目画素がＶパターンエッジの画素でないと判定された場合、ステップＳ８４に進み、ノイズ判定部２５は、注目画素にフィルタリング処理を施すという信号をスムージング処理部２６に供給して、リターンする。
【０１９２】
なお、モスキートノイズ判定部２５におけるＶパターンエッジ判定部３１、平坦部判定部３３、モスキートノイズ判定部３４の判定結果の処理順は、図１３または図１４の処理順に限定されず、その他の処理順とすることが可能である。
【０１９３】
図１５は、図２のスムージング処理部２６の処理（図７のステップＳ４）を説明するフローチャートである。なお、図１５においては、図４の注目画素Ｅを中心として、水平方向ついて行われるスムージング処理部２６の処理を説明する。
【０１９４】
ステップＳ９１において、スムージング処理部２６は、ノイズ判定部２５から供給された注目画素Ｅに対するフィルタリング処理の実行の有無を示した信号に基づき、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素であるかどうかを判定する。ステップＳ９１において、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素でないと判定された場合、ステップＳ９３に進み、スムージング処理部２６は、注目画素Ｅがフィルタリング処理を施すフィルタ対象画素でないことを表す情報、即ち、注目画素Ｅのフィルタ強度を０（または最も小さい値）に設定するというフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。
【０１９５】
一方、ステップＳ９１において、注目画素Ｅがフィルタ対象画素と判定された場合、ステップＳ９２に進み、スムージング処理部２６は、注目画素Ｅの水平方向に隣接する２つの画素、即ち、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆの両方が、フィルタ対象画素かどうかを判定する。
【０１９６】
ステップＳ９２において、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆのうちの、少なくとも一方の隣接画素がフィルタ対象画素でないと判定された場合、即ち、注目画素Ｅが、フィルタリング処理の対象となる領域と、対象となっていない領域との境界にある、対象となる領域側の画素である場合、ステップＳ９４に進み、スムージング処理部２６は、注目画素Ｅをフィルタリング処理するときのフィルタ強度を制御部２３から供給されたフィルタ係数で実現されるフィルタリング処理のフィルタ強度より弱くするフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。
【０１９７】
一方、ステップＳ９２において、注目画素Ｅの左側の隣接画素Ｄと右側の隣接画素Ｆの両方がフィルタ対象画素であると判定された場合、ステップＳ９５に進み、スムージング処理部２６は、注目画素Ｅをフィルタリング処理するときのフィルタ強度を制御部２３から供給されたフィルタ係数で実現されるフィルタリング処理のフィルタ強度とするというフィルタ強度情報を、フィルタ係数決定部２７に供給して、リターンする。
【０１９８】
なお、図１５の処理は、図４の注目画素Ｅを中心として、垂直方向についても行われる。また、図１５の処理は、注目画素について、時間方向にも行うことができる。
【０１９９】
そして、フィルタ係数決定部２７は、注目画素について、図７のステップＳ１−３の処理により制御部２３から供給されるフィルタ係数、図８の処理によりＶパターンエッジ判定部３１から供給されるＶパターンエッジ判定結果、図９の処理によりインパルスエッジ判定部３２から供給されるインパルスエッジ判定結果、および図１５の処理によりスムージング処理部２６から供給されるフィルタ強度情報に基づき、図７のステップＳ５で説明したように、最終的なフィルタ係数を決定し、フィルタ部２８に供給する。
【０２００】
フィルタ部２８は、フィルタ係数決定部２７から供給される最終的なフィルタ係数に基づき、注目画素にフィルタリング処理を施し、その結果得られる注目画素の画素値を出力する。
【０２０１】
以上のように、ノイズ判定部２５は、特徴判定部２４が判定する画素の１以上の特徴に基づき、その画素に対するフィルタリング処理の実行の有無を判定するので、例えば、ノイズを有する画素にのみフィルタリング処理を施すことができる。これにより、フィルタリング処理を施す場合と比較して、ノイズに対して十分に効果的にフィルタリング処理を施し、高画質の画像となることができる。
【０２０２】
また、スムージング処理部２６は、注目画素に対するフィルタリング処理の実行の有無の判定結果と、注目画素に隣接する隣接画素に対するフィルタリング処理の実行の有無の判定結果とに基づき、注目画素に対するフィルタリング処理のフィルタ強度を調整するので、空間方向や時間方向に隣接した画素間において、一方の画素に強いフィルタ強度のフィルタリング処理が施されることにより、画素値が不自然に不連続になることを防止して、画質のよい画像を得ることができる。
【０２０３】
また、特徴判定部２４において、注目画素の複数の特徴を判定し、ノイズ判定部２５において、その複数の判定結果に基づいて、注目画素に対するフィルタリング処理の実行の有無を判定するようにしたので、例えば、ノイズを有する画素を正確に判定して、そのような画素に対してのみ、フィルタリング処理を実行することができる。
【０２０４】
制御部２３は、量子化情報に基づき、フィルタ係数や、画素の特徴を判定するために用いる閾値などを設定するので、その量子化情報により、モスキートノイズが多く生ずることが予測される場合には、フィルタ強度の強いフィルタリング処理を行うことが可能となる。一方、モスキートノイズが少ないことが予測される場合には、フィルタ強度の弱いフィルタリング処理を行うことが可能となる。また、量子化情報その他の符号化データに含まれる画像の復号に用いられる情報によって、符号化データの圧縮率を判定することができる場合には、制御部２３において、その判定結果に応じて、フィルタ係数や特徴判定部２４で用いられる閾値などを設定することにより、圧縮率が高く、画質が低い画像に対しては、効果的に十分なノイズ除去を行う強いフィルタ強度のフィルタリング処理を行い、圧縮率の低い高画質の画像に対しては、弱いフィルタ強度のフィルタリング処理を行うことができる。
【０２０５】
また、フィルタ係数決定部２７は、特徴判定部２４により判定された画素の１以上の特徴に応じ、画素に対するフィルタリング処理のフィルタ係数を最終的に決定するので、画像における、例えば、Ｖパターンエッジやインパルスエッジなどをフィルタリング処理してエッジがボケてしまうということを防止することができる。
【０２０６】
さらに、制御部２３やフィルタ係数決定部２７では、ユーザからの外部設定値に応じて、フィルタ係数が設定（決定）されるので、そのようなフィルタ係数によるっフィルタリング処理が行われることにより、ユーザの好みの画質の画像を得ることができる。
【０２０７】
上述した一連の処理は、専用のハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０２０８】
上述した一連の処理をソフトウェアで実行する場合、図１のノイズ除去部２は、例えば、図１６に示されるようなコンピュータをベースとして構成することが可能である。
【０２０９】
即ち、図１６は、コンピュータのベースとして構成したノイズ除去部２の構成例を示している。
【０２１０】
図１６において、ＣＰＵ（Central Processing Unit）４１は、ＲＯＭ（Read Only Memory）４２に記憶されているプログラム、または記憶部４８からＲＡＭ（Random Access Memory）４３にロードされたプログラムに従って各種の処理を実行する。
【０２１１】
ＲＡＭ４３にはまた、ＣＰＵ４１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２１２】
ＣＰＵ４１、ＣＰＵ４２、およびＲＡＭ４３は、バス４４を介して相互に接続されている。このバス４４にはまた、入出力インタフェース４５も接続されている。
【０２１３】
入出力インタフェース４５には、キーボード、マウスなどよりなる入力部４６、ディスプレイなどよりなる出力部４７、ハードディスクなどより構成される記憶部４８、および通信部４９が接続されている。
【０２１４】
入出力インタフェース４５にはまた、必要に応じてドライブ５０が接続され、磁気ディスク５１、光ディスク５２、光磁気ディスク５３、或いは半導体メモリ５４が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４８にインストールされる。
【０２１５】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、図１６のコンピュータに、プログラム格納媒体からインストールされる。
【０２１６】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム格納媒体は、図１６に示すように、磁気ディスク５１（フロッピディスクを含む）、光ディスク５２（CD-ROM(Compact Disk-Read Only Memory)、ＤＶＤ(Digital Versatile Disk)を含む）、光磁気ディスク５３（ＭＤ（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリ５４などよりなるパッケージメディア、または、プログラムが一時的もしくは永続的に格納されるＣＰＵ１５２や、記憶部４８を構成するハードディスクなどにより構成される。プログラム格納媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２１７】
ＣＰＵ４１は、記憶部４８にインストールされているプログラムを実行することにより、ノイズ除去部２が行う処理を実行する。
【０２１８】
なお、本明細書において、プログラム格納媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２１９】
なお、図２のノイズ除去部２は、エンコードされた後にデコードされた復号画像に限らず、エンコードされていない画像を対象として処理を行うことも可能である。
【０２２０】
また、図２のノイズ除去部２は、ＭＰＥＧエンコードにより符号化された信号に限らず、その他の符号化方法によりエンコードされた画像をデコードした復号画像を対象として処理を行うことも可能である。
【０２２１】
さらに、ノイズ除去部２では、輝度信号と色信号の両方、またはいずれか一方を処理対象とすることができる。
【０２２２】
また、本実施の形態では、制御部２３において、量子化情報に応じて、フィルタ係数や、特徴判定部２４で用いる閾値などを設定するようにしたが、符号化データに含まれるその他の情報、即ち、動きベクトルやピクチャタイプなどに応じて、フィルタ係数や閾値などを設定することが可能となる。
【０２２３】
さらに、本実施の形態では、フィルタ２８におけるタップ数や、タップの構成（構造）
については、本願に言及しなかったが、これらは、特に限定されるものではない。即ち、フィルタ２８におけるタップ数としては、任意の値を採用することができ、タップも、空間方向と時間方向の一方または両方に設けることができる。また、フィルタ２８におけるタップ数やタップの構成は、制御部２３やフィルタ係数決定部２７において、量子化情報、外部設定値、特徴判定部２４における判定結果に応じて設定（決定）することも可能である。
【０２２４】
また、本発明は、空間方向について処理を施したが、時間方向についても同様の処理を行うことができる。
【図面の簡単な説明】
【０２２５】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】ノイズ除去部２の構成例を示すブロック図である。
【図３】ダイナミックレンジを説明する図である。
【図４】ブロックを説明する図である。
【図５】Ｖパターンエッジを説明する図である。
【図６】インパルスエッジを説明する図である。
【図７】図２のノイズ除去部２の動作を説明するフローチャートである。
【図８】図２のＶパターンエッジ判定部３１の処理を説明するフローチャートである。
【図９】図２のインパルスエッジ判定部３２の処理を説明するフローチャートである。
【図１０】図２の平坦部判定部３３の処理を説明するフローチャートである。
【図１１】図２のモスキートノイズ判定部３４の処理を説明するフローチャートである。
【図１２】閾値ＴＨNの設定方法の例を説明する図である。
【図１３】図２のノイズ判定部２５の処理を説明するフローチャートである。
【図１４】図２のノイズ判定部２５の処理を説明するフローチャートである。
【図１５】図２のスムージング処理部２６の処理を説明するフローチャートである。
【図１６】ノイズ除去部２を実現するコンピュータのハードウェア構成例を示すブロック図である。
【符号の説明】
【０２２６】
１  ＭＰＥＧデコード部，  ２  ノイズ除去部，  １１  可変長復号部，  １２  逆量子化部，  １３  逆ＤＣＴ変換部，  １４  逆ブロック化部，  １５  動き補償実行部，  ２１  ダイナミックレンジ演算部，  ２２  アクティビティ演算部，  ２３  閾値制御部，  ２４  特徴判定部，  ２５  ノイズ判定部，  ２６  スムージング処理部，  ２７  フィルタ係数決定部，  ２８  フィルタ，  ３１  Ｖパターンエッジ判定部，  ３２  インパルスエッジ判定部，  ３３  平坦部判定部，  ３４  モスキートノイズ判定部，  ４１  ＣＰＵ，  ４２  ＲＯＭ，  ４３  ＲＡＭ，  ４４  バス，  ４５  入出力インタフェース，  ４６  入力部，  ４７  出力部，  ４８  記憶部，  ４９  通信部，  ５０  ドライブ，  ５１  磁気ディスク，  ５２  光ディスク，  ５３  光磁気ディスク，  ５４  半導体メモリ
【図１】
2005151385.tif 000003
【図２】
2005151385.tif 000004
【図３】
2005151385.tif 000005
【図４】
2005151385.tif 000006
【図５】
2005151385.tif 000007
【図６】
2005151385.tif 000008
【図７】
2005151385.tif 000009
【図８】
2005151385.tif 000010
【図９】
2005151385.tif 000011
【図１０】
2005151385.tif 000012
【図１１】
2005151385.tif 000013
【図１２】
2005151385.tif 000014
【図１３】
2005151385.tif 000015
【図１４】
2005151385.tif 000016
【図１５】
2005151385.tif 000017
【図１６】
2005151385.tif 000018