(57)【要約】【課題】比較的少ない演算量で、原画像に重畳しているノイズを有効に低減できる新規なデブロッキングフィルタを提供する。【解決手段】  原画像に基づいて縮小画像を出力し、この縮小画像に基づいて画素の補間を行い低周波画像を出力する。つぎに、原画像と、低周波画像生成部によって生成された低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する。そして、第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、このノイズ低減処理の出力値によって構成された第２の差分画像を生成する。さらに、この低周波画像と第２の差分画像との加算により、処理画像を出力する。【選択図】図１
2008123349.tif 000002
【特許請求の範囲】
【請求項１】
原画像のノイズを低減するための画像ノイズ低減システムにおいて、
前記原画像の低周波画像を生成する低周波画像生成部と、
前記原画像と、前記低周波画像生成部によって生成された前記低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する減算部と、
前記第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、当該ノイズ低減処理の出力値によって構成された第２の差分画像を生成するノイズ低減部と、
前記低周波画像生成部によって生成された前記低周波画像と、前記ノイズ低減部によって生成された前記第２の差分画像とを足し合わせることで、前記原画像のノイズを低減した処理画像を生成する加算部とを有し、
前記ノイズ低減処理は、
前記入力値が所定のしきい値以下の場合、前記出力値を略０に低減させ、
前記入力値が前記所定のしきい値よりも大きい場合、前記入力値の増加にしたがって前記出力値を増加させることを特徴とする画像ノイズ低減システム。
【請求項２】
原画像のノイズを低減するための画像ノイズ低減システムにおいて、
前記原画像の低周波画像を生成する低周波画像生成部と、
前記原画像と、前記低周波画像生成部によって生成された前記低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する減算部と、
前記第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、当該ノイズ低減処理の出力値によって構成された第２の差分画像を生成するノイズ低減部と、
前記低周波画像生成部によって生成された前記低周波画像と、前記ノイズ低減部によって生成された前記第２の差分画像とを足し合わせることで、前記原画像のノイズを低減した処理画像を生成する加算部とを有し、
前記ノイズ低減処理において、前記入力値の変化に対する前記出力値の変化として規定される変化量は、
前記入力値が所定のしきい値よりも小さい領域での前記変化量Ａ１が１＞Ａ１≧０の関係を満たし、
前記入力値が所定のしきい値よりも大きい領域での前記変化量Ａ２が１≧Ａ２＞Ａ１の関係を満たし、
前記入力値が所定のしきい値近傍の領域での前記変化量Ａ３がＡ３＞Ａ２の関係を満たすことを特徴とする画像ノイズ低減システム。
【請求項３】
前記低周波画像生成部は、
前記原画像を複数の画素領域に分割し、前記画素領域毎の画素代表値を算出することによって、前記画素代表値の集合としての縮小画像を生成する縮小処理部と、
前記縮小画像に補間処理を施し、前記縮小画像を拡大することによって、前記低周波画像を生成する補間処理部と
を有することを特徴とする請求項１または２に記載された画像ノイズ低減システム。
【請求項４】
前記縮小処理部は、前記画素代表値として、前記画素領域内に存在する複数の画素に関する画素平均値を用いることを特徴とする請求項３に記載された画像ノイズ低減システム。
【請求項５】
前記補間処理部は、前記補間処理として、交流成分予測を用いることを特徴とする請求項３に記載された画像ノイズ低減システム。
【請求項６】
前記低周波画像生成部は、前記原画像にローパスフィルタ処理を施すことによって、前記低周波画像を生成することを特徴とする請求項１または２に記載された画像ノイズ低減システム。
【請求項７】
前記第２の差分画像をエッジ情報として用い、前記処理画像にローパスフィルタ処理を施すフィルタ部をさらに有することを特徴とする請求項１から６のいずれかに記載された画像ノイズ低減システム。
【請求項８】
前記処理画像にローパスフィルタ処理を施した出力画像を、前記画像ノイズ低減システムの最終的な出力画像として出力する否かを判定する判定部をさらに有し、
前記縮小処理部は、
前記原画像を（２ｋ）×（２ｋ）（ｋは自然数）の画素領域に分割し、各画素領域の第１の画素代表値を算出することで第１の縮小画像を生成するとともに、前記原画像を（２ｋ-1）×（２ｋ-1）の画素領域に分割し、各画素領域の第２の画素代表値を算出することで第２の縮小画像を生成し、
前記補間処理部は、
前記第１の縮小画像の各画素領域の前記第１の画素代表値に補間処理を施すことで、（２ｋ-1）×（２ｋ-1）の画素領域に分割し、各画素領域に第３の画素代表値が算出された前記低周波画像を生成し、
前記減算部は、
前記第２の縮小画像の各画素領域の前記第２の画素代表値から、前記低周波画像の各画素領域の前記第３の画素代表値を減算することによって、前記第１の差分画像として出力し、
前記判定部は、
前記出力画像が前記原画像と同じ画像サイズである場合に、前記最終的な出力画像として出力するとともに、前記出力画像が前記原画像と同じ画像サイズでない場合、前記出力画像を前記第１の縮小画像としてフィードバックすることを特徴とする請求項７に記載された画像ノイズ低減システム。
【請求項９】
原画像のノイズを低減するための画像ノイズ低減方法において、
前記原画像の低周波画像を生成する第１のステップと、
前記原画像と、前記低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する第２のステップと、
前記第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、当該ノイズ低減処理の出力値によって構成された第２の差分画像を生成する第３のステップと、
前記低周波画像と、前記第２の差分画像とを足し合わせることで、前記原画像のノイズを低減した処理画像を生成する第４のステップとを有し、
前記第３のステップの前記ノイズ低減処理は、
前記入力値が所定のしきい値以下の場合、前記出力値を略０に低減させ、
前記入力値が前記所定のしきい値よりも大きい場合、前記入力値の増加にしたがって前記出力値を増加させることを特徴とする画像ノイズ低減方法。
【請求項１０】
原画像のノイズを低減するための画像ノイズ低減方法において、
前記原画像の低周波画像を生成する第１のステップと、
前記原画像と、前記低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する第２のステップと、
前記第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、当該ノイズ低減処理の出力値によって構成された第２の差分画像を生成する第３のステップと、
前記低周波画像と、前記第２の差分画像とを足し合わせることで、前記原画像のノイズを低減した処理画像を生成する第４のステップとを有し、
前記第３のステップの前記ノイズ低減処理において、前記入力値の変化に対する前記出力値の変化として規定される変化量は、
前記入力値が所定のしきい値よりも小さい領域での前記変化量Ａ１が１＞Ａ１≧０の関係を満たし、
前記入力値が所定のしきい値よりも大きい領域での前記変化量Ａ２が１≧Ａ２＞Ａ１の関係を満たし、
前記入力値が所定のしきい値近傍の領域での前記変化量Ａ３がＡ３＞Ａ２の関係を満たすことを特徴とする画像ノイズ低減方法。
【請求項１１】
前記第１のステップは、
前記原画像を複数の画素領域に分割し、前記画素領域毎の画素代表値を算出することによって、前記画素代表値の集合としての縮小画像を生成するステップと、
前記縮小画像に補間処理を施し、前記縮小画像を拡大することによって、前記低周波画像を生成するステップと
を有することを特徴とする請求項９または１０に記載された画像ノイズ低減方法。
【請求項１２】
前記画素代表値は、前記画素領域内に存在する複数の画素に関する画素平均値であることを特徴とする請求項１１に記載された画像ノイズ低減方法。
【請求項１３】
前記補間処理は、交流成分予測であることを特徴とする請求項１１に記載された画像ノイズ低減方法。
【請求項１４】
前記第１のステップは、前記原画像にローパスフィルタ処理を施すことによって、前記低周波画像を生成するステップであることを特徴とする請求項９または１０に記載された画像ノイズ低減方法。
【請求項１５】
前記第２の差分画像をエッジ情報として用い、前記処理画像にローパスフィルタ処理を施す第５のステップをさらに有することを特徴とする請求項９から１４のいずれかに記載された画像ノイズ低減方法。
【請求項１６】
前記処理画像にローパスフィルタ処理を施した出力画像を、前記画像ノイズ低減方法の最終的な出力画像として出力する否かを判定する第５のステップをさらに有し、
前記第１のステップは、
前記原画像を（２ｋ）×（２ｋ）（ｋは自然数）の画素領域に分割して各画素領域の第１の画素代表値を算出することで第１の縮小画像を生成し、かつ、前記原画像を（２ｋ-1）×（２ｋ-1）の画素領域に分割して各画素領域の第２の画素代表値を算出することで第２の縮小画像を生成するとともに、前記第１の縮小画像の各画素領域の前記第１の画素代表値に補間処理を施すことで、（２ｋ-1）×（２ｋ-1）の画素領域に分割し、各画素領域に第３の画素代表値が算出された前記低周波画像を生成し、
前記第２のステップは、
前記第２の縮小画像の各画素領域の前記第２の画素代表値から、これと位置的に対応する前記低周波画像の各画素領域の前記第３の画素代表値を減算することによって、前記第１の差分画像として出力し、
前記第５のステップは、
前記出力画像が前記原画像と同じ画像サイズである場合に、前記最終的な出力画像として出力し、前記出力画像が前記原画像と同じ画像サイズでない場合、前記出力画像を前記第１の縮小画像としてフィードバックすることを特徴とする請求項１５に記載された画像ノイズ低減方法。
【請求項１７】
請求項９から１６のいずれかに記載された画像ノイズ低減方法をコンピュータに実行させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像ノイズ低減システム、画像処理方法およびコンピュータ・プログラムに係り、特に、デブロッキングフィルタに関する。
【背景技術】
【０００２】
画像に重畳したノイズを低減するための処理の一つとして、エッジ情報（輪郭情報）を用いたローパスフィルタ（以下、「ＬＰＦ」という）処理が知られている。このフィルタ処理で用いられるエッジ情報の検出精度が低いと、本来ＬＰＦ処理をするべきでない画素に対してもＬＰＦ処理が施されてしまい、良好な処理結果が得られない。一方、エッジ情報の検出精度を高くすると、良好な処理結果を得ることが可能になる反面、処理に要する演算量が増大して、処理時間が長くなったり、回路規模の大型化を招くといった不都合が生じる。
【０００３】
また、従来より、デブロッキングフィルタと呼ばれるフィルタも知られている。デブロッキングフィルタとは、画像の符号化字に生じるブロックの境界の歪みを減少させるためのフィルタである．ＭＰＥＧ−４規格に採用された動画圧縮技術であるＨ．２６４では、このデブロッキングフィルタがループ内フィルタとして符号化ループに組み込まれている。このフィルタを用いるメリットは、ブロックノイズを除去した画像を参照画像として用いることができることである。参照画像中のブロックノイズを除去することで、動き補償予測による予測誤差からノイズの影響を除くことができるので、符号化効率の向上を図ることができる。
【０００４】
なお、画像のノイズ低減処理に関するものではないが、特許文献１には、オーバーシュートやアンダーシュートを抑制し、原画像の微細構造部分（高周波成分や細部構造）を強調する画像処理装置が開示されている。この画像処理装置は、低周波画像作成部と、差分部と、足し込み部とを有する。低周波画像作成部は、原画像の低周波画像を作成する。差分部は、低周波画像を原画像から差し引いて差分画像を作成する。足し込み部は、所定のフィルタ関数を用いて、差分画像の濃度値の絶対値に応じた足し込みを原画像に施す。これによって、原画像の微細構造部分が強調される。
【０００５】
また、画像のノイズ低減処理ではなく画像圧縮に関するものであるが、特許文献２には、交流成分予測について開示されている。
【０００６】
【特許文献１】特開２０００−２９３６８３号公報
【特許文献２】特開２００４−２８９２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
画像のノイズ低減処理としては、上述したＬＰＦ処理以外にも、ウェーブレット変換を用いた処理等も知られている。しかしながら、単純な基底を用いた場合、フィルタの交流成分に低周波成分が含まれているので、高周波成分ノイズであるブロックノイズを有効に低減することは困難である。また、複雑な基底を用いた場合、内積演算に要する時間が長くなったり、回路規模の大型化を招くといった不都合がある。
【０００８】
本発明は、かかる事情に鑑みてなされたものであり、その目的は、比較的少ない演算量で、原画像に重畳しているノイズを有効に低減できる新規なデブロッキングフィルタを提供することである。
【課題を解決するための手段】
【０００９】
かかる課題を解決するために、本発明の第１の形態として、原画像のノイズを低減するための画像ノイズ低減システムを提供する。このシステムは、低周波画像生成部と、減算部と、ノイズ低減部と、加算部とを有する。低周波画像生成部は、原画像の低周波画像を生成する。減算部は、原画像と、低周波画像生成部によって生成された低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する。ノイズ低減部は、第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、当該ノイズ低減処理の出力値によって構成された第２の差分画像を生成する。加算部は、低周波画像生成部によって生成された低周波画像と、ノイズ低減部によって生成された第２の差分画像とを足し合わせることで、原画像のノイズを低減した処理画像を生成する。ここで、ノイズ低減部が行うノイズ低減処理は、入力値が所定のしきい値以下の場合、出力値を略０に低減させ、入力値が所定のしきい値よりも大きい場合、入力値の増加にしたがって出力値を増加させる。また、これに代えて、ノイズ低減部の行うノイズ低減処理において、入力値の変化に対する出力値の変化として規定される変化量は、入力値が所定のしきい値よりも小さい領域での変化量Ａ１が１＞Ａ１≧０の関係を満たし、入力値が所定のしきい値よりも大きい領域での変化量Ａ２が１≧Ａ２＞Ａ１の関係を満たし、入力値が所定のしきい値近傍の領域での変化量Ａ３がＡ３＞Ａ２の関係を満たす。
【００１０】
一方、本発明の第２の形態として、原画像のノイズを低減するための画像ノイズ低減方法を提供する。この方法は、原画像の低周波画像を生成する第１のステップと、原画像と、低周波画像との差分を求めることで、高周波成分によって構成された第１の差分画像を生成する第２のステップと、第１の差分画像を構成する画素値を入力値としたノイズ低減処理を行い、このノイズ低減処理の出力値によって構成された第２の差分画像を生成する第３のステップと、低周波画像と、第２の差分画像とを足し合わせることで、原画像のノイズを低減した処理画像を生成する第４のステップとを有する。ここで、第３のステップのノイズ低減処理は、入力値が所定のしきい値以下の場合、出力値を略０に低減させ、入力値が所定のしきい値よりも大きい場合、入力値の増加にしたがって出力値を増加させる。また、これに代えて、第３のステップのノイズ低減処理において、入力値の変化に対する出力値の変化として規定される変化量は、入力値が所定のしきい値よりも小さい領域での変化量Ａ１が１＞Ａ１≧０の関係を満たし、入力値が所定のしきい値よりも大きい領域での変化量Ａ２が１≧Ａ２＞Ａ１の関係を満たし、入力値が所定のしきい値近傍の領域での変化量Ａ３がＡ３＞Ａ２の関係を満たす。
【００１１】
ここで、本発明において、原画像を複数の画素領域に分割し、画素領域毎の画素代表値を算出することによって、画素代表値の集合としての縮小画像を生成するとともに、この縮小画像に補間処理を施し、縮小画像を拡大することによって、低周波画像を生成してもよい。この場合、画素代表値として、画素領域内に存在する複数の画素に関する画素平均値を用いてもよい。また、補間処理として、交流成分予測を用いてもよい。
【００１２】
また、本発明において、低周波画像の生成は、原画像にローパスフィルタ処理を施すことによって行ってもよい。
【００１３】
また、本発明において、第２の差分画像をエッジ情報として用い、処理画像にローパスフィルタ処理を施してもよい。
【００１４】
さらに、本発明において、処理画像にローパスフィルタ処理を施した出力画像を、画像ノイズ低減システムの最終的な出力画像として出力する否かを判定してもよい。このとき、縮小処理部は、原画像を（２ｋ）×（２ｋ）（ｋは自然数）の画素領域に分割して各画素領域の第１の画素代表値を算出することで第１の縮小画像を生成する。また、原画像を（２ｋ-1）×（２ｋ-1）の画素領域に分割して各画素領域の第２の画素代表値を算出することで第２の縮小画像を生成する。補間処理部は、第１の縮小画像の各画素領域の第１の画素代表値に補間処理を施すことで、（２ｋ-1）×（２ｋ-1）の画素領域に分割し、各画素領域に第３の画素代表値が算出された低周波画像を生成する。さらに、減算部は、２の縮小画像の各画素領域の第２の画素代表値から、低周波画像の各画素領域の第３の画素代表値を減算することによって、第１の差分画像として出力する。そして、判定部は、出力画像が原画像と同じ画像サイズである場合に、最終的な出力画像として出力するとともに、出力画像が原画像と同じ画像サイズでない場合、出力画像を第１の縮小画像としてフィードバックする。
【００１５】
さらに、本発明の第３の形態として、上述したノイズ低減方法をコンピュータに実行させるコンピュータ・プログラムを提供する。
【発明の効果】
【００１６】
原画像には、低周波成分と高周波成分とが含まれている。原画像と低周波画像との差分をとることで、原画像の低周波成分が取り除かれ、原画像の高周波成分が第１の差分画像として抽出される。この第１の差分画像には、エッジに起因した高周波成分と、ノイズに起因した高周波成分とが含まれている。第１の差分画像に対してノイズ低減処理を施すことで、ノイズの高周波成分が取り除かれ、エッジの高周波成分が第２の差分画像として抽出される。低周波画像と第２の差分画像とを加算することで、低周波成分と、エッジの高周波成分とが足し合わされ、結果的に、原画像からノイズの高周波成分を除去したものが処理画像として得られる。処理画像は、原画像と比較して視覚的に良好な画質を有しており、かつ、デブロッキングフィルタ処理に要する演算量も少なくて済む。
【発明を実施するための最良の形態】
【００１７】
（第１の実施形態）
図１は、本実施形態にかかる画像ノイズ低減システムの構成図である。この画像ノイズ低減システムは、原画像に重畳しているノイズを低減する、いわゆるデブロッキングフィルタの一種である。画像ノイズ低減システムは、低周波画像生成部１と、減算部２と、ノイズ低減部３と、加算部４と、フィルタ部５とによって構成されている。
【００１８】
低周波画像生成部１は、原画像の低周波画像、すなわち、原画像の低周波成分によって構成された画像を生成する。本実施形態において、低周波画像生成部１は、縮小処理部１ａと、補間処理部１ｂという２つの機能的ブロックによって構成されている。画像平面上において、１フレームの原画像を縦横に分割することによって、複数の画素領域が予め規定されている。縮小処理部１ａは、それぞれの画素領域について、当該画素領域を代表する１値の画素代表値を算出する。画素代表値としては、典型的には、処理対象となる画素領域内の画素平均値（直流成分）を用いることができる。画素領域内の複数の画素値を画素代表値（１値）にまとめた結果として、画素代表値の集合として規定される画像は、原画像のサイズを縮小した縮小画像になる。
【００１９】
図２は、一例としての縮小画像の説明図である。１フレームの原画像のサイズをｍ×ｎ画素とし、１つの画素領域Ｓのサイズを２×２画素とする。この場合、画素領域Ｓの画素代表値は、この画素領域Ｓ内に存在する４つの画素(i,j)，(i+1,j)，(i,j+1)，(i+1,j+1)の画素平均値となる。また、画素代表値の集合である縮小画像は、原画像のサイズを縦横にそれぞれ１／２倍したサイズ、すなわち、（ｍ／２）×（ｎ／２）画素となる。なお、画素代表値は、画素領域Ｓ内に存在する画素値の特性を何らかの値で表していればよい。したがって、上述した画素平均という手法以外に、いわゆる間引き処理等を用いてもよい。例えば、画素領域Ｓ内の所定の一値、例えば、左上(i,j)の画素値を画素領域Ｓの画素代表値とするといった如くである。
【００２０】
補間処理部１ｂは、縮小処理部１ａによって生成された縮小画像に補間処理を施し、縮小画像を原画像と同サイズ（ｍ×ｎ画素）に拡大することによって、低周波画像を生成する。この補間処理によって、縮小画像の１画素は、原画像の画素ブロックＳ相当のサイズに拡大される。縮小画像のある１画素を補間・拡大する場合、この１画素の画素代表値（１値）と、この画素の周辺に位置する周辺画素の画素代表値（複数値）とが用いられる。本実施形態では、補間処理の一例として、交流成分予測を用いている。
【００２１】
図３は、交流成分予測の説明図である。縮小画像中の１画素（処理対象）について、交流成分予測によって、４画素（i,j），(i+1,j)，(i,j+1)，(i+1,j+1)（すなわち、原画像の画素ブロックＳと同サイズ）分の画素値が算出される。入力値に関して、中央の画素値をＣ、直上の画素値をＵ、直下の画素値をＤ、直右の画素値をＲ、直左の画素値をＬとする。また、出力値に関して、処理対象内の左上のサブ画素（i,j）の補間画素値をａ、左下のサブ画素（i+1,j）の補間画素値をｂ、右上のサブ画素(i,j+1)の補間画素値をｃ、右下のサブ画素(i+1,j+1)の補間画素値をｄとする。この場合、それぞれの画素値ａ〜ｄは、下式によって算出される。
【００２２】
（画素値ａ〜ｄの算出式）
ａ＝（４×Ｃ＋２×Ｌ＋２×Ｕ）／８
ｂ＝（４×Ｃ＋２×Ｒ＋２×Ｕ）／８
ｃ＝（４×Ｃ＋２×Ｌ＋２×Ｄ）／８
ｄ＝（４×Ｃ＋２×Ｒ＋２×Ｄ）／８
【００２３】
すなわち、ある補間画素値（例えばａ）は、自己のサブ画素（i,j）が属する画素の画素代表値Ｃと、自己のサブ画素に隣接した２画素の画素代表値Ｌ，Ｕとに対して、所定の重み付け（４／８，２／８，２／８）をした上で、これらを加算したものである。１つの画素を４つのサブ画素に細分化することで、縮小画像は結果的に原画像と同サイズに戻され、低周波画像として出力される。隣接値の補間によって生成された低周波画像は、低周波成分によって構成される画像である。したがって、視覚的には、低周波画像は、原画像と比べて、エッジ（隣接画素間の変化が大きい箇所）が滑らかに表現されており、特に、微細な変化を伴う箇所（原画像に重畳しているノイズ箇所を含む）も平滑化されている。
【００２４】
補間処理として交流成分予測を用いる場合には、回路構成を簡素化できるという利点がある。交流成分予測の過程で行われる乗算や除算の大半は２のべき乗なので、乗算器や除算器といった演算器の代わりにシフタを用い、ビット・シフトにてこれらの演算を実行できるからである。
【００２５】
なお、原画像の低周波画像を生成する手法は、上述した手法以外にも様々なものが知られており、いずれの手法を採用してもよい。以下に、代表的なものとして３つの手法（１）〜（３）を例示する。
【００２６】
（１）再帰的交流成分予測
再帰的交流成分予測とは、縮小画像における画素領域の周波数成分と、この画素領域と位置的に対応する原画像の周波数成分との加算により、低周波画像を生成する手法である。具体的には、まず、縮小画像における画素領域の周波数成分を下式により求める。図３と同様に、５つの画素値Ｃ，Ｕ，Ｄ，Ｌ，Ｒを規定した場合、処理対象となる画素領域に関して、下式に基づいて、３つの周波数成分α’，β’，γ’が算出される。
【００２７】
（周波数成分α'，β'，γ'の算出式）
α’＝（Ｌ−Ｒ＋１）／４
β’＝（Ｕ−Ｄ＋１）／４
γ’＝０
【００２８】
つぎに、この処理対象の画素領域と位置的に対応する原画像の周波数成分α''，β''，γ''が算出される。処理対象となる画素領域内の位置(i,j)，(i+1,j)，(i,j+1)，(i+1,j+1)に関する画素値を（ａ’，ｂ’，ｃ’，ｄ’）とした場合、３つの周波数成分α’，β’，ｇは、下式によって算出される。
【００２９】
（周波数成分α''，β''，γ''の算出式）
α''＝（ａ’−ｂ’＋ｃ’−ｄ’）／２ − α’
β''＝（ａ’＋ｂ’−ｃ’−ｄ’）／２ − β’
γ''＝（ａ’−ｂ’−ｃ’＋ｄ’）／２
【００３０】
そして、下式に示すように、上述した２つの周波数成分（例えばα'，α''）を周波数成分毎に加算することにより、周波数成分α，β，γが算出される。
【００３１】
（周波数成分α，β，γの算出式）
α＝α’＋α''
β＝β’＋β''
γ＝γ’＋γ''
【００３２】
最後に、これらの周波数成分を変換して、対象画素領域を構成する画素の画素値を求める。処理対象となる画素領域内の画素値（ａ，ｂ，ｃ，ｄ）は、下式より算出される。
【００３３】
（画素値ａ〜ｄの算出式）
ａ＝Ｃ＋（α＋β＋γ）
ｂ＝Ｃ＋（β−γ−α）
ｃ＝Ｃ＋（α−β−γ）
ｄ＝Ｃ＋（γ−α−β）
【００３４】
上述した交流成分予測の場合と同様に、再帰的交流成分予測を用いる場合であっても、回路構成を簡素化できるという利点がある。再帰的交流成分予測の過程で行われる乗算や除算はすべて２のべき乗なので、演算器をシフタを主体に構成できるからである。特に、周波数成分が予め把握されている場合には、交流成分予測よりも演算量が少ないので、処理の高速化を図ることができる。なお、この場合、原画像の画素値を補間処理部１ｂに入力する必要がある（図１において、”原画像”から”補間処理部１ｂ”へ向けて矢印が入る）。
【００３５】
（２）線形補間
画素と画素との間を直線で結んだ上で、線形近似によって直線上の画素を推定して画素値を算出する。
【００３６】
（３）畳込補間（キュービック・コンボリューション）
三次補間法とも呼ばれ、推定する画素を周囲格子点の画素の画素値に畳込関数を適用して求める。畳込関数としては、原点から離れれば離れるほど値が小さくなる性質をもつｓｉｃ関数（ｆ（ｘ）＝sinπｘ／πｘ）が知られている。
【００３７】
なお、上述したような、原画像の縮小および補間拡大という２つの過程を用いる手法は、理論的には、原画像にローパスフィルタ処理を直接施す手法と等価である。したがって、上述した手法に代えて原画像に直接ローパスフィルタを施してもよい。ただし、ローパスフィルタ処理との比較において、上述した手法の方が、演算式（多項式）を簡素化できるというメリットがある。
【００３８】
減算部２は、原画像と、低周波画像生成部１によって生成された低周波画像との差分を画素毎に算出することで、第１の差分画像を生成する。具体的には、原画像の画素値から、これと位置的に対応する低周波画像の画素値が減算される。これにより、第１の差分画像は、高周波成分によって構成された画像となる。原画像から、低周波成分のみからなる低周波画像を差し引けば、高周波成分のみが残るからである。したがって、視覚的な特徴としては、エッジや微細な変化箇所（ノイズ箇所を含む）が抽出された画像となる。
【００３９】
ノイズ低減部３は、第１の差分画像を構成する画素値を入力値としたノイズ低減処理を画素毎に行い、このノイズ低減処理の出力値によって構成された第２の差分画像を生成する。第１の差分画像を構成する入力値のうち、値が小さいものはノイズとみなす。一般に、エッジと高周波ノイズとの相違は、前者よりも後者の方が、隣接画素間の明度差（振幅）が小さくなる傾向があるという点である。したがって、この傾向を考慮してしきい値を適切に設定すれば、入力値の大小によって、エッジ（振幅が大きい高周波成分）とノイズ（振幅が小さい高周波成分）とを適切に切り分けることができる。ノイズと見なされた入力値に関しては、少なくとも出力値を入力値よりも小さくする（低減する）。
【００４０】
図４は、ノイズ低減処理における第１の例としての入出力特性図である。入力値ｘは第１の差分画像の画素値であり、出力値ｆ（ｘ）は第２の差分画像の画素値である。入力値ｘがしきい値Ｔ以下の場合には、出力値ｆ（ｘ）として０が出力される。これに対して、入力値ｘがしきい値Ｔよりも大きい場合には、入力値ｘが出力値ｆ（ｘ）としてそのまま出力される。ｘ＞Ｔの領域では、入力値ｘの増加にしたがって出力値ｆ（ｘ）も線形的に増加する。また、この入出力特性は、入力値ｘの変化に対する出力値ｆ（ｘ）の変化として規定される変化量（すなわち、傾き）によっても表現できる。ｘ＜Ｔの領域における変化量をＡ１（＝０）とすると、ｘ＞Ｔの領域における変化量Ａ２（＝１）は、１≧Ａ２＞Ａ１の関係を満たす。また、ｘ＝Ｔ近傍の領域における変化量Ａ３（＝∞）は、Ａ３＞Ａ２の関係を満たす。
【００４１】
図５は、ノイズ低減処理における第２の例としての入出力特性図である。入力値ｘがしきい値Ｔ以下の場合には、出力値ｆ（ｘ）として略０が出力される。これに対して、入力値ｘがしきい値Ｔよりも大きい場合には、入力値ｘが出力値ｆ（ｘ）としてほぼそのまま出力される。ｘ＞Ｔの領域では、入力値ｘの増加にしたがって出力値ｆ（ｘ）も連続的に増加する。また、この入出力特性を上記変化量にて表現した場合、ｘ＜Ｔの領域における変化量（一定ではない）は、Ａ１≒０となる。ｘ＞Ｔの領域における変化量（一定ではない）は、１≧Ａ２＞Ａ１の関係を満たす。また、ｘ＝Ｔ近傍の領域における変化量（一定ではない）は、Ａ３＞Ａ２の関係を満たす。
【００４２】
また、これ以外のしきい値処理として、量子化係数Ｔによる入力値ｘの量子化・逆量子化を行ってもよい。この場合、量子化ステップをＴとして、ステップ的に増加する入出力特性に設定した場合、入力値ｘが０〜Ｔの領域では、最終的な出力値ｆ（ｘ）が０になる。これは、量子化ステップＴをしきい値としたしきい値処理に相当する。
【００４３】
加算部４は、低周波画像生成部１によって生成された低周波画像と、ノイズ低減部３によって生成された第２の差分画像とを画素毎に足し合わせることで、処理画像を生成する。具体的には、低周波画像の画素値と、これと位置的に対応する第２の差分画像の画素値とが加算する。上述したように、低周波画像は、低周波成分のみによって構成されている。したがって、この低周波画像に、高周波成分のみからなる第２の差分画像（ノイズ低減処理済）を足し合わせれば、低周波成分と、ノイズ以外の高周波成分（主にエッジ）とを含む画像が処理画像として生成される。原画像と比較した場合、処理画像は、原画像に重畳したノイズを低減した分だけ、原画像よりも画質が優れている。
【００４４】
フィルタ部５は、ノイズ低減部３によって生成された第２の差分画像をエッジ情報として用い、加算部４によって生成された処理画像にローパスフィルタ処理を施すことによって、出力画像を生成する。すなわち、画像中のエッジを第２の差分画像（エッジを主体にした高周波画像）に基づいて検出し、エッジ箇所でない領域のみを対象にＬＰＦ処理が行われる（適用的ＬＰＦ処理）。なお、低周波画像にブロックノイズが含まれている可能性を考慮して、ブロックノイズを低減するノイズフィルタ処理を併せて行ってもよい。
【００４５】
本実施形態によれば、視覚的に良好な画質が得られるデブロッキングフィルタを実現することができる。原画像には、低周波成分と、エッジおよびノイズに起因した高周波成分とが含まれている。減算部２において、原画像と低周波画像との差分をとることで、原画像の低周波成分が取り除かれ、原画像の高周波成分が第１の差分画像として抽出される。この第１の差分画像には、エッジに起因した高周波成分と、ノイズに起因した高周波成分とが含まれている。そこで、ノイズ低減部３において、第１の差分画像に対してノイズ低減処理を施すことで、ノイズの高周波成分が取り除かれ、エッジの高周波成分が第２の差分画像として抽出される。そして、加算部４において、低周波画像と第２の差分画像とを加算することで、低周波成分と、エッジの高周波成分とが足し合わされる。その結果、原画像からノイズの高周波成分を除去したものが処理画像として得られる。加算部４より出力される処理画像は、原画像と比較して、視覚的に良好な画質を有している。また、処理に必要な演算量も少なくて済むので、動画のリアルタイム再生に十分追従できるほどに高速処理が可能であり、かつ、ハードウェアにて実現する際も比較的小さい回路規模で実現することができる。
【００４６】
また、本実施形態のように、ノイズ低減処理が施された処理画像に対して適用的ＬＰＦ処理を更に施せば、出力画像の一層の画質向上を図ることができる。この適用的ＬＰＦ処理では、前処理の過程で算出された第２の差分画像をエッジ情報として用いるので、適用的ＬＰＦ処理を追加しても、演算量をそれほど増大させなくても済む。
【００４７】
また、本実施形態では、低周波画像を生成するために、縮小処理と、これに続く交流成分予測による補間処理とを行っている。これらの処理に必要な乗算・除算は、基本的に、ビット・シフト処理にて実現できる。したがって、空間領域を用いながらも実質的にウェーブレット変換といった周波数領域を用いたフィルタ処理を行えるので、比較的小さな回路規模を維持しながらも、高精度のデブロッキング処理を実現することが可能となる。
【００４８】
（第２の実施形態）
上述した第１の実施形態において、補間処理部１ｂより出力される低周波画像は、原画像の半分の周波数成分までを含んでいるが、この周波数成分より更に小さいものまでを含めることはできない。したがって、低周波画像そのものにブロックノイズが含まれてしまう可能性があり、結果的に、出力画像の画質向上を妨げる一因になり得る。本実施形態は、ノイズ低減処理を再帰的に繰り返し実行することで、一層の画質向上を図るものである。
【００４９】
図９は、第２の実施形態にかかる画像ノイズ低減システムの構成図である。このシステムの構成上の特徴は、フィルタ５の出力側に判定部６を設け、その判定結果に応じて、最終的な出力画像として出力するか、または、過渡的な画像として前段（すなわち、補間処理部１ｂの入力側）にフィードバックするかを切り換える点である。また、これに伴い、縮小処理部１ａおよび減算部の機能にも若干の修正が加えられている。それ以外の点については、上述した第１の実施形態と同様なので、同一の符号を付して個々での説明を省略する。
【００５０】
縮小処理部１ａは、原画像に基づいて第１の縮小画像および第２の縮小画像を生成し、前者を補間処理部１ｂ、後者を減算部２にそれぞれ供給する。第１の縮小画像を生成するために、まず、原画像が（２ｋ）×（２ｋ）（ｋは自然数）の画素領域に分割される。そして、上述した第１の実施形態と同様に、各画素領域の画素代表値（第１の画素代表値）が算出される。第１の縮小画像は、第１の画素代表値の集合として規定される。これにより、第１の縮小画像のサイズは、１辺が原画像の１／２ｋとなる。一方、第２の縮小画像を生成するために、まず、原画像が（２ｋ-1）×（２ｋ-1）の画素領域に分割される。そして、上述した第１の実施形態と同様に、各画素領域の画素代表値（第２の画素代表値）が算出され、第２の縮小画像は、第２の画素代表値の集合として規定される。原画像のサイズがｍ×ｎならば、第２の縮小画像のサイズは、１辺が原画像の１／２ｋとなる。
【００５１】
補間処理部１ｂは、第１の縮小画像に補間処理を施し、この第１の縮小画像を第２の縮小画像と同サイズに拡大することによって、低周波画像を生成する。補間処理は第１の実施形態と同様に、交流成分予測によって行われる。生成される低周波画像は、（２ｋ-1）×（２ｋ-1）の画素領域に分割され、各画素領域に画素代表値（第３の画素代表値）が算出されたものとなる。したがって、低周波画像のサイズは１辺が原画像の１／２ｋ-1となる。
【００５２】
減算部２は、補間処理部１ｂによって生成された低周波画像と縮小処理部１ａによって生成された第２の縮小画像との差分を第１の差分画像として出力する。具体的には、各画素領域の第２の画素代表値から、これと位置的に対応する低周波画像の第３の画素代表値を減算する。このとき、低周波画像は、第２の縮小画像と同サイズ（１辺が原画像の１／２ｋ-1）であるため、位置的に対応する代表画素同士の減算が可能である。
【００５３】
判定部６は、処理部１ａ，１ｂで用いられるループ変数ｋを管理するとともに、この変数ｋに基づいて、最終的な出力画像として出力するか否かを判定する。ノイズ低減処理の繰り返し回数を規定するループ変数の初期値は、予め設定されており、処理の進捗に伴い、１ずつデクリメントされていく。ループ変数ｋが１に到達するまでは（ｋ＞１）、フィルタ部５からの出力画像は、過渡的な画像として補間処理部１ｂにフィードバックされる（ｋ←ｋ−１）。一方、ループ変数ｋが１に到達すると（ｋ＝１）、フィルタ部５からの出力画像は、最終的な出力画像として出力される。フィルタ部５からの出力画像は、１辺が原画像の１／２ｋ-1である。これが最終的な出力画像となるのは、ｋ＝１、すなわち、原画像と同じサイズになった場合である。換言すると、出力画像のサイズが原画像のそれよりも小さい限り、第１の縮小画像としてフィードバックされる。
【００５４】
図７は、第２の実施形態にかかる画像ノイズ低減処理の説明図である。一例として、ループ変数ｋの初期値を３、すなわち、ノイズ低減処理を３回繰り返すケースについて説明する。
【００５５】
ｋ＝３の場合、縮小処理部１ａによって、１辺が原画像の１／８である１／８縮小画像と、１辺が原画像の１／４である１／４縮小画像とが生成される。補間処理部１ｂによって、１／４低周波画像が生成される。そして、減算部２によって、１／４縮小画像から、これと同サイズの１／４低周波画像が減算される。以下、上述した第１の実施形態と同様の処理を経て、フィルタ部５によって、１／４出力画像が生成される。ｋ≠１なので、判定部６によって、１／４出力画像が補間処理部１ｂにフィードバックされ、ループ変数ｋが２にセットされる。
【００５６】
ｋ＝２の場合、縮小処理部１ａによって、１辺が原画像の１／２である１／２縮小画像が生成される。一方、１／４縮小画像は、判定部７によってフィードバックされた１／４出力画像が用いられる。補間処理部１ｂによって、１／２低周波画像が生成される。減算部２によって、１／２縮小画像から、これと同サイズの１／２低周波画像が減算される。そして、最終的に、フィルタ部５によって、１／２出力画像が生成される。ｋ≠１なので、判定部６によって、１／２出力画像が補間処理部１ｂにフィードバックされ、ループ変数ｋが１にセットされる。
【００５７】
ｋ＝１の場合、原画像と同サイズの１／１縮小画像（原画像そのもの）と、判定部７によってフィードバックされた１／２出力画像とが用いられる。補間処理部１ｂによって、１／１低周波画像が生成される。減算部２によって、１／１縮小画像から、これと同サイズの１／１低周波画像が減算される。そして、最終的には、フィルタ部５によって、１／１出力画像が生成される。ｋ＝１なので、判定部６の最終的な出力として、１／１出力画像が出力される。
【００５８】
本実施形態によれば、原画像に対応してフィルタ部５から生成された出力画像を補間処理部１ｂにフィードバックし、ノイズ低減処理を複数回繰り返している。このような処理により、複数種の低周波成分を有する低周波画像を再帰的に適用することで、上述した第１の実施形態と比較して、原画像に重畳しているノイズをより有効に低減することができる。
【００５９】
なお、上述した各実施形態では、ノイズ低減システムの構成および動作を中心に説明したが、このような機能をコンピュータに実行させるコンピュータ・プログラムも本発明の別の形態を構成する。
【図面の簡単な説明】
【００６０】
【図１】第１の実施形態にかかる画像ノイズ低減システムの構成図
【図２】一例としての縮小画像の説明図
【図３】交流成分予測の説明図
【図４】ノイズ低減処理における第１の例としての入出力特性図
【図５】ノイズ低減処理における第２の例としての入出力特性図
【図６】第２の実施形態にかかる画像ノイズ低減システムの構成図[
【図７】第２の実施形態にかかる画像ノイズ低減処理の説明図
【符号の説明】
【００６１】
１  低周波画像生成部
１ａ  縮小処理部
１ｂ  補間処理部
２  減算部
３  ノイズ低減部
４  加算部
５  フィルタ部
６  判定部
【図１】
2008123349.tif 000003
【図２】
2008123349.tif 000004
【図３】
2008123349.tif 000005
【図４】
2008123349.tif 000006
【図５】
2008123349.tif 000007
【図６】
2008123349.tif 000008
【図７】
2008123349.tif 000009