(57)【要約】【課題】より高性能なエッジ保存平滑化フィルタを提供する。【解決手段】フィルタ回路５０を、第１重み係数算出部５２と、第１重み係数調整部５３と、第３重み係数算出部５５と、補正処理部５６とを備える構成とする。そして、第１重み係数調整部５３は、第１の画素６１を挟んで対称な位置に配置された２つの第２の画素６２の第１重み係数が互いに異なる場合、該２つの第２の画素６２の第１重み係数が同じ値になるように調整する。ただし、この際、第１重み係数調整部５３は、２つの第２の画素６２のうち、第１重み係数が大きい方の第２の画素６２の第１重み係数を、第１重み係数が小さい方の第２の画素６２の第１重み係数に置き換える。【選択図】図２
2010277464.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する第１重み係数算出部と、
前記第１の画素を挟んで対称な位置に配置された２つの前記第２の画素の前記第１重み係数が互いに異なる場合、該２つの前記第２の画素のうち、前記第１重み係数が大きい方の前記第２の画素の前記第１重み係数を、前記第１重み係数が小さい方の前記第２の画素の前記第１重み係数に置き換える第１重み係数調整部と、
前記第１重み係数調整部で算出された各画素の前記第１重み係数と、各画素の位置に関する第２重み係数とを積算して各画素の第３重み係数を算出する第３重み係数算出部と、
前記第３重み係数算出部で算出された各画素の前記第３重み係数と、各画素の前記画素レベルとを用いて、前記第１の画素の画素レベルを補正する補正処理部と
を備えるフィルタ回路。
【請求項２】
前記第１重み係数算出部で算出された各画素の前記第１重み係数が、各画素の画素レベルと前記第１の画素の画素レベルとの差を変数とするガウス関数で表され、各画素の前記第２重み係数が、各画素の前記第１の画素からの距離を変数とするガウス関数で表される
請求項１に記載のフィルタ回路。
【請求項３】
第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する第１重み係数算出部と、前記第１の画素を挟んで対称な位置に配置された２つの前記第２の画素の前記第１重み係数が互いに異なる場合、該２つの前記第２の画素のうち、前記第１重み係数が大きい方の前記第２の画素の前記第１重み係数を前記第１重み係数が小さい方の前記第２の画素の前記第１重み係数に置き換える第１重み係数調整部と、前記第１重み係数調整部で算出された各画素の前記第１重み係数並びに各画素の位置に関する第２重み係数を積算して各画素の第３重み係数を算出する第３重み係数算出部と、前記第３重み係数算出部で算出された各画素の前記第３重み係数並びに各画素の前記画素レベルを用いて前記第１の画素の画素レベルを補正する補正処理部とを有するフィルタ回路と、
前記フィルタ回路の処理動作を制御する制御部と
を備える画像処理装置。
【請求項４】
被写体光を光電変換して画像信号を生成する撮像部と、
前記画像信号中の第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する第１重み係数算出部と、前記第１の画素を挟んで対称な位置に配置された２つの前記第２の画素の前記第１重み係数が互いに異なる場合、該２つの前記第２の画素のうち、前記第１重み係数が大きい方の前記第２の画素の前記第１重み係数を前記第１重み係数が小さい方の前記第２の画素の前記第１重み係数に置き換える第１重み係数調整部と、前記第１重み係数調整部で算出された各画素の前記第１重み係数並びに各画素の位置に関する第２重み係数を積算して各画素の第３重み係数を算出する第３重み係数算出部と、前記第３重み係数算出部で算出された各画素の前記第３重み係数並びに各画素の前記画素レベルを用いて前記第１の画素の画素レベルを補正する補正処理部とを有するフィルタ回路と
を備える撮像装置。
【請求項５】
第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出するステップと、
前記第１の画素を挟んで対称な位置に配置された２つの前記第２の画素の前記第１重み係数が互いに異なる場合、該２つの前記第２の画素のうち、前記第１重み係数が大きい方の前記第２の画素の前記第１重み係数を、前記第１重み係数が小さい方の前記第２の画素の前記第１重み係数に置き換えるステップと、
各画素の前記第１重み係数と、各画素の位置に関する第２重み係数とを積算して各画素の第３重み係数を算出するステップと、
各画素の前記第３重み係数と、各画素の前記画素レベルとを用いて、前記第１の画素の画素レベルを補正するステップと
を含む画像処理方法。
【請求項６】
第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する処理と、
前記第１の画素を挟んで対称な位置に配置された２つの前記第２の画素の前記第１重み係数が互いに異なる場合、該２つの前記第２の画素のうち、前記第１重み係数が大きい方の前記第２の画素の前記第１重み係数を、前記第１重み係数が小さい方の前記第２の画素の前記第１重み係数に置き換える処理と、
各画素の前記第１重み係数と、各画素の位置に関する第２重み係数とを積算して各画素の第３重み係数を算出する処理と、
各画素の前記第３重み係数と、各画素の前記画素レベルとを用いて、前記第１の画素の画素レベルを補正する処理と
をコンピュータ装置に実装して実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のエッジを保存しつつ画像を平滑化するフィルタ回路、それを備えた画像処理装置及び撮像装置、画像処理方法、並びに、プログラムに関する。
【背景技術】
【０００２】
従来、静止画や動画等の画像処理装置では、画質を向上させるために種々のフィルタ（フィルタ回路）が用いられる。そのフィルタの一つとして、バイラテラルフィルタと呼ばれるフィルタがある（例えば、特許文献１参照）。
【０００３】
バイラテラルフィルタは、主にノイズ除去のために用いられる非線形フィルタであり、画像のエッジを保存しつつ画像の平滑化を図ることができるという特徴を有する。バイラテラルフィルタでは、この特徴を得るために、画素間の距離だけでなく、画素間の画素値（輝度）の差も考慮して重みを決定する。以下では、このような処理が可能なフィルタをエッジ保存平滑化フィルタともいう。ここで、図１０（ａ）〜（ｃ）を参照しながら、従来のバイラテラルフィルタの処理原理を簡単に説明する。
【０００４】
図１０（ａ）〜（ｃ）に、着目画素７１を中心とする５タップ（５画素）の１次元フィルタ枠のバイラテラルフィルタ、すなわち、最小のフィルタ枠が１×５画素のバイラテラルフィルタによるフィルタ処理の原理を示す。なお、図１０（ａ）は、図１０（ｂ）に示す着目画素７１における空間方向の重み係数（位置に関する重み係数）の分布を示す図である。図１０（ｂ）は、着目画素７１及びその周辺画素７２における画素位置と画素レベルとの関係を示す図である。そして、図１０（ｃ）は、着目画素７１におけるレベル方向の重み係数（画素レベルに関する重み係数）の分布を示す図である。
【０００５】
図１０（ａ）〜（ｃ）に示す例では、着目画素７１の画素レベルＹ２を次のようにして処理する。まず、フィルタ枠内の位置Ｘ０〜Ｘ４の５つの画素においてそれぞれ重みＷｉ（ｉ＝０〜４）を下記式で求める。
【０００６】
【数１】
2010277464.tif 000003
【０００７】
なお、上記式１中のＧｓｐａｃｅ（ｘ）及びＧｌｅｖｅｌ（ｙ）は、それぞれの各画素における空間方向及びレベル方向の重み係数の分布関数である。バイラテラルフィルタでは、Ｇｓｐａｃｅ（ｘ）及びＧｌｅｖｅｌ（ｙ）は、ガウス関数で表される。具体的には、Ｇｓｐａｃｅ（ｘ）及びＧｌｅｖｅｌ（ｙ）は、それぞれ下記式２及び３で表される。
【０００８】
【数２】
2010277464.tif 000004
【０００９】
【数３】
2010277464.tif 000005
【００１０】
なお上記式２中のｘ＝Ｘｉ−Ｘ２（ｉ＝０〜４）であり、上記式３中ｙ＝Ｙｉ−Ｙ２（ｉ＝０〜４）である。また、上記式２中のσは、ガウス関数の標準偏差パラメータである。
【００１１】
そして、上記式１で求められた各画素の重みＷｉと、各画素のレベル値Ｙｉとを用いて、下記式の演算を行うことにより、着目画素７１の画素レベルＹ２を補正（平滑化）処理する。なお、下記式中のＹ２′は、平滑化処理後の着目画素７１の画素レベルである。
【００１２】
【数４】
2010277464.tif 000006
【００１３】
上述した従来のバイラテラルフィルタによるフィルタ処理では、空間方向及びレベル方向の重み係数の分布関数Ｇｓｐａｃｅ（ｘ）及びＧｌｅｖｅｌ（ｙ）の標準偏差パラメータσを変化させることにより平滑度を調整できる。通常、ノイズレベルの振幅は、画像中のエッジのそれよりも小さいと考えられる。それゆえ、レベル方向の重み係数の分布関数Ｇｌｅｖｅｌ（ｙ）のσを画像のノイズレベルの標準偏差に合わせることにより、画像のエッジを保存しつつ、ノイズだけを平滑化することができる。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００６−１８０２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
上述のように、バイラテラルフィルタは、画像のエッジを保存しつつノイズだけを平滑化することができるので、画質を向上させるためのフィルタとして非常に有効である。それゆえ、近年、このようなエッジ保存平滑化フィルタにおいて、さらに特性の優れたフィルタの開発が望まれている。
【００１６】
本発明は、このような状況に鑑みなされたものであり、本発明の目的は、より高性能なエッジ保存平滑型のフィルタ回路、それを含む画像処理装置及び撮像装置、画像処理方法、並びに、プログラムを提供することである。
【課題を解決するための手段】
【００１７】
上記問題を解決するために、本発明のフィルタ回路は、第１重み係数算出部と、第１重み係数調整部と、第３重み係数算出部と、補正処理部とを備える構成とする。各部の機能は次のようにする。第１重み係数算出部は、第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する。第１重み係数調整部は、第１の画素を挟んで対称な位置に配置された２つの第２の画素の第１重み係数が互いに異なる場合、該２つの第２の画素の第１重み係数が同じ値になるように調整する。ただし、この際、第１重み係数調整部は、２つの第２の画素のうち、第１重み係数が大きい方の第２の画素の第１重み係数を、第１重み係数が小さい方の第２の画素の第１重み係数に置き換える。第３重み係数算出部は、第１重み係数調整部で算出された各画素の第１重み係数と、各画素の位置に関する第２重み係数とを積算して各画素の第３重み係数を算出する。そして、補正処理部は、第３重み係数算出部で算出された各画素の第３重み係数と、各画素の画素レベルとを用いて、第１の画素の画素レベルを補正する。
【００１８】
本発明の画像処理装置は、上記本発明のフィルタ回路と、フィルタ回路の処理動作を制御する制御部とを備える構成とする。
【００１９】
本発明の撮像装置は、被写体光を光電変換して画像信号を生成する撮像部と、上記本発明のフィルタ回路とを備える構成とする。
【００２０】
また、本発明の画像処理方法及びプログラムでは、次のようにして処理を行うようにする。まず、第１の画素及びその周囲に配置された複数の第２の画素のそれぞれにおいて画素レベルに関する第１重み係数を算出する。次いで、第１の画素を挟んで対称な位置に配置された２つの第２の画素の第１重み係数が互いに異なる場合、該２つの第２の画素の第１重み係数が同じ値になるように調整する。ただし、この際、２つの第２の画素のうち、第１重み係数が大きい方の第２の画素の第１重み係数を、第１重み係数が小さい方の第２の画素の第１重み係数に置き換える。次いで、各画素の第１重み係数と、各画素の位置に関する第２重み係数とを積算して各画素の第３重み係数を算出する。そして、各画素の第３重み係数と、各画素の画素レベルとを用いて、第１の画素の画素レベルを補正する。
【００２１】
上述のように、本発明では、第１の画素を挟んで対称な位置に配置された２つの第２の画素の第１重み係数を同じ値にする。これにより、第１の画素を通る全ての方向において、第２の画素の第１重み係数を第１の画素に対して対称に分布させることができ、フィルタ回路において第１重み係数を線形化（直線位相化）することができる。
【００２２】
また、本発明では、第１の画素を挟んで対称な位置に配置された２つの第２の画素のうち、第１重み係数が大きい方の第２の画素の第１重み係数を、第１重み係数が小さい方の第２の画素の第１重み係数に置き換える。これによりは、画像のエッジを保存しつつノイズだけを平滑化することができる。
【発明の効果】
【００２３】
上述のように、本発明では、画像のエッジを保存しつつノイズだけを平滑化することができるだけでなく、第１重み係数を線形化（直線位相化）することができる。それゆえ、本発明によれば、より高性能なエッジ保存平滑型のフィルタ回路を提供することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る撮像装置の概略ブロック構成図である。
【図２】本発明の実施形態に係る直線位相−エッジ保存平滑化フィルタの概略ブロック構成図である。
【図３】本発明の実施形態に係る直線位相−エッジ保存平滑化フィルタのより詳細なブロック構成図である。
【図４】フィルタ枠内における着目画素を通る軸方向を示す図である。
【図５】本発明の実施形態に係る画像処理方法の手順を説明するためのフローチャートである。
【図６】図６（ａ）は、重み係数調整前の空間方向の重み係数の分布例であり、図６（ｂ）は、重み係数調整前のレベル方向の重み係数の分布例である。
【図７】図７（ａ）は、重み係数調整後の空間方向の重み係数の分布例であり、図７（ｂ）は、重み係数調整後のレベル方向の重み係数の分布例である。
【図８】図８（ａ）は、図４中のＨ軸方向における直線位相−エッジ保存平滑化フィルタの位相の周波数特性である。図８（ｂ）は、図４中のＶ軸方向における直線位相−エッジ保存平滑化フィルタの位相の周波数特性である。そして、図８（ｃ）は、図４中のＲＵ軸方向における直線位相−エッジ保存平滑化フィルタの位相の周波数特性である。
【図９】図９（ａ）は、図４中のＨ軸方向における直線位相−エッジ保存平滑化フィルタの利得の周波数特性である。図９（ｂ）は、図４中のＶ軸方向における直線位相−エッジ保存平滑化フィルタの利得の周波数特性である。そして、図９（ｃ）は、図４中のＲＵ軸方向における直線位相−エッジ保存平滑化フィルタの利得の周波数特性である。
【図１０】図１０（ａ）〜（ｃ）は、従来のバイラテラルフィルタの処理原理を説明するための図である。
【発明を実施するための形態】
【００２５】
以下に、本発明の実施形態に係るフィルタ回路、それを備える画像処理装置及び画像処理方法の具体例を、図面を参照しながら以下の順で説明する。なお、本発明は以下の例に限定されるものではない。
１．撮像装置の構成例
２．画像処理の手順
３．直線位相−エッジ保存平滑化フィルタの周波数特性
【００２６】
＜１．撮像装置の構成例＞
本実施形態では、本発明のフィルタ回路を備える画像処理装置として、例えばカメラ等の撮像装置を例に挙げ説明する。ただし、本発明のフィルタ回路は、撮像装置に限らず、例えばディスプレイ、プリンタ等の表示機器や映像処理アプリケーションを含む装置など、画像処理機能を有するあらゆる装置及びシステムに適用可能である。また、本発明のフィルタ回路を撮像装置に適用する場合には、カメラそのものだけでなく、撮影機能（カメラモジュール）を有する情報処理装置（例えば、携帯端末装置等）にも適用可能である。
【００２７】
ここで、本実施形態のフィルタ回路及びそれを備える撮像装置の構成を具体的に説明する前に、従来のバイラテラルフィルタ、または、その派生形フィルタにおける問題点について説明する。従来のバイラテラルフィルタでは、各画素におけるレベル方向の重み係数（以下、レベル重み係数という）のフィルタ特性は複素数で表され、その位相は、空間周波数に対して直線位相性（線形性）を有していない。そのため、特に画像のエッジ付近の領域で、画像波形が歪むことがある。
【００２８】
上記問題をより具体的に説明する。レベル重み係数の位相が線形であるフィルタでは、フィルタ処理された各画素において、位相の遅延量は画像の空間周波数に関係なく一定になり、群遅延が生じる。この場合、フィルタ処理後の隣り合う画素間において位相の遅延差が生じず、画像波形は歪まない。しかしながら、バイラテラルフィルタのようにレベル重み係数が空間周波数に対して非直線位相（非線形）である場合には、フィルタ処理後の隣り合う画素間において位相に遅延差が生じる。この際、その遅延量は画像の絵柄によって変わるので、画像波形が歪む。特に、動画において、物体が静止していても、ノイズの影響により遅延量が変化するので、物体画像のエッジの位置が静止せず、常に変動した状態となる。
【００２９】
本実施形態では、画像のエッジを保存しつつ画像の平滑化を図ることができるという特徴（従来のバイラテラルフィルタの特徴）を維持しつつ、上述した問題点を解消できるエッジ保存平滑型のフィルタ回路及びそれを備える撮像装置の構成例を説明する。
【００３０】
［撮像装置の構成］
図１に、本実施形態の撮像装置の概略ブロック構成を示す。撮像装置１００は、レンズ１と、撮像素子２（撮像部）と、アナログ・デジタルコンバータ３（以下、ＡＤＣ（Analog to Digital Convertor）と記す）と、画像処理部４とを備える。そして、レンズ１、撮像素子２、ＡＤＣ３及び画像処理部４は、被写体光１５の入射側からこの順で配置される。
【００３１】
さらに、撮像装置１００は、表示処理部５と、表示部６と、制御部７と、記憶部８と、操作入力部９と、外部インタフェース部１０（以下、外部Ｉ／Ｆ部と記す）と、記録再生処理部１１と、記録媒体１２とを備える。そして、上述した撮像装置１００の各部は、信号線１３を介して直接的または間接的に電気的に接続される。
【００３２】
レンズ１は、被写体光を取り込んで撮像素子２の撮像面（不図示）に結像させる。撮像素子２は、レンズ１により結像された被写体光を光電変換して画像信号を生成する。そして、撮像素子２は、生成した画像信号をＡＤＣ３に出力する。なお、撮像素子２としては、例えば、ＣＣＤ（Charge Coupled Devices）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等の各種タイプのイメージセンサを適用することができる。
【００３３】
なお、図１には、撮像素子２を１つ設ける撮像装置１００の構成例を示すが、本発明はこれに限定されない。撮像装置１００が、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に対した画像信号を独立して得る３板式カメラである場合には、３つの撮像素子２を設ける。さらに、この場合、３つの撮像素子２からなる撮像素子群とレンズ１との間に、入射光をＲ、Ｇ、Ｂの３色に分解する色分離プリズムを配置する。また、撮像装置１００が単板式カメラである場合には、レンズ１と撮像素子２との間に色フィルタアレイを配置する。
【００３４】
ＡＤＣ３は、撮像素子２から出力されたアナログの画像信号をデジタルの画像信号に変換して、そのデジタル変換された画像信号を画像処理部４に出力する。なお、撮像素子２としてＣＭＯＳ型のイメージセンサを用いた場合には、画像信号のアナログデジタル変換処理も撮像素子２の内部で行われるため、ＡＤＣ３は不要となる。
【００３５】
画像処理部４は、ＡＤＣ３から出力された画像信号に対して種々の処理を施し、処理後の画像信号を表示処理部５に出力する。画像処理部４は、光学系センサ系補正部４１と、ノイズリダクション処理部４２と、ガンマ補正部４３と、高域強調処理部４４とを有する。
【００３６】
光学系センサ系補正部４１は、レンズ１に起因して発生する画像信号の歪みの補正処理（光学系の補正処理）、及び、撮像素子２に起因して発生する画像信号の歪みの補正処理（センサ系の補正処理）を行う。光学系の補正処理では、例えば、歪み補正、収差補正、周辺光量落ち補正、フレア補正等を行う。センサ系の補正処理では、例えば、画素の欠陥補正、シェーディング補正等を行う。なお、撮像素子２としてＣＭＯＳ型のイメージセンサを使用した場合には、センサ系の補正処理として縦筋補正等も行う。また、撮像素子２としてＣＣＤ型のイメージセンサを使用した場合には、センサ系の補正処理としてスミア補正等も行う。
【００３７】
ノイズリダクション処理部４２は、光学系センサ系補正部４１から出力された画像信号に対してノイズ除去処理を施し、ノイズ除去処理後の信号をガンマ補正部４３に出力する。なお、本実施形態では、ノイズリダクション処理部４２内に、レベル重み係数が空間周波数に対して直線位相性（線形性）を有するエッジ保存平滑化フィルタ５０（以下、直線位相−エッジ保存平滑化フィルタという）を設ける。本実施形態では、直線位相−エッジ保存平滑化フィルタ５０（フィルタ回路）として、従来のバイラテラルフィルタをさらに改良して、レベル重み係数に直線位相性を持たせた構成例を説明する。なお、その構成については、後で詳細に説明する。
【００３８】
ガンマ補正部４３は、ノイズリダクション処理部４２から出力された画像信号のガンマ値を、表示部６のガンマ特性に適合するように補正する。また、高域強調処理部４４は、ガンマ補正された画像信号により得られる画像のエッジ部分（輪郭）に対応する高周波成分を強調する補正（輪郭強調補正）を行う。
【００３９】
なお、本実施形態では、ノイズリダクション処理部４２をガンマ補正部４３の前段に配置する例、すなわち、画像信号がリニア特性を有する領域にノイズリダクション処理部４２を配置する例を説明するが、本発明はこれに限定されない。ノイズリダクション処理部４２をガンマ補正部４３の後段に配置してもよい。すなわち、画像信号がノンリニア特性を有する領域にノイズリダクション処理部４２を配置してもよい。ただし、ノイズリダクション処理部４２をガンマ補正部４３の後段に配置する場合であっても、その配置位置は高域強調処理部４４の前段であることが好ましい。これは、高域強調処理部４４において画像のエッジ部分に対応する高周波成分が強調された後の画像信号に対して、ノイズリダクション処理部４２で処理を行っても十分なノイズリダクション効果が得られないためである。
【００４０】
表示処理部５は、画像処理部４で種々の処理が施された画像信号を、表示部６で表示可能な形式の信号に変換し、その変換した信号を表示部６に出力する。また、表示部６は、例えばＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等で構成することができ、表示処理部５から供給された信号を画像として表示画面上に表示する。
【００４１】
制御部７は、ＣＰＵ（Central Processing Unit）等より構成され、後述する操作入力部９から供給される操作信号等に基づいて、撮像装置１００を構成する各部の制御を行う。記憶部８は、ＲＯＭ（Read Only Memory）及び／又はＲＡＭ（Random Access Memory）等で構成される。なお、ＲＯＭには、画像処理に必要なプログラムや各種データが格納され、ＲＡＭは、制御部７による各種処理の途中結果を一時的に記憶する作業領域として使用される。
【００４２】
操作入力部９は、例えば、ボタン、つまみ、スイッチ等の操作手段を有する。そして、操作入力部９は、その操作手段を介してユーザからの所定の操作入力を受けて、その内容に応じた操作信号を生成し、該生成した操作信号を制御部７に出力する。
【００４３】
外部Ｉ／Ｆ部１０は、外部機器と接続可能な入出力端子（不図示）を備え、該入出力端子を介して外部機器との間でのデータの入出力を行う。
【００４４】
記録再生処理部１１は、後述する記録媒体１２と接続されており、画像処理部４から出力される画像信号を記録媒体１２に記録する処理、記録媒体１２に記録された画像データを読み出して再生する処理、並びに、その再生信号を表示処理部５に出力する処理を行う。
【００４５】
また、記録媒体１２は、例えばＨＤＤ（Hard Disk Drive）、半導体メモリ、光ディスク等で構成することができる。そして、記録媒体１２は、画像処理部４で処理が施された画像信号や、外部の記録装置等により記録された画像信号等を格納する。
【００４６】
［直線位相−エッジ保存平滑化フィルタの構成］
図２及び３に、直線位相−エッジ保存平滑化フィルタ５０（フィルタ回路）の概略ブロック構成を示す。図３は、直線位相−エッジ保存平滑化フィルタ５０の内部構成を図２よりさらに詳細に示す図である。なお、図２及び３に示す例では、３×３画素のフィルタ枠を有する直線位相−エッジ保存平滑化フィルタ５０について説明する。なお、フィルタ枠は３×３画素に限定されず、映像全体のサイズ、用途等に応じて適宜変更できる。
【００４７】
本実施形態の直線位相−エッジ保存平滑化フィルタ５０には、３×３画素単位の入力画像信号６０（画像信号）が入力される。そして、直線位相−エッジ保存平滑化フィルタ５０は、３×３画素内の中央画素６１（以下、着目画素という）の画素レベルを、着目画素６１の画素レベルと、その周囲に隣接する８つの画素６２（以下、周辺画素という）の画素レベルとを用いて平滑化する。
【００４８】
なお、以下では、フィルタ枠内の各画素の位置Ｘ及び画素レベルＹは、図２中の左から右に向かう方向のインデックスｉ（＝０〜２）と、図２中の下から上に向かう方向のインデックスｊ（＝０〜２）で表わす。例えば、着目画素６１（第１の画素）の位置及び画素レベルはそれぞれＸ１１及びＹ１１と表す。
【００４９】
直線位相−エッジ保存平滑化フィルタ５０は、重み係数処理部５１と、重み付き画素加算部５６（補正処理部）とを備え、入力画像信号６０の入力側から重み係数処理部５１及び重み付き画素加算部５６がこの順で配置される。
【００５０】
重み係数処理部５１は、３×３フィルタ枠内の各画素において、それぞれ重みＷｉｊを算出する。重み係数処理部５１は、図３に示すように、主に、レベル重み係数算出部５２（第１重み係数算出部）と、レベル重み係数調整部５３（第１重み係数調整部）と、空間重み係数供給部５４と、積算部５５（第３重み係数算出部）とで構成される。
【００５１】
レベル重み係数算出部５２は、３×３フィルタ枠内の各画素におけるレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］（第１重み係数）を算出する。本実施形態では、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を、３×３フィルタ枠内の各画素（着目画素６１または周辺画素６２（第２の画素））の画素レベルＹｉｊと、着目画素６１の画素レベルＹ１１との差分（Ｙｉｊ−Ｙ１１）に基づいて算出する。具体的には、下記式により各画素のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を算出する。
【００５２】
【数５】
2010277464.tif 000007
【００５３】
上記式５の演算を実現するため、レベル重み係数算出部５２は、図３に示すように、複数のレベル重み係数算出回路５２ａで構成される。この例では、３×３フィルタ枠を用いているので、レベル重み係数算出部５２内には、９個のレベル重み係数算出回路５２ａを設ける。なお、図３には、説明を簡略化するために、位置Ｘ２０及び位置Ｘ０２の周辺画素６２におけるレベル重み係数Ｗｌｅｖｅｌ［２，０］及びＷｌｅｖｅｌ［０，２］を算出するためのレベル重み係数算出回路５２ａのみを示す。
【００５４】
レベル重み係数算出回路５２ａの２つの入力端子には、それぞれ着目画素６１の画素レベルＹ１１、及び、３×３フィルタ枠内の各画素の画素レベルＹｉｊが入力される。レベル重み係数算出回路５２ａは、入力された着目画素６１の画素レベルＹ１１、及び、各画素の画素レベルＹｉｊに基づいて、上記式５からレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を算出する。そして、レベル重み係数算出回路５２ａは、算出したレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］をレベル重み係数調整部５３に出力する。
【００５５】
レベル重み係数調整部５３は、レベル重み係数算出部５２で求めた各周辺画素６２のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］が、着目画素６１を通る全て軸方向において着目画素６１に対して対称となるように、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整する。バイラテラルフィルタ等のエッジ保存平滑化フィルタはＦＩＲフィルタであるので、フィルタ係数を１次元軸上で、その中心に対して対称にすることにより、位相特性を直線（線形）にすることができる。
【００５６】
ここで、図４に、レベル重み係数調整部５３においてレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を着目画素６１に対し対称とする軸方向を示す。４つの軸方向のうち、２つは着目画素６１の辺部の対向方向（対辺方向）であり、残りの２つは、着目画素６１の対角方向である。より具体的には、対辺方向の一つは、位置Ｘ０１の周辺画素６２から位置Ｘ２１の周辺画素６２に向かう軸方向（図４中のＨ（horizontal）軸方向)である。もう一つの対辺方向は、位置Ｘ１０の周辺画素６２から位置Ｘ１２の周辺画素６２に向かう軸方向（図４中のＶ(vertical)軸方向）である。また、対角方向の一つは、位置Ｘ００の周辺画素６２から位置Ｘ２２の周辺画素６２に向かう軸方向（図４中のＲＵ（right up）軸方向）である。そして、もう一つの対角方向は、位置Ｘ０２の周辺画素６２から位置Ｘ２０の周辺画素６２に向かう軸方向（ＲＤ（right down）軸方向）である。
【００５７】
レベル重み係数調整部５３は、着目画素６１を通る上述の４つの軸方向において、周辺画素６２のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］が着目画素６１に対して対称となるように、各周辺画素６２のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整する。具体的には、本実施形態では、レベル重み係数調整部５３は、下記式に従って、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整する。
【００５８】
【数６】
2010277464.tif 000008
【００５９】
上記式６に従って各画素のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整することにより、全ての軸方向において、周辺画素６２のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］が、着目画素６１に対して対称となる。さらに、本実施形態では、レベル重み係数αｉｊをＷｌｅｖｅｌ［ｉ，ｊ］及びＷｌｅｖｅｌ［２−ｉ，２−ｊ］のうち、小さい方の値に合わせる。すなわち、レベル重み係数αｉｊを下記式で求める。
【００６０】
【数７】
2010277464.tif 000009
【００６１】
レベル重み係数αｉｊをＷｌｅｖｅｌ［ｉ，ｊ］及びＷｌｅｖｅｌ［２−ｉ，２−ｊ］のうち小さい方の値に合わせる理由は、次の通りである。
【００６２】
通常、ノイズは高周波数成分を有するので、フィルタとしてノイズ除去の観点からは高周波数成分を遮断するようにカットオフ周波数が設計される。なお、カットオフ周波数とは、フィルタによってある周波数帯が遮断されるときに、その利得が通過帯域の最大利得の−６ｄＢになる周波数のことである。このカットオフ周波数が低いと、画素レベルの平滑化が強まり、カットオフ周波数が高いと、より高周波数の信号成分が画像中に残る。
【００６３】
そこで、いま、３×３画素のフィルタ内に物体画像のエッジが含まれている場合を考える。この場合、着目画素６１を通過するあらゆる方向のうち、エッジをまたぐ軸方向における空間周波数特性の高周波数域には、エッジに対応する周波数成分が含まれる。それゆえ、エッジをまたぐ軸方向に対しては、エッジに対応する周波数成分を残すためにフィルタのカットオフ周波数をある程度高くすることが好ましい。一方、着目画素６１を通過するあらゆる方向のうち、エッジに沿う方向の空間周波数特性には、エッジに対応する周波数成分が含まれないので、カットオフ周波数をできる限り下げて画素レベルの平滑化をより強めることが好ましい。
【００６４】
本実施形態では、上記式７を満たすようにレベル重み係数αｉｊを設定することにより、各軸方向におけるカットオフ周波数をエッジ方向に応じて変化させ、上述したエッジに対する軸方向とカットオフ周波数との間の２つの条件を満たすことができる。すなわち、本実施形態では、レベル重み係数αｉｊを、上記式７に従って着目画素６１を通るあらゆる方向において対称にすることにより、レベル重み係数の位相の線形性を保ちつつ、エッジ保存平滑化を実現することができる。このことは、後で示す直線位相−エッジ保存平滑化フィルタの周波数特性においてより具体的に説明する。
【００６５】
空間重み係数供給部５４は、３×３フィルタ枠内の各画素における空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］（第２重み係数）を出力する。空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］は、３×３フィルタ枠内の各画素（着目画素６１または周辺画素６２）の位置Ｘｉｊと、着目画素６１の位置Ｘ１１との差分（Ｘｉｊ−Ｘ１１）に基づいて算出される。具体的には、下記式により各画素の空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］が算出される。
【００６６】
【数８】
2010277464.tif 000010
【００６７】
なお、空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］は、着目画素６１を通る全ての軸方向において対称であり、値も一定である。それゆえ、３×３フィルタ枠内の各画素における空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］の分布を予め、テーブルとして、空間重み係数供給部５４に記憶しておいてもよい。また、３×３画素の入力画像信号６０が入力される度に、空間重み係数供給部５４が上記式８に従って空間方向重み係数Ｗｓｐａｃｅ［ｉ，ｊ］を算出してもよい。
【００６８】
積算部５５は、レベル重み係数調整部５３から出力される各画素におけるレベル重み係数αｉｊと、空間重み係数供給部５４から出力される空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］とを積算して、３×３フィルタ枠内の各画素における重みＷｉｊを算出する。具体的には、積算部５５は、次式の演算を行い、重みＷｉｊ（第３重み係数）を算出する。
【００６９】
【数９】
2010277464.tif 000011
【００７０】
上記式９の演算を実現するため、積算部５５は、図３に示すように、複数の積算器５５ａで構成される。この例では、３×３フィルタ枠を用いているので、積算部５５内には、９個の積算器５５ａを設ける。なお、図３には、説明を簡略化するために、位置Ｘ２０及び位置Ｘ０２の周辺画素６２における重みＷ２０及びＷ０２を算出するための積算器５５ａのみを示す。そして、積算部５５は、各積算器５５ａで算出した重みＷｉｊを重み付き画素加算部５６内の後述する積算器５７及び平均化処理部５８に出力する。
【００７１】
重み付き画素加算部５６は、重み係数処理部５１から出力された３×３フィルタ枠内の各画素における重みＷｉｊを用いて、各画素のレベル値Ｙｉｊを重み付けし、その重み付けされた各画素のレベル値を加算して平均化する。そして、このようにして算出されたレベル値を着目画素６１の平滑化処理後のレベル値Ｙ１１′とする。具体的には、重み付き画素加算部５６は、次式の演算を行う。
【００７２】
【数１０】
2010277464.tif 000012
【００７３】
上記式１０の演算を実現するため、重み付き画素加算部５６は、図３に示すように、複数の積算器５７と、平均化処理部５８とで構成される。この例では、３×３フィルタ枠を用いているので、重み付き画素加算部５６内には、９個の積算器５７を設ける。
【００７４】
各積算器５７は、上記式１０中の分子の「Ｗｉｊ×Ｙｉｊ」の値を算出する。なお、図３には、説明を簡略化するために、位置Ｘ２０及び位置Ｘ０２の周辺画素６２に対して、それぞれ「Ｗ２０×Ｙ２０」及び「Ｗ０２×Ｙ０２」の演算を行うための積算器５７のみを示す。そして、各積算器５７は、算出した「Ｗｉｊ×Ｙｉｊ」の値を平均化処理部５８に出力する。
【００７５】
平均化処理部５８は、重み係数処理部５１から出力される各画素の重みＷｉｊと、各積算器５７から出力される「Ｗｉｊ×Ｙｉｊ」の値を用いて、上記式１０の演算を行う。
【００７６】
＜２．画像処理の手順＞
次に、本実施形態における直線位相−エッジ保存平滑化フィルタ５０での画像処理の手順を図５を参照しながら説明する。なお、図５は、画像処理の手順を示すフローチャートである。
【００７７】
まず、直線位相−エッジ保存平滑化フィルタ５０は、着目画素６１を中心とする３×３画素の入力画像信号６０を取得する（ステップＳ１）。この際、各画素のレベル値Ｙｉｊは、重み係数処理部５１及び重み付き画素加算部５６に入力される。次いで、重み係数処理部５１内のレベル重み係数算出部５２は、上記式５に基づいて、３×３画素内の各画素のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を算出する（ステップＳ２）。
【００７８】
ここで、図６（ａ）及び（ｂ）に、ステップＳ２で得られる３×３画素内の各画素の各重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布の一例を示す。図６（ａ）は、空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］の分布例であり、図６（ｂ）は、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布例である。なお、図６（ａ）及び（ｂ）では、３×３画素内において、ＲＤ軸方向（図４参照）に沿って、物体のエッジ６５が存在する例を示す。
【００７９】
ステップＳ２の処理が終了した時点では、従来のバイラテラルフィルタでの処理と同様である。それゆえ、空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］の分布（図６（ａ））は、あらゆる軸方向において、着目画素６１に対して対称となる。しかしながら、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布（図６（ｂ））は、軸方向によっては着目画素６１に対して非対称となり、非直線位相性（非線形性）となる。
【００８０】
次いで、レベル重み係数調整部５３は、３×３画素内の各画素のレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］が、全ての軸方向において着目画素６１に対して対称となるように、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整する（ステップＳ３：直線位相化処理）。この際、上記式７に従って、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］を調整する。そして、レベル重み係数調整部５３は、直線位相化処理によって算出された各画素のレベル重み係数αｉｊを積算部５５に出力する。
【００８１】
ここで、図７（ａ）及び（ｂ）に、ステップＳ３で得られる３×３画素内の各画素の各レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布の一例を示す。図７（ａ）は、空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］の分布例であり、図７（ｂ）は、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布例である。なお、図７（ａ）及び（ｂ）の分布は、図６（ａ）及び（ｂ）で示すレベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］の分布例に対して、ステップＳ３でレベル重み係数の調整処理を施した場合の分布例である。
【００８２】
図７（ｂ）に示す例では、Ｈ軸方向において、位置Ｘ２１の周辺画素６２のレベル重み係数α２１を、位置Ｘ０１の周辺画素６２のレベル重み係数α０１（＝０．５）に合わせて、１から０．５に変更する。また、Ｖ軸方向においては、位置Ｘ１２の周辺画素６２のレベル重み係数α１２を、位置Ｘ１０の周辺画素６２のレベル重み係数α１０（＝０．３）に合わせて、１から０．３に変更する。そして、ＲＵ軸方向においては、位置Ｘ２２の周辺画素６２のレベル重み係数α２２を、位置Ｘ００の周辺画素６２のレベル重み係数α００（＝０．１）に合わせて、１から０．１に変更する。
【００８３】
ステップＳ３では、レベル重み係数調整部５３は、上述のようにして、３×３画素内の全ての軸方向において、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］が着目画素６１に対して対称となるように調整する。なお、空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］の分布は、３×３画素内の全ての軸方向において、着目画素６１に対して対称であり一定である。
【００８４】
次いで、積算部５５は、空間重み係数供給部５４から各画素の空間重み係数Ｗｓｐａｃｅ［ｉ，ｊ］を読み出し、その値を、積算部５５に入力されるレベル重み係数調整後の各画素のレベル重み係数αｉｊと積算してＷｉｊを算出する（ステップＳ４）。そして、積算部５５は、算出した各画素の重みＷｉｊを重み付き画素加算部５６に出力する。
【００８５】
次いで、重み付き画素加算部５６は、入力画像信号６０から直接得られる各画素のレベル値Ｙｉｊと、積算部５５から入力される各画素の重みＷｉｊとを用いて、上記式１０に従って着目画素６１のレベル値Ｙ１１′を算出する（ステップＳ５）。具体的には、入力画像信号６０から直接得られる各画素のレベル値Ｙｉｊと、積算部５５から入力される各画素の重みＷｉｊとを積算器５７で積算し、その積算した値を平均化処理部５８で加算し、その加算値を重みＷｉｊで平均する。
【００８６】
そして、重み付き画素加算部５６は、平滑化処理された着目画素６１のレベル値Ｙ１１′を後段に配置された所定の回路に出力する（ステップＳ６）。本実施形態の直線位相−エッジ保存平滑化フィルタ５０では、上述のようにして、着目画素６１のレベル値Ｙ１１を平滑化する。
【００８７】
＜３．直線位相−エッジ保存平滑化フィルタの周波数特性＞
次に、本実施形態の直線位相−エッジ保存平滑化フィルタ５０におけるレベル重み係数のフィルタ特性の位相成分及び振幅成分（利得）の周波数特性を図８及び９を参照しながら説明する。上述のように、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］（＝αｉｊ）のフィルタ特性は複素数で表されるので、レベル重み係数Ｗｌｅｖｅｌ［ｉ，ｊ］のフィルタ特性の評価では、その位相成分及び振幅成分の両方を評価する必要がある。なお、ここでは、３×３画素内の各画素に対して、図７（ｂ）に示すレベル重み係数を用いた場合のフィルタ特性を説明する。
【００８８】
まず、本実施形態の直線位相−エッジ保存平滑化フィルタにおけるレベル重み係数のフィルタ特性の位相成分の周波数特性について説明する。図８（ａ）〜（ｃ）に、レベル重み係数のフィルタ特性における位相の周波数特性を示す。図８（ａ）は、Ｈ軸方向におけるレベル重み係数のフィルタ特性の位相の周波数特性である。図８（ｂ）は、Ｖ軸方向におけるレベル重み係数のフィルタ特性の位相の周波数特性である。そして、図８（ｃ）は、ＲＵ軸方向におけるレベル重み係数のフィルタ特性の位相の周波数特性である。また、図８（ａ）〜（ｃ）には、比較のため、レベル重み係数に対して直線位相化処理を行わない場合（比較例：従来のバイラテラルフィルタでの画像処理）におけるレベル重み係数のフィルタ特性の位相の周波数特性も併せて示す。なお、比較例のバイラテラルフィルタにおける３×３画素内の各画素のレベル重み係数の分布は、図６（ｂ）に示す分布を用いた。
【００８９】
また、図８（ａ）〜（ｃ）では、横軸に空間周波数を示し、縦軸にレベル重み係数のフィルタ特性における位相を示す。なお、図８（ａ）〜（ｃ）中の実線で示された周波数特性が、本実施形態の特性であり、破線で示された周波数特性が、比較例の特性である。
【００９０】
比較例のバイラテラルフィルタでは、図６（ｂ）に示すように、レベル重み係数の分布はＨ軸方向、Ｖ軸方向及びＲＵ軸方向において着目画素６１に対して非対称になる。それゆえ、レベル重み係数のフィルタ特性の位相は、図８（ａ）〜（ｃ）中の破線特性で示すように空間周波数に対して変動する（非直線となる）。
【００９１】
それに対して、本実施形態の直線位相−エッジ保存平滑化フィルタ５０では、図７（ｂ）に示すように、レベル重み係数の分布は全ての軸方向において着目画素６１に対して対称になる。それゆえ、レベル重み係数のフィルタ特性の位相は、図８（ａ）〜（ｃ）中の実線特性で示すように、空間周波数に対して一定となる。
【００９２】
なお、図示しないが、エッジ６５に沿うＲＤ軸方向では、本実施形態及び比較例とも、周辺画素６２のレベル重み係数は着目画素６１に対して対称であるので、レベル重み係数の位相のフィルタ特性の周波数特性は、いずれの場合も空間周波数に対して一定となる。
【００９３】
以上のことから、本実施形態のように、周辺画素６２のレベル重み係数の分布を、着目画素６１を通る全ての軸方向において着目画素６１に対して対称にすることにより、位相特性が直線となることが分かる。それゆえ、本実施形態では、フィルタ処理後の隣り合う画素間において位相に遅延差が生じず、フィルタ処理後の画像波形が歪まない。
【００９４】
次に、本実施形態の直線位相−エッジ保存平滑型フィルタにおけるレベル重み係数のフィルタ特性の振幅成分（利得）の周波数特性について説明する。図９（ａ）〜（ｃ）に、レベル重み係数のフィルタ特性における振幅の周波数特性を示す。図９（ａ）は、Ｈ軸方向におけるレベル重み係数のフィルタ特性の振幅の周波数特性である。図９（ｂ）は、Ｖ軸方向におけるレベル重み係数のフィルタ特性の振幅の周波数特性である。そして、図９（ｃ）は、ＲＵ軸方向におけるレベル重み係数のフィルタ特性の振幅の周波数特性である。
【００９５】
なお、図９（ａ）〜（ｃ）では、横軸に空間周波数を示し、縦軸にレベル重み係数のフィルタ特性における振幅を示す。また、図９（ａ）〜（ｃ）には、比較例におけるレベル重み係数のフィルタ特性の振幅の周波数特性も併せて示す。図９（ａ）〜（ｃ）中の実線で示された周波数特性が、本実施形態の特性であり、破線で示された周波数特性が、比較例の特性である。なお、ここでは、エッジ６５に沿うＲＤ軸方向における本実施形態及び比較例のレベル重み係数のフィルタ特性の振幅の周波数特性は同じ特性となるので、ここでは省略する。
【００９６】
図９（ａ）〜（ｃ）に示すレベル重み係数のフィルタ特性における振幅の周波数特性から明らかなように、本実施形態では、周辺画素６２のレベル重み係数αｉｊが小さい順、すなわち、ＲＵ軸方向、Ｖ軸方向及びＨ軸方向の順で、カットオフ周波数が高くなりことが分かる。これは、ＲＵ軸方向、Ｖ軸方向及びＨ軸方向の順で、空間周波数特性の高周波数域に残るエッジ６５に対応する周波数成分が多くなることを示している。それゆえ、本実施形態では、エッジ６５に沿う軸方向にはカットオフ周波数を下げて平滑度を上げ、エッジ６５をまたぐ軸方向にはカットオフ周波数を上げてエッジ６５に対応する周波数成分を残すことができる。
【００９７】
なお、このことは、図７（ｂ）に示す周辺画素６２のレベル重み係数αｉｊの分布からも明らかである。図７（ｂ）に示す周辺画素６２のレベル重み係数αｉｊの分布では、レベル重み係数αｉｊは、ＲＵ軸方向、Ｖ軸方向及びＨ軸方向の順で小さいので、平滑度もこの順で小さい。これは、ＲＵ軸方向、Ｖ軸方向及びＨ軸方向の順でエッジ６５付近の画素間でレベル差が大きくなる（エッジが急峻になる）ことを示し、空間周波数特性の高周波数域に残るエッジ６５に対応する周波数成分が多くなることを示している。
【００９８】
また、本実施形態のレベル重み係数のフィルタ特性における振幅の周波数特性と比較例のそれとを比較した場合、特にＲＵ軸方向の特性（図９（ｃ）参照）において、本実施形態の方が、高周波数領域における重みの振幅の低下が非常に緩やかになる。それゆえ、本実施形態で、ＲＵ軸方向のようなエッジ６５に対応する周波数成分をより多く含む軸方向に対しては、その周波数成分をより多く含ませることができ、エッジ６５の保存性をより高めることができる。
【００９９】
上述した本実施形態の直線位相−エッジ保存平滑化フィルタ５０の周波数特性から、本実施形態では、従来のエッジ保存平滑化フィルタの特徴を維持しつつ、レベル重み係数の位相に線形性を付与することができることが分かる。それゆえ、本実施形態の直線位相−エッジ保存平滑化フィルタ５０では、従来のエッジ保存平滑化フィルタと同様の効果に加え、画像の歪みを抑制することができる。また、本実施形態の直線位相−エッジ保存平滑化フィルタ５０では、上記効果以外に、次のような効果が得られる。
【０１００】
従来、重み係数が直線位相性を有するスタティック（重み係数が常に一定）なフィルタが存在する。このようなフィルタでは、一般に、着目画素を中心点として、そこから放射状にフィルタ係数を対称にする。それに対して、本実施形態では、入力された周辺画素６２の画素レベルに応じて、周辺画素６２のレベル重み係数を、着目画素６１を通るあらゆる軸方向に対して対称になるようにアダプティブに調整する。それゆえ、本実施形態では、直線位相性を有するスタティックなフィルタに比べて、エッジの保存性をより高めることができる。
【０１０１】
さらに、本実施形態の直線位相−エッジ保存平滑化フィルタ５０では、位相の直線化（線形化）に伴うリソースインパクト（ハードウェアコスト）を少なくすることができるので、回路実現性が高い。
【０１０２】
なお、上記実施形態では、フィルタ枠が３×３画素の例を説明したが、本発明は、これに限定されない。例えば、３×３画素以上のサイズのフィルタ枠を用いても上述した原理と同様の原理で適用可能である。なお、バイラテラルフィルタ等のエッジ保存平滑化フィルタでは、エッジに沿う軸方向で平滑化の度合いが最大となる。それゆえ、フィルタ枠が大きいほど、そのような効果が得られるフィルタ枠の軸方向が増えるので、フィルタ枠はできる限り大きい方が好ましい。
【０１０３】
また、上記実施形態では、従来のバイラテラルフィルタに本発明を適用する例を説明したが、本発明はこれに限定されない。例えば、εフィルタ、ＮＬ（Non Local）−ｍｅａｎｓフィルタ、トライラテラルフィルタ等のバイラテラルフィルタの派生形フィルタもまた非直線位相性を有するので、これらのフィルタに対しても本発明を同様に適用可能であり、同様の効果が得られる。
【０１０４】
上記実施形態において、画像処理装置（撮像装置）は、専用の装置として構成した例を説明したが、本発明はこれに限定されない。例えば、必要な周辺機器が接続され且つ各種データ処理を行うパーソナルコンピュータ装置に、本発明による画像処理を行うソフトウェア（プログラム）を実装して、本発明の処理を行う構成としてもよい。この場合、本発明の処理を実行するプログラムは、光ディスクや半導体メモリなどの媒体で配布する他に、インターネットなどの伝送手段を介してダウンロードさせる構成としてもよい。
【符号の説明】
【０１０５】
１…レンズ、２…撮像素子、３…Ａ／Ｄコンバータ、４…画像処理部、５…表示処理部、６…表示部、７…制御部、８…記憶部、９…操作入力部、１０…外部Ｉ／Ｆ部、１１…記録再生処理部、１２…記録媒体、４１…光学系センサ系補正部、４２…ノイズリダクション処理部、４３…ガンマ補正部、４４…高域強調処理部、５０…直線位相−エッジ保存平滑化フィルタ、５１…重み係数処理部、５２…レベル重み係数算出部、５３…レベル重み係数調整部、５４…空間重み係数供給部、５５…積算部、５６…重み付き画素加算部、６０…入力画像信号、６１…着目画素、６２…周辺画素、６３…出力画像信号
【図１】
2010277464.tif 000013
【図２】
2010277464.tif 000014
【図３】
2010277464.tif 000015
【図４】
2010277464.tif 000016
【図５】
2010277464.tif 000017
【図６】
2010277464.tif 000018
【図７】
2010277464.tif 000019
【図８】
2010277464.tif 000020
【図９】
2010277464.tif 000021
【図１０】
2010277464.tif 000022