(57)【要約】      （修正有）【課題】ガウス性雑音の重畳した画像に対して雑音の除去と画像の強調を同時並列的に行うことが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供する。【解決手段】フィルタ係数ζの値を供給される指示信号に応じて各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジ強調処理を同時並列的に行うデータ依存型ＡＢＦ１４１と、入力画像信号から抽出した局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する雑音情報取得部１４２と、入力画像信号から抽出した局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する形状情報取得部１４３と、雑音情報および形状情報から、データ依存型ＡＢＦのフィルタ係数ζに対してファジー推論化させたルール表現に従って適切なパラメータを指示信号として供給するファジー推論部１４４とを有する。【選択図】図２
2010113689.tif 000002
【特許請求の範囲】
【請求項１】
画像強調をコントロールするフィルタ係数ζの値を、供給される指示信号に応じて各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うデータ依存型の適応的バイラテラルフィルタ（ＡＢＦ）と、
入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する雑音情報取得部と、
入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する形状情報取得部と、
前記雑音情報取得部による雑音情報および前記形状情報取得部による形状情報から、前記データ依存型ＡＢＦのフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを前記指示信号として前記データ依存型ＡＢＦに供給するファジー推論部と
を有する画像処理装置。
【請求項２】
前記ファジー推論部は、
前記雑音情報および前記形状情報から、平坦でかつ雑音が存在する場合には平坦化作用を多くするためフィルタ係数ζを小さくし、エッジまたは細部信号が存在する場合にはフィルタ係数ζを大きくするようにルールが設定され、当該ルールに従って前記指示信号を供給する
請求項１記載の画像処理装置。
【請求項３】
前記ファジー推論部は、
前記雑音情報および前記形状情報から、エッジまたは細部信号が存在し非平坦と判定され、雑音が少ない場合にはエッジ強調を強くし、エッジまたは細部信号により平坦と判定され、雑音が存在する場合にはエッジ強調を弱くするようにルールが設定され、当該ルールに従って前記指示信号を供給する
請求項１記載の画像処理装置。
【請求項４】
前記ファジー推論部は、
局所領域の平均値と処理点の値との差分をΔとして、
画像信号に雑音があり、形状が平坦な場合である第１のモードでは、前記フィルタ係数ζが０となるように前記指示信号を前記データ依存型ＡＢＦに供給し、
画像信号に雑音がないか少ない場合であり、形状が平坦な場合である第２のモードでは、前記フィルタ係数ζが−Δとなるように、前記指示信号を前記データ依存型ＡＢＦに供給し、
画像信号に雑音があり、形状が非平坦な場合である第３のモードでは、前記フィルタ係数ζがΔとなるように、前記指示信号を前記データ依存型ＡＢＦに供給し、
画像信号に雑音がないか少ない場合であり、形状が非平坦な場合である第４のモードでは、前記フィルタ係数ζが極大または極小となるように、前記指示信号を前記データ依存型に供給する
請求項１記載の画像処理装置。
【請求項５】
前記ファジー推論部は、
前記第４のモードでは、Δが正の値の場合には、処理領域内の最大値と処理点の値の差分を取ったものであり、
Δが負の値の場合には処理領域内の最小値と処理点の値の差分を取った値である
請求項４記載の画像処理装置。
【請求項６】
前記ファジー推論部は、
Δが０であった場合は、前記フィルタ係数ζは０となる
請求項４または請求項５のいずれかに記載の画像処理装置。
【請求項７】
光学系と、
前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、
前記撮像素子の画像信号に画像処理を行う画像処理装置と、を有し、
前記画像処理装置は、
画像強調をコントロールするフィルタ係数ζの値を、供給される指示信号に応じて各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うデータ依存型の適応的バイラテラルフィルタ（ＡＢＦ）と、
入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する雑音情報取得部と、
入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する形状情報取得部と、
前記雑音情報取得部による雑音情報および前記形状情報取得部による形状情報から、前記データ依存型ＡＢＦのフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを前記指示信号として前記データ依存型ＡＢＦに供給するファジー推論部と、を含む
撮像装置。
【請求項８】
入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得するステップと、
入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得するステップと、
前記雑音情報および前記形状情報から、データ依存型の適応的バイラテラルフィルタ（ＡＢＦ）の画像強調をコントロールするフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを指示するステップと、
前記データ依存型ＡＢＦにおいて、前記指示に応じて前記フィルタ係数ζを各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うステップと
を有する画像処理方法。
【請求項９】
雑音情報取得部で、入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する処理と、
形状情報取得部で、入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する処理と、
ファジー推論部で、前記雑音情報および前記形状情報から、データ依存型の適応的バイラテラルフィルタ（ＡＢＦ）の画像強調をコントロールするフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを指示する処理と、
前記データ依存型ＡＢＦにおいて、前記指示に応じて前記フィルタ係数ζを各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行う処理と
を有する画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ等の固体撮像素子により撮像された画像を処理する画像処理装置、撮像装置、画像処理方法、並びにプログラムに関するものである。
【背景技術】
【０００２】
近年、スキャナやデジタルカメラなどに代表されるデジタル画像入力装置が普及し、容易にデジタル画像を得ることが可能となっている。
【０００３】
しかしながら、暗電流の影響や、伝送路中で受けるノイズの影響など、デジタル画像特有の雑音が重畳する問題があり、取得画像からの雑音の除去や低減の研究はこれまでも多く行われている（非特許文献１，２参照）。
【０００４】
これらの雑音は一般的にガウス性雑音とインパルス性雑音の２種類に分けられる。
これらの雑音のうち、ガウス性雑音は、画像入力系としてＣＣＤやＣＭＯＳイメージセンサを採用する撮像装置において影響が大きい。
すなわち、ＣＣＤやＣＭＯＳイメージセンサを採用する撮像装置においては、暗電流や熱雑音の影響によるガウス性雑音が取得画像に重畳する可能性が高い。
【０００５】
ガウス性雑音の除去には平均値フィルタやウィナーフィルタ（Wiener Filter）等の時不変線形フィルタが有効である（非特許文献３参照）。
しかしながら、これらのフィルタはフィルタ窓内の画素の性質にかかわらず一律的な処理を施すため、雑音除去と共に画像のエッジや細部までも劣化させてしまうという不利益がある。
【０００６】
そこで、これらの課題を解決するために、データの状況に応じてフィルタ係数を変化させるデータ依存型フィルタが研究されている（非特許文献４参照）。
データ依存型フィルタは、フィルタ窓内の信号がエッジ部、細部または平坦部のどれかによってフィルタ係数を変化させ、最適なフィルタ係数を与えるものである。
また、非特許文献５，６には、雑音を除去する平滑化フィルタが提案されているが、これらの平滑化フィルタはエッジや細部信号を強調させる効果を持ち合わせてはいない。
【０００７】
これに対して、雑音が重畳した画像に対しての強調処理を施す技術が提案されている（非特許文献７，８，９参照）。
いずれの方法も雑音を強調させずにエッジや細部のみを強調する方法であり、雑音を平滑化する処理は含まれていない。
これは雑音の除去の処理とエッジや細部信号の強調処理が相反するものであり、同時に行うことは困難なためである。
【０００８】
そこで、エッジ保持型平坦化フィルタであるバイラテラルフィルタ（Bilateral Filter、以下BFという）やエッジの強調度合いを増すために適応的バイラテラルフィルタ（Adaptive Bilateral Filter、以下ABFという）が提案されている（非特許文献１０，１１参照）。
特に、ＡＢＦは雑音の除去とエッジの強調を同時に処理することが可能である。
すなわち、ＡＢＦは、エッジを保持しながら雑音を除去する能力を有するＢＦを改良し、エッジの強調を可能にしたフィルタである。
このＡＢＦは、画像のエッジや細部の状態によってクラス分けを行い、各々のクラス毎に固定したパラメータを定めている。
【０００９】
【非特許文献１】R. C. Gonzalez, R. E. Woods，“Digital Image Processing”，Addison-Wesley Publishing，Massachusetts，1993
【非特許文献２】電子情報通信学会編,“ディジタル信号処理ハンドブック”，オーム社，平成5年
【非特許文献３】安居院 猛，中嶋正之，“画像情報処理”，森北出版，1991
【非特許文献４】田口 亮，“信号復元を実現する適応信号処理−データ依存型フィルタ処理”，電子情報通信学会総合大会，1995年秋 基礎・境界ソサイエティ大会講演論文集論文集，pp.240-241,Sep.,1995
【非特許文献５】高島 広憲，田口 亮，田村 裕，“局所統計量を考慮した最適チューニング可能なファジーフィルタの提案”，電子情報通信学会論文誌（A），Vol.J78-A,No.2,pp.141-150，Feb.,1995
【非特許文献６】木村 誠聡，田口 亮，村田 裕，“ELSEルールを加えたファジーフィルタ”，電子情報通信学会論文誌（A），Vol.J79-A，No.2，pp.1649-1651，Sep.,1996
【非特許文献７】木村 誠聡，田口 亮，村田 裕，“ファジー推論を用いた雑音が重畳された画像の強調に関する一手法”，電子情報通信学会論文誌（A），Vol.J81-A，No.9，pp.1247-1256，Sep.,1998
【非特許文献８】大谷 紀子，木村 誠聡，志村 正道，“多数決機械を用いた雑音重畳画像の強調”，電子情報通信学会論文誌（A），Vol.J81-A，No.10，pp.1351〜1357，Oct,.2004
【非特許文献９】Noriko Otani, Tomoaki Kimura, Katsumi Nitta,“Image Enhancement by Committee Machine with Synbiotic Evolution”, the19th workshop on Circuits and Syst-ems,pp.171〜176,April,2006
【非特許文献１０】C. Tomasi and R. manduchi, “Bilateral filtering for gray and color images,”in Proc. Int Cong. Comput.Vis., 1998, pp. 839-846.
【非特許文献１１】Buyue Zhang and Jan P. Allebach,  ”Adaptive Bilateral Filter for Sharpness Enhancement and Noise Removal”, IEEE Transaction on Image Processing, Vol.17, No.5, pp.664〜678,May.,2008
【非特許文献１２】原島 博，小田島 薫，鹿喰 善明，宮川 洋,“ε-分離非線形ディジタルフィルタとその応用”，電子通信学会論文誌（A）， Vol.J65-A， No.4，pp.297-304Apr., 1982．
【発明の開示】
【発明が解決しようとする課題】
【００１０】
ところが、ＡＢＦは、あるクラスに対しては一定のエッジ強調度パラメータをそのクラスの領域に対し施すため、雑音の重畳した画素に対しても雑音を強調するように働く可能性がある。よって、各画素毎に適切な処理が行われているとは言い難い。
換言すれば、ＡＢＦは、画像の強調を行うパラメータを画像のクラス毎に導き出しているものの、クラスによって雑音の多く重畳した画素に対しては雑音を強調させてしまう可能性がある。
【００１１】
本発明は、ガウス性雑音の重畳した画像に対して、雑音の除去と画像の強調を同時並列的に行うことが可能な画像処理装置、撮像装置、画像処理方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の第１の観点の画像処理装置は、画像強調をコントロールするフィルタ係数ζの値を、供給される指示信号に応じて各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うデータ依存型の適応的バイラテラルフィルタ（ＡＢＦ）と、入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する雑音情報取得部と、入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する形状情報取得部と、前記雑音情報取得部による雑音情報および前記形状情報取得部による形状情報から、前記データ依存型ＡＢＦのフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを前記指示信号として前記データ依存型ＡＢＦに供給するファジー推論部とを有する。
【００１３】
好適には、前記ファジー推論部は、前記雑音情報および前記形状情報から、平坦でかつ雑音が存在する場合には平坦化作用を多くするためフィルタ係数ζを小さくし、エッジまたは細部信号が存在する場合にはフィルタ係数ζを大きくするようにルールが設定され、当該ルールに従って前記指示信号を供給する。
【００１４】
好適には、前記ファジー推論部は、前記雑音情報および前記形状情報から、エッジまたは細部信号が存在し非平坦と判定され、雑音が少ない場合にはエッジ強調を強くし、エッジまたは細部信号により平坦と判定され、雑音が存在する場合にはエッジ強調を弱くするようにルールが設定され、当該ルールに従って前記指示信号を供給する。
【００１５】
好適には、前記ファジー推論部は、局所領域の平均値と処理点の値との差分をΔとして、画像信号に雑音があり、形状が平坦な場合である第１のモードでは、前記フィルタ係数ζが０となるように前記指示信号を前記データ依存型ＡＢＦに供給し、画像信号に雑音がないか少ない場合であり、形状が平坦な場合である第２のモードでは、前記フィルタ係数ζが−Δとなるように、前記指示信号を前記データ依存型ＡＢＦに供給し、画像信号に雑音があり、形状が非平坦な場合である第３のモードでは、前記フィルタ係数ζがΔとなるように、前記指示信号を前記データ依存型ＡＢＦに供給し、画像信号に雑音がないか少ない場合であり、形状が非平坦な場合である第４のモードでは、前記フィルタ係数ζが極大または極小となるように、前記指示信号を前記データ依存型に供給する。
【００１６】
また、好適には、前記ファジー推論部は、前記第４のモードでは、Δが正の値の場合には、処理領域内の最大値と処理点の値の差分を取ったものであり、Δが負の値の場合には処理領域内の最小値と処理点の値の差分を取った値である。
また、好適には、前記ファジー推論部は、Δが０であった場合は、前記フィルタ係数ζは０となる。
【００１７】
本発明の第２の観点の撮像装置は、光学系と、前記光学系を通過した被写体像を撮像し、画像信号を出力する撮像素子と、前記撮像素子の画像信号に画像処理を行う画像処理装置と、を有し、前記画像処理装置は、画像強調をコントロールするフィルタ係数ζの値を、供給される指示信号に応じて各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うデータ依存型の適応的バイラテラルフィルタ（ＡＢＦ）と、入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する雑音情報取得部と、入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する形状情報取得部と、前記雑音情報取得部による雑音情報および前記形状情報取得部による形状情報から、前記データ依存型ＡＢＦのフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを前記指示信号として前記データ依存型ＡＢＦに供給するファジー推論部と、を含む。
【００１８】
本発明の第３の観点の画像処理方法は、入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得するステップと、入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得するステップと、前記雑音情報および前記形状情報から、前記データ依存型の適応的バイラテラルフィルタ（ＡＢＦ）の画像強調をコントロールするフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを指示するステップと、前記データ依存型ＡＢＦにおいて、前記指示に応じて前記フィルタ係数ζを各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行うステップとを有する。
【００１９】
本発明の第４の観点は、雑音情報取得部で、入力画像信号から抽出した局所領域情報に従って、当該局所領域内における画像の雑音の重畳の程度を判定するための雑音情報を取得する処理と、形状情報取得部で、入力画像信号から抽出した局所領域情報に従って、当該局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得する処理と、ファジー推論部で、前記雑音情報および前記形状情報から、前記データ依存型の適応的バイラテラルフィルタ（ＡＢＦ）の画像強調をコントロールするフィルタ係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを指示する処理と、前記データ依存型ＡＢＦにおいて、前記指示に応じて前記フィルタ係数ζを各画素毎に可変させ、入力画像信号に対して雑音の除去処理とエッジの強調処理を同時並列的に行う処理とを有する画像処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００２０】
本発明によれば、ガウス性雑音の重畳した画像に対して、雑音の除去と画像の強調を同時並列的に行うことが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態を図面に関連付けて説明する。なお、本実施形態に記載されている数値等はあくまでも一例であり、本発明の権利範囲を何ら限定するものではない。
本実施形態においては、本発明に係る画像処理装置をデジタルカメラ等の撮像装置に採用した場合を例に説明する。
【００２２】
図１は、本発明の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。
【００２３】
撮像装置１００は、図１に示すように、光学系１１０、撮像素子１２０、アナログフロントエンド部（ＡＦＥ）１３０、画像処理装置１４０、カメラ信号処理部１５０、画像表示メモリ１６０、画像モニタリング装置１７０、操作部１８０、および制御装置１９０を有している。
【００２４】
本実施形態においては、撮像装置１００の画像処理装置１４０は、後で詳述するように、ガウス性雑音の重畳した画像に対し、雑音の除去と画像の強調を同時並列的に処理する機能を有する。
画像処理装置１４０は、基本的に、ＡＢＦの画像強調をコントロールするフィルタ係数（パラメータ）ζの値を各画素毎に可変させるデータ依存型バイラテラルフィルタを含んで構成される。
画像処理装置１４０は、局所領域毎の状況から適応的にフィルタ係数を算出し、形状および雑音の２つの情報をファジー推論によって関連付けることで、雑音の除去と効果的なエッジの強調の両立を図ることが可能に構成される。
この画像処理装置１４０のデータ依存型バイラテラルフィルタにかかわる特徴的な構成、機能、および有効性については、後で詳細に説明する。
【００２５】
光学系１１０は、被写体の光学像を撮像素子１２０の撮像面に結像する。
【００２６】
撮像素子１２０は、ＣＣＤやＣＭＯＳイメージセンサにより形成される。
撮像素子１２０は、光学系１１０で取り込んだ像が撮像面に結像され、結像１次画像情報を電気信号の１次画像信号として、アナログフロントエンド部１３０を介して画像処理装置１４０に出力する。
【００２７】
アナログフロントエンド部１３０は、タイミングジェネレータ１３１、およびアナログ／デジタル（Ａ／Ｄ）コンバータ１３２を有する。
タイミングジェネレータ１３１では、撮像素子１２０の駆動タイミングを生成しており、Ａ／Ｄコンバータ１３２は、撮像素子１２０から入力されるアナログ信号をデジタル信号に変換し、画像処理装置１４０に出力する。
【００２８】
画像処理装置１４０は、前段のＡＦＥ１３０からくる撮像画像のデジタル画像信号Ｓ１３０を入力し、ガウス性雑音の重畳した画像に対し、雑音の除去と画像の強調を同時並列的に処理し、処理後の画像信号を後段のカメラ信号処理部（ＤＳＰ）１５０に出力する。
【００２９】
カメラ信号処理部（ＤＳＰ）１５０は、カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の処理を行い、メモリ１６０への格納や画像モニタリング装置１７０への画像表示等を行う。
【００３０】
制御装置１９０は、露出制御を行うとともに、操作部１８０などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、ＡＦＥ１３０、画像処理装置１４０、ＤＳＰ１５０、可変絞り等を制御し、システム全体の調停制御を司る。
【００３１】
以下、本実施形態に係る画像処理装置１４０のより具体的な構成および機能について説明する。
【００３２】
図２は、本実施形態に係る画像処理装置１４０の雑音除去および画像強調処理部の構成例を示すブロック図である。
【００３３】
この雑音除去および画像強調処理部１４０Ａは、図２に示すように、データ依存型ＡＢＦ１４１、雑音情報取得部１４２、形状情報取得部１４３、およびファジー（Ｆｕｚｚｙ）推論部１４４を有する。
【００３４】
データ依存型ＡＢＦ１４１は、ＡＢＦの画像強調をコントロールするパラメータ（フィルタ係数）ζの値を、ファジー推論部１４４の指示信号Ｓ１４４に応じて各画素毎に可変させる。
そして、データ依存型ＡＢＦ１４１は、指示信号Ｓ１４４に応じて、ガウス性雑音が重畳して画像信号Ｓ１３０に対して、雑音の除去処理と効果的なエッジの強調処理を同時並列的に行う。
【００３５】
雑音情報取得部１４２は、画像信号Ｓ１３０から抽出した局所領域情報に従って、その局所領域内における画像の雑音（ノイズ）の重畳の程度を判定するための雑音情報を取得し、取得した雑音情報Ｓ１４２をファジー推論部１４４に出力する。
雑音情報取得部１４２は、局所領域として、処理点を中心にして３×３の領域を抽出する。
【００３６】
形状情報取得部１４３は、画像信号Ｓ１３０から抽出した局所領域情報に従って、その局所領域内に画像のエッジまたは細部信号が存在するか否かを判定するための形状情報を取得し、取得した形状情報Ｓ１４３をファジー推論部１４４に出力する。
形状情報には、たとえば平坦であるか、非平坦であるかの情報が含まれる。
形状情報取得部１４３は、局所領域として、処理点を中心にして５×５の領域を抽出する。
【００３７】
ファジー推論部１４４は、雑音情報Ｓ１４２および形状情報Ｓ１４３から、フィルタの係数ζに対して、ファジー推論化させたルール表現に従って適切なパラメータを指示信号Ｓ１４４としてデータ依存型ＡＢＦ１４１に与える。
ファジー推論部１４４は、雑音情報Ｓ１４２および形状情報Ｓ１４３から、平坦でかつ雑音が存在する場合には平坦化作用を多くするためフィルタ係数ζを小さくし、逆にエッジや細部信号が存在する場合にはフィルタ係数ζを大きくするというルールを設定する。
【００３８】
図３は、本実施形態に係る雑音除去および画像強調処理部１４０Ａの基本的な処理フローを示す図である。
【００３９】
雑音除去および画像強調処理部１４０Ａは、初期化後（ＳＴ１）、雑音情報取得部１４２および形状情報取得部１４３に内包されている局所領域抽出部で処理点と近傍境界領域画素の抽出を行う（ＳＴ２）。
次に、雑音情報取得部１４２および形状情報取得部１４３で局所領域の雑音情報および形状情報の算出を行う（ＳＴ３）。
次に、雑音情報および形状情報からファジー推論によるフィルタ係数ζを可変するためのパラメータを算出する（ＳＴ４）。
データ依存型ＡＢＦ１４１で処理点画素の算出を行う（ＳＴ５）。
そして、全ての画素の算出が終了するまでステップＳＴ２〜ＳＴ５の処理を繰り返す（ＳＴ６）。
【００４０】
以下に、ＢＦとＡＢＦについて考察してデータ依存型ＡＢＦ処理を採用した理由について説明した後、本実施形態に係るデータ依存型ＡＢＦ処理、ファジー推論処理、雑音情報および形状情報取得の具体的な処理例について説明する。
【００４１】
まず、ＢＦとＡＢＦについて考察してデータ依存型ＡＢＦ処理を採用した理由について述べる。
【００４２】
［ＢＦとＡＢＦ］
ＢＦ（Bilateral Filter）は以下の式（1）、（2）、（3）で表わされ、エッジを保持しながら雑音を除去できる非線形フィルタであり、画像を平坦化する項とエッジの平滑化を抑制する項により構成されている。
図４は、ＢＦを表す式を図解して示す図である。
【００４３】
【数１】
2010113689.tif 000003
【００４４】
【数２】
2010113689.tif 000004
【００４５】
【数３】
2010113689.tif 000005
【００４６】
2010113689.tif 000006
また、エッジや細部信号を判断する部分は式（3）の右辺第２項である。
【００４７】
ところが、ＢＦでは、エッジの強調と雑音の平滑化は充分であるとは言えず、そこで、ＢＦを改良してエッジの強調能力を持たせたＡＢＦが提案されている。
この方法は画像をいくつかのクラスに分類し、処理画像から導出したパラメータζをＢＦの保持部の式に加えることによりクラス毎に適切なエッジ強調をさせるものであり、上記式（1）、並びに下記（4）、（5）で与えられる。
【００４８】
【数４】
2010113689.tif 000007
【００４９】
【数５】
2010113689.tif 000008
【００５０】
しかしながら、ＡＢＦにおいて、パラメータζはクラスに対して一律的な係数であり、雑音が多く重畳した画像では適切なパラメータを与えている保証はない。
そこで、画像の局所領域毎の性質に合わせて適切なパラメータζを変化させることが望ましいと考えられる。
そこで、本実施形態においては、上記したデータ依存処理を用いたＡＢＦが適用されている。
【００５１】
［データ依存処理を用いたＡＢＦ］
本実施形態においては、ＡＢＦの画像強調用のフィルタ係数（パラメータ）ζに対して、処理点とその周辺領域（局所領域）における状況に合わせ雑音除去とエッジの強調の処理の度合いを決定する。
その度合いを決定するため、局所領域内にエッジまたは細部信号が存在するか否かの形状情報と雑音が存在するか否かの雑音情報の２つの情報を取得する。
上述したように、この２つの情報から、平坦でかつ雑音が存在する場合には平坦化作用を多くするためフィルタ係数ζを小さくし、逆にエッジや細部信号が存在する場合にはフィルタ係数ζを大きくするというルールを設定する。
これらのルール表現をファジー推論化させることで、図２に示すように、ζに対して適切なパラメータを与える。
【００５２】
図５は、本実施形態に係る雑音情報と形状情報を用いたファジールールを示す図である。
【００５３】
このファジールールでは、４つのモードが存在する。
第１のモードは、画像信号に雑音があり、形状が平坦な場合である。この場合、ζ＝０となるように指示信号Ｓ１４４がデータ依存型ＡＢＦ１４１に与えられる。
第２のモードは、画像信号に雑音がないか少ない場合であり、形状が平坦な場合である。この場合、ζ＝−Δとなるように、指示信号Ｓ１４４がデータ依存型ＡＢＦ１４１に与えられる。
第３のモードは、画像信号に雑音があり、形状が非平坦な場合である。この場合、ζ＝Δとなるように指示信号Ｓ１４４がデータ依存型ＡＢＦ１４１に与えられる。
第４のモードは、画像信号に雑音がないか少ない場合であり、形状が非平坦な場合である。この場合、ζ＝極大（ＭＡＸ）または極小（ＭＩＮ）となるように、指示信号Ｓ１４４がデータ依存型ＡＢＦ１４１に与えられる。
【００５４】
ここで、Δは局所領域の平均値から処理点の値への差分を取ったものであり、第４のモードでは、Δが正の値の場合には、処理領域内の最大値と処理点の値の差分を取ったものであり、Δが負の値の場合には処理領域内の最小値と処理点の値の差分を取った値である。また、Δが０であった場合はζ＝０となる。
【００５５】
［雑音情報と形状情報］
雑音情報取得部１４３における雑音情報の抽出（取得）にはεフィルタを使用し、ガウス性雑音の小振幅成分の量を計測する（たとえば非特許文献１２参照）。
具体的には、次式(6)で与えられる小振幅成分ｕを用いる。
【００５６】
【数６】
2010113689.tif 000009
【００５７】
ここで、Ｍ，Ｍ´，Ｎ，Ｎ´は各々３と定め、ａｋ，ｌはｋ，ｌによらず１／９とする。
【００５８】
εフィルタの形態として数種類存在するが、本実施形態では局所領域内における雑音成分のみを抽出したいため、図６で示すように小振幅信号のみを抽出可能な形態を採用する。
【００５９】
形状情報は原信号近傍の平坦部や、エッジ部等の形状に関する情報が得ることができ、次式で与えられる。
【００６０】
【数７】
2010113689.tif 000010
【００６１】
【数８】
2010113689.tif 000011
【００６２】
ここで、var（i、j）はフィルタ窓内のデータの局所分散を示し、σｎ２（i、j）は原信号の推定分散である。
なお、本実施形態では、たとえば与えられる雑音をσｎ２＝２００と推定する。
【００６３】
図７は、分散２００のガウス性雑音重畳画像から抽出した形状情報を示す図である。
図８は、分散２００のガウス性雑音重畳画像から抽出した雑音情報を示す図である。
なお、図８は視覚的に分かりやすくするため、雑音を黒に、他は白に置き換えている。
【００６４】
図７および図８から、本実施形態において雑音画像より得られる２つの情報は十分であることが伺える。
【００６５】
［ファジー推論によるパラメータζの決定］
次に、ファジー推論部１４４におけるファジー推論によるパラメータζの決定方法について説明する。
図５に示したファジーテーブルは以下のファジールールにより定義される。
【００６６】
【数９】
2010113689.tif 000012
【００６７】
ここで、ｋｐは形状情報のファジー集合を、ｚｑは雑音情報のファジー集合を表す。またファジールールにおける適合度μｉは式（10）で与えられる。
【００６８】
【数１０】
2010113689.tif 000013
【００６９】
本実施形態において、データ依存型ＡＢＦの係数ζは非ファジー化手続きにより式（11）で算出される。
【００７０】
【数１１】
2010113689.tif 000014
【００７１】
ここで、μｋｐ、μｚｑは形状情報及び雑音情報のファジー集合ｋ、ｚに対するメンバーシップ関数であり各々の情報に対するファジー集合は図９および図１０のように設定され、これらのファジー集合は各々2つのパラメータα、βおよびγ、δにより決定される。
ここで、形状情報Ｋは0．0〜1．0の値をとり、雑音情報ｚは0〜255の値をとりうる可能性がある。
なお、図９は、形状情報のファジー集合を示す図であり、図１０は、雑音情報のファジー集合を示す図である。
【００７２】
次に、適用例について述べる。
【００７３】
［評価関数］
本実施形態に係る雑音除去および画像強調処理部１４０Ａの評価は、詳細分散(ＤＶ)および背景分散(ＢＶ)を用いる。
このとき詳細分散ＤＶ、背景分散ＢＶは領域Ａ，Ｂにおいては以下のように定義される。
【００７４】
【数１２】
2010113689.tif 000015
【００７５】
【数１３】
2010113689.tif 000016
【００７６】
領域Ａは、局所領域における分散がしきい値ｔｈ以上の点から構成される画像のエッジや細部に当たる領域であり、領域Ｂは、局所領域における分散がしきい値ｔｈより小さい点から構成される画像の平坦部分に対応する領域である。
Ｍは領域Ａの画素数、Ｋは画像の全画素数を示している。
また、ｋ，ｌは局所領域を示し、本実施形態ではｋ＝ｌ＝３とする。
しきい値は画像のヒストグラムを２値化処理して得られる値としている。このときの値は非特許文献７より本実施例で用いている画像については４３とした。
これらの評価値は、詳細分散ＤＶが大きい値であるとき画像が強調されていることを示し、背景分散ＢＶが小さい値であるときは雑音が抑制されていることを示す。
【００７７】
［ファジー集合のパラメータチューニング］
本実施形態では、ファジー集合のパラメータのチューニングに実験的手法を用いる。
方法としてα、β、γ、δを徐々に変化させ、各パラメータを組み合わせた結果、最適な詳細分散ＤＶおよび背景分散ＢＶの値を主観的に判断し、最適なパラメータを決定する。
【００７８】
図１１は、α=0．5、β=1．0の場合にγとδを動かしたときの詳細分散ＤＶの値を求めた図である。
また、図１２は、α=0．5、β=1．0の場合にγとδを動かしたときの背景分散ＢＶの値を求めた図である。
これらの結果より、各々のパラメータ値をα＝0．0、β＝1．0、γ＝0、δ＝3とした。
以下の適用例ではこれらのパラメータを用いる。
【００７９】
［画像信号を用いた適用例］
ここでは、本実施形態に係る方法の有効性を示すために、理想画像に分散４００のガウス性雑音を重畳させた画像に対して、従来法と本方法を適用し、比較検討する。
【００８０】
従来法は平均値フィルタを施した後にＵＭを適用した方法、非特許文献１０，１１のＢＦ、ＡＢＦ(ζ=Δ)とした。
表１は各々の方法の処理結果を示している。
【００８１】
【表１】
2010113689.tif 000017
【００８２】
表示において、入力画像とは、σｎ２＝４００のガウス性雑音重畳画像である。
詳細分散ＤＶの地が大きい程、エッジや細部が強調されていると考えられ、背景分散ＢＶの値が小さい程、雑音が除かれていると考えられる。
つまり、詳細分散ＤＶが大きく、かつ、背景分散ＢＶも大きい場合エッジや細部は強調されているものの、雑音も同時に強調されてしまっていると考えられる。
また反対に、詳細分散ＤＶや背景分散ＢＶが小さい場合、雑音は除去されているものの、エッジや細部も一緒に劣化してしまっていると考えられる。
つまり、詳細分散ＤＶ、背景分散ＢＶはバランスが重要であると考えられる。
表１を見ると、本実施形態に係る方法は詳細分散ＤＶ、背景分散ＢＶ共にバランスのとれた値を示しており、適切なエッジや細部の強調と雑音除去がなされていることがわかる。
【００８３】
図１３〜図１７に、各手法による処理画像を示す。
図１３は、σｎ２＝４００のガウス性雑音重畳画像(入力画像)を示す図である。
図１４は、平均値フィルタ＋ＵＭによる画像を示す図である。
図１５は、ＢＦを用いた場合の画像を示す図である。
図１６は、ＡＢＦ(ζ=Δ)を用いた場合の画像を示す図である。
図１７は、本実施形態に係る方法（本方法）による画像を示す図である。
【００８４】
これらの図より、処理画像のうち本方が主観的にもバランスの良い処理が施されていることがわかる。
【００８５】
以上説明したように、本実施形態によれば、データ依存型ＡＢＦの処理を実現するために、画像のエッジや細部信号を判定するための情報と、画像にどれ程の雑音が重畳しているかを判断する情報の２つをファジー推論によって関連付け、処理点に対し適切なフィルタ係数を与える。
これにより、画素毎に適切なパラメータを導出し、雑音を除去しながら、より効果的なエッジ強調の実現を行うことが可能となる。
すなわち、本実施形態によれば、雑音が重畳している部分では雑音を除去しつつ、エッジや細部信号に対しては良好な強調結果を導くことが可能となる。
【００８６】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【００８７】
【図１】本発明の実施形態に係る画像処理装置を採用した撮像装置の構成例を示すブロック図である。
【図２】本実施形態に係る画像処理装置の雑音除去および画像強調処理部の構成例を示すブロック図である。
【図３】本実施形態に係る雑音除去および画像強調処理部の基本的な処理フローを示す図である。
【図４】ＢＦを表す式を図解して示す図である。
【図５】本実施形態に係る雑音情報と形状情報を用いたファジールールを示す図である。
【図６】εフィルタの形態を示す図である。
【図７】分散２００のガウス性雑音重畳画像から抽出した形状情報を示す図である。
【図８】分散２００のガウス性雑音重畳画像から抽出した雑音情報を示す図である。
【図９】形状情報のファジー集合を示す図である。
【図１０】雑音情報のファジー集合を示す図である。
【図１１】α=0．5、β=1．0の場合にγとδを動かしたときの詳細分散ＤＶの値を求めた図である。
【図１２】α=0．5、β=1．0の場合にγとδを動かしたときの背景分散ＢＶの値を求めた図である。
【図１３】σｎ２＝４００のガウス性雑音重畳画像(入力画像)を示す図である。
【図１４】平均値フィルタ＋ＵＭによる画像を示す図である。
【図１５】ＢＦを用いた場合の画像を示す図である。
【図１６】ＡＢＦ(ζ=Δ)を用いた場合の画像を示す図である。
【図１７】本実施形態に係る方法（本方法）による画像を示す図である。
【符号の説明】
【００８８】
１００・・・撮像装置、１１０・・・光学系、１２０・・・撮像素子、１３０・・・アナログフロントエンド部（ＡＦＥ）、１４０・・・画像処理装置、１４１・・・データ依存型ＡＢＦ、１４２・・・雑音情報取得部、１４３・・・形状情報取得部、１４４・・・ファジー（Ｆｕｚｚｙ）推論部、１５０・・・カメラ信号処理部、１６０・・・画像表示メモリ、１７０・・・画像モニタリング装置、１８０・・・操作部、１９０・・・制御装置。
【図１】
2010113689.tif 000018
【図２】
2010113689.tif 000019
【図３】
2010113689.tif 000020
【図４】
2010113689.tif 000021
【図５】
2010113689.tif 000022
【図６】
2010113689.tif 000023
【図７】
2010113689.tif 000024
【図８】
2010113689.tif 000025
【図９】
2010113689.tif 000026
【図１０】
2010113689.tif 000027
【図１１】
2010113689.tif 000028
【図１２】
2010113689.tif 000029
【図１３】
2010113689.tif 000030
【図１４】
2010113689.tif 000031
【図１５】
2010113689.tif 000032
【図１６】
2010113689.tif 000033
【図１７】
2010113689.tif 000034