(57)【要約】【課題】ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させること。【解決手段】本発明に係る画像処理装置は、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出部と、前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う複数のエッジ検出部と、前記複数のエッジ検出部のそれぞれに対応して設けられ、対応する当該エッジ検出部により検出された前記エッジ成分に対して、前記コントラスト値に応じたゲイン調整を行う複数のゲイン調整部と、前記複数のゲイン調整部のそれぞれに対応して設けられ、検出された前記エッジ成分を平滑化する複数のスムージング処理部と、前記複数のスムージング処理部からそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正部と、を備える。【選択図】図３
2014110624.tif 000002
【特許請求の範囲】
【請求項１】
入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出部と、
前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う複数のエッジ検出部と、
前記複数のエッジ検出部のそれぞれに対応して設けられ、対応する当該エッジ検出部により検出された前記エッジ成分に対して、前記コントラスト値に応じたゲイン調整を行う複数のゲイン調整部と、
前記複数のゲイン調整部のそれぞれに対応して設けられ、検出された前記エッジ成分を平滑化する複数のスムージング処理部と、
前記複数のスムージング処理部からそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正部と、
を備える
ことを特徴とする、画像処理装置。
【請求項２】
前記スムージング処理部は、検出された前記エッジ成分の方向を特定した後、当該エッジ成分の方向の加重平均を算出して前記エッジ成分を平滑化する
ことを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記画像補正部は、前記複数のスムージング処理部からそれぞれ出力された出力値の合計を算出してエッジ強調量とし、当該エッジ強調量を前記入力画像に対して加算することでエッジ強調処理を行う
ことを特徴とする、請求項１又は２に記載の画像処理装置。
【請求項４】
前記複数のゲイン調整部のそれぞれは、互いに異なるゲイン補正曲線と、前記コントラスト値に応じて、前記ゲイン調整を行う
ことを特徴とする、請求項１〜３の何れか１項に記載の画像処理装置。
【請求項５】
前記複数のゲイン調整部は、前記エッジ強調処理の後段に画像サイズの変更処理が行われる場合、対応する前記ゲイン補正曲線の特性を前記画像サイズの変更処理に応じて変化させた上で前記ゲイン調整を行う
ことを特徴とする、請求項４に記載の画像処理装置。
【請求項６】
入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出ステップと、
前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行うエッジ検出ステップと、
前記互いに異なる周波数帯域において、検出された前記エッジ成分に対して前記コントラスト値に応じたゲイン調整を互いに独立して行うゲイン調整ステップと、
前記互いに異なる周波数帯域において、検出された前記エッジ成分を互いに独立に平滑化するスムージング処理ステップと、
前記スムージング処理ステップにてそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正ステップと、
を含む
ことを特徴とする、画像処理方法。
【請求項７】
コンピュータに、
入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出機能と、
前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う複数のエッジ検出機能と、
前記複数のエッジ検出機能のそれぞれに対応して設けられ、対応する当該エッジ検出機能により検出された前記エッジ成分に対して、前記コントラスト値に応じたゲイン調整を行う複数のゲイン調整機能と、
前記複数のゲイン調整機能のそれぞれに対応して設けられ、検出された前記エッジ成分を平滑化する複数のスムージング処理機能と、
前記複数のスムージング処理機能からそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
画像の輪郭成分を強調することで画像のシャープネス（鮮鋭度）を向上させる輪郭補正処理は、デジタル画像、例えばデジタルスチルカメラによって撮像された画像の画質改善に有効な処理である。そのため、従来、画像の輪郭成分を強調するエッジ強調処理について、様々な技術が提案されている。
【０００３】
例えば、以下の特許文献１では、輪郭成分の強度を変換するための変換条件として、入力されたデータの値が大きくなるに従って、入力データの値の変化に対する出力データの値の変化の傾き（ゲイン）が小さくなるように定められた変換特性を用いることで、原画像中のコントラストが低い非エッジ部分については輪郭成分の強度を大幅に増大させる一方で、原画像中のコントラストが高いエッジ部分については輪郭成分の強度の増大を抑制する技術が提案されている。
【０００４】
また、以下の特許文献２では、画素値の勾配が最も大きなエッジ勾配方向、及び、このエッジ勾配方向に直交するエッジ方向に対してそれぞれエッジ強調処理及び平滑化処理を行うことで画質を向上させ、異なる特性によりエッジ勾配方向及びエッジ方向を検出し、特性毎にエッジ強調処理及び平滑化処理を行った後、各特性の処理結果を合成する技術が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１２９１７６号公報
【特許文献２】特開２００６−２２１４０３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に記載の技術は、画像のコントラストに基づいてエッジ強調のゲインをコントロールする方法である。しかしながら、上記特許文献１に記載の技術では、低コントラスト領域のノイズを強調してしまう懸念がある。
【０００７】
また、上記特許文献２に記載の技術は、複数の異なる特性によるエッジを検出し、それぞれ強調・平滑化処理を行い、結果を統合して画質を向上させる方法である。しかしながら、それぞれの特性毎に強調・平滑化処理を画像に施した結果を統合する際、エッジ方向誤判定などが生じてしまうと、他の特性で正しく判定できた結果が存在したとしても悪影響を無視できないという問題がある。また、エッジ方向の信頼度を算出して、それぞれの結果をブレンドするパラメータとしているが、隣接画素の差分値をベースにしており、ノイズの影響を受けやすく大きな効果を期待できないという問題がある。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させることが可能な、画像処理装置、画像処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出部と、前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う複数のエッジ検出部と、前記複数のエッジ検出部のそれぞれに対応して設けられ、対応する当該エッジ検出部により検出された前記エッジ成分に対して、前記コントラスト値に応じたゲイン調整を行う複数のゲイン調整部と、前記複数のゲイン調整部のそれぞれに対応して設けられ、検出された前記エッジ成分を平滑化する複数のスムージング処理部と、前記複数のスムージング処理部からそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正部と、を備える画像処理装置が提供される。
【００１０】
かかる構成によれば、コントラスト算出部は、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出し、複数のエッジ検出部は、入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行い、複数のゲイン調整部は、複数のエッジ検出部のそれぞれに対応して設けられ、対応する当該エッジ検出部により検出されたエッジ成分に対して、コントラスト値に応じたゲイン調整を行い、複数のスムージング処理部は、複数のゲイン調整部のそれぞれに対応して設けられ、検出されたエッジ成分を平滑化し、画像補正部は、複数のスムージング処理部からそれぞれ出力された出力値に基づいて、入力画像に対してエッジ強調処理を行う。これにより、ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させることが可能となる。
【００１１】
前記スムージング処理部は、検出された前記エッジ成分の方向を特定した後、当該エッジ成分の方向の加重平均を算出して前記エッジ成分を平滑化することが好ましい。これにより、ノイズ成分や斜め線のジャギーを抑制したエッジ強調が可能となる。
【００１２】
前記画像補正部は、前記複数のスムージング処理部からそれぞれ出力された出力値の合計を算出してエッジ強調量とし、当該エッジ強調量を前記入力画像に対して加算することでエッジ強調処理を行うことが好ましい。これにより、ノイズの影響を減らしつつ画像品質を高めることが可能となる。
【００１３】
前記複数のゲイン調整部のそれぞれは、互いに異なるゲイン補正曲線と、前記コントラスト値に応じて、前記ゲイン調整を行うことが好ましい。これにより、複数のパスにおいて抽出されたそれぞれの周波数成分に対し、周辺領域のコントラストに基づいてゲイン調整を行うことが可能となり、ノイズの影響を減らしつつ画像品質を高めることが可能となる。
【００１４】
前記複数のゲイン調整部は、前記エッジ強調処理の後段に画像サイズの変更処理が行われる場合、対応する前記ゲイン補正曲線の特性を前記画像サイズの変更処理に応じて変化させた上で前記ゲイン調整を行ってもよい。これにより、画像サイズの変更処理後の画像を高品質に保つことが可能となる。
【００１５】
また、上記課題を解決するために、本発明の別の観点によれば、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出ステップと、前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行うエッジ検出ステップと、前記互いに異なる周波数帯域において、検出された前記エッジ成分に対して前記コントラスト値に応じたゲイン調整を互いに独立して行うゲイン調整ステップと、前記互いに異なる周波数帯域において、検出された前記エッジ成分を互いに独立に平滑化するスムージング処理ステップと、前記スムージング処理ステップにてそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正ステップと、を含む画像処理方法が提供される。
【００１６】
かかる構成によれば、コントラスト算出ステップでは、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値が算出され、エッジ検出ステップでは、入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出が行われ、ゲイン調整ステップでは、互いに異なる周波数帯域において、検出された前記エッジ成分に対して前記コントラスト値に応じたゲイン調整が互いに独立して行われ、スムージング処理ステップでは、互いに異なる周波数帯域において、検出された前記エッジ成分が互いに独立に平滑化され、画像補正ステップでは、スムージング処理ステップにてそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理が行われる。これにより、ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させることが可能となる。
【００１７】
また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、入力画像のコントラストを検出して、検出した当該コントラストに対応するコントラスト値を算出するコントラスト算出機能と、前記入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う複数のエッジ検出機能と、前記複数のエッジ検出機能のそれぞれに対応して設けられ、対応する当該エッジ検出機能により検出された前記エッジ成分に対して、前記コントラスト値に応じたゲイン調整を行う複数のゲイン調整機能と、前記複数のゲイン調整機能のそれぞれに対応して設けられ、検出された前記エッジ成分を平滑化する複数のスムージング処理機能と、前記複数のスムージング処理機能からそれぞれ出力された出力値に基づいて、前記入力画像に対してエッジ強調処理を行う画像補正機能と、を実現させるためのプログラムが提供される。
【００１８】
かかる構成によれば、コンピュータを、上記画像処理装置として機能させることが可能となる。
【発明の効果】
【００１９】
以上説明したように本発明によれば、互いに異なる周波数帯域で互いに独立してゲイン調整処理を行い、各周波数帯域における処理結果を統合してエッジ強調処理を行うことで、ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させることが可能となる。
【図面の簡単な説明】
【００２０】
【図１】本発明の第１の実施形態に係る撮像装置の構成の一例を示したブロック図である。
【図２】同実施形態に係る画像処理部の構成の一例を示したブロック図である。
【図３】同実施形態に係るエッジ強調部の構成の一例を示したブロック図である。
【図４】同実施形態に係るエッジ強調部について説明するための説明図である。
【図５】同実施形態に係るエッジ強調部について説明するための説明図である。
【図６】同実施形態に係るエッジ強調部について説明するための説明図である。
【図７】同実施形態に係る撮像方法の流れの一例を示した流れ図である。
【図８】実施例について説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
（第１の実施形態）
＜画像処理装置の構成について＞
以下では、図１〜図６を参照しながら、本発明の第１の実施形態に係る画像処理装置の構成について、詳細に説明する。なお、以下では、本実施形態に係る画像処理装置が、被写体を撮像することが可能な撮像装置として実現されている場合を例に挙げて、説明を行うものとする。
【００２３】
図１は、本実施形態に係る画像処理装置の構成の一例を示したブロック図である。図１に示したように、撮像装置として機能する本実施形態に係る画像処理装置１０は、ＣＰＵ／ＤＳＰ１０１、ＲＯＭ、１０３、ＲＡＭ１０５、撮像光学系１０７、撮像素子１０９、光学系駆動部１１１、画像処理部１１３、投光光源１１５、表示制御部１１７、ＬＣＤ／ＥＶＦ１１９、操作インタフェース（Ｉ／Ｆ）１２１、操作部１２３、記録メディアＩ／Ｆ１２５及び記録メディア１２７等を主に備える。
【００２４】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）／ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０１は、演算処理装置および制御装置として機能し、ＲＯＭ１０３やＲＡＭ１０５等に記録された各種プログラムに従って、撮像装置１０内の動作全般またはその一部を制御する。ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０３は、ＣＰＵ／ＤＳＰ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０５は、ＣＰＵ／ＤＳＰ１０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるバスにより相互に接続されている。
【００２５】
これらＣＰＵ／ＤＳＰ１０１、ＲＯＭ１０３、ＲＡＭ１０５等が互いに連携することで、撮像装置１０のオートフォーカス（ＡＦ）を制御するＡＦ部や、自動露光（ＡＥ）を制御するＡＥ部や、ホワイトバランスを自動制御するＡＷＢ部等が実現されることとなる。
【００２６】
撮像光学系１０７は、後述する光学系駆動部１１１による駆動制御のもとで、被写体からの光を後述する撮像素子１０９の受光面に入射させる。これにより、撮像素子１０９において、受光面に入射した光が電気信号へと変換され、撮像画像が生成されることとなる。この撮像光学系１０７は、例えば、ズームレンズやフォーカスレンズ等のレンズ群、絞り、シャッター、ＮＤフィルタ等から構成されている。
【００２７】
撮像光学系１０７により導光された光（雰囲気光やフラッシュ光等を含む。）は、撮像光学系１０７の後段に設けられた撮像素子１０９の受光面に入射する。撮像素子１０９は、受光素子が２次元状に配列された受光面を有しており、この受光面に入射した光を、その光量に応じた電気信号へと変換する。この電気信号を１つ又は複数の受光素子によって構成される画素毎に順次読み出すことで、入射した光に応じた画像が生成されることとなる。なお、撮像素子１０９において画素信号がリセットされるタイミングや画素信号が読みだされるタイミングは、後述する光学系駆動部１１１により制御される。本実施形態に係る撮像装置１０では、撮像素子１０９の種類は特に限定されず、ＣＭＯＳセンサやＣＣＤセンサ等のように、公知の撮像素子を利用することが可能である。撮像素子１０９によって生成された電気信号（すなわち、撮像画像）は、後述する画像処理部１１３へと出力される。
【００２８】
光学系駆動部１１１は、撮像光学系１０７を構成するレンズ群、絞り、シャッター、ＮＤフィルタ等の部材や、撮像素子１０９の駆動制御を行う処理部である。光学系駆動部１１１が、レンズ群の焦点位置や、絞りの開閉度合いや、シャッターの開閉タイミングや、撮像素子１０９の読み出しタイミング等を制御することで、被写体を撮像した撮像画像が生成されることとなる。光学系駆動部１１１の具体的な構成については特に限定されるものではなく、公知のあらゆる技術を利用することが可能である。
【００２９】
画像処理部１１３は、撮像素子１０９により生成された撮像画像に対して、公知の前処理及び後処理等を含む各種の画像処理を実施する。また、画像処理部１１３は、撮像素子１０９によって生成された撮像画像を圧縮する圧縮処理を行うことも可能である。更に、本実施形態に係る画像処理部１１３は、撮像素子１０９によって撮像された撮像画像に対して以下で詳述するようなエッジ強調処理を行う。この画像処理部１１３の詳細な構成については、以下で詳述する。
【００３０】
投光光源１１５は、被写体を撮像する際に投光される各種の光の光源である。このような投光光源１１５として、例えば、フラッシュ光として用いられるキセノン光源や、オートフォーカス（ＡＦ）用に撮像装置に予め設けられている光源や、赤目補正用に予め設けられている光源等を挙げることができる。
【００３１】
表示制御部１１７は、後述するＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：液晶ディスプレイ）やＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ：電子ビューファインダ）等の表示装置の表示制御を行う。これにより、表示装置の表示画面に、撮像画像や、撮像装置１０が備える各種の機能を選択するためのメニュー画面等が表示されることとなる。
【００３２】
ＬＣＤやＥＶＦは、撮像装置１０に設けられた表示装置として機能するものであり、表示制御部１１７によって表示内容が制御される。撮像装置１０のユーザは、これら表示装置の表示画面に表示される内容を見ることで、撮像した画像をその場で確認したり、各種のメニューを選択したりすることができる。
【００３３】
操作Ｉ／Ｆ１２１は、ハードキーやダイヤル等の操作部１２３に対してユーザが行った各種の操作に関する情報（操作情報）を撮像装置１０に入力するためのインタフェースである。操作Ｉ／Ｆ１２１から入力された各種の操作情報は、ＣＰＵ／ＤＳＰ１０１に通知され、操作情報に応じた各種の機能が実現されることとなる。なお、操作部１２３の構成については特に限定されるものではなく、タッチパネル等を利用した操作手段など、公知の入力手段を適用することが可能である。
【００３４】
記録メディアＩ／Ｆ１２５は、後述する記録メディア１２７を撮像装置１０に対して接続させるためのインタフェースであり、記録メディア１２７を駆動するためのドライバとしても機能する。また、記録メディア１２７は、撮像装置１０に設けられた外部記憶装置の一例である。記録メディアＩ／Ｆ１２５は、記録メディア１２７に対して各種のデータを書き込んだり、記録メディア１２７から各種のデータを読み出したりすることができる。また、記録メディアＩ／Ｆ１２５は、表示制御部１１７と連携して、記録メディア１２７に記録されている各種のデータを、ＬＣＤやＥＶＦ等の表示装置１１９に表示させることもできる。なお、本実施形態においては、記録メディア１２７の種類は特に限定されず、公知の各種記録メディアを用いることが可能である。また、記録メディアＩ／Ｆ１２５の種類は、記録メディア１２７の種類に応じて適宜選択することが可能である。
【００３５】
＜画像処理部の構成について＞
続いて、図２及び図３を参照しながら、本実施形態に係る画像処理部１１３の詳細な構成について説明する。図２は、本実施形態に係る画像処理部の構成の一例を示したブロック図であり、図３は、本実施形態に係るエッジ強調部の構成の一例を示したブロック図である。
【００３６】
図２に示したように、本実施形態に係る画像処理装置１０が備える画像処理部１１３は、エッジ強調部１３１と、後処理部１３３と、を備える。
【００３７】
エッジ強調部１３１は、撮像素子１０９から出力された撮像画像に対して、本実施形態に係るエッジ強調処理が実施される処理部である。エッジ強調部１３１は、以下で詳述するエッジ強調処理を実施するに際して、ＲＯＭ１０３、ＲＡＭ１０５、記録メディア１２７等の記憶部を参照し、当該記憶部に格納されたプログラムや、後述するゲイン補正曲線を利用することができる。このエッジ強調部１３１の詳細な構成及び機能については、以下で詳述する。
【００３８】
後処理部１３３は、エッジ強調部１３１によりエッジ強調処理が施され、シャープネスの向上した撮像画像に対して、必要に応じて、画像サイズの拡大・縮小といった画像サイズの変更処理を含む公知の後処理を行う。また、後処理部１３３では、撮像画像の圧縮や、色座標空間の変換等の処理を行うことも可能である。後処理部１３３は、上記のような各種処理を実施するに際して、ＲＯＭ１０３、ＲＡＭ１０５、記録メディア１２７等の記憶部を参照し、当該記憶部に格納された各種のプログラム等を利用することができる。
【００３９】
後処理部１３３により公知の後処理が行われた撮像画像は、表示制御部１１７を介してＬＣＤやＥＶＦ等の表示装置１１９に表示されたり、記録メディアＩ／Ｆ１２５を介して記録メディア１２７に格納されたりする。
【００４０】
次に、図３を参照しながら、本実施形態に係るエッジ強調部１３１の構成について、更に詳細に説明する。
【００４１】
本実施形態に係るエッジ強調部１３１は、コントラスト算出部１５１と、複数のエッジ検出部１５３と、複数のゲイン調整部１５５と、複数のスムージング処理部１５７と、画像補正部１５９と、を備える。以下、これらの処理部について、詳細に説明する。
【００４２】
なお、図３では、エッジ検出部１５３、ゲイン調整部１５５及びスムージング処理部１５７が、それぞれ２つ設けられている場合を例に挙げて図示している。しかしながら、各処理部の個数については、以下の２つの例に限定されるものではなく、エッジ検出部１５３及びゲイン調整部１５５の個数については、求められる処理精度や、処理に用いるフィルタの大きさや、演算コスト等に応じて、適宜決定すればよい。
【００４３】
コントラスト算出部１５１は、エッジ強調部１３１に入力された撮像画像（以下、入力画像とも称する。）を取得すると、この入力画像のコントラストを検出して、検出したコントラストに対応するコントラスト値を算出する。このコントラスト値の算出処理は、公知のコントラスト値算出方法を利用して行うことが可能であるが、例えば、後述する複数のエッジ検出部１５３で用いられるエッジ検出フィルタの大きさ（換言すれば、エッジ検出領域の大きさ）に応じて、エッジ検出領域内に対して下記の式１０１により行われる。
【００４４】
ここで、下記の式１０１において、「ｃｏｎｔｒａｓｔ」はコントラスト値を表し、Ｐｉｊは、入力画像を構成する（縦，横）＝（ｉ，ｊ）番目の画素の画素値を表し、エッジ検出領域の大きさが５×５である場合を示している。従って、下記式１０１は、５×５の大きさを有するエッジ検出領域内において、最大の画素値と最小の画素値との差分をコントラスト値とするものである。
【００４５】
【数１】
2014110624.tif 000003
・・・（式１０１）
【００４６】
なお、コントラスト算出部１５１は、上記式１０１を利用してコントラスト値を算出する際に、エッジ検出領域内における最大値及び最小値は利用せずに、最大値から２番目の画素値、及び、最小値から２番目の画素値をそれぞれ利用して、コントラスト値を算出してもよい。
【００４７】
コントラスト算出部１５１は、このようにして算出した各エッジ検出領域のコントラスト値を、後述する複数のエッジ検出部１５３のそれぞれに対して出力する。
【００４８】
複数のエッジ検出部１５３は、エッジ強調部１３１に入力された入力画像に対して、互いに異なる周波数帯域で互いに独立してエッジ成分の検出を行う。図３に示した例では、第１エッジ検出部１５３ａ及び第２エッジ検出部１５３ｂは、互いに異なる周波数帯域、例えば、物体の輪郭等を表す空間周波数面で相対的に低い帯域と、物体の細部を表す空間周波数面で相対的に高い帯域と、のそれぞれにおいて、独立してエッジ検出を行う。
【００４９】
より詳細には、第１エッジ検出部１５３ａ及び第２エッジ検出部１５３ｂは、まず、それぞれがエッジ検出対象とする空間周波数帯域を、図４に示したような互いに異なる２種類の周波数フィルタ（例えば帯域の異なる２種類のバンドパスフィルタ）の何れかを用いることで分別する。例えば、第１エッジ検出部１５３ａが相対的に低い周波数帯域に対してエッジ検出を行い、第２エッジ検出部１５３ｂが相対的に高い周波数帯域に対してエッジ検出を行う場合、第１エッジ検出部１５３ａは図４に示したようなバンドパスフィルタを用いて周波数帯域を分別するとともに、第２エッジ検出部１５３ｂは図４に示したようなバンドパスフィルタを用いて周波数帯域を分別する。また、高周波数帯域用のバンドパスフィルタの代わりに、ハイパスフィルタを用いてもよい。
【００５０】
その後、第１エッジ検出部１５３ａ及び第２エッジ検出部１５３ｂは、それぞれの空間周波数帯域について、所定の大きさの２次元エッジ検出フィルタを用いて、互いに独立にエッジ検出処理を実施する。このような２次元エッジ検出フィルタについては、特に限定されるものではなく、例えば、５×５の２次元ＦＩＲ（Ｆｉｎｉｔｅ  Ｉｍｐｕｌｓｅ  Ｒｅｓｐｏｎｓｅ）フィルタや、７×７の２次元ＦＩＲフィルタ等を利用することが可能である。
【００５１】
それぞれのエッジ検出部１５３で互いに独立して検出されたエッジに関する情報（例えば、ＦＩＲフィルタの出力値）は、後述する複数のゲイン調整部１５５に出力される。
【００５２】
なお、第１エッジ検出部１５３ａ及び第２エッジ検出部１５３ｂのどちらがどの周波数帯域におけるエッジ検出処理を行うかについては、特に限定されるものではない。
【００５３】
複数のゲイン調整部１５５は、複数のエッジ検出部１５３のそれぞれに対応して設けられており、対応するエッジ検出部１５３により検出されたエッジ成分に対して、コントラスト算出部１５１により算出されたコントラスト値に応じたゲイン調整を行う。
【００５４】
より詳細には、本実施形態では、図３に示したように、第１エッジ検出部１５３ａに対応して第１ゲイン調整部１５５ａが設けられており、第２エッジ検出部１５３ｂに対応して第２ゲイン調整部１５５ｂが設けられている。
【００５５】
まず、第１ゲイン調整部１５５ａ及び第２ゲイン調整部１５５ｂは、各ゲイン調整部に対応して予め設定されているゲイン補正曲線をそれぞれ取得する。これらゲイン補正曲線は、例えば図５に例示したように、互いに異なる補正曲線の形状を有している。例えば、図５に示した第１ゲイン補正曲線は、コントラスト値が低い領域では、補正係数の値は１に近い値となっており、コントラスト値が高くなるにつれて補正係数の値が減少していくようになっている。一方、図５に示した第２ゲイン補正曲線は、中程度のコントラスト値までは補正係数の値は１に近い値となっており、コントラスト値が高い領域で急激に補正係数が低下するようなものとなっている。
【００５６】
コントラスト値が高い領域では、物体の輪郭など元来シャープネスが相対的に高くなっている。そのため、図５に示した２種類のゲイン補正曲線を用いることで、高コントラスト値領域では、低コントラスト値領域に対して相対的にエッジ強調を弱めることが可能となり、過度なエッジ強調を抑制することが可能となる。また、互いに異なる形状を有するゲイン補正曲線を利用してゲイン調整を行うため、異なる空間周波数帯域に対して、異なるゲイン制御を行うことが可能となる。
【００５７】
なお、それぞれのゲイン補正曲線の形状は、図５に示した例に限定されるものではなく、ゲイン調整の方針に応じて適宜決定することが可能である。
【００５８】
第１ゲイン調整部１５５ａ及び第２ゲイン調整部１５５ｂは、以上説明したような各ゲイン補正曲線とコントラスト値とに基づいて補正係数を決定し、対応するエッジ検出部から出力された出力値に対して決定した補正係数を乗じて、ゲイン値を算出する。
【００５９】
第１ゲイン調整部１５５ａ及び第２ゲイン調整部１５５ｂは、算出したゲイン値に関する情報を、後述する複数のスムージング処理部１５７に出力する。
【００６０】
なお、画像処理装置１０の設定条件等によっては、エッジ強調部１３１の後段に設けられた後処理部１３３において、入力画像の拡大／縮小処理のような画像サイズの変更処理を行うことが予め決まっている場合も存在しうる。このような際には、各ゲイン調整部１５５は、対応するゲイン補正曲線の特性を画像サイズの変更処理に応じて変化させた上で、上記のようなゲイン調整（すなわち、ゲイン値の算出処理）を行ってもよい。画像サイズの変更処理は、着目している入力画像の空間周波数を変化させる処理であるともいえる。従って、各ゲイン調整部１５５は、「ゲイン抑制の度合いを弱めるようにゲイン補正曲線を修正する」、「ゲインを強調させるようにゲイン補正曲線を修正する」などの処理を行っても良い。このような処理を行うことで、画像サイズを変更した後の画像の品質を高く維持することが可能となる。
【００６１】
複数のスムージング処理部１５７は、複数のゲイン調整部１５５のそれぞれに対応して設けられており、対応するエッジ検出部１５３により検出され、ゲイン調整部１５５によりゲインの調整されたエッジ成分に対して、平滑化処理を実施する。
【００６２】
より詳細には、本実施形態では、図３に示したように、第１エッジ検出部１５３ａ及び第１ゲイン調整部１５５ａに対応して第１スムージング処理部１５７ａが設けられており、第２エッジ検出部１５３ｂ及び第２ゲイン調整部１５５ｂに対応して第２スムージング処理部１５７ｂが設けられている。
【００６３】
これら第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、対応するゲイン調整部１５５から出力されたエッジ成分の方向を特定した後、エッジ成分の方向の加重平均を算出して、エッジ成分を平滑化する。これにより、孤立点ノイズ等のノイズ成分を抑制したエッジ強調が可能となる。また、エッジの連結性を高めることも可能となるため、斜め線に発生しやすいジャギーを抑制した（目立たなくした）エッジ強調が可能となる。
【００６４】
以下、第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂのそれぞれで実施される平滑化処理（スムージング処理）について、図６を参照しながら、具体的に説明する。
【００６５】
第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、図６上段に示した方向判定オペレータＤｎ（ｎ＝０〜３）を利用して、ゲイン調整後のエッジ成分（例えば３×３の大きさのエッジ成分）の方向を判断する。具体的には、第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、着目しているエッジ成分に対して、各方向判定オペレータＤｎを作用させて、対応する算出値を取得する。その上で、第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、最大の算出値を与える方向判定オペレータＤｎに対応する方向が、エッジ成分の方向であると判断する。
【００６６】
次に、第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、図６下段に示したように、最大の算出値を与える方向判定オペレータＤｎのインデックス（ｎ）を利用して、このインデックスのスムージングオペレータを選択する。その後、第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、選択したスムージングオペレータを着目しているエッジ成分に対して作用させて、出力値を得る。第１スムージング処理部１５７ａ及び第２スムージング処理部１５７ｂは、得られた出力値を平滑化処理の処理結果として、後段の画像補正部１５９に出力する。
【００６７】
画像補正部１５９は、複数のスムージング処理部１５７からそれぞれ出力された出力値に基づいて、入力画像に対してエッジ強調処理を行う。より詳細には、画像補正部１５９は、図３に示したように、複数のスムージング処理部１５７からそれぞれ出力された出力値の合計を算出してエッジ強調量とし、算出したエッジ強調量を入力画像に対して加算することで、エッジ強調処理を行う。これにより、ノイズの影響を減らしつつ画像品質を高めることが可能となる。
【００６８】
以上、本実施形態に係る画像処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
【００６９】
なお、上述のような本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
【００７０】
＜画像処理方法の流れについて＞
次に、図７を参照しながら、本実施形態に係る画像処理装置１０における画像処理方法の流れについて、簡単に説明する。図７は、本実施形態に係る画像処理方法の流れの一例を示した流れ図である。
【００７１】
本実施形態に係る画像処理方法では、まず、エッジ強調部１３１が処理対象画像（すなわち、図３における入力画像）を取得する（ステップＳ１０１）。その後、エッジ強調部１３１のコントラスト算出部１５１は、処理対象画像のコントラスト値を算出する（ステップＳ１０３）。
【００７２】
また、エッジ強調部１３１に設けられた複数のエッジ検出部１５３は、互いに異なる周波数帯域（例えば、高域・中域の周波数帯域）におけるエッジ成分をそれぞれ検出する（ステップＳ１０５）。その後、各エッジ検出部１５３は、それぞれのエッジ検出部１５３の後段に設けられたゲイン調整部１５５に対して、得られた検出結果を出力する。
【００７３】
続いて、各エッジ検出部１５３の後段に設けられたゲイン調整部１５５のそれぞれでは、各周波数帯域（例えば、高域・中域の周波数帯域）のゲインをそれぞれ調整する（ステップＳ１０７）。その後、各ゲイン調整部１５５は、それぞれのゲイン調整部１５５の後段に設けられたスムージング処理部１５７に対して、ゲイン調整後のエッジ成分を出力する。
【００７４】
次に、各スムージング処理部１５７は、各ゲイン調整部１５５から出力されたゲイン調整後のエッジ成分（例えば、高域・中域の周波数帯域のエッジ成分に対して、スムージング処理を実施する（ステップＳ１０９）。その後、各スムージング処理部１５７は、得られた処理結果を、後段に設けられた画像補正部１５９に出力する。
【００７５】
画像補正部１５９は、各スムージング処理部１５７から出力された出力結果に基づき、エッジ強調量を算出する（ステップＳ１１１）。その後、画像補正部１５９は、算出したエッジ強調量を処理対象画像に加算することで、処理対象画像のエッジを強調する（ステップＳ１１３）。これにより、エッジ強調がなされ、シャープネスが向上した画像が生成されることとなる。その後、画像補正部１５９は、エッジ強調後の処理対象画像を出力する（ステップＳ１１３）。
【００７６】
このような処理が行われることで、ノイズの影響を抑制しつつエッジ強調を行い、画像品質を向上させることが可能となる。
【００７７】
＜実施例＞
図８は、車のサイドミラーを写した画像を入力画像として用い、本実施形態に係る画像処理方法を利用してエッジ強調処理を行ったもののエッジ画像を示している。この処理では、図３に示したような構成を有するエッジ強調部を用いることで、エッジ強調処理を行っている。
【００７８】
図８（ａ）に示したように、一般的なエッジ強調処理後では、サイドミラーの輪郭がギザギザしているのに対し、図８（ｂ）に示したように、本実施形態に係るエッジ強調処理を施すことで、サイドミラーの輪郭が滑らかにつながっていることがわかる。
【００７９】
このように、本実施形態に係る画像処理装置及び画像処理方法を用いることで、物体輪郭の過強調や斜め線のジャギーを目立たせることなく、シャープネスを向上させた高品質の画像を提供することが可能となる。
【００８０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８１】
１０    撮像装置
１０１    ＣＰＵ／ＤＳＰ
１０３    ＲＯＭ
１０５    ＲＡＭ
１０７    撮像光学系
１０９    撮像素子
１１１    光学系駆動部
１１３    画像処理部
１１５    投光光源
１１７    表示制御部
１１９    表示装置（ＬＣＤ／ＥＶＦ）
１２１    操作インタフェース（操作Ｉ／Ｆ）
１２３    操作部
１２５    記録メディアインタフェース（記録メディアＩ／Ｆ）
１２７    記録メディア
１３１    エッジ強調部
１３３    後処理部
１５１    コントラスト算出部
１５３    エッジ検出部
１５３ａ    第１エッジ検出部
１５３ｂ    第２エッジ検出部
１５５    ゲイン調整部
１５５ａ    第１ゲイン調整部
１５５ｂ    第２ゲイン調整部
１５７    スムージング処理部
１５７ａ    第１スムージング処理部
１５７ｂ    第２スムージング処理部
１５９    画像補正部
【図１】
2014110624.tif 000004
【図２】
2014110624.tif 000005
【図３】
2014110624.tif 000006
【図４】
2014110624.tif 000007
【図５】
2014110624.tif 000008
【図６】
2014110624.tif 000009
【図７】
2014110624.tif 000010
【図８】
2014110624.tif 000011