(57)【要約】【課題】エッジ成分の強度に応じてエッジ強調を変化させる。【解決手段】画像のエッジ成分を検出するエッジ検出部３１と、エッジ検出部３１で検出されたエッジ成分の中間値の強度から遠い第１範囲の強度よりも、エッジ成分の中間値の強度に近い第２範囲の強度に対してエッジ強調を抑制する補正関数に基づいてエッジ成分の強度を補正する補正部３２と、を備える。【選択図】図２
2015192290.tif 000002
【特許請求の範囲】
【請求項１】
画像のエッジ成分を検出するエッジ検出部と、
前記エッジ検出部で検出された前記エッジ成分の中間値の強度から遠い第１範囲の強度よりも、前記エッジ成分の中間値の強度に近い第２範囲の強度に対してエッジ強調を抑制する補正関数に基づいて前記エッジ成分の強度を補正する補正部と、を備える画像処理装置。
【請求項２】
前記補正部で補正された前記エッジ成分を前記画像に加算する加算部を備える請求項１記載の画像処理装置。
【請求項３】
前記補正部は、前記補正関数に対応するルックアップテーブルを参照して前記エッジ成分の強度を補正する請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記画像又は前記エッジ成分に基づいて特徴を検出する特徴検出部を備え、
前記補正部は、前記特徴検出部で検出された前記特徴を含む第１領域と前記特徴を含まない第２領域とで異なる補正関数に基づいて前記エッジ成分の強度を補正する請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記特徴検出部は、前記画像又は前記エッジ成分から前記特徴として被写体を検出する被写体検出部であり、
前記補正部は、前記被写体検出部で検出された前記被写体を含む第１領域と前記被写体を含まない第２領域とで異なる補正関数に基づいて前記エッジ成分の強度を補正する請求項４記載の画像処理装置。
【請求項６】
前記補正部は、前記第１領域と前記第２領域とをブロックごとに特定する請求項４または請求項５に記載の画像処理装置。
【請求項７】
前記補正関数は、３乗の関数、ｔａｎ関数、又はシグモイド関数の結合のいずれかで構成される請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
使用者の操作に応じて予め用意された複数の補正関数のいずれかを選択する選択部を備える請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
使用者により選択された前記補正関数に基づいて前記補正部により補正された画像を表示部に表示する制御部を備える請求項８記載の画像処理装置。
【請求項１０】
制御装置に、
画像のエッジ成分を検出するエッジ検出処理と、
前記エッジ検出処理で検出された前記エッジ成分の中間値の強度から遠い第１範囲の強度よりも、前記エッジ成分の中間値の強度に近い第２範囲の強度に対してエッジ強調を抑制する補正関数に基づいて前記エッジ成分の強度を補正する補正処理と、を実行させる画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
画像のエッジを強調する方法として、例えば特許文献１に記載されている方法がある。この方法においては、非線形処理部が入力画像に対して非線形処理としてガンマ補正を行う。そして、高域通過フィルタ（ＨＰＦ）がガンマ補正後の画像からエッジ成分を検出する。その後、リミッタがエッジ成分を調整し、加算器がエッジ成分を入力画像に加算して画像のエッジ強調を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５３９６６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記した方法においては、エッジ成分の強度に応じてエッジ強調を変化させているわけではなく、最適なエッジ強調の観点から依然として改善の余地があった。
【０００５】
本発明の態様では、エッジ成分の強度に応じてエッジ強調を変化させることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１態様によれば、画像のエッジ成分を検出するエッジ検出部と、エッジ検出部で検出されたエッジ成分の中間値の強度から遠い第１範囲の強度よりも、エッジ成分の中間値の強度に近い第２範囲の強度に対してエッジ強調を抑制する補正関数に基づいてエッジ成分の強度を補正する補正部と、を備える画像処理装置が提供される。
【０００７】
本発明の第２態様によれば、制御装置に、画像のエッジ成分を検出するエッジ検出処理と、エッジ検出処理で検出されたエッジ成分の中間値の強度から遠い第１範囲の強度よりも、エッジ成分の中間値の強度に近い第２範囲の強度に対してエッジ強調を抑制する補正関数に基づいてエッジ成分の強度を補正する補正処理と、を実行させる画像処理プログラムが提供される。
【発明の効果】
【０００８】
本発明の態様によれば、エッジ成分の強度に応じてエッジ強調を変化させることができる。
【図面の簡単な説明】
【０００９】
【図１】画像処理装置の一例であるデジタルカメラの構成を示すブロック図である。
【図２】第１実施形態に係る画像処理部の構成を示すブロック図である。
【図３】図２に示す画像処理部が実行する第１実施形態の画像処理を示すフローチャートである。
【図４】第１実施形態における補正関数及び補正値の加算後の画像データの強度を示すグラフ図である。
【図５】第２実施形態に係る画像処理部の構成を示すブロック図である。
【図６】図５に示す画像処理部が実行する第２実施形態の画像処理を示すフローチャートである。
【図７】第２実施形態の表示画面の表示例を示す図である。
【図８】第２実施形態における補正関数を示すグラフ図である。
【図９】補正関数の変形例を示すグラフ図である。
【図１０】図５に示す画像処理部が実行する第３実施形態の画像処理を示すフローチャートである。
【図１１】表示部に表示されるユーザインタフェイスの表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。なお、以下の各実施形態では、画像処理装置の一例としてデジタルカメラを挙げて説明する。
【００１１】
＜第１実施形態＞
図１は、画像処理装置の一例であるデジタルカメラ１の構成を示すブロック図である。図１に示すように、デジタルカメラ１は、撮像部２０、画像処理部（制御装置）３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及び制御部７０を備えている。
【００１２】
撮像部２０は撮像素子１００及び駆動部２１を有している。撮像素子１００には、不図示の撮影光学系から射出された光束が入射する。撮像素子１００は、入射した光束を光電変換して撮像素子の各画素の画素信号（画素信号は画像データに含まれる。）を生成する。各画素の画素信号からなるＲＡＷデータ（ＲＡＷデータも画像データに含まれる。）が撮像部２０から画像処理部３０に送られる。駆動部２１は、制御部７０からの指示に従って、撮像素子１００の駆動を制御する制御回路である。
【００１３】
画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像信号を生成する。また、画像処理部３０は、ＲＧＢ画像信号に対して、ホワイトバランス調整、エッジ強調（シャープネス調整ともいう。）、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。なお、画像処理部３０は、画像処理プログラムに従って各種画像処理を実行する。
【００１４】
ワークメモリ４０は、画像処理部３０による画像処理が行われる際に画像データなどを一時的に記憶する。表示部５０は、撮像部２０で撮像された画像（静止画、動画、ライブビュー画像）や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどの表示パネルで構成される表示画面５１を有している。表示部５０の表示画面５１上にはタッチパネル５２が形成されている。タッチパネル５２は、使用者が選択操作などを行う際に、使用者が触れた位置を示す信号を制御部７０に出力する。なお、タッチパネル５２は、使用者が表示画面５１上の画像や領域などを選択するための選択部を構成する。
【００１５】
操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動作の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号を制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。
【００１６】
制御部７０は、デジタルカメラ１の全体の処理及び動作を制御する。この制御部７０はＣＰＵ（Central Processing Unit）を有する。制御部７０は、駆動部２１に指示信号を出力することにより、所定の撮像条件（つまり、電荷蓄積時間（シャッター速度）、フレームレート、ゲインなど）で撮像素子１００に画像を取得させるように駆動部２１を駆動させる。
【００１７】
また、制御部７０は、画像処理部３０に指示信号を出力することにより、所定の制御パラメータで画像処理部３０に各種画像処理を実行させる。また、制御部７０は、画像処理部３０において生成された画像データを記録部６０に記録させる。また、制御部７０は、画像処理部３０において生成された画像データを表示部５０に出力させることにより、表示部５０に画像を表示させる。また、制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させることにより、表示部５０に画像を表示させる。表示部５０に表示される画像としては、上述したように、静止画、動画、ライブビュー画像が含まれる。
【００１８】
図２は、第１実施形態に係る画像処理部３０の構成を示すブロック図である。なお、図２は、画像処理部３０が実行する画像処理のうちエッジ強調処理を実行する部分の構成を示している。図２に示すように、画像処理部３０は、エッジ検出部３１、補正部３２、ルックアップテーブル（Lookup-Table；以下、ＬＵＴという。）３３、及び加算部３４を備えている。
【００１９】
エッジ検出部３１は、画像データのエッジ成分を検出する。各画素のエッジ成分からなる画像データのことをエッジ画像データ（又は単にエッジ画像）という。例えば、エッジ検出部３１は、画像データに対してガウシアンフィルタリングをして平滑化画像データを生成する。そして、エッジ検出部３１は、元の画像データから平滑化画像データを減算することによりエッジ画像データを生成する。なお、エッジ検出の手法は上記したような手法に限定されず、様々なものを用いることが可能である。
【００２０】
補正部３２は、エッジ検出部３１で検出されたエッジ成分に対して補正関数に従って補正を行う。ここで、補正部３２は、エッジ検出部３１で検出されたエッジ成分の中間値の強度（輝度）から遠い第１範囲（例えば図４に示す範囲Ｂ，Ｃ）の強度よりもエッジ成分の中間値の強度に近い第２範囲（例えば図４に示す範囲Ａ）の強度に対してエッジ強調を抑制するような補正関数に従ってエッジ成分の強度を補正する（後述する図４参照）。また、補正部３２は、補正関数に対応するＬＵＴ３３を参照してエッジ成分の強度を補正する。ＬＵＴ３３は、様々な値に対する複雑な計算処理の計算結果である値を予め求めておき、それらの値を配列（テーブル）に格納したものである。このように、補正部３２がＬＵＴ３３を参照してエッジ成分の強度を補正することにより、複雑な補正関数の計算処理を単純な値（データ）の参照処理で置き換えて処理の効率化を図ることができる。
【００２１】
加算部３４は、画像データ（エッジ検出部３１でエッジ成分が検出される前の画像データ）に、補正部３２で補正されたエッジ成分を加算する。これにより、画像のエッジが強調され、被写体などの輪郭がシャープな画像が生成される。なお、加算部３４から出力されるエッジ強調後の画像データは、画像処理部３０においてエッジ強調処理以外の画像処理（例えばガンマ補正や階調調整など）が行われる。
【００２２】
次に、第１実施形態のエッジ強調に関する画像処理について説明する。図３は、図２に示す画像処理部３０が実行する第１実施形態の画像処理を示すフローチャートである。
【００２３】
図２に示す処理において、エッジ検出部３１は、画像データを取得し、取得した画像データの各画素のエッジ成分を検出する（ステップＳ１）。これにより、各画素のエッジ成分からなるエッジ画像データが生成される。エッジ画像は、画像中のエッジ部分（被写体の輪郭）が抽出された画像となる。エッジ検出部３１で検出されるエッジ成分の強度（輝度）は、例えば２５６階調で表され、０から２５５の範囲の値となる。エッジ成分の強度の最小値（０）は、画像の最も暗い部分（シャドー）であり、エッジ検出部３１によりシャープなエッジが検出された部分である。また、エッジ成分の強度の最大値（２５５）は、画像の最も明るい部分（ハイライト）であり、エッジ検出部３１によりシャープなエッジが検出された部分である。また、エッジ成分の強度の中間値（１２８）は、エッジが検出されていない部分である。エッジ検出部３１は、検出した各画素のエッジ成分を補正部３２に出力する。
【００２４】
補正部３２は、エッジ検出部３１から出力された各画素のエッジ成分を取得し、補正関数に対応するＬＵＴ３３に基づき各画素のエッジ成分の強度を補正する（ステップＳ２）。そして、補正部３２は、補正後の各画素のエッジ成分（各画素の補正値）を加算部３４に出力する。加算部３４は、エッジ検出部３１でエッジ検出される前の画像データを取得するとともに、補正部３２から出力される補正後の各画素のエッジ成分を取得する。そして、加算部３４は、画像データに補正後の各画素のエッジ成分（各画素の補正値）を加算してエッジ強調を行う（ステップＳ３）。加算部３４は、エッジ強調後の画像データを出力する。
【００２５】
図４は、第１実施形態における補正関数及び補正値の加算後の画像データの強度を示すグラフ図である。図４における横軸は、補正部３２による補正前のエッジ成分の強度（輝度）の値、すなわち、エッジ検出部３１で検出されたエッジ成分の強度の値を示す。また、図４における縦軸は、補正部３２が補正関数に従ってエッジ成分の強度を補正した後の補正値（補正後の強度の値）を示す。図４に示すように、補正値は−ｋからｋの範囲の値となっている。また、図４において、実線は補正関数の曲線（カーブ）を表す。
【００２６】
また、図４における縦軸のカッコ内の値は、加算部３４が画像データ（０から２５５の範囲の値）に補正値（−ｋからｋの範囲の値）を加算した後の画像データの強度の値を示す。なお、加算部３４による加算後の画像データ（エッジ強調後の画像データ）の強度の値は、加算部３４によって０から２５５の範囲の値とされる。すなわち、０以下の値（マイナスの値）は０とされ、２５５以上の値は２５５とされる。また、図４において、破線は、加算部３４が画像データに補正値を加算した後の画像データの強度を表す曲線である。
【００２７】
図４の実線で示す補正関数は、３乗の関数やｔａｎ関数（タンジェント関数）と同じ又は類似の曲線（形状）の関数とされている。具体的には、補正関数は、エッジ成分の強度の値が中間値（１２８）から大きくなる程、曲線のプラスの傾き（勾配）が徐々に大きくなり、反対に、エッジ成分の強度の値が中間値（１２８）から小さくなる程、曲線のマイナスの傾き（勾配）が徐々に大きくなるような関数である。図４に示す例では、補正関数は、横軸が１２８（中間値）で縦軸が０の点を中心とした点対称の曲線となっている。
【００２８】
図４に示すように、中間値（１２８）から前後ａの値の範囲Ａ（１２８−ａから１２８＋ａの範囲）においては、補正関数の曲線の傾き（曲線の接線の傾き）が小さい。従って、補正部３２が範囲Ａ内の強度の値を補正関数（ＬＵＴ３３）に従って補正値に変換したときに、その補正値は小さい値（プラスの小さい値、又はマイナスの小さい値）となる。このことから、範囲Ａ（中間調の範囲）においては、画像のエッジ強調が抑制される。
【００２９】
また、範囲Ａよりも強度の値が大きい範囲Ｂ（１２８＋ａから２５５の範囲）においては、範囲Ａよりも補正関数における曲線のプラスの傾きが大きく、また強度の値が大きくなる程、補正関数における曲線のプラスの傾きが大きくなる。従って、補正部３２が範囲Ｂ内の強度の値を補正関数に従って補正値に変換したときに、その補正値は範囲Ａの補正値よりもプラスの大きい値となり、また強度の値が大きくなる程、補正値がプラス側に大きくなる。このことから、範囲Ｂにおいては、範囲Ａよりもエッジ強調が強く、またエッジ成分の強度の値が大きい程、エッジ強調が強められる。
【００３０】
また、範囲Ａよりも強度の値が小さい範囲Ｃ（０から１２８−ａの範囲）においては、範囲Ａよりも補正関数における曲線のマイナスの傾きが大きく、また強度の値が小さくなる程、補正関数における曲線のマイナスの傾きが大きくなる。従って、補正部３２が範囲Ｃ内の強度の値を補正関数に従って補正値に変換したときに、その補正値は範囲Ａの補正値よりもマイナスの大きい値となり、また強度の値が小さくなる程、補正値がマイナス側に大きくなる。このことから、範囲Ｃにおいては、範囲Ａよりもエッジ強調が強く、またエッジ成分の強度の値が小さい程、エッジ強調が強められる。
【００３１】
なお、範囲Ｂ，Ｃがエッジ成分の中間値の強度から遠い第１範囲に相当し、範囲Ａがエッジ成分の中間値の強度に近い第２範囲に相当する。
【００３２】
エッジ検出部３１が画像データからエッジ成分を検出する際に、画像の中間調以外の領域よりも中間調の領域においてノイズ（リンキングノイズ）が高い割合で発生する。従って、加算部３４がエッジ検出部３１で検出されたノイズを含むエッジ成分をそのまま画像データに加算した場合、エッジ成分だけでなくノイズも同時に強調される。よって、エッジ強調後の画像においてノイズが目立ってしまう。
【００３３】
しかし、本実施形態においては、補正部３２は、範囲Ａ（中間調の領域の強度レベル）においてはエッジ強調を抑制している（つまり、補正値を小さい値に抑えている）。従って、加算部３４が補正値を画像データに加算した場合に、ノイズが画像データに埋もれてしまい、ノイズが目立たなくなる。一方、補正部３２は、範囲Ｂ，Ｃにおいてはエッジ強調を強めている（つまり、補正値を大きい値に変換している）。従って、加算部３４が補正値を画像データに加算した場合、より一層、エッジ部分が強調されることになる。
【００３４】
加算部３４は、ステップＳ３において補正部３２で導出された補正値を画像データに加算して画像のエッジ強調を行う。エッジ強調後の画像データの強度は、例えば図４の破線で示すような曲線になる。なお、使用者が予めｋの値を調整してもよく、また、補正部３２が画像データの強度やエッジ成分の強度に応じて、自動的に画像に適したｋの値に調整してもよい。また、補正関数の曲線の形状についても、補正部３２が画像データの強度やエッジ成分の強度に応じて自動的に調整してもよい。例えば、補正部３２が画像データの強度やエッジ成分の強度に応じて、複数の補正関数の中から画像に適した曲線の補正関数を選択してもよい。
【００３５】
なお、補正部３２が図４に示す補正関数によるエッジ成分の補正に代えて、エッジ成分をガンマ補正した場合にも、エッジ成分の中間調におけるノイズの影響を小さくすることができる。しかし、ガンマ補正の場合、エッジ成分の中間調の強度（輝度）が持ち上げられるので、補正後のエッジ成分が全体的に明るくなってしまう。加算部３４がこのようなエッジ成分を画像データに加算すると、画像自体も明るくなる。また、画像中の暗い領域の強度（輝度）も上がるので、元の画像よりも白っぽい画像になってしまう。これに対して、本実施形態では、中間調の強度を抑え、画像中の暗い領域の強度も上がらないので、上記したような不都合な状況が生じることはない。
【００３６】
以上に説明したように、第１実施形態では、画像のエッジ成分を検出するエッジ検出部３１と、エッジ検出部３１で検出されたエッジ成分の中間値の強度から遠い第１範囲（範囲Ｂ，Ｃ）の強度よりもエッジ成分の中間値の強度に近い第２範囲（範囲Ａ）の強度に対してエッジ強調を抑制するような補正関数に従ってエッジ成分の強度を補正する補正部３２とを備える。このような構成によれば、エッジ成分の強度に応じてエッジ強調を変化させることができる。また、第２範囲（中間調の範囲Ａ）においてはエッジ強調が抑制されるので、第２範囲において発生しやすいノイズを目立たなくすることができる。また、第２範囲（中間調以外の階調の範囲Ｂ，Ｃ）においてはエッジ強調が抑制されないので、画像の解像感を向上させることができる。
【００３７】
また、第１実施形態では、補正部３２で補正されたエッジ成分を画像に加算する加算部３４を備える。このような構成によれば、画像のエッジ部分だけを効果的に強調することができる。また、第１実施形態では、補正部３２は、補正関数に対応するルックアップテーブル３３を参照してエッジ成分の強度を補正する。このような構成によれば、複雑な補正関数の計算処理を単純な値（データ）の参照処理に置き換えることができ、処理の効率化を図ることができる。
【００３８】
＜第２実施形態＞
上記した第１実施形態では、補正部３２は、１種類の補正関数を用いてエッジ成分の強度の補正を行っていた。これに対して、第２実施形態では、補正部３２は、画像の領域ごとに異なる補正関数を用いてエッジ成分の強度の補正を行う。
【００３９】
図５は、第２実施形態に係る画像処理部３０Ａの構成を示すブロック図である。図５に示す画像処理部３０Ａは、図２に示す画像処理部３０と異なり、特徴検出部としての被写体検出部３５を備え、また、補正部３２に代えて補正部３２Ａを備えている。なお、図５において、図２に示した構成と同一構成については同一符号を付し、重複する説明を省略する。
【００４０】
被写体検出部３５は、画像データから被写体を検出する。この被写体検出部３５は、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出する。なお、被写体検出部３５は、公知の顔検出機能を用いて人物の顔を被写体として検出してもよい。また、被写体検出部３５は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の境界を特定して被写体を検出する機能を有していてもよい。また、被写体検出部３５は、画像が動画やライブビュー画像の場合は、時系列的に得られる複数の画像データ（フレーム）を比較して、移動する被写体（移動被写体）を検出する機能を有していてもよい。
【００４１】
ここで、撮像部２０で撮像される対象物である被写体は、画像データ中に１つだけ存在する場合に限らず、複数存在する場合もある。被写体検出部３５は、検出した被写体の位置及びサイズを示す信号を補正部３２Ａに出力する。
【００４２】
補正部３２Ａは、エッジ検出部３１から出力される各画素のエッジ成分を取得する。また、補正部３２Ａは、被写体検出部３５からの被写体の位置及びサイズを示す信号に基づいて、画像における被写体を含む被写体領域（第１領域）と被写体を含まない非被写体領域（第２領域）とを特定する。そして、補正部３２Ａは、被写体領域と非被写体領域とで異なる補正関数に従ってエッジ成分の強度を補正する。補正部３２Ａは、補正後のエッジ成分（補正値）を加算部３４に出力する。
【００４３】
次に、第２実施形態のエッジ強調に関する画像処理について説明する。図６は、図５に示す画像処理部３０Ａが実行する第２実施形態の画像処理を示すフローチャートである。
【００４４】
図６に示す処理において、エッジ検出部３１は、画像データを取得し、取得した画像データの各画素のエッジ成分を検出する（ステップＳ１１）。そして、エッジ検出部３１は、検出した各画素のエッジ成分を補正部３２Ａに出力する。また、被写体検出部３５は、画像データから一又は複数の被写体を検出する（ステップＳ１２）。
【００４５】
図７は、第２実施形態の表示画面５１の表示例を示す図である。図７に示す例では、被写体検出部３５は、被写体として人物Ｏを検出する。そして、被写体検出部３５は、検出した被写体（人物Ｏ）の位置及びサイズを示す信号を補正部３２Ａに出力する。ここで、図７に示すように、表示画面５１内の領域（すなわち、表示画面５１内の領域に対応する撮像素子１００の撮像面上の領域）は、複数のブロックに分割されている。被写体検出部３５は、被写体の位置及びサイズをブロック単位で示す信号を補正部３２Ａに出力する。
【００４６】
次に、補正部３２Ａは、被写体検出部３５からの被写体（人物Ｏ）の位置及びサイズを示す信号に基づいて、画像における被写体を含む被写体領域と被写体を含まない非被写体領域とをブロック単位で特定する。そして、補正部３２Ａは、被写体領域と非被写体領域とで異なる補正関数に従ってエッジ成分の強度を補正する（ステップＳ１３）。図７に示す例では、画像における人物Ｏを含む被写体領域５０１と人物Ｏを含まない非被写体領域５０２とをブロック単位で特定する。そして、補正部３２Ａは、被写体領域５０１と非被写体領域５０２とで異なる補正関数に対応するＬＵＴ３３に基づきエッジ成分の強度を補正する。そして、補正部３２Ａは、補正後の各画素のエッジ成分（各画素の補正値）を加算部３４に出力する。
【００４７】
加算部３４は、エッジ検出部３１でエッジ検出される前の画像データを取得するとともに、補正部３２Ａから出力される補正後の各画素のエッジ成分を取得する。そして、加算部３４は、画像データに補正後の各画素のエッジ成分を加算してエッジ強調を行う（ステップＳ１４）。加算部３４は、エッジ強調後の画像データを出力する。
【００４８】
図８は、第２実施形態における補正関数を示すグラフ図である。図８（１）に示す補正関数は、図４に示した補正関数よりも曲線の傾きが小さい範囲Ａの幅が広い補正関数である。すなわち、図８（１）に示す補正関数は、相対的に広い範囲Ａを中間調の範囲とみなし、その範囲Ａにおいてエッジ強調を抑制するような補正関数である。また、図８（２）に示す補正関数は、図４に示した補正関数よりも曲線の傾きが小さい範囲Ａの幅が狭い補正関数である。すなわち、図８（２）に示す補正関数は、相対的に狭い範囲Ａを中間調の範囲とみなし、その範囲Ａにおいてエッジ強調を抑制するような補正関数である。
【００４９】
人物Ｏを含む被写体領域５０１においては、様々な階調のエッジを多く含んでいる可能性が高い（つまりエッジが密集している可能性が高い）。このため、補正部３２Ａは、被写体領域５０１においては図８（２）に示す補正関数を用いてエッジ成分の強度を補正する。これにより、図８（２）に示すように、相対的に広い範囲Ｂ，Ｃをエッジを含む領域とみなし、その範囲Ｂ，Ｃにおける様々な階調のエッジ部分の強調を強めることができる。
【００５０】
一方、人物Ｏを含まない非被写体領域５０２においては、エッジを多く含んでおらず（つまりエッジが密集しておらず）、ノイズを含んでいる可能性が高い。このため、補正部３２Ａは、非被写体領域５０２においては図８（１）に示す補正関数を用いてエッジ成分の強度を補正する。これにより、図８（１）に示すように、相対的に広い範囲Ａを中間調の範囲とみなし、その範囲Ａにおけるノイズを抑制する。
【００５１】
なお、上記した場合と反対に、補正部３２Ａは、被写体領域５０１においては図８（１）に示す補正関数を用いてエッジ成分の強度を補正し、非被写体領域５０２においては図８（２）に示す補正関数を用いてエッジ成分の強度を補正してもよい。この場合、使用者（撮影者）が注目していると推定される被写体を含む被写体領域５０１においてノイズを確実に除去することができるとともに、背景などの非被写体領域５０２におけるエッジを強調することができる。
【００５２】
なお、被写体領域５０１が第１領域に相当し、非被写体領域５０２が第２領域に相当する。
【００５３】
上記した第２実施形態では、図５に示したように、被写体検出部３５は、画像データに基づいて被写体を検出していたが、エッジ検出部３１で検出されたエッジ成分に基づいて被写体を検出してもよい。また、補正部３２Ａは、領域を２つの領域（被写体領域と非被写体領域）に分割していたが、３つ以上の領域に分割し、それらの領域ごとに異なる補正関数を用いてエッジ成分の強度を補正してもよい。
【００５４】
以上に説明したように、第２実施形態では、被写体検出部３５は、画像又はエッジ成分から特徴として被写体を検出し、補正部３２Ａは、被写体検出部３５で検出された被写体を含む第１領域５０１と被写体を含まない第２領域５０２とで異なる補正関数に従ってエッジ成分の強度を補正する。このような構成によれば、領域に応じて、様々な階調のエッジ部分の強調を強めたり、ノイズの影響を効果的に抑制することができる。
【００５５】
また、第２実施形態では、補正部３２Ａは、第１領域と第２領域とをブロックごとに特定する。このような構成によれば、補正部３２Ａが容易かつ確実に第１領域と第２領域とを特定し、領域ごとのエッジ強調を行うことができる。
【００５６】
上記した第２実施形態では、被写体検出部３５は画像データに基づいて被写体を検出し、補正部３２Ａは被写体検出部３５で検出された被写体を含む第１領域と被写体を含まない第２領域とで異なる補正関数を用いてエッジ成分の強度を補正していた。しかし、このような構成に限定されず、特徴検出部は画像データ又はエッジ成分に基づいて画像中の特徴を検出し、補正部３２Ａは特徴検出部で検出された特徴を含む第１領域と特徴を含まない第２領域とで異なる補正関数を用いてエッジ成分の強度を補正してもよい。
【００５７】
具体的には、特徴検出部は、画像データ又はエッジ成分に基づいてサリエンシーマップ（顕著性マップ）を作成する。サリエンシーマップは、画像に対応するサリエンシー（顕著性）の強さを表したマップである。サリエンシーマップは、画像上の人の注意を引く箇所を示したマップであり、画像の色、輝度、エッジの周波数、輝度のヒストグラムなどの画像特徴に基づいて作成される。補正部３２Ａは、特徴検出部が作成したサリエンシーマップに基づいて画像中の特徴を認識し、その特徴を含む第１領域と特徴を含まない第２領域とで異なる補正関数を用いてエッジ成分の強度を補正する。このような構成によっても、領域に応じて、様々な階調のエッジ部分の強調を強めたり、ノイズの影響を効果的に抑制することができる。
【００５８】
＜補正関数の変形例＞
図９は、補正関数の変形例を示すグラフ図である。図４及び図８に示した補正関数は、３乗の関数又はｔａｎ関数で構成されていたが、図９（１）に示す補正関数は、シグモイド関数の結合で構成されている。この補正関数は、図４及び図８に示した補正関数と異なり、エッジ成分の強度が高い領域Ｄ（エッジ成分の強度が最大値付近の領域）、及びエッジ成分の強度が低い領域Ｅ（エッジ成分の強度が最小値付近の領域）において、曲線の傾きを小さくしている。このような補正関数によれば、エッジ成分の強度が高い領域Ｄ、及びエッジ成分の強度が低い領域Ｅにおけるエッジ強調を高め過ぎることを防止することができる。
【００５９】
また、図９（２）に示す補正関数は、図４、図８、及び図９に示す曲線の関数（３乗の関数、ｔａｎ関数、シグモイド関数の結合）ではなく、複数の直線で構成された関数である。図９（２）に示すように、中間調の範囲である範囲Ａにおいては補正値０の直線であり、中間調以外の範囲である範囲Ｂ，Ｃにおいては所定の傾きの直線となっている。このような補正関数の場合、範囲Ａにおいてエッジ強調が行われず、範囲Ｂ，Ｃにおいてエッジ強調が行われる。図９（２）に示す補正関数を用いた場合でも、中間調におけるノイズの影響を効果的に抑制することができるとともに、画像のエッジ部分の強調を強めることができる。
【００６０】
＜第３実施形態＞
上記した第２実施形態では、補正部３２Ａが複数の補正関数の中から自動的に領域に応じた補正関数を選択し、選択した補正関数に基づいてエッジ成分の強度の補正を行っていた。これに対して、第３実施形態では、補正部３２Ａは使用者が選択した補正関数に基づいてエッジ成分の強度の補正を行う。
【００６１】
図１０は、図５に示す画像処理部３０Ａが実行する第３実施形態の画像処理を示すフローチャートである。図１０に示す処理において、エッジ検出部３１は、画像データを取得し、取得した画像データの各画素のエッジ成分を検出する（ステップＳ２１）。そして、エッジ検出部３１は、検出した各画素のエッジ成分を補正部３２Ａに出力する。また、被写体検出部３５は、画像データから一又は複数の被写体を検出する（ステップＳ２２）。
【００６２】
図１１は、表示部５０に表示されるユーザインタフェイスの表示例を示す図である。図１１に示すように、表示部５０の表示画面５１上には、画像表示領域５１１と、第１関数表示領域５２１と、第２関数表示領域５２２と、第３関数表示領域５２３とが設けられている。画像表示領域５１１には、撮像部２０が撮像した画像が表示される。また、第１関数表示領域５２１、第２関数表示領域５２２、及び第３関数表示領域５２３には、それぞれ曲線が異なる補正関数が表示される。なお、図１１に示す例では、第１関数表示領域５２１には図８（２）に示す補正関数が表示され、第２関数表示領域５２２には図４に示す補正関数が表示され、第３関数表示領域５２３には図８（１）に示す補正関数が表示されている。
【００６３】
また、図１１に示す例では、被写体検出部３５は、被写体として人物Ｏを検出する。そして、被写体検出部３５は、検出した被写体（人物Ｏ）の位置及びサイズを示す信号を補正部３２Ａに出力する。補正部３２Ａは、被写体検出部３５からの被写体（人物Ｏ）の位置及びサイズを示す信号に基づいて、画像における被写体（人物Ｏ）を含む被写体領域５１１ａと被写体（人物Ｏ）を含まない非被写体領域５１１ｂとを特定する。
【００６４】
使用者は、画像表示領域５１１内の領域をタッチして選択した後に、関数表示領域５２１，５２２，５２３のいずれかをタッチして選択する。タッチパネル５２は、使用者がタッチした位置を示す信号を制御部７０に出力する。制御部７０は、使用者によって選択された領域を示す領域指示信号と、使用者によって選択された補正関数を示す関数指示信号とを画像処理部３０に出力する。
【００６５】
補正部３２Ａは、制御部７０からの領域指示信号及び関数指示信号を受信したか否かに基づいて、使用者によって領域及び補正関数が選択されたか否かを判定する（ステップＳ２３）。補正部３２Ａは、領域及び補正関数が選択されたと判定した場合は（ステップＳ２３のＹＥＳ）、選択された領域に対応する補正関数を認識し、補正関数に対応するＬＵＴ３３に基づきエッジ成分の強度を補正する（ステップＳ２４）。補正部３２Ａは、ステップＳ２４の処理を各領域に対して実行する。そして、補正部３２Ａは、補正後の各画素のエッジ成分（各画素の補正値）を加算部３４に出力する。
【００６６】
加算部３４は、エッジ検出部３１でエッジ検出される前の画像データを取得するとともに、補正部３２Ａから出力される補正後の各画素のエッジ成分を取得する。そして、加算部３４は、画像データに補正後の各画素のエッジ成分を加算してエッジ強調を行う（ステップＳ２５）。加算部３４は、エッジ強調後の画像データを出力する。
【００６７】
制御部７０は、画像処理部３０においてエッジ強調を含む画像処理が実行された画像データを表示部５０に出力させて、表示部５０の表示画面５１の画像表示領域５１１に表示させる。従って、使用者は、自身が選択した領域及び補正関数に対するエッジ強調後の画像を直ちに確認することができる。
【００６８】
以上に説明したように、第３実施形態では、使用者の操作に応じて予め用意された複数の補正関数のいずれかを選択する選択部５２を備えるので、使用者の好みに応じた補正関数によるエッジ強調を行うことができる。また、第３実施形態では、使用者により選択された補正関数に従って補正部３２Ａにより補正された画像を表示部５０に表示する制御部７０を備える。このような構成によれば、使用者は、自身が選択した領域及び補正関数に対するエッジ強調後の画像を直ちに確認することができる。
【００６９】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
【００７０】
上記した各実施形態及び変形例では、画像処理装置の一例としてデジタルカメラ１を挙げていたが、これに限定されず、例えば撮像機能を備えたスマートフォン、携帯電話、パーソナルコンピュータなどの装置で構成されてもよい。また、パーソナルコンピュータやサーバなどの画像処理装置が図２又は図５に示す画像処理部を備え、この画像処理部がデジタルカメラ１から取得した画像データに対してエッジ強調を行う構成でもよい。また、図１に示す画像処理部３０（又は画像処理部３０Ａ）と制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有する制御装置が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能と制御部７０の機能を担う。
【００７１】
また、上記した各実施形態及び変形例において、補正部３２又は補正部３２Ａは、画像データにおけるＲＧＢの各色それぞれに対して、補正関数に従ったエッジ成分の強度の補正を行ってもよい。また、上記した各実施形態及び変形例において、画像処理部３０又は画像処理部３０Ａは、静止画のみならず、動画やライブビュー画像に対して補正関数に従ったエッジ成分の強度の補正を行ってもよい。
【００７２】
また、上記した第２実施形態、第３実施形態及び変形例において、補正部３２Ａは、デフォーカス量（ピントのズレ量、被写体のボケ量）に基づいて、ピントの合った領域とピントの合っていない領域とを特定し、それらの領域ごとに異なる補正関数を用いてエッジ成分の強度の補正を行ってもよい。一例としては、撮像素子１００に一対の位相差検出用画素を配置する。そして、制御部７０は、位相差検出用画素から出力される一対の画像データに対して位相差検出演算を行うことにより、一対の像のズレの差（一対の像の位相差）を検出する。制御部７０は、その一対の像のズレの差に基づいてデフォーカス量を算出する。そして、制御部７０は、算出したデフォーカス量を示す信号を画像処理部３０に出力する。補正部３２Ａは、制御部７０からのデフォーカス量を示す信号に基づいて、ピントの合った領域とピントの合っていない領域とを特定し、それらの領域ごとに異なる補正関数を用いてエッジ成分の強度の補正を行う。例えば、補正部３２Ａは、ピントの合った領域はエッジが密集しているものとみなし、図８（２）に示す補正関数を用いてエッジ成分の強度を補正する。また、補正部３２Ａは、ピントの合っていない領域はエッジが密集していないとみなし、図８（１）に示す補正関数を用いてエッジ成分の強度を補正する。
【００７３】
また、補正部３２又は補正部３２Ａは、特定の領域（特徴を含む領域、被写体を含む領域、ピントの合った領域など）に対してだけ、補正関数を用いてエッジ成分の強度の補正を行ってもよい。
【００７４】
また、撮像部２０が被写界深度の範囲が狭い画像を撮像した場合、補正部３２又は補正部３２Ａは、ＥＸＩＦ情報から被写体までの撮影距離を認識することができる。この場合、補正部３２又は補正部３２Ａは、撮影距離付近の被写体の領域に対してはエッジ強調を強めるような補正関数を利用し、撮影距離から離れた被写体の領域に対してはエッジ強調を弱めるような補正関数を利用してもよい。
【００７５】
また、補正部３２又は補正部３２Ａは、ＥＸＩＦ情報に含まれるＩＳＯ感度（ゲイン）の情報に基づいて暗所撮影（暗い環境での撮影）により画像が取得されたか否かを判定し、その判定結果に応じた補正関数を用いてエッジ成分の強度の補正を行ってもよい。例えば、補正部３２又は補正部３２Ａは、ＩＳＯ感度が高いことに基づいて暗所撮影により画像が取得されたと判定した場合は、ノイズ（例えばブロック状のノイズ）が生じてしまう可能性が高いので、中間調の範囲について抑制が強い補正関数を利用する。また、補正部３２又は補正部３２Ａは、ＩＳＯ感度が低いことに基づいて明るい環境での撮影により画像が取得されたと判定した場合は、ノイズが生じてしまう可能性が低いので、中間調の範囲について抑制が弱い補正関数を利用する。
【符号の説明】
【００７６】
１…デジタルカメラ（画像処理装置）、２０…撮像部、３０，３０Ａ…画像処理部、３１…エッジ検出部、３２，３２Ａ…補正部、３３…ルックアップテーブル、３４…加算部、３５…被写体検出部（特徴検出部）、５０…表示部、５１…表示画面、５２…タッチパネル（選択部）、７０…制御部、１００…撮像素子
【図１】
2015192290.tif 000003
【図２】
2015192290.tif 000004
【図３】
2015192290.tif 000005
【図４】
2015192290.tif 000006
【図５】
2015192290.tif 000007
【図６】
2015192290.tif 000008
【図８】
2015192290.tif 000009
【図９】
2015192290.tif 000010
【図１０】
2015192290.tif 000011
【図７】
2015192290.tif 000012
【図１１】
2015192290.tif 000013