(57)【要約】【課題】手間をかけることなく好ましい顔画像を生成すること。【解決手段】処理強度決定装置は、人物が撮影された画像の画像データを取得する画像データ取得部と、人物の顔の凸部が撮影された第１画像領域の輝度と、当該人物の顔の凹部が撮影された第２画像領域の輝度とを比較する比較部と、比較部による比較結果に基づいて、画像データに対して人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する強度決定部とを備える。【選択図】図３
2012227604.tif 000002
【特許請求の範囲】
【請求項１】
人物が撮影された画像の画像データを取得する画像データ取得部と、
前記人物の顔の凸部が撮影された第１画像領域の輝度と、前記人物の顔の凹部が撮影された第２画像領域の輝度とを比較する比較部と、
前記比較部による比較結果に基づいて、前記画像データに対して前記人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する強度決定部と
を備える処理強度決定装置。
【請求項２】
前記強度決定部は、前記画像データの輝度値を補正する輝度補正処理の処理強度を決定する
請求項１に記載の処理強度決定装置。
【請求項３】
前記強度決定部は、前記第１画像領域の輝度値を含む第１輝度範囲および前記第２画像領域の輝度値を含む第２輝度範囲の少なくとも一方の輝度範囲に含まれる輝度値を補正する輝度補正処理の処理強度を決定する
請求項２に記載の処理強度決定装置。
【請求項４】
前記輝度補正処理は、前記第１輝度範囲と前記第２輝度範囲との間で補正後の輝度差を拡大することにより前記凹凸を強調する処理、または、前記第１輝度範囲と前記第２輝度範囲との間で補正後の輝度差を縮小させることにより前記凹凸を抑制する処理を含む
請求項３に記載の処理強度決定装置。
【請求項５】
前記強度決定部は、前記人物が男性である場合に、前記第１画像領域と前記第２画像領域との間の輝度の差が小さいほど、前記凹凸を強調する画像処理の処理強度を大きく決定する
請求項１から４のいずれか一項に記載の処理強度決定装置。
【請求項６】
前記強度決定部は、前記人物が女性である場合に、前記第１画像領域と前記第２画像領域との間の輝度の差が大きいほど、前記凹凸を抑制する画像処理の処理強度を大きく決定する
請求項１から５のいずれか一項に記載の処理強度決定装置。
【請求項７】
前記強度決定部は、前記人物が子供である場合に、前記人物が子供でない場合と比較して、前記凹凸を強調する画像処理の処理強度を小さく決定する
請求項１から６のいずれか一項に記載の処理強度決定装置。
【請求項８】
前記強度決定部は、前記第１画像領域と前記第２画像領域との間の輝度の差が予め定められた閾値よりも大きい場合に、前記凹凸を抑制する処理を無効に決定する
請求項１から７のいずれか一項に記載の処理強度決定装置。
【請求項９】
前記人物の顔の向きを特定する顔向き特定部
をさらに備え、
前記強度決定部は、前記顔の向きが正面に近いほど、前記凹凸を強調する画像処理の処理強度を大きく決定する
請求項１から８のいずれか一項に記載の処理強度決定装置。
【請求項１０】
前記画像に複数の人物が撮影されている場合に、前記複数の人物の中で顔がより大きく撮影されている人物を、前記画像処理の対象となる人物としてより優先して選択する対象選択部
をさらに備え、
前記比較部は、前記対象選択部が選択した人物の顔の凸部が撮影された第１画像領域の輝度と、当該人物の顔の凹部が撮影された第２画像領域の輝度とを比較する
請求項１から９のいずれか一項に記載の処理強度決定装置。
【請求項１１】
前記画像処理の対象となる人物の顔を特定するための情報を記憶する記憶部と、
前記記憶部が記憶している情報に基づいて、前記画像処理の対象となる人物を選択する対象選択部と
をさらに備え、
前記比較部は、前記対象選択部が選択した人物の顔の凸部が撮影された第１画像領域の輝度と、当該人物の顔の凹部が撮影された第２画像領域の輝度とを比較する
請求項１から９のいずれか一項に記載の処理強度決定装置。
【請求項１２】
前記強度決定部が決定した強度で、前記画像データに対して凹凸を強調する画像処理を施す凹凸処理部
をさらに備える請求項１から１１のいずれか一項に記載の処理強度決定装置。
【請求項１３】
前記強度決定部は、前記第１画像領域の輝度および前記第２画像領域の輝度を含む輝度範囲において、ガンマ補正のガンマカーブの傾きを決定することにより、凹凸を強調または抑制する画像処理の処理強度を決定する
請求項１から１２のいずれか一項に記載の処理強度決定装置。
【請求項１４】
請求項１から１３のいずれか一項に記載の処理強度決定装置と、
撮像部と
を備え、
前記画像データ取得部は、前記撮像部が撮像した画像の画像データを取得する
撮像装置。
【請求項１５】
被写体を照明する照明光を発光する発光装置を制御する発光制御部
をさらに備え、
前記発光制御部は、前記被写体となる人物が男性である場合に、前記被写体となる人物が男性でない場合よりも低い発光強度で前記発光装置を発光させる
請求項１４に記載の撮像装置。
【請求項１６】
人物が撮影された画像の画像データを取得する画像データ取得ステップと、
前記人物の顔の凸部が撮影された第１画像領域の輝度と、前記人物の顔の凹部が撮影された第２画像領域の輝度とを比較する比較ステップと、
前記比較ステップにおける比較結果に基づいて、前記画像データに対して前記人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する強度決定ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、処理強度決定装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
撮影された画像信号から顔領域を検出して、顔領域に対して、複数種の画像パラメータに最適な値を設定する技術が知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００６−１４８３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
例えば男性の顔としては、彫りが深く凹凸感のある方が好まれる場合がある。一方、女性の顔としては、凹凸感がない方が好まれる場合がある。従来、好ましい顔画像を生成することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、処理強度決定装置は、人物が撮影された画像の画像データを取得する画像データ取得部と、人物の顔の凸部が撮影された第１画像領域の輝度と、当該人物の顔の凹部が撮影された第２画像領域の輝度とを比較する比較部と、比較部による比較結果に基づいて、画像データに対して人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する強度決定部とを備える。
【０００５】
本発明の第２の態様においては、撮像装置は、上記処理強度決定装置と、撮像部とを備え、画像データ取得部は、撮像部が撮像した画像の画像データを取得する。
【０００６】
本発明の第３の態様においては、プログラムは、人物が撮影された画像の画像データを取得する画像データ取得ステップと、前記人物の顔の凸部が撮影された第１画像領域の輝度と、前記人物の顔の凹部が撮影された第２画像領域の輝度とを比較する比較ステップと、前記比較ステップにおける比較結果に基づいて、前記画像データに対して前記人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する強度決定ステップとをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】撮像装置１０の要部の模式断面を示す。
【図２】撮像装置１０のシステム構成を概略的に示す。
【図３】画像処理部５１のブロック構成の一例を示す。
【図４】凹凸処理部３１０により画像処理が施された顔画像の一例を示す。
【図５】凹凸処理部３１０により画像処理が施された顔画像の一例を示す。
【図６】ガンマ補正に適用するガンマカーブの一例を示す。
【図７】撮像装置１０における動作フローの一例を示す。
【図８】凹凸処理に関する動作を設定するための設定画面の一例を示す。
【図９】撮像動作にかかる動作フローの一例を示す。
【図１０】凹凸処理を含む画像処理を実行する処理フローを示す。
【図１１】表示ユニット５３に表示される表示画面の一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、撮像装置１０の要部の模式断面を示す。撮像装置１０は、レンズユニット２０および発光ユニット６０がカメラユニット３０に装着されて、一眼レフカメラとして機能する。
【００１１】
カメラユニット３０には、焦点距離、開放Ｆ値等の異なる複数のレンズユニット２０が、交換レンズとして交換可能に装着される。レンズユニット２０は、光軸１１に沿って配列され鏡筒２６に支持されたレンズ系２１を備える。撮像レンズの一例としてのレンズ系２１は、入射される被写体光束をカメラユニット３０へ導く。図においては、レンズ系２１を構成するレンズとして、前玉２２と、フォーカスおよびズームを担うレンズ群４８とを含む。レンズ群４８は、焦点調整、画角調整の指示に応じて、レンズ群４８に含まれる１以上のレンズが光軸方向に移動できるように構成されている。
【００１２】
鏡筒２６は、レンズ回路基板２７を支持する。レンズ回路基板２７は、レンズユニット２０を制御する各種回路、電子素子等を搭載している。レンズユニット２０は、カメラユニット３０との接続部にレンズマウント２９を備え、カメラユニット３０が備えるカメラマウント３１と係合して、カメラユニット３０と一体化する。レンズマウント２９とカメラマウント３１とはそれぞれ通信端子を備えており、マウント同士が係合したときに互いの通信端子が接続される。これにより、レンズ回路基板２７に搭載された各種回路、電子素子等は、カメラユニット３０側と電気的に接続される。
【００１３】
カメラユニット３０は、レンズユニット２０から入射される被写体光束を反射するメインミラー３２と、メインミラー３２で反射された被写体光束が結像するピント板３３を備える。メインミラー３２は、ミラーボックス内でメインミラー回転軸３４周りに揺動して、光軸１１を中心とする被写体光束中に斜設される斜設状態と、被写体光束から退避する退避状態を取り得る。サブミラー４０は、メインミラー３２が被写体光束から退避する場合は、メインミラー３２に連動して被写体光束から退避する。メインミラー回転軸３４は、ミラーボックスの側壁に支持される。
【００１４】
ライブビューボタンが押し下げられた場合、または、レリーズボタンが最下部まで押し下げられた場合、破線で示した退避状態を取る。例えば、メインミラー３２が被写体光束中に斜設された状態で、ライブビューボタンが押し下げられた場合またはレリーズボタンが最下部まで押し下げられた場合、メインミラー３２は破線で示した退避位置に移動する。ライブビューボタンが押し下げられた場合、メインミラー３２は再度ライブビューボタンが押し下げられるまで退避位置に留まる。一方、レリーズボタンが押し下げられた場合は、所定の撮像動作を終えると、メインミラー３２はダウンされ元の斜設状態の位置に戻される。
【００１５】
フォーカルプレーンシャッタ４３および撮像素子３６は、光軸１１に沿って配列されている。メインミラー３２およびサブミラー４０が退避状態である場合に、被写体光束は、レンズ系２１を透過してカメラユニット３０へ入射し、ミラーボックス内部と開放状態のフォーカルプレーンシャッタ４３を通過して、撮像素子３６の受光面で結像する。
【００１６】
撮像素子３６は、例えばＣＭＯＳセンサなどの光電変換素子を有する。撮像素子３６は、受光面で結像した被写体像を電気信号として出力する複数の光電変換素子を有する。撮像素子３６は、カメラ処理部５０と接続される。カメラ処理部５０には、撮像素子３６で光電変換された電気信号を処理するＡＳＩＣ、カメラユニット３０の全体を制御するＭＰＵ等の電気素子が搭載されている。
【００１７】
カメラユニット３０の背面には液晶モニタ等による表示ユニット５３が配設されている。表示ユニット５３は、撮像素子３６に含まれる光電変換素子が出力した画像信号に基づく画像を表示する。表示ユニット５３は、カメラ処理部５０内のＡＳＩＣによって被写体像の電気信号から生成された表示用画像データを用いて、被写体像を表示する。表示ユニット５３は、撮像後の静止画像に限らず、各種メニュー情報、撮像情報、告知情報等を表示する。ライブビュー時には、被写体に対して焦点調節をしながら、撮像素子３６の受光面に結像した被写体像の電気信号からカメラ処理部５０内のＡＳＩＣによって表示用画像データが生成され、生成された表示用画像データを用いて表示ユニット５３が被写体像を表示する。
【００１８】
ピント板３３は、撮像素子３６の受光面と共役の位置に配置されている。ピント板３３で結像した被写体像は、ペンタプリズム３７で正立像に変換され、接眼光学系３８を介してユーザに観察される。ペンタプリズム３７の射出面上方には、測光素子３９が配置される。測光素子３９は、測光光学系３５を介して、被写体像の輝度分布を検出するための光電変換素子である。測光素子３９により検出された被写体像の輝度分布は、シャッタスピード、絞り値等を決定するためにカメラ処理部５０において使用される。また、測光素子３９により検出された被写体像の輝度分布は、人物の顔、顔画像内の輝度等を検出するためにカメラ処理部５０内のＡＳＩＣ等において使用される。
【００１９】
斜設状態におけるメインミラー３２の光軸１１の近傍領域は、ハーフミラーとして形成されており、入射される被写体光束の一部が透過する。透過した被写体光束は、メインミラー３２と連動して揺動するサブミラー４０で反射されて、合焦ユニット４２へ導かれる。合焦ユニット４２に導かれた被写体光束は、合焦光学系を通じて合焦センサへ入射される。合焦センサは、複数の焦点調整領域のそれぞれにおいて合焦状態、前ピン状態、後ピン状態を示す位相差検出信号を出力する。前ピン状態、後ピン状態の場合には、位相差検出信号は合焦状態からのずれ量も示す。カメラ処理部５０は、位相差検出方式による位相差ＡＦ（自動フォーカス）によって、レンズユニット２０の焦点調節を行う。
【００２０】
カメラユニット３０には着脱可能な二次電池５４が収容される。二次電池５４は、カメラユニット３０に限らず、レンズユニット２０にも電力を供給する。
【００２１】
発光ユニット６０は、被写体を照明する照明光を発光する。発光ユニット６０とカメラユニット３０とは、発光ユニット６０が有するマウント部６９とカメラユニット３０が有するマウント部４１とを介して接続される。発光ユニット６０は、キセノンランプ等の発光部６１、反射板６２、フレネルレンズ６３、電池等のバッテリ６５、および、発光制御部６６を有する。発光制御部６６は、バッテリ６５から電力を供給して発光部６１を発光させることにより、反射板６２およびフレネルレンズ６３を介して照明光を発する。発光制御部６６は、カメラ処理部５０からの発光指示信号に基づき発光制御を行う。
【００２２】
図２は、撮像装置１０のシステム構成を概略的に示すブロック図である。撮像装置１０のシステムは、レンズユニット２０、カメラユニット３０および発光ユニット６０のそれぞれに対応して、レンズシステム制御部７１を中心とするレンズ制御系と、カメラシステム制御部５２を中心とするカメラ制御系と、発光制御部６６を中心とする発光制御系とにより構成される。レンズ制御系とカメラ制御系とは、レンズマウント２９とカメラマウント３１とによって接続される通信端子を介して、相互に各種データ、制御信号の授受を行う。発光制御系とカメラ制御系とは、マウント部６９とマウント部４１とによって接続される通信端子を介して、相互に各種データ、制御信号の授受を行う。
【００２３】
カメラ制御系に含まれる画像処理部５１は、例えばＡＳＩＣにより実現される。画像処理部５１は、カメラシステム制御部５２からの指令に従って、撮像素子３６から出力された被写体像の電気信号を処理して画像データを生成する。生成された画像データは、表示制御部５５へ送られて、例えば撮像後の一定時間の間、表示ユニット５３に表示される。これに並行して、処理された画像データは、予め定められた画像フォーマットに加工され、外部接続ＩＦ５６を介して記録媒体に記録される。画像処理部５１は、カメラシステム制御部５２からの指令に従って、撮像素子３６から出力された被写体像の電気信号を処理して、被写体像のコントラスト量を示すコントラスト評価値を生成する。カメラシステム制御部５２は、コントラスト評価値および合焦ユニット４２から出力された位相差検出信号の少なくとも一方に基づき、焦点調節用の制御信号を生成して、レンズシステム制御部７１に供給する。
【００２４】
システムメモリ５７は、例えばフラッシュメモリなどの不揮発性メモリであり、撮像装置１０を制御するプログラム、各種パラメータなどを記憶する役割を担う。ワークメモリ５８は、例えばＤＲＡＭ等の高速アクセスできるメモリであり、処理中の画像データを一時的に保管する役割などを担う。
【００２５】
駆動制御部５９は、カメラシステム制御部５２からの指令に従ってメインミラー３２、サブミラー４０、フォーカルプレーンシャッタ４３等を駆動する。操作入力部４７は、レリーズボタン、ライブビューボタン、撮像モードスイッチ、動画撮影ボタン、電源スイッチ等を含む。カメラシステム制御部５２は、操作入力部４７に対するユーザ操作を示す信号を取得する。
【００２６】
レンズシステム制御部７１は、カメラシステム制御部５２からの制御信号を受けて各種動作を制御する。レンズメモリ７２は、レンズ固有情報およびレンズシステム制御部７１が実行するプログラム等を記憶している。レンズ駆動部７３は、レンズシステム制御部７１がカメラシステム制御部５２から受け取った制御信号に従って、フォーカスレンズ、ズームレンズ、絞り２８等を駆動する。
【００２７】
発光制御部６６は、カメラシステム制御部５２からの制御信号を受けて、発光ユニット６０の全体を制御する。発光制御部６６は、カメラシステム制御部５２から受け取った制御信号に従って発光部６１を駆動する。後述するように、カメラシステム制御部５２は、被写体となる人物の性別に応じて、発光制御部６６を通じて発光ユニット６０からの発光強度を制御する。
【００２８】
図３は、画像処理部５１のブロック構成の一例を示す。画像処理部５１は、画像データ取得部３００、凹凸処理部３１０、後処理部３２０、顔向き特定部３３０、処理強度決定部３４０、および、人物特徴特定部３５０を含む。人物特徴特定部３５０は、人物の特徴を特定する。人物特徴特定部３５０は、性別特定部３５２、年令特定部３５４および太り度合特定部３５６を含む。画像データ取得部３００、顔向き特定部３３０、処理強度決定部３４０および人物特徴特定部３５０の処理ブロックは、処理強度決定装置として機能することができる。
【００２９】
画像データ取得部３００は、人物が撮影された画像の画像データを取得する。具体的には、撮像素子３６から読み出された画像の画像データを取得する。画像データ取得部３００は、測光素子３９から読み出された画像の画像データを取得してもよい。
【００３０】
凹凸処理部３１０は、画像データ取得部３００が取得した画像の画像データに対して、人物の顔の凹凸を強調または抑制する画像処理を施す。具体的には、処理強度決定部３４０は、人物の顔の凸部が撮影された第１画像領域の輝度と、人物の顔の凹部が撮影された第２画像領域の輝度とを比較して、当該比較した結果に基づいて、画像データに対して人物の顔の凹凸を強調または抑制する画像処理の処理強度を決定する。
【００３１】
顔の凸部としては、鼻の先端部等の鼻筋を例示することができる。その他、顔の凸部として、額の中央部、上唇または下唇の中央部、あごの中央部等を例示することができる。ここでいう中央部とは、顔における中心位置近傍の部位であってよい。顔の凹部としては、目頭を例示することができる。その他、顔の凹部としては、例えば眉の直下等の瞼の上部領域、下唇の直下、頬の痩けた部分等を例示することができる。その他、顔の凸部として、撮影時に明部となる部位であれば、任意の部位を適用することができる。また、顔の凹部として、撮影時に暗部となる部位であれば、任意の部位を適用することができる。
【００３２】
人物の顔の凹凸を強調または抑制する画像処理としては、画像データの輝度値を補正する輝度補正処理を例示することができる。具体的には、処理強度決定部３４０は、第１画像領域の輝度および第２画像領域の輝度を含む輝度範囲において、ガンマ補正のガンマカーブの傾きを決定することにより、凹凸を強調または抑制する画像処理の処理強度を決定する。例えば、ガンマカーブの傾きを大きくすることにより、凹凸を強調する画像処理の処理強度を高めることができる。一方、ガンマカーブの傾きを小さくすることにより、凹凸を抑制する画像処理の処理強度を高めることができる。
【００３３】
性別特定部３５２は、撮像された人物の性別を特定して、人物の性別を示す情報を処理強度決定部３４０に供給する。処理強度決定部３４０は、人物が男性である場合に、第１画像領域と第２画像領域との間の輝度の差が小さいほど、凹凸を強調する画像処理の処理強度を大きく決定する。これにより、彫りの深い顔画像を生成することができる。一方、処理強度決定部３４０は、人物が女性である場合に、第１画像領域と第２画像領域との間の輝度の差が大きいほど、凹凸を抑制する画像処理の処理強度を大きく決定する。これにより、凹凸感が小さい明るい印象の顔画像を生成することができる。性別特定部３５２は、顔の形状、全身の形状、髪型、服装等に基づいて、性別を特定してよい。
【００３４】
年令特定部３５４は、撮像された人物の年令に関する情報を特定して、年令に関する情報を処理強度決定部３４０に供給する。年令に関する情報としては、人物が子供であるか否かを示す情報を例示することができる。処理強度決定部３４０は、人物が子供である場合に、人物が子供でない場合と比較して、凹凸を強調する画像処理の処理強度を小さく決定する。例えば、処理強度決定部３４０は、人物が子供である場合に、凹凸を強調する画像処理を禁止する。
【００３５】
年令特定部３５４は、人物が大人であると判断された場合に、予め定められた年令を超える年代の人物であるか否かを特定してもよい。例えば、年令に関する予め定められた特徴を持つ場合に、予め定められた年令を超える年代の人物である旨を特定してもよい。例えば、白髪であるか否か、髪の有無等に基づいて、予め定められた年令を超える年代の人物であるか否かを特定してよい。処理強度決定部３４０は、予め定められた年令を超える年代の人物である場合に、凹凸を強調する画像処理の処理強度を小さく決定する。例えば、凹凸を強調する画像処理を禁止する。処理強度決定部３４０は、凹凸を抑制する画像処理の処理強度を大きく決定してもよい。これにより、皺等の凹凸が抑制された顔画像を提供できる。年令特定部３５４は、頭部領域における目、鼻、口等の位置に基づいて、年令を特定してよい。例えば、目の位置と頭部の中心との間の距離が予め定められた値より小さい場合に、人物が子供であると判断してよい。
【００３６】
太り度合特定部３５６は、人物の太り度合いを特定する。太り度合としては、例えば、顔の丸さを示す指標値を例示することができる。丸さを示す指標値として、顔領域の面積に対する、顔領域に内接する円の面積の比等を例示することができる。人物の体部が撮影されている場合等、体部の横幅を画像データから特定することができる場合、太り度合特定部３５６は、体部の横幅が大きいほど太り度合を大きく算出してよい。処理強度決定部３４０は、太り度合いが予め定められた値より大きい場合に、凹凸を強調する画像処理の処理強度を大きく決定する。凹凸が強調されることで、細身に見える顔画像を提供することができる。なお、処理強度決定部３４０は、予め定められた年令を超える年代の人物であることを条件として、太り度合に基づいて処理強度を決定してもよい。例えば年齢を重ねるにつれて太り易くなる場合がある。しかし、本処理によれば、ある程度の年代に達した人物の顔が細身に見えるようにすることができる。
【００３７】
顔向き特定部３３０は、人物の顔の向きを特定する。顔の向きとは、撮影方向に対する顔の向きを示す。顔向き特定部３３０は、人物の両眼の中点が、人物の頭部領域の中心から予め定められた範囲内に存在しない場合に、顔の向きが斜めであると判断する。すなわち、人物の両眼の中点が頭部領域の中心から予め定められた範囲内に存在する場合には、顔の向きが正面であると判断する。処理強度決定部３４０は、顔の向きが正面に近いほど、凹凸を強調する画像処理の処理強度を大きく決定する。斜めから撮影された場合には、例えば鼻筋の凹凸のラインが見え易いので、凹凸感があるように見える場合がある。これに対して正面顔は、鼻筋のラインが見えにくく、凹凸感があるように見えない場合がある。処理強度決定部３４０は、顔の向きが正面に近いほど、凹凸を強調する画像処理の処理強度を大きく決定することで、凹凸感が出にくい正面顔をきちんと強調することができる。
【００３８】
なお、処理強度決定部３４０は、画像に複数の人物が撮影されている場合に、複数の人物の中で顔がより大きく撮影されている人物を、画像処理の対象となる人物としてより優先して選択し、選択した人物の顔の凸部が撮影された第１画像領域の輝度と、当該人物の顔の凹部が撮影された第２画像領域の輝度とを比較する。画像処理の対象となる人物として優先される人物としては、画像領域の中央に撮像されている人物、合焦した人物等を例示することができる。また、画像処理の対象となる人物の顔を特定するための情報が予め登録されていてもよい。処理強度決定部３４０は、登録されている情報に基づいて、画像処理の対象となる人物を選択してもよい。画像処理の対象となる人物の顔を特定するための情報としては、顔画像データ、画像特徴量等を例示することができる。これらの情報の記憶先としてシステムメモリ５７を適用することができる。
【００３９】
後処理部３２０は、凹凸処理部３１０により処理された画像に対し、後処理を施す。後処理としては、輪郭補償、色補間処理、解像度変換処理等を例示することができる。後処理部３２０により処理された画像データは、ワークメモリ５８に一旦記憶され、表示ユニット５３への表示、記録媒体への記録に供される。なお、凹凸処理部３１０によるガンマ補正よりも前に、欠陥画素補正、ゲイン補正、ホワイトバランス補正、黒レベル補正が、前処理として予め施されていてよい。画像データ取得部３００は、これらの前処理が施された画像データを取得するとしてよい。
【００４０】
図４は、凹凸処理部３１０により画像処理が施された顔画像の一例を示す。本図では、顔の凹凸を抑制する画像処理を施した女性の顔画像４５０を示す。本図において、画像領域４１０は、顔における凸部の一例である鼻の頂部の画像領域であり、画像領域４２０ａおよび４２０ｂは、顔における凹部の一例である目頭の画像領域である。顔における凸部の画像領域を、凸部領域と略称し、顔における凹部の画像領域を、凹部領域と略称する。
【００４１】
処理強度決定部３４０は、入力画像４００に対して例えば矩形の画像領域４１０および画像領域４２０を設定する。処理強度決定部３４０は、凸部領域の輝度値として、入力画像４００の画像データから画像領域４１０の輝度値の平均値を算出する。また、処理強度決定部３４０は、入力画像４００の画像データから、画像領域４２０ａの輝度値の平均値と、画像領域４２０ｂの輝度値の平均値とを算出する。処理強度決定部３４０は、画像領域４２０ａの輝度値の平均値および画像領域４２０ｂの輝度値の平均値のうち低い方の値を、凹部領域の輝度値として適用する。処理強度決定部３４０は、凸部領域の輝度値から凹部領域の輝度値を減算することにより、凸部領域と凹部領域との間の輝度差を算出する。
【００４２】
性別特定部３５２によって対象となる顔画像が女性の顔画像であると判断された場合、処理強度決定部３４０は、算出した輝度差が予め定められた第１閾値Ａ以上であり、かつ、第２閾値Ｂより小さい場合に、ガンマ補正に適用するガンマカーブとして、顔の凹凸を抑制するガンマカーブを決定する。具体的には、処理強度決定部３４０は、予め定められた標準ガンマカーブを適用した場合よりも、ガンマ補正後の輝度差が小さくなるガンマカーブを決定する。具体的には、凸部領域の輝度および凹部領域の輝度を含む輝度範囲において傾きが小さいガンマカーブを決定する。ガンマカーブの具体例については図６に関連して説明する。
【００４３】
本凹凸を抑制する画像処理によれば、例えば目頭の画像領域の明るさを、鼻の頂部の画像領域の明るさに近づけることができる。すなわち、顔において影になり易い画像領域を明るくすることができる。このため、被写体が女性である場合、全体として凹凸感の少ない明るい印象の顔画像を生成することができる。
【００４４】
図５は、凹凸処理部３１０により画像処理が施された顔画像の一例を示す。本図では、顔の凹凸を強調する画像処理を施した男性の顔画像５５０を示す。本図において、画像領域５１０は、鼻の頂部の画像領域であり、画像領域５２０ａおよび５２０ｂは、目頭の画像領域である。鼻の頂部の画像領域は凸部領域の一例であり、目頭の画像領域は凹部領域の一例である。
【００４５】
処理強度決定部３４０は、図４に関連して説明した処理と同様に、凸部領域と凹部領域との間の輝度差を算出する。具体的には、処理強度決定部３４０は、入力画像５００に対して例えば矩形の画像領域５１０および画像領域５２０を設定する。処理強度決定部３４０は、凸部領域の輝度値として、入力画像５００の画像データから画像領域５１０の輝度値の平均値を算出する。また、処理強度決定部３４０は、入力画像５００の画像データから、画像領域５２０ａの輝度値の平均値と、画像領域５２０ｂの輝度値の平均値とを算出する。処理強度決定部３４０は、画像領域５２０ａの輝度値の平均値および画像領域５２０ｂの輝度値の平均値のうち低い方の値を、凹部領域の輝度値として適用する。処理強度決定部３４０は、凸部領域の輝度値から凹部領域の輝度値を減算することにより、凸部領域と凹部領域との間の輝度差を算出する。
【００４６】
性別特定部３５２によって対象となる顔画像が男性の顔画像であると判断された場合、処理強度決定部３４０は、算出した輝度差が予め定められた第３閾値Ｃよりも小さい場合に、ガンマ補正に適用するガンマカーブとして、顔の凹凸を強調するためのガンマカーブを決定する。具体的には、処理強度決定部３４０は、予め定められた標準ガンマカーブを適用した場合よりも、ガンマ補正後の輝度差が大きくなるガンマカーブを決定する。具体的には、凸部領域の輝度および凹部領域の輝度を含む輝度範囲において傾きが大きいガンマカーブを決定する。ガンマカーブの具体例については図６に関連して説明する。
【００４７】
本凹凸を強調する画像処理によれば、顔において影になり易い目頭等の画像領域に対して影を強調することができる。このため、被写体が男性である場合に、彫りを強調した顔画像を生成することができる。
【００４８】
図６は、ガンマ補正に適用するガンマカーブの一例を示す。ガンマカーブ６００は、標準ガンマカーブである。ガンマカーブ６００は、例えば人物の顔画像が写っていない画像のガンマ補正処理に適用される。人物の顔画像が写っている画像であっても、人物の顔の凹凸を強調または抑制する凹凸処理を適用しない場合にも、ガンマカーブ６００が適用される。ガンマカーブ６１０は、顔の凹凸を抑制するためのガンマカーブの一例であり、ガンマカーブ６２０ａおよび６２０ｂは、顔の凹凸を強調するためのガンマカーブの一例である。
【００４９】
顔の凹凸を抑制するためのガンマカーブを決定する場合、処理強度決定部３４０は、凸部領域の輝度値６５０および凹部領域の輝度値６６０を少なくとも含む輝度範囲において、ガンマカーブ６００よりも傾きが小さいガンマカーブ６１０を決定する。
【００５０】
顔の凹凸を強調するためのガンマカーブを決定する場合、処理強度決定部３４０は、凹部領域の輝度値６５０および凹部領域の輝度値６６０を少なくとも含む輝度範囲において、ガンマカーブ６００よりも傾きが大きいガンマカーブ６２０ａまたは６２０ｂを決定する。
【００５１】
ここで、ガンマカーブ６２０ｂは正面顔用のガンマカーブであり、ガンマカーブ６２０ａは斜め顔用のガンマカーブである。ガンマカーブ６２０ｂは、ガンマカーブ６２０ａよりも大きい傾きを持つ。したがって、ガンマカーブ６２０ｂによるガンマ補正によれば、ガンマカーブ６２０ａによるガンマ補正よりも、顔の凹凸をより強調することができる。
【００５２】
このように、処理強度決定部３４０は、第１画像領域の輝度値を含む第１輝度範囲および第２画像領域の輝度値を含む第２輝度範囲の少なくとも一方の輝度範囲に含まれる輝度値を補正する輝度補正処理の処理強度を決定する。輝度補正処理は、凹凸を強調する処理として、第１輝度範囲と第２輝度範囲との間で補正後の輝度差を拡大する処理を含む。また、輝度補正処理は、凹凸を抑制する処理として、第１輝度範囲と第２輝度範囲との間で補正後の輝度差を縮小させる処理を含む。
【００５３】
図７は、撮像装置１０における動作フローの一例を示す。本フローは、操作入力部４７の一部としての電源スイッチがＯＮされた場合に、開始される。
【００５４】
ステップＳ７０２において、初期設定を開始する。例えば、カメラシステム制御部５２は、撮像装置１０を制御するプログラム、各種パラメータなどを、システムメモリ５７からワークメモリ５８に展開する。そして、カメラシステム制御部５２は、例えば撮像モードスイッチ等を含む操作入力部４７の状態、および、展開された各種パラメータに基づき、撮像装置１０の各部の動作条件を設定する。例えば、撮像モードを切り替える撮像モードスイッチがポートレートモードに対応する位置にある場合、撮像モードをポートレートモードに設定する。
【００５５】
ステップＳ７０４において、操作入力部４７に対するユーザ指示を判断する。ユーザ指示が諸設定を実行する指示である場合、カメラシステム制御部５２が主体となって、指示された設定処理を行う（ステップＳ７０６）。設定処理としては、撮像モードを設定する処理、撮像条件を設定する処理、凹凸処理に関する動作を設定するための処理等を例示することができる。
【００５６】
例えば、撮像モードスイッチがポートレートモードに対応する位置に切り替えられた場合、撮像モードをポートレートモードに設定する。ポートレートモードでは、人物が際立つように比較的開放に近い露出値を設定し、柔らかい表情が表現されるように画像処理においてエッジ強調を若干弱く適用するためのエッジ強調パラメータが設定される。
【００５７】
また、測光素子３９の出力に基づいて、撮像時に発光ユニット６０から発光させるべきか否かを決定する。その他、絞り値、シャッタスピード等の撮像条件がユーザから指示された場合、ユーザ指示に従って撮像条件の設定を行う。また、例えば凹凸処理を有効にする指示があった場合には凹凸処理を有効に設定し、凹凸処理を無効にする指示があった場合には凹凸処理を有効に設定する。
【００５８】
ステップＳ７０４において、ユーザ指示が撮影実行に関する指示であると判断された場合、撮像実行に関する処理を行う（ステップＳ７１２）。撮影実行に関する指示としては、ライブビューボタン、動画撮影ボタン、レリーズボタンに対する操作等を例示することができる。ステップＳ７０４におけるユーザ指示が画像の再生を実行する指示である場合、再生処理を（ステップＳ７２２）。再生処理としては、記録媒体に記録された画像をサムネイル表示する処理、ユーザにより指示された画像を表示する処理等を例示することができる。
【００５９】
ステップＳ７０６、ステップＳ７１２、ステップＳ７２２の処理が完了すると、ステップＳ７０８に進み、電源をＯＦＦするか否かを判断する。例えば、電源スイッチがＯＦＦ位置に切り替えられた場合や、電源がＯＮされてから予め定められた期間、ユーザ指示のない状態が継続した場合等に、電源をＯＦＦすると判断する。電源をＯＦＦすると判断した場合は動作を終了し、電源をＯＦＦしないと判断した場合はステップ７０４に処理を移行させる。
【００６０】
図８は、凹凸処理に関する動作を設定するための設定画面の一例を示す。設定画面８００は、例えば図７のステップＳ７０６において、ユーザ指示に応じて表示される。設定画面８００は、凹凸処理設定に関する動作の設定として、優先モード、処理強度、ＯＮ／ＯＦＦ設定の設定項目を含む。
【００６１】
設定画面８００では、優先モードとして例えば「自動」、「男性優先」および「女性優先」の中からいずれかをユーザに選択することができる。ユーザは、優先モードに対応する設定パラメータ８１０にカーソルを合わせて操作入力部４７を操作することで、優先モードを設定することができる。優先モードが「男性優先」に設定された場合、男性を凹凸処理の対象として優先的に選択する。例えば男性の顔画像および女性の顔画像を含む画像に対しては、男性の顔画像を凹凸処理の対象として選択する。一方、優先モードが「女性優先」に設定された場合、女性を凹凸処理の対象として優先的に選択する。例えば男性の顔画像および女性の顔画像を含む画像に対しては、女性の顔画像を凹凸処理の対象として選択する。優先モードが「自動」に設定された場合、凹凸処理の対象を自動的に選択する。例えば複数の顔画像を含む画像に対して、面積が最も大きい顔画像を凹凸処理の対象として選択する。
【００６２】
設定画面８００では、処理強度として例えば「強」、「中」、「弱」の中からいずれかをユーザに選択させることができる。ユーザは、処理強度に対応する設定パラメータ８２０にカーソルを合わせて操作入力部４７を操作することで、処理強度を設定することができる。処理強度が「強」に設定された場合、処理強度が「中」または「弱」に設定された場合よりも、強い処理強度が設定される。例えば、女性の顔画像に対するガンマカーブとしては、傾きが最も小さいガンマカーブが設定される。また、男性の顔画像に対するガンマカーブとしては、傾きが最も大きいガンマカーブが設定される。処理強度が「弱」に設定された場合、処理強度が「中」または「強」に設定された場合よりも、弱い処理強度が設定される。例えば、女性の顔画像に対するガンマカーブとしては、傾きが最も大きいガンマカーブが設定される。また、男性の顔画像に対するガンマカーブとしては、傾きが最も小さいガンマカーブが設定される。
【００６３】
設定画面８００では、ＯＮ／ＯＦＦ設定として例えば「高」、「中」、「低」および「ＯＦＦ」の中からいずれかをユーザに選択させることができる。ユーザは、ＯＮ／ＯＦＦ設定に対応する設定パラメータ８３０にカーソルを合わせて操作入力部４７を操作することで、凹凸処理のＯＮ／ＯＦＦに関する設定を行うことができる。ＯＮ／ＯＦＦ設定が「ＯＦＦ」に設定された場合、凹凸処理は行われない。ＯＮ／ＯＦＦ設定が「高」、「中」および「低」のいずれかに設定された場合、凹凸処理が行われる場合がある。ＯＮ／ＯＦＦ設定の「高」、「中」および「低」を設定することで、上述した輝度差に関する第１閾値Ａおよび第３閾値Ｃの値が設定される。例えば、ＯＮ／ＯＦＦ設定が「高」に設定された場合、「中」または「低」に設定された場合よりも、凹凸処理が適用され易くなる。具体的には、女性の顔画像用の第１閾値Ａは低く設定され、男性の顔画像用の第３閾値Ｃは高く設定される。ＯＮ／ＯＦＦ設定が「低」に設定された場合、「中」または「高」に設定された場合よりも、凹凸処理が適用されにくくなる。具体的には、女性の顔画像用の第１閾値Ａは高く設定され、男性の顔画像用の第３閾値Ｃは低く設定される。
【００６４】
本設定画面８００によれば、ユーザの好みに応じて適切な動作を設定することができる。例えば、ユーザが男性を中心に撮影する場合、優先モードを「男性優先」に設定することで、男性の顔があまり大きく写っていない場合でも、男性の顔に合わせて凹凸処理を行わせることができる。また、彫りをより深くしたい場合には、処理強度を単に「強」に選択するだけで、望ましい顔画像を得ることができる。また、凹凸処理の適用場面を増やしたいシーンではＯＮ／ＯＦＦ設定を「高」に設定し、凹凸処理を必ずＯＦＦにしたいシーンではＯＮ／ＯＦＦ設定を「ＯＦＦ」に設定することで、シーンに応じて設定を切り替えることができる。
【００６５】
図９は、撮像装置１０が撮像処理をする場合の動作フローの一例を示す。本フローは、図７のステップＳ７１２の詳細な処理フローである。本フローに関する処理は、特に断らない限りカメラシステム制御部５２が主体となって動作する。
【００６６】
ステップＳ９０２において、動画を撮像するか静止画を撮像するかを判断する。例えば、操作入力部４７に対してなされた操作に基づき、ユーザ指示が動画を撮像する指示であるか、静止画を撮像する指示であるかを判断する。静止画を撮像する指示である場合、ライブビューで撮像するか否かを判断する。例えばライブビューボタンが押し下げられた場合は、ライブビューで撮像すると判断し、ライブビューボタンが押し下げられていない場合は、ライブビューで撮像しないと判断する。
【００６７】
ライブビューで撮像しないと判断した場合、メインミラー３２をアップして、メインミラー３２を被写体光束から退避させる（ステップＳ９０６）。そして、撮像素子３６によるコントラストＡＦおよびＡＥ（自動露出）を開始する（ステップＳ９０８）。コントラストＡＦ、ＡＥは、静止画の撮像が完了するまでの期間、適時に実行される。
【００６８】
続いて、ステップＳ９１０において、撮像素子３６から画像を読み出す。ステップＳ９１２において、画像処理部５１は、読み出された画像に対して、凹凸処理を含む画像処理を実行する。本画像処理については図１０に関連して説明する。続いて、ステップＳ９１４において、表示制御部５５は、表示ユニット５３にライブビュー画像を表示させる。ここでは、凹凸処理を含む画像処理が適用された画像を表示させてよい。
【００６９】
続いて、ステップＳ９１６において、撮像指示がなされたか否かを判断する。例えば、レリーズボタンが最下部まで押し下げられた場合、撮像指示がなされたと判断する。撮像指示がなされていない場合、ステップＳ９１０に処理を移行させて、撮像指示がなされるまで、ステップＳ９１０からステップＳ９１４の処理を実行する。
【００７０】
撮像指示がなされた場合、発光ユニット６０から発光させるか否かを、撮像素子３６二より撮像された画像の明るさに基づき判断する（ステップＳ９１８）。発光ユニット６０から発光させる場合、次の撮像タイミングに同期して発光するよう発光ユニット６０を制御して（ステップＳ９２０）、ステップＳ９２２に処理を進める。発光ユニット６０から発光させない場合、発光ユニット６０に発光させずに、ステップＳ９２２に処理を進める。ステップＳ９２０において、カメラシステム制御部５２は、被写体となる人物が男性である場合に、被写体となる人物が男性でない場合よりも低い発光強度で発光装置を発光させるよう、発光制御部６６を制御する。これにより、凹凸補正で輝度差を拡大させる効果を高めることができる。
【００７１】
ステップＳ９２２において、撮像素子３６で露光して被写体を静止画として撮像し、ステップＳ９２４においてメインミラー３２をダウンさせる。ステップＳ９２６において、画像処理部５１が静止画の画像データに対して画像処理を行う。本画像処理では、ステップＳ９１２に関連して説明する凹凸処理が実行される場合がある。ステップＳ９２６で画像処理が施された画像データは、記録媒体に記録される（ステップＳ９２８）。ステップＳ９２８において、画像データに付帯してガンマカーブを示す情報を記録媒体に記録してよい。ステップＳ９２８の処理が完了すると、本フローにおける動作は終了する。
【００７２】
ステップＳ９０４においてライブビューで撮像しないと判断された場合、メインミラー３２をダウンさせた斜設状態を維持したまま、合焦ユニット４２による位相差ＡＦおよび測光素子３９によるＡＥを開始させる（ステップＳ９３２）。位相差ＡＦ、ＡＥは、静止画の撮像が完了するまでの期間、適時に実行される。
【００７３】
ステップＳ９３４において測光素子３９を読み出して、ステップＳ９３６において凹凸処理に関する動作設定を行う。凹凸処理に関する動作設定としては、凹凸処理を実行するか否かの判断等を行う。
【００７４】
続いて、ステップＳ９３８において、撮像指示がなされたか否かを判断する。例えば、レリーズボタンが最下部まで押し下げられた場合、撮像指示がなされたと判断する。撮像指示がなされていない場合、ステップＳ９３４に処理を移行させて、撮像指示がなされるまで、ステップＳ９３４からステップＳ９３６の処理を実行する。撮像指示がなされた場合、メインミラー３２をアップして被写体光束から退避させ（ステップＳ９４０）、ステップＳ９１８に処理を移行させる。
【００７５】
ステップＳ９０２において、動画を撮像する指示である場合、メインミラー３２をアップして、メインミラー３２を被写体光束から退避させる（ステップＳ９５２）。そして、撮像素子３６によるコントラストＡＦおよびＡＥを開始する（ステップＳ９５４）。コントラストＡＦ、ＡＥは、動画の撮像が完了するまでの期間、適時に実行される。
【００７６】
続いて、ステップＳ９５６において、撮像素子３６から動画を構成する画像の一例としてのフレーム画像を読み出す。ステップＳ９５８において、画像処理部５１は、読み出されたフレーム画像に対して、凹凸処理を含む画像処理を実行する。画像処理されたフレーム画像のデータは、ワークメモリ５８に記憶される。続いて、ステップＳ９６０において、表示制御部５５は、表示用画像として生成されたフレーム画像を表示ユニット５３に表示させる。ここでは、凹凸処理を含む画像処理が適用された画像を表示させてよい。
【００７７】
続いて、ステップＳ９６２において、動画の撮像を終了するか否かを判断する。例えば、動画撮影ボタンが再度押し下げられた場合、動画の撮像を終了する指示がなされたと判断する。動画の撮像を終了する指示がなされていない場合、ステップＳ９５６に処理を移行させて、動画の撮像を終了する指示がなされるまで、ステップＳ９５６からステップＳ９６０の処理を実行する。
【００７８】
動画の撮像を終了する指示があった場合、ステップＳ９６４においてメインミラー３２をダウンさせる。ステップＳ９６６において、画像処理部５１が複数のフレームの画像データを、動画圧縮等の符号化処理を行う。符号化が完了すると、ステップＳ９２８に処理を移行させる。ステップＳ９２８では、符号化されたデータが、動画として記録媒体に記録される。
【００７９】
図１０は、画像処理部５１による凹凸処理を含む画像処理を実行する処理フローを示す。ここでは、ステップＳ９１２の詳細な処理フローとして、特に凹凸処理に関する処理を中心に説明する。
【００８０】
ステップＳ１０００において、撮像モードがポートレートモードに設定されているか否かを判断する。例えば、図７のステップＳ７０２またはステップＳ７０６において撮像モードがポートレートモードに設定されたか否かを判断する。
【００８１】
撮像モードがポートレートモードに設定されている場合、ステップＳ１００２において、人物が検出されたか否かを判断する。人物検出は、人物特徴特定部３５０における人物特徴を抽出する処理の一部として実行されてよい。人物が検出された場合、処理強度決定部３４０は凹凸強調処理における対象となる対象人物を選択する（ステップＳ１００４）。例えば、図８に関連して説明した優先モードとして「男性優先」が選択されている場合、対象人物として男性を優先して選択する。優先モードとして「男性優先」が選択されている場合でも、対象人物として男性の顔画像が撮影されていない場合は、女性が対象人物として選択され得る。また、図１１に関連して説明するように、ユーザ指定により対象人物を選択してもよい。
【００８２】
続いて、処理強度決定部３４０は、対象人物の顔画像の画像領域から、凸部領域としての鼻の頂部の画像領域と、凹部領域としての目頭の画像領域とを特定し（ステップＳ１００６）、凸部領域と凹部領域との間の輝度差を算出する（ステップＳ１００８）。続いて、ステップＳ１０１０において、人物の属性および顔の向きを判定する。具体的には、性別特定部３５２が、対象人物の性別を判定する。また、年令特定部３５４が、対象人物の年令を判定する。例えば年令特定部３５４は、子供であるか否かを特定してよい。また、顔向き特定部３３０は、対象人物の顔の向きを特定する。
【００８３】
続いて、ステップＳ１０１２において、性別特定部３５２による結果に基づき、対象人物が女性であるか否かを判断する。対象人物が女性である場合、ステップＳ１００８で算出した輝度差が第１閾値Ａより小さいか否かを判断する（ステップＳ１０１４）。輝度差が第１閾値Ａより小さい場合、処理強度決定部３４０は標準のガンマカーブ６００を選択する（ステップＳ１０１６）。続いて、凹凸処理部３１０はステップＳ１０１８で選択されたガンマカーブを適用してガンマ補正処理を画像データに施す（ステップＳ１０１８）。続いて、ステップＳ１０２０において、後処理部３２０は、ガンマ補正が施された画像データに対して後処理を行う。
【００８４】
ステップＳ１０１４において輝度差が第１閾値Ａ以上である場合、第１閾値Ａよりも大きい第２閾値Ｂよりも輝度差が大きいか否かを判断する（ステップＳ１０３２）。輝度差が第２閾値Ｂ以下である場合、処理強度決定部３４０は女性用のガンマカーブ６１０を選択し（ステップＳ１０３４）、ステップＳ１０１８に処理を移行する。これにより、輝度差が予め定められた輝度範囲内にある場合、傾きが比較的に小さいガンマカーブ６１０でガンマ補正される。このため、女性の顔画像に対して凹凸が強調されることなく、明るい印象の顔画像を提供することができる。
【００８５】
ステップＳ１０３２において輝度差が第２閾値Ｂより大きいと判断された場合、処理強度決定部３４０はステップＳ１０１６に処理を移行させる。すなわち、処理強度決定部３４０は標準のガンマカーブを選択して、凹凸処理部３１０は標準のガンマカーブでガンマ補正を行う。これにより、例えば凹部が黒レベルに近く凸部と極端に輝度差がある場合は、標準のガンマカーブを適用することで、凹部の明るさが不自然な明るさになってしまうことを未然に防ぐことができる。このように、処理強度決定部３４０は、第１画像領域と第２画像領域との間の輝度の差が予め定められた閾値Ｂよりも大きい場合に、凹凸を抑制する処理を適用しない旨を決定する。
【００８６】
ステップＳ１０１２において、対象人物が女性でないと判断された場合、対象人物が子供であるか否かを判断する（ステップＳ１０４２）。対象人物が子供である場合、ステップＳ１０１４に処理を移行する。すなわち、対象人物が子供である場合、対象人物が女性の場合と同様の処理を適用する。これにより、かわいらしさを残した顔画像を提供することができる。
【００８７】
ステップＳ１０４２の判断において対象人物が子供でないと判断された場合、ステップＳ１００８で算出された輝度差が第３閾値Ｃ以上であるか否かを判断する。輝度差が第３閾値Ｃ以上である場合、ステップＳ１０１６に処理を移行させる。すなわち、処理強度決定部３４０は標準のガンマカーブを選択して、凹凸処理部３１０が標準のガンマカーブでガンマ補正を行う。これにより、対象人物の顔画像が十分に凹凸感を有している場合は、標準のガンマカーブで処理を行うので、凹凸感が不必要に強調されてしまうことを未然に防ぐことができる。
【００８８】
ステップＳ１０４４の判断において輝度差が第３閾値Ｃより小さい場合、ステップＳ１０４６において対象人物の顔の向きを判断する。対象人物の顔の向きが正面である場合、処理強度決定部３４０は正面顔用のガンマカーブ６１０ｂを選択し（ステップＳ１０４８）、ステップＳ１０１８に処理を移行する。対象人物の顔の向きが斜めである場合、処理強度決定部３４０は斜め顔用のガンマカーブ６１０ｂを選択し（ステップＳ１０５０）、ステップＳ１０１８に処理を移行する。これにより、斜めから撮影された場合よりも正面から撮影された場合に、凹凸の強調度合いを高めることができる。したがって、本処理によれば正面顔の凹凸感をより高めることができる。
【００８９】
ステップＳ１０００において撮像モードがポートレートモードに設定されていないと判断された場合、または、ステップＳ１００２において人物が存在しないと判断された場合、処理強度決定部３４０はステップＳ１０５２において標準のガンマカーブを選択して、ステップＳ１０１８に処理を進める。このため、凹凸処理が必要となるシーンで撮影した場合に、凹凸処理を適切に適用することができる。
【００９０】
なお、本処理フローは、図９のステップＳ９１２の内部処理フローとして説明した。しかし、本処理フローは、図９のステップＳ９５８の内部処理として、ステップＳ９５６で読み出したフレーム画像の画像データに対しても適用できる。また、本処理フローのうち、ステップＳ１０１８およびステップＳ１０２０を除いた処理、すなわちガンマカーブを選択するまでの処理を、ステップＳ９３６の内部処理として、測光素子から読み出した画像の画像データに対して適用することができる。この場合、ステップＳ９２２で撮像した画像をステップＳ９２６で処理する場合に、本処理フローで選択したガンマカーブを適用することができる。
【００９１】
図１１は、表示ユニット５３に表示される表示画面の一例を示す。ここでは、ライブビュー撮影時に表示されるライブビュー画面の一例とする。
【００９２】
表示ユニット５３には、撮像された画像と、凹凸処理の強度を示すスライダ１１１０とを重畳して表示する。ユーザは、操作入力部４７を操作してスライダ１１１０を選択して、カーソル１１１２を移動させることにより、凹凸処理の強度を設定することができる。処理強度決定部３４０は、カーソル１１１２の位置が「強」に近いほど、凹凸処理の強度を高める。具体的には、処理強度決定部３４０は、男性用のガンマカーブの傾きを大きくし、女性用のガンマカーブの傾きを小さくする。変更された凹凸処理の処理強度は、後に撮像素子３６から読み出されたライブビュー画像や、撮像された静止画の画像データに対して適用される。このため、ユーザは、ライブビュー表示を見ながら、現在の撮影条件下に適した凹凸処理の処理強度を、手間をかけずに設定することができる。
【００９３】
また、ユーザは、ライブビュー画面上で、凹凸処理の対象となる対象人物を選択することができる。例えば、人物１１０６が操作入力部４７を介して選択された場合、人物１１０６が対象人物として選択される。具体的には、人物１１０６の顔の凸部領域と凹部領域との間の輝度差に基づき、ガンマカーブが調整される。
【００９４】
なお、優先モードが「自動」に設定されている場合、画像領域における顔画像の面積が最も大きい人物が対象人物として選択される。本図の例では、人物１１０２が対象人物として選択される。また、画像領域のより中心に位置する人物を、対象人物として優先して選択してもよい。本図の例では、画像領域内の最も中心に近い位置にある人物１１０４が、他の人物よりも対象人物として優先して選択される。その他、ＡＦで合焦している人物を、合焦していない人物よりも対象人物として優先して選択してもよい。
【００９５】
また、ここではライブビュー画面として説明した。しかし、本画面を、動画撮像中に表示用のフレーム画像の表示画面としても適用できる。
【００９６】
なお、図９から図１１にかけて、撮像時に凹凸処理を施すとして説明した。しかし、凹凸処理は画像を再生する場合に適用することもできる。例えば、図７のステップＳ７２２において画像を再生する場合に適用してもよい。例えば、ユーザにより選択された画像の画像データに対してガンマカーブを選択して表示してもよい。このとき、図１１に関連して説明したスライダを重畳表示して、凹凸処理の処理強度をユーザに指定させてもよい。また、指定された処理強度で凹凸処理を施して、記録媒体に記録してもよい。
【００９７】
以上の説明では、輝度差に関する閾値に基づいて凹凸処理をするか否かを決定した。しかし、処理強度決定部３４０は、輝度差に応じてガンマカーブの傾きを連続的に調整してもよい。また、処理強度決定部３４０が、ガンマカーブを決定するとしたが、入力値に対応する出力値を定めたルックアップテーブルを調節することで、凹凸処理の強度を決定してもよい。また、以上の説明では、凹凸処理の一例としてガンマ補正を例示した。しかし、凹凸処理の一例としては、ガンマ補正の他、シャープネス処理、ぼかし処理等を例示することができる。例えば、処理強度決定部３４０は、男性の顔画像に対しては、輝度差が第３閾値Ｃより小さい場合に、シャープネス処理の処理強度として標準値よりも大きい値を決定してよい。また、処理強度決定部３４０は、女性の顔画像に対しては、輝度差が第１閾値Ａ以上であり第２閾値Ｂ以下である場合に、シャープネス処理の処理強度として標準値よりも小さい値を決定してよい。
【００９８】
また、凹凸処理部３１０による凹凸処理の対象となる画像領域は、全画像領域であってよい。しかし、凹凸処理部３１０は、対象人物の顔画像を含む一部の画像領域を、凹凸処理の対象としてもよい。また、処理強度決定部３４０は、複数の人物が損合いする場合、複数の人物のそれぞれの顔画像に対して、凹凸処理の強度を決定してよい。そして、凹凸処理部３１０は、複数の人物のそれぞれの顔画像に対して、処理強度決定部３４０がそれぞれ決定した強度で凹凸処理を施してよい。
【００９９】
以上の説明では、撮像装置１０が、ＡＳＩＣ等により実現される画像処理部５１、ＭＰＵにより実現されるカメラシステム制御部５２等を有するとして説明した。しかし、１つのプロセッサで、上述した画像処理部５１、カメラシステム制御部５２等の機能を実装することができる。
【０１００】
本実施形態の撮像装置１０に関連して説明した処理は、撮像装置１０の各部、例えばプロセッサ等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【０１０１】
本実施形態において、レンズ交換式の一眼レフカメラとしての撮像装置１０を取り上げて、処理強度決定装置を備える装置の一例を説明した。撮像装置１０としては、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、スキャナ等、撮像機能を有する種々の機器を例示することができる。また、処理強度決定装置は、テレビ、ビデオ、デジタルフォトフレーム、プロジェクタ装置、ゲーム機器等の娯楽装置等の電子機器に組み込まれてもよい。また、パーソナルコンピュータ等の汎用のコンピュータを、処理強度決定装置の一例として適用することができる。
【０１０２】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【０１０３】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【０１０４】
１０  撮像装置、１１  光軸、２０  レンズユニット、２１  レンズ系、２２  前玉、２６  鏡筒、２７  レンズ回路基板、２９  レンズマウント、３０  カメラユニット、３１  カメラマウント、３２  メインミラー、３３  ピント板、３４  メインミラー回転軸、３５  測光光学系、３６  撮像素子、３７  ペンタプリズム、３８  接眼光学系、３９  測光素子、４０  サブミラー、４１  マウント部、４２  合焦ユニット、４３  フォーカルプレーンシャッタ、４７  操作入力部、４８  レンズ群、５０  カメラ処理部、５１  画像処理部、５２  カメラシステム制御部、５３  表示ユニット、５４  二次電池、５５  表示制御部、５６  外部接続ＩＦ、５７  システムメモリ、５８  ワークメモリ、５９  駆動制御部、６０  発光ユニット、６１  発光部、６２  反射板、６３  フレネルレンズ、６５  バッテリ、６６  発光制御部、６９  マウント部、７１  レンズシステム制御部、７２  レンズメモリ、７３  レンズ駆動部、１００  撮像装置、３００  画像データ取得部、３１０  凹凸処理部、３２０  後処理部、３３０  顔向き特定部、３４０  処理強度決定部、３５０  人物特徴特定部、３５２  性別特定部、３５４  年令特定部、３５６  度合特定部、４００  入力画像、４１０  画像領域、４２０  画像領域、５００  入力画像、５１０  画像領域、５２０  画像領域、６００、６１０、６２０  ガンマカーブ、６５０、６６０  輝度値、８００  設定画面、８１０  設定パラメータ、８２０  設定パラメータ、８３０  設定パラメータ、１１０２、１１０４、１１０６  人物、１１１０  スライダ、１１１２  カーソル
【図１】
2012227604.tif 000003
【図２】
2012227604.tif 000004
【図３】
2012227604.tif 000005
【図４】
2012227604.tif 000006
【図５】
2012227604.tif 000007
【図６】
2012227604.tif 000008
【図７】
2012227604.tif 000009
【図８】
2012227604.tif 000010
【図９】
2012227604.tif 000011
【図１０】
2012227604.tif 000012
【図１１】
2012227604.tif 000013