(57)【要約】【課題】人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成すること。【解決手段】本発明の画像処理方法は、画像上で人物以外の領域の中から加工対象領域を選定する選定手順（Ｓ１８４）と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順（Ｓ１８５〜Ｓ１８７）と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順（Ｓ１８８）とを含む。【選択図】    図３
2013011944.tif 000002
【特許請求の範囲】
【請求項１】
画像上で人物以外の領域の中から加工対象領域を選定する選定手段と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手段と、
前記判定手段が判定した内容の加工処理を前記加工対象領域に対して施す処理手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記選定手段は、
前記人物の顔の向き、前記人物の性別、前記加工対象領域の候補のサイズ、前記加工対象領域の候補の合焦度のうち少なくとも1つに基づき前記加工対象領域の選定を行う
ことを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記判定手段は、
前記人物の笑顔度、前記人物の口の開け方、前記人物の泣き顔度、前記人物の年齢のうち少なくとも１つを前記表情データとして前記判定に使用する
ことを特徴とする画像処理装置。
【請求項４】
請求項１〜請求項３の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記表情データに加えて、前記画像の撮影時刻、前記画像の撮影日、前記画像の撮影季節のうち少なくとも１つを含む撮影データを前記判定に使用する
ことを特徴とする画像処理装置。
【請求項５】
請求項１〜請求項４の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記判定に使用するデータの種類を、前記加工対象領域の種別に応じて変更する
ことを特徴とする画像処理装置。
【請求項６】
請求項１〜請求項５の何れか一項に記載の画像処理装置において、
前記判定手段は、
前記判定に使用するデータの種類を、前記人物の性別に応じて変更する
ことを特徴とする画像処理装置。
【請求項７】
被写体を撮像して画像を取得する撮像手段と、
前記撮像手段が取得した前記画像に対して処理を施す請求項１〜請求項６の何れか一項に記載の画像処理装置と
を備えたことを特徴とする撮像装置。
【請求項８】
画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、
前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順と、
を含むことを特徴とする画像処理方法。
【請求項９】
画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、
前記人物の表情を表す表情データと、選定された前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、
前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を加工する画像処理装置、撮像装置、画像処理方法、画像処理プログラムに関する。
【背景技術】
【０００２】
特許文献１には、画像に写っている人物の表情を認識し、その表情に合ったマーク（「汗マーク」、「影マーク」など）を人物の顔の上に合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２９１９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、この技術によると、人物のオリジナルの表情が損なわれる虞があった。
【０００５】
本発明は、以上の問題に鑑みてなされたものであり、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することのできる画像処理装置、撮像装置、画像処理方法、画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、画像上で人物以外の領域の中から加工対象領域を選定する選定手段と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手段と、前記判定手段が判定した内容の加工処理を前記加工対象領域に対して施す処理手段とを備える。
【０００７】
また、本発明の撮像装置は、被写体を撮像して画像を取得する撮像手段と、前記撮像手段が取得した前記画像に対して処理を施す本発明の画像処理装置とを備える。
【０００８】
また、本発明の画像処理方法は、画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順とを含む。
【０００９】
また、本発明の画像処理プログラムは、画像上で人物以外の領域の中から加工対象領域を選定する選定手順と、前記人物の表情を表す表情データと、前記加工対象領域の種別とに基づき、前記加工対象領域に適した加工処理の内容を判定する判定手順と、前記判定手順で判定した内容の加工処理を前記加工対象領域に対して施す処理手順とをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することのできる画像処理装置、撮像装置、画像処理方法、画像処理プログラムが実現する。
【図面の簡単な説明】
【００１１】
【図１】ディジタルカメラ１０の構成図である。
【図２】撮影モードにおける画像処理エンジン９０の動作フローチャートである。
【図３】画像処理エンジン９０による感情強調処理の動作フローチャートである。
【図４】感情強調処理前の画像の例である。
【図５】ベクトル軸の選定方法の例を示す図である。
【図６】領域分けされたベクトル空間の例を示す図である（海・女性の場合）。
【図７】領域分けされたベクトル空間の例を示す図である（樹木・女性の場合）。
【図８】領域分けされたベクトル空間の例を示す図である（空・女性の場合）。
【図９】領域分けされたベクトル空間の例を示す図である（空・男性の場合）。
【図１０】感情強調処理後の画像の例である。
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の実施形態としてディジタルカメラを説明する。
【００１３】
図１は、ディジタルカメラ１０の構成図である。図１に示すとおりディジタルカメラ１０には、撮影レンズ２０、メカニカルシャッタ３０、撮像素子５０、タイミングジェネレータ（ＴＧ）７０、アナログフロントエンド（ＡＦＥ）８０、画像処理エンジン９０、モータドライバ１１０、バッファメモリ１３０、表示部１４０、操作部１５０、リムーバブルメモリ１６０、データベース部１７０などが備えられる。なお、図示省略したが、ディジタルカメラ１０には、メカニカルシャッタ３０が閉じている期間にディジタルカメラ１０の被写界を監視する装置（測光装置、測距装置など）も備えられる。
【００１４】
撮影レンズ２０は、被写体から射出した光束を結像し、撮像素子５０の有効画素領域上に被写体像を形成する。
【００１５】
メカニカルシャッタ３０は、撮影レンズ２０と撮像素子５０との間の光路上に配置されており、ＴＧ７０から供給される駆動信号に応じて、撮像素子５０に向かう光束の光路を開閉する。このメカニカルシャッタ３０は、撮像素子５０から一定以上離れた位置に配置されたレンズシャッタ、或いは、撮像素子５０の近傍に配置されたフォーカルプレーンシャッタなどである。
【００１６】
撮像素子５０は、ＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなどの撮像素子であって、ＴＧ７０から供給される駆動信号に応じて信号の蓄積及び信号の読み出しを行う。
【００１７】
ＴＧ７０は、画像処理エンジン９０からの指示に応じて、撮像素子５０及びメカニカルシャッタ３０に対して駆動信号を供給すると共に、ＡＦＥ８０及び画像処理エンジン９０に対して同期信号を供給する。
【００１８】
また、ＴＧ７０は、撮像素子５０へ供給する駆動信号のパターンを切り替えることにより、撮像素子５０の１フレーム当たりの露光時間を切り替える。この露光時間は、画像処理エンジン９０が指定したＴｖ値（＝ユーザが入力したＴｖ値又は自動露出演算で算出されたＴｖ値）に応じた値に設定される。
【００１９】
ＡＦＥ８０は、撮像素子５０から出力されるアナログ信号に対してパイプライン処理を施す。ＡＦＥ８０には、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などが備えられており、ＣＤＳ回路は、撮像素子５０から出力されるアナログ信号のノイズ成分を相関二重サンプリングによって除去し、ゲイン回路は、ノイズ除去後のアナログ信号を増幅し、Ａ／Ｄ変換回路は、増幅後のアナログ信号をディジタル信号へと変換する。
【００２０】
なお、ＡＦＥ８０のゲイン（ゲイン回路の信号増幅率）は、画像処理エンジン９０が指定したＳｖ値（＝ユーザが入力したＳｖ値又は自動露出演算で算出されたＳｖ値）に応じた値に設定される。なお、ユーザが入力したＳｖ値とは、所謂「ＩＳＯ感度」のことである。
【００２１】
モータドライバ１１０は、画像処理エンジン９０からの指示に応じて、撮影レンズ２０の少なくとも一部を光軸方向へ駆動し、撮影レンズ２０のフォーカス位置を調整する。また、モータドライバ１１０は、画像処理エンジン９０が指定したＡｖ値（＝ユーザが入力したＡｖ値又は自動露出演算で算出されたＡｖ値）に応じて、撮影レンズ２０の絞り値を調整する。
【００２２】
バッファメモリ１３０は、ＡＦＥ８０から画像処理エンジン９０へと転送されたディジタル信号を蓄積する。撮像素子５０の１フレーム分の信号読み出し期間に亘ってこの蓄積が行われると、バッファメモリ１３０に１フレーム分のディジタル信号（１フレーム分の画像データ、以下、「画像」と称す。）が蓄積される。
【００２３】
表示部１４０は、画像処理エンジン９０からの指示に応じて、各種の画像を表示する。表示部１４０が表示する画像には、撮像素子５０が取得した画像、リムーバブルメモリ１６０に格納されていた画像、画像処理エンジン９０が作成したメニュー表示用の画像などがある。なお、表示部１４０は、画像を表示する際、画像の形式を表示に適した形式へと変換する。
【００２４】
操作部１５０は、レリーズボタン、メニューボタンなど、ユーザが操作可能な各種のスイッチを有している。ユーザは、この操作部１５０を介して各種の指示をディジタルカメラ１０へ入力することができる。例えば、ユーザは、詳細画像の取得時における測光エリアやフォーカスエリアをディジタルカメラ１０へ指定することができる。また、例えば、ユーザは、ディジタルカメラ１０のモードを、撮影モードと再生モードとの間で切り換えることができる。
【００２５】
リムーバブルメモリ１６０は、ディジタルカメラ１０が取得した画像や、他のディジタルカメラが取得した画像などを長期に亘って記憶することが可能な不揮発性のメモリである。
【００２６】
画像処理エンジン９０は、操作部１５０を介してユーザから入力された指示と、不図示のプログラムとに従い、ディジタルカメラ１０の各部を制御する。また、画像処理エンジン９０は、ＡＦＥ８０から送出されたディジタル信号に対して信号処理（暗電流補正など）を施したり、バッファメモリ１３０上の画像に対して所定の画像処理（ホワイトバランス調整、色補間、階調変換、色変換など）を施したりすることもできる。
【００２７】
ここで、本実施形態の画像処理エンジン９０は、バッファメモリ１３０へ蓄積された画像処理後の画像に対して感情強調処理を施すことができる。この感情強調処理は、ディジタルカメラ１０が撮影モード又は再生モードに設定されているときに、ユーザからの要求に応じて実行される。なお、感情強調処理の際、画像処理エンジン９０は、顔検出部９０Ａ、表情認識部９０Ｂ、オブジェクト抽出部９０Ｃとして機能する。
【００２８】
データベース部１７０は、感情強調処理に必要なデータとして、加工後の画像（テクスチャ）のサンプルを多数有している。例えば、花が満開に咲いた樹木のテクスチャ、枯れた樹木のテクスチャ、積雪した樹木のテクスチャ、花が五分咲きに咲いた樹木のテクスチャ、穏やかな海のテクスチャ、キラキラした海のテクスチャ、ややキラキラした海のテクスチャ、荒れた海のテクスチャ、やや荒れた海のテクスチャ、快晴の空のテクスチャ、雷雨の空のテクスチャ、雨空のテクスチャ、晴れた空のテクスチャなどを有している。
【００２９】
図２は、撮影モードにおける画像処理エンジン９０の動作フローチャートである。以下、図２の各ステップを順に説明する。
【００３０】
ステップＳ１１：画像処理エンジン９０は、操作部１５０からの信号に基づきレリーズボタンが半押しされたか否かを判別し、半押しされた場合にはステップＳ１２へ移行する。
【００３１】
ステップＳ１２：画像処理エンジン９０は、不図示の測距装置から出力される信号に基づき、撮影レンズ２０のフォーカス調整を行うと共に、不図示の測光装置から出力される信号に基づき、ディジタルカメラ１０の自動露出演算を行うことにより、Ｔｖ値、Ａｖ値、Ｓｖ値の組み合わせを決定する。なお、ディジタルカメラ１０の撮影モードがシーンモード（シーンの種類を撮影前にユーザが選択しておくモード）であった場合は、この自動露出演算において選択中のシーンの種類が考慮される。
【００３２】
また、画像処理エンジン９０は、現時点における撮影レンズ２０のフォーカスポジション情報、フォーカスエリア情報、被写界の距離分布情報、被写界の輝度分布情報、撮影年月日、選択中のシーンの種類、本ステップで決定されたＡｖ値、Ｔｖ値、Ｓｖ値などを、撮影条件情報として記憶する。なお、このうち距離分布情報は、不図示の測距装置から出力される信号に基づき取得することができる。また、輝度分布情報は、不図示の測光装置から出力される信号に基づき取得することができる。
【００３３】
ステップＳ１３：画像処理エンジン９０は、操作部１５０からの信号に基づきレリーズボタンの半押しが解除されたか否かを判別し、解除された場合にはステップＳ１１へ戻り、解除されていない場合にはステップＳ１４へ移行する。
【００３４】
ステップＳ１４：画像処理エンジン９０は、操作部１５０からの信号に基づきレリーズボタンが全押しされたか否かを判別し、全押しされていない場合にはステップＳ１３に戻り、全押しされた場合にはステップＳ１５へ移行する。
【００３５】
ステップＳ１５：画像処理エンジン９０は、ステップＳ１２において決定したＡｖ値、Ｔｖ値、Ｓｖを、モータドライバ１１０、ＴＧ７０、ＡＦＥ８０に対してそれぞれ指定してから、メカニカルシャッタ３０及び撮像素子５０を駆動して画像を取得すると、その画像をバッファメモリ１３０へ蓄積する。そして、画像処理エンジン９０は、バッファメモリ１３０へ蓄積された画像に対して前述した所定の画像処理（ホワイトバランス調整、色補間、階調変換、色変換など）を施す。
【００３６】
ステップＳ１６：画像処理エンジン９０は、バッファメモリ１３０上の画像（画像処理後の画像）を表示部１４０に表示させる。これによって、画像処理後の画像が確認表示される。
【００３７】
ここで、確認表示の画面上には、表示中の画像に対して感情強調処理を施すか否かをユーザに問うためのメッセージが表示される。よって、ユーザは、このメッセージを目視しながら操作部１５０を操作することで、表示中の画像に対して感情強調処理を施すための続行指示と、感情強調処理を行わずに画像を保存するためのスキップ指示との何れか一方を、ディジタルカメラ１０へ入力することができる。
【００３８】
ステップＳ１７：画像処理エンジン９０は、続行指示とスキップ指示との何れが入力されたかを判別し、続行指示が入力された場合にはステップＳ１８へ移行し、スキップ指示が入力された場合にはステップＳ２４へ移行する。
【００３９】
ステップＳ１８：画像処理エンジン９０は、バッファメモリ１３０上の画像に対して感情強調処理（後述）を施し、感情強調処理後の画像をバッファメモリ１３０に書き込む。但し、この際に感情強調処理前の画像が上書きされることは無いものとする。
【００４０】
ステップＳ１９：画像処理エンジン９０は、感情強調処理後の画像を表示部１４０に表示させる。これによって、感情強調処理後の画像が確認表示される。
【００４１】
ここで、確認表示の画面上には、表示中の画像を保存するか否かをユーザに問うためのメッセージが表示される。よって、ユーザは、このメッセージを目視しながら操作部１５０を操作することで、表示中の画像を保存するための保存指示と、前画面を呼び出すためのバック指示との何れか一方を、ディジタルカメラ１０へ入力することができる。
【００４２】
ステップＳ２０：画像処理エンジン９０は、保存指示が入力された場合には、ステップＳ２１へ移行し、バック指示が入力された場合には、ステップＳ２２へ移行する。
【００４３】
ステップＳ２１：画像処理エンジン９０は、バッファメモリ１３０上の感情強調処理後の画像に対してデータ圧縮処理を施してからリムーバブルメモリ１６０へ書き込み、フローを終了する。
【００４４】
ステップＳ２２：画像処理エンジン９０は、表示部１４０上に表示中の画面を前画面に戻す。前画面は、感情強調処理前の画像の表示画面である。よって、ユーザは、このメッセージを目視しながら操作部１５０を操作することで、表示中の画像を保存するための保存指示と、前画面を呼び出すためのバック指示との何れか一方を、ディジタルカメラ１０へ入力することができる。
【００４５】
ステップＳ２３：画像処理エンジン９０は、保存指示が入力された場合には、ステップＳ２４へ移行し、バック指示が入力された場合には、ステップＳ１９へ移行する。
【００４６】
ステップＳ２４：画像処理エンジン９０は、バッファメモリ１３０上の感情強調処理前の画像に対してデータ圧縮処理を施してからリムーバブルメモリ１６０へ書き込み、フローを終了する。
【００４７】
図３は、画像処理エンジン９０による感情強調処理の動作フローチャートである。以下、図３の各ステップを順に説明する。
【００４８】
ステップＳ１８１：画像処理エンジン９０の顔検出部９０Ａは、バッファメモリ１３０上の画像を感情強調処理の対象として読み込み、その画像の中から人物の顔を検出する。なお、ここでは簡単のため、図４（Ａ）又は図４（Ｂ）に示すとおり、画像中に存在している顔の個数は１であったと仮定する。
【００４９】
ステップＳ１８２：画像処理エンジン９０の表情認識部９０Ｂは、検出された顔から、その顔の表情情報として、その顔の笑顔度、口の開け方、目の開け方、泣き顔度、年齢、性別、向き（視線方向）などを抽出する。
【００５０】
したがって、画像の絵柄が図４（Ａ）に示すような絵柄であった場合には、笑顔度として比較的低い値が抽出され、画像の絵柄が図４（Ｂ）に示すような絵柄であった場合には、笑顔度として比較的高い値が抽出される。また、画像の絵柄が図４（Ａ）に示すような絵柄であった場合には、視線方向として左方向が抽出され、画像の絵柄が図４（Ｂ）に示すような絵柄であった場合には、視線方向として右方向が抽出される。
【００５１】
ステップＳ１８３：画像処理エンジン９０のオブジェクト抽出部９０Ｃは、画像に対してオブジェクト抽出処理を施すことにより、その画像に存在している複数の被写体の各々を抽出すると共に、それら被写体の各々の種類（「人物」、「空」、「海」、「山」、「樹木」、「花畑」、「砂浜」、「建物」、「自動車」、…）を判別する。
【００５２】
したがって、例えば、画像の絵柄が図４（Ａ）又は図４（Ｂ）に示すような絵柄であった場合には、「空」、「海」、「人物」、「樹木」、「建物」などの被写体が抽出される。なお、このうち「人物」は、ステップＳ１８１で検出された顔の持ち主である。
【００５３】
ステップＳ１８４：画像処理エンジン９０は、人物以外の複数の被写体の各々の存在領域の中から、加工対象領域を１つ選定する。例えば、画像処理エンジン９０は、それら複数の被写体の各々の存在領域を加工対象領域の候補とした以下の手順（１）〜（５）により、候補の数を段階的に絞り込む。そして、画像処理エンジン９０は、候補の数が１となった段階で絞り込みを終了し、その段階で残っている１つの候補を加工対象領域に選定する。
【００５４】
（１）人物の性別が男性であった場合は、「花畑」、「花」など、女性が好みそうな被写体（男性が好まない被写体）の存在領域を候補から外す。
【００５５】
（２）撮影時の撮影モードがシーンモードであった場合は、撮影時に選択されていたシーンの主体となっている被写体の存在領域を残し、他の被写体の存在領域を候補から外す。例えば、選択されていたシーンが「海のシーン」であった場合は、「海」の存在領域を残し、他の被写体の存在領域を候補から外す。）。また、選択されていたシーンが「夜景のシーン」であった場合は、「建物」の存在領域を残し、他の被写体の存在領域を候補から外す。なお、撮影時の撮影モードがシーンモードでなかった場合は、全ての被写体の存在領域が残される。
【００５６】
（３）人物の視線方向に位置した被写体の存在領域を残し、視線方向から外れた方向に位置した被写体の存在領域を候補から外す。なお、人物の視線方向が正面方向（カメラ方向）であった場合には、全ての被写体の存在領域が残される。
【００５７】
（４）合焦度の最も高い被写体の存在領域を残し、それ以外の被写体の存在領域を候補から外す。なお、個々の被写体の合焦度は、前述した距離分布情報、フォーカスポジション情報、フォーカスエリア情報から導出することができる。
【００５８】
（５）画像内を占める面積の最も大きい被写体の存在領域を残し、それ以外の被写体の存在領域を候補から外す。
【００５９】
したがって、画像の絵柄が図４（Ａ）に示すような絵柄であった場合には、人物の視線方向（左方向）に存在する「海」の存在領域が加工対象領域に選定される。
【００６０】
また、画像の絵柄が図４（Ｂ）に示すような絵柄であった場合には、人物の視線方向（右方向）に存在する「樹木」及び「建物」のうち、合焦度の高い方、合焦度が同じならば面積の小さい方（ここでは「樹木」とする。）の存在領域が、加工対象領域に選定される。
【００６１】
ステップＳ１８５：画像処理エンジン９０は、人物の感情評価に使用すべき感情ベクトルのベクトル軸の採り方を選定する。この選定は、加工対象領域の種類と人物の性別との組み合わせに応じて行われる。図５は、この選定方法の一例を示す図であって、その内容は具体的に以下のとおりである。
【００６２】
（ａ）加工対象領域の種類が「空」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「口の開け方軸」、「時刻軸」の３軸に選定される。
【００６３】
（ｂ）加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「時刻軸」の３軸に選定される。
【００６４】
（ｃ）加工対象領域の種類が「海」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の３軸に選定される。
【００６５】
（ｄ）加工対象領域の種類が「海」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の３軸に選定される。
【００６６】
（ｅ）加工対象領域の種類が「山」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「季節軸」の３軸に選定される。
【００６７】
（ｆ）加工対象領域の種類が「山」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「季節軸」の３軸に選定される。
【００６８】
（ｇ）加工対象領域の種類が「樹木」であり、人物の性別が「男性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「口の開け方軸」、「季節軸」の３軸に選定される。
【００６９】
（ｈ）加工対象領域の種類が「樹木」であり、人物の性別が「女性」であった場合には、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「季節軸」の３軸に選定される。
【００７０】
（ｉ）加工対象領域の種類が「花畑」であった場合（この場合、人物の性別は女性である。）には、ベクトル軸の採り方、「笑顔度軸」、「年齢軸」の２軸に選定される。
【００７１】
したがって、画像の絵柄が図４（Ａ）に示すような絵柄であった場合には、加工対象領域の種類は「海」、人物の性別は「女性」となるので、図５（ｄ）に示すとおり、ベクトル軸の採り方は、「笑顔度軸」、「泣き顔度軸」、「砂浜の有無軸」の３軸に選定される。
【００７２】
また、画像の絵柄が図４（Ｂ）に示すような絵柄であった場合には、加工対象領域の種類は「樹木」であり、人物の性別は「女性」となるので、図５（ｈ）に示すとおり、ベクトル軸の採り方は、「笑顔度軸」、「目の開け方軸」、「季節軸」の３軸に選定される（図５（ｈ）参照。）。
【００７３】
ステップＳ１８６：画像処理エンジン９０は、画像の感情ベクトルを算出する。この感情ベクトルのベクトル軸の採り方は、前のステップで選定したとおりに設定される。
【００７４】
したがって、画像の絵柄が図４（Ａ）に示すような絵柄であった場合には、感情ベクトルとして、人物の笑顔度と、人物の泣き顔度と、画像中の砂浜の有無との３成分からなる感情ベクトルが求められる。
【００７５】
また、画像の絵柄が図４（Ｂ）に示すような絵柄であった場合には、感情ベクトルとして、人物の笑顔度と、人物の目の開け方と、画像の撮影された季節との３成分からなる感情ベクトルが求められる。
【００７６】
ステップＳ１８７：画像処理エンジン９０は、前のステップで算出した感情ベクトルをベクトル空間へと射影する。
【００７７】
なお、感情ベクトルのベクトル軸が、笑顔度軸と、泣き顔度軸と、砂浜の有無軸との３軸であった場合（図５（ｄ）の場合）は、本ステップで使用されるベクトル空間は、図６に示すようなベクトル空間となる（但し、図６では簡単のため、ベクトル空間を２次元で表している。）。このベクトル空間の個々の領域には、それぞれ最適な加工内容が割り当てられている。
【００７８】
また、感情ベクトルのベクトル軸が、笑顔度軸と、目の開け方軸と、季節軸との３軸であった場合（図５（ｈ）の場合）は、本ステップで使用されるベクトル空間は、図７に示すようなベクトル空間となる（但し、図７では簡単のため、ベクトル空間を２次元で表している。）。このベクトル空間の個々の領域には、それぞれ最適な加工内容が割り当てられている。
【００７９】
さらに、画像処理エンジン９０は、ベクトル空間における感情ベクトルの射影先（写像）を参照し、その写像の属する領域に予め割り当てられている加工内容を、次のステップで採用すべき加工内容に選定する。
【００８０】
なお、図６に示すような領域分けによると、図４（Ａ）に示すとおり人物の笑顔度が低く、画像内に砂浜が存在していなかった場合には、感情ベクトルの射影先（写像）がベクトル空間の左下の領域に位置するので、「荒れた海に」という加工内容が選定される。
【００８１】
また、図７のような領域分けによると、図４（Ｂ）に示すとおり人物の笑顔度が高く、人物の目の開け方が大きかった場合には、感情ベクトルの射影先（写像）がベクトル空間の右上の領域に位置するので、「満開の花に」という加工内容が選定される。
【００８２】
なお、本ステップで使用されるベクトル空間（領域分けされたベクトル空間）は、ベクトル軸の採り方毎に予め用意されている。すなわち、本ステップで使用されるベクトル空間（領域分けされたベクトル空間）は、加工対象領域の種類と人物の性別との組み合わせ毎に予め用意されている。
【００８３】
因みに、図８は、加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合に使用されるベクトル空間の例であり、図９は、加工対象領域の種類が「空」であり、人物の性別が「女性」であった場合に使用されるベクトル空間の例である。
【００８４】
ステップＳ１８８：画像処理エンジン９０は、画像中の加工対象領域を、前のステップで選定された加工内容に従って加工し、加工後の画像を感情強調処理後の画像としてバッファメモリ１３０へ書き込む。
【００８５】
例えば、画像の絵柄が図４（Ａ）に示すとおりであった場合は、「荒れた海に」という加工内容が選定されるので、画像処理エンジン９０は、データベース部１７０の中から荒れた海のサンプルを参照し、そのサンプルと、加工対象領域（海）の輪郭形状とに基づき、加工後の加工対象領域「荒れた海」を作成すると、その「荒れた海」を、加工前の加工対象領域（海）に上書きする。これによって、加工対象領域（海）が「荒れた海」へと加工されたことになる（図１０（Ａ）を参照。）。
【００８６】
また、例えば、画像の絵柄が図４（Ｂ）に示すとおりであった場合は、「満開の花に」という加工内容が選定されるので、画像処理エンジン９０は、データベース部１７０の中から満開の花のサンプルを参照し、そのサンプルと、加工対象領域（樹木）の輪郭形状とに基づき、加工後の加工対象領域「満開の花の咲いた樹木」を作成すると、その「満開の花の咲いた樹木」を、加工前の加工対象領域（樹木）に上書きする。これによって、加工対象領域（樹木）が「満開の花の咲いた樹木」へと加工されたことになる（図１０（Ｂ）を参照。）。
【００８７】
以上、本実施形態の感情強調処理では、画像上で人物の存在領域以外の領域の中から加工対象領域を選定すると共に、人物の表情を表す表情データと、加工対象領域の種別とに基づき、加工対象領域に適した加工内容を判定する。
【００８８】
この場合、人物の表情を、人物以外の被写体に反映させることができる。しかも、その加工内容の判定は、人物の表情だけでなく、加工対象領域の種別にも基づく。
【００８９】
したがって、本実施形態の感情強調処理では、人物のオリジナルの表情を生かしながら、その人物の感情を豊かに反映した画像を生成することができる。
【００９０】
また、本実施形態の感情強調処理では、加工対象領域の選定を、人物の顔の向きに基づき行うので、人物の感情の反映先を、人物の着目先に一致させることができる。
【００９１】
また、本実施形態の感情強調処理では、人物の性別、加工対象領域の候補のサイズ、加工対象領域の候補の合焦度のうち少なくとも１つに基づき加工対象領域の選定を行うので、人物の着目先を確実に見出すことができる。
【００９２】
また、本実施形態の感情強調処理では、人物の感情を評価するために、人物の表情データ（人物の笑顔度、人物の口の開け方、人物の泣き顔度、人物の年齢のうち少なくとも１つ）をベクトル成分とした感情ベクトルを使用するので、人物の感情を確実に評価することができる。
【００９３】
また、本実施形態の感情強調処理では、その感情ベクトルのベクトル成分の１つとして、表情データだけでなく、他のデータ（撮影時刻、撮影日、撮影季節のうち少なくとも１つを含む撮影データ）をも使用するので、人物の感情を、より積極的に評価することができる。
【００９４】
また、本実施形態の感情強調処理では、感情ベクトルのベクトル軸の採り方（すなわち、加工内容の判定に使用されるデータ種類の組み合わせ）を、加工対象領域の種別と人物の性別との少なくとも一方に応じて変更するので、感情ベクトルの軸数（次数）を必要最小限に抑えることができる。
【００９５】
［実施形態の補足］
なお、上述した実施形態のディジタルカメラ１０では、加工対象領域のみを加工したが、加工対象領域の候補となった１又は複数の領域（候補領域）の中に、その加工対象領域の加工内容に相応しくないものが存在した場合には、その候補領域についても適切な加工を施すことが望ましい。例えば、加工対象領域として「海」が選定され、かつ、加工内容として「荒れた海に」が選定されたにも関わらず、候補領域の１つである「空」が「青空」であった場合には、その「青空」は相応しくないので、「曇り空」や「雨空」へと加工することが望ましい。
【００９６】
また、上述した実施形態のディジタルカメラ１０では、加工対象領域を加工する際に、加工後の加工対象領域を作成してから、それを加工対象領域へと上書きしたが、加工対象領域に対して直接的に画像処理（彩度変換、輝度変換、色相変換など）を施すこととしてもよい。因みにその場合は、サンプルを使用する必要は無くなる。
【００９７】
また、上述した実施形態のディジタルカメラ１０では、感情強調処理の対象を、ディジタルカメラ１０が撮影した直後の画像としたが、リムーバブルメモリ１６０に保存された画像としてもよい。すなわち、ディジタルカメラ１０において感情強調処理機能の発現するタイミングは、ディジタルカメラ１０が撮影モードにあるときであっても再生モードにあるときであってもよい。
【００９８】
また、上述した実施形態では、感情強調処理の全部をディジタルカメラ１０が自動的に実行する例を説明したが、感情強調処理の一部はユーザが手動で行っても構わない。例えば、画像の中から人物を選定するステップ、画像の中から加工対象領域を選定するステップの何れか一方を、ユーザが手動で行っても構わない。
【００９９】
また、上述した実施形態では、撮影前の被写界を監視する装置が撮像素子５０とは別に設けられたディジタルカメラ（１眼レフレックスカメラ）を説明したが、撮影前の被写界の監視を撮像素子５０によって行うディジタルカメラ（コンパクトカメラ）にも本発明は適用可能である。
【０１００】
また、上述した実施形態では、本発明をディジタルカメラに適用した例を説明したが、本発明は、ディジタルフォトフレーム、プリンタなど、画像の蓄積機能を搭載した他の機器にも本発明は適用が可能である。
【０１０１】
また、上述した実施形態の感情強調処理は、コンピュータが実行可能な画像処理ソフトウエアの一機能であっても構わない。また、その画像処理ソフトウエアは、インターネットを介してコンピュータへインストールされた画像処理ソフトウエアであっても、記憶媒体を介してコンピュータへインストールされた画像処理ソフトウエアであっても、どちらでも構わない。
【符号の説明】
【０１０２】
２０…撮影レンズ、３０…メカニカルシャッタ、５０…撮像素子、７０…タイミングジェネレータ（ＴＧ）、８０…アナログフロントエンド（ＡＦＥ）、９０…画像処理エンジン、１１０…モータドライバ、１３０…バッファメモリ、１４０…表示部、１５０…操作部、１６０…リムーバブルメモリ、１７０…データベース部
【図１】
2013011944.tif 000003
【図２】
2013011944.tif 000004
【図３】
2013011944.tif 000005
【図４】
2013011944.tif 000006
【図５】
2013011944.tif 000007
【図６】
2013011944.tif 000008
【図７】
2013011944.tif 000009
【図８】
2013011944.tif 000010
【図９】
2013011944.tif 000011
【図１０】
2013011944.tif 000012