(57)【要約】【課題】人物の表情に応じた効果的なキャッチライト表現を実現し、撮影経験又は画像編集経験があまりないユーザであっても簡単にキャッチライト表現を有するポートレート写真を得ることができる画像編集装置を提供すること。【解決手段】表情検出回路１１４によって、撮像素子１０７を介して入力された画像データにおける瞳部分の画像データが表情検出回路１１４によって検出されるとともに、入力された画像データにおける被写体２００の表情を判定するためのＲ値が算出される。このＲ値に応じた瞳部内の位置に、Ｒ値に応じた形状及び色のキャッチライト画像が合成される。【選択図】      図１
2008294762.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影して画像を取得するための撮像部を含む画像入力手段と、
上記画像入力手段から得られた画像から上記被写体の顔部の画像を検出する顔検出手段と、
上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の顔の表情を検出する表情検出手段と、
上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の瞳部の画像を検出する瞳検出手段と、
上記瞳検出手段によって検出された瞳部の画像に、上記表情検出手段によって検出された顔の表情に応じて異なるキャッチライト加工を施すキャッチライト加工手段と、
を具備することを特徴とする画像編集装置。
【請求項２】
上記キャッチライト加工手段は、上記顔の表情に応じて形状が異なるキャッチライト加工を施すことを特徴とする請求項１に記載の画像編集装置。
【請求項３】
上記キャッチライト加工手段は、上記顔の表情に応じて色が異なるキャッチライト加工を施すことを特徴とする請求項１に記載の画像編集装置。
【請求項４】
被写体を撮影して画像を取得するための撮像部を含む画像入力手段と、
上記画像入力手段から得られた画像から上記被写体の顔部の画像を検出する顔検出手段と、
上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の顔の表情を検出する表情検出手段と、
上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の瞳部の画像を検出する瞳検出手段と、
上記瞳検出手段によって検出された瞳部の画像に写しこまれたキャッチライトを検出するキャッチライト検出手段と、
上記キャッチライト検出手段により検出されたキャッチライトを上記顔の表情に応じて決定される位置に移動させるとともに、移動させたキャッチライトを加工するキャッチライト加工手段と、
を具備することを特徴とする画像編集装置。
【請求項５】
上記キャッチライト加工手段は、上記顔の表情に応じて形状が異なるキャッチライト加工を施すことを特徴とする請求項４に記載の画像編集装置。
【請求項６】
上記キャッチライト加工手段は、上記顔の表情に応じて色が異なるキャッチライト加工を施すことを特徴とする請求項４に記載の画像編集装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像編集装置に関し、特に顔部の画像にキャッチライト加工を施す画像編集装置に関する。
【背景技術】
【０００２】
ポートレート撮影において、モデル等の人物の目にキャッチライトを入れることによって表情をイキイキとさせる撮影手法が知られている。このようなキャッチライトを入れることにより、被写体の表情をさらに誇張したり、演出したりすることが可能である。一般に、人物の表情には、微笑んだ表情、怒った表情、困った表情等の様々な表情があり、この様々な表情に最適なキャッチライトが存在する。
【０００３】
キャッチライトは、被写体を照らす光が被写体の角膜の球面から反射され、その反射光が撮像素子に露光されることにより生じるものである。このようなキャッチライトをカメラに内蔵したフラッシュ装置を光源として用いて発生させる技術が例えば特許文献１において提案されている。この特許文献１では、被写体を照らす光の光源が点光源かつ白色であり、被写体の瞳には白い円形状のキャッチライトが発生する。また、キャッチライトを画像処理によって人工的に作り出す技術が例えば特許文献２において提案されている。
【特許文献１】特開２００１−９１９７９号公報
【特許文献２】特開２００６−７２７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように、人物の表情には様々な表情があり、また、表情に応じて最適なキャッチライトが存在する。ここで、特許文献１の手法の場合には、キャッチライトを白い点としか表現できず、また、通常、撮影レンズとフラッシュ装置の発光部との位置関係が同じであるため、キャッチライトの写りこみ位置の自由度もない。光源を用いて効果的なキャッチライトを入れるためには、光源の種類、光源から被写体までの距離、目に対する光の入射角度等の設定が必要である。しかしながら、これらの設定は、撮影経験が豊富なプロカメラマンやハイアマチュアにしかできないと言われている。
【０００５】
また、特許文献２のような画像処理によってキャッチライトを作り出す手法も、画像の加工作業が難しく面倒であり、また豊富な経験も必要であると考えられる。
【０００６】
本発明は、上記の事情に鑑みてなされたもので、人物の表情に応じた効果的なキャッチライト表現を実現し、撮影経験又は画像編集経験があまりないユーザであっても簡単にキャッチライト表現を有するポートレート写真を得ることができる画像編集装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明の第１の態様の画像編集装置は、被写体を撮影して画像を取得するための撮像部を含む画像入力手段と、上記画像入力手段から得られた画像から上記被写体の顔部の画像を検出する顔検出手段と、上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の顔の表情を検出する表情検出手段と、上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の瞳部の画像を検出する瞳検出手段と、上記瞳検出手段によって検出された瞳部の画像に、上記表情検出手段によって検出された顔の表情に応じて異なるキャッチライト加工を施すキャッチライト加工手段とを具備することを特徴とする。
【０００８】
また、上記の目的を達成するために、本発明の第２の態様の画像編集装置は、被写体を撮影して画像を取得するための撮像部を含む画像入力手段と、上記画像入力手段から得られた画像から上記被写体の顔部の画像を検出する顔検出手段と、上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の顔の表情を検出する表情検出手段と、上記顔検出手段によって検出された顔部の画像に基づき、上記被写体の瞳部の画像を検出する瞳検出手段と、上記瞳検出手段によって検出された瞳部の画像に写しこまれたキャッチライトを検出するキャッチライト検出手段と、上記キャッチライト検出手段により検出されたキャッチライトを上記顔の表情に応じて決定される位置に移動させるとともに、移動させたキャッチライトを加工するキャッチライト加工手段とを具備することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、人物の表情に応じた効果的なキャッチライト表現を実現し、撮影経験又は画像編集経験があまりないユーザであっても簡単にキャッチライト表現を有するポートレート写真を得ることができる画像編集装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施形態を説明する。  
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像編集装置の一例としてのデジタルカメラ１００の構成を示すブロック図である。図１に示すデジタルカメラ１００は、マイクロプロセッシングユニット（ＭＰＵ）１０１と、操作部１０２と、撮影レンズ１０３と、オートフォーカス（ＡＦ）回路１０４と、絞り機構１０５と、絞り制御回路１０６と、撮像素子１０７と、アナログフロントエンド（ＡＦＥ）回路１０８と、画像処理回路１０９と、表示制御回路１１０と、表示パネル１１１と、ピント判定回路１１２と、顔検出回路１１３と、表情検出回路１１４と、圧縮／伸張回路１１５と、記録制御回路１１６と、記録メディア１１７と、補助光発光回路１１８と、反射パターン検出回路１１９と、通信回路１２０とを有している。また、デジタルカメラ１００は、ネットワーク３００を介してサーバ４００と通信自在に接続されている。
【００１１】
ＭＰＵ１０１は、ユーザからの操作部１０２の操作に応じてデジタルカメラ１００を構成する各ブロックをシーケンシャルに制御する。操作部１０２は、デジタルカメラ１００による撮影を実行させるためのレリーズスイッチや、デジタルカメラ１００の動作モードを撮影モードや再生モード等の間で切り替えるための切り替えスイッチ等が含まれる。
【００１２】
また、ＭＰＵ１０１は、ユーザによって写真撮影がなされた時刻を計測するためのタイマを有している。これにより、撮影によって得られる画像データに対して撮影時刻が関連付けられる。
【００１３】
撮影レンズ１０３は、被写体２００からの像を撮像素子１０７に結像させる。この撮影レンズ１０３は、オートフォーカス（ピント合わせ）用のレンズを含んでいる。オートフォーカスの際に、ＭＰＵ１０１は、ピント合わせレンズのレンズ位置をモニタしつつ、ＡＦ回路１０４を制御してピント合わせレンズのレンズ位置を切り替えて撮影レンズ１０３のピント合わせを行う。絞り機構１０５は、撮影レンズ１０３内又はその近傍に設けられ、シャッタや絞りの効果を奏する機構である。絞り機構１０５は、撮影開始時に絞り制御回路１０６によって所定の口径まで開かれ、撮影終了時に閉じられるものである。
【００１４】
撮像部としての機能を有する撮像素子１０７は、多数の画素が配列されて構成される受光面を有し、撮影レンズ１０３を介して受光した被写体２００からの像を電気的な信号に変換する。本実施形態においては、撮像素子１０７にはＣＣＤ方式及びＣＭＯＳ方式の何れを用いても良い。
【００１５】
ＡＦＥ回路１０８は、ＣＤＳ回路、ゲイン調整回路、ＡＤ変換回路等を含み、撮像素子１０７において得られるアナログ電気信号に対し相関二重サンプリング処理、ゲイン調整処理といったアナログ処理を行った後、これによって得られる画像信号をデジタルデータ化して画像処理回路１０９に入力する。また、ＡＦＥ回路１０８には、撮像素子１０７を構成する複数の画素からの信号を一括して読み出す機能も設けられている。例えば、ＡＦＥ回路１０８によって、４画素（２×２画素）や９画素（３×３画素）の信号をまとめて読み出し、これら読み出した電気信号を加算することでＳ／Ｎを向上させることが出来る。このような処理によって、撮像素子１０７の見かけ上の感度を上げること等が出来る。
【００１６】
さらに、ＡＦＥ回路１０８は、撮像素子１０７からの出力信号を取捨選択する機能も有し、撮像素子１０７の全有効画素のうち、限られた範囲の画素からの信号のみを抽出することも出来る。一般に、撮像素子１０７は間引きを行うことで高速で信号を読み出すことが出来る。この機能を利用して、撮像素子１０７を連続動作させて得られる構図確認用のスルー画像を高速で読み出して画像処理回路１０９において処理してから表示パネル１１１に表示すれば、ユーザは表示パネル１１１上に表示されるスルー画像を利用してフレーミングを行うことが可能である。
【００１７】
画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データにおける色や階調、シャープネス等を補正処理したり、画像データのレベルを所定のレベルに増幅して、正しい濃淡及び正しい灰色レベルに調整したりする各種画像処理を行う。
【００１８】
また、上述したようなフレーミング用の画像等の各種の画像を表示するために、画像処理回路１０９は、ＡＦＥ回路１０８から入力される画像データを表示パネル１１１に表示可能なようにリサイズ（縮小）する機能も有する。
【００１９】
さらに、本実施形態において、画像処理回路１０９は、撮影時に被写体２００の目にキャッチライトが検出された場合に、そのキャッチライトを除去するとともに、この除去部分にそのときの被写体２００の表情に応じたキャッチライトを新たに合成するキャッチライト加工手段としての機能も有している。
【００２０】
表示制御回路１１０は、画像処理回路１０９で得られた画像データや記録メディア１１７に記録されている画像データを映像信号に変換し、変換した映像信号に基づいて画像を表示パネル１１１に表示させる。表示パネル１１１は液晶表示パネルや有機ＥＬ表示パネル等の表示パネルである。ここで、表示パネル１１１にはサーバ４００に送信（アップロード）済みの画像を一覧表示できるようにし、撮影者による操作部１０２の操作によってサーバ４００に送信した画像の中からサーバ４００が運営するブログサービス等に掲載する画像を選択できるようにしても良い。また、ブログ等に画像を表示する際のレイアウトを選択できるようにしても良い。
【００２１】
ピント判定回路１１２は、画像処理回路１０９によって得られる画像のコントラストを検出する。このピント判定回路１１２によって検出されるコントラストはオートフォーカスの際に用いられる。即ち、ＡＦ回路１０４によって撮影レンズ１０３のピント合わせレンズのレンズ位置を変化させながら、ピント判定回路１１２によって画像のコントラストを逐次検出し、検出されるコントラストが最大となるレンズ位置でピント合わせレンズを停止させることで、撮影レンズ１０３のピント合わせを行うことができる。
【００２２】
顔検出回路１１３は、画像処理回路１０９によって得られる画像内の特徴点（例えば、被写体が人物等であれば、目や鼻、口等）の分布から、画像内における被写体の特に顔に相当する部分を検出する。表情検出手段としての機能を有する表情検出回路１１４は、顔検出回路１１３によって検出される顔画像から被写体の表情を求めるための値であるＲ値（詳細は後述する）を算出する。
【００２３】
圧縮/伸張回路１１５は、撮影時に、画像処理回路１０９において処理された画像データを圧縮する。この圧縮/伸張回路１１５は、ＪＰＥＧ等の周知の静止画圧縮機能を有する静止画圧縮部とＭＰＥＧ４やＨ．２６４等の周知の動画圧縮機能を有する動画圧縮部とを有している。また、圧縮/伸張回路１１５は、圧縮された静止画データ又は動画データを伸張する機能も有している。記録制御回路１１６は、圧縮／伸張回路１１５で圧縮された画像データに付随データを付随させて記録メディア１１７に記録する。
【００２４】
補助光発光回路１１８は、撮影時の状況に応じて被写体２００に補助光を照射する。これによって、撮影時の明るさの不足や不均一を防止する。瞳検出手段及びキャッチライト検出手段としての機能を有する反射パターン検出回路１１９は、補助光発光回路１１８の発光によって被写体２００の目から反射した光パターンを検出する。
【００２５】
通信回路１２０は、記録メディア１１７に記録された画像データや撮影によって得られる画像データ等を、ネットワーク３００を介してサーバ４００に送信したり、サーバ４００から各種のデータを受信したりする際の通信制御を行う。この通信回路１２０は、例えば無線ＬＡＮのインターフェース回路である。サーバ４００に送信した画像は、例えばサーバ４００が運営するブログ等に掲載された画像としてユーザ５００にすぐに見せることができる。
【００２６】
以下、第１の実施形態におけるデジタルカメラ１００の動作について説明する。まず、キャッチライトについて図２及び図３を参照して説明する。図２は、光源の位置と瞳からの反射光の反射方向との関係を示した図である。図３は、瞳からの反射光と瞳内に写りこむキャッチライトとの関係を示した図である。
【００２７】
図２（ａ）に示すように、光源６００が被写体２００を上方から照らしており、そのときの光源６００からの入射光が図示θ１の角度をもって被写体２００の瞳部２００ａの上部に入射したとする。このとき、反射光も瞳部２００ａに対して図示θ１の角度をもって撮影レンズ１０３に入射する。したがって、図３（ａ）に示すように、キャッチライト２００ｂは、瞳部２００ａの上部位置に写りこむことになる。また、図２（ｂ）に示すように、光源６００からの光をレフ板等を用いて反射させて被写体２００を下方から照らしており、そのときの光源６００からの入射光が図示θ２の角度をもって被写体２００の瞳部２００ａの下部に入射したとする。このとき、反射光も瞳部２００ａに対して図示θ２の角度をもって撮影レンズ１０３に入射する。したがって、キャッチライト２００ｂは、瞳部２００ａの下部位置に写りこむことになる。なお、光源がない場合には当然キャッチライトは生じない。
【００２８】
このように、撮影時の光源の状況に応じて変化のあるキャッチライトが生じる。そして、キャッチライトの変化が被写体の表情や感情等の撮影時の被写体の雰囲気を彩るので、撮影時には、キャッチライトを有効に利用して、写真の表現に変化をつけるカメラマンも多かった。しかしながら、常にキャッチライトを生じさせるのに好適な光源があるとは限らないため、カメラに通常内蔵されているフラッシュ装置（補助光発光回路１１８）を用いてキャッチライトを発生させる技術もあるが、補助光発光回路１１８の場合には、図２（ａ）や図２（ｂ）のように光源の位置を変えることができない。したがって、補助光発光回路１１８を用いた場合には、図２（ｃ）に示すように、補助光発光回路１１８からの入射光が常に図示θ３の角度をもって被写体２００の瞳部２００ａに入射し、反射光も瞳部２００ａに対して常に図示θ３の角度をもって撮影レンズ１０３に入射する。また、補助光発光回路１１８は光源の大きさとしても小さいので、結果として、図３（ｃ）に示すように、キャッチライト２００ｂは、瞳部２００ａの中央部の狭い範囲に白く写りこむ（或いは、所謂赤目現象によって瞳が赤くなる）だけの単調な表現になりやすい。
【００２９】
本実施形態では、簡単な操作で被写体の表情に応じたキャッチライトが得られ、これにより多彩な表現の写真撮影を行えるようにする。
【００３０】
図４は、本発明の第１の実施形態におけるデジタルカメラ１００の動作を示すフローチャートである。
【００３１】
図４において、ＭＰＵ１０１は、デジタルカメラ１００の動作モードが撮影モードであるかを判定している（ステップＳ１）。ステップＳ１の判定において、撮影モードである場合に、ＭＰＵ１０１は、表示パネル１１１にフレーミング用のスルー画像を表示させるための各種の制御を実行する（ステップＳ２）。即ち、ＭＰＵ１０１は撮像素子１０７を連続動作させてスルー画像データを逐次取得し、取得したスルー画像データを画像処理回路１０９において処理してからこのスルー画像データに基づいて表示パネル１１１にスルー画像を表示させる。スルー画像を表示させた後、ＭＰＵ１０１は、撮影者による操作部１０２の操作によって撮影指示がなされたかを判定する（ステップＳ３）。ステップＳ３の判定において、撮影指示がなされていない場合には処理がステップＳ１に戻る。一方、ステップＳ３の判定において、撮影指示がなされた場合に、ＭＰＵ１０１は撮影動作を実行する（ステップＳ４）。即ち、ＭＰＵ１０１は撮影レンズ１０３のピント調整を実行させた後、絞り機構１０５を所定の開口まで絞った状態で撮像素子１０７による撮像動作を実行させて画像データを得る。
【００３２】
次に、ＭＰＵ１０１は、撮像素子１０７を介して得られた画像データから、反射パターン検出回路１１９により、被写体２００の瞳部において補助光の反射光が検出されるか、即ちキャッチライトが検出されるかを判定する（ステップＳ５）。
【００３３】
ここで、ステップＳ５の判定手法の一例について説明する。図５は、補助光発光回路１１８を発光させて撮影を行ったときの、被写体２００の目部における画像データの分布を示す図である。図３（ｃ）に示したように、補助光発光回路１１８によって補助光を発光させた場合には補助光の反射光（キャッチライト）が瞳部の中心付近に写り込む。したがって、このときの被写体２００の瞳部付近の画像データのパターンは、図５に示すように、横方向では、大（白眼部）、小（瞳部）、大（反射光）、小（瞳部）、大（白眼部）となる。また、縦方向では、小（瞳部）、大（反射光）、小（瞳部）となる。このようにして被写体２００の瞳部付近の画像データのパターンを判定することで補助光発光回路１１８からの反射光が瞳部にあるか否かを判定することができる。なお、瞳部は左右にずれることがあるので、撮影前のスルー画表示時から瞳部の位置検出を行っておくことが好ましい。瞳部の位置は、例えば、撮影前に撮像素子１０７を介して得られるスルー画像データにける顔部を顔検出回路１１３において検出し、さらにこの顔部内の陰影の分布から表情検出回路１１４において目部を検出し、目部の画像データにおいて低輝度を示す部分を瞳部として検出する。
【００３４】
ステップＳ５の判定において、反射光が検出された場合に、ＭＰＵ１０１は、画像処理回路１０９により、検出された反射光部に相当する画像データをその周辺の画像データ（瞳部）で置換することによって塗りつぶす（ステップＳ６）。次に、ＭＰＵ１０１は、画像内の被写体２００の表情を検出するために、表情検出回路１１４によってＲ値を算出する（ステップＳ７）。
【００３５】
ここで、Ｒ値について説明する。図６は、Ｒ値を算出する際の処理の流れについて示すフローチャートである。図６において、まず、表情検出回路１１４は、顔検出回路１１３によって検出された顔部の画像における陰影分布から画像内の顔部における目部、口部を検出する（ステップＳ１０１）。より具体的には画像のコントラストを強調した状態で画像内において略円形をしている顔部を顔検出回路１１３によって検出する。そして、表情検出回路１１４において顔部内の陰影の分布から目部及び口部を検出する。なお、スルー画表示時に顔検出を行っている場合にはステップＳ１０１の処理を省略できる。
【００３６】
ステップＳ１０１において目部、口部を検出した後、表情検出回路１１４は、両目の瞳を結ぶ直線Ａの上側の白眼部分の面積ＥＡ（図７（ａ）参照）を求める（ステップＳ１０２）。次に、表情検出回路１１４は、両目の瞳を結ぶ直線Ａの下側の白眼部分の面積ＥＢ（図７（ａ）参照）を求める（ステップＳ１０３）。ＥＡ及びＥＢを求めた後、表情検出回路１１４は、ＥＡとＥＢの差をＥＡとＥＢの和で正規化した値ＲＥを求める（ステップＳ１０４）。ここで、被写体２００が他人に見せたい笑顔の場合には図７（ａ）に示すようにＥＢが０に近くなるため、結果ＲＥが大きくなる。逆に、笑顔でない、例えば困った顔の場合には図７（ｂ）に示すようにＥＡが０に近くなるため、結果ＲＥが小さくなる。したがって、ＲＥの大小から表情を判定することが可能である。
【００３７】
ＲＥを求めた後、表情検出回路１１４は、口の両端を結ぶ直線Ｂの上側の唇部分の面積ＬＡ（図７（ｂ）参照）を求める（ステップＳ１０５）。次に、表情検出回路１１４は、口の両端を結ぶ直線Ｂの下側の唇部分の面積ＬＢ（図７（ｂ）参照）を求める（ステップＳ１０６）。ＬＡ及びＬＢを求めた後、表情検出回路１１４は、ＬＢとＬＡの差をＬＡとＬＢの和で正規化した値ＲＬを求める（ステップＳ１０７）。ここで、笑顔の場合には図７（ａ）に示すようにＬＡが０に近くなるため、結果ＲＬが大きくなる。逆に、困った顔の場合には図７（ｂ）に示すようにＬＢが小さくなるため、結果ＲＬが小さくなる。したがって、ＲＬの大小からも表情を判定することが可能である。
【００３８】
ＲＥ及びＲＬを求めた後、表情検出回路１１４はＲＥとＲＬの和Ｒを求める（ステップＳ１０８）。このＲ値は大きいほどそのときの表情は笑顔に近いものと考えられる。さらに、図７（ａ）の矢印Ｃで示したように口の端部に影があったり、歯が見えていたりすると笑顔の確率が高い。そこで、表情検出回路１１４は口部分に歯（白部分）が検出され、かつ口端部に影があるかを判定する（ステップＳ１０９）。ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がある場合に、表情検出回路１１４はＲに所定値（ここでは１）を加算する（ステップＳ１１０）。
【００３９】
一方、ステップＳ１０９の判定において、口部分に歯が検出され、かつ口端部に影がない場合、若しくはステップＳ１１０の後、表情検出回路１１４は眉間部分（目の間部分）に図７（ｂ）の矢印Ｄで示すような皺があるか否かを判定する（ステップＳ１１１）。ステップＳ１１１の判定において、眉間部分に皺がある場合に、表情検出回路１１４はＲから所定値（ここでは１）を減算する（ステップＳ１１２）。即ち、眉間に皺が検出されるような表情では笑顔とは言えないのでステップＳ１１１の判定を行う。
【００４０】
ここで、図６の処理では、被写体２００の顔が正面を向いているときには、表情の判定が容易であるが、被写体２００の顔が上向きの場合や下向きの場合には表情の判定は困難になる。そこで、ＭＰＵ１０１は、以下に示すＲ値補正処理を行う（ステップＳ１１３）。
【００４１】
図８は、Ｒ値補正処理の流れについて示すフローチャートである。図８において、まず、表情検出回路１１４は、顔検出回路１１３によって検出された顔部の画像における中心位置Ｅ（図９（ａ）参照）の座標を検出する（ステップＳ２０１）。次に、表情検出回路１１４は、顔検出回路１１３によって検出された顔部の画像における目部の中心位置Ｆ（図９（ａ）参照）の座標を検出する（ステップＳ２０２）。
【００４２】
ここで、顔の向きが正面の場合には、図９（ａ）に示すように、顔部の中心位置Ｅの上方に目部の中心位置Ｆがくる。これに対し、顔の向きが下向きの場合には、図９（ｂ）に示すように、顔部の中心位置Ｅの下方に目部の中心位置Ｆがくる。この状態で撮影レンズ１０３の方を見ると上目遣いの表情になりやすくなる。このような表情は笑顔とは言いがたい。また、顔の向きが上向きの場合には、図９（ｃ）に示すように、図９（ａ）の場合よりもさらに顔部の中心位置Ｅの上方に目部の中心位置Ｆがくる。この状態で撮影レンズ１０３の方を見ると見下すような表情になりやすくなる。このような表情もやはり笑顔とは言いがたい。
【００４３】
そこで、図８の処理では、顔部の中心位置Ｅと目部の中心位置Ｆとの位置差ΔＹを算出し、このΔＹの値によって被写体２００の顔が正面を向いているか、上向きか、下向きかを判定する。
【００４４】
即ち、顔部の中心位置Ｅの座標と目部の中心位置Ｆの座標とを検出した後、表情検出回路１１４は、顔部の中心位置Ｅと目部の中心位置Ｆとの位置差ΔＹを算出する（ステップ２０３）。次に、表情検出回路１１４は、位置差ΔＹが所定値−ΔＹ１よりも小さいかを判定する（ステップＳ２０４）。ステップＳ２０４の判定において、位置差ΔＹが−ΔＹ１よりも小さい場合には、図９（ｂ）のように顔が下向きであるとして、表情検出回路１１４はＲから所定値（ここでは１）を減算する（ステップＳ２０５）。その後に、図８の処理を抜ける。
【００４５】
一方、ステップＳ２０４の判定において、位置差ΔＹが−ΔＹ１以上である場合に、表情検出回路１１４は、位置差ΔＹが所定値ΔＹ２よりも大きいかを判定する（ステップＳ２０６）。ステップＳ２０６の判定において、位置差ΔＹがΔＹ２よりも大きい場合には、図９（ｃ）のように顔が上向きであるとして、表情検出回路１１４はＲから所定値（ここでは１）を減算する（ステップＳ２０７）。その後に、図８の処理を抜ける。
【００４６】
また、ステップＳ２０５の判定において、位置差ΔＹがΔＹ２以下である場合に、図９（ａ）のように顔が正面向きであるとして、Ｒ値の補正を行わない。この場合には、そのまま図８の処理を抜ける。
【００４７】
ここで、図５に戻って説明を続ける。ステップＳ７において、Ｒ値を算出した後は、被写体２００の表情に応じたキャッチライト画像を、撮像素子１０７を介して得られた画像データに合成するキャッチライト加工処理を行う。図１０は、瞳部の画像に各種のキャッチライト加工を施した例を示す図である。
【００４８】
図１０（ａ）、図１０（ｂ）、１０（ｃ）は被写体２００の目が大きく見開かれた状態（Ｒ値が高い状態）を示している。この場合には、瞳の上の方が有効利用できるので、瞳の上の方にキャッチライト画像を合成することが好ましい。そして、Ｒ値が高い場合には上述した笑顔や驚いた表情等が考えられるので、このときに合成するキャッチライト画像としては、例えば図１０（ａ）に示すハート型や図１０（ｂ）に示す星型等を用いるようにする。また、色については通常のキャッチライトと同様の白色であっても良いが、例えばハート型であればピンク色、星型であれば黄色といったように、合成するキャッチライト画像毎に設定することが好ましい。
【００４９】
また、図１０（ｄ）、図１０（ｅ）、図１０（ｆ）は被写体２００が目をこらしているような状態（Ｒ値が低い状態）を示している。この場合には、瞳の下の方が有効利用できるので、瞳の下の方にキャッチライト画像を合成することが好ましい。そして、Ｒ値が低い高い場合には上述した困った表情や睨んでいる表情等が考えられるので、このときに合成するキャッチライト画像としては、例えば図１０（ｆ）に示す炎型等を用いるようにする。また、色については通常のキャッチライトと同様の白色であっても良いが、例えば炎を示す赤色とすることが好ましい。
【００５０】
図５のステップＳ８以後の処理では、このような考え方に基づいてキャッチライト画像を合成する。まず、ＭＰＵ１０１は、ステップＳ７において得られたＲ値が第１の所定値よりも大きいかを判定する（ステップＳ８）。ステップＳ８の判定において、Ｒ値が第１の所定値よりも大きい場合に、ＭＰＵ１０１は、画像処理回路１０９により、図１０（ａ）に示すようにして、撮像素子１０７を介して得られた画像データにおける瞳部の上半分部にピンク色でハート型のキャッチライト画像を合成する（ステップＳ９）。また、ステップＳ８の判定において、Ｒ値が第１の所定値以下の場合に、ＭＰＵ１０１は、ステップＳ７において得られたＲ値が第１の所定値よりも小さい第２の所定値よりも小さいかを判定する（ステップＳ１０）。ステップＳ１０の判定において、Ｒ値が第２の所定値よりも小さい場合に、ＭＰＵ１０１は、画像処理回路１０９により、図１０（ｆ）に示すようにして、撮像素子１０７を介して得られた画像データにおける瞳部の下半分部に赤色で炎型のキャッチライト画像を合成する（ステップＳ１１）。また、ステップＳ１０の判定において、Ｒ値が第２の所定値以上の場合に、ＭＰＵ１０１は、画像処理回路１０９により、図１０（ｃ）に示すようにして、撮像素子１０７を介して得られた画像データにおける瞳部の上半分部に黄色で星型のキャッチライト画像を合成する（ステップＳ１２）。
【００５１】
ステップＳ９、Ｓ１１、又はＳ１２においてキャッチライト画像を合成させた後、ＭＰＵ１０１は、キャッチライト画像を合成した後の画像データを記録メディア１１７に記録させた後（ステップＳ１３）、図４の処理を終了させる。
【００５２】
また、ステップＳ１の判定において、撮影モードでない場合には再生モードであると判定して、ＭＰＵ１０１は、撮影者等による画像の選択操作を待つ。そして、画像の選択操作がなされた場合には、選択された画像に対応する画像データを記録メディア１１７から読み出して表示パネル１１１に再生表示させる（ステップＳ１４）。続いて、ＭＰＵ１０１は、撮影者等により選択画像データの送信操作がなされたかを判定する（ステップＳ１５）。ステップＳ１５の判定において、画像データの送信操作がなされていない場合には、図４の処理を終了させる。一方、ステップＳ１５の判定において、画像データの送信操作がなされた場合に、ＭＰＵ１０１は、撮影者等による画像データの送信先の入力を待つ（ステップＳ１６）。画像の送信先の入力がなされた後、ＭＰＵ１０１は、現在再生されている画像データを、通信回路１２０により、ステップＳ１６で指定された送信先に送信した後（ステップＳ１７）、図４の処理を終了させる。
【００５３】
以上説明したように、第１の実施形態によれば、撮影時に被写体２００の瞳部にキャッチライトが存在していた場合には、そのキャッチライト部分を除去し、撮影時の被写体の表情に応じて決定される瞳部内の位置に、表情に応じて決定される形状及び色のキャッチライト画像を合成することにより、撮影者は、キャッチライト効果を得るための特別な設定を必要とせず、単に補助光発光回路１１８を発光させた撮影を行うのみで、効果的なキャッチライト表現のポートレート画像を得ることができる。
【００５４】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、撮影前のスルー画表示時にキャッチライト加工処理後の画像を確認できるようにしたものである。なお、デジタルカメラ１００の構成については図１で説明したものと同様であるので説明を省略する。
【００５５】
図１１は、本発明の第２の実施形態におけるデジタルカメラ１００の動作を示すフローチャートである。
【００５６】
図１１において、ＭＰＵ１０１は、デジタルカメラ１００の動作モードが撮影モードであるかを判定している（ステップＳ２１）。ステップＳ２１の判定において、撮影モードである場合に、ＭＰＵ１０１は、表示パネル１１１にフレーミング用のスルー画像を表示させるための各種の制御を実行する（ステップＳ２２）。次に、ＭＰＵ１０１は、図４のステップＳ５の処理において説明した手法を用いて瞳部の位置及び大きさを検出する（ステップＳ２３）。
【００５７】
次に、ＭＰＵ１０１は、スルー画像内の被写体２００の表情を検出するために、表情検出回路１１４によってＲ値を算出する（ステップＳ２４）。Ｒ値が算出された後、ＭＰＵ１０１は、算出されたＲ値が第１の所定値よりも大きいかを判定する（ステップＳ２５）。ステップＳ２５の判定において、Ｒ値が第１の所定値よりも大きい場合に、ＭＰＵ１０１は、画像処理回路１０９により、撮像素子１０７を介して得られたスルー画像データにおける瞳部の上半分部にピンク色でハート型のキャッチライト画像又は黄色で星型のキャッチライト画像を合成する（ステップＳ２６）。なお、ハート型のキャッチライト画像を合成するか、星型のキャッチライト画像を合成するかは、予め設定しておくものである。また、ステップＳ２５の判定において、Ｒ値が第１の所定値以下の場合に、ＭＰＵ１０１は、算出されたＲ値が第１の所定値よりも小さい第２の所定値よりも小さいかを判定する（ステップＳ２７）。ステップＳ２７の判定において、Ｒ値が第２の所定値よりも小さい場合に、ＭＰＵ１０１は、画像処理回路１０９により、撮像素子１０７を介して得られたスルー画像データにおける瞳部の下半分部に赤色で炎型のキャッチライト画像又は黄色で閃光型のキャッチライト画像を合成する（ステップＳ２８）。なお、炎型のキャッチライト画像を合成するか、閃光型のキャッチライト画像を合成するかは、予め設定しておくものである。
【００５８】
ステップＳ２６又はステップＳ２８においてキャッチライト画像を合成した後、ＭＰＵ１０１は、画像処理回路１０９により、合成したキャッチライト画像の大きさをキャッチライト画像の色に応じて調整する（ステップＳ２９）。この処理は、キャッチライト画像と白眼部とが同化しないようにするための処理である。したがって、合成するキャッチライト画像が白色若しくは薄い色の場合には、合成後のキャッチライト画像が瞳部からはみ出さないように縮小する。また、合成するキャッチライト画像が濃い色の場合には大きさの調整を行わない。また、合成するキャッチライト画像の形状に応じても大きさの調整を行うようにしても良い。例えば、ハート型や星型の場合には瞳部内に収まるように縮小し、炎型や閃光型の場合には大きさの調整を行わないようにしても良い。
【００５９】
ステップＳ２９の後、ＭＰＵ１０１は、撮影者による操作部１０２の操作によって撮影指示がなされたかを判定する（ステップＳ３０）。ステップＳ３０の判定において、撮影指示がなされていない場合には処理がステップＳ２１に戻る。一方、ステップＳ３０の判定において、撮影指示がなされた場合に、ＭＰＵ１０１は撮影動作を実行する（ステップＳ３１）。その後、撮影により得られた後の画像データを記録メディア１１７に記録させた後（ステップＳ３２）、図１１の処理を終了させる。
【００６０】
また、ステップＳ１の判定において、撮影モードでない場合には再生モードであると判定して、ＭＰＵ１０１は、撮影者等による画像の選択操作を待つ。そして、画像の選択操作がなされた場合には、選択された画像に対応する画像データを記録メディア１１７から読み出して表示パネル１１１に再生表示させる（ステップＳ３３）。続いて、ＭＰＵ１０１は、撮影者等により選択画像データの送信操作がなされたかを判定する（ステップＳ３４）。ステップＳ３４の判定において、画像データの送信操作がなされていない場合には、図１１の処理を終了させる。一方、ステップＳ３４の判定において、画像データの送信操作がなされた場合に、ＭＰＵ１０１は、撮影者等による画像データの送信先の入力を待つ（ステップＳ３５）。画像の送信先の入力がなされた後、ＭＰＵ１０１は、現在再生されている画像データを、通信回路１２０により、ステップＳ３５で指定された送信先に送信した後（ステップＳ３６）、図１１の処理を終了させる。
【００６１】
以上説明したように、第２の実施形態によれば、撮影前のスルー画表示時にキャッチライト加工処理後の画像を目視確認しながら、撮影を行うことが可能である。また、合成するキャッチライト画像の色や形状に応じてキャッチライト画像の大きさを調整することにより、より表情に応じたキャッチライト画像の合成を行うことができる。
【００６２】
以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。
【００６３】
例えば、上述した実施形態においては、説明を簡単にするために目部に関するＲ値ＲＥと口部に関するＲ値ＲＬとを加算した値Ｒによって被写体２００の表情を判定しているが、ＲＥの大小とＲＬの大小とを個別に評価する、即ち目の表情と口の表情を個別に判定することで被写体２００の表情を判定するようにしても良い。
【００６４】
また、上述した実施形態においては、瞳部に合成するキャッチライト画像の例として、ハート型、星型、炎型を示しているが、これらに限るものではない。例えば、図３（ａ）等で示したような反射光と同形（白色の円形）のキャッチライト画像を合成するようにしても良い。なお、別の形状のキャッチライト画像を追加する場合には、そのキャッチライト画像に対応したＲ値の範囲を予め設定しておく必要がある。
【００６５】
また、キャッチライト画像の合成後に、合成結果を表示パネル１１１に表示させるようにし、撮影者による操作部１０２の操作によって、合成後のキャッチライト画像の編集を行えるようにしても良い。また、このようなキャッチライト画像の編集を再生モード時に行えるようにしても良い。
【００６６】
また、被写体２００の表情に応じたキャッチライト画像の合成は必ずしもデジタルカメラ１００内部で行う必要はなく、例えばパーソナルコンピュータ（ＰＣ）にインストールされたソフトウェアの処理に従って行うようにしても良い。
【００６７】
さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に係る画像編集装置の一例としてのデジタルカメラの構成を示すブロック図である。
【図２】光源の位置と瞳からの反射光の反射方向との関係を示した図である。
【図３】瞳からの反射光と瞳内に写りこむキャッチライトとの関係を示した図である。
【図４】本発明の第１の実施形態におけるデジタルカメラの動作を示すフローチャートである。
【図５】補助光発光回路を発光させて撮影を行ったときの、被写体の目部における画像データの分布を示す図である。
【図６】Ｒ値を算出する際の処理の流れについて示すフローチャートである。
【図７】図７（ａ）はＲ値の高い表情の例を示す図であり、図７（ｂ）はＲ値の低い表情の例を示す図である。
【図８】Ｒ値補正処理の流れについて示すフローチャートである。
【図９】図９（ａ）は顔の向きが正面の場合の表情の例を示す図であり、図９（ｂ）は顔の向きが下向きの場合の表情の例を示す図であり、図９（ｃ）は顔の向きが上向きの場合の表情の例を示す図である。
【図１０】瞳部の画像に各種のキャッチライト加工を施した例を示す図である。
【図１１】本発明の第２の実施形態におけるデジタルカメラの動作を示すフローチャートである。
【符号の説明】
【００６９】
１００…デジタルカメラ、１０１…マイクロプロセッシングユニット（ＭＰＵ）、１０２…操作部、１０３…撮影レンズ、１０４…オートフォーカス（ＡＦ）回路、１０５…絞り機構、１０６…絞り制御回路、１０７…撮像素子、１０８…アナログフロントエンド（ＡＦＥ）回路、１０９…画像処理回路、１１０…表示制御回路、１１１…表示パネル、１１２…ピント判定回路、１１３…顔検出回路、１１４…表情検出回路、１１５…伸張回路、１１６…記録制御回路、１１７…記録メディア、１１８…補助光発光回路、１１９…反射パターン検出回路、１２０…通信回路、３００…ネットワーク、４００…サーバ
【図１】
2008294762.tif 000003
【図２】
2008294762.tif 000004
【図３】
2008294762.tif 000005
【図４】
2008294762.tif 000006
【図５】
2008294762.tif 000007
【図６】
2008294762.tif 000008
【図７】
2008294762.tif 000009
【図８】
2008294762.tif 000010
【図９】
2008294762.tif 000011
【図１０】
2008294762.tif 000012
【図１１】
2008294762.tif 000013