(57)【要約】【課題】複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なう。【解決手段】各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を行なうように構成されている。具体的には、検出顔間の距離との各顔の笑顔度並びに傾きを基に、被写体間の親密度合いを「仲良し度」とも呼ぶべき数値で表すことができる。そして、算出された仲良し度が所定の閾値を超えたことに応答して撮影制御を起動する。【選択図】  図２
2010016796.tif 000002
【特許請求の範囲】
【請求項１】
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置。
【請求項２】
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを出力する配置評価手段と、
前記評価値Ｈpatternに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置。
【請求項３】
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
をさらに備え、
前記撮影判定手段は、前記評価値Ｈpattern及びＨloveに基づいて、前記の入力画像を撮影するタイミングを判定する、
ことを特徴とする請求項２に記載の画像撮影装置。
【請求項４】
前記配置評価手段は、前記の各検出顔の位置又は角度のなす相互関係を所定の位置パターン、角度パターン、又は位置及び角度の組み合わせからなる位置・角度パターンと比較計算して、いずれかのパターン又はすべてのパターンとの比較結果を基に前記評価値Ｈpatternを求める、
ことを特徴とする請求項２又は３のいずれかに記載の画像撮影装置。
【請求項５】
前記配置評価手段は、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる前記の位置パターン、角度パターン、又は位置・角度パターンを用いる、
ことを特徴とする請求項２又は３のいずれかに記載の画像撮影装置。
【請求項６】
前記配置評価手段は、前記の各検出顔の位置を、２以上の検出顔の高さが揃い、又は、３以上の検出顔がほぼ直線状に並ぶ位置パターンと比較計算して、前記評価値Ｈpatternを求める、
ことを特徴とする請求項２又は３のいずれかに記載の画像撮影装置。
【請求項７】
前記配置評価手段は、３以上の検出顔の位置を頂点とする多角形からなる位置パターンと比較計算して、前記評価値Ｈpatternを求める、
ことを特徴とする請求項２又は３のいずれかに記載の画像撮影装置。
【請求項８】
前記配置評価手段は、２つの検出顔が内側を向く、あるいは複数の検出顔の向きが一定方向に揃う角度パターンと比較計算して、前記評価値Ｈpatternを求める、
ことを特徴とする請求項２又は３のいずれかに記載の画像撮影装置。
【請求項９】
前記の入力画像内で、各検出顔の位置が時間的に変化する速度を演算する速度演算手段、又は、各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段をさらに備え、
前記仲良し度演算手段は、さらに各検出顔の速度又は角速度を考慮して、仲良し度を評価する、
ことを特徴とする請求項１又は３のいずれかに記載の画像撮影装置。
【請求項１０】
前記仲良し度演算手段は、前記顔属性検出手段により検出された各検出顔の笑顔度を考慮して、仲良し度を評価する、
ことを特徴とする請求項１又は３のいずれかに記載の画像撮影装置。
【請求項１１】
前記仲良し度演算手段は、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度に基づいて仲良し度を評価する、
ことを特徴とする請求項１又は３のいずれかに記載の画像撮影装置。
【請求項１２】
前記仲良し度演算手段は、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度を重み計算して、仲良し度を評価する、
ことを特徴とする請求項３に記載の画像撮影装置。
【請求項１３】
前記の入力画像内で各検出顔の位置が時間的に変化する速度を演算する速度演算手段をさらに備え、
前記仲良し度演算手段は、各検出顔の移動速度と、前記顔属性検出手段により検出される（笑顔度以外の）属性情報に基づいて、各検出顔の距離に対する重みを決定する、
ことを特徴とする請求項１２に記載の画像撮影装置。
【請求項１４】
前記仲良し度演算手段は、各検出顔から前記顔属性検出手段により検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定する、
ことを特徴とする請求項１２に記載の画像撮影装置。
【請求項１５】
前記の入力画像内で各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段をさらに備え、
前記仲良し度演算手段は、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定する、
ことを特徴とする請求項１２に記載の画像撮影装置。
【請求項１６】
前記仲良し度演算手段は、前記顔属性検出手段により検出される（笑顔度以外の）属性情報に基づいて、各検出顔の笑顔度に対する重みを決定する、
ことを特徴とする請求項１２に記載の画像撮影装置。
【請求項１７】
前記撮影判定手段は、前記評価値Ｈpattern及びＨloveを重み計算した評価値Ｈに基づいて、前記の入力画像を撮影するタイミングを判定する、
ことを特徴とする請求項３に記載の画像撮影装置。
【請求項１８】
複数の撮影モードを備え、
前記撮影判定手段は、前記評価値Ｈpattern及びＨloveの各々に対する重みα及びβを、現在の撮影モードに応じて決定する、
ことを特徴とする請求項３に記載の画像撮影装置。
【請求項１９】
撮影する画像を入力する画像入力手段と、
前記の入力画像を画面に表示する表示手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置。
【請求項２０】
前記仲良し度演算手段は、各検出顔の距離と、前記顔属性検出手段により検出された各検出顔の笑顔度に基づいて仲良し度を評価し、
前記アニメーション制御手段は、前記評価値Ｈloveが所定の閾値に達しないときに、前記被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションの画面表示を制御する、
ことを特徴とする請求項１９に記載の画像撮影装置。
【請求項２１】
前記アニメーション制御手段は、前記評価値Ｈloveが所定の閾値を超えて前記撮影判定手段が前記の入力画像を撮影するタイミングを判定した際に、前記評価値Ｈloveの大きさを視覚化したアニメーションの画面表示を制御する、
ことを特徴とする請求項１９に記載の画像撮影装置。
【請求項２２】
所定の仲良し度判定期間にわたる前記仲良し度演算手段から出力される評価値Ｈloveを統計処理して被写体間の人間関係を判定する人間関係判定手段をさらに備える、
ことを特徴とする請求項１９に記載の画像撮影装置。
【請求項２３】
前記人間関係判定手段が判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加するデコレーション付加手段をさらに備える、
ことを特徴とする請求項２２に記載の画像撮影装置。
【請求項２４】
前記人間関係判定手段が判定した被写体間の人間関係を撮影画像の付加情報として記録する付加情報記録手段をさらに備える、
ことを特徴とする請求項２２に記載の画像撮影装置。
【請求項２５】
コンピュータを用いて画像の撮影制御を行なう画像撮影方法であって、
前記コンピュータが備える顔検出手段が、入力画像に含まれる１以上の被写体の顔を検出する顔検出ステップと、
前記コンピュータが備える顔属性検出手段が、前記の各検出顔の属性情報を検出する顔属性検出ステップと、
前記コンピュータが備える仲良し度演算手段が、前記顔属性検出ステップにおいて検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算ステップと、
前記コンピュータが備える撮影判定手段が、前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
を有することを特徴とする画像撮影方法。
【請求項２６】
コンピュータを用いて画像の撮影制御を行なう画像撮影方法であって、
前記コンピュータが備える顔検出手段が、入力画像に含まれる１以上の被写体の顔を検出する顔検出ステップと、
前記コンピュータが備える顔属性検出手段が、前記の各検出顔の属性情報を検出する顔属性検出ステップと、
前記コンピュータが備える配置評価手段が、前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを出力する配置評価ステップと、
前記コンピュータが備える仲良し度演算手段が、前記顔属性検出ステップにおいて検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算ステップと、
前記コンピュータが備える撮影判定手段が、前記評価値Ｈpattern及びＨloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
を有することを特徴とする画像撮影方法。
【請求項２７】
コンピュータを用いて画像の撮影制御を行なう画像撮影方法であって、
前記コンピュータが備える顔検出手段が、入力画像に含まれる１以上の被写体の顔を検出する顔検出ステップと、
前記コンピュータが備える顔属性検出手段が、前記の各検出顔の属性情報を検出する顔属性検出ステップと、
前記コンピュータが備える仲良し度演算手段が、前記顔属性検出ステップにおいて検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算ステップと、
前記コンピュータが備えるアニメーション制御手段が、前記評価値Ｈloveの大きさに応じて、画面に表示するアニメーションを制御するアニメーション制御ステップと、
前記コンピュータが備える撮像判定手段が、前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定ステップと、
を有することを特徴とする画像撮影方法。
【請求項２８】
画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラム。
【請求項２９】
画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを出力する配置評価手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈpattern及びＨloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラム。
【請求項３０】
画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段、
前記の入力画像を画面に表示する表示手段、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段、
前記の各検出顔の属性情報を検出する顔属性検出手段、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段、
前記評価値Ｈloveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物などの被写体を含んだ画像の撮影を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、画像に含まれる被写体から特定のパターンを認識したことに応じて撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、複数の人物を含んだ撮影画像の撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに係り、特に、複数の人物の顔認識結果の相互関係に基づいて撮影制御を行なう画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
最近、フィルムや感光板を使って撮影する銀塩カメラに代わって、光電変換及び蓄積を行なう画素配列の受光部をフォトダイオードにより構成した固体撮像素子で画像をキャプチャしデジタル符号処理して保存するデジタルカメラが広範に普及している。固体撮像素子として、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳ（Ｃｏｍｐｒｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：相補型金属酸化物半導体）を挙げることができる。例えばＣＭＯＳセンサは、ＣＣＤセンサに比べて消費電力が小さいことや、単一の低電圧で駆動され、周辺回路と一体化が容易であるといった利点がある。
【０００４】
銀塩カメラもデジタルカメラも基本的なカメラ・ワークはほとんど同じであるが、撮影画像のデジタル化とも相俟って、カメラ・ワークに関して自動化技術が進んでおり、このため、カメラ操作に未熟なユーザであっても、撮影に失敗する可能性は極めて低くなってきている。
【０００５】
この主の撮影制御機能は、一般的に、画像フレーム内に存在する１以上の被写体のうちいずれに合わせて処理を行なう。古くは、ユーザが重要な被写体をマニュアル操作で設定することが行なわれていた。最近では、撮像画像から顔を検出して、その顔に対して自動的にフォーカスを合わせる、あるいは、その顔に合わせて自動的に画質を補正する、といった顔検出を利用した撮像技術が導入されている。撮像画像から顔を検出する手法として、例えば、平均的な顔画像をテンプレートとして利用し、入力画像信号とマッチングする手法が当業界において広く知られている（例えば、特許文献１を参照のこと）。
【０００６】
最近では、被写体画像から笑顔など特定のパターンを検出したことを利用して撮影するタイミングを決める自動撮影に関する研究開発が進められている。例えば、撮影する主要被写体に含まれる注目部位において、主要被写体が所定の撮影条件を満たすかどうかを判断し、撮影条件を満たしたときに撮影タイミング信号を出力するカメラについて提案がなされている（例えば、特許文献２〜４を参照のこと）。具体的な撮影タイミングの判断基準として、人物が見栄えよく写る条件である、「瞬きをしていない」、「視線がカメラ方向を向いている」、「微笑んでいる」などを挙げることができる。写真修正技術は古くから知られているが、人が瞬きしている瞬間の写真を瞬きしていない写真に修正することや、笑っていない人の写真を笑っているように修正することは難しいということも、これらを撮影タイミングの判断基準に用いる理由の１つである。例えば、被写体の目の中の白色部分の面積や、口の横方向の長さ、口の中の白色部分の面積などの画像情報に基づいて、「微笑んでいる」という撮影条件を判定することができる。
【０００７】
撮像画像内に２人以上の被写体が写っている場合、「主役」と判定された特定の被写体をフォーカス合わせや画質補正の対象にして撮影制御を行なう撮影制御方法が考えられる。直感的には、撮像画像の中央付近に写っている被写体や、画像内で大きなサイズで写っている被写体は重要度が高く、主役と推定することができる。例えば、画像信号から検出された顔のサイズ情報及び位置情報を取得し、サイズ情報に基づいて第１の重要度因子を演算するとともに、位置情報に基づいて第２の重要度因子を演算し、これら第１及び第２の重要度因子に基づいて、最終的な重要度を演算することで、撮影者にとっての重要度をより精度よく判定できるようにした顔重要度判定装置について提案がなされている（例えば、特許文献５を参照のこと）。
【０００８】
また、２人以上の被写体を含んだ場合に、被写体間の相互関係に基づいて撮影制御方法も考えられる。例えば、複数人数存在する被写体の顔を認識し、顔に対する被写体距離や被写体輝度などの撮像パラメータからグループ化を行ない、グループ毎に最適な撮像パラメータを設定することで、それぞれの被写体にとって最適な撮像パラメータでの撮影を行なう撮像装置について提案がなされている（例えば、特許文献６を参照のこと）。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開２００３−２７１９３３号公報（段落００５１〜００５３、図９）
【特許文献２】特開２０００−３４７２７８号公報
【特許文献３】特開２００４−２９４４９８号公報
【特許文献４】特開２００６−２３７８０３号公報
【特許文献５】特開２００７−２０１９８０号公報
【特許文献６】特開２００６−３４５２５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて好適に撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。
【００１１】
本発明のさらなる目的は、複数の人物を含んだ撮影画像の好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。
【００１２】
本発明のさらなる目的は、複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。
【００１４】
また、本発明の第２の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを出力する配置評価手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈpattern及びＨloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。
【００１５】
最近、デジタルカメラにおける撮影制御技術が進んでおり、ＡＦやＡＥなどの処理を光学系で行なうだけでなく、デジタル処理により実現することができるという利点がある。
【００１６】
ここで、撮像画像内に２人以上の被写体が写っているときには、いずれの被写体に着目して撮影制御を行なうべきかという問題がある。例えば、「主役」と判定された特定の被写体をフォーカス合わせや画質補正の対象にして撮影制御を行なう撮影制御方法や、被写体間の相互関係に基づいて撮影制御方法が挙げられる。
【００１７】
後者の一例として、各検出顔の距離などの被写体間の配置に関する相互関係を基にセルフ・タイマーを設定するなどシャッターのタイミング制御を行なう方法が考えられる。しかしながら、被写体同士がすれ違うなど偶然に接近することもあり、検出顔の距離だけでは正確な撮影制御を行なうことはできない、と本発明者らは思料する。言い換えれば、検出顔の距離という単一のパラメータに基づいて撮影制御を行なうと、不要なタイミングでシャッターが切られ、あるいは逆に適切な撮影タイミングを逸してしまうことが懸念される。
【００１８】
これに対し、本発明の第１の側面に係る画像撮影装置は、各検出顔から笑顔度や性別、年齢といったさまざまな属性情報を検出する顔属性検出手段と、前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段をさらに備えている。そして、撮像判定手段は、評価値Ｈloveを評価して、前記の入力画像を撮影するタイミングを判定することによって、被写体同士の仲の良さが表現されたタイミングにおいて好適に撮影制御を行なうことが可能となる。
【００１９】
また、本発明の第２の側面に係る画像撮影装置は、検出顔間の距離ではなく、各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを用いて、シャッターのタイミングやセルフ・タイマーの設定といった撮影制御を行なうようになっている。そして、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる前記の位置パターン、角度パターン、又は位置・角度パターンをあらかじめ用意しておき、配置評価手段は、前記の各検出顔の位置又は角度のなす相互関係を所定の位置パターン、角度パターン、又は位置及び角度の組み合わせからなる位置・角度パターンと比較計算して、前記評価値Ｈpatternを求める。したがって、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いと判断されるタイミングにおいて、的確に撮影制御を実現することができる。
【００２０】
勿論、本発明の第２の側面に係る画像撮影装置も、各検出顔から笑顔度や性別、年齢といったさまざまな属性情報を検出する顔属性検出手段と、前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段をさらに備えることができる。このような場合、撮像判定手段は、評価値ＨpatternとともにＨloveを総合的に評価して、前記の入力画像を撮影するタイミングを判定することによって、被写体同士の仲の良さが表現されたタイミングにおいて好適に撮影制御を行なうことが可能となる。
【００２１】
ここで、配置評価手段は、前記の各検出顔の位置を、２以上の検出顔の高さが揃い、又は、３以上の検出顔がほぼ直線状に並ぶ位置パターンと比較計算して、前記評価値Ｈpatternを求めるようにしてもよい。直線的な位置パターンは、２人又は３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。特に、各検出かを結んで描かれる直線が水平をなす場合、伸張の違う被写体同士が顔の位置を合わせようとした結果である可能性があり、特に仲が良いと判断することができよう。
【００２２】
また、配置評価手段は、３以上の検出顔の位置を頂点とする多角形からなる位置パターンと比較計算して、前記評価値Ｈpatternを求めるようにしてもよい。各検出顔を結んで多角形のような特定の幾何学パターンを形成したときには、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。多角形パターンは、上記の直線パターンよりも、さらに一体感のある写真を撮り易くなるという効果がある。人数が増えれば増えるほど、各被写体位置のアライメントが難しくなるので、多角形を完成したときに得られる達成感もより大きいものとなる。
【００２３】
また、配置評価手段は、２つの検出顔が内側を向く、あるいは複数の検出顔の向きが一定方向に揃う角度パターンと比較計算して、前記評価値Ｈpatternを求めるようにしてもよい。何故ならば、被写体間で撮影のための作為を読み取ることができ、すなわち、被写体同士が親密になったと推定され、撮影制御を行なうタイミングの到来を検出することができるからである。２人の被写体に当該角度パターンを適用すると、仲の良さそうな写真を撮る上で効果があり、３人以上のグループに対して当該角度パターン適用すると一体感のある写真を撮る上で効果があると思料される。
【００２４】
また、前記の入力画像内で、各検出顔の位置が時間的に変化する速度を演算する速度演算手段や、各検出顔の角度が時間的に変化する角速度を演算する角速度演算手段をさらに備え、仲良し度演算手段は、さらに各検出顔の速度又は角速度を考慮して、仲良し度を評価するようにしてもよい。各検出顔間が最も近づいたポイントで被写体間における撮影のための作為を検出することができ、あるいは、各検出顔の傾きが内側向きの角度に近づいたポイントで被写体間における撮影のための作為を検出することができるからである。
【００２５】
また、仲良し度演算手段は、前記顔属性検出手段により検出された各検出顔の笑顔度を考慮して、仲良し度を評価するようにしてもよい。
【００２６】
また、仲良し度演算手段は、各検出顔の距離と、各検出顔の傾きの差分と、前記顔属性検出手段により検出された各検出顔の笑顔度を重み計算して、仲良し度を評価するようにしてもよい。
【００２７】
仲良し度演算手段は、各検出顔の移動速度と、前記顔属性検出手段により検出される（笑顔度以外の）属性情報に基づいて、各検出顔の距離に対する重みを決定するようにしてもよい。例えば、各検出顔の移動速度の合計が大きければ大きいほど当該重みを小さくする特性を利用すると、各検出顔の変化が緩やかでなければ、検出顔の距離が小さくても仲良し度を上げないように制御することができる。単にすれ違う際に検出顔が近づいても、仲良しとは推定されない。
【００２８】
また、仲良し度演算手段は、各検出顔から前記顔属性検出手段により検出される性別並びに年齢を考慮して各検出顔の距離に対する重みを決定するようにしてもよい。例えば、大人の男性同士であればあまり近づかない方が良い写真になる、という知見が得られている場合には、大人の男性同士が顔検出されたときには重みを高くすることで、男性同士があまり近づかなくても、シャッターが切れるようになる。
【００２９】
また、仲良し度演算手段は、各検出顔の角速度に基づいて、各検出顔の傾きの差分に対する重みを決定することができる。例えば、各検出顔の角速度の絶対値の合計が大きければ大きいほど当該重みを小さくする特性を利用すると、すなわち各検出顔の傾きの変化が緩やかでなければ、検出顔の距離が近くても仲良し度を上げないように制御することができる。
【００３０】
また、仲良し度演算手段は、前記顔属性検出手段により検出される、性別や年齢といった笑顔度以外の属性情報に基づいて、各検出顔の笑顔度に対する重みを決定するようにしてもよい。子供の笑顔を重視するときには、子供のときだけ当該重みの値を大きくする。また、統計的手法などに基づいて「男性の方が笑顔は少ない」という知見が得られ、これを参酌する場合には、検出顔が男性のときに女性よりも当該重みの値を大きくするなどの対応をすればよい。
【００３１】
また、撮影判定手段は、前記評価値Ｈpattern及びＨloveを重み計算した評価値Ｈに基づいて、前記の入力画像を撮影するタイミングを判定するようにしてもよい。ここで、評価値Ｈpattern及びＨloveの各々に対する重みα及びβを、現在の撮影モードに応じて決定するようにしてもよい。
【００３２】
また、本発明の第３の側面は、
撮影する画像を入力する画像入力手段と、
前記の入力画像を画面に表示する表示手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、
前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段と、
を具備することを特徴とする画像撮影装置である。
【００３３】
また、本発明の第４の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、  前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。
【００３４】
また、本発明の第５の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段と、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段と、  前記の各検出顔の属性情報を検出する顔属性検出手段と、
前記の各検出顔の位置又は角度のなす相互関係を評価して、該評価結果を表す評価値Ｈpatternを出力する配置評価手段と、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段と、
前記評価値Ｈpattern及びＨloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。
【００３５】
また、本発明の第６の側面は、画像の撮影制御を行なうための処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
撮影する画像を入力する画像入力手段、
前記の入力画像を画面に表示する表示手段、
前記の入力画像に含まれる１以上の被写体の顔を検出する顔検出手段、
前記の各検出顔の属性情報を検出する顔属性検出手段、
前記顔属性検出手段が検出した前記の各検出顔の属性情報の相互関係に基づいて被写体間の仲良し度を評価して、該仲良し度を表す評価値Ｈloveを出力する仲良し度演算手段、
前記評価値Ｈloveの大きさに応じて、前記表示手段の画面に表示するアニメーションを制御するアニメーション制御手段、
前記評価値Ｈloveに基づいて、前記の入力画像を撮影するタイミングを判定する撮像判定手段、
として機能させるためのコンピュータ・プログラムである。
【００３６】
本発明の第４乃至第６の各側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第４乃至６の各側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１乃至第３の各側面に係る画像撮影装置と同様の作用効果をそれぞれ得ることができる。
【発明の効果】
【００３７】
本発明によれば、画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて好適に撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。
【００３８】
また、本発明によれば、複数の人物を含んだ撮影画像の好適な撮影制御を行なうことができる、優れた画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラムを提供することができる。
【００３９】
本発明に係る画像撮影装置は、複数の被写体を含んだ画像を撮影する際に、各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を好適に行なうことができる。
【００４０】
また、本発明に係る画像撮影装置は、複数の被写体を含んだ画像を撮影する際、被写体間で評価される仲良し度に応じて、被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションの画面表示をおこなうことができる。さらに、仲良し度の評価値が所定の閾値に達して撮影タイミングを判定した際に、仲良し度の評価値の大きさを視覚化したアニメーションの画面表示を行なうことができる。
【００４１】
また、本発明に係る画像撮影装置によれば、所定の仲良し度判定期間にわたる仲良し度の評価値Ｈloveに対して時間平均などの統計処理を行なって、被写体間の人間関係を判定することができる。例えば、判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加したり、判定した被写体間の人間関係をＥｘｉｆなどの撮影画像の付加情報として記録したりすることができる。
【００４２】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００４３】
【図１】図１は、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示した図である。
【図２】図２は、本発明の第１の実施形態に係るシステムの機能的構成を模式的に示した図である。
【図３】図３は、図２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。
【図４】図４は、仲良し度演算部１０３における仲良し度演算処理の手順の一例を示した図である。
【図５】図５は、本発明の第２の実施形態に係るシステムの機能的構成を模式的に示した図である。
【図６Ａ】図６Ａは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。
【図６Ｂ】図６Ｂは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。
【図６Ｃ】図６Ｃは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。
【図６Ｄ】図６Ｄは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。
【図６Ｅ】図６Ｅは、被写体間の仲の良さを表す指標として適用することができる位置パターンを例示した図である。
【図７Ａ】図７Ａは、被写体間の仲の良さを表す指標として適用することができる角度パターンを例示した図である。
【図７Ｂ】図７Ｂは、被写体間の仲の良さを表す指標として適用することができる角度パターンを例示した図である。
【図８】図８は、速度演算部２０４が顔検出部２０１で検出される各被写体の位置情報を時系列的にトラッキングしている様子を示した図である。
【図９】図９は、角速度演算部２０５が顔検出部２０１で検出される各被写体の角度情報を時系列的にトラッキングしている様子を示した図である。
【図１０】図１０は、仲良し度が高いと判定される検出顔の相互関係の例を示した図である。
【図１１】図１１は、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。
【図１２Ａ】図１２Ａは、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを例示した図である。
【図１２Ｂ】図１２Ｂは、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを例示した図である。
【図１３】図１３は、撮影画像（モニタ・ディスプレイ２５）内の検出顔の傾きを示した図である。
【図１４Ａ】図１４Ａは、３角形パターンの位置情報を例示した図である。
【図１４Ｂ】図１４Ｂは、４角形パターンの位置情報を例示した図である。
【図１５Ａ】図１５Ａは、２人の被写体が内側を向く角度パターンの角度情報を例示した図である。
【図１５Ｂ】図１５Ｂは、複数の被写体の向きが一定方向に揃う角度パターンの角度情報を例示した図である。
【図１６】図１６は、位置・角度パターンの位置・角度情報を例示した図である。
【図１７】図１７は、２人の被写体ａ及びｂの検出顔の位置情報Ｄ＿ａ（ｘ，ｙ）及びＤ＿ｂ（ｘ，ｙ）が時刻ｔu-1からｔuの間に移動する様子を示した図である。
【図１８】図１８は、２人の被写体ａ及びｂの検出顔の角度情報Ａ＿ａ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）及びＡ＿ｂ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）が時刻ｔu-1からｔuの間に移動する様子を示した図である。
【図１９】図１９は、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順を示した図である。
【図２０Ａ】図２０Ａは、各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ1のための重みｍ1を決定するための関数Ｆ1の特性を示した図である。
【図２０Ｂ】図２０Ｂは、各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ1のための重みｍ1を決定するための関数Ｆ1の特性を示した図である。
【図２１Ａ】図２１Ａは、各検出顔ａ及びｂの傾きの差分に基づくスコア値スコア値Ｓ2のための重みｍ2を決定するための関数Ｆ2の特性を示した図である。
【図２１Ｂ】図２１Ｂは、各検出顔ａ及びｂの傾きの差分に基づくスコア値スコア値Ｓ2のための重みｍ2を決定するための関数Ｆ2の特性を示した図である。
【図２２Ａ】図２２Ａは、仲良し度演算部１０３における仲良し度演算処理の手順の他の例を示した図である。
【図２２Ｂ】図２２Ｂは、被写体間の相対距離ｄを［０，１］にスケーリングする関数を示した図である。
【図２２Ｃ】図２２Ｃは、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示した図である。
【図２２Ｄ】図２２Ｄは、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示した図である。
【図２２Ｅ】図２２Ｅは、被写体の笑顔度を［０，１］にスケーリングする関数を示した図である。
【図２３】図２３は、検出顔の傾きをパターン判定する方法を説明するための図である。
【図２４】図２４は、本発明の第３の実施形態に係るシステムの機能的構成を模式的に示した図である。
【図２５】図２５は、図２４に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。
【図２６Ａ】図２６Ａは、被写体間の距離ｄを示した図である。
【図２６Ｂ】図２６Ｂは、被写体間の距離ｄに基づいて評価値ｆ１を得るための関数を示した図である。
【図２７Ａ】図２７Ａは、２人の被写体ａ、ｂの笑顔度を例示した図である。
【図２７Ｂ】図２７Ｂは、被写体間の距離ｄに基づいて評価値ｆ１を得るための関数を示した図である。
【図２８】図２８は、被写体間の距離が遠すぎる場合に表示される、お互いに現状よりも近づくことを促すための撮影支援用のアニメーションの表示例を示した図である。
【図２９】図２９は、被写体間の距離が遠すぎる場合に表示される、現状よりも笑顔を作ることを促すための撮影支援用のアニメーションの表示例を示した図である。
【図３０】図３０は、仲良し度の評価値Ｈloveが低い場合の支援情報の表示例を示した図である。
【図３１】図３１は、仲良し度の評価値Ｈloveが高い場合の支援情報の表示例を示した図である。
【図３２】図３２は、本発明の第４の実施形態に係るシステムの機能的構成を模式的に示した図である。
【図３３Ａ】図３３Ａは、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。
【図３３Ｂ】図３３Ｂは、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順を示したフローチャートである。
【図３４】図３４は、仲良し度の評価値Ｈloveを量子化する関数Ｑを示した図である。
【図３５】図３５は、仲良しレベルと閾値、アイコンの種類の対応関係を記述したテーブルを示した図である。
【図３６】図３６は、人間関係判定部４１０が表５に従って被写体同士の人間関係を判定する処理手順を示したフローチャートである。
【発明を実施するための形態】
【００４４】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４５】
図１には、本発明を適用することができるデジタルスチルカメラ１のハードウェア構成を模式的に示している。図示のデジタルスチルカメラ１は、撮像素子１１と、前処理部１２と、カメラ・デジタル信号処理部（ＤＳＰ）１６で構成され、光学系１０を介して入力される画像をデジタル処理して記録するようになっている。
【００４６】
光学系１０は、被写体からの光を撮像素子１１の撮像面に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行なうための駆動機構、開閉操作により被写体からの光を所定時間だけ撮像素子１１に入射させるシャッター機構、被写体からの光線束の方向並びに範囲を限定するアイリス（絞り）機構（いずれも図示しない）を含んでいる。ドライバ１０ａは、後述するＣＰＵ２９からの制御信号に基づいて、光学系１０内の各機構の駆動（例えば、被写体のフォーカス合わせやアイリス、シャッター若しくはセルフ・タイマー設定のタイミング）を制御する。
【００４７】
撮像素子１１は、ＣＣＤやＣＭＯＳなどの光電変換効果を持つ各画素が２次元に配列された撮像面を有し、被写体からの入射光を電気信号に変換する。受光側には、例えばＧ市松ＲＢ色コーディング単板が配設されている。各色フィルタを通した入射光量に対応する信号電荷が各画素に蓄積され、各画素から読み出される３色の各信号電荷量からその画素位置における入射光の色を再現することができる。なお、撮像素子１１から出力されるアナログ画像信号は、ＲＧＢ各色の原色信号であるが、補色系の色信号であってもよい。
【００４８】
ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ：アナログ前処理）部１２は、ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３と、タイミング・ジェネレータ１４と、Ｖドライバ１５を備え、例えば１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）チップとして構成される。
【００４９】
ＣＤＳ／ＡＧＣ／ＡＤＣブロック１３では、画素信号中の撮像素子２１１から受ける信号の低雑音を高精度に抑圧した後（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ（相関二重サンプリング）：ＣＤＳ）、サンプル・ホールドを行ない、さらにＡＧＣ（Ａｕｔｏｍａｔｉｃ  Ｇａｉｎ  Ｃｏｎｔｒｏｌ：自動利得制御回路）により適正なゲイン・コントロールをかけて、ＡＤ変換を施してデジタル画像信号を出力する。
【００５０】
タイミング・ジェネレータ１４は、撮像素子１１を駆動するためのタイミング・パルス信号を生成する。そして、Ｖドライバ１５は、このタイミング・パルス信号に従って、撮像素子１１の各画素の電荷を垂直方向にライン単位で出力するための駆動信号を出力する。
【００５１】
カメラＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）部１６は、カメラ信号処理部１７と、解像度変換部１８と、画像コーデック処理部１９と、メモリ制御部２０と、表示制御部２１と、メディア制御部２２を備え、例えば１つのＩＣチップとして構成されている。
【００５２】
カメラ信号処理部１７は、ＡＦＥ部１２から送られてくる画像信号に対して、欠陥画素補正やデジタル・クランプ、デジタル・ゲイン制御などの前処理を施した後、ＡＷＢによりホワイトバランス・ゲインを掛けるとともに、シャープネス・再度コントラスト調整などの画質補正処理を施して適正な色状態を再現し、さらにデモザイク処理によりＲＧＢ画面信号を作成する（画質調整には、フラッシュ調光や赤目軽減などの処理を含めることができる）。また、カメラ信号処理部１７は、ＲＧＢ画像信号に対してγ補正を施すことによって、画像情報をモニタ出力、プリントアウト、又は画像記録する際に適した階調に変換する。
【００５３】
解像度変換部（Ｒｅｓｏｌｕｔｉｏｎ  Ｃｏｎｖｅｒｔｅｒ）１８は、撮影画像をモニタ・ディスプレイ２５にスルー画像として表示出力するか、又はキャプチャすなわち記録メディアに保存するかに応じて、画像のサイズの変更を行なう。
【００５４】
画像コーデック処理部１９は、ＲＧＢ表色系の画像信号を、輝度信号（Ｙ）と色差信号（Ｃｒ／Ｃｂ）表色系からなる画像信号に変換した後、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）圧縮やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）などの符号化圧縮処理を行なう。ＹＵＶ表色系へ色空間変換することで、輝度に対する解像度は高いが色に対する解像度が低いという人間の視感度特性を利用して、データ圧縮を行ない易くなる。
【００５５】
メモリ制御部２０は、撮影した画像情報などのデータを、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  ＤＲＡＭ）などからなるメモリ装置２４に対して書き込みや読み出しを行なうためのアクセス動作を制御する。
【００５６】
メディア制御部２２は、メモリスティック（登録商標）などの着脱可能な記録メディア２６を装填するためのスロットを備え、記録メディア２６へのデータの書き込みや読み出しを行なう。メディア制御部２２は、例えば、メモリ装置２４に保持されている撮影画像ファイルを記録メディア２６に記録する。
【００５７】
モニタ・ディスプレイ２５は、例えばＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）やその他のタイプの薄型表示パネルなどで構成される。表示制御部２１は、モニタ・ディスプレイ２５の駆動を制御し、カメラ信号処理部１７から出力された画像データ（スルー画像）や、メモリ装置２４に保持されている画像データ、記録メディア２６から読み出され画像コーデック処理部１９で復号された画像データを、モニタ・ディスプレイ２５に表示するための信号に変換して、モニタ・ディスプレイ２５に出力する。
【００５８】
モニタ・ディスプレイ２５の表面にはタッチセンサが重畳されており、タッチパネルを兼ねている。タッチパネルが認識する座標と表示パネルに表示する座標は同一である。したがって、撮影者は、モニタ・ディスプレイの表示画面上で、笑顔の検出対象となる被写体や、その他のＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部品などを直接指定することができる。
【００５９】
また、モニタ・ディスプレイ２５上には、スルー画像が表示される他、後述する制御部２７からの要求に応じて、メニュー画面や各種設定画面や、各種警告情報などを合成して、ＯＳＤ（Ｏｎ  ＳＣｒｅｅｎ  Ｄｉｓｐｌａｙ）として表示出力される。本発明では、複数の被写体を含んだ画像を撮影する際に、被写体間の仲良し度を評価するが、被写体に対して被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションを画面に表示したり、仲良し度の評価値の大きさを視覚化したアニメーションを撮影画像の画面に表示したりする。さらに、所定の仲良し度判定期間にわたる仲良し度の平均値を取るなどの統計処理によって、被写体間の人間関係を判定することができ、人間関係に応じたデコレーションを撮影画像の画面に表示するようにしてもよい。これらアニメーションやデコレーションの表示処理の詳細については、後述に譲る。
【００６０】
また、カメラＤＳＰ部１６は、バス・インターフェース・ユニット（ＢＩＵ）２３を介して制御部２７に接続されている。制御部２７は、ＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）部２８と、ユーザ操作に応じて当該装置全体の動作を統括的に制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２９と、ＣＰＵ２９にとっての主記憶メモリであるＲＡＭ３０と、プログラム・コードや装置情報などを不揮発的に保持するＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）３１などで構成される。
【００６１】
ＣＰＵ２９は、撮影画像（例えば、メモリ装置２４上に展開された画像フレーム）に含まれる画像に含まれる人物などの被写体から特定のパターンを認識したことに応じて撮影制御を行なう。本実施形態では、画像中から認識された複数の人物の顔認識結果の相互関係に基づいて好適な撮影制御を行なうが、かかる撮影制御の詳細については後述に譲る。また、ＣＰＵ２９は、モニタ・ディスプレイ２５上にＯＳＤ表示するためのＧＵＩ処理を行なう。
【００６２】
ＵＩ部２８は、ユーザが指示入力を行なうための操作機能や、スピーカやＬＥＤランプなどの出力機能を備えている。操作機能として、例えば、シャッタ・キー・ボタンやフラッシュ発光のオン／オフなどの各種設定を行なうためのキーやダイヤルなどを備え、これらへのユーザ操作に応じた制御信号がＣＰＵ２９に入力される。また、ＵＩ部２８は、出力機能を用いて、アラームなどの音声出力や、ＬＥＤの点灯又は点滅によって、カメラ・ワークなどに関する情報をユーザにフィードバックすることができる。フラッシュ発光部３２は、制御部２７からのフラッシュ制御情報に従って、フラッシュを発光する。
【００６３】
このデジタルスチルカメラ１では、撮像素子１１によって受光されて光電変換された信号が、順次ＡＦＥ部１２に供給され、ＣＤＳ処理やＡＦＥ処理が施された後、デジタル信号に変換される。カメラ信号処理部１７は、ＡＦＥ部１２から供給されたデジタル画像信号を画質補正し、最終的に輝度信号（Ｙ）と色差信号（Ｒ−Ｙ、Ｂ−Ｙ）に変換して出力する。そして、メラ信号処理部１７から出力された画像データは、表示制御部２１によって表示用の画像信号に変換され、モニタ・ディスプレイ２５上でスルー画像が表示される。
【００６４】
現在、顔認識技術を搭載したデジタルカメラは一般的となりつつある。本実施形態に係るデジタルスチルカメラ１は、画像中から認識された複数の人物の顔認識結果の相互関係に基づいて撮影制御を行なう。
【００６５】
複数の被写体間の相互関係を、例えば被写体距離を基に推定することができる。例えば、各検出顔の距離などの被写体間の配置に関する相互関係を基にセルフ・タイマーを設定するなどシャッターのタイミング制御を行なう方法が考えられる。しかしながら、被写体同士がすれ違うなど偶然に接近することもあり、検出顔の距離だけでは正確な撮影制御を行なうことはできない、と本発明者らは思料する。言い換えれば、検出顔の距離という単一のパラメータに基づいて撮影制御を行なうと、不要なタイミングでシャッターが切られ、あるいは逆に適切な撮影タイミングを逸してしまうことが懸念される。
【００６６】
そこで、本発明の第１の実施形態に係るデジタルスチルカメラ１では、複数の被写体を含んだ画像を撮影する際に、各々の被写体から、笑顔度、画像フレーム内での位置、検出顔の傾き、性別などの被写体の属性といった、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて、撮影制御を行なうように構成されている。具体的には、検出顔間の距離との各顔の笑顔度並びに傾きを基に、被写体間の親密度合いを「仲良し度」とも呼ぶべき数値で表すことができる。そして、算出された仲良し度が所定の閾値を超えたことに応答して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動する。
【００６７】
図２には、本発明の第１の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、顔検出部１０１と、顔属性検出部１０２と、仲良し度演算部１０３と、撮像判定部１０４で構成される。
【００６８】
顔検出部１０１は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する。例えば、本出願人に既に譲渡されている特開２００４−１３３６３７号公報に記載されている顔検出装置を適用することができる。
【００６９】
顔属性検出部１０２は、処理対象となる画像から顔検出部１０１によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出部１０２は各検出顔についてのこれらの属性情報を示す属性値を出力する。例えば、Ａｄａｂｏｏｓｔなどの統計学習を用いて複数の弱判別器からなる判別器を集団学習して得られる対象物検出装置で顔属性検出部１０２を構成することができる。この種の対象物検出装置の詳細については、例えば、本出願人に既に譲渡されている特開２００５−１５７６７９号公報を参照されたい。なお、顔検出部１０１並びに顔属性検出部１０２の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。
【００７０】
仲良し度演算部１０３は、顔検出部１０１から出力される各検出顔の位置、大きさ、角度情報と、顔属性検出部１０２から出力される笑顔度やその他の顔属性情報を基に、被写体間の親密度合いを「仲良し度」と呼ぶ評価値Ｈloveで表すための演算処理を実行する。例えば、接近した２つの検出顔の視線方向がお互いを向き合う（すなわち、検出顔の法線ベクトルが互いの顔の付近で交わる）場合で、且つ、お互いの笑顔度が高い場合を仲良し度が高いと判定して、撮像制御することができる（笑顔度は顔属性検出部１０２から出力されるパラメータを利用する）。仲良し度の演算処理の詳細については、後述に譲る。
【００７１】
撮像判定部１０４は、仲良し度演算部１０３から出力される被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを基に被写体の相互関係を判断して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。
【００７２】
図３には、図２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。
【００７３】
顔検出部１０１による検出データを読み出し（ステップＳ１）、複数の検出顔を検出したか否かをチェックする（ステップＳ２）。そして、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。
【００７４】
次いで、顔属性検出部１０２から、各検出顔の笑顔度などの属性情報を読み出し（ステップＳ３）、これを仲良し度演算部１０３に投入して、演算要求を発行する（ステップＳ４）。仲良し度演算部１０３は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを計算する。例えば、２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して撮影制御を行なう。但し、仲良し度の演算処理の詳細については、後述に譲る。
【００７５】
次いで、撮像判定部１０４に対して評価値の演算要求を発行する（ステップＳ５）。撮像判定部１０４は、仲良し度演算部１０３から出力される仲良し度Ｈloveを基に、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定するための評価値Ｈを算出する。
【００７６】
そして、この評価値Ｈloveが所定の閾値を超えたときには（ステップＳ６のＹｅｓ）、ＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される（ステップＳ７）。
【００７７】
仲良し度演算部１０３は、２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合に、高い仲良し度を出力する。図４には、仲良し度演算部１０３が上記ステップＳ４における演算要求に応じて、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順の一例を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がａ及びｂの２人であるものとする。
【００７８】
仲良し度演算処理部１０３は、顔検出部１０１からの検出結果である、各検出顔ａ及びｂの位置情報（Ｘa，Ｙa）と（Ｘb，Ｙb）、大きさ（すなわち、幅ＷaとＷb、及び、高さＨaとＨb）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、顔属性検出部１０２の検出結果である、各検出顔ａ及びｂの笑顔度Ｓa及びＳb、並びにその他の属性情報を入力パラメータに用いることができる。
【００７９】
検出顔ａ及びｂ間の相対距離ｄは、顔何個分離れているかで表され、以下の式（１）で計算される。そして、算出された相対距離ｄを図４中に示すようにスコア化、正規化して、第１のスコアＳ1を求める。
【００８０】
【数１】
2010016796.tif 000003
【００８１】
また、検出顔ａ及びｂの傾きの差分ｒは、各々の検出顔ａ及びｂのロール回りの傾きＲaとＲbの絶対値の差分とし、下式（２）で求める（但し、傾きが逆（例えば、＋３０度と−３０度）も同じとみなしたいことから、絶対値をとる）。そして、検出顔間の傾きの差分ｒを図４中に示すようにスコア化、正規化して、第２のスコアＳ2を求める。
【００８２】
【数２】
2010016796.tif 000004
【００８３】
また、各検出顔ａ及びｂの笑顔度Ｓa及びＳbを、図４中に示すようにスコア化、正規化して、第３のスコアＳ3、第４のスコアＳ4として求める。
【００８４】
そして、得られたスコア値Ｓiを下式（３）のように合計して、得られた評価値Ｈloveを評価値として、撮像判定部１０４に出力する。
【００８５】
【数３】
2010016796.tif 000005
【００８６】
また、図２２Ａには、仲良し度演算部１０３による仲良し度演算処理の手順の他の例を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がａ及びｂの２人であるものとする。
【００８７】
仲良し度演算処理部１０３は、顔検出部１０１からの検出結果である、各検出顔ａ及びｂの位置情報（Ｘa，Ｙa）と（Ｘb，Ｙb）、大きさ（すなわち、幅ＷaとＷb、及び、高さＨaとＨb）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、顔属性検出部１０２の検出結果である、各検出顔ａ及びｂの笑顔度Ｓa及びＳb、並びにその他の属性情報を入力パラメータに用いる。
【００８８】
検出顔ａ及びｂ間の相対距離ｄは、顔何個分だけ離れているかで表され、以下の式（４）で計算される。
【００８９】
【数４】
2010016796.tif 000006
【００９０】
そして、仲良し度演算処理部１０３は、上式（４）で算出された相対距離ｄを、下式（５）並びに図２２Ｂに示す関数を用いてスコア化、正規化して、［０，１］にスケーリングされた第１のスコアＳ1を求める。
【００９１】
【数５】
2010016796.tif 000007
【００９２】
検出顔ａ及びｂの傾きについては、図４に示した処理手順とは相違し、各々の検出顔ａ及びｂのロール回りの傾きＲaとＲbの組み合わせパターンに基づいて、［０，１］にスケーリングされた第２のスコアＳ2を求める。まず、検出顔ａ及びａのロール回りの傾きＲaとＲbを逐次測定する。ここでは、傾きＲaとＲbは、図２３に示すように、傾きの識別番号で表される。各検出顔ａ及びｂのＸ方向の位置情報ＸaとＸbの大小関係に応じて表１又は表２のいずれかを使用して、検出顔ａ及びｂのロール回りの傾きＲaとＲbのパターン判定を行なう。
【００９３】
【表１】
2010016796.tif 000008
【００９４】
【表２】
2010016796.tif 000009
【００９５】
そして、検出顔ａ及びｂのロール回りの傾きＲaとＲbのパターン判定結果を第２のスコアＳ2として出力する。いずれの表を用いる場合も、図２２Ｃ並びに図２２Ｄに示すように、検出顔ａ及びｂがお互いに寄り添っているような特定のパターンを示す場合には、Ｓ2＝１であり、それ以外のパターンの場合にはＳ2＝０となる。
【００９６】
また、各検出顔ａ及びｂの笑顔度Ｓa及びＳbを、下式（６）並びに図２２Ｅに示す関数を用いてスコア化、正規化して、［０，１］にスケーリングされた第３のスコアＳ3、第４のスコアＳ4を求める。
【００９７】
【数６】
2010016796.tif 000010
【００９８】
各スコアＳ1〜Ｓ4には重みｍ1〜ｍ4がそれぞれ設定されている。重みｍ1〜ｍ4は、総和が１００になるようにそれぞれの属性値の重要性を鑑みて設定された固定値とする。仲良し度演算部１０３は、得られたスコア値Ｓiを下式（７）のように重み付け加算して（但し、ｉは１乃至４の整数）、得られた評価値Ｈloveを評価値として算出し、撮像判定部１０４に出力する。
【００９９】
【数７】
2010016796.tif 000011
【０１００】
続いて、本発明の第２の実施形態について説明する。第２の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに各検出顔の位置又は角度のなす相互関係を評価して、撮影制御を行なうように構成されている。すなわち、各検出顔の配置が、一体感のある写真を撮り易くなる各検出顔の配置となり、又は、被写体同士が仲の良いことを表す各検出顔の配置となる位置パターン、角度パターン、又は位置・角度パターンと合致するかどうかを評価し、仲良し度とともに総合的に判断し、シャッターのタイミング決定やセルフ・タイマーの設定などを起動して、的確に撮影制御を実現するものである。
【０１０１】
図５には、本発明の第２の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、顔検出部２０１と、顔属性検出部２０２と、パターン検出部２０３と、速度演算部２０４と、角速度演算部２０５と、仲良し度演算部２０６と、撮像判定部２０７で構成され、複数の被写体を含んだ画像を撮影する際に、複数の顔認識パラメータを検出し、検出されたこれらの顔認識パラメータの相互の関係に基づいて撮影制御を行なう。
【０１０２】
顔検出部２０１は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部２０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。
【０１０３】
顔属性検出部２０２は、処理対象となる画像から顔検出部２０１によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出部２０１は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。なお、顔検出部２０１並びに顔属性検出部２０２の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。
【０１０４】
パターン検出部２０３は、処理対象となる画像から顔検出部２０１によって検出された各検出顔の配置から撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。ここで言うパターンは、各検出顔間の位置パターンと、各検出顔の姿勢すなわち角度パターンに大別される。
【０１０５】
図６には、被写体間で撮影のための作為を読み取ることができる位置パターンを例示している。
【０１０６】
図６Ａに示すように、２以上の検出顔の高さが揃うと、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。また、図６Ｂに示すように３人以上の被写体の顔が直線的に並んだときに、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。図６Ａ並びに図６Ｂに示すような直線的な位置パターンは、２人又は３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。特に、各検出かを結んで描かれる直線が水平をなす場合、伸張の違う被写体同士が顔の位置を合わせようとした結果である可能性があり、特に仲が良いと判断することができよう。
【０１０７】
また、図６Ｃ、図６Ｄ、図６Ｅに示すように、３人、４人、５人の被写体の検出顔の位置が頂点となるような３角形、４角形、５角形を描くなど、特定の幾何学パターンを形成したときには、被写体間で撮影のための作為を読み取ることができ、撮影制御を行なうタイミングの到来を検出することができる。図６Ｃ、図６Ｄ、図６Ｅに示すような多角形パターンは、３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。多角形パターンは、上記の直線パターンよりも、さらに一体感のある写真を撮り易くなるという効果がある。人数が増えれば増えるほど、各被写体位置のアライメントが難しくなるので、多角形を完成したときに得られる達成感もより大きいものとなる。
【０１０８】
また、図７には、被写体間で撮影のための作為を読み取ることができる角度パターンを例示している。図７Ａに示すように、２つの検出顔が内側を向く、あるいは、図７Ｂに示すように、複数の検出顔の向きが一定方向に揃うときには、被写体間で撮影のための作為を読み取ることができ、すなわち、被写体同士が親密になったと推定され、撮影制御を行なうタイミングの到来を検出することができる。図７Ａ並びに図７Ｂに示すような角度パターンは、２人あるいは３人以上の人物からなる被写体のグループに対して、仲の良さを表す指標として適用することができる。２人の被写体に当該角度パターンを適用すると、仲の良さそうな写真を撮る上で効果があり、３人以上のグループに対して当該角度パターン適用すると一体感のある写真を撮る上で効果があると思料される。
【０１０９】
これら位置パターン並びに角度パターン、さらに配置と角度の組み合わせからなる位置・角度パターンは、例えばパターン・データとしてＥＥＰＲＯＭ３１に格納されており、パターン検出部２０３は、幾何学計算などを通じて、各検出顔の位置並びに姿勢情報が上記のいずれかの位置パターン又は角度パターンと一致するかを、比較照合し、その結果をパターンの評価値Ｈpatternとして出力する。パターン検出処理の詳細については、後述に譲る。
【０１１０】
速度演算部２０４並びに角速度演算部２０５は、各検出顔の位置又は姿勢の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを、それぞれ検出する。速度演算部２０４は、顔検出部２０１で検出される各被写体の位置情報を時系列的にトラッキングしている。速度演算部２０４は、図８に示すように、各検出顔間の距離を逐次測定しており、最も距離が近づいたポイントで被写体間における撮影のための作為を検出することができる。また、角速度演算部２０６は、図９に示すように、各被写体の角度を逐次測定しており、例えば各検出顔の傾きが内側向きの角度に近づいたポイントで被写体間における撮影のための作為を検出することができる。速度演算部２０４及び角度演算部２０５の各々において実施される演算処理の詳細については、後述に譲る。
【０１１１】
仲良し度演算部２０６は、顔検出部２０１から出力される各検出顔の位置、大きさ、角度情報と、顔属性検出部２０２から出力される笑顔度やその他の顔属性情報を基に、被写体間の親密度合いを「仲良し度」と呼ぶ評価値Ｈloveで表すための演算処理を実行する。例えば、図１０に示すように、接近した２つの検出顔の視線方向がお互いを向き合う（すなわち、検出顔の法線ベクトルが互いの顔の付近で交わる）場合で、且つ、お互いの笑顔度が高い場合を仲良し度が高いと判定して、撮像制御することができる（笑顔度は顔属性検出部２０２から出力されるパラメータを利用する）。仲良し度の演算処理の詳細については、後述に譲る。
【０１１２】
撮像判定部２０７は、パターン検出部２０３から得られる、複数の検出顔の相互関係が所望する位置パターン又は角度パターン（図６〜図７を参照のこと）に合致する度合いを示す評価値Ｈpatternと、仲良し度演算部２０６から出力される被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを基に、被写体の相互関係を総合的に判断して、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。
【０１１３】
図１１には、図５に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。
【０１１４】
顔検出部２０１による検出データを読み出し（ステップＳ１１）、複数の検出顔を検出したか否かをチェックし（ステップＳ１２）、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。
【０１１５】
まず、パターン判定部２０３に対してパターン検出要求が発行される（ステップＳ１３）。パターン判定部２０３は、顔検出部２０１による検出顔のデータを取得すると、複数の検出顔の相互関係が所望する位置パターン又は角度パターン（図６〜図７を参照のこと）に合致するか否かを比較する。そして、複数の検出顔の相互関係が所望する位置パターン又は角度パターンのいずれかに合致する場合には（ステップＳ１４のＹｅｓ）、その合致する度合いを示す評価値Ｈpatternを撮像判定部２０７に出力する（ステップＳ１５）。但し、パターン判定部２０３により実施される演算処理の詳細については、後述に譲る。
【０１１６】
次いで、速度演算部２０４に対して演算要求が発行される（ステップＳ１６）。但し、速度演算部２０４により実施される演算処理の詳細については、後述に譲る。
【０１１７】
次いで、角速度演算部２０５に対して演算要求が発行される（ステップＳ１７）。但し、角速度演算部２０５により実施される演算処理の詳細については、後述に譲る。
【０１１８】
次いで、顔属性検出部２０２から、各検出顔の笑顔度などの属性情報を読み出し（ステップＳ１８）、これを仲良し度演算部２０６に投入して、演算要求を発行する（ステップＳ１９）。仲良し度演算部２０６は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを計算するが、その演算処理の詳細については、後述に譲る。
【０１１９】
次いで、撮像判定部２０７に対して評価値の演算要求を発行する（ステップＳ２０）。撮像判定部２０７は、パターン検出部２０３から得られる位置パターン又は角度パターン、位置及び角度パターンと合致する度合いを示す評価値Ｈpatternと、仲良し度演算部２０６から出力される仲良し度Ｈloveを基に、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定するための評価値Ｈを算出する。
【０１２０】
そして、この評価値Ｈが所定の閾値を超えたときには（ステップＳ２１のＹｅｓ）、ＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される（ステップＳ２２）。
【０１２１】
以下では、パターン検出部２０３、速度演算部２０４、角速度演算部２０５、仲良し度演算部２０６、撮像判定部２０７の各々で実施される演算処理について詳解する。
【０１２２】
但し、以下の説明では、撮影画像（モニタ・ディスプレイ２５）内の検出顔の位置座標（ｘ，ｙ）、並びに、幅ｗ、高さｈを図１２Ａ又は図１２Ｂのように定義する。また、検出顔の角度（傾き）は、図１３に示すようにロール（ｒｏｌｌ）、ヨー（ｙａｗ）、ピッチ（ｐｉｔｃｈ）、の３軸回りであるとする。そして、ｎ番目の検出顔の位置をＤ＿ｎ（ｘ，ｙ）、その回転角をＡ＿ｎ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と標記するものとする。
【０１２３】
位置パターン判定処理：
位置パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。
【０１２４】
（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の位置情報Ｄ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を取得する。
【０１２５】
（２）判定対象となる位置パターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｐ個（ｐ≧１）の位置パターン情報を取得したものとする。位置パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔ｎｏの座標位置（ｘ，ｙ）を示す位置情報Ｐpos_pattern_no（ｘ，ｙ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐval_patternを含む。多角形パターンが一体感のある写真を撮り易くなるという効果があることは、既に述べた通りである。図１４Ａ並びに図１４Ｂには、３角形パターン、並びに４角形パターンの位置情報を例示している。
【０１２６】
（３）ｐ回（すなわち、各位置パターン情報について）、下式（８）を用いて評価関数Ｈposの演算を行なう。
【０１２７】
【数８】
2010016796.tif 000012
【０１２８】
上記の評価関数Ｈposにおいて、入力された各検出顔の位置Ｄ＿１、…、Ｄ＿ｎが、位置パターン情報Ｐpos_pにマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐval_pを返し、マッチしない場合は０を返す。
【０１２９】
角度パターン判定処理：
角度パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。
【０１３０】
（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の角度情報Ａ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を取得する。
【０１３１】
（２）判定対象となる角度パターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｑ個（ｑ≧１）の位置パターン情報を取得したものとする。角度パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔のロール、ヨー、ピッチの各軸回りの回転角度（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）を示す角度情報Ｐangle_pattern_no（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐval_patternを含む。２人の被写体が内側を向く、あるいは、図７Ｂに示すように、複数の被写体の向きが一定方向に揃う角度パターンが一体感のある写真を撮り易くなるという効果があることは、既に述べた通りである。図１５Ａ並びに図１５Ｂには、２人の被写体が内側を向く角度パターン、並びに複数の被写体の向きが一定方向に揃う角度パターンの角度情報を例示している。
【０１３２】
（３）ｑ回（すなわち、各角度パターン情報について）、下式（９）を用いて評価関数Ｈangleの演算を行なう。
【０１３３】
【数９】
2010016796.tif 000013
【０１３４】
上記の評価関数Ｈangleにおいて、入力された各検出顔の角度Ａ＿１、…、Ａ＿ｎが、角度パターン情報Ｐangle_qにマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐval_qを返し、マッチしない場合は０を返す。
【０１３５】
位置・角度パターン判定処理：
位置・角度パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて実施する。
【０１３６】
（１）顔検出部２０１より、ｎ個（ｎ＞１）の検出顔の位置情報を取得する。
【０１３７】
（２）判定対象となる位置・パターンパターン情報を、例えばＥＥＰＲＯＭ３１などの格納場所から取得する。以下の説明では、ｒ個（ｒ≧１）の位置パターン情報を取得したものとする。位置・角度パターン情報は、パターン番号（ｐａｔｔｅｒｎ）毎の各顔ｎｏの座標及び角度位置（ｘ，ｙ，ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）を示す位置・角度情報Ｐpos&angle_pattern_no（ｘ，ｙ，ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）と、パターン番号ｐａｔｔｅｒｎ毎の評価値Ｐval_patternを含む。図１６には、一体感のある写真を撮り易くなるという効果があると考えられる位置・角度パターンの位置・角度情報を例示している。
【０１３８】
（３）ｒ回（すなわち、各位置・角度パターン情報について）、下式（１０）を用いて評価関数Ｈpos&angleの演算を行なう。
【０１３９】
【数１０】
2010016796.tif 000014
【０１４０】
上記の評価関数Ｈpos&angleにおいて、入力された各検出顔の位置Ｄ＿１、…、Ｄ＿ｎ及び角度Ａ＿１、…、Ａ＿ｎが、位置・角度パターン情報Ｐpos&angle_pにマッチするかどうかを比較計算する。そして、マッチすると判定された場合は、評価値Ｐval_rを返し、マッチしない場合は０を返す。
【０１４１】
パターン判定処理：
パターン判定処理は、パターン判定部２０３が、図１１に示したフローチャート中のステップＳ３のパターン検出要求に応じて、上記の位置パターン判定処理、角度パターン判定処理、及び位置・角度パターン判定処理の結果に基づいて実施する。具体的には、下式（１１）に示すように、各パターン判定処理の評価値Ｈpos、Ｈangle、Ｈpos&angleの合計からなるパターン評価値Ｈpatternを算出し、これを撮像判定部２０７に出力する。
【０１４２】
【数１１】
2010016796.tif 000015
【０１４３】
速度演算処理：
速度演算処理は、速度演算部２０４が、図１１に示したフローチャート中のステップＳ６の演算要求に応じて実施し、各検出顔の位置の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。
【０１４４】
（１）時刻ｔu-1における各検出顔の位置情報Ｄ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を、顔検出部２０１より取得する。
【０１４５】
（２）そして、各検出顔の移動速度を求める。
【０１４６】
図１７には、２人の被写体ａ及びｂの検出顔の位置情報Ｄ＿ａ（ｘ，ｙ）及びＤ＿ｂ（ｘ，ｙ）が時刻ｔu-1からｔuの間に移動する様子を示している。この場合の各検出顔の移動速度（Ｘ’ａ，Ｙ’ａ）、（Ｘ’ｂ，Ｙ’ｂ）は下式（１２）により算出される。
【０１４７】
【数１２】
2010016796.tif 000016
【０１４８】
角速度演算処理：
角速度演算処理は、角速度演算部２０５が、図１１に示したフローチャート中のステップ７の演算要求に応じて実施し、各検出顔の角度の時系列的な変化が被写体間で撮影のための作為を読み取ることができるいずれかのパターンに合致しているか否かを検出する。
【０１４９】
（１）時刻ｔu-1における各検出顔の角度情報Ａ＿ｎ（但し、ｎは被写体の人物を表す識別番号）を、顔検出部２０１より取得する。
（２）そして、各検出顔の角速度を求める。
【０１５０】
図１８には、２人の被写体ａ及びｂの検出顔の角度情報Ａ＿ａ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）及びＡ＿ｂ（ｒｏｌｌ，ｙａｗ，ｐｉｔｃｈ）が時刻ｔu-1からｔuの間に回転する様子を示している。この場合の各検出顔の各速度（θroll’ａ，θyaw’ａ，θpitch’ａ）、（θroll’ｂ，θyaw’ｂ，θpitch’ｂ）は下式（１３）により算出される。
【０１５１】
【数１３】
2010016796.tif 000017
【０１５２】
仲良し度演算処理：
仲良し度演算処理は、仲良し度演算処理部２０６が、図１１に示したフローチャート中のステップ９の演算要求に応じて実施する。
【０１５３】
図１９には、仲良し度演算部２０６において、被写体間の親密度合いを「仲良し度」と呼ぶ評価値で表す仲良し度演算処理の手順を示している。但し、同図では、説明の簡素化のため、顔検出された被写体がＡ及びＢの２人であるものとする。
【０１５４】
仲良し度演算処理部２０６は、顔検出部２０１からの検出結果である、各検出顔ａ及びｂの位置情報、大きさ（すなわち幅及び高さ）、角度情報（ロール、ヨー、ピッチの各軸回りの回転角度）、速度演算部２０４の演算結果である各検出顔ａ及びｂの速度情報、角速度演算部２０５の演算結果である各検出顔ａ及びｂの角速度情報（ロール、ヨー、ピッチの各軸回りの角速度）、顔属性検出部２０２の検出結果である、各検出顔ａ及びｂの笑顔度並びにその他の属性情報を入力パラメータに用いることができる。
【０１５５】
本実施形態では、被写体の検出顔の相対距離ｄ、検出顔の傾きの差分ｒ、及び各検出顔ａ及びｂの笑顔度Ｓa、Ｓbを、仲良し度を決定する要素とし、また、各要素ｉには重み係数ｍiが割り当てられる。各要素ｉを決定又は計算し、並びに要素毎の重み係数ｍiを計算するために、上記の入力パラメータが振り分けられる。
【０１５６】
ここで、検出顔ａ及びｂの笑顔度は、顔属性検出部２０２から出力される笑顔度Ｓa及びＳbとする。また、検出顔ａ及びｂ間の相対距離ｄは、顔何個分離れているかで表され、以下の式（１４）で計算される。
【０１５７】
【数１４】
2010016796.tif 000018
【０１５８】
また、検出顔ａ及びｂの傾きの差分ｒは、下式（１５）に示すように、各々の検出顔ａ及びｂのロール回りの傾きＲaとＲbの絶対値の差分とする（但し、傾きが逆（例えば、＋３０度と−３０度）も同じとみなしたいことから、絶対値をとる）。
【０１５９】
【数１５】
2010016796.tif 000019
【０１６０】
そして、各要素ｉの評価値をスコア化又は正規化し、得られたスコア値Ｓiを各々の重み係数を用いて下式（１６）のように重み計算して、得られた評価値Ｈloveを評価値として、撮像判定部２０７に出力する。
【０１６１】
【数１６】
2010016796.tif 000020
【０１６２】
続いて、各要素のスコア値Ｓiに乗算される重みｍiの算出方法について説明する。
【０１６３】
各検出顔ａ及びｂの相対距離ｄに基づくスコア値Ｓ1のための重みｍ1は、例えば下式に示すように、各検出顔ａ及びｂの移動速度を引数とする関数Ｆ1と、各検出顔ａ及びｂの属性情報（但し、笑顔度以外）を引数とする関数Ｇに基づいて決定することができる。検出顔の移動速度は、速度演算部２０４から得ることができる。
【０１６４】
【数１７】
2010016796.tif 000021
【０１６５】
ここで、関数Ｆ1を、図２０Ａ若しくは図２０Ｂに示すような、各検出顔ａ及びｂの移動速度の和Ｖ1（下式（１８）を参照）が大きければ大きいほど減少するという特性を持つ関数である。Ｖ1がある程度は小さい、すなわち各検出顔ａ及びｂの位置の変化が緩やかでなければ、検出顔ａ及びｂの距離が近くても仲良し度Ｈloveを上げないように制御することができる。
【０１６６】
【数１８】
2010016796.tif 000022
【０１６７】
また、検出顔ａ及びｂの属性情報Ａa及びＡbとして、性別の種別と年齢層（大人と子供）という具合に区分する場合には、下表に示すように属性情報Ａa及びＡbの組み合わせに応じたＧの値を用いることができる。同表内の各欄の値はさまざまな方法で設定することができる。例えば、大人の男性同士であればあまり近づかない方が良い写真になる、という知見が得られている場合には、大人の男性同士が顔検出されたときには重みｍ1を高くすることで、男性同士があまり近づかなくても、シャッターが切れるようになる。
【０１６８】
【表３】
2010016796.tif 000023
【０１６９】
各検出顔ａ及びｂの傾きの差分に基づくスコア値スコア値Ｓ2のための重みｍ2は、例えば下式に示すように、例えば下式（１９）に示すように、各検出顔ａ及びｂの角速度を引数とする関数Ｆ2に基づいて決定することができる。検出顔の角速度は、角速度演算部２０５から得ることができる。
【０１７０】
【数１９】
2010016796.tif 000024
【０１７１】
ここで、関数Ｆ2を、図２１Ａ若しくは図２１Ｂに示すような、各検出顔ａ及びｂの角速度の絶対値の和Ｖ2（下式（２０）を参照）が大きければ大きいほど減少するという特性を持つ関数である。Ｖ2がある程度は小さい、すなわち各検出顔ａ及びｂの傾きの変化が緩やかでなければ、検出顔ａ及びｂの距離が近くても仲良し度Ｈloveを上げないように制御することができる。
【０１７２】
【数２０】
2010016796.tif 000025
【０１７３】
検出顔ａ及びｂ毎の笑顔度に基づくスコア値Ｓa、Ｓbのための重みｍ3、ｍ4は、例えば、各検出顔ａ及びｂの笑顔度以外の、性別や年齢といった属性情報Ａa、Ａbを引数とする下式（２１）に示す関数Ｆ3に基づいて決定することができる。
【０１７４】
【数２１】
2010016796.tif 000026
【０１７５】
ここで関数Ｆ3は、例えば以下の表を参照することで実現する。
【０１７６】
【表４】
2010016796.tif 000027
【０１７７】
子供の笑顔を重視するときには、子供のときだけ重みｍ3の値を大きくする。また、統計的手法などに基づいて「男性の方が笑顔は少ない」という知見が得られ、これを参酌する場合には、検出顔Ａが男性のときに女性よりも重みｍ3の値を大きくするなどの対応をすればよい。
【０１７８】
仲良し度演算部２０６は、上述のように、得られたスコア値Ｓiを各々の重み係数を用いて上式（１６）のように重み計算して、得られた評価値Ｈloveを評価値として、撮像判定部２０７に出力する。そして、撮像判定部２０７は、パターン検出部２０３から得られる位置パターン又は角度パターン、位置及び角度パターンと合致する度合いを示す評価値Ｈpatternと、仲良し度演算部２０６から出力される仲良し度Ｈloveを基に、下式（２２）のように評価値Ｈを算出する。
【０１７９】
【数２２】
2010016796.tif 000028
【０１８０】
但し、上式において、α及びβは重み付け係数であり、例えば撮影モードに応じて係数値を制御するようにしてもよい。また、説明を省略するが、評価値Ｈ判定用の閾値を、ＨpatternやＨlove、検出顔の属性情報パラメータ、撮影モード（被写体間の配置を重視する撮影モード、又は笑顔度など被写体の属性を重視する撮影モード）などに応じて制御するようにしてもよい。
【０１８１】
撮像判定部２０７は、この評価値Ｈが所定の閾値を超えたことに応じて、シャッターのタイミング決定やセルフ・タイマーの設定などの撮影制御を起動すべきかどうかを判定する。
【０１８２】
続いて、本発明の第３の実施形態について説明する。第３の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに仲良し度に応じてアニメーションの画面表示を制御するように構成されている。ここで言うアニメーションとして、被写体間の距離を縮める動作又は笑顔度を高める動作を支援するためのアニメーションや、撮影タイミングにおける、仲良し度の評価値の大きさを視覚化したアニメーションを挙げることができる。
【０１８３】
図２４には、本発明の第３の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、撮影部３０１と、カメラ制御部３０２と、記憶装置部３０３と、顔検出部３０４と、顔属性検出部３０５と、表示部３０６と、システム制御部３０７と、アニメーション制御部３０８と、仲良し度演算部３０９で構成される。
【０１８４】
撮影部３０１は、図１に示したデジタルスチルカメラ１の、光学系１０、撮像素子１１などで構成される。また、カメラ制御部３０２は、ＡＦＥ部１２、カメラＤＳＰ部１６、ＣＰＵ２９の協働的動作によって構成される。また、記憶装置部３０３は、メモリ装置２４、記録メディア２６などに相当する。
【０１８５】
顔検出部３０４は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。
【０１８６】
顔属性検出部３０５は、処理対象となる画像から顔検出部３０４によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出３０５は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。
【０１８７】
なお、顔検出部３０４並びに顔属性検出部３０５の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。
【０１８８】
表示部３０６は、モニタ２５に相当し、撮影画像やスルー画像の表示を行なう。また、表示部３０６では、撮影画像内の被写体間の仲良し度に応じた撮影支援情報からなるアニメーションの表示が行なわれる（後述）。
【０１８９】
システム制御部３０７は、図２４に示したシステム全体の動作を統括的に制御する機能モジュールであり、ＣＰＵ２９、メモリ制御部２０、表示制御部２１、メディア制御部２２などの協働的動作によって実現される。また、システム制御部３０７は、仲良し度の評価結果に基づいて撮影タイミングを検出し、自動シャッター動作の制御、並びに、撮影時に生成されたコンテンツの記録装置部３０３への記録動作の制御も行なう。
【０１９０】
仲良し度演算部３０９は、顔検出部３０４から出力される各検出顔の位置、大きさ、角度情報、並びに、顔属性検出部３０５から出力される笑顔度やその他の顔属性情報をシステム制御部３０７経由で受け取ると、複数の被写体間の親密度合いを、仲良し度に相当する評価値Ｈloveで表すための演算処理を実行する。仲良し度演算部３０９が評価値Ｈloveを演算するための処理手順は、図４、図２２に示した通りであり、ここでは詳細な説明を省略する。また、仲良し度演算部３０９は、システム制御部３０７からの属性値評価要求に応じて、顔属性情報の評価結果を出力する。
【０１９１】
アニメーション制御部３０８は、撮像画像内の被写体間の仲良し度に応じてアニメーションの画面表示を制御する。例えば、顔属性情報の評価結果が満足できない場合に、システム制御部３０７からの要求に応じて、撮影支援用のアニメーションの表示出力を制御する。また、撮影タイミングが検出された際に、システム制御部３０７からの要求に応じて、仲良し度の評価値Ｈloveの大きさを表すアニメーションの表示出力を制御する。
【０１９２】
図２５には、図２４に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。
【０１９３】
システム制御部３０７は、顔検出部３０４による検出データを読み出し（ステップＳ３１）、複数の検出顔を検出したか否かをチェックする（ステップＳ３２）。そして、チェック結果が肯定的である場合に、撮像判定を行なうための後段の処理に進む。
【０１９４】
次いで、システム制御部３０７は、顔属性検出部３０５から、各検出顔の属性情報を読み出し（ステップＳ３３）、これを仲良し度演算部３０９に投入して、属性値の評価要求を発行する（ステップＳ３４）。
【０１９５】
仲良し度演算部３０９が、属性値評価要求に応じて評価する属性値は、具体的には、被写体ａ、ｂ間の距離ｄと各被写体ａ、ｂの笑顔度Ｓa、Ｓbとする。
【０１９６】
被写体間の距離の評価値ｆ１は、被写体間の距離ｄから（図２６Ａを参照のこと）、図２６Ｂに示すグラフに従う関数として算出される。ここで、被写体間の距離ｄは、上式（４）から計算されるものとし、逐次測定される距離ｄが閾値ｄthresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。
【０１９７】
また、２人の被写体ａ、ｂの笑顔度（図２７Ａを参照のこと）の評価値ｆ２、ｆ３は、属性情報の笑顔度Ｓa、Ｓbから図２７Ｂに従う関数を基に算出される。すなわち、各被写体ａ、ｂそれぞれの笑顔度Ｓa、Ｓbを逐次測定して、これらが閾値ｓthresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。
【０１９８】
そして、すべての属性ｆ１、ｆ２、ｆ３の評価値が閾値を超えるかを判定するために、下式（２３）に示すような関数Ｆを定義する。
【０１９９】
【数２３】
2010016796.tif 000029
【０２００】
ステップＳ３５では、Ｆ＝１のときは属性値の評価結果が条件を満たすと判断し、Ｆ＝０のときは属性値の評価結果が条件を満たさないと評価されるものとする。
【０２０１】
属性値の評価結果がＦ＝０のとき（ステップＳ３５のＮｏ）、システム制御部３０７は、アニメーション制御部３０８に対して、撮影支援用のアニメーションの表示出力を要求する（ステップＳ３６）。そして、アニメーション制御部３０８は、この要求に応じて、表示部３０６に撮影支援用のアニメーションを表示出力する（ステップＳ３７）。
【０２０２】
ここで、ステップＳ３４の属性値要求の戻り値として得られた属性評価でｆ１＝０の場合、すなわち被写体間の距離が遠すぎる場合には、ステップＳ３７では、被写体ａ及びｂが現状よりもお互いに近づくことを促すために、図２８に示すような撮影支援用のアニメーションが表示される。図示の支援情報は被写体の顔の大きさ、位置から肩の位置を推定しその上に配置される。
【０２０３】
また、ステップＳ３４の属性値要求の戻り値として得られた属性評価でｆ２＝０又はｆ３＝０の場合、すなわち被写体が笑っていない場合には、ステップＳ３７では、現状よりも笑顔を作ることを促すために、図２９に示すような撮影支援用のアニメーションが表示される。図示の支援情報は笑顔度の低い被写体の顔の位置から頭の上の位置を推定し、その上に配置される。
【０２０４】
次いで、システム制御部３０７は、仲良し度演算部３０９に対して、評価値の演算要求を発行する（ステップＳ３８）。これに対し、仲良し度演算部３０９は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを計算する。２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して、撮影制御が行なわれる。仲良し度の演算処理は、図４又は図２２に示した処理手順に従って実行される（前述）。
【０２０５】
次いで、システム制御部３０７は、アニメーション制御部３０８に対して、評価値用アニメーションの出力を要求する（ステップＳ３９）。アニメーション制御部３０８は、この要求に応じて、撮影タイミングにおける、仲良し度の評価値Ｈloveの大きさを視覚化した評価値用アニメーションを表示部３０６に表示出力する（ステップＳ４０）。
【０２０６】
評価値用アニメーションは、例えば、仲良し度の評価値Ｈloveの閾値に対する大きさを、ハートマークなどの親密性を暗示するアイコンの数や色で表現した支援情報からなる。図３０には、仲良し度の評価値Ｈloveが低い場合の支援情報の表示例を示している。この場合、アイコンの数は少なく散在し、且つ、その色は淡く退職したものとする。また、図３１には、仲良し度の評価値Ｈloveが高い場合の支援情報の表示例を示している。この場合、アイコンの数は多く、且つ、その色は明瞭で、ハートマークを縁取るなど整ったレイアウトで配置される。各図に示した支援情報のようなアニメーション、すなわち数や色が変化するアイコンによって、被写体同士の仲良し度を視覚化することができる。
【０２０７】
次いで、システム制御部３０７は、ステップＳ３８における評価値演算要求に対する仲良し度演算部３０９からの戻り値である評価値Ｈloveが所定の閾値を超えたかどうかをチェックする（ステップＳ４１）。評価値Ｈloveが所定の閾値を超えない場合には（ステップＳ４１のＮｏ）、ステップＳ３１に戻り、撮影画像中の顔検出処理から繰り返し実行する。
【０２０８】
一方、評価値Ｈloveが所定の閾値を超えたときには（ステップＳ４１のＹｅｓ）、システム制御部３０７は、カメラ制御部３０２に対して撮影を指示する（ステップＳ４２）。具体的にはＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される。
【０２０９】
続いて、本発明の第４の実施形態について説明する。第４の実施形態も、上述した第１の実施形態と同様、検出顔間の距離との各顔の笑顔度並びに傾きを基に被写体間の仲良し度を算出するが、さらに所定の仲良し度判定期間にわたる仲良し度の評価値を統計処理して、被写体間の人間関係を判定するように構成されている。例えば、判定した被写体間の人間関係に応じたデコレーションを撮影画像に付加したり、判定した被写体間の人間関係をＥｘｉｆなどの撮影画像の付加情報として記録したりすることができる。
【０２１０】
図３２には、本発明の第４の実施形態に係るシステムの機能的構成を模式的に示している。図示のシステムは、撮影部４０１と、カメラ制御部４０２と、記憶装置部４０３と、顔検出部４０４と、顔属性検出部４０５と、表示部４０６と、システム制御部４０７と、アニメーション制御部４０８と、仲良し度演算部４０９と、人間関係判定部４１０で構成される。
【０２１１】
撮影部４０１は、図１に示したデジタルスチルカメラ１の、光学系１０、撮像素子１１などで構成される。また、カメラ制御部４０２は、ＡＦＥ部１２、カメラＤＳＰ部１６、ＣＰＵ２９の協働的動作によって構成される。また、記憶装置部４０３は、メモリ装置２４、記録メディア２６などに相当する。
【０２１２】
顔検出部４０４は、処理対象となる画像（例えば、メモリ装置２４に書き込まれている撮影画像）から顔領域の検出を行なう。顔検出部１０１は、顔検出結果として、画像から検出された各被写体の検出顔の位置（画像内のＸＹ座標）、各検出顔の大きさ（幅及び高さ）、各検出顔の姿勢（ロール、ピッチ、ヨーの各軸回りの傾き）を出力する（同上）。
【０２１３】
顔属性検出部４０５は、処理対象となる画像から顔検出部３０４によって検出された各検出顔が持つ属性情報の検出を行なう。ここで言う属性情報には、検出顔の笑顔度、性別、年齢、人種などが含まれ、顔属性検出３０５は各検出顔についてのこれらの属性情報を示す属性値を出力する（同上）。
【０２１４】
なお、顔検出部４０４並びに顔属性検出部４０５の処理は、ＣＰＵ２９が実行するソフトウェアとして実装する以外に、内部又は外部の専用ハードウェア（処理エンジン）として実装することも可能である。
【０２１５】
表示部４０６は、モニタ２５に相当し、撮影画像やスルー画像の表示を行なう。また、表示部４０６では、撮影画像内の被写体間の仲良し度に応じた撮影支援情報からなるアニメーションの表示が行なわれる（前述）。
【０２１６】
システム制御部４０７は、図３２に示したシステム全体の動作を統括的に制御する機能モジュールであり、ＣＰＵ２９、メモリ制御部２０、表示制御部２１、メディア制御部２２などの協働的動作によって実現される。また、システム制御部４０７は、仲良し度の評価結果に基づいて撮影タイミングを検出し、自動シャッター動作の制御、並びに、撮影時に生成されたコンテンツの記録装置部４０３への記録動作の制御も行なう。
【０２１７】
仲良し度演算部４０９は、顔検出部４０４から出力される各検出顔の位置、大きさ、角度情報、並びに、顔属性検出部４０５から出力される笑顔度やその他の顔属性情報をシステム制御部４０７経由で受け取ると、複数の被写体間の親密度合いを、仲良し度に相当する評価値Ｈloveで表すための演算処理を実行する（同上）。仲良し度演算部４０９が評価値Ｈloveを演算するための処理手順は、図４、図２２に示した通りであり、ここでは詳細な説明を省略する。また、仲良し度演算部４０９は、システム制御部４０７からの属性値評価要求に応じて、顔属性情報の評価結果を出力する。
【０２１８】
アニメーション制御部４０８は、撮像画像内の被写体間の仲良し度に応じてアニメーションの画面表示を制御する。例えば、顔属性情報の評価結果が満足できない場合に撮影支援用のアニメーションの表示出力を制御し、撮影タイミングが検出された際に仲良し度の評価値Ｈloveの大きさを表すアニメーションの表示出力を制御する（同上）。
【０２１９】
人間関係判定部４１０は、所定の仲良し度判定期間にわたって算出された被写体間の仲良し度の評価値Ｈloveを統計処理して、被写体間の人間関係を判定する。統計処理の一例として、仲良し度判定期間にわたって評価値Ｈloveを時間平均した値の大きさと、被写体の性別の相違などに基づいて、人間関係の判定を行なう。但し、判定方法の詳細については後述に譲る。
【０２２０】
図３３及び図３３Ｂには、図３２に示したシステムにおいて、各被写体が持つ顔認識パラメータの相互の関係に基づいて撮影制御を行なうための処理手順をフローチャートの形式で示している。
【０２２１】
システム制御部４０７は、顔検出部３０４による検出データを読み出し（ステップＳ５１）、複数の検出顔を検出したか否かをチェックする（ステップＳ５２）。
【０２２２】
ここで、複数の検出顔を検出できない、すなわち、撮影画像内に複数の被写体が存在しないときには（ステップＳ５２のＮｏ）、さらに、複数の被写体が存在しなくなってからの経過時間をチェックする（ステップＳ５３）。そして、経過時間が閾値以内であればそのままステップＳ５１に戻るが、経過時間が閾値を超えているときには変数などの初期化を行なってから（ステップＳ５４）、ステップＳ５１に戻る。
【０２２３】
一方、撮影画像内に複数の被写体が存在するときには（ステップＳ５２のＹｅｓ）、撮像判定を行なうための後段の処理に進む。
【０２２４】
撮影判定処理では、まず、システム制御部４０７は、顔属性検出部５０５から、各検出顔の属性情報を読み出し（ステップＳ５５）、これを仲良し度演算部５０９に投入して、属性値の評価要求を発行する（ステップＳ５６）。
【０２２５】
仲良し度演算部３０９が、属性値評価要求に応じて評価する属性値は、具体的には、被写体ａ、ｂ間の距離ｄと各被写体ａ、ｂの笑顔度Ｓa、Ｓbとする。被写体間の距離の評価値ｆ１は、被写体間の距離ｄから（図２６Ａを参照のこと）、図２６Ｂに示すグラフに従う関数として算出される。被写体間の距離ｄは、上式（４）から計算されるものとし、逐次測定される距離ｄが閾値ｄthresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。
また、２人の被写体ａ、ｂの笑顔度（図２７Ａを参照のこと）の評価値ｆ２、ｆ３は、属性情報の笑顔度Ｓa、Ｓbから図２７Ｂに従う関数を基に算出される。すなわち、各被写体ａ、ｂそれぞれの笑顔度Ｓa、Ｓbを逐次測定して、これらが閾値ｓthresholdを超えるかどうかを判定して、０又は１のいずれかの値を決定する。そして、上式（２３）に示した関数Ｆを用いて、すべての属性ｆ１、ｆ２、ｆ３の評価値が閾値を超えるかを判定する。
【０２２６】
属性値の評価結果がＦ＝０のとき（ステップＳ５７のＮｏ）、システム制御部４０７は、アニメーション制御部４０８に対して、撮影支援用のアニメーションの表示出力を要求する（ステップＳ５８）。そして、アニメーション制御部４０８は、この要求に応じて、表示部４０６に撮影支援用のアニメーションを表示出力する（ステップＳ５９）。具体的には、ステップＳ５６の属性値要求の戻り値として得られた属性評価でｆ１＝０の場合、すなわち被写体間の距離が遠すぎる場合には、ステップＳ５９では、被写体ａ及びｂが現状よりもお互いに近づくことを促すたの撮影支援用のアニメーション（図２８を参照のこと）が表示される（同上）。また、ステップＳ５６の属性値要求の戻り値として得られた属性評価でｆ２＝０又はｆ３＝０の場合、すなわち被写体が笑っていない場合には、ステップＳ５９では、現状よりも笑顔を作ることを促すための撮影支援用のアニメーション（図２９を参照のこと）が表示される（同上）。
【０２２７】
次いで、システム制御部４０７は、仲良し度演算部４０９に対して、評価値の演算要求を発行する（ステップＳ６０）。これに対し、仲良し度演算部４０９は、各検出顔の属性情報を基に被写体間の親密度合いを示す評価値すなわち仲良し度Ｈloveを計算する。２人の被写体の顔の方向がお互いを寄り添うような場合で、顔の位置が近く、お互いの笑顔度が高い場合には、仲良し度が高いと判定して、撮影制御が行なわれる。仲良し度の演算処理は、図４又は図２２に示した処理手順に従って実行される（前述）。
【０２２８】
次いで、システム制御部４０７は、仲良し度演算部４０９に対して、仲良しレベルの判定要求を発行する（ステップＳ６１）。これに対し、仲良し度演算部４０９は、時々刻々と算出される仲良し度の評価値Ｈloveを、下式（２４）を用いて所定の仲良しレベル判定期間にわたって時間平均し（但し、Ｔは仲良しレベル判定期間の長さとする）、得られた時間平均値をさらに下式（２５）及び図３４に示すような量子化関数Ｑで量子化して、０〜２の３段階からなる仲良しレベルＬを求めると、これを戻り値としてシステム制御部４０７に返す。
【０２２９】
【数２４】
2010016796.tif 000030
【０２３０】
【数２５】
2010016796.tif 000031
【０２３１】
システム制御部４０７は、当該処理ルーチンを開始した後、若しくはステップＳ５４で初期化した後、仲良しレベル判定期間が経過したときに（ステップＳ６２のＹｅｓ）、撮影画像内の被写体間の仲良しレベルＬを得ることができる。そして、システム制御部４０７は、得られた仲良しレベルＬに基づいて、以降の処理で用いるパラメータを決定することができる。具体的には、図３５に示すように、例えば量子化された仲良しレベルＬに応じて、撮影タイミング決定時に用いる閾値や、アニメーション表示の支援情報として用いるアイコンの種類を決定する。
【０２３２】
次いで、システム制御部３０７は、アニメーション制御部３０８に対して、評価値用アニメーションの出力を要求する（ステップＳ６３）。アニメーション制御部３０８は、この要求に応じて、撮影タイミングにおける、仲良し度の評価値Ｈloveの大きさを視覚化した評価値用アニメーションを表示部３０６に表示出力する（ステップＳ６４）。評価値用アニメーションの詳細については、前述並びに図３０、図３１を参照されたい。アニメーション中の支援情報には、例えば図３５に示したテーブルを参照し、仲良しレベルＬに対応する種類のアイコンが用いられる。
【０２３３】
次いで、システム制御部４０７は、ステップＳ６０における評価値演算要求に対する仲良し度演算部４０９からの戻り値である評価値Ｈloveが所定の閾値を超えたかどうかをチェックする（ステップＳ６５）。ここで用いられる閾値は、例えば図３５に示したテーブルを参照し、仲良しレベルＬに対応する値が用いられる。評価値Ｈloveが所定の閾値を超えない場合には（ステップＳ６５のＮｏ）、ステップＳ５１に戻り、撮影画像中の顔検出処理から繰り返し実行する。
【０２３４】
一方、評価値Ｈloveが所定の閾値を超えたときには（ステップＳ６５のＹｅｓ）、システム制御部４０７は、カメラ制御部４０２に対して撮影を指示する（ステップＳ６６）。図３５に示したテーブルから分るように、被写体同士の仲の良さに応じて、自動撮影が起動するまでの時間の長さを制御することができる。具体的にはＣＰＵ２９からドライバ１０ａに対して、シャッター若しくはセルフ・タイマー設定のタイミング）を制御するための指示が発行される。
【０２３５】
次いで、システム制御部４０７は、人間関係判定部４１０に対し、人間関係算出要求を発行する（ステップＳ６７）。これに対し、人間関係判定部４１０は、例えば、顔属性検出部４０５が検出した各被写体の性別（同性か異性か）と、仲良しレベルＬの組み合わせに基づいて、被写体同士の人間関係を判定処理する。被写体間の性別及び仲良しレベルＬと人間関係との対応関係を以下の表５に示しておく。また、図３６には、人間関係判定部４１０が表５に従って被写体同士の人間関係を判定する処理手順をフローチャートの形式で示している。
【０２３６】
【表５】
2010016796.tif 000032
【０２３７】
そして、システム制御部４０７は、被写体同士の人間関係に応じたデコレーションをＪＰＥＧ符号化された撮影画像に焼き込む（オーバーレイする）よう、カメラ制御部４０２に指示する（ステップＳ６８）。また、システム制御部４０７は、このＪＰＥＧ画像のＥｘｉｆ（Ｅｘｃｈａｎｇｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）に、被写体同士の人間関係を記述した文字列をメタ情報として書き出すよう指示する（ステップＳ６９）。但し、本発明の要旨は、撮影画像のデコレーションの特定の形態、人間関係の特定の保存方法に限定されるものではない。
【産業上の利用可能性】
【０２３８】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０２３９】
本明細書では、デジタルスチルカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではない。例えば、スチル画像の撮影機能を備えたデジタルビデオカメラ、デジタルカメラ機能を搭載した携帯電話機やＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）、ノートブック・コンピュータ、あるいはデジタルカメラを外部接続するコンピュータなどの各種情報機器に対しても、同様に本発明を適用することができる。
【０２４０】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【０２４１】
１…デジタルスチルカメラ
１０…光学系
１０ａ…ドライバ
１１…撮像素子
１２…ＡＦＥ部
１３…ＣＤＳ／ＡＧＣ／ＡＤＣブロック
１４…タイミング・ジェネレータ
１５…Ｖドライバ
１６…カメラＤＳＰ部
１７…カメラ信号処理部
１８…解像度変換部
１９…画像コーデック処理部
２０…メモリ制御部
２１…表示制御部
２２…メディア制御部
２３…バス・インターフェース・ユニット
２４…メモリ装置
２５…モニタ・ディスプレイ
２６…記録メディア
２７…制御部
２８…ＵＩ部
２９…ＣＰＵ
３０…ＲＡＭ
３１…ＥＥＰＲＯＭ
３２…フラッシュ発光部
１０１…顔検出部
１０２…顔属性検出部
１０３…仲良し度演算部
１０４…撮像判定部
２０１…顔検出部
２０２…顔属性検出部
２０３…パターン検出部
２０４…速度検出部
２０５…角速度検出部
２０６…仲良し度演算部
２０７…撮像判定部
３０１…撮影部
３０２…カメラ制御部
３０３…記憶装置部
３０４…顔検出部
３０５…顔属性検出部
３０６…表示部
３０７…システム制御部
３０８…アニメーション制御部
３０９…仲良し度演算部
４０１…撮影部
４０２…カメラ制御部
４０３…記憶装置部
４０４…顔検出部
４０５…顔属性検出部
４０６…表示部
４０７…システム制御部
４０８…アニメーション制御部
４０９…仲良し度演算部
４１１…人間関係判定部
【図１】
2010016796.tif 000033
【図２】
2010016796.tif 000034
【図３】
2010016796.tif 000035
【図４】
2010016796.tif 000036
【図５】
2010016796.tif 000037
【図６Ａ】
2010016796.tif 000038
【図６Ｂ】
2010016796.tif 000039
【図６Ｃ】
2010016796.tif 000040
【図６Ｄ】
2010016796.tif 000041
【図６Ｅ】
2010016796.tif 000042
【図７Ａ】
2010016796.tif 000043
【図７Ｂ】
2010016796.tif 000044
【図８】
2010016796.tif 000045
【図９】
2010016796.tif 000046
【図１０】
2010016796.tif 000047
【図１１】
2010016796.tif 000048
【図１２Ａ】
2010016796.tif 000049
【図１２Ｂ】
2010016796.tif 000050
【図１３】
2010016796.tif 000051
【図１４Ａ】
2010016796.tif 000052
【図１４Ｂ】
2010016796.tif 000053
【図１５Ａ】
2010016796.tif 000054
【図１５Ｂ】
2010016796.tif 000055
【図１６】
2010016796.tif 000056
【図１７】
2010016796.tif 000057
【図１８】
2010016796.tif 000058
【図１９】
2010016796.tif 000059
【図２０Ａ】
2010016796.tif 000060
【図２０Ｂ】
2010016796.tif 000061
【図２１Ａ】
2010016796.tif 000062
【図２１Ｂ】
2010016796.tif 000063
【図２２Ａ】
2010016796.tif 000064
【図２２Ｂ】
2010016796.tif 000065
【図２２Ｃ】
2010016796.tif 000066
【図２２Ｄ】
2010016796.tif 000067
【図２２Ｅ】
2010016796.tif 000068
【図２３】
2010016796.tif 000069
【図２４】
2010016796.tif 000070
【図２５】
2010016796.tif 000071
【図２６Ａ】
2010016796.tif 000072
【図２６Ｂ】
2010016796.tif 000073
【図２７Ａ】
2010016796.tif 000074
【図２７Ｂ】
2010016796.tif 000075
【図２８】
2010016796.tif 000076
【図２９】
2010016796.tif 000077
【図３２】
2010016796.tif 000078
【図３３Ａ】
2010016796.tif 000079
【図３３Ｂ】
2010016796.tif 000080
【図３４】
2010016796.tif 000081
【図３６】
2010016796.tif 000082
【図３０】
2010016796.tif 000083
【図３１】
2010016796.tif 000084
【図３５】
2010016796.tif 000085