(57)【要約】【課題】常に良好な状態で自動撮影を行う。【解決手段】笑顔シャッターモードで顔画像が検出されるとき、その顔画像の位置の安定を待って、フォーカス調整、露出調整を行い、撮像部におけるフォーカス、露出に係る撮像パラメータの設定を行って、笑顔待ち状態となる（ST52,ST53,ST54）。笑顔待ち状態で、注目顔画像のサイズ変化、注目顔画像の消失、変更、撮像画像の明るさ変化、ユーザによるズーム操作、露出調整等がある場合に、被写体の状態変化があったと判断し、フォーカス、露出に係る撮像パラメータの再設定を行う。この場合、被写体側および撮影者側にその旨を報知し（ST56）、再び、顔画像の検出処理に戻る。笑顔待ち状態では、顔画像が笑顔であるか判断し、笑顔であるとき、撮影を行って、その後、笑顔待ち状態に戻る（ST55,ST57）。被写体の状態変化があるとき、例えば注目顔画像（主要被写体）にピントが合わない状態で撮影は行われない。【選択図】図１５
2010041255.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して該被写体の撮像画像に対応した画像情報を得る撮像部と、
上記撮像部で得られた画像情報に基づいて、上記撮像画像に含まれる特定物体画像を検出する物体検出部と、
上記物体検出部で上記撮像画像に含まれる上記特定物体画像が検出されたとき、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを設定する撮像パラメータ設定部と、
上記物体検出部で検出された上記特定物体画像に対応した画像情報に基づいて、上記特定物体画像の特定状態を検出する特定状態検出部と、
上記撮像パラメータ設定部で上記撮像部における撮像パラメータが設定された状態で、上記特定状態検出部で上記特定状態が検出されたとき、撮影指示を行う撮影制御部と、
上記撮像部で撮像される被写体の状態変化を検出する状態変化検出部を備え、
上記撮像パラメータ設定部により上記撮像部における撮像パラメータが設定された状態で、上記状態変化検出部で上記被写体の状態変化が検出されたとき、上記撮像パラメータ設定部は、上記物体検出部で上記撮像画像に含まれる上記特定物体画像が検出された後、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを再設定する
撮像装置。
【請求項２】
上記撮像パラメータ設定部は、上記物体検出部で検出された上記特定物体画像が移動しているときは、該特定物体画像の移動が停止した後に、該特定物体画像に対応した画像情報に基づいて上記撮像部における撮像パラメータを設定する
請求項１に記載の撮像装置。
【請求項３】
上記撮像パラメータ設定部が上記撮像部における撮像パラメータの再設定を行う際、該撮像パラメータの再設定を行うことを、少なくとも、被写体側または撮影者側に報知する報知部をさらに備える
請求項１に記載の撮像装置。
【請求項４】
上記状態変化検出部は、上記物体検出部で検出された上記特定物体画像の変化に基づいて、上記被写体の状態変化を検出する
請求項１に記載の撮像装置。
【請求項５】
上記特定物体画像の変化は、上記物体検出部で検出された注目特定物体画像のサイズ変化である
請求項４に記載の撮像装置。
【請求項６】
上記特定物体画像の変化は、上記物体検出部で検出された注目特定物体画像の消失または変更である
請求項４に記載の撮像装置。
【請求項７】
上記状態変化検出部は、上記撮像部で撮像される被写体の明るさ変化に基づいて、上記被写体の状態変化を検出する
請求項１に記載の撮像装置。
【請求項８】
上記撮像パラメータ設定部で設定される撮像パラメータは、上記撮像部における、少なくとも、フォーカスまたは露出に係る撮像パラメータである
請求項１に記載の撮像装置。
【請求項９】
上記物体検出部で検出される特定物体画像は顔画像であり、
上記特定状態検出部で検出される特定状態は上記顔画像の特定の表情である
請求項１に記載の撮像装置。
【請求項１０】
上記状態変化検出部は、ユーザによるズーム操作あるいは露出調整に基づいて上記被写体の状態変化を検出する
請求項１に記載の撮像装置。
【請求項１１】
ユーザがシャッター操作を行うためのユーザ操作部をさらに備え、
上記撮影制御部は、上記ユーザ操作部で行われるシャッター操作に基づいて上記撮影指示を行う
請求項１に記載の撮像装置、
【請求項１２】
上記撮影制御部は、上記撮像パラメータ設定部で上記撮像部における撮像パラメータが設定されていない状態で上記シャッター操作が行われたとき、上記撮像パラメータ設定部により上記撮像部で得られた画像情報に基づいて上記撮像部における撮像パラメータが設定された後に、上記撮影指示を行う
請求項１１に記載の撮像装置。
【請求項１３】
上記撮影制御部は、上記撮像パラメータ設定部で上記撮像部における撮像パラメータが設定されている状態で上記シャッター操作が行われたとき、上記撮影指示を直ちに行う
請求項１１に記載お撮像装置。
【請求項１４】
撮像部で得られる撮像画像に対応した画像情報に基づいて、該撮像画像に含まれる特定物体画像を検出する物体検出ステップと、
上記物体検出ステップで上記特定物体画像が検出されたとき、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを設定する撮像パラメータ設定ステップと、
上記物体検出ステップで検出された上記特定物体画像に対応した画像情報に基づいて、上記特定物体画像の特定状態を検出する特定状態検出ステップと、
上記撮像パラメータ設定ステップで上記撮像部における撮像パラメータが設定された状態で、上記特定状態検出ステップで上記特定状態が検出されたとき、撮影指示を行う撮影制御ステップと、
上記撮像部で撮像される被写体の状態変化を検出する状態変化検出ステップを備え、
上記撮像部における撮像パラメータが設定されている状態で、上記状態変化検出ステップで上記被写体の状態変化が検出されたとき、上記撮像パラメータ設定ステップでは、上記物体検出ステップで上記撮像画像に含まれる上記特定物体画像が検出された後、該特定物体画像に対応した画像情報に基づき、上記撮像部における撮像パラメータを再設定する
撮像方法。
【請求項１５】
コンピュータを、
撮像部で得られる撮像画像に対応した画像情報に基づいて、該撮像画像に含まれる特定物体画像を検出する物体検出手段と、
上記物体検出手段で上記特定物体画像が検出されたとき、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを設定する撮像パラメータ設定手段と、
上記物体検出手段で検出された上記特定物体画像に対応した画像情報に基づいて、上記特定物体画像の特定状態を検出する特定状態検出手段と、
上記撮像パラメータ設定手段で上記撮像部における撮像パラメータが設定された状態で、上記特定状態検出ステップで上記特定状態が検出されたとき、撮影指示を行う撮影制御手段と、
上記撮像部で撮像される被写体の状態変化を検出する状態変化検出手段と
して機能させ、
上記撮像パラメータ設定手段により上記撮像部における撮像パラメータが設定されている状態で、上記状態変化検出手段で上記被写体の状態変化が検出されたとき、上記撮像パラメータ設定手段は、上記物体検出手段で上記撮像画像に含まれる上記特定物体画像が検出された後、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを再設定する
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置、撮像方法およびプログラムに関する。詳しくは、この発明は、撮像画像に含まれる特定物体画像が検出されたとき撮像部における撮像パラメータが設定され、この状態で特定物体画像が特定状態となるとき撮影が行われるものにあって、被写体の状態変化が検出されるとき、撮像部における撮像パラメータの再設定を行うことにより、失敗撮影を防止するようにした撮像装置等に係るものである。
【背景技術】
【０００２】
近年、デジタルスチルカメラ等の静止画の撮影を行う撮像装置が普及しており、その機能に関して使用者の要望は多様化している。例えば、被写体を撮像して得られた撮像画像のうち、顔画像の検出エリアに検波枠を配置し、オートフォーカス（ＡＦ）、オートアイリス（ＡＥ）等の処理を適切に実行する方式が知られている。例えば、特許文献１等には、笑顔検出モードにおいて、被写体を撮像して得られた撮像画像内に笑顔の顔画像があるとき自動的に撮影を行う撮像装置が記載されている。
【特許文献１】特開２００７−２１５０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１等に記載された撮像装置では、一度笑顔検出モードに入ると、オートフォーカス等の追従を行わない。そのため、笑顔検出モードにおいて、被写体中の人物が前後に移動した場合には、その人物に対するピントが合わなくなり、その人物がぼけた状態で撮影されるおそれがある。また、笑顔検出モードにおいて、被写体中に人物が出入りした場合には、被写体中の新たな人物に対するピントが合わなくなり、その人物がぼけた状態で撮影されるおそれがある。
【０００４】
この発明の目的は、撮像画像に含まれる特定物体画像が特定状態となるとき自動的に撮影が行われるものにあって、被写体の状態変化があっても常に良好な状態で自動撮影が行われるようにすることにある。
【課題を解決するための手段】
【０００５】
この発明の概念は、
被写体を撮像して該被写体の撮像画像に対応した画像情報を得る撮像部と、
上記撮像部で得られた画像情報に基づいて、上記撮像画像に含まれる特定物体画像を検出する物体検出部と、
上記物体検出部で上記撮像画像に含まれる上記特定物体画像が検出されたとき、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを設定する撮像パラメータ設定部と、
上記物体検出部で検出された上記特定物体画像に対応した画像情報に基づいて、上記特定物体画像の特定状態を検出する特定状態検出部と、
上記撮像パラメータ設定部で上記撮像部における撮像パラメータが設定された状態で、上記特定状態検出部で上記特定状態が検出されたとき、撮影指示を行う撮影制御部と、
上記撮像部で撮像される被写体の状態変化を検出する状態変化検出部を備え、
上記撮像パラメータ設定部により上記撮像部における撮像パラメータが設定された状態で、上記状態変化検出部で上記被写体の状態変化が検出されたとき、上記撮像パラメータ設定部は、上記物体検出部で上記撮像画像に含まれる上記特定物体画像が検出された後、該特定物体画像に対応した画像情報に基づいて、上記撮像部における撮像パラメータを再設定する
撮像装置にある。
【０００６】
この発明においては、撮像画像に含まれる特定物体画像が検出されたとき、この特定物体画像に対応した画像情報に基づいて、撮像部における撮像パラメータが設定される。例えば、特定物体画像は人物の顔画像である。また、例えば、撮像部における撮像パラメータは、少なくとも、フォーカス調整または露出調整のためのパラメータである。
【０００７】
この場合、例えば、特定物体画像が移動しているときは、その移動が停止した後に、その特定物体画像に対応した画像情報に基づいて撮像部における撮像パラメータが設定される。これにより、例えば最終的な特定物体画像位置にピントが合わない状態で撮像部における撮像パラメータが設定されるということがなくなる。
【０００８】
上述したように撮像部における撮像パラメータが設定された状態で、特定物体画像の特定状態が検出されたとき、撮影指示が行われる。例えば、人物の顔画像に笑顔等の特定の表情が検出されたとき、自動的に撮影が行われる。
【０００９】
被写体の状態変化が検出されたとき、撮像部における撮像パラメータの再設定が行われる。例えば、被写体の状態変化は、注目特定物体画像のサイズ変化、消失、または変更に基づいて検出される。また、例えば、被写体の状態変化は、明るさ変化に基づいて検出される。また、例えば、被写体の状態変化は、ユーザによるズーム操作、露出調整に基づいて検出される。
【００１０】
このように、この発明においては、撮像画像に含まれる特定物体画像が検出されたとき撮像部における撮像パラメータが設定され、この状態で特定物体画像が特定状態となるとき撮影が行われるものにあって、被写体の状態変化が検出されるとき、撮像部における撮像パラメータの再設定が行われる。そのため、被写体の状態変化があるとき、例えば注目特定物体画像にピントが合わない状態で自動撮影が行われる等ということがなく、常に良好な状態で自動撮影が行われるようになる。
【００１１】
この発明において、例えば、ユーザがシャッター操作を行うためのユーザ操作部をさらに備え、撮影制御部は、ユーザ操作部で行われるシャッター操作に基づいて撮影指示を行う、ようにされてもよい。この場合、例えば、撮像パラメータ設定部で撮像部における撮像パラメータが設定されていない状態でシャッター操作が行われたときには、撮像部で得られた画像情報に基づいて当該撮像部における撮像パラメータが設定された後に、撮影指示が行われる。また、この場合、例えば、撮像パラメータ設定部で撮像部における撮像パラメータが設定されている状態でシャッター操作が行われたときには、撮影指示が直ちに行われる。
【００１２】
このようにユーザ操作部で行われるシャッター操作に基づいて撮影指示が行われるようにすることで、例えば、撮像画像に笑顔の画像が検出されたとき自動撮影が行われる笑顔シャッターモードにあっても、ユーザのシャッター操作により撮影を行うことが可能となる。
【００１３】
また、この発明において、例えば、撮像パラメータ設定部が撮像部の撮像パラメータの再設定を行う際、その旨を、少なくとも、被写体側または撮影者側に報知する報知部をさらに備える、ようにされてもよい。
【００１４】
この場合、被写体側または撮影者側では、撮像パラメータの再設定が行われる場合には、報知部による報知により、その旨を認識できる。そのため、例えば、撮像画像に笑顔の画像が検出されたとき自動撮影が行われる笑顔シャッターモードにあって、撮像パラメータの再設定が行われるとき、被写体側では、当該通知により、その旨を認識でき、笑顔のままずっと待っているということを回避できる。
【発明の効果】
【００１５】
この発明によれば、撮像画像に含まれる特定物体画像が検出されたとき撮像部における撮像パラメータが設定され、この状態で特定物体画像が特定状態となるとき撮影が行われるものにあって、被写体の状態変化が検出されるとき、撮像部における撮像パラメータの再設定を行うものであり、常に良好な状態で自動撮影が行われる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら、この発明の実施の形態について説明する。まず、実施の形態としての撮像装置１０の構成について説明する。
【００１７】
図１は、撮像装置１０の外観構成例を示している。図１（ａ）は、撮像装置１０の上面図、図１（ｂ）は撮像装置１０の正面図、図１（ｃ）は撮像装置１０の背面図である。撮像装置１０は、電源スイッチ１１と、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターボタンとして機能するレリーズスイッチ１２と、撮像画像（スルー画像）や操作情報などを表示するモニタ１３を有している。
【００１８】
また、撮像装置１０は、撮像素子としてのイメージャ１４と、ズーム制御を行うためのズームボタン１５と、マニュアルフォーカス処理など各種の操作情報を入力する操作ボタン１６と、被写体の撮像画像（スルー画）を確認するためのビューファインダ１７を有している。また、撮像装置１０は、露出調整において駆動されるアイリス２１と、フォーカス調整において駆動されるフォーカスレンズ１８と、ズーム調整において駆動されるズームレンズ１９と、撮影モードを設定するためのモードダイアル２０と、笑顔シャッターモードにおいて、被写体側に撮像パラメータの再設定を報知するためのＬＥＤ(Light Emitting Diode)２２を有している。
【００１９】
被写体の撮像画像は、表示部であるビューファインダ１７およびモニタ１３に表示される。ビューファインダ１７およびモニタ１３は、例えばＬＣＤ（Liquid Crystal Display）により構成され、被写体の撮像画像が動画像として表示される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ１７またはモニタ１３を確認して、撮影する目標被写体を確認して、シャッターとして機能するレリーズスイッチ１２を押すことで、撮影処理、つまり撮影画像に対応した画像信号の記録処理を実行できる。
【００２０】
図２は、撮像装置１０の内部構成例を示している。ズームレンズ１９、フォーカスレンズ１８およびアイリス２１を介する入射光は、イメージャ１４に入力し、このイメージャ１４において光電変換される。光電変換データは、アナログ信号処理部１０４に入力され、このアナログ信号処理部１０４においてノイズ除去等の処理がなされ、Ａ／Ｄ変換部１０５においてデジタル信号に変換される。
【００２１】
Ａ／Ｄ変換部１０５においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス１１５に記録される。さらに、モニタ１３、ビューファインダ（ＥＶＦ）１７には、Ａ／Ｄ変換部１０５においてデジタル変換されたデータによる撮像が表示される。モニタ１３、ビューファインダ１７には、撮影の有無に関わらず、イメージャ１４で撮像された撮像画像がスルー画として表示される。
【００２２】
操作部１１８は、上述のレリーズスイッチ１２、ズームボタン１５、マニュアルフォーカス処理操作情報などの各種の操作情報を入力する操作ボタン１６、撮影モードを設定するためのモードダイアル２０等を含む。制御部１１０は、ＣＰＵ（Central Processing Unit）を有し、撮像装置１０の各種の処理の制御を、予めメモリ（ＲＯＭ）１２０などに格納されたプログラムに従って実行する。
【００２３】
メモリ（ＥＥＰＲＯＭ）１１９は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ（ＲＯＭ）１２０は、制御部（ＣＰＵ）１１０が使用するプログラムや演算パラメータ等を格納する。メモリ（ＲＡＭ）１２１は、制御部（ＣＰＵ）１１０において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ１１１は、撮像装置の傾き、揺れなどを検出する。ジャイロ１１１の検出情報は、制御部（ＣＰＵ）１１０に入力され、手ぶれ防止などの処理が実行される。
【００２４】
モータドライバ１１２は、ズームレンズ１９に対応して設定されたズームレンズ駆動モータ１１３を駆動し、フォーカスレンズ１８に対応して設定されたフォーカスレンズ駆動モータ１１４を駆動する。アイリスドライバ１１６は、アイリス２１を駆動する。
【００２５】
顔検出部１３０は、デジタル信号処理部１０８から被写体の撮像画像に対応した画像情報（画像データ）を取得し、この画像情報の解析を行って、撮像画像に含まれる人物の顔画像の検出、その笑顔スコアの測定等の処理を行う。顔検出部１３０で得られた各種情報は、制御部１１０に送られる。
【００２６】
「撮影モード」
撮像装置１０における撮影モードについて説明する。撮像装置１０は、撮影モードとして、通常撮影モードおよび笑顔検出モードを有する。通常撮影モードは、ユーザのシャッター操作に基づいて撮影を行う撮影モードである。また、笑顔シャッターモードは、撮像画像に笑顔の顔画像が検出されたとき自動的に撮影を行う撮影モードである。
【００２７】
図３は、通常撮影モードにおける状態遷移図を示している。この通常撮影モードにおいて、制御部１１０は、モニタリング、ロックおよび撮影の３状態を有する。モニタリング状態では、ユーザがシャッターボタンとして機能するレリーズスイッチ１２を操作して半押し状態とすると、制御部１１０は、撮像画像に設定された所定の測定枠に対応した画像情報を解析して、フォーカス調整および露出調整を行って、ロック状態となる。
【００２８】
このロック状態では、ユーザがレリーズスイッチ１２の半押し状態を解除すると、制御部１１０は、モニタリング状態に戻る。一方、このロック状態では、ユーザがレリーズスイッチ１２を操作して深押し状態とすると、制御部１１０は、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。撮影後、制御部１１０は、モニタリング状態に戻る。
【００２９】
図４は、笑顔シャッターモードにおける状態遷移図を示している。この笑顔シャッターモードにおいて、制御部１１０は、モニタリング、笑顔待ちおよび撮影の３状態を有する。モニタリング状態では、顔検出部１３０で撮像画像に顔画像が検出されると、制御部１１０は、顔画像の検出枠に対応した画像情報を解析して、フォーカス調整および露出調整を行って、笑顔待ち状態となる。
【００３０】
なお、撮像画像に顔画像が検出されたとしても、制御部１１０は、この顔画像が移動している場合、直ぐにはフォーカス調整（ＡＦ）および露出調整（ＡＥ）を行わない。制御部１１０は、当該顔画像の移動が停止してその位置が安定したか否かを判断し、安定したと判断した後に、フォーカス調整（ＡＦ）および露出調整（ＡＥ）を行って、笑顔待ち状態となる。
【００３１】
すなわち、図５（ａ）に示すように、撮像画像内の人物がＡ１位置→Ａ２位置→Ａ３位置と移動してＡ３位置で移動が停止してその位置が安定する場合、Ａ１位置にある人物の顔画像の検出枠ＤＦに対応した画像情報を解析してフォーカス調整等を行うと、Ａ３位置に移動した人物に対してピントが外れる。そのため、図５（ｂ）に示すように、人物がＡ３位置に移動して静止した後に、Ａ３位置にある人物の顔画像の検出枠ＤＦに対応した画像情報を解析してフォーカス調整等を行う。
【００３２】
ここで、顔画像が移動しているか否かの判断は、顔重心速度Ｖを用いて判断する。顔重心速度Ｖは、顔画像の検出周期で取得できる。この顔重心速度Ｖは、（１）式で算出される。｜Ｖｘ｜は、検出周期における、顔画像の検出枠ＤＦの重心位置の水平方向の移動ピクセル数を示している。｜Ｖｙ｜は、検出周期における、顔画像の検出枠ＤＦの重心位置の垂直方向の移動ピクセル数を示している。
Ｖ＝｜Ｖｘ｜＋｜Ｖｙ｜      ・・・（１）
【００３３】
制御部１１０は、以下の（２）式の安定条件を満たすとき、顔画像は移動しておらず、その位置が安定していると判断する。例えば、撮像画像が３０ｆｐｓで得られ、顔画像が１フレーム毎に検出される場合ｉは６程度に設定される。また、この（２）式における閾値ＴＨは、０または０近傍の値とされる。
Σ（Ｖｉ）≦ＴＨ（ｉ＝０→ｋ）      ・・・（２）
【００３４】
なお、撮像画像から１個の顔画像が検出される場合、制御部１１０は、その１個の顔画像を注目顔画像とする。また、撮像画像から複数の顔画像が検出される場合、制御部１１０は、複数の顔画像の顔重要度を求め、最も顔重要度の高い顔画像を注目顔画像とする。制御部１１０は、上述の顔画像位置の安定判断を、上述の注目顔画像について行う。
【００３５】
制御部１１０は、その位置が安定していると判断された注目顔画像の検出枠に対応した画像情報を解析し、フォーカス調整および露出調整を行って、撮像部におけるフォーカスおよび露出に係る撮像パラメータを設定し、その後に、笑顔待ち状態となる。この笑顔待ち状態では、制御部１１０は、被写体の状態変化を検出するとき、モニタリング状態に戻る。
【００３６】
制御部１１０は、注目顔画像のサイズが閾値Ｔｈ１以上に変化したとき、被写体の状態が変化したものとする。撮像画像から検出される顔画像のサイズは、後述するが、段階的に設定された複数サイズのいずれかとなる。制御部１１０は、注目顔画像のサイズが、例えば２段階以上変化したときは、被写体の状態が変化したものと判断する。
【００３７】
例えば、図６（ａ）は、前回検出された注目顔画像を示しており、そのサイズの段階は２であるとする。これに対して、図６（ｂ）は、今回検出された注目顔画像を示しており、そのサイズの段階は４であるとする。この場合、制御部１１０は、注目顔画像のサイズが閾値Ｔｈ１である２段階以上に変化しているので、被写体の状態が変化したものと判断する。
【００３８】
また、制御部１１０は、注目顔画像が撮像画像から消失したとき、被写体の状態が変化したものとする。例えば、図７（ａ）は、前回の撮像画像を示しており、この撮像画像には注目顔画像としての顔画像が存在する。これに対して、図７（ｂ）は、今回の撮像画像を示しており、前回検出されていた注目顔画像が消失している。この場合、制御部１１０は、今回の撮像画像から注目顔画像が消失しているので、被写体の状態が変化したものと判断する。
【００３９】
また、制御部１１０は、注目顔画像がある顔画像から他の顔画像に変更されたとき、被写体の状態が変化したものとする。例えば、図８（ａ）は、前回の撮像画像を示しており、この撮像画像には注目顔画像としての顔画像Ｉａがただ一つだけ存在する。これに対して、図８（ｂ）は、今回の撮像画像を示しており、前回検出されていた顔画像Ｉａの他に、今回新たに顔画像Ｉｂが検出され、この顔画像Ｉｂが注目顔画像となっている。この場合、制御部１１０は、今回の撮像画像における注目顔画像が前回とは別の顔画像となっているので、被写体の状態が変化したものと判断する。
【００４０】
また、制御部１１０は、撮像画像の明るさが変化したとき、被写体の状態が変化したものとする。制御部１１０は、例えば、前回と今回の注目顔画像の検出枠内の平均輝度レベルの差分が閾値Ｔｈ２以上となるとき、被写体の状態が変化したものと判断する。例えば、図９（ａ）は、前回の撮像画像を示しており、この撮像画像は明るく、この撮像画像に含まれる顔画像の検出枠内の平均輝度レベルはＬＶａとなっている。これに対して、図９（ｂ）は、今回の撮像画像を示しており、この撮像画像は暗く、この撮像画像に含まれる顔画像の検出枠内の平均輝度レベルはＬＶｂ（ＬＶａ−ＬＶｂ≧Ｔｈ２）となっている。この場合、前回と今回の注目顔画像の検出枠内の平均輝度レベルの差分が閾値Ｔｈ２以上となるので、制御部１１０は、被写体の状態が変化したものと判断する。
【００４１】
また、図４に戻って、上述の笑顔待ち状態では、顔画像として笑顔の顔画像が検出されるとき（笑顔発見時）、制御部１１０は、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。撮影後、制御部１１０は、笑顔待ち状態に戻る。
【００４２】
また、制御部１１０は、ユーザによるズーム操作あるいは露出調整に基づいて、被写体の状態変化を検出する。すなわち、制御部１１０は、ユーザが操作部１１８からズーム操作あるいは露出調整を行った場合、被写体の状態が変化したものと判断する。
【００４３】
「笑顔シャッターモードにおけるシャッター操作時の状態遷移」
撮像装置１０においては、ユーザは、笑顔シャッターモードにあっても、シャッターボタンとして機能するレリーズスイッチ１２を操作することで、撮影を行うことができる。撮像装置１０において、笑顔シャッターモードにおけるシャッター操作時の状態遷移について説明する。
【００４４】
図１０は、笑顔シャッターモードのモニタリング状態にある場合において、ユーザがシャッターボタンとして機能するレリーズスイッチ１２を操作した場合の状態遷移を示している。この場合、制御部１１０は、矢印Ｐ１，Ｐ２に示すように、通常撮影モードのモニタリング状態に遷移し、その後に、ロック状態に遷移する。レリーズスイッチ１２が深押し状態にあるときには、制御部１１０は、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。撮影後、図１０には図示していないが、制御部１１０は、笑顔シャッターモードのモニタリング状態に戻る。
【００４５】
また、図１１は、笑顔シャッターモードの笑顔待ち状態にある場合において、ユーザがシャッターボタンとして機能するレリーズスイッチ１２を操作した場合の状態遷移を示している。この場合、制御部１１０は、矢印Ｐ３，Ｐ４，Ｐ５に示すように、モニタリング状態を経て、通常撮影モードのモニタリング状態に遷移し、その後に、ロック状態に遷移する。そして、レリーズスイッチ１２が深押し状態にあるときには、制御部１１０は、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。撮影後、図１１には図示していないが、制御部１１０は、笑顔シャッターモードのモニタリング状態に戻る。
【００４６】
なお、笑顔シャッターモードの笑顔待ち状態にある場合、上述したように、既にフォーカス調整および露出調整が行われている。そのため、この場合、上述の矢印Ｐ３，Ｐ４，Ｐ５の遷移経路ではなく、矢印Ｐ６に示すように、直ちに、通常撮影モードのロック状態に遷移することも考えられる。この場合、レリーズスイッチ１２が深押し状態にあるときには、制御部１１０は、直ちに撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。この場合、撮影後、図１１には図示していないが、制御部１１０は、笑顔シャッターモードのモニタリング状態、あるいは笑顔待ち状態に戻る。
【００４７】
図１２のフローチャートは、笑顔シャッターモードのモニタリング状態にある場合における制御部１１０の処理動作を示している（図１０の経路Ｐ１，Ｐ２参照）。制御部１１０は、例えば、フレーム周期で当該フローチャートに示す処理を実行する。
【００４８】
制御部１１０は、ステップＳＴ１で、処理を開始し、その後に、ステップＳＴ２の処理に移る。このステップＳＴ２において、制御部１１０は、シャッター操作（レリーズスイッチ１２の操作）があるか否かを判断する。シャッター操作がないとき、制御部１１０は、ステップＳＴ３において、モニタリング状態を維持し、その後、ステップＳＴ４において、処理を終了する。
【００４９】
ステップＳＴ２でシャッター操作があるとき、制御部１１０は、ステップＳＴ５において、深押し状態にあるか否かを判断する。深押し状態にあるとき、制御部１１０は、ステップＳＴ６において、通常撮影モードのロック状態にあるか否かを判断する。ステップＳＴ５で深押し状態にないとき、あるいはステップＳＴ６でロック状態にないとき、制御部１１０は、ステップＳＴ７において、通常撮影モードのモニタリング状態となり、その後、ステップＳＴ８において、通常撮影モードのロック状態となる。制御部１１０は、ステップＳＴ８の処理の後、ステップＳＴ４において、処理を終了する。
【００５０】
また、ステップＳＴ６でロック状態にあるとき、制御部１１０は、ステップＳＴ９において、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。そして、制御部１１０は、ステップＳＴ９の処理の後、ステップＳＴ３において、笑顔シャッターモードのモニタリング状態に戻り、その後、ステップＳＴ４において、処理を終了する。
【００５１】
図１３のフローチャートは、笑顔シャッターモードの笑顔待ち状態にある場合における制御部１１０の処理動作を示している（図１１の経路Ｐ３，Ｐ４，Ｐ５参照）。制御部１１０は、例えば、フレーム周期で当該フローチャートに示す処理を実行する。
【００５２】
制御部１１０は、ステップＳＴ１１で、処理を開始し、その後に、ステップＳＴ１２の処理に移る。このステップＳＴ１２において、制御部１１０は、シャッター操作（レリーズスイッチ１２の操作）があるか否かを判断する。シャッター操作がないとき、制御部１１０は、ステップＳＴ１３において、通常撮影モードのロック状態にあるか否かを判断する。ロック状態にないとき、制御部１１０は、ステップＳＴ１４において、笑顔待ち状態を維持し、その後、ステップＳＴ１５において、処理を終了する。
【００５３】
ステップＳＴ１３で、ロック状態にあるときは、シャッター操作が半押しの状態から解除されたことを意味する。この場合、制御部１１０は、ステップＳＴ１６の処理に移る。このステップＳＴ１６において、制御部１１０は、笑顔シャッターモードのモニタリング状態となり、その後に、ステップＳＴ１５において、処理を終了する。
【００５４】
ステップＳＴ１２でシャッター操作があるとき、制御部１１０は、ステップＳＴ１７において、深押し状態にあるか否かを判断する。深押し状態にあるとき、制御部１１０は、ステップＳＴ１８において、通常撮影モードのロック状態にあるか否かを判断する。ステップＳＴ１７で深押し状態にないとき、あるいはステップＳＴ１８でロック状態にないとき、制御部１１０は、ステップＳＴ１９において、通常撮影モードのモニタリング状態となり、その後、ステップＳＴ２０において、通常撮影モードのロック状態となる。制御部１１０は、ステップＳＴ２０の処理の後、ステップＳＴ１５において、処理を終了する。
【００５５】
また、ステップＳＴ１８でロック状態にあるとき、制御部１１０は、ステップＳＴ２１において、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。そして、制御部１１０は、ステップＳＴ２１の処理の後、ステップＳＴ１６において、笑顔シャッターモードのモニタリング状態に戻り、その後、ステップＳＴ１５において、処理を終了する。
【００５６】
図１４のフローチャートは、笑顔シャッターモードの笑顔待ち状態にある場合における制御部１１０の処理動作を示している（図１１の経路Ｐ６参照）。制御部１１０は、例えば、フレーム周期で当該フローチャートに示す処理を実行する。
【００５７】
制御部１１０は、ステップＳＴ３１で、処理を開始し、その後に、ステップＳＴ３２の処理に移る。このステップＳＴ３２において、制御部１１０は、シャッター操作（レリーズスイッチ１２の操作）があるか否かを判断する。シャッター操作がないとき、制御部１１０は、ステップＳＴ３３において、通常撮影モードのロック状態にあるか否かを判断する。ロック状態にないとき、制御部１１０は、ステップＳＴ３４において、笑顔待ち状態を維持し、その後、ステップＳＴ３５において、処理を終了する。
【００５８】
ステップＳＴ３３で、ロック状態にあるときは、シャッター操作が半押しの状態から解除されたことを意味する。この場合、制御部１１０は、ステップＳＴ３６の処理に移る。このステップＳＴ３６において、制御部１１０は、笑顔シャッターモードのモニタリング状態となり、その後に、ステップＳＴ３５において、処理を終了する。
【００５９】
なお、この場合、制御部１１０は、ステップＳＴ３２でシャッター操作がないとき、通常撮影モードのロック状態にあるか否かに拘わらず、笑顔シャッターモードの笑顔待ち状態となるようにしてもよい。
【００６０】
ステップＳＴ３２でシャッター操作があるとき、制御部１１０は、ステップＳＴ３７において、通常撮影モードのロック状態となり、その後に、ステップＳＴ３８の処理に移る。このステップＳＴ３８において、制御部１１０は、深押し状態にあるか否かを判断する。深押し状態にないとき、制御部１１０は、直ちに、ステップＳＴ３５に進んで処理を終了する。一方、深押し状態にあるとき、制御部１１０は、ステップＳＴ３９において、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。
【００６１】
制御部１１０は、ステップＳＴ３９の処理の後、ステップＳＴ３６において、笑顔シャッターモードのモニタリング状態に戻り、その後、ステップＳＴ３５において、処理を終了する。なお、ステップＳＴ３９の処理の後、ステップＳＴ３４において、笑顔シャッターモードの笑顔待ち状態に戻り、その後、ステップＳＴ３５において、処理を終了するようにしてもよい。
【００６２】
「笑顔シャッターモードにおける動作」
次に、笑顔シャッターモードにおける、制御部１１０の制御処理について説明する。図１５のフローチャートは、笑顔シャッターモードにおける制御処理を示している。
【００６３】
制御部１１０は、ユーザが操作部１１８により笑顔シャッターモードに設定すると、ステップＳＴ５１において、処理を開始する。そして、制御部１１０は、ステップＳＴ５２において、顔検出部１３０を制御し、撮像画像に含まれる顔画像の検出処理を行う。顔画像が検出されるとき（顔発見時）、ステップＳＴ５３において、顔画像位置の安定判断を行う。この顔画像の安定判断は、注目顔画像について行う。
【００６４】
なお、撮像画像から１個の顔画像が検出される場合には、その顔画像が注目顔画像となる。また、撮像画像から複数の顔画像が検出される場合、最も顔重要度の高い顔画像が注目顔画像（主要被写体）となる。制御部１１０は、顔検出部１３０で検出された注目顔画像の検出枠の重心位置情報に基づき、上述の（２）式の安定条件を満たすとき、顔画像は移動しておらず、その位置が安定していると判断する。
【００６５】
注目顔画像の位置が安定していると判断するとき、制御部１１０は、ステップＳＴ５４において、注目顔画像の検出枠に対応した画像情報を解析し、フォーカス調整および露出調整を行って、撮像部におけるフォーカス、露出に係る撮像パラメータを設定する。このフォーカス調整および露出調整が完了するとき、制御部１１０は、ステップＳＴ５５において、注目顔画像が笑顔となったか判断する。この場合、制御部１１０は、顔検出部１３０で得られる笑顔スコアが閾値より高いとき笑顔であると判断する。なお、顔画像検出、優先度、笑顔スコア算出、フォーカス調整および露出調整の詳細については、後述する。
【００６６】
制御部１１０は、ステップＳＴ５５で笑顔判断を行っている状態で、被写体の状態変化があったと判断するとき、ステップＳＴ５６において、撮像パラメータの再設定を行うことを、被写体側および撮影者側に報知し、その後に、ステップＳＴ５２の処理に戻る。ここで、制御部１１０は、上述したように、注目顔画像のサイズ変化、注目顔画像の消失、変更、撮像画像の明るさ変化、ユーザによるズーム操作、露出調整等がある場合、被写体の状態変化があったと判断する。
【００６７】
制御部１１０は、被写体側に報知するために、例えば、ＬＥＤ２２を点滅発光させる。ここで、ＬＥＤ２２の点滅発光は、例えば、撮像パラメータの再設定が完了するまでの間続くようにされてもよい。この報知は、ＬＥＤ２２を点滅発光で行う報知に限定されるものではなく、例えば、音声出力などで行うことも考えられる。なお、ＬＥＤ２２の点滅発光は、例えば、制御部１５がステップＳＴ５１で処理を開始してから最初に撮像パラメータの設定が完了するまでの間でさらに行われてもよい。
【００６８】
また、制御部１１０は、撮影者側に報知するために、例えば、モニタ１３およびビューファインダ１７に表示される画像上に、撮像パラメータを再設定する旨の文字表示などを行う。この文字表示は、例えば、撮像パラメータの再設定が完了するまでの間続くようにされてもよい。なお、例えば、制御部１１０がステップＳＴ５１で処理を開始してから最初に撮像パラメータの設定が完了するまでの間でも、モニタ１３およびビューファインダ１７に表示される画像上に、撮像パラメータの設定中である旨の文字表示などを行ってもよい。
【００６９】
ステップＳＴ５５の笑顔判断で注目顔画像が笑顔となったと判断するとき、制御部１１０は、ステップＳＴ５７において、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。撮影後、制御部１１０は、ステップ５５の処理に戻る。
【００７０】
図１６のフローチャートは、上述した図１５のフローチャートにおけるステップＳＴ５２〜ステップＳＴ５４の処理に対応した、制御部１１０の処理手順を示している。
【００７１】
制御部１１０は、ステップＳＴ６１において、処理を開始し、その後に、ステップＳＴ６２の処理に移る。このステップＳＴ６２において、制御部１１０は、顔画像が検出されたか否かを判断する。顔画像が検出されたとき、制御部１１０は、ステップＳＴ６３において、顔画像（注目顔画像）の位置が安定したか否かを判断する。
【００７２】
顔画像の位置が安定したとき、制御部１１０は、ステップＳＴ６４において、ＡＦ（オートフォーカス）、ＡＥ（オートアイリス）の要求を発行し、その後に、ステップＳＴ６５において、処理を終了する。制御部１１０は、ステップＳＴ６４におけるＡＦ，ＡＥの要求の発行により、フォーカス調整および露出調整を行って、撮像部におけるフォーカス、露出に係る撮像パラメータを設定し、笑顔待ち状態となる。
【００７３】
図１７のフローチャートは、上述した図１５のフローチャートにおけるステップＳＴ５５〜ステップＳＴ５６の処理に対応した、制御部１１０の処理手順を示している。
【００７４】
制御部１１０は、ステップＳＴ７１で処理を開始し、その後、ステップＳＴ７２の処理に移る。このステップＳＴ７２において、制御部１１０は、ユーザによるズーム操作または露出調整があったか否かを判断する。ズーム操作または露出調整があったとき、制御部１１０は、被写体の状態変化があったと判断し、ステップＳＴ７３において、ＡＦ，ＡＥの要求を発行する。そして、制御部１１０は、ステップＳＴ７４において、被写体側および撮影者側に撮像パラメータの再設定を報知し、その後に、ステップＳＴ７５において処理を終了する。
【００７５】
制御部１１０は、ステップＳＴ７３におけるＡＦ，ＡＥの要求の発行により、モニタリング状態となり、再度顔画像を検出して、フォーカス調整および露出調整を行って、撮像部におけるフォーカス、露出に係る撮像パラメータを設定する処理に移行する。
【００７６】
また、制御部１１０は、ステップＳＴ７２でユーザによるズーム操作も露出調整もないとき、ステップＳＴ７６において、注目顔画像を特定する処理を行う。この場合、制御部１１０は、撮像画像から１個の顔画像が検出されている場合には、その顔画像を注目顔画像とする。また、撮像画像から複数の顔画像が検出されている場合には、各顔画像の顔重要度を算出し、最も顔重要度の高い顔画像を注目顔画像する。
【００７７】
次に、制御部１１０は、ステップＳＴ７７において、注目顔画像が変化したか否かを判断する。ここで、注目顔画像の変化とは、注目顔画像が消失（図７参照）あるいは注目画像の変更（図８参照）を意味している。注目顔画像が変化したとき、制御部１１０は、被写体の状態変化があったと判断し、ステップＳＴ７３において、ＡＦ，ＡＥの要求を発行し、ステップＳＴ７４において被写体側および撮影者側に撮像パラメータの再設定を報知し、その後に、ステップＳＴ７５において、処理を終了する。
【００７８】
また、ステップＳＴ７７で注目顔画像が変化していないとき、制御部１１０は、ステップＳＴ７８において、サイズ変化が閾値Ｔｈ１以上であるか否かを判断する。ここで、サイズ変化とは、例えば、前回および今回の注目顔画像のサイズの段階変化数を意味する。制御部１１０は、サイズ変化が閾値Ｔｈ１以上であるとき、制御部１１０は、被写体の状態変化があったと判断し、ステップＳＴ７３において、ＡＦ，ＡＥの要求を発行し、ステップＳＴ７４において被写体側および撮影者側に撮像パラメータの再設定を報知し、その後に、ステップＳＴ７５において、処理を終了する。
【００７９】
また、ステップＳＴ７８でサイズ変化が閾値Ｔｈ１より小さいとき、制御部１１０は、ステップＳＴ７９において、明るさ変化が閾値Ｔｈ２以上であるか否かを判断する。ここで、明るさ変化とは、例えば、前回と今回の注目顔画像の検出枠内の平均輝度レベルの差分を意味する。明るさ変化が閾値Ｔｈ２以上であるとき、制御部１１０は、被写体の状態変化があったと判断し、ステップＳＴ７３において、ＡＦ，ＡＥの要求を発行し、ステップＳＴ７４において被写体側および撮影者側に撮像パラメータの再設定を報知し、その後に、ステップＳＴ７５において、処理を終了する。
【００８０】
また、ステップＳＴ７９で明るさ変化が閾値Ｔｈ２より小さいとき、制御部１１０は、ステップＳＴ８０において、注目顔画像の笑顔を検出したか否かを判断する。この場合、制御部１１０は、顔検出部１３０から供給される注目顔画像の笑顔スコアが閾値以上となるとき、笑顔を検出したと判断する。
【００８１】
笑顔を検出したとき、制御部１１０は、ステップＳＴ８１において、撮影状態となって、デジタル信号処理部１０８等に撮影指示を行って、記録デバイス１１５に撮影画像に対応した画像信号を記録する。制御部１１０は、ステップＳＴ８１の処理の後、あるいはステップＳＴ８０で笑顔を検出しなかったとき、ステップＳＴ７２の処理に戻り、上記したと同様の処理を繰り返す。
【００８２】
「フォーカス調整、露出調整」
次に、フォーカス調整（ＡＦ）について説明する。注目顔画像に対応したフォーカス調整は、注目顔画像のコントラストの高低を判断することで行われる。すなわち、制御部１１０は、注目顔画像の検出枠をフォーカス調整用の信号取得領域（空間周波数抽出エリア）として設定する。そして、制御部１１０は、検出枠内の画像のコントラストが高いときはフォーカスが合っていると判定し、検出枠内の画像のコントラストが低いときはフォーカスがずれていると判定し、コントラストをより高くする位置にフォーカスレンズ１８を駆動して調整する。ここで、フォーカスレンズ１８の位置データが、フォーカスに係る撮像パラメータとなる。フォーカス調整（ＡＦ）では、フォーカスレンズ１８の位置データが所定の値に設定される。
【００８３】
具体的には、制御部１１０は、検出枠内の画像情報（画像データ）の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、その積分データに基づいてコントラストの高低を判定する。すなわち、フォーカスレンズ１８を複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すＡＦ評価値を得る。
【００８４】
このとき、あるフォーカス位置でピントが合ったジャスピンとなる被写体が存在する場合、フォーカスレンズ位置に対するＡＦ評価値は、図１８のような曲線を描く。この曲線のピーク位置Ｐ１、すなわち、画像のコントラスト値が最大となる位置がジャスピンである。この方式では、イメージャ１４で撮像して得られた撮像画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
【００８５】
次に、露出調整（ＡＥ）について説明する。注目顔画像に対応した露出調整は、注目顔画像の輝度などを判断することで行われる。すなわち、制御部１１０は、注目顔画像の検出枠に対応した画像情報（画像データ）に基づいて、注目顔画像に対応する輝度のヒストグラムデータおよび色検波値を取得する。また、制御部１１０は、注目顔画像の輝度のヒストグラムデータのピークを判定し、そのピークでの頻度値および輝度に基づいて、ピーク領域を定義する限界輝度値Ｙｆ＿ｌおよびＹｆ＿ｈを検索する。また、制御部１１０は、注目顔画像の色、外光情報に基づいて、目標輝度範囲を設定する。
【００８６】
そして、制御部１１０は、注目顔画像の輝度のヒストグラムデータと、目標輝度範囲と、一般的な処理によって演算された露出制御量に基づいて、注目顔画像に対応した露出制御量を求める。ここで、一般的な処理によって演算された露出制御量は、基本的には、撮像画像の全体に対応した画像情報から検波した輝度情報等に基づいて求められた露出制御量である。制御部１１０は、この露出制御量に基づいて、アイリスドライバ１１６を制御し、露出を制御する。ここで、露出制御量が、露出に係る撮像パラメータとなる。露出調整（ＡＥ）では、露出制御量が所定の値に設定される。
【００８７】
なお、上述の注目顔画像に対応した露出調整の詳細に関しては、本出願人による先願である特開２００７−２０１９８０号公報に記載されている。ただし、注目顔画像に対応した露出調整は、この先願に記載された方法に限定されるものではなく、単に、注目顔画像の検出枠に対応した画像情報（輝度データ）から得られる、当該検出枠内の平均輝度レベルが所定値となるように露出調整を行うものであってもよい。
【００８８】
「顔画像検出、笑顔スコア測定」
最初に、顔検出部１３０における顔画像検出処理について説明する。検出部１３０は、撮像画像に対応した画像情報（画像データ）に基づいて、撮像画像に含まれる顔画像を検出する。顔検出部１３０は、撮像画像の画像情報に基づいて、顔画像を検出する。顔検出部１３０は、撮像画像の画像情報を、デジタル信号処理部１０８から取得する。
【００８９】
顔検出部１３０は、撮像画像ＩＭ-0が図１９（ａ）に示すようであるとき、図１９（ｂ）に破線枠で囲んで示すように、撮像画像ＩＭ-0に含まれている顔画像ＩＭ-1を検出する。
【００９０】
顔検出部１３０は、顔画像が検出されるとき、当該顔画像を、図１９（ｃ）に示すように、所定のサイズ、例えば、水平サイズが８０ピクセル、垂直サイズが８０ピクセルとなるように正規化し、当該正規化された顔画像ＩＭ-2の情報を、図示しない記憶装置部に記憶する。また、顔検出部１３０は、顔画像が検出されるとき、顔検出情報（位置情報、サイズ情報等）を、制御部１１０に送る。
【００９１】
ここで、顔検出部１３０における顔画像の検出処理の一例について説明する。この検出処理では、図２０に示すように、撮像画像ＩＭ-0上に、所定サイズ、例えば、水平サイズがＳピクセル、垂直サイズがＳピクセルである、検出枠ＦＲ-faが設定される。この実施の形態において、Ｓピクセルは、８０ピクセル以上である。この検出枠ＦＲ-faは、図２０に矢印で示すように、撮像画像ＩＭ-0上を走査され、その位置が順次変化するようにされる。そして、各位置の検出枠ＦＲ-faで囲まれる画像に対し、顔辞書を用いて顔スコアSCORE_faの測定が行われ、当該顔スコアSCORE_faに基づいて、顔画像であるか否かの判定が行われる。
【００９２】
顔辞書は、図２１（ｂ）に示すように、ｔ４組（数百ペア）の、pix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の組みあわせからなっている。ここで、pix_fa1(i)，pix_fa2(i)は、図２２に示すように、検出枠ＦＲ-faで囲まれる画像における２点の位置を示している。なお、図２２には、図面の簡単化のため、３組だけを示している。θ_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差に関する閾値を示している。また、α_fa(i)は、pix_fa1(i)の輝度値およびpix_fa2(i)の輝度値の差と閾値θ_fa(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。
【００９３】
顔スコアSCORE_faの測定は、図２１（ａ）に示すように、顔辞書のpix_fa1(i)，pix_fa2(i)、θ_fa(i)、およびα_fa(i)の各組に対応して、（３）式を満たすか否かを判断し、満たす場合には（４）式の演算を行い、一方、満たさない場合には（５）式の演算を行うことで、行われる。なお、（３）式で、pix_fa1(i)はその位置の輝度値を示し、pix_fa2(i)はその位置の輝度値を示している。
【００９４】
pix_fa1(i)−pix_fa2(i)＜θ_fa(i)      ・・・（３）
SCORE_fa＝SCORE_fa＋α_fa(i)          ・・・（４）
SCORE_fa＝SCORE_fa−α_fa(i)          ・・・（５）
【００９５】
検出枠ＦＲ-faで囲まれる画像が顔画像であるか否かの判定は、上述したように測定された顔スコアSCORE_faに基づいて行われる。なお、上述の顔スコアSCORE_faの測定において、（３）式を満たす場合はｈ(i)＝１とし、逆に、（３）式を満たさない場合はｈ(i)＝−１とするとき、測定された顔スコアSCORE_faは、（６）式で表される。
【数１】
2010041255.tif 000003
【００９６】
顔スコアSCORE_faが０より大きいとき、検出枠ＦＲ-faで囲まれる画像は顔画像であると判定される。一方、顔スコアSCORE_faが０以下であるとき、検出枠ＦＲ-faで囲まれる画像は顔画像ではないと判定される。なお、判定の基準を０ではなく、０以外の多少調整された値が用いられることもある。
【００９７】
なお、撮像画像に含まれる顔画像には種々の大きさが考えられる。そのため、図２０に示すように、撮像画像ＩＭ-0上に所定サイズの検出枠ＦＲ-faを設定して顔画像を検出するものにあっては、当該撮像画像ＩＭ-0に含まれる顔画像の内、当該検出枠ＦＲ-faのサイズに対応した顔画像だけしか検出できない。そこで、撮像画像ＩＭ-0に含まれる種々の顔画像を検出可能とするために、上述した顔画像の検出処理は、図２３に示すように、撮像画像ＩＭ-0の他に、この撮像画像ＩＭ-0を、適宜縮小した縮小画像ＩＭ-0a，ＩＭ-0b，・・・に対しても行われる。これにより、撮像画像ＩＭ-0から検出される顔画像のサイズは、段階的に設定された複数サイズのいずれかとなる。
【００９８】
図２４のフローチャートは、顔検出部１２１における、顔画像検出処理の手順を示している。
【００９９】
まず、顔検出部１３０は、ステップＳＴ９１において、顔画像検出処理を開始し、その後に、ステップＳＴ９２に移る。このステップＳＴ９２において、顔検出部１３０は、撮像画像ＩＭ-0の縮小段階Ｓ_NOを１に設定する。そして、顔検出部１３０は、ステップＳＴ９３において、デジタル信号処理部１０８から撮像画像ＩＭ-0の画像情報を取得し、縮小段階Ｓ_NOのスケーリング（縮小処理）を施し、顔画像を検出するための縮小画像（縮小された撮像画像）を生成する。なお、Ｓ_NO＝１であるとき、縮小率は１とされ、顔画像を検出するための縮小画像は、撮像画像ＩＭ-0と同じものとされる。また、縮小段階Ｓ_NOが大きくなるにつれて、縮小率は小さくなっていく。縮小率が小さな縮小画像で検出される顔画像ほど、撮像画像ＩＭ-0上では大きな顔画像である。顔検出情報に含まれるサイズ情報および位置情報は、撮像画像ＩＭ-0におけるものとされる。
【０１００】
次に、顔検出部１３０は、ステップＳＴ９４において、ステップＳＴ９３で生成された縮小画像上の左上に検出枠ＦＲ-faを設定する。そして、顔検出部１３０は、ステップＳＴ９５において、上述したように、顔辞書を用いて、顔スコアSCORE_faを測定する。
【０１０１】
次に、顔検出部１３０は、ステップＳＴ９６において、ステップＳＴ９５で測定された顔スコアSCORE_faに基づいて、検出枠ＦＲ-faで囲まれた画像が顔画像であるか否かを判定する。この場合、顔検出部１３０は、SCORE_fa＞０であるとき顔画像であると判定し、SCORE_fa＞０でないとき顔画像ではないと判定する。
【０１０２】
顔画像であると判定するとき、顔検出部１３０は、ステップＳＴ９７に移る。このステップＳＴ９７において、顔検出部１３０は、検出枠ＦＲ-faで囲まれている画像を顔画像として、図示しない記憶装置部に記憶し、さらに当該顔画像に対応した顔検出情報（位置情報、サイズ情報等）を制御部１１０に送る。なお、顔検出部１３０は、上述したように、Ｓピクセル×Ｓピクセルの検出顔画像を、８０ピクセル×８０ピクセルの大きさに正規化した後に、記憶装置部に記憶する。顔検出部１３０は、ステップＳＴ９７の処理の後、ステップＳＴ９８に進む。ステップＳＴ９６で顔画像でないと判定するとき、顔検出部１３０は、直ちに、ステップＳＴ９８に移る。
【０１０３】
このステップＳＴ９８において、顔検出部１３０は、検出枠ＦＲ-faが最後の位置まで移動したか否かを判定する。最後の位置まで移動していないとき、顔検出部１３０は、ステップＳＴ９９において、検出枠ＦＲ-faを次の位置に移動し、その後に、上述したステップＳＴ９５に戻って、上述したと同様の処理を繰り返す。なお、検出枠ＦＲ-faは、ある垂直位置においては水平方向に１ピクセルずつ移動していき、当該垂直位置における水平方向の移動が終わると、垂直方向に１ピクセル移動して、次の垂直位置に移る。
【０１０４】
ステップＳＴ９８で検出枠ＦＲ-faが最後の位置まで移動しているとき、顔検出部１３０は、ステップＳＴ１００において、縮小段階Ｓ_NOが最後の段階Ｓ_NOmaxにあるか否かを判定する。Ｓ_NO＝Ｓ_NOmaxでないとき、顔検出部１２１は、ステップＳＴ１０１において、縮小段階Ｓ_NOを次の段階とし、その後、ステップＳＴ９３に移り、上述したと同様の処理を繰り返す。
【０１０５】
また、ステップＳＴ１００で、Ｓ_NO＝Ｓ_NOmaxであるとき、全ての縮小段階Ｓ_NOでの顔画像の検出処理が終了したことを意味するので、顔検出部１３０は、ステップＳＴ１０２において、顔画像検出処理を終了する。
【０１０６】
次に、顔検出部１３０における笑顔スコア測定処理について説明する。顔検出部１３０は、顔画像の画像情報に基づいて、笑顔の程度を示す笑顔スコアを測定する。顔検出部１３０は、図２５に示すように、顔画像ＩＭ-2に対して、左目、右目の位置が所定座標になるように正規化（アフィン変換）を行って、所定サイズ、この実施の形態においては、水平サイズが４８ピクセル、垂直サイズが４８ピクセルの正規化顔画像ＩＭ-3を生成する。
【０１０７】
顔検出部１３０は、顔特徴位置としての左目、右目を、例えば、ＡＡＭ（Active Appearance Models）と呼ばれる方法を適用して検出する。このＡＡＡについては、以下の文献に記載がある。
【０１０８】
T.F.Cootes, G.J.Edwards, and C.J.Taylor, "Active AppearanceModels",Proc.Fift
h EuropeanConf. Computer Vision, H. Burkhardt and B. Neumann,eds, vol.2, pp.484
-498, 1998
【０１０９】
なお、上述した正規化顔画像ＩＭ-2のピクセル数（８０ピクセル×８０ピクセル）に比べて、左目、右目の位置に基づいて正規化された正規化顔画像ＩＭ-3のピクセル数（４８ピクセル×４８ピクセル）が少なくされている。これは、以下の理由からである。すなわち、顔画像の顔特徴量を精度よく検出するために正規化顔画像ＩＭ-2はある程度のピクセル数（解像度）を持つ必要がある。
【０１１０】
しかし、正規化顔画像ＩＭ-3に関しては、顔全体に広がる特徴（笑顔スコア）を検出するためのものであり、少ないピクセル数でも十分である。このように正規化顔画像ＩＭ-3のピクセル数を少なくすることで、メモリ使用量を節約でき、また、特徴検出の処理を簡単、かつ高速に行うことができる。
【０１１１】
顔検出部１３０は、図２５に示すように、笑顔辞書を適用して、笑顔スコアSCORE_smを測定する。この笑顔スコアSCORE_smは、正規化顔画像ＩＭ-3の状態が笑顔であるか否かを判定するためのスコアである。
【０１１２】
笑顔スコアSCORE_smの測定処理について説明する。笑顔辞書は、図２６（ｂ）に示すように、ｔ３組（数百ペア）の、pix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の組み合わせからなっている。ここで、pix_sm1(i)，pix_sm2(i)は、正規化画像ＩＭ-3における２点の位置を示している。θ_sm(i)は、pix_sm1(i)の輝度値およびpix_sm2(i)の輝度値の差に関する閾値を示している。また、α_sm(i)は、pix_sm1(i)の輝度値およびpix_sm2(i)の輝度値の差と閾値θ_sm(i)の比較結果に基づいて加算または減算される重みを示している。これらpix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の各値は、詳細説明は省略するが、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習されて取得されたものである。
【０１１３】
笑顔スコアSCORE_smの測定は、図２６（ａ）に示すように、顔辞書のpix_sm1(i)，pix_sm2(i)、θ_sm(i)、およびα_sm(i)の各組に対応して、（７）式を満たすか否かを判断し、満たす場合には（８）式の演算を行い、一方、満たさない場合には（９）式の演算を行うことで、行われる。なお、（７）式で、pix_sm1(i)はその位置の輝度値を示し、pix_sm2(i)はその位置の輝度値を示している。
【０１１４】
pix_sm1(i)−pix_sm2(i)＜θ_sm(i)      ・・・（７）
SCORE_sm＝SCORE_sm＋α_sm(i)          ・・・（８）
SCORE_sm＝SCORE_sm−α_sm(i)          ・・・（９）
【０１１５】
図２７のフローチャートは、笑顔スコアSCORE_smの測定処理の手順を示している。まず、顔検出部１３０は、ステップＳＴ１１１において、スコア測定処理を開始し、その後に、ステップＳＴ１１２に移る。このステップＳＴ１１２において、顔検出部１３０は、笑顔スコアSCORE_smを０に設定する。そして、顔検出部１３０は、ステップＳＴ１１３において、ｉを１に設定する。
【０１１６】
次に、顔検出部１３０は、ステップＳＴ１１４において、pix_sm1(i)およびpix_sm2(i)に対応する輝度値を選択し、ステップＳＴ１１５において、pix_sm1(i)の輝度値からpix_sm2(i)の輝度値を差し引く演算を行う。そして、顔検出部１３０は、ステップＳＴ１１６において、演算結果であるpix_sm1(i)−pix_sm2(i)が閾値θ_sm(i)より小さいか否かを判定する（（７）式参照））。
【０１１７】
pix_sm1(i)−pix_sm2(i)＜θ_sm(i)を満たすとき、顔検出部１３０は、ステップＳＴ１１７において、笑顔スコアSCORE_smに重みα_sm(i)を加算する（（８）式参照）。一方、pix_sm1(i)−pix_sm2(i)＜θ_sm(i)を満たさないとき、顔検出部１３０は、ステップＳＴ１１８において、笑顔スコアSCORE_smから重みα_sm(i)を減算する（（９）式参照）。
【０１１８】
顔検出部１３０は、ステップＳＴ１１７およびステップＳＴ１１８の処理の後、ステップＳＴ１１９に移る。このステップＳＴ１１９において、顔検出部１３０は、ｉをインクリメントする。そして、顔検出部１３０は、ステップＳＴ１２０において、ｉがｔ3より大きいか否かを判定する。ｉがｔ3より大きいとき、笑顔辞書のｔ3組の各組み合わせの処理を終了したことを意味する。顔検出部１３０は、ｉ＞ｔ3でないときステップＳＴ７４に戻って上述した処理を繰り返し、一方、ｉ＞ｔ3であるとき、ステップＳＴ１２１において、笑顔スコア測定処理を終了する。
【０１１９】
「注目顔画像の特定」
次に、注目顔画像の特定処理について説明する。制御部１１０は、顔検出部１３０で検出された各顔画像について顔の重要度を計算し、最も重要度の高い顔画像を注目顔画像（主要被写体）とする。
【０１２０】
図２８のフローチャートは、制御部１１０における顔の重要度の計算処理の手順を示している。ここで、制御部１１０は、顔画像のサイズ情報および位置情報に基づいて顔の重要度を求める。この処理手順では、顔画像のサイズ情報に基づいて第１の重要度因子を演算するとともに、顔画像の位置情報に基づいて第２の重要度因子を演算し、これら第１および第２の重要度因子に基づいて、最終的な重要度を求める。
【０１２１】
制御部１１０は、ステップＳＴ１３１において、処理を開始し、その後に、ステップＳＴ１３２の処理に移る。このステップＳＴ１３２において、制御部１１０は、顔検出部１３０から、各顔画像（各検出顔）の、サイズ情報、位置情報および傾き情報を取得する。なお、上述の顔画像検出の説明では、顔画像の傾き情報については説明していない。この顔画像の傾き情報については、以下のようにして、顔画像検出部１３０における顔画像の検出時に同時に得ることができる。
【０１２２】
すなわち、顔検出部１３０は、上述したように、アダブースト（AdaBoost）等の機械学習アルゴリズムにより学習された顔辞書を用いて顔画像の検出を行う際に、複数の顔の傾きに対応した顔辞書を並行して使用する。顔検出部１３０は、顔画像が検出されたとき、その検出で使用された顔辞書に対応付けられている顔の傾きを、検出された顔画像の傾きとする。なお、顔検出部１０２は、複数の顔辞書で測定された顔スコアSCORE_faが０より大きくなった場合、最も大きな顔スコアSCORE_faが得られる顔辞書に対応付けられている顔回転角度を、検出された顔画像の顔の傾きとする。顔検出部１３０は、図２４のステップＳＴ９７において、この顔画像の傾き情報も、記憶装置部に記憶する。
【０１２３】
図２８に戻って、次に、制御部１１０は、ステップＳＴ１３３において、各顔画像について、そのサイズと画面全体のサイズとの比（顔の割合）を計算し、メモリ（ＲＡＭ）１２１などに一時的に記憶する。そして、制御部１１０は、ステップＳＴ１３４において、ステップＳＴ１３３の計算結果に基づいて、画面全体に対する顔のサイズ比から想定される重要度を示す顔のサイズ重要度因子Ｗｓｉｚｅを、最初の顔画像（検出顔）について計算する。
【０１２４】
顔のサイズ重要度因子Ｗｓｉｚｅは、例えば、顔の割合ｒ＿ｓｉｚｅの大きさに応じて以下の（１０）〜（１２）式により計算される。なお、Ｒｆｂ１，Ｒｆｂ２はそれぞれ閾値であり、Ｒｆｂ１＜Ｒｆｂ２である。
【０１２５】
ｒ＿ｓｉｚｅ＞Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝１００［％］    …（１０）
Ｒｆｂ１≦ｒ＿ｓｉｚｅ≦Ｒｆｂ２のとき：
Ｗｓｉｚｅ＝１００＊（ｒ＿ｓｉｚｅ−Ｒｆｂ１）／（Ｒｆｂ２−Ｒｆｂ１）
…（１１）
ｒ＿ｓｉｚｅ＜Ｒｆｂ１のとき：
Ｗｓｉｚｅ＝０［％］        ……（１２）
【０１２６】
図２９には、顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応関係を示している。上記の式（１０）〜（１２）、および図２９によれば、画面に対する顔の割合ｒ＿ｓｉｚｅが一定の閾値Ｒｆｂ２を超えている場合には、撮影者がその顔を意図的に撮像対象としたものと判断して、顔のサイズ重要度因子Ｗｓｉｚｅを最大値の１００％としている。
【０１２７】
逆に、顔の割合ｒ＿ｓｉｚｅが一定のしきい値Ｒｆｂ１未満の場合には、その顔が撮像対象ではなく、他の顔や背景などが撮像対象になっていると判断して、顔のサイズ重要度因子Ｗｓｉｚｅを０％としている。また、顔の割合ｒ＿ｓｉｚｅがある範囲（Ｒｆｂ１〜Ｒｆｂ２）の場合には、その顔が撮像対象であるか否かについて明確な判断ができないため、その割合に応じて顔のサイズ重要度因子Ｗｓｉｚｅを連続的に変化させている。すなわち、顔の割合ｒ＿ｓｉｚｅが大きいほど、撮像対象である確率が高く、重要度が高いと判断する。
【０１２８】
次に、制御部１１０は、ステップＳＴ１３５において、顔のサイズ重要度因子Ｗｓｉｚｅが０％であるか否かを判定する。Ｗｓｉｚｅが０％でないとき、制御部１１０は、ステップＳＴ１３６の処理に移る。このステップＳＴ１３６において、制御部１１０は、予め設定された画面中心領域と顔画像との距離Ｌを計算する。そして、制御部１１０は、ステップＳＴ１３７において、画面内における顔の位置から想定される重要度を示す顔の位置重要度因子ＰｏｓＷを計算する。すなわち、制御部１１０は、距離Ｌに応じて、顔の位置重要度因子の最大値ＰｏｓＷｈと最小値ＰｏｓＷｌを計算する。
【０１２９】
次に、制御部１１０は、ステップＳＴ１３８において、挟角を計算する。この場合、制御部１１０は、顔の位置と傾きの情報に基づいて、顔から足への予測重心射線ＬｉｎｅＡと、顔から画面中心への射線ＬｉｎｅＢとがなす夾角ａｎｇを計算する。そして、制御部１１０は、ステップＳＴ１３９において、ステップＳＴ１３７の計算結果と、ステップＳＴ１３８の計算結果とに基づいて、顔の位置姿勢重要度因子Ｗｐｏｓを計算する。
【０１３０】
この顔の位置姿勢重要度因子Ｗｐｏｓは、画面内の顔の位置と傾きとから想定される重要度を示すものである。この顔の位置姿勢重要度因子Ｗｐｏｓの採る範囲は、ステップＳＴ１３６での計算結果に基づき、画面中心領域と顔画像との距離Ｌの値に応じて制限される。
【０１３１】
次に、制御部１１０は、ステップＳＴ１４０において、以下の（１３）式を用いて、各顔画像（各検出顔）についての最終的な重要度Ｗｆを計算する。
Ｗｆ＝Ｗｓｉｚｅ×Ｗｐｏｓ    …（１３）
【０１３２】
この（１３）式を用いることにより、顔の重要度Ｗｆは、画面上の顔画像の大きさ、位置、および傾きの３つのパラメータに基づいて算出される。
【０１３３】
なお、顔の重要度Ｗｆの計算式の変形例として、以下の（１４）式も考えられる。この（１４）式によれば、顔の重要度Ｗｆは、画面上の顔画像の大きさ、位置に基づいて算出される。
Ｗｆ＝（サイズ係数）×ｒ＿ｓｉｚｅ
−（ｘ係数）×（画面中心から検出顔までのｘ距離）
−（ｙ係数）×（画面中心から検出顔までのｙ距離）    …（１４）
【０１３４】
この（１４）式において、サイズ係数を大きくとることによって、撮像画像中で大きく映されている顔画像ほど、顔の重要度Ｗｆが大きくなり、注目顔画像（主要被写体）と判定され易くなる。また、（１４）式において、ｘ係数並びにｙ係数を大きくとることにより、撮像画像中で水平方向並びに垂直方向のそれぞれで真ん中に近い位置に存在するほど、顔の重要度Ｗｆが大きくなり、注目顔画像と判定され易くなる。
【０１３５】
また、制御部１１０は、ステップＳＴ１３５で顔のサイズ重要度因子Ｗｓｉｚｅが０％であったときには、ステップＳＴ１４１において、最終的な顔の重要度Ｗｆを０とする。制御部１１０は、ステップＳＴ１４０またはステップＳＴ１４１の処理を実行した後、ステップＳＴ１４２の処理に移る。このステップＳＴ１４２において、制御部１１０は、検出部１３０で検出された全ての顔画像について、顔の重要度Ｗｆの計算が終了したか否かを判断する。終了していないときは、ステップＳＴ１３４に戻って、次の顔画像（検出顔）について、同様に顔の重要度Ｗｆの計算を実行する。そして、全ての顔画像についての計算が終了したとき、制御部１１０は、ステップＳＴ１４３において、処理を終了する。
【０１３６】
なお、図２８のフローチャートのステップＳＴ１３６〜ステップＳＴ１３９の処理の詳細に関しては、本出願人による先願である特開２００７−２０１９８０号公報に記載されている。
【０１３７】
制御部１１０は、上述の（１３）式または（１４）式を用いて、各顔画像（各検出顔）について顔の重要度Ｗｆを計算する。そして、最も重要度の高い顔画像を、注目顔画像として特定する。なお、顔の重要度Ｗｆの計算式は、上述の（１３）式、（１４）式に限定されるものではない。
【０１３８】
笑顔シャッターモードにおいては、このように特定された注目顔画像に対して、制御部１１０は、その位置の安定を判断する。また、制御部１１０は、当該注目顔画像の検出枠に対応した画像情報を解析して、フォーカス調整および露出調整を行って、モニタリング状態から笑顔待ち状態に移行する。
【０１３９】
以上説明したように、図１、図２に示す撮像装置１０においては、笑顔シャッターモードにあるとき、撮像画像に含まれる顔画像が検出されると、撮像部におけるフォーカスおよび露出に係る撮像パラメータが設定されて笑顔待ち状態となり、この状態で笑顔が検出されたとき撮影が行われる。
【０１４０】
この場合、笑顔待ち状態において、注目顔画像のサイズ変化、注目顔画像の消失、変更、撮像画像の明るさ変化、ユーザによるズーム操作、露出調整等がある場合には、被写体の状態変化があったと判断されて、モニタリング状態に戻り（図４参照）、撮像部におけるフォーカスおよび露出に係る撮像パラメータの再設定が行われる。そのため、被写体の状態変化があるとき、例えば注目顔画像（主要被写体）にピントが合わない状態で自動撮影が行われる等ということがなく、常に良好な状態で自動撮影が行われる。
【０１４１】
また、図１、図２に示す撮像装置１０においては、笑顔シャッターモードの笑顔待ち状態にあるとき、被写体の状態変化があってモニタリング状態に戻り、撮像部におけるフォーカスおよび露出に係る撮像パラメータの再設定が行われる際には、その旨が、ＬＥＤ２２の点滅発光、あるいはモニタ１３、ビューファインダ１７への文字表示などによって、被写体側および撮影者側に報知される。そのため、例えば、被写体側では、当該報知により、撮像部におけるフォーカスおよび露出に係る撮像パラメータの再設定が行われることがわかるので、笑顔のままずっと待っているということを回避できる。
【０１４２】
また、図１、図２に示す撮像装置１０においては、笑顔シャッターモードにあるとき、ユーザ操作部で行われるシャッター操作に基づいて、一時的に通常撮影モードに遷移し（図１０、図１１参照）、撮影を行うことができる。これにより、笑顔シャッターモードにある場合にあっても、撮影者は、必要に応じて、適宜撮影を行うことができる。なお、撮像部におけるフォーカスおよび露出に係る撮像パラメータが既に設定されている笑顔待ち状態でシャッター操作があった場合、通常撮影モードの固定状態に遷移する場合には（図１１の経路Ｐ６参照）、撮像部におけるフォーカスおよび露出に係る撮像パラメータの設定を経ずに撮影を行うことができるので、シャッターチャンスを逃さずに撮影を行うことができる。
【０１４３】
また、図１，図２に示す撮像装置１０においては、笑顔シャッターモードにあるとき、モニタリング状態で顔画像が検出されるとき、フォーカス調整および露出調整が行われて、撮像部におけるフォーカスおよび露出に係る撮像パラメータが設定された後に、笑顔待ち状態に移行する。図１，図２に示す撮像装置１０においては、このフォーカス調整および露出調整は、顔画像の移動が停止し、その位置が安定した後に行われる。そのため、例えば、最終的な顔画像位置にピントが合わない状態で撮像部における撮像パラメータが設定されるということがなくなる。
【０１４４】
なお、上述実施の形態においては、撮像画像から検出される特定画像が顔画像であるものを示したが、この発明は、撮像画像から顔画像以外の特定物体画像（例えば、犬、猫などの動物）を検出し、当該特定物体画像が特定状態（例えば、犬、猫などの動物の特定の姿勢）となるとき自動的に撮影を行う撮像装置にも同様に適用できる。また、上述実施の形態においては、顔画像から検出される特定の表情が笑顔であるものを示したが、その他の表情、例えば泣き顔、怒り顔等であってもよい。
【０１４５】
また、上述実施の形態においては、注目顔画像のサイズ変化、注目顔画像の消失、変更、撮像画像の明るさ変化、ユーザによるズーム操作、露出調整等がある場合に、被写体の状態変化があったと判断するが、被写体の状態変化があったと判断する場合（態様）はこれに限定されない。撮像部におけるフォーカス、露出に係る撮像パラメータの再設定を行うことが必要となる、その他の場合にあっても同様に被写体の状態変化があったと判断するようにしてもよい。
【０１４６】
また、上述実施の形態においては、笑顔シャッターモードの笑顔待ち受け状態にあるとき、被写体の状態変化があったと判断される場合には、撮像部におけるフォーカス、露出に係る撮像パラメータの再設定を行うものを示したが、必ずしもフォーカス、露出の双方に係る撮像パラメータの再設定を行う必要はなく、いずれか一方のみを再設定することも考えられる。あるいは、これらフォーカス、露出に係る撮像パラメータの他に、ホワイトバランス等の画質に係る撮像パラメータの再設定も行われるようにしてもよい。
【産業上の利用可能性】
【０１４７】
この発明は、被写体の状態変化があっても常に良好な状態で自動撮影が行われるものであり、デジタルスチルカメラ等の静止画撮影が可能な撮像装置に適用できる。
【図面の簡単な説明】
【０１４８】
【図１】実施の形態としての撮像装置の外観構成例を示す図である。
【図２】実施の形態としての撮像装置の内部構成例を示すブロック図である。
【図３】撮像装置の通常撮影モードにおける状態遷移図である。
【図４】撮像装置の笑顔シャッターモードにおける状態遷移図である。
【図５】笑顔シャッターモードにおいて、顔画像の位置が安定した後に、アイリス調整（ＡＦ）および露出調整（ＡＥ）を行って、笑顔待ち状態となることを説明するための図である。
【図６】注目顔画像のサイズ変化が閾値Ｔｈ１以上に変化したとき被写体の状態が変化したものとする、ことを説明するための図である。
【図７】注目顔画像が撮像画像から消失したとき被写体の状態が変化したものとする、ことを説明するための図である。
【図８】注目顔画像が他の顔画像に変更されたとき被写体の状態が変化したものとする、ことを説明するための図である。
【図９】撮像画像の明るさが変化したとき被写体の状態が変化したものとする、ことを説明するための図である。
【図１０】笑顔シャッターモード（モニタリング状態）におけるシャッター操作時の状態遷移を説明するための図である。
【図１１】笑顔シャッターモード（笑顔待ち状態）におけるシャッター操作時の状態遷移を説明するための図である。
【図１２】笑顔シャッターモードのモニタリング状態にある場合における制御部の処理動作の一例を示すフローチャートである。
【図１３】笑顔シャッターモードの笑顔待ち状態にある場合における制御部の処理動作の一例を示すフローチャートである。
【図１４】笑顔シャッターモードの笑顔待ち状態にある場合における制御部の処理動作の他の例を示すフローチャートである。
【図１５】笑顔シャッターモードにおける制御部の制御処理を示すフローチャートである。
【図１６】笑顔シャッターモードにおける制御部の制御処理（顔検出、顔位置安定判断、フォーカス調整および露出調整）を示すフローチャートである。
【図１７】笑顔シャッターモードにおける制御部の制御処理（笑顔判断、被写体状態変化、撮像パラメータの再設定報知、撮影）を示すフローチャートである。
【図１８】フォーカス調整における合焦動作として実行されるレンズ駆動、ＡＦ評価値取得処理例について説明するための図である。
【図１９】顔検出部における顔画像の検出動作を説明するための図である。
【図２０】顔画像検出のために撮像画像ＩＭ-0上に設定される検出枠ＦＲ-faを説明するための図である。
【図２１】顔画像検出時に用いる顔辞書と、この顔辞書を用いた顔スコアSCORE_faの測定を説明するための図である。
【図２２】顔辞書の各組の位置情報と検出枠ＦＲ-faとの関係を説明するための図である。
【図２３】顔画像検出時に使用する撮像画像ＩＭ-0と、その縮小画像ＩＭ-0a，ＩＭ-0b，・・・を示す図である。
【図２４】顔検出部における顔画像検出処理の手順を示すフローチャートである。
【図２５】顔検出部における笑顔スコアの算出時に行われる顔画像ＩＭ-2に対する正規化処理を説明するための図である。
【図２６】笑顔辞書と、この笑顔辞書を用いた笑顔スコアSCORE_smの測定を説明するための図である。
【図２７】笑顔辞書を用いた笑顔スコアSCORE_smの測定処理の手順を示すフローチャートである。
【図２８】撮像画像に対応した画像情報から検出された顔画像のサイズおよび位置の情報に基づいて顔重要度を求めるための処理手順の一例を示すフローチャートである。
【図２９】顔の割合ｒ＿ｓｉｚｅと顔のサイズ重要度因子Ｗｓｉｚｅとの対応関係を示す図である。
【符号の説明】
【０１４９】
１０・・・撮像装置、１１・・・電源スイッチ、１２・・・レリーズスイッチ、１３・・・モニタ、１４・・・イメージャ、１５・・・ズームボタン、１６・・・操作ボタン、１７・・・ビューファインダ、１８・・・フォーカスレンズ、１９・・・ズームレンズ、２０・・・モードダイアル、２１・・・アイリス、２２・・・ＬＥＤ、１０４・・・アナログ信号処理部、１０５・・・Ａ／Ｄ変換部、１０８・・・デジタル信号処理部、１１０・・・制御部、１１１・・・ジャイロ、１１２・・・モータドライバ、１１３・・・ズームレンズ駆動モータ、１１４・・・フォーカスレンズ駆動モータ、１１５・・・記録デバイス、１１６・・・アイリスドライバ、１１８・・・操作部、１１９・・・メモリ（ＥＥＰＲＯＭ）、１２０・・・メモリ（ＲＯＭ）、１２１・・・メモリ（ＲＡＭ）、１３０・・・顔検出部
【図１】
2010041255.tif 000004
【図２】
2010041255.tif 000005
【図３】
2010041255.tif 000006
【図４】
2010041255.tif 000007
【図６】
2010041255.tif 000008
【図７】
2010041255.tif 000009
【図８】
2010041255.tif 000010
【図９】
2010041255.tif 000011
【図１０】
2010041255.tif 000012
【図１１】
2010041255.tif 000013
【図１２】
2010041255.tif 000014
【図１３】
2010041255.tif 000015
【図１４】
2010041255.tif 000016
【図１５】
2010041255.tif 000017
【図１６】
2010041255.tif 000018
【図１７】
2010041255.tif 000019
【図１８】
2010041255.tif 000020
【図１９】
2010041255.tif 000021
【図２０】
2010041255.tif 000022
【図２１】
2010041255.tif 000023
【図２２】
2010041255.tif 000024
【図２３】
2010041255.tif 000025
【図２４】
2010041255.tif 000026
【図２５】
2010041255.tif 000027
【図２６】
2010041255.tif 000028
【図２７】
2010041255.tif 000029
【図２８】
2010041255.tif 000030
【図２９】
2010041255.tif 000031
【図５】
2010041255.tif 000032