(57)【要約】【課題】撮像画像を鑑賞しながら識別表示された顔部分をランダムに表示するモードを起動するとともに、その起動タイミングを複数の条件から設定する。【解決手段】被写体を撮像して撮像画像を得る撮像手段と、撮像画像から複数の人物の顔部分を検出する顔検出手段と、検出された複数の顔部分の中から所定数の顔部分を選択する選択手段と、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、選択手段による新たな顔部分の選択動作を繰り返し実行させる選択制御手段と、選択手段により選択された顔部分を自動化処理の対象とし、選択制御手段の制御によって選択されている顔部分が変更されるのに対応して自動化処理の内容を変更する自動化処理手段と、を備える。【選択図】図３
2008244976.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して撮像画像を得る撮像手段と、
該撮像画像から複数の人物の顔部分を検出する顔検出手段と、
該検出された複数の顔部分の中から所定数の顔部分を選択する選択手段と、
撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記選択手段による新たな顔部分の選択動作を繰り返し実行させる選択制御手段と、
前記選択手段により選択された顔部分を自動化処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して自動化処理の内容を変更する自動化処理手段と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記選択された顔部分を自動化処理の対象として自動化処理が行われた画像を記録する画像記録手段と、
を備えたことを特徴とする請求項１に記載の撮像装置。
【請求項３】
動画の撮影記録中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更し、
前記画像記録手段は、逐次変更される顔部分を自動化処理の対象として自動化処理が行われたフレームを含んで動画像を記録することを特徴とする請求項２に記載の撮像装置。
【請求項４】
スルー画像の撮影中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更することを特徴とする請求項１に記載の撮像装置。
【請求項５】
スルー画像の撮影および表示中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更し、
前記画像記録手段は、前記自動化処理手段による自動化処理の内容が変更される毎に静止画の撮影記録を行うことを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記変化条件は、前記撮影フレーム内に検出される複数の人物の構成が所定以上に変化する条件を含むことを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項７】
前記変化条件は、前記選択手段により前回の選択動作を行ってから、所定時間経過後である条件を含むことを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項８】
前記変化条件は、前記選択手段により前回選択された前記顔部分が前記撮影フレーム内あるいは再生フレーム内から外れる条件を含むことを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項９】
前記変化条件が、前記撮影フレーム内に、前記選択手段により過去に選択されたことがない前記顔部分が存在する場合であることを特徴とする請求項１から５のいずれかに記載の撮像装置。
【請求項１０】
前記選択手段は、前記検出された複数の顔部分の中から所定数の顔部分をランダムに選択することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１１】
前記選択手段は、前記検出された複数の顔部分の中から過去に未選択の顔部分を優先して選択することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１２】
前記選択手段は、前記検出された複数の顔部分の中から顔部分を１つ選択することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１３】
前記選択手段は、前記検出された複数の顔部分の中から顔部分を複数選択し、
前記自動化処理手段は、複数の顔部分が選択された場合に、被写界深度が深くなるように絞り値を設定することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１４】
前記自動化処理手段は、前記選択手段により選択された顔部分をオートフォーカス処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応してフォーカス位置を変更することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１５】
前記自動化処理手段は、前記選択手段により選択された顔部分を自動露出処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して露出条件を変更することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１６】
前記自動化処理手段は、前記選択手段により選択された顔部分を自動色調整処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して色調整処理の内容を変更することを特徴とする請求項１から９のいずれかに記載の撮像装置。
【請求項１７】
被写体を撮像して撮像画像を得る撮像手段と、
前記撮像手段により得られた撮影画像を記録保存する画像記録手段と、
前記撮像手段により得られた撮像画像から複数の人物の顔部分を検出する顔検出手段と、
前記撮像手段により逐次取得される撮影画像を対象として前記顔検出手段による顔部分の検出を行い、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、その撮影フレームに対応する撮影画像を前記画像記録手段によって記録保存させる自動記録手段と、
を備えたことを特徴とする撮像装置。
【請求項１８】
被写体を撮像して撮像画像を得る第１のステップと、
該撮像画像から複数の人物の顔部分を検出する第２のステップと、
該検出された複数の顔部分の中から所定数の顔部分を選択する第３のステップと、
前記選択された顔部分を自動化処理の対象とする第４のステップと、
該自動化処理の対象として決定された顔部分を対象として自動化処理を実行する第５のステップと、
撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記第３のステップから前記第５のステップまでを繰り返し実行させる第６のステップと、
を備えたことを特徴とする撮像画像の撮影記録方法。
【請求項１９】
撮像装置が備えるコンピュータに、
被写体を撮像して撮像画像を得る第１のステップと、
該撮像画像から複数の人物の顔部分を検出する第２のステップと、
該検出された複数の顔部分の中から所定数の顔部分を選択する第３のステップと、
前記選択された顔部分を自動化処理の対象とする第４のステップと、
該自動化処理の対象として決定された顔部分を対象として自動化処理を実行する第５のステップと、
撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記第３のステップから前記第５のステップまでを繰り返し実行させる第６のステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像画像の表示方法およびプログラムに関し、特に、撮像フレーム内で自動化処理の対象となる人物の選択を行う撮像装置、撮像画像の撮影記録方法およびプログラムに関する。
【背景技術】
【０００２】
近年、デジタルカメラの急速な普及に伴い、様々な機能を搭載したデジタルカメラが登場しており、フォーカス対象となる被写体を自動選択するオートフォーカスの機能や、撮影記録のタイミングを自動決定する機能などの性能が向上してきている。  
【０００３】
また、撮影画像データ中の人物の顔を検出する画像処理の技術がデジタルカメラにも利用されるようになってきた。
【０００４】
また、上記の技術を用いて、撮像フレーム内から人物の顔部分を検出し、この顔部分に対して自動的にフォーカスを合わせるようにした撮像装置も提案されている（例えば、特許文献１参照。）。
【特許文献１】特開２００６−２０８４４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来は１回の撮影だけを対象としており、撮影フレーム内に複数の人物が存在するような場合に、様々な人々にまんべんなくフォーカスや露出条件、または色バランスを合わせたり、様々な人物の組み合わせでまんべんなく複数回の撮影を行うことには、大変な手間がかかり、現実的に、そのような撮影記録を行うことは困難であった。
【０００６】
そこで、本発明は、上述の課題に鑑みてなされたものであり、顔部分の検出技術を用いて、撮影フレーム内に複数の人物が存在するような場合に、様々な人々にまんべんなくフォーカスや露出条件、および色バランスを合わせたり、様々な人物の組み合わせでまんべんなく複数回の撮影を行う撮像装置、撮像画像の撮影記録方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記の課題を解決するために以下の事項を提案している。
（１）本発明は、被写体を撮像して撮像画像を得る撮像手段と、該撮像画像から複数の人物の顔部分を検出する顔検出手段と、該検出された複数の顔部分の中から所定数の顔部分を選択する選択手段と、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記選択手段による新たな顔部分の選択動作を繰り返し実行させる選択制御手段と、前記選択手段により選択された顔部分を自動化処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して自動化処理の内容を変更する自動化処理手段と、を備えたことを特徴とする撮像装置を提案している。
【０００８】
（２）本発明は、（１）の撮像装置について、前記選択された顔部分を自動化処理の対象として自動化処理が行われた画像を記録する画像記録手段と、を備えたことを特徴とする撮像装置を提案している。
【０００９】
（３）本発明は、（２）の撮像装置について、動画の撮影記録中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更し、前記画像記録手段は、逐次変更される顔部分を自動化処理の対象として自動化処理が行われたフレームを含んで動画像を記録することを特徴とする撮像装置を提案している。
【００１０】
（４）本発明は、（１）の撮像装置について、スルー画像の撮影中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更することを特徴とする撮像装置を提案している。
【００１１】
（５）本発明は、（２）の撮像装置について、スルー画像の撮影および表示中に、前記選択制御手段を作動させて前記自動化処理手段による自動化処理の内容を逐次変更し、前記画像記録手段は、前記自動化処理手段による自動化処理の内容が変更される毎に静止画の撮影記録を行うことを特徴とする撮像装置を提案している。
【００１２】
（６）本発明は、（１）から（５）の撮像装置について、前記変化条件は、前記撮影フレーム内に検出される複数の人物の構成が所定以上に変化する条件を含むことを特徴とする撮像装置を提案している。
【００１３】
（７）本発明は、（１）から（５）の撮像装置について、前記変化条件は、前記選択手段により前回の選択動作を行ってから、所定時間経過後である条件を含むことを特徴とする撮像装置を提案している。
【００１４】
（８）本発明は、（１）から（５）の撮像装置について、前記変化条件は、前記選択手段により前回選択された前記顔部分が前記撮影フレーム内あるいは再生フレーム内から外れる条件を含むことを特徴とする撮像装置を提案している。
【００１５】
（９）本発明は、（１）から（５）の撮像装置について、前記変化条件が、前記撮影フレーム内に、前記選択手段により過去に選択されたことがない前記顔部分が存在する場合であることを特徴とする撮像装置を提案している。
【００１６】
（１０）本発明は、（１）から（９）の撮像装置について、前記選択手段は、前記検出された複数の顔部分の中から所定数の顔部分をランダムに選択することを特徴とする撮像装置を提案している。
【００１７】
（１１）本発明は、（１）から（９）の撮像装置について、前記選択手段は、前記検出された複数の顔部分の中から過去に未選択の顔部分を優先して選択することを特徴とする撮像装置を提案している。
【００１８】
（１２）本発明は、（１）から（９）の撮像装置について、前記選択手段は、前記検出された複数の顔部分の中から顔部分を１つ選択することを特徴とする撮像装置を提案している。
【００１９】
（１３）本発明は、（１）から（９）の撮像装置について、前記選択手段は、前記検出された複数の顔部分の中から顔部分を複数選択し、前記自動化処理手段は、複数の顔部分が選択された場合に、被写界深度が深くなるように絞り値を設定することを特徴とする撮像装置を提案している。
【００２０】
（１４）本発明は、（１）から（９）の撮像装置について、前記自動化処理手段は、前記選択手段により選択された顔部分をオートフォーカス処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応してフォーカス位置を変更することを特徴とする撮像装置を提案している。
【００２１】
（１５）本発明は、（１）から（９）の撮像装置について、前記自動化処理手段は、前記選択手段により選択された顔部分を自動露出処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して露出条件を変更することを特徴とする撮像装置を提案している。
【００２２】
（１６）本発明は、（１）から（９）の撮像装置について、前記自動化処理手段は、前記選択手段により選択された顔部分を自動色調整処理の対象とし、前記選択制御手段の制御によって選択されている顔部分が変更されるのに対応して色調整処理の内容を変更することを特徴とする撮像装置を提案している。
【００２３】
（１７）本発明は、被写体を撮像して撮像画像を得る撮像手段と、前記撮像手段により得られた撮影画像を記録保存する画像記録手段と、前記撮像手段により得られた撮像画像から複数の人物の顔部分を検出する顔検出手段と、前記撮像手段により逐次取得される撮影画像を対象として前記顔検出手段による顔部分の検出を行い、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、その撮影フレームに対応する撮影画像を前記画像記録手段によって記録保存させる自動記録手段と、を備えたことを特徴とする撮像装置を提案している。
【００２４】
（１８）本発明は、被写体を撮像して撮像画像を得る第１のステップと、該撮像画像から複数の人物の顔部分を検出する第２のステップと、該検出された複数の顔部分の中から所定数の顔部分を選択する第３のステップと、前記選択された顔部分を自動化処理の対象とする第４のステップと、該自動化処理の対象として決定された顔部分を対象として自動化処理を実行する第５のステップと、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記第３のステップから前記第５のステップまでを繰り返し実行させる第６のステップと、を備えたことを特徴とする撮像画像の撮影記録方法を提案している。
【００２５】
（１９）本発明は、撮像装置が備えるコンピュータに、被写体を撮像して撮像画像を得る第１のステップと、該撮像画像から複数の人物の顔部分を検出する第２のステップと、該検出された複数の顔部分の中から所定数の顔部分を選択する第３のステップと、前記選択された顔部分を自動化処理の対象とする第４のステップと、該自動化処理の対象として決定された顔部分を対象として自動化処理を実行する第５のステップと、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、前記第３のステップから前記第５のステップまでを繰り返し実行させる第６のステップと、を実行させるためのプログラムを提案している。
【発明の効果】
【００２６】
本発明によれば、撮影フレーム内に検出される複数の人物の構成の変化が、予め定められた変化条件に一致する毎に、撮影フレーム内の新たな顔部分を選択してオートフォーカスや露出条件、および色バランスの対象とする動作を繰り返し実行する。そのため、撮影フレーム内に複数の人物が存在する状況で、様々な人々にまんべんなくフォーカスや露出条件、および色バランスを合わせたり、様々な人物の組み合わせでまんべんなく複数回の撮影し、記録することができるという効果がある。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の実施形態について、図面を用いて、詳細に説明する。
なお、本実施形態における構成要素は適宜、既存の構成要素等との置き換えが可能であり、また、他の既存の構成要素との組合せを含む様々なバリエーションが可能である。したがって、本実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。
【００２８】
＜撮像装置の外観構成＞
図１を用いて、本実施形態に係る撮像装置（デジタルカメラ１）の外観構成を説明する。
図１は、本実施形態に係るデジタルカメラ１の正面図及び背面図である。この図において、特に限定しないが、デジタルカメラ１は、箱形のカメラボディ２の前面に沈胴式のレンズ鏡筒３と、ストロボ発光窓４と、ファインダ前面窓５と、録音用の集音穴６などを配置すると共に、カメラボディ２の上面にシャッターボタン７及び電源スイッチ８などを配置している。
【００２９】
また、カメラボディ２の背面には、音声用の拡声穴９と、ファインダ後面窓１０と、モード切り換えスイッチ１１と、ズーム操作スイッチ１２と、ＭＥＮＵボタン１３と、カーソルキー１４と、ＳＥＴボタン１５と、ＤＩＳＰボタン１６及び液晶モニター１７などが配置されている。
【００３０】
さらに、カメラボディ２の底面にカバー１８を設け、このカバー１８を開くことによってカメラボディ２の内部に実装されたバッテリ１９やカード型メモリまたはカード型ハードディスクなどの大容量の外部メモリ２０を着脱できるようになっている。
【００３１】
＜撮像装置の電気的構成＞
図２は、本実施形態に係るデジタルカメラ１の内部ブロック図である。
この図において、デジタルカメラ１は、機能毎に、音声入力系２１と、撮像系２２と、制御系２３と、音声出力系２４と、画像記憶系２５と、表示系２６及び操作系２７などに分類することができる。
【００３２】
音声入力系２１は、ボディ２前面の収音穴６の後ろに配置されたマイク２８と、このマイク２８で拾った音を増幅するアンプ２９と、アンプ２９で増幅されたアナログの音声信号をデジタル信号に変換するＡ／Ｄ変換部３０と、デジタル変換された音声信号を一時的に記憶する音声メモリ３１とを備えている。
【００３３】
撮像系２２は、ボディ２前面のレンズ鏡筒３に収められたズーム機能及びオートフォーカス機能付の撮影レンズ群３２と、この撮影レンズ群３２を通過した被写体像を二次元の画像信号に変換するＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などからなる電子撮像部３３と、この電子撮像部３３からの画像信号に対して所要の画像処理を施す映像処理部３４と、画像処理後の画像信号を一時的に記憶する画像メモリ３５とを備えている。
【００３４】
また、図示しないレンズ鏡筒３内のフォーカス機構を駆動するフォーカス駆動部３６と、同ズーム機構を駆動するズーム駆動部３７と、ボディ２前面のストロボ発光窓４に設けられたストロボ３８と、このストロボ３８を駆動するストロボ駆動部３９と、これらの各部（電子撮像部３３、映像処理部３４、フォーカス駆動部３６、ズーム駆動部３７、ストロボ駆動部３９）を制御するための撮影制御部４０とを備えている。
【００３５】
制御系２３は、上記の各系を制御してデジタルカメラ１の動作を集中的にコントロールするワンチップマイクロプロセッサを用いた制御回路４１を備えている。なお、本実施形態においては、電子撮像部３３により撮像された撮像画像から、人物の顔画像を検出する検出機能、後述する動作モードや自動選択動作の開始条件、同時選択人数の決定条件、自動選択条件等を決定する機能、新たに検出された顔画像と、その検出された位置情報とをリストに記憶させる機能、検出された顔画像を追跡し、位置情報と合わせてリストに記憶させる機能、自動選択条件に基づいて、検出リストから選択された顔画像をフォーカスの対象とする機能等も実行する。
【００３６】
また、制御回路４１の動作に必要な各種プログラムを不揮発的に記憶するプログラムメモリ４２と、ユーザ固有のデータ等を不揮発的且つ書き換え可能に記憶するユーザデータメモリ４３と、を備えている。なお、本実施形態においては、ユーザデータメモリ４３内に、動作モードのデータテーブルや自動選択の開始条件に関するデータテーブル、同時選択人数の決定条件を定めたデータテーブル、自動選択条件を定めたデータテーブル等が格納されている。
【００３７】
音声出力系２４は、制御回路４１から適宜に出力される音声データをアナログの音声信号に変換するＤ／Ａ変換部４４と、この音声信号を増幅するアンプ４５と、増幅された音声信号を拡声するためにボディ背面の拡声穴９の近くに設けられたスピーカ４６とを備える。なお、“音声”とは、肉声に限らず、その他の環境音等であってもよく、または、肉声と環境音等との混合音であってもよい。
【００３８】
画像記憶系２５は、画像データ（静止画データ及び動画データ）や音声データの汎用的な符号化方式（たとえば、静止画データにあってはＥｘｉｆ−ＪＰＥＧ又はその互換形式、動画や音声データにあってはＭＰＥＧ又はその互換形式など）でデータの圧縮（符号化）と伸張（復号）を行う圧縮符号化・伸張復号部４７と、符号化された画像データや音声データを書き換え可能に記憶する外部メモリ２０とを備えている。
【００３９】
表示系２６は、制御回路４１から適宜に出力される表示データを所定の表示フォーマット（液晶モニター１７の解像度に適合した表示フォーマット）に変換する表示制御部４８と、表示制御部４８の出力信号を表示するためにボディ背面に設けられた液晶モニター１７とを備えている。
【００４０】
なお、液晶モニター１７は“液晶”に限らず、デジタルカメラ１のような携帯電子機器に搭載可能な平面表示デバイスであればよく、たとえば、液晶モニター１７を有機ＥＬディスプレイと読み替えてもよい。また、本実施形態においては、上記液晶モニター１７に後述する検出リストから選択された顔画像がフォーカス対象として選択表示される。
【００４１】
操作系２７は、ボディ上面のシャッターボタン７や背面のモード切り換えスイッチ１１、ズーム操作スイッチ１２、ＭＥＮＵボタン１３、カーソルキー１４、ＳＥＴボタン１５及びＤＩＳＰボタン１６などを含む操作入力部４９と、この操作入力部４９からの操作信号を制御回路４１に入力するための入力回路５０とを備える。また、本実施形態においては、動作モードや自動選択動作の開始条件、同時選択人数の決定条件、自動選択条件等を設定するためにも用いられる。
【００４２】
＜機能ブロックの構成＞
次に、図３を用いて、本実施形態に係る撮像装置内の主要機能ブロックについて説明する。
本実施形態に係る撮像装置内の主要機能ブロックは、図３に示すように、顔画像検出部１０１と、検出リスト１０２と、条件記憶部１０３と、条件設定部１０４と、選択制御部４８と、表示部１０６と、撮影制御部４０とから構成されている。
【００４３】
なお、顔画像検出部１０１は、図２における撮像装置の制御回路４１内に設けられ、検出リスト１０２および起動条件記憶部１０３は、図２における撮像装置のユーザデータメモリ４３に設けられ、起動条件設定部１０２は、図２における撮像装置の操作入力部４５内に設けられている。
【００４４】
顔画像検出部１０１は、電子撮像部３３において撮像された撮像画像から、人物の顔画像を検出し、顔画像を抽出する。なお、画像内の顔部分を検出する具体的な方法については、公知技術を利用することができるため、その詳細な説明は省略するが、例えば、人間の顔に共通する特徴情報を予め記憶しておき、撮影された画像の各部から抽出される特徴情報を予め記憶されている特徴情報と比較して所定以上の類似度を有する画像部分を顔と判断するような方法がある。ここで、特徴情報としては、一般的に肌色などの色や顔のパーツの相対的な位置関係などの情報を用いる。
【００４５】
また、連続して顔画像の検出を行う場合には、直前に検出された顔画像の位置や大きさなどの情報を利用して動きのある顔部分を追従することにより、検出の精度や効率を向上させるトラッキング動作を行う方法もある。
【００４６】
検出リスト１０２は、画像データ内で新たに検出された顔画像とその位置情報および追従している顔画像およびその位置情報を記録、更新しているリストである。条件記憶部１０３は、動作モードのデータテーブルや自動選択の開始条件に関するデータテーブル、同時選択人数の決定条件を定めたデータテーブル、自動選択条件を定めたデータテーブル等を記憶する。
【００４７】
動作モードのデータテーブルは、図４に示すように、ルーレットモードを実行する動作モードが記載されている。具体的には、「動画撮影時のフォーカス対象自動選択モード」では、動画撮影中に顔画像の自動選択を行い、自動選択された顔画像に逐次フォーカスを合わせていく。また、「静止画の撮影タイミングの自動決定モード」では、モニター表示中に顔画像の自動選択を行い、自動選択された顔画像にフォーカスを合わせた後に静止画の自動撮影を実行する。
【００４８】
自動選択動作の開始条件に関するデータテーブルは、図５に示すように、１）前回の自動選択実行時に選択された顔画像が現在は検出（追従）されなくなった、２）現在、検出（追従）されている全ての顔画像の数が３以上、３）前回の自動選択実行時に検出（追従）されていた全ての顔画像の数と現在、検出（追従）されている全ての顔画像の数との差が２以上、４）前回の自動選択実行時には検出（追従）されていたが、現在は検出（追従）できなくなった顔画像の数が２以上、５）前回の自動選択実行時には検出（追従）されていなかったが、新たに検出（追従）した顔画像の数が２以上、６）ランダム、７）健在、検出（追従）されている顔画像の中で過去に未選択の顔画像が存在する、８）前回の自動選択実行時からの経過時間が４秒以上、等の条件が示されており、ユーザは、これらの条件を適宜、ＡＮＤあるいはＯＲ等によって組み合わせて選択することができる。また、上記の数値部分については、ユーザが任意に設定することができる。
【００４９】
同時選択人数の決定条件に関するデータテーブルは、顔画像の識別表示（ルーレットモード）を実行する人数を決定するものであり、図６に示すように、１）１人（固定）、２）２人（固定）、３）自動選択実行時に検出（追従）されている全ての顔画像の数の１割の数、４）ランダム等の条件が示されている。
【００５０】
自動選択条件に関するデータテーブルは、同時選択人数の決定条件に関するデータテーブルにより選択された人数の顔画像をどのように選択するかについての条件を示すものであり、図７に示すように、１）現在、検出（追従）されている全ての顔画像の中からランダムに選択、２）過去に未選択の顔画像の中からランダムに選択、３）過去に未選択の顔の中で最も早く検出された顔画像、４）過去に未選択の顔画像の中で、カメラからの距離が最も近い顔画像等の条件が示されている。
【００５１】
条件設定部１０４は、上述の条件記憶部１０３に格納された動作モードのデータテーブル、自動選択の開始条件に関するデータテーブル、同時選択人数の決定条件を定めたデータテーブル、自動選択条件を定めたデータテーブルからユーザが任意に選択する条件を設定する。選択制御部４８は、条件設定部１０４において設定された各種条件に基づいて、検出リスト１０２を参照して、顔画像を選択するための制御を行う。表示部１０６は、選択制御部４８の制御に基づいて、動画像あるいは静止画を表示しつつ、選択された顔画像を識別表示する。撮影制御部４０は、選択制御部４８において選択された顔画像をフォーカスの対象としてフォーカス駆動部３６を制御したり、選択制御部４８による選択タイミングに合わせて撮影記録のタイミングを制御する。
【００５２】
＜動画撮影時の処理動作＞
図８を参照して、動画撮影時の処理動作について説明する。
まず、ユーザが条件設定部１０４を用いて、条件記憶部１０３に格納されている動作モードのデータテーブル、自動選択の開始条件に関するデータテーブル、同時選択人数の決定条件を定めたデータテーブル、自動選択条件を定めたデータテーブルから任意にそれぞれの条件を設定する（ステップＳ１０１）。
【００５３】
次に、制御回路４１が、動画撮影の開始を指示されたか否かを判定し（ステップＳ１０２）、動画撮影の開始が指示されていない場合（ステップＳ１０２の「Ｎｏ」）には、リターンして待機する。一方、動画撮影の開始を指示されている場合（ステップＳ１０２の「Ｙｅｓ」）には、動画撮影の終了が指示されたか否かを判定する（ステップＳ１０３）。
【００５４】
また、ステップＳ１０３で、動画撮影の終了が指示されている場合（ステップＳ１０３の「Ｙｅｓ」）には、撮像して得られた複数のフレーム画像を動画データとして記録して全体の処理を終了し、動画撮影の終了が指示されていない場合（ステップＳ１０３の「Ｎｏ」）には、次の新たな動画フレーム用の画像データを撮像する（ステップＳ１０４）。
【００５５】
そして、顔画像検出部１０１によって新たに撮像される画像データ内より顔画像が検出されるが、現在トラッキング中の顔画像が現在の画像データ内に存在している場合には、その顔画像に対するトラッキングを継続し、検出リスト１０２内の位置情報を更新する。一方で、過去にトラッキングを行っていたが、現在の画像データ内に存在しない顔画像については、検出リスト１０２から削除する（ステップＳ１０５）。なお、ここで、トラッキングとは、過去に撮像した動画フレーム内で検出された顔画像をその位置が変化しても追従していることをいう。
【００５６】
また、画像データから新たな顔画像を検出し（ステップＳ１０６）、検出した顔画像の識別番号と検出位置情報とを検出リスト１０２に追加する（ステップＳ１０７）。なお、新たな顔画像の検出方法としては、既に検出済みの顔画像が存在しない画像領域を対象とし、まず、肌色部分を検出した後、検出した肌色の領域内に目や鼻、口等に相当する部分があるか否かを判定し、相当する部分がある場合には、その肌色部分を顔画像とみなす。
【００５７】
次に、選択制御部４８によって検出リスト１０２で示される複数の顔画像の検出状況が、ユーザの設定した自動選択動作の開始条件に合致しているか否かが判断され（ステップＳ１０８）、合致していない場合（ステップＳ１０８の「Ｎｏ」）には、ステップＳ１０３に戻る。一方で、検出リスト１０２で示される複数の顔画像の検出状況が、ユーザの設定した自動選択動作の開始条件に合致している場合（ステップＳ１０８の「Ｙｅｓ」）には、ユーザが設定した同時選択人数の決定条件に基づいて、同時選択人数を決定し（ステップＳ１０９）、決定された人数分の顔画像を、ユーザが設定した自動選択条件に基づいて、検出リスト１０２内の顔画像から選択する（ステップＳ１１０）。そして、選択された顔画像を表示部１０６に識別表示する。
【００５８】
さらに、撮影制御部４０は、選択された顔画像に対応する領域を新たなオートフォーカスの対象領域として切り換え設定し、この切り換え設定に対応してオートフォーカス機能によりフォーカス位置を変更し、選択された顔画像にフォーカスを合わせて（ステップＳ１１２）、ステップＳ１０３に戻る。
【００５９】
なお、同時選択人数が１人として決定された場合には、絞り値を含む撮影パラメータを通常の方法によって設定するか、あるいは、通常の方法による設定よりも被写界深度が狭くなるように絞り値を設定し、同時選択人数が複数として決定された場合には、絞り値を含む撮影パラメータを通常の方法によって設定したままで、選択された複数の人物の中心位置にフォーカスを移動するか、あるいは、通常の方法による設定よりも被写界深度が深くなるように絞り値を設定する。
【００６０】
＜動画撮影時の処理動作における具体例＞
図９を用いて、動画撮影時の処理動作における具体例について説明する。
ここでは、例えば、パーティ会場にＡさんからＧさんの７人の人物がいて、このパーティの様子をカメラで動画撮影する場面を想定する。なお、図９の状態遷移図において、各タイミングの間隔は３秒とする。
【００６１】
また、ユーザが設定した自動選択動作の開始条件が「（現在検出（追従）されている顔画像の中で過去に未選択の顔画像が存在する）ＯＲ（前回の自動選択実行時からの経過時間が４秒以上）」であり、同時選択人数の決定条件が「１人（固定）」、自動選択条件が「（過去に未選択の顔画像の中で最も早く検出された顔画像）ＯＲ（過去に未選択の顔画像が存在しない場合には、現在検出（追従）されている全ての顔画像の中からランダムに選択」であるとする。
【００６２】
上記の条件で、図９に示す状態遷移図に基づいて、動画撮影時の処理動作における具体例を説明する。なお、図９において、○印は、撮影フレーム内に検出（追従）されている人物を示し、◎印は、直近に選択された人物を示す。また、同じ顔画像であっても、一度、検出（追従）を外れて、再度、検出された顔画像については、別の顔画像とみなす。
【００６３】
ます、タイミング（１）では、フレーミング状態が（１）であり、どの人物も撮影フレーム内に存在しない。タイミング（２）では、フレーミング状態が（２）であり、Ａさんのみが撮影フレーム内に検出される。このとき、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ａさんが選択される。
【００６４】
タイミング（３）では、フレーミング状態が（３）であり、さらにＢさんが加わる。この場合も、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ｂさんが選択される。タイミング（４）では、フレーミング状態が（４）であり、さらにＣさんが加わる。この場合も、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ｃさんが選択される。
【００６５】
タイミング（５）では、フレーミング状態が（４）のままであり、自動選択動作の開始条件をクリアしないため、自動選択動作は開始されない。タイミング（６）では、フレーミング状態が（４）のままであるが、「前回の自動選択実行時からの経過時間が４秒以上」であるから、自動選択動作が実行され、Ａさんが選択される。
【００６６】
タイミング（７）では、フレーミング状態が（４）のままであり、自動選択動作の開始条件をクリアしないため、自動選択動作は開始されない。タイミング（８）では、フレーミング状態が（４）のままであるが、「前回の自動選択実行時からの経過時間が４秒以上」であるから、自動選択動作が実行され、Ｂさんが選択される。
【００６７】
タイミング（９）では、フレーミング状態が（５）であり、さらにＤさんが加わる。この場合も、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ｄさんが選択される。タイミング（１０）では、フレーミング状態が（６）であり、Ａさんが消える一方でＥさんが加わる。この場合も、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ｅさんが選択される。
【００６８】
タイミング（１１）では、フレーミング状態が（７）であり、さらにＢさんが消える。この場合、自動選択動作の開始条件をクリアしないため、自動選択動作は開始されない。タイミング（１２）では、フレーミング状態が（８）であり、さらにＣさんが消えるが、「前回の自動選択実行時からの経過時間が４秒以上」であるから、自動選択動作が実行され、Ｄさんが選択される。
【００６９】
タイミング（１３）では、フレーミング状態が（９）であり、さらにＤさんが消える一方でＦさん、Ｇさんが加わる。この場合は、自動選択動作の開始条件、同時選択人数の決定条件および自動選択条件のいずれも充足するため、自動選択動作が実行され、Ｅさんが選択される。
【００７０】
そして、動画撮影においては、撮影フレーム内の人物の構成が変化するのに応じて次々と選択される人物にフォーカスが合わされ、この動画撮影によって記録される複数のフレーム画像は、様々な人物にフォーカスが合った様々な人物の構成からなるフレーム画像を含んで構成されることとなる。
【００７１】
上記の例のように、本実施形態によれば、撮影フレーム内に複数の人物が存在する状況で、様々な人物にフォーカスを合わせた複数の撮影画像や様々な人物を組み合わせて撮影フレーム内に収めた複数の撮影画像を、まんべんなく効率よく撮影し、記録することができる。さらに、上記のような条件設定の場合には、撮影フレーム内に複数の同じ人物が収まっている状態が長く続く場合でも、同じ人物のみにフォーカスを合わせ続けることがない。
【００７２】
なお、本実施形態では、選択された人物をオートフォーカス（ＡＦ）の対象とし、この選択された人物までの距離に応じて、自動的に該人物にフォーカスを合わせる場合で説明したが、選択された人物を自動露出補正（ＡＥ）の対象とし、この選択された人物部分の明るさに応じて、該人物部分の明るさが最適になるように絞りやシャッター速度などの撮影条件を自動的に補正して設定する場合に適用したり、選択された人物を自動色補正（オートホワイトバランス）の対象とし、この選択された人物部分の色合いに応じて、該人物部分の色合いが最適になる（肌色が綺麗に写るなど）ようにホワイトバランス処理などの色補正処理を行う場合に適用してもよい。このようにすれば、様々な人物が最適な状態で写った（明るさや色合いなどが各人物部分に合った）複数の撮影画像を、まんべんなく効率よく撮影し、記録することができる。
【００７３】
＜静止画自動撮影時の処理動作＞
図１０を参照して、静止画再生時の処理動作について説明する。
まず、ユーザが条件設定部１０４を用いて、条件記憶部１０３に格納されている動作モードのデータテーブル、自動選択の開始条件に関するデータテーブル、同時選択人数の決定条件を定めたデータテーブル、自動選択条件を定めたデータテーブルから任意にそれぞれの条件を設定する（ステップＳ２０１）。
【００７４】
次に、制御回路４１が、静止画の自動撮影動作の開始を指示されたか否かを判定し（ステップＳ２０２）、静止画の自動撮影動作の開始が指示されていない場合（ステップＳ２０２の「Ｎｏ」）には、リターンして待機する。一方、静止画の自動撮影動作の開始を指示されている場合（ステップＳ２０２の「Ｙｅｓ」）には、静止画の自動撮影動作の終了が指示されたか否かを判定する（ステップＳ２０３）。
【００７５】
また、ステップＳ２０３で、静止画の自動撮影動作の終了が指示されている場合（ステップＳ２０３の「Ｙｅｓ」）には、全体の処理を終了し、静止画の自動撮影動作の終了が指示されていない場合（ステップＳ２０３の「Ｎｏ」）には、次の新たなスルー画像用（モニタ画像表示用）の画像データを撮像し、表示部１０６に表示する（ステップＳ２０４）。
【００７６】
そして、顔画像検出部１０１によって新たに撮像される画像データ内より顔画像が検出されるが、現在トラッキング中の顔画像が現在の画像データ内に存在している場合には、その顔画像に対するトラッキングを継続し、検出リスト１０２内の位置情報を更新する。一方で、過去にトラッキングを行っていたが、現在の画像データ内に存在しない顔画像については、検出リスト１０２から削除する（ステップＳ２０５）。なお、ここで、トラッキングとは、過去に撮像した動画フレーム内で検出された顔画像をその位置が変化しても追従していることをいう。
【００７７】
また、画像データから新たな顔画像を検出し（ステップＳ２０６）、検出した顔画像の識別番号と検出位置情報とを検出リスト１０２に追加する（ステップＳ２０７）。なお、新たな顔画像の検出方法としては、既に検出済みの顔画像が存在しない画像領域を対象とし、まず、肌色部分を検出した後、検出した肌色の領域内に目や鼻、口等に相当する部分があるか否かを判定し、相当する部分がある場合には、その肌色部分を顔画像とみなす。
【００７８】
次に、選択制御部４８によって検出リスト１０２で示される複数の顔画像の検出状況が、ユーザの設定した自動選択動作の開始条件に合致しているか否かが判断され（ステップＳ２０８）、合致していない場合（ステップＳ２０８の「Ｎｏ」）には、ステップＳ２０３に戻る。一方で、検出リスト１０２で示される複数の顔画像の検出状況が、ユーザの設定した自動選択動作の開始条件に合致している場合（ステップＳ２０８の「Ｙｅｓ」）には、ユーザが設定した同時選択人数の決定条件に基づいて、同時選択人数を決定し（ステップＳ２０９）、決定された人数分の顔画像を、ユーザが設定した自動選択条件に基づいて、検出リスト１０２内の顔画像から選択する（ステップＳ２１０）。そして、表示部１０６に表示されているスルー画像内の選択された顔画像部分を識別表示する。
【００７９】
そして、撮影制御部４０は、選択された顔画像に対応する領域をオートフォーカスの対象領域として切り換え設定し、この切り換え設定に対応してオートフォーカス機能によりフォーカス位置を変更し、選択された顔画像にフォーカスを合わせて静止画の撮影記録を行って（ステップＳ２１１）、ステップＳ２０３に戻る。
【００８０】
なお、同時選択人数が１人として決定された場合には、絞り値を含む撮影パラメータを通常の方法によって設定するか、あるいは、通常の方法による設定よりも被写界深度が狭くなるように絞り値を設定し、同時選択人数が複数として決定された場合には、絞り値を含む撮影パラメータを通常の方法によって設定したままで、選択された複数の人物の中心位置にフォーカスを移動するか、あるいは、通常の方法による設定よりも被写界深度が深くなるように絞り値を設定する。
【００８１】
＜静止画自動撮影時の処理動作における具体例＞
図１１を用いて、静止画自動撮影時の処理動作における具体例について説明する。
ここでは、例えば、パーティ会場にＡさんからＧさんの７人の人物がいて、この７人を撮影する場面を想定する。
【００８２】
また、撮影フレームは、図１１に示すようになっており、ユーザが設定した同時選択人数の決定条件が「１人（固定）」あり、自動選択条件が「過去に未選択の顔画像の中で最もカメラからの距離が近い顔画像」であるとする。この場合、最初の処理動作では、Ｆさんが選択され、２回目の処理動作では、Ｅさんが選択されることになる。そして、選択された顔画像にフォーカスを合わせた画像が撮影され、記録される。
【００８３】
また、図９を用いて、静止画自動撮影時の処理動作における具体例を説明すると、シチュエーション、各種条件設定、および選択される人物の切り換わり方は動画撮影時の処理動作とほぼ同じであるが、静止画自動撮影時においては、撮影フレーム内の人物の構成が変化するのに応じて次々と選択される人物にフォーカスを合わせて静止画が撮影記録され、この静止画自動撮影によって記録される複数の静止画は、様々な人物の構成で様々な人物にフォーカスが合った様々な静止画を含むことになる。
【００８４】
上記の例のように、本実施形態によれば、撮影フレーム内に複数の人物が存在する状況で、複数の人物の様々な組み合わせからなる複数の静止画をまんべんなく、しかも効率よく記録することができる。
【００８５】
また、本実施形態では、動画撮影の場合と静止画自動撮影の場合を説明したが、動画撮影中に静止画を撮影するスチルインムービーなどの撮影機能に適用してもよく、また、記録動作を行わず、単にスルー画像表示中にフォーカスを移動させたり、顔部分を識別表示するだけの動作に適用してもよい。
【００８６】
また、自動選択動作における各種条件設定を変えることにより様々な場面に対応してより適切な撮影を行うことができる。例えば、自動選択動作の開始条件を、撮影フレーム内に検出される複数の人物の構成が所定以上に変化した場合とすれば、複数の人物の同じような組み合わせでの撮影記録が多くなりすぎてしまい、必要な組み合わせでの撮影記録が行われないというようなことを防止することができる。
【００８７】
また、自動選択動作の開始条件を、前回の自動選択動作を実行してから、所定時間以上経過後とすれば、撮影フレーム内に複数の同じ人物が収まっている状態が長く続く場合でも、同じ人物のみにフォーカスを合わせ続けることがないようにすることができる。
【００８８】
また、自動選択動作の開始条件を、前回フォーカス対象として決定された顔部分が撮影フレーム内あるいは再生フレーム内から外れた場合とすれば、フォーカス対象として同じ人物が連続して選択されることがなくなる。
【００８９】
また、自動選択動作の開始条件を、前記撮影フレーム内あるいは再生フレーム内に、過去にフォーカス対象として決定されたことがない前記顔部分が存在する場合とすれば、フォーカス対象として同じ人物が連続して選択されることがなくなる。
【００９０】
以上、この発明の実施形態につき、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、本実施形態においては、自動選択の開始条件や同時選択人数の決定条件、自動選択条件をユーザが設定する場合を例に説明したが、これに限らず、制御回路において、自動的にこれらの条件を設定するモードを設けてもよい。また、このモードにおいて、撮影画像の種別により、過去に、ユーザが設定した条件を学習し、ユーザの好みにあった条件を自動的に設定するようにしてもよい。
【図面の簡単な説明】
【００９１】
【図１】本実施形態に係る撮像装置の正面図および背面図である。
【図２】本実施形態に係る撮像装置の内部ブロック図である。
【図３】本実施形態に係る撮像装置の機能ブロック図である。
【図４】本実施形態に係る動作モードのデータテーブルを示す図である。
【図５】本実施形態に係る自動選択動作の開始条件に関するデータテーブルを示す図である。
【図６】本実施形態に係る同時選択人数の決定条件に関するデータテーブルを示す図である。
【図７】本実施形態に係る自動選択条件に関するデータテーブルを示す図である。
【図８】本実施形態に係る動画撮影時の処理フローである。
【図９】フレーミングの変化と自動選択実行タイミングとの関係を示す状態遷移図である。
【図１０】本実施形態に係る静止画再生時の処理フローである。
【図１１】静止画を例示する図である。
【符号の説明】
【００９２】
１・・・デジタルカメラ、３３・・・電子撮像部、４０・・・撮影制御部、４１・・・制御回路、４３・・・ユーザデータメモリ、４８・・・選択制御部、１０１・・・顔画像検出部、１０２・・・検出リスト、１０３・・・条件記憶部、１０４・・・条件設定部、１０６・・・表示部
【図１】
2008244976.tif 000003
【図２】
2008244976.tif 000004
【図３】
2008244976.tif 000005
【図４】
2008244976.tif 000006
【図５】
2008244976.tif 000007
【図６】
2008244976.tif 000008
【図７】
2008244976.tif 000009
【図８】
2008244976.tif 000010
【図９】
2008244976.tif 000011
【図１０】
2008244976.tif 000012
【図１１】
2008244976.tif 000013