(57)【要約】【課題】動画撮影時に、被写体が想定する主被写体を選択し、撮影可能とする技術を提供する。【解決手段】静止画撮影時に主被写体として検出された顔の顔情報を登録しておき、動画撮影時に登録済の顔情報に対応する顔情報が検出された場合、動画撮影でも主被写体として選択する。また、撮影者が過去に撮影した静止画に基づいて生成された履歴情報に従い、撮影中のフレームに被写体が登場すると静止画撮影を行うのに好適なタイミングを撮影者に対して提供する。或いは、当該タイミングで自動で静止画撮影を行う。【選択図】図１
2010251866.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記録された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と、
前記動画用検出手段が検出した顔情報に対応する情報を、前記履歴情報保持手段が保持しているか否かを判定する判定手段と、
前記判定手段により前記履歴情報保持手段が保持していると判定された場合に、前記動画用検出手段が前記映像データにおいて前記顔情報を検出した領域を、前記撮影パラメータを設定するための領域として設定する領域設定手段と
を備え、
前記パラメータ設定手段は、前記領域設定手段が設定した領域に基づいて前記撮影パラメータを設定することを特徴とする画像処理装置。
【請求項２】
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記録された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と、
前記動画用検出手段が検出した顔情報に対応する情報を、前記履歴情報保持手段が保持しているか否かを判定する判定手段と、
前記判定手段により前記履歴情報保持手段が保持していると判定された場合に、前記動画用検出手段が検出した前記顔情報が、前記動画トリガに応じて生成された映像データにおいて予め定められた領域内に属するか否かを判定し、属する場合に静止画撮影タイミングを通知するための通知信号を出力する出力手段と
を備えることを特徴とする画像処理装置。
【請求項３】
前記動画処理手段が生成した前記動画を表示する表示手段をさらに備え、
前記出力手段は、前記通知信号を前記表示手段に出力し、
前記表示手段は、前記通知信号に応じて前記動画に前記静止画撮影タイミングを通知する表示を重畳して表示を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記静止画トリガを生成して、前記撮影手段を制御する制御手段をさらに備え、
前記出力手段は、前記通知信号を前記制御手段に出力し、
前記制御手段は、前記通知信号に応じて前記静止画トリガを生成して、前記撮影手段に前記映像データを生成させることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記履歴情報では、前記静止画のための映像データ、及び、前記記録手段に記録された静止画の少なくとも一方について前記静止画用検出手段が同一の顔情報を検出した頻度が、対応する顔情報と関連づけられていることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記静止画用検出手段は、少なくとも前記記録手段に記録された前記静止画について前記顔情報を検出するものであり、前記記録手段に記録された前記静止画のうち、撮影日時が所定日時前の静止画を除外して前記検出を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記録された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と
を備える画像処理装置の制御方法であって、
前記動画用検出手段が検出した顔情報に対応する情報を、前記履歴情報保持手段が保持しているか否かを判定する判定工程と、
前記判定工程において前記履歴情報保持手段が保持していると判定された場合に、前記動画用検出手段が前記映像データにおいて前記顔情報を検出した領域を、前記撮影パラメータを設定するための領域として設定する領域設定工程と、
前記パラメータ設定手段が、前記領域設定工程で設定された領域に基づいて前記撮影パラメータを設定する撮影パラメータ設定工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項８】
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記憶された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と
を備える画像処理装置の制御方法であって、
前記動画用検出手段が検出した顔情報に対応する情報を、前記履歴情報保持手段が保持しているか否かを判定する判定工程と、
前記判定工程において前記履歴情報保持手段が保持していると判定された場合に、前記動画用検出手段が検出した前記顔情報が、前記動画トリガに応じて生成された映像データにおいて予め定められた領域内に属するか否かをさらに判定する工程と、
前記予め定められた領域内に属すると判定された場合に、静止画撮影タイミングを通知するための通知信号を出力する出力工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項９】
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記憶された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と
を備える画像処理装置に、請求項７または８に記載の各工程の処理を実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその制御方法、コンピュータプログラムに関する。
【背景技術】
【０００２】
画像データから人物の顔を検出して主被写体とし、その主被写体のピントおよび輝度が適切な値となるように焦点と露出を自動制御して撮影するカメラ、あるいは、ビデオが実現されている。複数の人物が検出された場合に、いずれの人物も撮影者が意図した被写体であるとは限らない。例えば、通りすがりの人が入ってしまうこともあれば、複数のメンバーの中でも主役となる人物だけにピントをあわせて撮影したいような場合もある。
【０００３】
このような場合を鑑みて、検出された複数の人物の中から、その画像データの構図を考慮して、カメラが自動的に最も主被写体らしい人物を選択する機能が提案されている。例えば、検出された顔が画面の中央に近いほど、あるいは、その面積が大きいほど、主被写体として自動的に選択されるカメラが提案されている（特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８-００５４３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ここで、記念撮影のように、静止画をとる場合であれば、撮影者が主役とみなした人物が画面の中央に存在する、あるいは、最も顔の面積が大きくなるという状況である可能性は高い。しかしながら、被写体が動くことを前提とした動画撮影においては、撮影者が主役とみなした人物が画面の中央に存在したり、最もカメラの近くにいたりするとは限らない。よって、静止画撮影時と同様の方法で主被写体を選択しても、それが撮影者が主役とみなす被写体である可能性は、静止画のときほど高くは無い。
【０００６】
そこで、本発明は動画撮影時に、被写体が想定する主被写体を選択し、撮影可能とする技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するための本発明は、
被写体を撮影し映像データを生成する撮影手段と、
前記撮影手段の撮影パラメータを設定するパラメータ設定手段と、
動画トリガに応じて生成された前記映像データを、動画として処理する動画処理手段と、
静止画トリガに応じて生成された前記映像データを、静止画として処理する静止画処理手段と、
前記動画トリガに応じて生成された映像データについて、前記被写体の顔を認識して顔情報を検出する動画用検出手段と、
前記静止画トリガに応じて生成された映像データ、及び、記録手段に記録された前記静止画の少なくとも一方について、所定の領域内に存在する前記被写体の顔を認識して顔情報を検出する静止画用検出手段と、
前記静止画用検出手段が検出した顔情報を含む検出の履歴情報を保持する履歴情報保持手段と、
前記動画用検出手段が検出した顔情報に対応する情報を、前記履歴情報保持手段が保持しているか否かを判定する判定手段と、
前記判定手段により前記履歴情報保持手段が保持していると判定された場合に、前記動画用検出手段が前記映像データにおいて前記顔情報を検出した領域を、前記撮影パラメータを設定するための領域として設定する領域設定手段と
を備える画像処理装置であって、
前記パラメータ設定手段は、前記領域設定手段が設定した領域に基づいて前記撮影パラメータを設定することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、動画撮影時に、被写体が想定する主被写体を選択し、撮影可能とする技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】発明の実施形態１に対応する画像処理装置の機能構成の一例を示す図である。
【図２】発明の実施形態２に対応する画像処理装置の機能構成の一例を示す図である。
【図３Ａ】発明の実施形態に対応する動作シーケンスの一例を示すタイミングチャートである。
【図３Ｂ】発明の実施形態に対応する履歴情報保持部１２１が保持する履歴情報のデータ構造の一例を示す図である。
【図４】発明の実施形態に対応する処理のフローチャートである。
【図５】発明の実施形態に対応する履歴情報再構築処理の詳細な処理の一例を示すフローチャートである。
【図６】発明の実施形態に対応する履歴情報再構築処理を説明するための図である。
【図７】発明の実施形態に対応する静止画撮影時の履歴情報更新処理の詳細な処理の一例を示すフローチャートである。
【図８】発明の実施形態に対応する静止画撮影時の履歴情報構築処理を説明するための図である。
【図９】発明の実施形態１に対応する動画撮影時の履歴情報更新処理の詳細な処理の一例を示すフローチャートである。
【図１０】発明の実施形態に対応する動画撮影時の被写体検出に基づく評価枠の設定法を説明するための図である。
【図１１】発明の実施形態２に対応する動画撮影時の履歴情報更新処理の詳細な処理の一例を示すフローチャートである。
【図１２】発明の実施形態２に対応する動画撮影時の同時記録最適フラグに基づく表示を説明するための図である。
【発明を実施するための形態】
【００１０】
以下、添付の図面を参照して発明の実施形態１及び２を説明する。
【００１１】
［実施形態１］
図１は発明の実施形態に対応する画像処理装置の機能構成の一例を示す図である。図１の画像処理装置１００は、例えば動画及び静止画を撮影可能なデジタルカメラとして実現することができる。なお、動画、静止画撮影機能を有する情報処理装置であれば、パーソナルコンピュータや、ＰＤＡ等の携帯情報機器、携帯電話等であってもよい。
【００１２】
画像処理装置１００において、入射光がレンズ１０１により結像され、アイリス１０２で入射光量を調節され、ＣＭＯＳやＣＣＤ等の半導体からなるセンサ１０３へ入射される。レンズ駆動部１０５はフォーカス時のレンズ駆動を行い、アイリス駆動部１０６はアイリスを駆動する。システム制御部１２３は撮影者の操作（電源、静止画トリガ、動画トリガ）により遷移するモードに応じて全ブロックの制御を行なう。画像処理装置１００は、電源ボタン、動画トリガを生成するための動画撮影ボタン、静止画トリガを生成するための静止画撮影ボタンを有する。
【００１３】
センサ１０３で光電変換をして、ＡＤ１０４でＡＤ変換を施されたデジタル映像信号はセレクタ１２４を経由する。パラメータ設定部１１８は、システム制御部１２３の制御に従い、該デジタル映像信号を処理して撮影パラメータを設定する。パラメータ設定部１１８から出力された撮影パラメータは、システム制御部１２３経由でＡＦ、露出制御へフィードバックされる。静止画撮影時は静止画信号処理部１１４で信号処理され、静止画符号化部１１５で符号化され、静止画記録部１１６へ記憶される。また静止画表示部１１７に撮影後に所定期間、記憶画像が表示される。同時にデジタル映像信号は静止画顔検出・認識部１１３へ入力され、静止画用検出処理、即ち、所定の領域内における顔形状を認識し顔情報を検出する処理が行なわれる。検出結果はアクセス制御部１２０へ入力される。アクセス制御部１２０は、履歴情報を履歴情報保持部１２１から読み出し、顔情報の検出結果と比較し、比較結果に応じて履歴情報保持部１２１の履歴情報を更新する。
【００１４】
動画撮影時は動画信号処理部１０８で信号処理され、動画符号化部１０９で符号化され、動画記録部１１０に記憶される。同時に映像データは動画顔検出・認識部１０７へ入力され、動画用検出処理、即ち、顔形状を認識し顔情報を検出する処理が行なわれる。検出結果はパラメータ設定部１１８経由で評価枠設定部１１９へ入力される。評価枠設定部１１９は、履歴情報を履歴情報保持部１２１から読み出し、顔情報の検出結果との整合をとって主被写体の検出を行い、主被写体が検出された枠を撮影パラメータ設定を行うための領域として領域設定する。評価枠の情報は、パラメータ設定部１１８に通知され、パラメータ設定部１１８は通知された評価枠の領域の処理を優先的に行なうようにする。これにより主被写体を検出した領域が優先的に処理され、撮影パラメータが算出される。撮影パラメータは、システム制御部１２３を経由してＡＦ、露出制御にフィードバックされる。
【００１５】
電源を投入してから撮影が行われていない期間を利用し、システム制御部１２３は、静止画記録部１１６に記憶済の静止画を静止画顔検出・認識部１１３で処理させる。静止画顔検出・認識部１１３での顔認識結果はアクセス制御部１２０を経由して履歴情報保持部１２１へ蓄積される。
【００１６】
次に、図３Ａを参照して発明の実施形態に対応する撮影中のシーケンスを説明する。図３Ａは、発明の実施形態に対応する動作シーケンスの一例を示すタイミングチャートである。図３Ａでは、動画処理、静止画処理、履歴情報処理の３つの処理について、フェーズ毎のシーケンスを説明する。
【００１７】
まず、フェーズＦ３０１は電源投入後に行われる初期シーケンスの期間である。ここでは履歴情報が再構築される。次にフェーズＦ３０２は動画撮影が行われている期間である。ここではフェーズＦ３０１で構築された履歴情報が読み出されて、動画撮影パラメータが補正が行われる。続くフェーズＦ３０３はプレビュー及び静止画撮影の期間である。静止画撮影ボタンの操作に応じて静止画トリガが発生すると、静止画顔検出・認識部１１３が顔検出及び認識処理を行い、履歴情報保持部１２１の履歴情報を蓄積・更新していく。なお、静止画トリガがない場合も検出動作は行い、撮影時にフィードバックしてもよい。また、図３Ａでは記載していないが、フェーズＦ３０３において、動画撮影が平行して行われていてもよい。以下ではその場合を想定して実施形態を説明する。フェーズＦ３０４は動画撮影が行われている期間であり、フェーズＦ３０１で再構築され、フェーズＦ３０３で更新された履歴情報を用いて、動画撮影パラメータが補正される。
【００１８】
次に、図３Ｂを参照して、発明の実施形態に対応する履歴情報保持部１２１が保持する履歴情報のデータ構造の一例を説明する。履歴情報テーブル３１０では、各履歴情報を識別するための識別情報としてのＩＤ３１１、顔検出・認識処理において検出された被写体の顔に関する顔情報３１２、当該顔が主被写体として検出された頻度３１３が互いに関連づけられて登録されている。このうち、顔情報３１２は、静止画顔検出・認識部１１３が画像中で認識した顔につき、該顔の特徴を表すパラメータとして抽出される特徴量である。該特徴量には、例えば、目の間隔と目の大きさとの比率や、目尻と目頭とを結んだ線の顔の中心線に対する傾き、小鼻の間隔と唇の幅との比率など、被写体の顔の特徴量を特定するための情報を含めることができる。なお、本発明は、顔の特徴量の決定方法に技術的特徴を有する発明ではなく、また、顔認識の手法についても、公知の顔認識アルゴリズムを任意に用いることができる。よって、ここでの特徴量は、複数の画像から同一の被写体の顔を特定するための情報として機能するものであれば、どのようなものでもよい。また、顔検出・認識のアルゴリズム自体も本質的な特徴ではないので本実施形態での、より詳細な説明は省略する。
【００１９】
以下では、図３Ａのシーケンスにおける各処理を、図４乃至図８を参照して具体的に説明していく。まず、図４は、上述のシーケンスの全体的な流れをフローチャート化したものである。当該フローチャートに対応する処理は、処理のためのプログラムをシステム制御部１２３が実行することにより、画像処理装置１００の各構成要素を制御することで実現される。
【００２０】
Ｓ４０１で電源ＯＮされるとＳ４０２に移行し、初期化シーケンスにより履歴情報テーブル３１０が再構築される。ここでの処理は、図３ＡのフェーズＦ３０１での処理に相当する。Ｓ４０３では初期化シーケンスが終了したかどうかを判定し、終了の場合(Ｓ４０３で「ＹＥＳ」)は撮影待ち状態となる。撮影待ち状態でＳ４０４では動画撮影ボタンが押されたかどうかを判定する。もし、動画撮影ボタンが押されれば(Ｓ４０４で「ＹＥＳ」)、動画撮影が開始される。その後、動画撮影の停止指示を受け付ける（再度動画撮影ボタンが押される）まではフレームもしくはフィールド単位で動画撮影処理が繰り返される。
【００２１】
その間、Ｓ４０５では静止画トリガが検出されたか否かを判定する。もし静止画トリガが検出されれば（Ｓ４０５で「ＹＥＳ」）、Ｓ４０７に移行する。Ｓ４０７では、動画と静止画との同時撮影が行われる。その際、顔認識と顔情報の検出処理が行なわれ履歴情報テーブル３１０の更新が行なわれる。ここでの処理は、図３ＡのＦ３０３に相当する。その後Ｓ４１１に移行する。一方、静止画トリガが検出されない場合（Ｓ４０４で「ＮＯ」）は、Ｓ４０８に移行して動画撮影のみを行う。Ｓ４０８では、顔認識と顔情報の検出処理が行なわれるが、検出された顔情報は履歴情報と整合され、主被写体の検出が行われる。主被写体が検出されれば、検出領域が優先的に処理されるように、評価枠設定部１１９が後述する評価枠を設定する。パラメータ設定部１１８は、設定された評価枠に基づいて撮影パラメータを算出する。ここでの処理は図３ＡのフェーズＦ３０２やＦ３０４での処理に相当する。その後Ｓ４１１に移行する。
【００２２】
Ｓ４０４で動画撮影ボタンが押されない場合（Ｓ４０４で「ＮＯ」）、Ｓ４０６に移行し、静止画トリガが検出されたか否かを判定する。静止画トリガが検出されると（Ｓ４０６で「ＹＥＳ」）、Ｓ４０９にて静止画撮影になる。ここでの処理は図３ＡのフェーズＦ３０３での処理に相当する。静止画撮影時は、ＡＤ１０４からのデジタル映像信号について顔認識と顔情報の検出処理が行なわれ履歴情報テーブル３１０の更新が行なわれる。その後Ｓ４１１に移行する。静止画トリガが検出されない場合（Ｓ４０６で「ＮＯ」）、待機状態が継続し、Ｓ４１０でプレビュー表示がされるが、その際も検出動作は継続し撮影開始に備える。その後Ｓ４１１に移行する。Ｓ４１１では、フレーム期間（フィールド期間でもよい）が終了したか否かを判定し、終了の場合にはＳ４０４に戻って処理を繰り返す。
【００２３】
次に、図５を参照して図４のＳ４０２における初期化シーケンスにおける履歴情報テーブル３１０の再構築処理について説明する。図５は、発明の実施形態に対応する履歴情報再構築処理の詳細な処理の一例を示すフローチャートである。まず、Ｓ５０１では、システム制御部１２３が、静止画記録部１１６に記録済の静止画が存在するか否かを判定する。もし、存在しない場合（Ｓ５０１で「ＮＯ」）は、本処理を終了する。なお、記録されていた静止画像の全てについて本処理を完了した場合も、同様に本処理を終了する。一方、存在する場合（Ｓ５０１で「ＹＥＳ」）、Ｓ５０３で静止画記録部１１６から静止画を読み出す。続くＳ５０４では、システム制御部１２３が、静止画のタイムスタンプに基づいて静止画の撮影日時が所定日時より前か否かを判定する。所定日時より前であれば（Ｓ５０４において「所定日時前」）、Ｓ５０１に戻り次の静止画の処理へ移行する。所定日時以後であれば（Ｓ５０４にて「所定日時以後」）、Ｓ５０５に移行する。
【００２４】
Ｓ５０５では、主被写体の検出を行う。具体的には、まず、静止画顔検出・認識部１１３が画像画角内に含まれる顔画像が所定画角に存在するか否かを判定する。本実施形態では、所定画角を画像画角の中央付近の矩形領域とする。もし、存在する場合は該顔を有する被写体を主被写体と判定し（Ｓ５０５において「ＹＥＳ」）、Ｓ５０６に移行する。当該主被写体の情報は、アクセス制御部１２０に入力される。ここで、主被写体の情報には、履歴情報テーブル３１０に登録される顔情報３１２に相当する情報が少なくとも含まれている。
【００２５】
Ｓ５０６では、アクセス制御部１２０が履歴情報保持部１２１の履歴情報を参照し、該主被写体が登録済かどうかを判定する。登録済か否かは、履歴情報テーブル３１０に登録されている顔情報３１２として、取得した主被写体の情報に含まれる顔情報と一致する情報が登録されているか否かで判定することができる。もし、登録済であれば（Ｓ５０６で「ＹＥＳ」）、Ｓ５０７に移行し履歴情報テーブル３１０に含まれる頻度３１３の値を１つインクリメントする。一方、登録済の被写体でない場合(Ｓ５０６で「ＮＯ」)、Ｓ５０８に移行し新規主被写体として、履歴情報保持部１２１に登録する。こうして初期シーケンスでは、中央画角で検出された顔を主被写体情報として認識する。
【００２６】
次に、図６を参照して図５の履歴情報再構築処理における処理の具体例を説明する。図６は、発明の実施形態に対応する履歴情報再構築処理を説明するための図である。
【００２７】
図６では、静止画記録部１１６に記録済の画像として画像Ａから画像Ｆが存在している場合を想定している。各画像にはタイムスタンプが付されており、ここでは上記の所定日時を２００８年３月１日とした場合を考える。この場合、画像Ａと画像Ｂとは当該所定日時前の画像であるので、Ｓ５０４において処理対象から除外される。それ以外の画像Ｃから画像Ｆについて、以降の処理が行われる。
【００２８】
画像Ｃから画像Ｆについて点線で囲った領域６０１が所定画角に属する領域である。各画像において検出された顔画像が、当該領域６０１に含まれる場合には、履歴情報テーブル３１０の登録対象となる。図６では、被写体６０２、６０３及び６０４が登場する場合を想定している。まず、画像Ｃが処理されると、被写体６０２と６０３とがＳ５０８で新規に登録される。その後、画像Ｄ、画像Ｅ、画像Ｆでは、被写体６０２がＳ５０７で頻度が更新される。画像Ｆについては、被写体６０４が新たに検出されＳ５０８で新規に登録される。これにより、初期化後に頻度の多い被写体６０２、頻度は１回だが日付が新しい画像で検出された被写体６０４、１回検出された被写体６０３の順の優先度で主被写体情報が認識される。
【００２９】
次に、図７を参照して静止画撮影時の履歴情報更新処理について説明する。図７は、発明の実施形態に対応する静止画撮影時の履歴情報更新処理の詳細な処理の一例を示すフローチャートである。当該処理は、図４のＳ４０７とＳ４０９において静止画撮影が行われる場合に実行される。
【００３０】
Ｓ４０５またはＳ４０６において静止画トリガが検出されると、Ｓ７０１において静止画信号処理部１１４にて静止画がキャプチャされる。Ｓ７０２では、静止画顔検出・認識部１１３が静止画に主被写体が含まれるかどうかを判定する。具体的には、静止画の中央画角に被写体の顔が検出されるかどうかにより判定する。もし、主被写体が含まれる場合（Ｓ７０２で「ＹＥＳ」）、Ｓ７０３に移行する。当該主被写体の情報は、アクセス制御部１２０に入力される。主被写体が含まれない場合（Ｓ７０２で「ＮＯ」）は、Ｓ４０５かＳ４０６で再び静止画トリガが検出されるのを待つ。
【００３１】
Ｓ７０３では、検出された主被写体が登録済かどうかをアクセス制御部１２０が、履歴情報テーブル３１０の内容に基づいて判定する。もし、登録済の場合（Ｓ７０３で「ＹＥＳ」）、Ｓ７０４に移行して、頻度情報を１つインクリメントする。一方、未登録であれば（Ｓ７０３で「ＮＯ」）、Ｓ７０５において、新規主被写体として履歴情報テーブル３１０に登録する。こうして静止画撮影ごとに中央画角で検出された被写体について履歴情報を更新していく。
【００３２】
次に、図８を参照して図７の静止画撮影時の履歴情報更新処理における処理の具体例を説明する。図８は、発明の実施形態に対応する静止画撮影時の履歴情報更新処理を説明するための図である。
【００３３】
図８では、静止画として画像Ａ’から画像Ｅ’が撮影された場合を想定している。画像Ａ’から画像Ｅ’にも所定画角に属する領域が点線で設定されているが、これは図６の領域６０１と同等であるので図８でも同一参照番号を付している。各画像において検出された顔画像が、当該領域６０１に含まれる場合には、履歴情報テーブル３１０の登録対象となる。図８では、図６と同様の被写体６０２、６０３及び６０４が再度登場するとともに、新規に被写体８０１が登場する場合を想定している。まず、画像Ａ’から画像Ｄ’が処理されると、被写体６０２、６０３及び６０４についてＳ７０４で頻度が更新される。画像Ｅ’については、被写体８０１が新たに検出されＳ７０５で新規に登録される。
【００３４】
なお、履歴情報を構築する処理として、電源投入後に静止画記録部１１６に記録済の静止画から履歴情報を構築する履歴情報再構築処理と、静止画撮影時に撮影された静止画から履歴情報を構築する履歴情報更新処理の両方を説明した。これらは必ずしも両方とも必要というわけではなく、いずれか一方だけであっても構わない。
【００３５】
次に、図９を参照して動画撮影時の評価枠設定処理について説明する。図９は、発明の実施形態に対応する動画撮影時の評価枠設定処理の詳細な処理の一例を示すフローチャートである。当該処理は、図４のＳ４０７とＳ４０８において動画撮影が行われる場合に実行される。
【００３６】
図４のＳ４０４の動画撮影ボタンの操作に基づいてＳ９０１で動画撮影が開始されると、Ｓ９０２でシステム制御部１２３はアクセス制御部１２０を介して履歴情報保持部１２１から主被写体の情報を読み出す。これ以降の処理は、フィールドもしくはフレーム単位で繰り返す(Ｓ９０９)。Ｓ９０３では、動画顔検出・認識部１０７が撮影画像のフレーム内において被写体検出を行う。検出結果はパラメータ設定部１１８経由で評価枠設定部１１９に入力される。続くＳ９０４で、評価枠設定部１１９は、履歴情報を履歴情報保持部１２１から読み出し、動画顔検出・認識部１０７が検出した被写体の情報を該履歴情報と比較する。そして、履歴情報テーブル３１０に登録されている被写体が存在するか、即ち、主被写体が存在するか否かを判定する。
【００３７】
もし、主被写体が存在する場合（Ｓ９０４で「ＹＥＳ」）、Ｓ９０５に移行する。Ｓ９０５では、評価枠設定部１１９はフレーム内で主被写体が含まれる領域を優先的に処理するように評価枠情報を補正する。なお、主被写体が複数存在する場合には、履歴情報テーブル３１０の頻度３１３が最も多い主被写体を優先する。これにより、ＡＦ、露出を制御するための領域が、フレーム内で主被写体が含まれる領域に設定される。設定された評価枠の情報は、パラメータ設定部１１８に通知される。登録済の被写体が存在しない場合（Ｓ９０４で「ＮＯ」）、Ｓ９０６に移行する。Ｓ９０６では、評価枠設定部１１９は評価枠を変更しない。Ｓ９０７では、Ｓ９０５又はＳ９０６における枠の情報に基づき、パラメータ設定部１１８が撮影パラメータを算出し、システム制御部１２３に出力する。Ｓ９０８において、システム制御部１２３は、撮影パラメータに基づいてレンズ駆動やアイリス駆動といった撮影制御を行なう。
【００３８】
次に、図１０を参照して図９の動画撮影時の被写体検出に基づく評価枠の設定法について具体例を説明する。図１０は、発明の実施形態に対応する動画撮影時の被写体検出に基づく評価枠の設定法を説明するための図である。
【００３９】
図１０では、撮影フレームとしてフレームＡからフレームＤの順で撮影された場合を想定している。図１０（ａ）に示すように、各フレームには評価枠１００１から１００５が与えられている。当該評価枠は、ＡＦ、露出の制御を行う際に優先される領域の候補である。
【００４０】
まず、フレームＡでは、評価枠１００２に主被写体として被写体６０２が検出される。その他の被写体１００６は無視される。なお、その他の被写体１００６は、被写体６０２に比べて、履歴情報テーブル３１０における頻度３１３の値が小さいか、或いは、履歴情報テーブル３１０に登録されていないものと考えることができる。そこで、評価枠１００２で得られる評価値を優先して処理してＡＦ、露出制御が行われることとなる。また、フレームＢ、Ｃも同様にそれぞれ被写体６０２が検出される枠１００３、１００４が優先される。フレームＤでは主被写体は検出されないので通常通り全枠の平均もしくは中央枠１００３の評価値に基づき撮影パラメータの制御が行われる。
【００４１】
このように、本実施形態では、静止画撮影時に主被写体として検出された顔の顔情報を登録しておき、動画撮影時に登録済の顔情報に対応する顔情報が検出された場合、動画撮影でも主被写体として選択する。静止画撮影で主被写体であった被写体は、動画撮影においても主被写体となる可能性は高いと考えられるため、静止画から主被写体情報を検出し、動画撮影時にこの情報を利用する。なお、動画のみから主被写体を判定することは難しいので、動画から検出された被写体の情報は履歴情報テーブル３１０には反映せず、静止画から検出された顔情報のみを用いて履歴情報が更新される。
【００４２】
以上説明したように、本発明によれば、静止画で検出した主被写体の情報を用いて、動画撮影時の被写体検出及び撮影パラメータの設定を行なうことが可能となるので、撮影者の意図する動画を記録することが可能となる。
【００４３】
［実施形態２］
次に、発明の実施形態２を説明する。本実施形態に対応する画像処理装置の構成は図２に示す通りである。図２において、図１の画像処理装置１００と同様の構成には対応する参照番号を付している。本実施形態における画像処理装置２００は、画像処理装置１００の評価枠設定部１１９の代わりに主被写体画角検出部２０１を有する点が異なる。主被写体画角検出部２０１は、動画撮影時に動画顔検出・認識部１０７における顔検出結果と、履歴情報テーブル３１０から読み出した主被写体情報とを比較し、整合領域があるかどうかを検知する。もし、整合領域がフレームの中央画角にある場合、静止画撮影タイミングを通知するための通知信号として同時記録最適フラグを動画表示部１１１へ出力する。動画表示部１１１は、同時記録最適フラグに基づき、撮影タイミング通知を表示中の動画に重畳して、撮影者へ通知をおこなう。
【００４４】
本実施形態においても実施形態１と同様に、図４から図８に示すような処理を行う。但し、動画撮影時の処理については、主被写体画角検出部２０１を利用して以下のような処理を行う。
【００４５】
まず、図１１を参照して動画撮影時の履歴情報更新処理について説明する。図１１は、発明の実施形態２に対応する動画撮影時の履歴情報更新処理の詳細な処理の一例を示すフローチャートである。当該処理は、図４のＳ４０７とＳ４０８において動画撮影が行われる場合に実行される。
【００４６】
図４のＳ４０４の動画撮影ボタンの操作に基づいてＳ１１０１で動画撮影が開始されると、Ｓ１１０２でシステム制御部１２３はアクセス制御部１２０を介して履歴情報テーブル３１０から主被写体の情報を読み出す。これ以降の処理は、フィールドもしくはフレーム単位で繰り返される(Ｓ１１０７)。Ｓ１１０３では、動画顔検出・認識部１０７が撮影画像のフレーム内において被写体検出を行う。続くＳ１１０４で、主被写体画角検出部２０１が動画顔検出・認識部１０７は検出した被写体の情報を履歴情報と比較し、履歴情報テーブル３１０に登録されている被写体が存在するか、即ち、主被写体が存在するか否かを判定する。
【００４７】
もし、主被写体が存在する場合（Ｓ１１０４で「ＹＥＳ」）、Ｓ１１０５に移行する。Ｓ１１０５では、主被写体画角検出部２０１が更に主被写体が適正な画角に位置しているか否かを判定する。適正な画角については、図１２（ａ）を参照して後述する。もし、適正画角に存在している場合は、主被写体画角検出部２０１が動画表示部１１１に同時記録最適フラグを送信する。これに応じて動画表示部１１１は、Ｓ１１０６において静止画も同時に撮影することを促す表示を行なう。
【００４８】
次に、図１２を参照して図１１の動画撮影時の同時記録最適フラグに基づく表示について具体例を説明する。図１２は、発明の実施形態２に対応する動画撮影時の同時記録最適フラグに基づく表示を説明するための図である。図１２では、撮影フレームとしてフレームＡ’からフレームＤ’の順で撮影された場合を想定している。ここで登場する被写体は実施形態１における被写体６０２とする。まず、図１２（ａ）に示すように、フレームには適正な画角に対応する領域１３０１が与えられている。
【００４９】
図１２（ｂ）においてフレームＡ’では、フレーム内に被写体６０２が検出される。この被写体６０２の顔領域は、領域１２０１内に一部含まれてはいるが、全体ではないので、静止画として撮影するには不向きである。そこで、主被写体画角検出部２０１は、同時記録最適フラグを動画表示部１１１には送信しない。フレームＢ’やフレームＤ’も同様である。一方、フレームＣ’では、被写体６０２の顔領域が領域１３０１内に収まっているので、静止画として撮影するのに適している。そこで、主被写体画角検出部２０１は同時記録最適フラグを動画表示部１１１に送信する。これにより、領域１２０１の枠部分がハイライト表示（１２０２）される。
【００５０】
なお、主被写体の顔領域が領域１３０１内に収まっているかどうか、即ち、適正画角に存在しているかどうかは、顔領域が領域１３０１内に包含される割合に基づいて決定することができる。例えば、顔領域の８０％以上が領域１３０１に包含される場合には、適正が閣内に存在しているとみなすことができる。なお、８０％という数値はあくまで一例であって、実施形態に応じて異なる数値を採用することができる。
【００５１】
なお、上記では主被写体が領域１３０１内に収まっている場合に主被写体画角検出部２０１が動画表示部１１１に同時記録最適フラグを送信した。これに対して、該フラグをシステム制御部１２３に送信して、システム制御部１２３が静止画シャッターを自動で実行して撮影を行なってもよい。この場合には、静止画撮影タイミングを逃さずに自動で主被写体が中心に存在する静止画を取得することができるので、撮影者は静止画撮影タイミングを気にせず動画の撮影を行うことができる。
【００５２】
本実施形態によれば、撮影者が過去に撮影した静止画に基づいて生成された履歴情報に従い、撮影中のフレームに被写体が登場すると静止画撮影を行うのに好適なタイミングを撮影者に対して提供することができる。或いは、当該タイミングで自動で静止画撮影を行うことができる。
【００５３】
［その他の実施形態］
また、本発明は、上記の実施形態１及び実施形態２と同等の処理を、コンピュータプログラムでも実現できる。この場合、図Ｘをはじめとする構成要素の各々は関数、もしくはＣＰＵが実行するサブルーチンで機能させれば良い。また、通常、コンピュータプログラムは、ＣＤ−ＲＯＭ等のコンピュータ可読記憶媒体に格納されており、それを、コンピュータが有する読取り装置（ＣＤ−ＲＯＭドライブ等）にセットし、システムにコピーもしくはインストールすることで実行可能になる。従って、かかるコンピュータ可読記憶媒体も本発明の範疇にあることは明らかである。
【図１】
2010251866.tif 000003
【図２】
2010251866.tif 000004
【図３Ａ】
2010251866.tif 000005
【図３Ｂ】
2010251866.tif 000006
【図４】
2010251866.tif 000007
【図５】
2010251866.tif 000008
【図６】
2010251866.tif 000009
【図７】
2010251866.tif 000010
【図８】
2010251866.tif 000011
【図９】
2010251866.tif 000012
【図１０】
2010251866.tif 000013
【図１１】
2010251866.tif 000014
【図１２】
2010251866.tif 000015