(57)【特許請求の範囲】
【請求項１】
特徴部分を登録する登録手段と、
画像から特徴部分を検出すると共に、検出された特徴部分の前記画像における大きさ及び位置の少なくとも一方を被写体情報として検出する検出手段と、
前記検出手段により検出された特徴部分の中から主被写体を決定する決定手段と、
前記登録手段により登録された特徴部分の各々について、前記決定手段により主被写体として決定された累積回数及び主被写体とされた累積時間の少なくとも一方を個別情報として蓄積する蓄積手段とを有し、
前記決定手段は、前記被写体情報と前記個別情報とに基づいて設定された優先度に従って、前記主被写体を決定するものであり、
前記優先度は、前記画像から検出された特徴部分の数が多いほど、前記個別情報よりも前記被写体情報の重み付けを重くして設定されることを特徴とする画像処理装置。
【請求項２】
前記検出手段により検出されている特徴部分の中からユーザの指示により主被写体を指定する指定手段を有し、前記決定手段は、前記指定手段による指定を優先して主被写体を決定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴部分は人物の顔部分であることを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮影手段と、
請求項１から３の何れかに１つに記載の画像処理装置とを有し、
前記決定手段によって主被写体として決定された特徴部分に応じて前記撮影手段の制御を行うことを特徴とする撮影装置。
【請求項５】
特徴部分を登録する登録工程と、
画像から特徴部分を検出すると共に、検出された特徴部分の前記画像における大きさ及び位置の少なくとも一方を被写体情報として検出する検出工程と、
前記検出工程により検出された特徴部分の中から主被写体を決定する決定工程と、
前記登録工程により登録された特徴部分の各々について、前記決定工程により主被写体として決定された累積回数及び主被写体とされた累積時間の少なくとも一方を個別情報として蓄積する蓄積工程とを有し、
前記決定工程は、前記被写体情報と前記個別情報とに基づいて設定された優先度に従って、前記主被写体を決定するものであり、
前記優先度は、前記画像から検出された特徴部分の数が多いほど、前記個別情報よりも前記被写体情報の重み付けを重くして設定されることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体画像の顔部分等の特徴部分を検出し、その中から主被写体を特定してカメラ制御等を行う画像処理装置及び方法、撮影装置に関する。
【背景技術】
【０００２】
近年、撮影している画像から顔部分を特徴部分として検出し、それを予め登録保持している個人情報と比較して、その顔部分が誰であるかを特定する個人認証が可能なスチルカメラ、監視用カメラ、ビデオカメラ等の撮影装置が登場している。このような撮影装置では、検出した顔の器官（目や鼻、口等）の位置や肌色等の容貌を表す情報（特徴量）を抽出する。また、登録される個人情報には、人物（特徴部分）の特徴量や名前等が記録されている。さらに、登録されている人物を主被写体として選択する際に用いる優先度を設定することができるスチルカメラもある。
【０００３】
特許文献１では、個人情報が登録されている人物を撮影画像から同時に複数検出した場合に、個人情報において設定されている優先度が最も高く設定されている人物に、焦点や露出を合わせるデジタルカメラについて記述されている。
【０００４】
また、このような個人情報において設定されている優先度が最も高く設定されている人物を主対象とする処理は、上述した撮影装置においてのみ実施されるものではなく、パーソナルコンピュータ上のアプリケーションにおいても実施される。例えば、優先度が最も高く設定されている人物が適正値となるように、画像全体に対して輝度補正やホワイトバランス補正を行ったり、優先度が最も高く設定されている人物の画像におけるサイズや座標を、その画像に付随させて記憶させたりすることがあげられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３２０２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ユーザにとっては、登録されている人物ごとに優先度を設定するのは非常に手間がかかる作業となる。また、登録人物を増やした場合や、優先度を設定し直す場合にも、個別に優先度を変更する必要があり、ユーザの手間がかかる。
【０００７】
本発明は上記従来技術の問題を解決するためになされたものであり、その目的は、手間をかけることなく、ユーザが意図する被写体を学習により推測して自動的に主被写体として決定することができる画像処理装置及び方法、撮影装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明は、特徴部分を登録する登録手段と、画像から特徴部分を検出すると共に、検出された特徴部分の前記画像における大きさ及び位置の少なくとも一方を被写体情報として検出する検出手段と、前記検出手段により検出された特徴部分の中から主被写体を決定する決定手段と、前記登録手段により登録された特徴部分の各々について、前記決定手段により主被写体として決定された累積回数及び主被写体とされた累積時間の少なくとも一方を個別情報として蓄積する蓄積手段とを有し、前記決定手段は、前記被写体情報と前記個別情報とに基づいて設定された優先度に従って、前記主被写体を決定するものであり、前記優先度は、前記画像から検出された特徴部分の数が多いほど、前記個別情報よりも前記被写体情報の重み付けを重くして設定されることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、手間をかけることなく、ユーザが意図する被写体を学習により推測して自動的に主被写体として決定することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の画像処理装置の一例としての、第１の実施形態に係る撮影装置の構成を示すブロック図である。
【図２】個人情報リスト、検出結果リスト、被写体リストの一例を示す概念図である。
【図３】検出結果リスト更新処理のフローチャートである。
【図４】被写体リスト更新処理のフローチャートである。
【図５】リスト削除処理のフローチャートである。
【図６】主被写体選択処理のフローチャートである。
【図７】撮影開始時、撮影途中の撮影画像の例である。
【図８】第２の実施の形態における主被写体選択処理のフローチャートである。
【図９】撮影開始時の画像（図（ａ））、及び、各人物の検出人数を考慮しない場合の優先度を示す図（図（ｂ））である。
【図１０】撮影画像における各人物の検出人数を考慮した場合の優先度を示す図である。
【図１１】撮影途中の撮影画像の例（図（ａ））、及び、各人物の検出人数を考慮した場合の優先度を示す図（図（ｂ））である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を図面を参照して説明する。
【００１２】
（第１の実施の形態）
図１は、本発明の画像処理装置の一例としての、第１の実施形態に係る撮影装置の構成を示すブロック図である。以下、撮影装置として、動画像を記録するデジタルビデオカメラ１００を例示するが、これに限るものでなく、デジタルスチルカメラ、監視用カメラ等であってもよい。
【００１３】
まず、ビデオカメラ１００の構成について説明する。
【００１４】
ビデオカメラ１００は、図中の符号１０１〜１０５で示す制御系ブロックを備える。ＣＰＵ（決定手段）１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムを元に、各ブロックの制御を行う。ここで、ＲＯＭ１０３はＦＬＡＳＨ等の書き換え可能なＲＯＭである。ＣＰＵ１０１は動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、ＣＰＵ１０１に接続された操作部１０４は、ユーザによる各種の操作レバーやボタン等の入力を受け付け、ＣＰＵ１０１はユーザの指示に応じて、各種処理を行うことができる。
【００１５】
また、ビデオカメラ１００は図中の符号１１０〜１１５で示すカメラ系ブロックを備える。変倍レンズ１１０、フォーカスレンズ１１１を通過した光は、撮影手段であるＣＣＤイメージセンサ１１４の撮影面上に結像し、撮影面の光学像が電気信号に変換される。レンズドライバ１１３は、ＣＰＵ１０１の制御により、変倍レンズ１１０、フォーカスレンズ１１１及び絞り１１２を駆動して、光学ズーム倍率、フォーカス及び絞り量の調整を行う。ＡＦＥ（アナログフロントエンド）１１５は、ＣＰＵ１０１から指示されたシャッタ速度に基づきＣＣＤイメージセンサ１１４を駆動して、１／６０秒毎に１フレーム分の画像信号を読み出す。そして、その画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００１６】
また、ビデオカメラ１００は、図中の符号１２０〜１２８で示す画像処理系ブロックを備える。ＣＰＵ１０１の制御により、画像処理部１２０はＡＦＥ１１５から画像信号を入力し、色変換処理を行い、バッファメモリ１２３に画像信号を出力する。露出評価部１２１及びフォーカス評価部１２２は、画像処理部１２０から得た画像信号に含まれる複数の領域に対して、露出及びフォーカスの状態をそれぞれ評価する。特徴検出部（検出手段）１２４は、１フレーム毎にバッファメモリ１２３から画像信号を読み出す。そして、画像に含まれる特徴部分である人物の顔（顔部分）の数を検出すると共に、それらの撮影画像における位置、大きさを「被写体情報」として検出する。その検出周期は１／６０秒となる。
【００１７】
また、ＣＰＵ１０１は、特徴検出部１２４が検出した顔部分の位置と大きさをＲＡＭ１０２に検出結果リストＬ２として格納する。検出結果リストＬ２に関しては図２(ｂ)で後述する。特徴抽出部１２５は、バッファメモリ１２３から画像信号を読み出し、検出結果リストＬ２から特徴検出部１２４が検出した顔部分に対して特徴量を抽出する。ここで、特徴量とは、その人物の顔の器官（目、鼻、口等）の顔部品の形状や相対的な配置、肌色等の容貌を表す情報である。
【００１８】
ここで、個人を特定するための特徴量をリスト化したものを個人情報リストＬ１（図２(ａ)で後述）と呼ぶ。この個人情報リストＬ１はＲＯＭ１０３に格納され、特徴抽出部１２５で抽出された被写体の特徴量と比較されるものである。
【００１９】
個人認証部１２６は、特徴抽出部１２５で抽出された特徴量と、個人情報リストＬ１に登録されている各人物の特徴量ｈ（図２（ａ））とを比較する。個人認証部１２６は検出された顔部分と類似する（同一と判定できる）人物がいるかどうかを認証する。ＣＰＵ１０１は認証結果により検出結果リストＬ２を更新する。描画部１２７は被写体リストＬ３より画像の顔部分の位置に合わせて枠の描画を行い合成部１２８に出力する。被写体リストＬ３については図２(ｃ)で後述する。
【００２０】
合成部１２８はバッファメモリ１２３から画像信号を読み出しながら、描画部１２７より出力される枠を合成し、出力部１３０に出力する。また、ビデオカメラ１００は出力部１３０を備え、合成部１２８が合成した画像信号を出力する。
【００２１】
図２(ａ)、(ｂ)、(ｃ)は、それぞれ個人情報リストＬ１、検出結果リストＬ２、被写体リストＬ３の一例を示す概念図である。
【００２２】
図２(ａ)に示す個人情報リストＬ１とは、ユーザにより登録される特徴部分のリストであり、本実施の形態では、人物の顔部分の特徴量等の情報が格納され、ＲＯＭ１０３に格納される。
【００２３】
個人情報リストＬ１には、ユーザが登録した人物の顔の画像（登録画像）、名前、番号ｎ、特徴量ｈのほか、「個人情報」（個別情報）として主被写体回数ｃ及び主被写体時間ｔが格納されている。ここで主被写体とは、被写体の中でも最も重要な被写体であり、ユーザが意図している可能性が高い被写体である。ビデオカメラ１００はこの主被写体に合わせて絞りやフォーカス等のカメラ制御を行う。
【００２４】
個人情報リストＬ１において、１つの要素に関する登録画像、名前、番号ｎ等の情報は１行に並び、登録される数だけ列方向に要素が並ぶ。番号ｎは、その要素がリスト内で何番目の要素かを示す情報である。以下、リスト内のｎ番目の要素を要素［ｎ］と記述する。
【００２５】
主被写体回数ｃは、その人物が個人情報リストＬ１に登録されてから、撮影中に主被写体として設定された累積回数であり、主被写体時間ｔは、その人物が個人情報リストＬ１に登録されてから、撮影中に主被写体として撮影された累積時間である。ＲＯＭ１０３は、これらを個人情報（個別情報）として蓄積する蓄積手段として機能する。
【００２６】
個人情報リストＬ１に、ある人物の個人情報を追加登録するには、ユーザが事前にその人物の顔が写った画像とその人物の名前をＲＯＭ１０３に登録する必要がある。ユーザが画像を入力すると、特徴検出部１２４は入力された画像から特徴検出を行い、特徴抽出部１２５は検出された顔部分の特徴量を求める。ユーザは操作部１０４の所定のボタン操作によりその人物の名前を入力する。ＣＰＵ１０１は、名前の入力と、入力された画像の特徴量の抽出が終わると、それらを個人情報リストＬ１に新たな要素として登録する（登録手段）。このときＣＰＵ１０１は、新たな要素の番号ｎには、既に登録されている要素数に１を加算した値を設定すると共に、主被写体回数ｃ、主被写体時間ｔにはいずれも０を設定する。ユーザはまた、操作部１０４の所定のボタン操作により、個人情報リストＬ１から所望の要素を削除することができる。
【００２７】
次に、検出結果リストＬ２について説明する。図２(ｂ)に示す検出結果リストＬ２とは、ＣＰＵ１０１が特徴検出部１２４の検出結果と個人認証部１２６の認証結果を管理するためのリストであり、ＲＡＭ１０２に格納される。
【００２８】
図２(ｂ)に示すように、検出結果リストＬ２には、撮影画像から検出された特徴部分の被写体情報（撮影画像における位置、大きさ）のリストに認証結果ａが対応して格納される。すなわち、検出結果リストＬ２には、検出された顔部分の番号（ｎ）、顔部分の中心位置（水平位置ｘと垂直位置ｙ）、及び顔部分の大きさ（幅ｗ）、認証結果ａが格納される。検出結果リストＬ２における番号ｎは、その要素がリスト内で何番目の要素であるかを示す情報である。
【００２９】
検出結果リストＬ２の更新手続きについて説明する。検出結果リストＬ２は、特徴検出部１２４の検出結果が出る毎に更新される。まず、ＣＰＵ１０１は、検出結果が出ると検出結果リストＬ２内の全要素を削除する。そして、検出結果として検出されたすべての顔部分の位置と大きさを検出結果リストＬ２に格納する。そのとき、各要素の番号ｎに連番を設定し、認証結果ａには０を設定する。
【００３０】
そして、設定した検出結果リストＬ２の各要素に対して、特徴抽出部１２５による特徴抽出と、個人認証部１２６による認証処理とが行われる。ＣＰＵ１０１は検出結果リストＬ２の認証結果を設定する。ここで個人認証部１２６は各要素が個人情報リストＬ１に登録されたいずれかの人物と同一であると認証された場合は、その人物の個人情報リストＬ１における番号ｎの値を認証結果ａの値として設定する。また、いずれの人物とも認証されなかった場合には、認証結果ａに０を設定する。
【００３１】
認証結果ａが正の整数である場合（ａ≠０）は、その人物は個人情報リストＬ１に登録されていることを表しており、主被写体回数ｃや主被写体時間ｔ等の個人情報を持っていることを示す。認証結果が０の場合は、その人物は個人情報リストＬ１に登録されていないことを示す。
【００３２】
図３のフローチャートを用いて、特徴抽出部１２５、個人認証部１２６が検出結果リストＬ２より特徴抽出、認証処理を行い、ＣＰＵ１０１が認証結果より検出結果リストＬ２を更新する処理を説明する。
【００３３】
図３は、検出結果リスト更新処理のフローチャートである。まず、ステップＳ３０１で、ＣＰＵ１０１は、検出結果リストＬ２の要素数Ｉ１を取得する。ステップＳ３０２で、ＣＰＵ１０１は、検出結果リストＬ２の処理中の要素の番号ｎを示すカウンタｉを１に初期化する。ステップＳ３０３では、ＣＰＵ１０１は、検出結果リストＬ２で未処理の要素があるか否か（ｉ≦Ｉ１）を判別する。そして、未処理の要素がない場合は、ＣＰＵ１０１は、本処理を終了させる。一方、未処理の要素がある場合は、ＣＰＵ１０１は、ステップＳ３０４に処理を進め、検出結果リストＬ２の要素［ｉ］の顔部分に対して、特徴抽出部１２５が特徴量を抽出する。
【００３４】
続いて、ステップＳ３０５では、個人認証部１２６が、特徴抽出部１２５により抽出された特徴量とＲＯＭ１０３に格納された個人情報リストＬ１の特徴量ｈとを比較して個人認証処理を行う。すなわち、個人認証部１２６は、特徴量の比較により、処理中の要素と同一と判定できる要素が個人情報リストＬ１に登録されていることの認証を行う。
【００３５】
そしてステップＳ３０６では、ＣＰＵ１０１は、ステップＳ３０５での認証結果から、検出結果リストＬ２の要素［ｉ］の認証結果ａを更新する。つまり、認証された場合は、個人情報リストＬ１に登録されている要素の番号ｎの値を要素［ｉ］の認証結果ａに設定するが、そうでない場合は、認証結果ａに０を設定する。次に、ステップＳ３０７では、ＣＰＵ１０１は、カウンタｉに１を加え、処理をステップＳ３０３に戻す。
【００３６】
図３の処理によれば、検出結果リストＬ２は、１／６０秒毎に更新され、個人情報リストＬ１の要素と一致する要素については認証結果ａに正の値が設定される。
【００３７】
以降に説明するように、図３の検出結果リスト更新処理が終了すると、更新した検出結果リストＬ２に基づいて、被写体リストＬ３を更新する被写体リスト更新処理（図４）に移行する。その後、更新した被写体リストＬ３から検出されなくなった顔部分の情報を削除するリスト削除処理（図５）に移行し、さらに、リスト削除処理が終わると主被写体選択処理（図６）に移行する。なお、図４〜図６の各処理の終了時には、変数やカウンタの値はリセットされる。
【００３８】
図２(ｃ)に示す被写体リストＬ３とは、ＣＰＵ１０１が特徴検出部１２４により毎フレームに検出される顔部分の相関関係をとり、連続的に顔部分の情報を保持しているリストであり、ＲＡＭ１０２に格納される。
【００３９】
被写体リストＬ３には、特徴検出部１２４が検出した顔部分に対する番号ｎ、中心位置（水平位置ｘと垂直位置ｙ）、及び顔部分の大きさ（幅ｗ）、認証結果ａ、主被写体情報ｍ、主被写体回数ｃ２、主被写体時間ｔ２、消失フレーム数ｆが格納される。主被写体回数ｃ２は、その顔部分が被写体リストＬ３に追加されてから撮影中に主被写体として設定された回数であり、主被写体時間ｔ２は、その顔部分が被写体リストＬ３に追加されてから撮影中に主被写体として撮影された撮影時間を示す情報である。
【００４０】
ＣＰＵ１０１は、検出結果リストＬ２が更新される毎に被写体リストＬ３を更新する。検出結果リストＬ２に格納されている顔部分と被写体リストＬ３に格納されている顔部分の位置及び大きさの相関関係から、同一被写体であるか否かが判定される。同一被写体と判定された顔部分は、その位置と大きさを検出結果リストＬ２より取得し、被写体リストＬ３を更新する。同一被写体と判定されなかった顔部分については、新しい顔部分として被写体リストＬ３に要素を追加する。
【００４１】
消失フレーム数ｆは、各要素について、検出結果リストＬ２との相関関係がなく顔部分の情報が更新されなかった場合に１ずつ増加する値である。消失フレーム数ｆは、何フレーム連続でその顔部分が検出されていないかを示す情報であり、フレームアウトしてから何フレーム目であるかを示す値でもある。
【００４２】
消失フレーム数ｆが所定数以上になった時、撮影中の画角から該当人物がフレームアウトしたと認識して被写体リストＬ３から削除する。本実施の形態では一例として所定数を３とし、３フレーム連続で検出されなかったときに消失フレーム数ｆが３となり、被写体リストＬ３から対応する要素の情報が削除されるとする。
【００４３】
主被写体情報ｍは、被写体リストＬ３内の顔部分の中で最も優先順位の高い顔部分か否かを示す情報である。ｍ＝１で、その要素（顔部分）が最も優先順位の高いことを示し、ｍ＝０で、そうでないことを示す。主被写体情報ｍの値は、被写体リスト更新処理（図４）、及びリスト削除処理（図５）の終了後において、ＣＰＵ１０１による主被写体選択処理（図６）により更新される。主被写体に選択された顔部分の主被写体情報ｍが１に設定され、それ以外の顔部分の主被写体情報ｍは０に設定される。
【００４４】
ここで、図５で後述する主被写体の選択方法について略説しておく。
【００４５】
ユーザは、操作部１０４のボタン操作によって、検出されている顔部分の中から所望の被写体を選択することで主被写体の設定が可能である（指定手段）。ＣＰＵ１０１は、被写体リストＬ３においてユーザにより選択された顔部分の要素の主被写体情報ｍを１とし、ＲＡＭ１０２に格納される被写体指示情報ｄを１とする。
【００４６】
ここで被写体指示情報ｄとは、被写体リストＬ３における要素において、ユーザが主被写体として指定した要素があることを「１」で示し、ないことを「０」で示す情報である。また、ユーザ指定された顔部分が検出され続けている間は、被写体指示情報ｄはその値を保持し続けるものとし、３フレーム続けて顔部分が検出されなくなった場合、被写体指示情報ｄは０にリセットされる。一方、ユーザが主被写体を指定していない場合は、主被写体選択処理（図６）によって自動的に主被写体が選択・決定される。
【００４７】
図４は、被写体リスト更新処理のフローチャートである。
【００４８】
まず、ステップＳ４０１〜Ｓ４０５で、ＣＰＵ１０１は、被写体リストＬ３の全要素の消失フレーム数ｆに１を加える。すなわち、ステップＳ４０１では、被写体リストＬ３の要素数Ｊを取得する。次にステップＳ４０２において、ＣＰＵ１０１は、被写体リストＬ３における処理中の要素の番号ｎを示すカウンタｊを１に初期化する。ステップＳ４０３では、ＣＰＵ１０１は、ｊ≦Ｊが成立するか否か、すなわち被写体リストＬ３において未処理の要素があるか否かを判別する。
【００４９】
その判別の結果、未処理の要素がある場合（ｊ≦Ｊ）は、ＣＰＵ１０１は、ステップＳ４０４で、被写体リストＬ３の要素［ｊ］の消失フレーム数ｆに１を加え、ステップＳ４０５でカウンタｊに１を加える。その後、ＣＰＵ１０１は、処理をステップＳ４０３に戻す。ステップＳ４０３で、未処理の要素がなくなると、ＣＰＵ１０１は処理をステップＳ４０６に進める。
【００５０】
次にステップＳ４０６〜Ｓ４１４で、ＣＰＵ１０１は、検出結果リストＬ２に基づき、被写体リストＬ３に格納されている要素の情報を更新し、新規検出された顔部分があればそれを追加する。
【００５１】
まず、ステップＳ４０６では、ＣＰＵ１０１は、検出結果リストＬ２の要素数Ｉ１を取得する。ステップＳ４０７では、ＣＰＵ１０１は、検出結果リストＬ２における処理中の要素の番号ｎを示すカウンタｉを１に初期化する。ステップＳ４０８では、ＣＰＵ１０１は、ｉ≦Ｉ１が成立するか否か、すなわち検出結果リストＬ２において未処理の要素があるか否かを判別する。
【００５２】
その判別の結果、未処理の要素がある場合（ｉ≦Ｉ１）は、ＣＰＵ１０１は、ステップＳ４０９で、同一被写体判定を実行する。ここで同一被写体判定として、被写体リストＬ３のいずれかの要素が検出結果リストＬ２の要素［ｉ］と比較して位置及び大きさの相関関係があるかどうかを判定する。そしてステップＳ４１０では、ステップＳ４０９で同一と判定された要素があれば、その要素の被写体リストＬ３における番号ｎを、変数ｋ１に格納する。一方、同一と判定された要素がない場合は、変数ｋ１に０を格納する。
【００５３】
次に、ステップＳ４１１では、ＣＰＵ１０１は、変数ｋ１≠０が成立するか否かを判別する。その判別の結果、変数ｋ１が０でない場合は、ＣＰＵ１０１は、ステップＳ４１２で、被写体リストＬ３の番号［ｋ１］の要素の顔部分の中心位置及び大きさ、さらには認証結果ａの値を、検出結果リストＬ２の要素［ｉ］における各値にて更新する。また要素の更新を行ったので、続くステップＳ４１３では、ＣＰＵ１０１は、被写体リストＬ３の要素［ｋ１］の消失フレーム数ｆを０にクリアする。
【００５４】
一方、ステップＳ４１１で変数ｋ１が０であった場合は、処理中の要素［ｉ］は新たな要素であるので、ＣＰＵ１０１は、ステップＳ４１４で被写体リストＬ３にその要素を追加する。その際、要素の顔部分の中心位置及び大きさ、さらには認証結果ａの値に、検出結果リストＬ２の当該要素［ｉ］の各値を格納する。
【００５５】
ステップＳ４１２またはステップＳ４１４の処理後は、ＣＰＵ１０１は、ステップＳ４１３でカウンタｉに１を加える。ステップＳ４０８で、未処理の要素がなくなると、ＣＰＵ１０１は本処理を終了させる。
【００５６】
図５は、リスト削除処理のフローチャートである。
【００５７】
まず、ステップＳ５０１で、ＣＰＵ１０１は、被写体リストＬ３の要素数Ｊを取得する。ステップＳ５０２では、ＣＰＵ１０１は、被写体リストＬ３における処理中の要素の番号ｎを示すカウンタｊを１に初期化する。ステップＳ５０３では、ＣＰＵ１０１は、ｊ≦Ｊが成立するか、すなわち被写体リストＬ３において未処理の要素があるか否かを判別する。
【００５８】
そして、未処理の要素がある場合（ｊ≦Ｊ）には、ＣＰＵ１０１は、ステップＳ５０４で、被写体リストＬ３の要素［ｊ］の消失フレーム数ｆが３である（ｆ＝３）か否かを判別する。その判別の結果、消失フレーム数が３である、すなわち３フレーム連続で検出されなくなった顔部分がある場合は、被写体リストＬ３内の対応する要素を、ステップＳ５０５〜Ｓ５１２にて削除する。
【００５９】
まず、ステップＳ５０５では、ＣＰＵ１０１は、被写体リストＬ３の要素［ｊ］の主被写体情報ｍが１であるか否かを判別する。そして、ｍ＝１であった場合は、要素［ｊ］が主被写体として設定されているので、ＣＰＵ１０１は、ステップＳ５０６で、被写体指示情報ｄが１であるか否かを判別する。その判別の結果、ＣＰＵ１０１は、被写体指示情報ｄが０であれば処理をステップＳ５０８に進める一方、被写体指示情報ｄが１である場合は、ステップＳ５０７で、被写体指示情報ｄを０にクリアしてから処理をステップＳ５０８に進める。これにより、ユーザ指定が解除される。
【００６０】
ステップＳ５０８では、ＣＰＵ１０１は、被写体リストＬ３の要素［ｊ］の認証結果ａ≠０が成立するか否かを判別する。その判別の結果、ａ≠０である場合は、削除しようとする要素［ｊ］が個人情報を持っているので、個人情報リストＬ１の情報を更新する。すなわち、ＣＰＵ１０１は、ステップＳ５０９で、変数ｋ２に、被写体リストＬ３の要素［ｊ］の認証結果ａを格納する。そしてステップＳ５１０、Ｓ５１１で、ＣＰＵ１０１は、個人情報リストＬ１の要素［ｋ２］の主被写体回数ｃ、主被写体時間ｔに、被写体リストＬ３の要素［ｊ］の主被写体回数ｃ２、主被写体時間ｔ２をそれぞれ加えることで値を更新する。これにより個人情報が蓄積されていく。その後、ＣＰＵ１０１は、処理をステップＳ５１２に進める。
【００６１】
一方、ステップＳ５０８で認証結果ａ＝０である場合は、削除しようとする要素［ｊ］が個人情報を持っていないので、ＣＰＵ１０１は、個人情報リストＬ１の情報を更新することなく、処理をステップＳ５１２に進める。
【００６２】
ＣＰＵ１０１は、ステップＳ５１２で、要素［ｊ］を被写体リストＬ３から削除し、ステップＳ５１３で、カウンタｊに１を加えて、処理をステップＳ５０３に戻す。ステップＳ５０３で、未処理の要素がない場合（ｊ＞Ｊ）は、ＣＰＵ１０１は、本処理を終了させる。ステップＳ５０４で、消失フレーム数が３でない場合は、３フレーム連続で検出されなくなった顔部分がないので、ＣＰＵ１０１は、ステップＳ５１３に処理を進める。ステップＳ５０５で、主被写体情報ｍが１でない場合は、要素［ｊ］が主被写体として設定されていないので、ＣＰＵ１０１は、ステップＳ５０８に処理を進める。
【００６３】
図４、図５の処理をまとめて略説すると次のようになる。図４の処理によれば、被写体リストＬ３は、検出結果リストＬ２が更新される毎に更新される。検出結果リストＬ２にあるが被写体リストＬ３にない要素については被写体リストＬ３に新規に追加される。検出結果リストＬ２にも被写体リストＬ３にもある同一判定の要素については、検出結果リストＬ２の値にて被写体リストＬ３が更新される。
【００６４】
また、図５の処理によれば、被写体リストＬ３にあるが検出結果リストＬ２にない（同一判定でない）状態が、３回続くと（消失フレーム数が３）、その要素は被写体リストＬ３から削除される。その際、ユーザ指定されていれば指定が解除される。また、削除される要素が個人情報リストＬ１に登録されている要素である場合は、個人情報リストＬ１における主被写体回数ｃ、主被写体時間ｔに、被写体リストＬ３における主被写体回数ｃ２、主被写体時間ｔ２がそれぞれ加算され、累積されていく。
【００６５】
図６は、主被写体選択処理のフローチャートである。
【００６６】
ステップＳ６０１では、ＣＰＵ１０１は、被写体指示情報ｄが１（ｄ＝１）であるか否かを判別する。その判別の結果、ｄ＝０である場合は、ユーザによって主被写体が指定されていないので、ステップＳ６０２〜Ｓ６０９で、ＣＰＵ１０１は、主被写体に設定する顔部分の要素を選択する処理を実行する。
【００６７】
ＣＰＵ１０１は、まず、ステップＳ６０２では、被写体リストＬ３において認証結果ａが０でない（ａ≠０となる）要素の要素数Ｉ２を取得する。そして、ＣＰＵ１０１は、ステップＳ６０３で、要素数Ｉ２≧１が成立するか否かを判別し、要素数Ｉ２≧１である場合は、ステップＳ６０４で、要素数Ｉ２≧２が成立するか否かを判別する。要素数Ｉ２＝０である場合は、ＣＰＵ１０１は、ステップＳ６０３からステップＳ６０５に処理を進める。
【００６８】
ステップＳ６０５では、ＣＰＵ１０１は、個人情報を持つ顔部分が検出されていないので、被写体リストＬ３における各要素について、顔部分の中心位置及び大きさによって優先順位付けを行う。優先度は、顔部分の位置が画像中心に近いほど高く、しかも顔部分の大きさが大きいほど高くなるものとする。例えば、被写体情報（顔部分の中心位置（ｘ、ｙ）、及び顔部分の大きさ（幅ｗ））から、下記数式１によって優先度を求める。ここで特徴検出部１２４が検出に使う画像の中心位置を（Ｘｍｉｄ、Ｙｍｉｄ）とする。
【００６９】
[数１]
優先度＝顔の大きさ＋（中心位置Ｘｍｉｄ−｜中心位置Ｘｍｉｄ−位置ｘ｜）＋（中心位置Ｙｍｉｄ−｜中心位置Ｙｍｉｄ−位置ｙ｜）
これは、個人情報リストＬ１に登録されている人物がいない場合には、撮影画角において優位性のある人物（中心に近く大きい被写体）がユーザの撮りたいと意図する人物であると考えられるためである。
【００７０】
その後、ステップＳ６０６では、ＣＰＵ１０１は、被写体リストＬ３において最も優先度が高かった要素の番号ｎを変数ｋ３に格納する。
【００７１】
要素数Ｉ２＝１である（個人情報をもつ顔部分が１つだけ検出されている）場合は、ＣＰＵ１０１は、ステップＳ６０４からステップＳ６０７に処理を進める。ステップＳ６０７では、被写体リストＬ３において認証結果ａが０でない１つの要素の番号ｎを変数ｋ３に格納する。これは、個人情報リストＬ１に登録されている人物を優先的に選択するためである。
【００７２】
要素数Ｉ２≧２である（個人情報をもつ顔部分が２つ以上検出された）場合は、ＣＰＵ１０１は、ステップＳ６０４からステップＳ６０８に処理を進める。ステップＳ６０８では、ＣＰＵ１０１は、被写体リストＬ３において認証結果ａが０でない２以上の要素に対して優先順位付けを行う。すなわち、ＣＰＵ１０１は、被写体リストＬ３において認証結果ａが０でない各要素の認証結果ａと同値の認証結果ａを有する個人情報リストＬ１内の各要素［ａ］の、主被写体回数ｃ、主被写体時間ｔを取得する。そして、主被写体回数ｃが多く主被写体時間ｔが長い要素ほど優先度が高くなるように優先順位付けをする。下記数式２により優先度を求める。
【００７３】
[数２]
優先度＝主被写体回数ｃ×主被写体時間ｔ
これは、個人情報リストＬ１に登録されている人物が画面に複数写っている場合、これまでの撮影の中で主被写体として多数回、また長く撮られている人物の方がユーザの撮りたいと意図する人物であると考えられるためである。ステップＳ６０９では、ＣＰＵ１０１は、ステップＳ６０８で優先順位付けを行った結果、最も優先度が高かった被写体リストＬ３内の要素の番号ｎを変数ｋ３に格納する。
【００７４】
被写体リストＬ３における要素［ｋ３］が、これから主被写体となるべき要素である。ステップＳ６０６、Ｓ６０７、Ｓ６０９の処理後は、ＣＰＵ１０１は、処理をステップＳ６１０に進める。
【００７５】
ステップＳ６１０では、ＣＰＵ１０１は、被写体リストＬ３の要素［ｋ３］の主被写体情報ｍが１であるか否かを判別する。その判別の結果、要素［ｋ３］の主被写体情報ｍが１である場合は、要素［ｋ３］が既に主被写体に設定されているので、ＣＰＵ１０１は、処理をステップＳ６１６に進める。
【００７６】
一方、要素［ｋ３］の主被写体情報ｍが１でない場合は、ＣＰＵ１０１は、ステップＳ６１１で、被写体リストＬ３内で主被写体情報ｍが１である要素の番号ｎを変数ｋ４に格納する。また、いずれの要素も主被写体情報が１でない場合には、変数ｋ４に０を格納する。
【００７７】
次に、ステップＳ６１２では、ＣＰＵ１０１は、変数ｋ４＝０であるか否かを判別する。その判別の結果、ＣＰＵ１０１は、変数ｋ４＝０である場合は、処理をステップＳ６１４に進める一方、変数ｋ４＝０でない場合は、被写体リストＬ３における要素［ｋ４］の主被写体情報ｍを０にクリアしてから処理をステップＳ６１４に進める。
【００７８】
ステップＳ６１４では、ＣＰＵ１０１は、被写体リストＬ３の要素［ｋ３］の主被写体情報ｍを１に設定する。これにより要素［ｋ３］が主被写体として新たに選択・決定されたことになる。そこで、ステップＳ６１５で、ＣＰＵ１０１は、要素［ｋ３］の主被写体回数ｃ２に１を加える（ｃ２←ｃ２＋１）。さらに、ステップＳ６１６で、ＣＰＵ１０１は、被写体リストＬ３の要素［ｋ３］の主被写体時間ｔ２に検出周期を加える（ｔ２←ｔ２＋検出周期）。ここで、検出周期とは特徴検出部１２４が検出処理を行う周期であり、１／６０秒である。
【００７９】
ステップＳ６０１で被写体指示情報ｄが１であった場合には、ＣＰＵ１０１は、ステップＳ６１７で、主被写体に指定されている被写体リストＬ３の要素の番号ｎを変数ｋ３に格納し、ステップＳ６１６の処理を実行する。ステップＳ６１６の処理後、主被写体選択処理が終了する。
【００８０】
このような図６の主被写体選択処理を略説すると次のようになる。まず、ユーザ指定がある場合は、その指定を最優先として主被写体を選択する（ステップＳ６１７）。ユーザ指定がない場合において、被写体リストＬ３の中に個人情報リストＬ１に登録されている要素があるとき、その要素が１つであれば、それを主被写体として決定する（ステップＳ６０７）。しかしそのような要素が複数存在するときは、それらの要素に関する個人情報（主被写体回数ｃ及び主被写体時間ｔ）に基づいて優先順位を決め、優先順位が最も高いものを主被写体として決定する（ステップＳ６０８、Ｓ６０９）。
【００８１】
ユーザ指定がない場合において、被写体リストＬ３の中に個人情報リストＬ１に登録されている要素がないときは、被写体リストＬ３内の要素の中から主被写体を決定する。その際、個人情報を用いることができないので、専ら被写体情報（顔部分の中心位置（ｘ、ｙ）、及び顔部分の大きさ（幅ｗ））に基づいて主被写体を決定する（ステップＳ６０５、Ｓ６０６）。
【００８２】
また、ステップＳ６１０〜６１６では、被写体リストＬ３において優先度が最も高いとされた要素［ｋ３］が、既に主被写体となっていれば、主被写体回数ｃ２の加算はしないで主被写体時間ｔ２だけ加算する。要素［ｋ３］が主被写体となっていない場合は、要素［ｋ３］を新たに主被写体とし、その際、それまで主被写体となっている要素があった場合はその主被写体情報ｍを０にリセットする。主被写体に選択されている要素は、図６の処理の度に主被写体時間ｔ２が増加していく。
【００８３】
次に、ビデオカメラ１００で複数の被写体を撮影した場合の、上記した図３〜図６の処理を反映させた動作例について説明する。
【００８４】
図７(ａ)は、撮影開始時の画像の例である。このときユーザは主被写体を指定しておらず（ｄ＝０）、また、ＣＰＵ１０１によっても主被写体が自動設定されていないものとする。
【００８５】
画像９００には人物９１０、９２０、９３０が写っている。またＲＯＭ１０３に格納されている個人情報リストＬ１は図２(ａ)に示すものと同様とする。画像９００において、人物９１０、９２０は、個人情報リストＬ１の番号２、３の人物であり、人物９３０は、個人情報リストＬ１に登録されていないとする。
【００８６】
特徴検出部１２４は、人物９１０、９２０、９３０の顔部分を検出し、また個人認証部１２６は、人物９１０、９２０を個人情報リストＬ１における番号２、３の人物（要素）であると認証する（図３のステップＳ３０５）。人物９３０はいずれの人物とも認証されない。
【００８７】
ＣＰＵ１０１は、検出結果と認証結果から検出結果リストＬ２を更新する（図４）。まず、検出結果リストＬ２より、被写体リストＬ３における人物９１０、９２０、９３０の顔の位置、大きさを更新する（図４のステップＳ４１２）。次に、被写体リストＬ３における人物９１０、９２０の認証結果ａをそれぞれ２、３に設定し、また人物９３０の認証結果ａを０に設定する。
【００８８】
次にＣＰＵ１０１は、被写体リストＬ３の削除処理を行う（図５）。この例では、人物９１０、９２０、９３０のいずれも顔部分が検出されているため、削除対象となる被写体リストＬ３の要素はない。
【００８９】
次にＣＰＵ１０１は主被写体選択処理を行う（図６）。この例では、被写体リストＬ３において主被写体が決定されていない。さらに、既に個人情報リストＬ１に登録済みの人物は、人物９１０、９２０と２人いるため、上記数式２により、主被写体回数ｃ、主被写体時間ｔに基づき優先順位付けを行う（図６のステップＳ６０８）。すなわち、ＣＰＵ１０１は、図２(ａ)に示す個人情報リストＬ１を参照し、人物９１０（番号２）を主被写体として選択する。これは、人物９１０の方が人物９２０に比べて主被写体回数ｃが多く、主被写体時間ｔも長いためである。
【００９０】
そして、ＣＰＵ１０１は、被写体リストＬ３において人物９１０の主被写体回数ｃ２に１を加える（ステップＳ６１５）。また、撮影中であるため主被写体時間ｔ２に検出周期１／６０秒を加える（ステップＳ６１６）。
【００９１】
図７(ｂ)は、図７(ａ)に示す撮影状態から、ビデオカメラを左側にパンし、人物９１０の特徴検出ができなくなってから３フレーム目の画像を表す図である。
【００９２】
図７(ｂ)に示す画像１０００においては、人物９１０の消失フレーム数ｆは２となっている。このとき消失フレーム数ｆは３未満であるため、被写体リストＬ３から削除されていない。また引き続き人物９２０、９３０の顔が検出され続けているものとする。被写体リストＬ３における人物９１０の主被写体時間ｔ２は１分であるとする。
【００９３】
人物９１０は消失フレーム数が３となると、被写体リストＬ３から削除される（図５のステップＳ５１２）。その際、人物９１０は認証結果ａとして２をもつため、個人情報リストＬ１における番号ｎが２である人物の主被写体回数ｃに、人物９１０の被写体リストＬ３での主被写体回数ｃ２の値（ここでは１）を加える（ステップＳ５１０）。さらに、個人情報リストＬ１の番号ｎが２である人物の主被写体時間ｔに、人物９１０の被写体リストＬ３における主被写体時間ｔ２の値（ここでは１分）を加える（ステップＳ５１１）。
【００９４】
次にＣＰＵ１０１は主被写体選択処理を行う（図６）。人物９１０の要素が削除され、主被写体情報ｍをもつ被写体がいなくなっている。このとき認証結果ａをもつ被写体として人物９２０のみが検出されているため、ＣＰＵ１０１は、人物９２０を主被写体として選択する（図６のステップＳ６０７）。
【００９５】
そして、ＣＰＵ１０１は、被写体リストＬ３において人物９２０の主被写体回数ｃ２に１を加え、また撮影中なので主被写体時間ｔ２に検出周期１／６０秒を加える（ステップＳ６１５、Ｓ６１６）。
【００９６】
このように、顔部分が画面に新たに登場（フレームイン）すると、その顔部分が要素として被写体リストＬ３に追加される（図４のステップＳ４１４）。その顔部分が画面内に位置している間、被写体リストＬ３において主被写体時間ｔ２が累積される（図６のステップＳ６１６）。そして、その顔部分が画面から３フレーム続けて消えると、そのときの被写体リストＬ３における主被写体回数ｃ２、主被写体時間ｔ２が個人情報リストＬ１における主被写体回数ｃ、主被写体時間ｔに加算される（図５のステップＳ５１０、Ｓ５１１）。被写体リストＬ３における各要素の主被写体回数ｃ２は、当該要素が新たに主被写体になる毎にカウントアップされる（図６のステップＳ６１５）。
【００９７】
このような動作、構成によって、ユーザ指定がなくても、撮りたいであろう人物を主被写体として自動的に選択し、撮影していく過程で、登録されている人物の主被写体となる優先度を自動学習することができる。それによって個人情報を持つ被写体が複数存在する場合でも、ユーザが撮りたい可能性の高い人物を自動で優先して、その人物を撮るのに適切なカメラ制御を行うことができる。ビデオカメラのユーザは、個人情報が登録されている人物ごとに主被写体となる優先度をいちいち設定しなくてもよい。
【００９８】
よって、本実施の形態によれば、手間をかけることなく、ユーザが意図する被写体を学習により推測して自動的に主被写体として決定することができる。
【００９９】
また、被写体リストＬ３において認証結果ａが０でない要素が存在しない場合は、被写体リストＬ３における各要素について、顔部分の中心位置及び大きさによって優先順位付けを行う。これにより、撮影画像中に登録された顔部分がない場合であっても、撮影画像中の被写体の中から自動的に主被写体を決定することができる。
【０１００】
（第２の実施の形態）
第１の実施の形態では、個人情報リストＬ１に登録された人物をより優先的に主被写体にする構成であり、被写体が少数の場合には有効である。しかし、多人数を同時に撮影するような場合には、特定の人物のみが優先されてしまう傾向がある。画角に写る多人数全体を撮影したいというユーザの意図がある場合に、第１の実施の形態のビデオカメラでは適切に主被写体を自動決定して撮影することが困難となる場合も想定される。
【０１０１】
そこで、本発明の第２の実施の形態では、登録の有無に拘わらずすべての被写体に対して優先順位付けを行い、検出人数に応じて優先度を変化させる構成を説明する。第２の実施の形態では、第１の実施の形態に対し、ＣＰＵ１０１が主被写体を自動選択する方法が異なり、図６に代えて図８を用いて説明する。
【０１０２】
図８は、主被写体選択処理のフローチャートである。
【０１０３】
ステップＳ８０１、Ｓ８１１、Ｓ８１０の処理は、図６のステップＳ６０１、Ｓ６１７、Ｓ６１６の処理と同様である。ステップＳ８０１の判別の結果、被写体指示情報ｄが０である場合は、ユーザによって主被写体が指定されていないので、ステップＳ８０２、Ｓ８０３で、ＣＰＵ１０１は、主被写体に設定する顔部分の要素を選択するための優先順位付けを実行する。
【０１０４】
ステップＳ８０２で、ＣＰＵ１０１は特徴検出部１２４により検出された顔部分の数（検出人数）と被写体情報（顔部分の位置（ｘ、ｙ）及び顔部分の大きさ（幅ｗ））と個人情報（主被写体回数ｃ及び主被写体時間ｔ）とに基づき優先順位付けを行う。優先度は下記数式３により求められる。ただし、被写体の数に応じて適切に主被写体を決めることができれば、優先度を求める式はこれ以外であってもよい。
【０１０５】
[数３]
優先度＝（個人情報による優先度）／検出人数＋（顔の位置及び大きさによる優先度）×検出人数
ここで「個人情報による優先度」は主被写体回数ｃが多いほど、また主被写体時間ｔが長いほど高い値となり、ここでは、第１の実施の形態で用いた数式２と同様の式で求められる。また「顔の位置及び大きさによる優先度」は、顔部分の位置が画像中心に近いほど、また顔部分の大きさが大きいほど高い値となり、ここでは第１の実施の形態で用いた数式１と同様の式で求められる。
【０１０６】
「個人情報による優先度」を「検出人数」で除し、「顔の位置及び大きさによる優先度」を「検出人数」で乗じている。これにより、検出人数が多くなるほど、個人情報リストＬ１における個人情報（主被写体回数ｃ、主被写体時間ｔ）よりも被写体リストＬ３における被写体情報（顔の位置及び大きさ）の重み付けを重くして主被写体が決定される。
【０１０７】
このようにする理由は、画像に写っている被写体人数が多い場合は、主被写体となった回数や時間の実績が大きい人物だけを意図しているわけではないと考えられるからである。平易に言い換えれば、検出人数が多くなるほど、過去の実績よりも現在の撮影状態に重きをおくためである。従って、被写体人数が多い場合は、個人情報リストＬ１から得られる優先度よりも被写体リストＬ３から得られる優先度に重点をおく。反対に、被写体人数が少ない場合は、被写体リストＬ３から得られる優先度よりも個人情報リストＬ１から得られる優先度に重点をおく。
【０１０８】
ところで、「個人情報による優先度」と「顔の位置及び大きさによる優先度」は、被写体の数に応じて適切な値となるよう調整しておく。例えば、各顔部分の優先度の値を比率で表し、検出人数全員の合計が１となるように、各顔部分の優先度の値を決め、値が大きい方が優先度が高いとする。
【０１０９】
次に、ステップＳ８０３では、被写体リストＬ３における最も優先度が高かった要素の番号ｎを変数ｋ３に格納する。続くステップＳ８０４〜ステップＳ８０９の処理は、図６のステップＳ６１０〜Ｓ６１５の処理と同様である。
【０１１０】
次に、ビデオカメラ１００で複数の被写体を撮影した場合の、図３〜図５、図８の処理を反映させた具体的な動作例について説明する。
【０１１１】
図９(ａ)は、撮影開始時の画像の例である。
【０１１２】
このときユーザは主被写体を指定しておらず、またＣＰＵ１０１によっても主被写体が自動設定されていないものとする。撮影画像１２００には人物１２１０、１２２０、１２３０、１２４０、１２５０が写っている。またＲＯＭ１０３に格納されている個人情報リストＬ１は図２(ａ)に示すものと同様とする。撮影画像１２００において人物１２１０、１２２０は個人情報リストＬ１における番号２、３の人物であるとする。
【０１１３】
図９(ｂ)は、撮影画像１２００における各人物の検出人数を考慮しない場合の個人情報による優先度と顔の位置及び大きさによる優先度とを示す図である。図中のグラフが長いほど優先度が高い。図９(ｂ)に示すように、顔の位置及び大きさによる優先度をＰ（Ｐ１〜Ｐ５）で示す。人物１２１０、１２２０、１２３０、１２４０、１２５０における顔の位置及び大きさによる優先度はそれぞれＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５となる。
【０１１４】
顔の位置及び大きさでは人物１２４０が画像中心に近く、大きく写っているため優先度Ｐ４の長さが一番長くなっている。逆に人物１２２０や人物１２３０は撮影画角の端に近く、顔の大きさが小さいため優先度Ｐ２、Ｐ３が短い。またＱ（Ｑ１〜Ｑ５）は、個人情報による優先度であり、人物１２１０、１２２０は個人情報が登録されているので個人情報による優先度Ｑ１、Ｑ２を有する。図２(ａ)の番号２、３に示すように、人物１２１０の方が人物１２２０と比べて主被写体回数ｃが多く、主被写体時間ｔも長いため、優先度Ｑ１の方が優先度Ｑ２よりも長くなっている。
【０１１５】
この状態での主被写体が選択されるまでの処理について説明する。始めに、特徴検出部１２４は人物１２１０、１２２０、１２３０、１２４０、１２５０の顔部分を検出する。個人認証部１２６は人物１２１０、１２２０を個人情報リストＬ１における番号２、３の人物であると認証し、人物１２３０、１２４０、１２５０は個人情報なしと認証する。ＣＰＵ１０１は検出結果と認証結果から検出結果リストＬ２を更新する（図３）。そして、検出結果リストＬ２より、被写体リストＬ３における人物１２１０、１２２０、１２３０、１２４０、１２５０の顔の位置及び大きさを更新する（図４）。その際、人物１２１０、１２２０の認証結果ａをそれぞれ２、３に設定し、人物１２３０、１２４０、１２５０の認証結果ａをいずれも０に設定する。
【０１１６】
次にＣＰＵ１０１は、被写体リストＬ３の削除処理を行う（図５）。この場合、人物１２１０、１２２０、１２３０、１２４０、１２５０のいずれも顔が検出されているため、削除対象となる顔部分はない。
【０１１７】
次にＣＰＵ１０１は、主被写体の選択処理を行う（図８）。まず検出された各人物の優先度を求める。ここで検出人数は５人であるため、図９(ｂ)における各人物の優先度を求めるに際し、上記数式３により、顔の位置及び大きさによる優先度Ｐを５倍し、個人情報による優先度Ｑを１／５倍にする。その結果を図１０に示す。
【０１１８】
図１０は、撮影画像１２００における各人物の検出人数を考慮した場合の優先度Ｐ及び優先度Ｑを示す図である。図１０に示すように、検出人数が多い場合には個人情報の有無よりも、撮影画角での優位性のある人物が優先されるようになる。優先度が最大となるのは人物１２４０であるため、ＣＰＵ１０１は人物１２４０を主被写体として選択する。そして、ＣＰＵ１０１は被写体リストＬ３において人物１２４０の主被写体回数ｃ２に１を加える。また撮影中であるため主被写体時間ｔ２に検出周期１／６０秒を加える。
【０１１９】
図１１(ａ)は、図９(ａ)に示す状態から人物１２２０、１２３０が同時にフレームアウトし、人物１２２０、１２３０が検出できなくなって３フレーム目の撮影画像を表す図である。この撮影画像１５００では、人物１２２０、１２３０の消失フレーム数は２となっている。また人物１２１０、１２４０、１２５０は移動しておらず、検出され続けているものとする。このとき主被写体は人物１２４０のままであり、変更はないものとする。
【０１２０】
特徴検出部１２４は人物１２１０、１２４０、１２５０の顔部分を検出する。個人認証部１２６は人物１２１０を個人情報リストＬ１における番号２の人物であると認証し、人物１２４０、１２５０はいずれも個人情報なしと認証する。ＣＰＵ１０１は検出結果と認証結果から検出結果リストＬ２を更新する（図３）。そして、検出結果リストＬ２より、被写体リストＬ３における人物１２１０、１２４０、１２５０の位置及び大きさを更新する（図４）。その際、人物１２１０の認証結果ａを２に設定し、人物１２４０、１２５０の認証結果ａを０に設定する。
【０１２１】
人物１２２０、１２３０は、検出されなくなって３フレーム目が過ぎ、消失フレーム数が３となると、被写体リストＬ３から削除される（図５）。このとき、人物１２２０は主被写体になっておらず、また人物１２３０は個人情報をもたないため、個人情報リストＬ１は更新されない。
【０１２２】
次にＣＰＵ１０１は主被写体の選択処理を行う（図８）。まず検出された各人物の優先度を求める。ここで検出人数は３人であるため、図９(ｂ)における各人物の優先度を求めるに際し、上記数式３により、顔の位置及び大きさによる優先度Ｐを３倍し、個人情報による優先度Ｑを１／３倍にする。その結果を図１１(ｂ)に示す。
【０１２３】
図１１(ｂ)は、撮影画像１５００における各人物の検出人数を考慮した場合の優先度Ｐ及び優先度Ｑを示す図である。
【０１２４】
図１１(ｂ)に示すように、検出人数が３人と少ない場合には、個人情報による優先度Ｐは下がるものの、検出人数が５人の場合と比べれば高い優先度を保ち、個人情報が登録されている人物が優先される度合いが比較的高くなっている。優先度が最大となるのは人物１２１０であるので、ＣＰＵ１０１は、人物１２１０を主被写体として選択する。そして、ＣＰＵ１０１は被写体リストＬ３において人物１２１０の主被写体回数ｃ２に１を加え、また撮影中なので主被写体時間ｔ２に検出周期１／６０秒を加える。
【０１２５】
続いて図１１(ａ)に示す状態から人物１２４０、１２５０は移動せず、人物１２１０のみフレームアウトした場合を考える。人物１２１０がフレームアウトし、顔検出できなくなって３フレーム目が過ぎると、ＣＰＵ１０１は人物１２１０を被写体リストＬ３から削除する。このとき、人物１２１０は主被写体であり、認証結果ａが２であるため、ＣＰＵ１０１は個人情報リストＬ１の番号２の主被写体回数ｃに、人物１２１０の被写体リストＬ３での主被写体回数ｃ２の値である１を加える。また同様に個人情報リストＬ１の番号２の主被写体時間ｔに、人物１２１０の被写体リストＬ３での主被写体時間ｔ２を加える。
【０１２６】
次にＣＰＵ１０１は主被写体選択処理を行う（図８）。人物１２１０は既に削除されており、主被写体情報ｍを持つ被写体がいない。このとき、人物１２４０、１２５０が被写体である。人物１２４０、１２５０はいずれも個人情報を持たないので、ＣＰＵ１０１は、上記数式３に基づき、顔の位置及び大きさによる優先度Ｐが高い人物１２４０を主被写体に選択する。そして、ＣＰＵ１０１は被写体リストＬ３において人物１２４０の主被写体回数ｃ２に１を加え、また撮影中なので主被写体時間ｔ２に検出周期１／６０秒を加える。
【０１２７】
本実施の形態によれば、個人情報（主被写体回数ｃ、主被写体時間ｔ）、検出人数、及び被写体情報（顔の位置及び大きさ）に基づいて主被写体を決定する。特に、被写体が複数の場合でも、検出人数が多くなるほど、個人情報よりも被写体情報の重み付けを重くして主被写体を決定する。これにより、手間をかけることなく、ユーザが意図する被写体を学習により推測して自動的に主被写体として決定することに関し、第１の実施の形態と同様の効果を奏することができる。それだけでなく、特徴部分の数に応じて意図する被写体をより適切に推測することができる。
【０１２８】
なお、上記各実施の形態において、優先度を求める際に、個人情報（個別情報）として主被写体回数ｃ及び主被写体時間ｔの双方の情報を用いたが、これらのいずれか一方のみを用いるようにしてもよい。また同様に、被写体情報として、顔の位置及び大きさの双方の情報を用いたが、これらのいずれか一方のみを用いるようにしてもよい。
【０１２９】
また、優先度を求めるうえで上記数式１〜３に例示する算出式を用いたが、これに限るものではなく、マップやテーブルを用いて優先度を求めてもよい。
【０１３０】
なお、登録や検出の対象となる特徴部分として、人物の顔部分を例示したが、これに限るものではなく、撮影画像中で特徴となる部分であればよい。例えば、特定の文字、図形、模様等でもよく、部品検査や、画像中から特定の対象物を探し出すような撮影装置にも適用可能である。
【０１３１】
さらに、決定した主被写体に合わせて絞りやフォーカス等の撮影制御を行う撮影装置を例にあげて説明を行ったが、これに限られるものではない。例えば、パーソナルコンピュータやネットワークサーバー等で、取得した画像に対し、決定した主被写体が適正値となるように輝度や彩度を補正したり、主被写体における光学収差が最も小さくなるように画像を変形させたりする処理を実行してもよい。あるいは、主被写体が中心となるように画像を切り出したり、主被写体のサイズや座標に関する情報を画像に付随させて記憶させたりする処理を実行してもよい。
【０１３２】
このように、複数の人物が検出された場合に、主被写体回数ｃ及び主被写体時間ｔの少なくとも一方を用いて主被写体を決定することができる画像処理装置であればよく、主被写体に関する情報をどのような処理に用いるかについては限定されるものではない。
【０１３３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【０１３４】
１０１  ＣＰＵ
１０３  ＲＯＭ
１０４  操作部
１１４  ＣＣＤイメージセンサ
１２４  特徴検出部
Ｌ１  個人情報リスト
Ｌ２  検出結果リスト
Ｌ３  被写体リスト
ｃ、ｃ２  主被写体回数
ｔ、ｔ２  主被写体時間
【図１】
0005921236.tif 000002
【図２】
0005921236.tif 000003
【図３】
0005921236.tif 000004
【図４】
0005921236.tif 000005
【図５】
0005921236.tif 000006
【図６】
0005921236.tif 000007
【図７】
0005921236.tif 000008
【図８】
0005921236.tif 000009
【図９】
0005921236.tif 000010
【図１０】
0005921236.tif 000011
【図１１】
0005921236.tif 000012