(57)【特許請求の範囲】
【請求項１】
撮影された動画から被写体の顔を検出する検出手段と、
前記検出手段にて検出された被写体の顔から特徴量を抽出する特徴量抽出手段と、
それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出手段により顔から特徴量が抽出された被写体を認証できたと判定する認証手段を有し、
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証されている被写体の顔に対する前記条件と、前記動画の記録が開始されたときに認証されていない被写体の顔に対する前記条件を異ならせることを特徴とする画像処理装置。
【請求項２】
前記認証手段は、前記撮影された動画の記録部への記憶が開始される前は、前記メモリに顔の特徴量が予め記憶されている被写体ごとに前記条件を異ならせないことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記予め定めた条件は、それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量の類似度が閾値以上であることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証されている被写体の顔に対する前記閾値を、前記動画の記録が開始されたときに認証されていない被写体の顔に対する前記閾値よりも低くすることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記動画の記録が開始されたときに認証されていない被写体の顔に対する前記閾値を、前記撮影された動画の記録部への記憶が開始される前よりも高くすることを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記撮影された動画の記録部への記憶が開始される前よりも前記閾値を高くすることを特徴とする請求項３又は４に記載の画像処理装置。
【請求項７】
前記検出手段が複数の被写体の顔を検出した場合に、該複数の被写体から主被写体を選択する選択手段を有し、
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されている被写体の顔に対する前記閾値を、前記動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されていない被写体の顔に対する前記閾値よりも低くすることを特徴とする請求項３乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記選択手段は、前記撮影された動画の記録部への記憶が開始される前の予め定めた期間において、前記主被写体として選択した被写体の特徴量と、メモリに記憶されたいずれかの被写体の顔の特徴量の類似度が、前記動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されていない被写体の顔に対する前記閾値を超えない場合に、前記主被写体の選択が誤りであると判定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
撮影された動画から被写体の顔を検出する検出手段と、
前記検出手段が複数の被写体の顔を検出した場合に、該複数の被写体から主被写体を選択する選択手段と、
前記検出手段にて検出された被写体の顔から特徴量を抽出する特徴量抽出手段と、
それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出手段により顔から特徴量が抽出された被写体を認証できたと判定する認証手段を有し、
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されている被写体の顔に対する前記条件と、それ以外の被写体の顔に対する前記条件を異ならせることを特徴とする画像処理装置。
【請求項１０】
前記認証手段は、前記撮影された動画の記録部への記憶が開始される前は、前記メモリに顔の特徴量が予め記憶されている被写体ごとに前記条件を異ならせないことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記予め定めた条件は、それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量の類似度が閾値以上であることを特徴とする請求項９又は１０に記載の画像処理装置。
【請求項１２】
前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されている被写体の顔に対する前記閾値を、それ以外の被写体の顔に対する前記閾値よりも低くすることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記選択手段は、前記撮影された動画の記録部への記憶が開始される前の予め定めた期間において、前記主被写体として選択した被写体の特徴量と、メモリに記憶されたいずれかの被写体の顔の特徴量の類似度が、前記動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されていない被写体の顔に対する前記閾値を超えない場合に、前記主被写体の選択が誤りであると判定することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】
前記撮影された動画とともに、前記認証手段による認証結果を表示する表示手段を有することを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記動画を撮影する撮影手段と、
請求項１乃至１４のいずれか１項に記載された画像処理装置を有することを特徴とするカメラ。
【請求項１６】
撮影された動画から被写体の顔を検出する検出工程と、
前記検出工程において検出された被写体の顔から特徴量を抽出する特徴量抽出工程と、
それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出工程において抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出工程において顔から特徴量が抽出された被写体を認証できたと判定する認証工程を有し、
前記認証工程では、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証されている被写体の顔に対する前記条件と、前記動画の記録が開始されたときに認証されていない被写体の顔に対する前記条件を異ならせることを特徴とする画像処理方法。
【請求項１７】
撮影された動画から被写体の顔を検出する検出工程と、
前記検出工程において複数の被写体の顔を検出した場合に、該複数の被写体から主被写体を選択する選択工程と、
前記検出工程において検出された被写体の顔から特徴量を抽出する特徴量抽出工程と、
それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出工程において抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出工程において顔から特徴量が抽出された被写体を認証できたと判定する認証工程を有し、
前記認証工程では、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証され、かつ、前記選択工程において前記主被写体として選択されている被写体の顔に対する前記条件と、それ以外の被写体の顔に対する前記条件を異ならせることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ等の画像処理装置及び方法、並びに画像処理装置を有するカメラに係り、特に、被写体の顔を検出して、検出された顔に対して個人認証を行う画像処理装置及び方法、並びに画像処理装置を有するカメラに関する。
【背景技術】
【０００２】
近年、撮影中に周期的に顔を検出し、予め保持している個人情報と比較して、その顔が誰であるか特定する個人認証の機能を備えたビデオカメラが登場している。このようなビデオカメラの個人認証の機能では、個人情報との比較により算出される類似度が予め設定された閾値以上であった場合に、その顔を特定の個人として認証する。また、このビデオカメラは、動画記録中に認証した個人に関する情報を動画に付与して記録する機能を備える。さらに、このビデオカメラでは、付与された情報を元に動画を分類する機能を備えている。このような機能を備えたビデオカメラでは、ユーザーが、個人情報に登録されている人物を指定することで、その人物が写っている動画のみを抽出させることができる。
【０００３】
また、ビデオカメラの個人認証の機能では、個人認証を行うときに、個人情報との比較により算出される類似度に係る閾値を低く設定した場合に、本人を本人として認証しない確率（本人棄却率）が下がる。しかしながら、これと共に、類似度に係る閾値を低く設定した場合には、別人を本人として認証してしまう確率（他人受入率）が上がってしまう。そのため、類似度に係る閾値を低く設定した場合には、動画記録中に誤認証の結果が付与されやすくなる。
【０００４】
また、類似度に係る閾値を高く設定した場合には、別人を本人と誤認して他人受入率が下がるが、本人を認証できず本人棄却率が上がってしまう。そのため、類似度に係る閾値を高く設定した場合には、動画記録中、正しい認証結果が付与されにくくなる。このため、ユーザーの使勝手が良くなるように個人認証結果を動画に付与するためには、閾値の調整が重要となる。
【０００５】
従来の顔照合装置には、適切な個人認証結果を得るために、閾値を調整するものが提案されている（例えば、特許文献１参照。）。この従来の顔照合装置では、他人受入率や本人棄却率、それらが等しくなる確率の何れかを、フォーカスや露出等の撮影条件、登録画像の顔サイズ又は登録枚数等の登録条件によらず一定となるように閾値を調整している。すなわち、従来の顔照合装置では、閾値を調整して、全ての人物で、本人として認証される頻度や誤認証の頻度が一定となるようにしている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−１６３５５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、個人認証の機能を備えたビデオカメラでは、記録された動画像を再生する際に所望の人物を検索したい場合に、所望の人物がある程度の頻度で認証されている方が検索性が高まるので望ましい。しかしながら、認証頻度を高くすることを優先したことにより誤認証が増えてしまったのでは、使い勝手として望ましくない。
【０００８】
本発明の目的は、誤認証されにくいと推定される人物については、人物の認証頻度及び認証回数を向上して検索性を高めることで、検索の使い勝手を向上できる画像処理装置及び方法、並びに画像処理装置を有するカメラを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の画像処理装置は、撮影された動画から被写体の顔を検出する検出手段と、前記検出手段にて検出された被写体の顔から特徴量を抽出する特徴量抽出手段と、それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出手段により顔から特徴量が抽出された被写体を認証できたと判定する認証手段を有し、前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証されている被写体の顔に対する前記条件と、前記動画の記録が開始されたときに認証されていない被写体の顔に対する前記条件を異ならせることを特徴とする。
【００１０】
また、上記目的を達成するために、本発明の画像処理装置は、撮影された動画から被写体の顔を検出する検出手段と、前記検出手段が複数の被写体の顔を検出した場合に、該複数の被写体から主被写体を選択する選択手段と、前記検出手段にて検出された被写体の顔から特徴量を抽出する特徴量抽出手段と、それぞれの被写体の顔の特徴量を予め記憶しているメモリに記憶されたいずれかの被写体の顔の特徴量と、前記特徴量抽出手段により抽出された顔の特徴量を比較した結果が、予め定めた条件を満たす場合に、前記特徴量抽出手段により顔から特徴量が抽出された被写体を認証できたと判定する認証手段を有し、前記認証手段は、前記撮影された動画の記録部への記憶が開始された後は、前記メモリに顔の特徴量が予め記憶されている被写体のうち、前記撮影された動画の記録が開始されたときに認証され、かつ、前記選択手段によって前記主被写体として選択されている被写体の顔に対する前記条件と、それ以外の被写体の顔に対する前記条件を異ならせることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、誤認証されにくいと推定される人物については、人物を認証し易くして認証回数を向上するようにして、検索等の利便性を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第1実施の形態に係るビデオカメラの概略構成を示すブロック図である。
【図２】本発明の第1実施の形態に係るユーザーが事前に登録した人物の顔画像と特徴量、名前がリスト化されている個人情報リストを例示する説明図である。
【図３】本発明の第1実施の形態に係るビデオカメラにおいて、顔を検出して認証するまでの顔検出認証処理の手順を示すフローチャートである。
【図４】本発明の第1実施の形態に係る、顔検出部により検出された顔の情報を管理するための被写体リストを例示する説明図である。
【図５】本発明の第1実施の形態に係る、照合処理を行った要素の各登録人物に対する類似度を管理するための照合結果リストを例示する説明図である。
【図６】本発明の第1実施の形態に係るビデオカメラにおいて、顔検出認証処理で実行される照合判定処理における類似度の選定と閾値の制御に係る被写体リスト更新処理の手順を示すフローチャートである。
【図７】本発明の第1実施の形態に係るビデオカメラにおいて、１６フレーム分の期間における、人物さとしの認証結果を例示する説明図である。
【図８】本発明の第1実施の形態に係るビデオカメラにおいて、１６フレーム分の期間における、人物まさひろの認証結果を例示する説明図である。
【図９】（９−１）（９−２）（９−３）（９−４）は、それぞれ本発明の第1実施の形態に係るビデオカメラで記録する際の被写体リストと記録開始時認証人物、認証済み人物との関係を例示する説明図である。
【図１０】本発明の第２実施の形態に係るビデオカメラにおいて、顔検出認証処理で実行される照合判定処理における類似度の選定と閾値の制御に係る被写体リスト更新処理の手順を示すフローチャートである。
【図１１】本発明の第２実施の形態に係るビデオカメラにおいて、１６フレーム分の期間における、人物さとしの認証結果を例示する説明図である。
【図１２】本発明の第２実施の形態に係るビデオカメラにおいて、１６フレーム分の期間における、人物まさひろの認証結果を例示する説明図である。
【発明を実施するための形態】
【００１３】
（第１実施の形態）
以下、本発明の画像処理装置に関する第１実施の形態に係る、撮影画像より顔検出及び個人認証を行うビデオカメラについて図面を参照しながら説明する。
【００１４】
図１の本実施の形態に係るビデオカメラの概略構成を示すブロック図で、１００は、ビデオカメラの本体を示す。このビデオカメラ１００は、制御系ブロックであるＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３及び操作部１０４を備える。
【００１５】
このＣＰＵ１０１は、内部バス１０５により、ＲＡＭ１０２、ＲＯＭ１０３及びその他の各ブロックに接続され、ＲＯＭ１０３に格納された制御プログラムに基づいて各ブロックの制御を行う。このＲＯＭ１０３は、ＦＬＡＳＨ等の書き換え可能なＲＯＭとして構成されている。
【００１６】
このＣＰＵ１０１は、動作時の一時的なデータの格納場所としてＲＡＭ１０２を用いる。また、このＣＰＵ１０１は、ユーザーが操作部１０４の各種の操作レバーやボタン等を操作して入力した指令信号を操作部１０４から受信し、このユーザーの指令に応じて、各種処理を実行する。
【００１７】
このビデオカメラ１００は、画像を撮影する撮影手段として機能するカメラ系ブロックであるフォーカスレンズ１１０、絞り１１１、ＣＣＤイメージセンサ１１２、レンズドライバ１１３及びＡＦＥ１１４を備える。
【００１８】
このビデオカメラ１００のカメラ系では、フォーカスレンズ１１０、絞り１１１を通過した光が、ＣＣＤイメージセンサ１１２の撮像面上に結像されると、撮像面の光学像が電気信号に変換される。
【００１９】
このビデオカメラ１００では、ＣＰＵ１０１がレンズドライバ１１３を制御し、フォーカスレンズ１１０及び絞り１１１を駆動させて、フォーカス及び絞り量の調整を行う。このビデオカメラ１００では、ＡＦＥ１１４がＣＰＵ１０１に指示されたシャッター速度に基づき、ＣＣＤイメージセンサ１１２を駆動して１／３０秒毎に１フレーム分の画像信号を読み出し、画像信号のサンプル・ホールドと増幅、デジタル信号への変換を行う。
【００２０】
このビデオカメラ１００は、図１に示すように画像処理系ブロックである、画像処理部１２０、露出評価部１２１、フォーカス評価部１２２、バッファメモリ１２３、顔検出部１２４及び特徴量抽出部１２５を備える。この特徴量抽出部１２５は、人物の顔から容貌に関する情報である特徴量を抽出する特徴量抽出手段として機能する。
【００２１】
このビデオカメラ１００では、ＣＰＵ１０１に制御された画像処理部１２０が、ＡＦＥ１１４から画像信号を入力して色変換処理を行い、バッファメモリ１２３に画像信号を出力する。また、露出評価部１２１及びフォーカス評価部１２２は、画像処理部１２０から得た画像信号に含まれる複数の領域に対して、露出およびフォーカスの状態をそれぞれ評価する。さらに、顔検出部１２４は、撮影された画像から人物の顔を検出する顔検出手段として機能する。このため、顔検出部１２４は、１フレーム毎にバッファメモリ１２３から画像信号を読出し、画像に含まれる人物の顔の数とそれらの大きさ、位置を検出する。そして、ＣＰＵ１０１は、顔検出部１２４が検出した顔の位置と大きさをＲＡＭ１０２に被写体リストとして格納する。なお、被写体リストについては後述する。
【００２２】
また、特徴量抽出部１２５は、バッファメモリ１２３から画像信号を読出し、被写体リストより顔検出部１２４が検出した顔に対して、目や鼻、口などの顔の器官の位置や肌色などの容貌を表す特徴量を抽出する。以下、この処理を抽出処理と言う。
【００２３】
このビデオカメラ１００では、個人認証部１２６が、特徴量抽出部１２５で抽出された特徴量とＲＯＭ１０３に格納されている個人情報リストに登録されている人物（登録人物）の特徴量を照合し、各人物との類似度を算出する。すなわち、この個人認証部１２６は、特徴量抽出部１２５により抽出された人物の顔の特徴量と登録された人物の顔画像の特徴量との類似度を算出する照合手段として機能する。ここで、個人情報リストとは、ユーザーが事前に登録した人物の顔画像と特徴量、名前がリスト化されたものである。このＲＯＭ１０３は、登録された人物の顔画像から前記特徴量を抽出し記憶する個人情報記憶手段として機能する。
【００２４】
このビデオカメラ１００では、ＣＰＵ１０１が、算出された類似度をＲＡＭ１０２に照合結果リストとして格納する。以下、この処理を照合処理と言う。なお、照合結果リストについては後述する。さらに、ＣＰＵ１０１は、照合結果リストより、算出された類似度を閾値と比較し、検出した顔を特定の個人として認証するか判定する。すなわち、ＣＰＵ１０１は、算出された類似度が閾値以上である場合に、その類似度の算出に用いた顔の特徴量が示す人物が、同じく類似度の算出に用いた登録された人物の特徴量が示す人物であると判定し、認証を行う認証手段として機能する。
【００２５】
このビデオカメラ１００の記録部１３０は、内部に図示しない不揮発性の半導体メモリを備え、ユーザーが記録開始の操作をした場合に、バッファメモリ１２３より画像信号を読み出し、記録部１３０内の不揮発性の半導体メモリに記録する。また、この画像を記録媒体に記録する記録手段として機能する記録部１３０は、その時の認証結果もあわせて記録する。さらに、記録部１３０は、ユーザーが記録停止の操作を行うと、記録部１３０内の不揮発性の半導体メモリへの記録を止める。なお、記録部１３０は、不揮発性の半導体メモリの代わりに、内蔵されたハードディスクドライブ（ＨＤＤ）や、外部より装着されたＤＶＤやＣＤに、画像信号を記憶するようにしてもよい。
【００２６】
このビデオカメラ１００は、表示系ブロックである描画部１４０、合成部１４１及び表示部１４２を備える。この描画部１４０は、被写体リストより画像の顔の位置に合わせて枠の描画を行い、個人として認証されていれば、その人物の名前を枠の左上に描画し、合成部１４１に出力する。この合成部１４１は、バッファメモリ１２３より画像信号を読出しながら、描画部１４０より出力される枠を合成し、表示部１４２に出力する。このビデオカメラ１００は、表示部１４２を備え、合成部１４１が合成した前記画像信号を出力する。すなわち、この表示部１４２は、個人認証の認証手段による認証の結果である、特定の個人として認証された人物に係る情報を表示する表示手段として機能する。
【００２７】
次に、ユーザーが事前に登録した人物の顔画像と特徴量、名前がリスト化されている個人情報リストの一例について、図２を参照して説明する。
【００２８】
図２に示す個人情報リストでは、登録番号が、その要素がリスト内で何番目の要素であるかを示す情報となっている。本明細書では、リスト内のｎ番目の要素を、要素［ｎ］と記述する。
【００２９】
この個人情報リストに新しい人物の個人情報を追加する場合には、ユーザーが、追加する人物の顔が写った画像及び追加する人物の名前をＲＯＭ１０３に登録する。このため、ユーザーは、操作部１０４のボタンを操作して、追加する人物の名前を入力する。追加する名前の入力が終わると、ＣＰＵ１０１は、特徴量抽出部１２５により登録された顔画像から特徴量を抽出して個人情報リストに新たな要素を追加し、名前と特徴量を格納する。このとき、ＣＰＵ１０１は、登録番号の欄に、追加した要素が何番目の要素であるかを設定して記述し、個人情報リストの登録を完了させる。
【００３０】
次に、本実施の形態に係るビデオカメラ１００において、顔を検出して認証するまでの顔検出認証処理の手順について、図３のフローチャートを参照して説明する。
【００３１】
この顔検出認証処理は、ビデオカメラ１００に対してユーザが記録開始前の記録ポーズの操作をしたときに開始する。なお、記録とは、カメラ系ブロックや画像処理系ブロックを制御し、撮影した画像を、保存と目的とする不揮発性のメモリに記録させることを意味する。これに対し、記録ポーズとは、撮影した画像を不揮発性のメモリには記録せずに、カメラ系ブロックや画像処理系ブロックを制御する状態を意味する。すなわち、記録と記録ポーズとでは、記録部１３０が不揮発性メモリに画像信号を記録させるか否かという点で違いはあるが、それ以外のカメラ系ブロック、画像処理系ブロック、および、表示系ブロックは、同様の処理を行う。この顔検出認証処理が開始すると、顔検出部１２４は、顔検出処理を実行する（ステップＳ３０１）。次に、ＣＰＵ１０１は、検出結果と被写体リストの、位置と大きさから追尾判定を行い、被写体リストの更新を行う（ステップＳ３０２）。
【００３２】
なお、この被写体リストは、図４に例示するように構成されている。この被写体リストは、ＲＡＭ１０２に格納され、ＣＰＵ１０１が顔検出部１２４により検出された顔の情報を管理するためのリストである。この被写体リストには、検出された顔の番号と中心位置、大きさが格納されている。図４に示す「番号」は、その要素がリスト内で何番目の要素であるかを示す情報である。
【００３３】
このステップＳ３０２で実行される追尾判定では、ＣＰＵ１０１が顔検出部１２４により検出された顔と被写体リストに格納されている顔の位置と大きさとの相関関係より、同一人物の顔であるか否かを判定する。そして、同一人物と判定された場合には、顔の位置と大きさを更新する。次に、同一人物の顔と判定されなかった場合は、その顔を新しい要素として、被写体リストに追加する。また、検出結果との相関関係がなく、更新されなかった要素は、被写体リストから削除する。
【００３４】
次に、ＣＰＵ１０１は、被写体リストより認証実行判定を行う（ステップＳ３０３）。この認証実行判定では、まず個人情報リストの登録人物でまだ認証されていない人物がいるかを判定する。なお、全ての登録人物が認証されていれば、それ以降のステップＳ３０４〜Ｓ３０７の認証に関する処理をする必要はない。さらに、ＣＰＵ１０１は、被写体リストでまだ認証されていない要素があるか判定する。なお、本顔検出認証処理では、既に認証されている要素に対して、それ以降認証に関する処理を行わない。
【００３５】
次に、ＣＰＵ１０１は、被写体リストでまだ認証されていない要素がある場合に、認証されていない要素に対して抽出処理を行う（ステップＳ３０４）。この抽出処理では、特徴量抽出部１２５が、その要素の特徴量を抽出する。
【００３６】
次に、ＣＰＵ１０１は、照合処理を行う（ステップＳ３０５）。この照合処理では、ＣＰＵ１０１が、個人認証部１２６が抽出処理で抽出された特徴量と各登録人物の特徴量とを照合し、算出した類似度（照合結果）を照合結果リストに格納する。この照合結果リストは、図５に例示するように構成されており、照合処理を行った要素の各登録人物に対する類似度が格納されている。
【００３７】
次に、ＣＰＵ１０１は、被写体リストの認証されていない要素に対して照合判定を行う（ステップＳ３０６）。この照合判定とは、照合結果リストにおいて、照合判定の対象となる要素における各登録人物に対する類似度の中から１つを選定し、選定した類似度が閾値を越えるか否かを判定するものである。なお、類似度の選定の仕方及び閾値については後述する。
【００３８】
そして、ＣＰＵ１０１は、照合判定結果から、その要素の被写体リストの認証候補人物と判定回数を更新する。ここで、認証候補人物とは、照合判定において類似度が閾値を越えた登録人物の個人情報リストの登録番号を示した情報である。また、判定回数とは、同一の登録人物が何回連続で認証候補人物として判定されたかを示した情報である。
【００３９】
次に、ＣＰＵ１０１は、照合判定を行った要素に対して認証判定を行う（ステップＳ３０７）。ここで、ＣＰＵ１０１は、判定回数が３になると、その要素を、登録人物として認証する。またＣＰＵ１０１は、認証した人物の個人情報リストの登録番号をＲＡＭ１０２に格納されている認証済み人物に追加する。さらに、ＣＰＵ１０１は、まだ認証されていない要素に対して照合判定をする際に、認証済み人物を対象から除外する。ＣＰＵ１０１は、誰も認証されていない場合、認証済み人物に０を格納する。次に、ＣＰＵ１０１は、認証判定を終えると、照合結果リストの全要素を削除して、この顔検出認証処理を終了する。
【００４０】
次に、上述した顔検出認証処理において実行される照合判定処理における類似度の選定と閾値の制御に係る被写体リスト更新処理の手順について、図６のフローチャートを参照して説明する。
【００４１】
この被写体リスト更新処理では、まず、類似度選定のための処理動作を行う（ステップＳ６０１〜ステップＳ６０６）。この類似度選定のための処理動作では、ＣＰＵ１０１が、照合結果リストの照合判定を行う要素に対する類似度の中で、最大となる登録人物の登録番号を判定人物ｎに設定する（ステップＳ６０１）。次に、ＣＰＵ１０１は、判定人物ｎの類似度を判定類似度ｘに設定する（ステップＳ６０２）。
【００４２】
次に、ＣＰＵ１０１は、判定類似度ｘが他の要素の判定人物ｎに対する類似度と比較して最大であるか否かを判定する（ステップＳ６０３）。そして、ＣＰＵ１０１は、判定人物ｎに対する類似度で、判定類似度ｘより高い類似度である他の要素があったと判定した場合（ステップＳ６０３でＮＯ）、ステップＳ６０４へ進み、判定人物ｎが、その要素の中で最も低い類似度であるか否かを判定する。次に、ＣＰＵ１０１は、最も低い類似度でないと判定した場合（ステップＳ６０４でＮＯ）に、ステップＳ６０５へ進み、次に高い類似度である人物を判定人物ｎに設定して、ステップＳ６０２へ戻り、再度処理を繰り返す。
【００４３】
また、ステップＳ６０４で、ＣＰＵ１０１が、最も低い類似度であると判定した場合（ステップＳ６０４でＹＥＳ）には、全ての登録人物に対する類似度がステップＳ６０３の条件を満たさなかったことになる。このため、ＣＰＵ１０１は、類似する人物はいないと判断してステップＳ６１１へ進み、判定回数ｃを０にリセットする（ステップＳ６１１）。次に、ＣＰＵ１０１は、認証候補人物ｌを０にし（ステップＳ６１２）、この被写体リスト更新処理を終了する。
【００４４】
また、ＣＰＵ１０１は、判定類似度ｘが他の要素の判定人物ｎに対する類似度と比較して最大であると判定した場合（ステップＳ６０３でＹＥＳ）に、認証に用いる閾値ｙを条件に応じて変更させる。
【００４５】
このため、ＣＰＵ１０１は、動画記録中か否かを判定し、動画記録前であると判定し場合（ステップＳ６０６でＮＯ）に、ステップＳ６０７へ進んで閾値ｙに低めの閾値Ａを設定する。ここで、個人認証部１２６の類似度の値域は、０〜１００とし、例えば閾値Ａを８０とする。
【００４６】
次に、ＣＰＵ１０１は、動画記録中であると判定した場合（ステップＳ６０６でＹＥＳ）に、ステップＳ６０８へ進み、判定人物ｎが記録開始時認証人物ｍか否か判定する。ここで記録開始時認証人物とは、ＲＡＭ１０２に格納されており、動画記録開始時に認証されていた人物の登録番号を示す情報で特定される人物である。なお、ユーザーからのボタン操作により、記録開始前の記録ポーズの状態から動画記録が開始されると、ＣＰＵ１０１は、顔検出部１２４を動作させる前に、そのとき認証されている人物の登録番号を格納する。誰も認証されていない場合には０を格納する。また記録が終了するとＣＰＵ１０１は記録開始時認証人物を０クリアする。
【００４７】
次に、ＣＰＵ１０１は、判定人物ｎと記録開始時認証人物ｍが一致すると判定した場合（ステップＳ６０８でＹＥＳ）に、ステップＳ６０７へ進み閾値ｙに閾値Ａをセットする。また、ＣＰＵ１０１は、記録開始時認証人物でないと判定した場合（ステップＳ６０８でＮＯ）、ステップＳ６０９で閾値ｙには閾値Ａより高い閾値Ｂをセットする。ここでＣＰＵ１０１は、例えば閾値Ｂを９０にセットする。
【００４８】
次に、ＣＰＵ１０１は、判定類似度ｘが閾値ｙ未満か否かを判定し、判定類似度ｘが閾値ｙ未満であると判定した場合（ステップＳ６１０でＮＯ）、類似する登録人物がいないと判断して、ステップＳ６１１へ進む。次に、ＣＰＵ１０１は、被写体リストの認証候補人物を０に更新する（ステップＳ６１１）。次に、ＣＰＵ１０１は、認証候補人物ｌを０にし（ステップＳ６１２）、この被写体リスト更新処理を終了する。
【００４９】
次に、ＣＰＵ１０１は、判定類似度ｘが閾値ｙ以上であると判定した場合（ステップＳ６１０でＹＥＳ）に、ステップＳ６１３へ進み、判定人物ｎと認証候補人物ｌが一致するか否かを判定する（ステップＳ６１３）。そして、ＣＰＵ１０１は、一致しないと判定した場合（ステップＳ６１３でＮＯ）には、新しい登録人物に対する認証となるので、認証候補人物ｌを判定人物ｎに更新する（ステップＳ６１４）。次に、ＣＰＵ１０１は、判定回数を１に更新する（ステップＳ６１５）。
【００５０】
また、ＣＰＵ１０１は、判定人物ｎと認証候補人物ｌが一致すると判定した場合（ステップＳ６１３でＹＥＳ）に、ステップＳ６１６へ進み判定回数をカウントアップし、この被写体リスト更新処理を終了する。
【００５１】
なお、上述した被写体リスト更新処理では、記録開始時認証人物に対して、照合判定時の閾値が閾値Ａを用いたものについて説明した。しかし、この閾値は閾値Ａ以上であり、閾値Ｂ未満の値である閾値Ｃを用いてもよい。また、この閾値Ｃの値は、記録開始前（記録ポーズの状態）における認証するまでの期間（サンプリングの期間）の類似度を用いて求めてもよい。例えば、認証するまでの同一の登録人物に対する類似度が８５、８３、８８となり、３回連続で閾値Ａを越えて認証された場合には、その最低値である８３を閾値Ｃに用いるが如くである。
【００５２】
上述したように、本実施の形態に係るビデオカメラ１００では、記録開始前の記録ポーズの状態において、積極的に認証をさせることになる。これは、ユーザーの期待として、記録開始前の記録ポーズ状態で、人物が正しく認証されてから動画記録を開始し、認証の結果を動画に付与したいという要望が想定されるためである。そのため、ビデオカメラ１００では、閾値を低めに設定し、認証される機会を増やす。また、誤認証をした場合でも、認証結果を表示することで、ユーザーが誤認証を知らずに動画記録を開始することを抑制する。
【００５３】
また、記録開始時に認証されていた人物は、ユーザーが認証結果の表示を確認した上で記録開始している可能性が高いことから認証結果が正しいと想定される。そのため、記録開始時（記録開始前の記録ポーズ状態の時）に認証されていた人物は、閾値をそのまま低く設定したとしても、その後も正しく認証される可能性が高いと考えられるので、記録開始後も引き続き認証され易くする。しかしそれ以外の人物は、認証結果が正しいとする明確な根拠がないため、誤認証防止を優先し、閾値を高くする。
【００５４】
また、ビデオカメラ１００では、記録開始後に、記録開始時に認証されている人物に用いる閾値を認証されるまでの類似度を用いて算出することで、不要に閾値を下げすぎて別の人物が誤認証されてしまう可能性を抑制する。
【００５５】
次に、ビデオカメラ１００で個人情報リストに登録している人物を写しながら記録開始した場合の具体的な動作について、図７及び図８を参照して説明する。
【００５６】
ここでは、ビデオカメラ１００のＲＯＭ１０３に格納されている個人情報リストが図２と同様のものである場合について説明する。この図７及び図８に例示するものは、個人情報リストの登録番号１の人物「さとし」がフレームインして、顔検出部１２４により最初に顔が検出されたフレーム（フレーム１）を基準とする。
【００５７】
人物「さとし」は、フレーム１からフレーム８の期間中、顔検出部１２４により顔が検出され、フレーム９、フレーム１０と一度検出されなくなり、フレーム１１〜フレーム１６で再度検出されている。
【００５８】
また、個人情報リストの登録番号２の人物「まさひろ」がフレーム８において、フレームインし、顔検出部１２４により、顔を検出されている。人物「まさひろ」は、フレーム８以降、顔検出部１２４により検出され続けている。この１６フレームまでの期間中、ユーザーは、フレーム４まで記録を開始せず、フレーム５で記録を開始し、それ以降記録し続けたものとする。
【００５９】
ここで、図７および図８は、この１６フレームの期間中における、「さとし」と「まさひろ」に対する個人認証部１２６の照合結果を例示している。この図７に示すフレーム１では、顔検出部１２４が「さとし」の顔を検出し、被写体リストに要素（要素［１］）を追加し、検出結果より、位置と大きさを格納する。
【００６０】
次に、ＣＰＵ１０１が実行する認証実行判定では、登録人物が誰も認証されず、要素［１］が認証されていないので、要素［１］が条件を満たし、抽出処理と照合処理が行われ、照合結果リストが更新される。
【００６１】
次に、ＣＰＵ１０１が実行する照合判定では、図７に示すように、照合結果リストの要素［１］に対する類似度で、登録人物「さとし」に対する類似度が一番高いため、この類似度を閾値と比較する。このときの閾値には、フレーム１〜フレーム４の期間が記録開始前（記録開始前の記録ポーズの状態）であるので、閾値Ａを用いる。
【００６２】
次に、ＣＰＵ１０１は、フレーム１で、類似度が閾値Ａ未満であるので、被写体リストのさとしに対応する要素［１］の判定回数に０を格納し、認証候補人物に０を格納する。なお、ＣＰＵ１０１は、認証回数が０なので、認証判定で要素［１］を認証しない。
【００６３】
次に、ＣＰＵ１０１は、フレーム２において、顔検出部１２４の検出結果より追尾判定によって検出した顔が要素［１］の顔と同一人物であると判断し、被写体リストの要素［１］の位置と大きさを更新する。前フレームと同様に、要素［１］は、認証実行判定の条件を満たすので、抽出処理と照合処理が行われ、照合結果リストが更新される。
【００６４】
次に、ＣＰＵ１０１は、照合判定で、図７に示すフレーム１と同様に、登録人物「さとし」に対する類似度を閾値Ａと比較する。またフレーム２では、類似度が閾値Ａを越えるので、ＣＰＵ１０１が、被写体リストの要素［１］の認証候補人物に登録人物さとしの登録番号１を格納し、判定回数に１を格納する。
【００６５】
次に、ＣＰＵ１０１は、フレーム３、フレーム４においても、顔検出部１２４の検出結果より追尾判定によって、被写体リストの要素［１］の位置と大きさを更新する。前フレーム同様に、要素［１］は、認証実行判定の条件を満たすので、抽出処理と照合処理が行われ、照合結果リストが更新される。
【００６６】
次に、照合判定では、図７に示すように、ＣＰＵ１０１が、登録人物さとしに対する類似度を閾値Ａと比較し、フレーム３とフレーム４共に、類似度が閾値Ａを越えている。また、ＣＰＵ１０１は、判定人物と認証候補人物が一致するため、判定回数をカウントアップする。このとき、フレーム４の認証判定において、判定回数が３となるので、ＣＰＵ１０１は、要素［１］を登録人物「さとし」として認証し、認証済み人物に登録人物「さとし」の登録番号１を追加する。このフレーム４では、更新を終えた後の被写体リストと記録開始時認証人物、認証済み人物を示したものが、図９−１（ａ）、（ｂ）、（ｃ）に示す如くなる。
【００６７】
次に、ＣＰＵ１０１は、描画部１４０により、認証した人物の名前「さとし」を描画させる。次に、ＣＰＵ１０１は、フレーム５において記録が開始された際に、認証している登録人物「さとし」の登録番号１を記録開始時認証人物に格納する。そして、ＣＰＵ１０１は、顔検出部１２４が検出処理を行って得られた検出結果を用いて追尾判定を行い、被写体リストの要素［１］の位置と大きさを更新する。このとき、ＣＰＵ１０１は、認証実行判定において、要素［１］がすでに認証されているため条件を満たさないので、それ以降の処理を行わない。このフレーム５では、更新を終えた後の被写体リストと記録開始時認証人物、認証済み人物を示したものが、図９−２（ａ）、（ｂ）、（ｃ）に示す如くなる。
【００６８】
次に、ＣＰＵ１０１は、フレーム６、フレーム７において、顔検出部１２４の検出結果より追尾判定を実行して、被写体リストの要素［１］の位置と大きさを更新する。ここで、前フレーム同様に、要素［１］は、認証実行判定の条件を満たさないので、それ以降の処理を行わない。
【００６９】
次に、図８に示すように、フレーム８では、「まさひろ」がフレームインしており、顔検出部１２４の検出結果より追尾判定によって、被写体リストの要素［１］の位置と大きさを更新し、さらにまさひろに対応する新しい要素（要素［２］）を追加する。前フレームと同様に、要素［１］は、認証実行判定の条件を満たさないので、それ以降の処理は行わない。ＣＰＵ１０１は、要素［２］が、認証されておらず条件を満たすので、要素［２］についてのみ抽出処理と照合処理を行われ、照合結果リストが更新される。
【００７０】
次に、ＣＰＵ１０１は、照合判定において、図８に示す照合結果リストの要素［２］に対する類似度で、登録人物「さとし」は認証済み人物であるため、「まさひろ」に対する類似度を用いる。このとき、照合判定の閾値は、動画記録中であり、判定人物と記録開始時認証人物が一致しないため、閾値Ｂを用いる。
【００７１】
次に、フレーム８では、ＣＰＵ１０１が、類似度が閾値Ｂ未満であるため、被写体リストの「まさひろ」に対応する要素［２］の判定回数に０を格納し、認証候補人物に０を格納する。ここで、ＣＰＵ１０１は、認証回数が０なので、認証判定で要素［２］を認証しない。
【００７２】
次に、フレーム９では、ＣＰＵ１０１が、「さとし」の顔が検出できなくなり、顔検出部１２４の検出結果より追尾判定によって、「さとし」に対応する要素［１］を削除し、被写体リストの要素［２］の位置と大きさを更新する。さらに、ＣＰＵ１０１は、認証済み人物から登録人物「さとし」の登録番号を削除する。前フレームと同様に、要素［２］が認証実行判定の条件を満たすので、抽出処理と照合処理が行われ、照合結果リストが更新される。
【００７３】
次に、ＣＰＵ１０１は、照合判定において図８に示すように、登録人物「まさひろ」に対する類似度を、フレーム８と同様にして、閾値Ｂと比較する。ここで、類似度は、閾値未満であるので、要素［２］の判定回数、認証候補人物が引き続き０のままとなる。また、認証判定は、前フレームと同様に、認証しない。フレーム９では、更新を終えた後の被写体リストと記録開始時認証人物、認証済み人物を示す図９−３（ａ）、（ｂ）、（ｃ）の如くなる。
【００７４】
次に、ＣＰＵ１０１は、フレーム１０において、顔検出部１２４の検出結果より追尾判定を実行させて、被写体リストの要素［２］の位置と大きさを更新させる。前フレームと同様に、要素［２］は、認証実行判定の条件を満たすので、抽出処理と照合処理が行われ、照合結果リストが更新される。
【００７５】
次に、ＣＰＵ１０１は、照合判定において図８に示すように登録人物「まさひろ」に対する類似度をフレーム８と同様に閾値Ｂと比較する。この類似度は、閾値未満のため、要素［２］の判定回数、認証候補人物が引き続き０のままとなる。
【００７６】
次に、ＣＰＵ１０１は、フレーム１１において、顔検出部１２４の検出結果より追尾判定により、被写体リストの要素［２］の位置と大きさを更新する。さらに、ＣＰＵ１０１は、再度「さとし」の顔が検出可能となったので、「さとし」に対応する新しい要素（要素［３］）を追加する。前フレームと同様に、要素［２］は、認証実行判定の条件を満たし、要素［３］も条件を満たす。よって、ＣＰＵ１０１は、要素［２］と要素［３］に対して抽出処理と照合処理を行い、照合結果リストを更新させる。
【００７７】
次に、ＣＰＵ１０１は、要素［２］に対する照合判定において図８に示すように、登録人物「まさひろ」に対する類似度を閾値Ｂと比較する。ここで類似度は、閾値Ｂ未満なので、要素［２］の判定回数、認証候補人物が引き続き０のままとなる。
【００７８】
次に、要素［３］の「さとし」に対して照合判定を行う。図７に示すように、登録人物「さとし」に対する類似度が一番高いので、この類似度を閾値と比較する。このとき、閾値には、判定人物と記録開始時認証人物が一致するので、閾値Ａを用いる。
【００７９】
次に、ＣＰＵ１０１は、フレーム１１において類似度が閾値Ａ未満であるため、被写体リストの「さとし」に対応する要素［３］の判定回数に０を格納し、認証候補人物に０を格納する。
【００８０】
次に、ＣＰＵ１０１は、フレーム１２において、顔検出部１２４の検出結果より追尾判定を実行し、被写体リストの要素［２］と要素［３］の位置と大きさを更新する。前フレームと同様に、要素［２］と要素［３］が条件を満たすので、ＣＰＵ１０１は、抽出処理と照合処理を実行し、照合結果リストを更新させる。
【００８１】
次に、ＣＰＵ１０１は、要素［２］に対する照合判定において、図８に示すように、登録人物「まさひろ」に対する類似度を閾値Ｂと比較する。ここで、類似度が閾値Ｂ未満なので、要素［２］の判定回数、認証候補人物は、引き続き０のままとなる。
【００８２】
次に、ＣＰＵ１０１は、要素［３］の「さとし」に対して照合判定を行う。ＣＰＵ１０１は、図７に示すように、前フレームと同様にして、登録人物「さとし」に対する類似度を閾値Ａと比較する。このフレーム１２では、類似度が閾値Ａを越えるので、ＣＰＵ１０１が、被写体リストの要素［３］の認証候補人物に登録人物「さとし」の登録番号１を格納し、判定回数に１を格納する。
【００８３】
次に、ＣＰＵ１０１は、フレーム１３において、顔検出部１２４の検出結果より追尾判定を実行して、被写体リストの要素［２］と要素［３］の位置と大きさを更新する。前フレームと同様に要素［２］と要素［３］は、条件を満たすので抽出処理と照合処理が行われ、照合結果リストが更新される。
【００８４】
次に、ＣＰＵ１０１は、要素［２］に対する照合判定において、図８に示すように、登録人物「まさひろ」に対する類似度を閾値Ｂと比較する。ここでは、類似度が閾値Ｂを越えているので、ＣＰＵ１０１が、被写体リストの要素［２］の認証候補人物に登録人物「まさひろ」の登録番号２を格納し、判定回数に１を格納する。
【００８５】
次に、ＣＰＵ１０１は、要素［３］の「さとし」に対して照合判定を行う。図７に示すように、ＣＰＵ１０１は、登録人物「さとし」に対する類似度を閾値Ａと比較する。ここで、ＣＰＵ１０１は、類似度が閾値Ａを越えるので判定人物と認証候補人物が一致すると判定し、被写体リストの要素［３］の判定回数を２にカウントアップする。
【００８６】
次に、ＣＰＵ１０１は、フレーム１４において、顔検出部１２４の検出結果より追尾判定を実行して、被写体リストの要素［２］と要素［３］の位置と大きさを更新する。前フレームと同様に、要素［２］と要素［３］は、条件を満たすので抽出処理と照合処理が行われて、照合結果リストが更新される。
【００８７】
次に、ＣＰＵ１０１は、要素［２］に対する照合判定において、図８に示すように、登録人物「まさひろ」に対する類似度を閾値Ｂと比較する。ここで、ＣＰＵ１０１は、類似度が閾値Ｂを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［２］の判定回数を２にカウントアップする。
【００８８】
次に、ＣＰＵ１０１は、要素［３］の「さとし」に対して照合判定を行う。図７に示すように、ＣＰＵ１０１は、登録人物「さとし」に対する類似度を閾値Ａと比較する。ここで、ＣＰＵ１０１は、類似度が閾値Ａを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［３］の判定回数を３にカウントアップする。このとき、ＣＰＵ１０１は、認証判定において判定回数が３なので、要素［３］を登録人物「さとし」として認証し、認証済み人物に登録人物「さとし」の登録番号１を追加する。そして、ＣＰＵ１０１は、描画部１４０により、認証した人物の名前「さとし」を描画させる。
【００８９】
次に、ＣＰＵ１０１は、フレーム１５で、顔検出部１２４の検出結果より追尾判定を実行して、被写体リストの要素［２］と要素［３］の位置と大きさを更新する。前フレームと同様に要素［２］は条件を満たすが、要素［３］は認証されているため、要素［２］の「まさひろ」に対して抽出処理と照合処理が行われ、照合結果リストが更新される。
【００９０】
次に、ＣＰＵ１０１は、要素［２］に対する照合判定において、図８に示すように登録人物「まさひろ」に対する類似度を閾値Ｂと比較する。ここで、ＣＰＵ１０１は、類似度が閾値Ｂを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［２］の判定回数を３にカウントアップする。このときＣＰＵ１０１は、認証判定において判定回数が３なので、要素［２］を登録人物「まさひろ」として認証し、認証済み人物に登録人物「まさひろ」の登録番号２を追加する。そして、ＣＰＵ１０１は、描画部１４０を制御して、認証した人物の名前「まさひろ」を描画させる。このフレーム１５では、更新を終えた後の被写体リストと記録開始時認証人物、認証済み人物を示したものが、図９−４（ａ）、（ｂ）、（ｃ）に示す如くなる。
【００９１】
次に、ＣＰＵ１０１は、フレーム１６で、顔検出部１２４の検出結果より追尾判定を実行して、被写体リストの要素［２］と要素［３］の位置と大きさを更新する。このとき、ＣＰＵ１０１は、登録人物が全て認証済みであり認証実行判定の条件を満たさないので、何れの要素に対しても抽出処理と照合処理を行わない。
【００９２】
このように、ＣＰＵ１０１は、記録開始前（記録開始前の記録ポーズの時）に低い閾値で認証を行い、記録開始時に認証されていた人物を低い閾値で認証し続ける。これと共にＣＰＵ１０１は、記録開始時に認証されていなかった人物を、認証されていた人物の閾値より高い閾値で認証を行う。このようにして認証を行う場合には、閾値を低くしても正しく認証される可能性の高い人物が認証される機会が増え、それ以外の人物が誤認証される割合を下げられる。よって、このようにして認証を行う場合には、記録された認証の情報を利用した、人物の検索性を良くすることができる。
【００９３】
（第２実施の形態）
次に、本発明の第２実施の形態に係る、撮影画像より顔検出及び個人認証を行うビデオカメラについて図面を参照しながら説明する。
【００９４】
本第２実施の形態のビデオカメラは、前述した第１実施の形態のビデオカメラにおけるＣＰＵが、記録開始時に認証人物に対して設定する閾値の制御方法を改変したものである。ここで主被写体について説明する。主被写体とは、顔検出部１２４により検出された顔の中で最も優先度の高い顔のことである。
【００９５】
本第２実施の形態のビデオカメラでは、ユーザーが操作部１０４のボタン操作によって検出されている顔の中から、所望の顔を選択することで主被写体の設定が可能に構成されている。あるいは、顔検出部１２４が検出したそれぞれの顔の位置と大きさから、ＣＰＵ１０１がいずれかの顔を主被写体として自動的選択する設定が可能に構成されている。ＣＰＵ１０１は、例えば、顔が大きいほど第1の評価値を高く設定し、顔の位置が画像の中央部に近いほど第２の評価値を高く設定し、第１の評価値と第２の評価値の和が最も大きい値となる顔を、主被写体として選択する。また、このビデオカメラのＣＰＵ１０１は、主被写体に設定された顔の被写体リストでの番号を、ＲＡＭ１０２に格納されている主被写体情報に格納し、主被写体がどの顔かを管理する主被写体設定手段として機能する。ＣＰＵ１０１は、主被写体である顔が検出されなくなると、主被写体情報を０にセットする。
【００９６】
本第２実施の形態のビデオカメラでは、記録開始時認証人物に設定する人物の判定方法が第１実施の形態のビデオカメラと異なる。前述した第１実施の形態では、記録開始時に認証されていた登録人物が全て、閾値Ｃを用いていた（実際の動作例として閾値Ｃを閾値Ａと同値に設定し、閾値Ａとして扱っている）。
【００９７】
それに対して本第２実施の形態のビデオカメラでは、記録開始時に認証されており、かつ主被写体であった人物に対して閾値Ｃを用いるが、記録開始時に認証されており、かつ主被写体でない人物に対して閾値Ｃより高く、閾値Ｂ以下である閾値Ｄを用いる。なお、記録開始時に認証されていない人物に対しては第１実施の形態と同様に閾値Ｂを用いる。
【００９８】
次に、本第２実施の形態のビデオカメラで実行する照合判定処理における被写体リスト処理の手順について、図１０のフローチャートを参照して説明する。なお、この図１０に示す照合判定処理では、前述した図６に示す照合判定処理におけるステップＳ６０１〜Ｓ６０７及びＳ６１０〜Ｓ６１６と同様の処理を行うものであるので、その説明を省略し、主に異なる部分について説明する。
【００９９】
本第２実施の形態のビデオカメラのＣＰＵ１０１は、動画記録中の認証に用いる閾値ｙを第１実施の形態とは異なる条件で変更する。このため、図１０に示すステップＳ６０６において、動画記録中であると判定した場合（ステップＳ６０６でＹＥＳ）に、ステップＳ１００１へ進み、判定人物ｎが記録開始時主被写体人物ｐと一致するかを判定する。
【０１００】
ここで記録開始時主被写体人物とは、ＲＡＭ１０２に格納されており、動画記録開始時に認証されており、かつ主被写体であった人物の登録番号を示す情報である。本第２実施の形態のビデオカメラのＣＰＵ１０１は、ユーザーからのボタン操作により動画記録が開始されると、顔検出部１２４を動作させる前に、そのとき認証されている人物の登録番号を記録開始時に認証人物に格納する。そして、ＣＰＵ１０１は、主被写体情報に基づいて、その中に主被写体がいると判断した場合に、記録開始時主被写体人物として、その人物の登録番号を格納する。また、ＣＰＵ１０１は、主被写体が設定されていない又は主被写体が認証されていないと判断した場合に、０を格納する。ＣＰＵ１０１は、この動画記録が終了すると、記録開始時主被写体人物を０クリアする。
【０１０１】
次に、ＣＰＵ１０１が、ステップＳ１００１で判定人物ｎが記録開始時主被写体人物ｐと一致すると判定した場合（ステップＳ１００１でＹＥＳ）に、ステップＳ６０７へ進んで閾値ｙに閾値Ａをセットする。本動作において照合判定に用いる閾値Ｃは、閾値Ａと同値に設定し、閾値Ａとして扱う。また、ＣＰＵ１０１が一致しないと判定した場合（ステップＳ１００１でＮＯ）に、ステップＳ１００２へ進み、判定人物ｎが記録開始時認証人物ｍと一致するか否かを判定する。
【０１０２】
そして、ＣＰＵ１０１は、一致すると判定した場合（ステップＳ１００１でＹＥＳ）に、ステップＳ１００３へ進み閾値ｙに閾値Ｄをセットする。また、ＣＰＵ１０１は、一致しないと判定した場合（ステップＳ１００２でＮＯ）に、ステップＳ１００４へ進み閾値ｙに閾値Ｂをセットする。
【０１０３】
本第２実施の形態のビデオカメラでは、上述したように構成することによって、動画記録開始後に認証の頻度を増やすべき人物を、ユーザーが指定した人物かどうかで閾値を変え、頻度を調整する。これにより、このビデオカメラでは、よりユーザーの意図を反映した認証結果を付与でき、動画の検索性を向上することができる。
【０１０４】
次に、本第２実施の形態に係るビデオカメラ１００で、個人情報リストに登録されている人物を写しながら、記録を開始した場合の動作について説明する。ここでは、ビデオカメラ１００のＲＯＭ１０３に格納されている個人情報リストが図２と同様であるものとする。なお、本動作において照合判定に用いる閾値Ｄは、閾値Ｂと同値に設定し、閾値Ｂとして扱う。
【０１０５】
また、ここでは、撮影を開始した際に、個人情報リストの登録番号１の人物「さとし」と登録番号２の人物「まさひろ」が写っているものとする。さらに、ここでは、顔検出部１２４により最初に顔が検出されたフレーム（フレーム１）を基準とし、そこから１３フレーム分の期間にの部分について、図１１及び図１２を参照して説明する。この図１１及び図１２は、１３フレームの期間中の「さとし」と「まさひろ」に対する個人認証部１２６の照合結果を示す。
【０１０６】
この図１１及び図１２に示すように、「さとし」は、フレーム１からフレーム７の期間、顔検出部１２４により顔が検出され、フレーム８、フレーム９と一度検出されなくなり、フレーム１０〜フレーム１３で再度検出されている。さらに、この図１１及び図１２では、フレーム３においてユーザーから主被写体として選択されている。
【０１０７】
また、図１１及び図１２に示すように、個人情報リストの登録番号２の人物「まさひろ」は、フレーム１〜フレーム７まで検出され、フレーム８以降はフレームアウトし、検出されなくなっている。ここでは、この１３フレームの期間中、ユーザーがフレーム４まで記録を開始せず、フレーム５で記録を開始し、それ以降も記録し続けるものとする。
【０１０８】
まず、フレーム１では、顔検出部１２４が、「さとし」と「まさひろ」の顔を検出し、被写体リストに要素（「さとし」が要素［１］、「まさひろ」が要素［２］とする）を追加し、検出結果より、位置と大きさを格納する。
【０１０９】
次に、認証実行判定では、登録人物が誰も認証されておらず、要素［１］、要素［２］とも認証されていないので、要素［１］と要素［２］が条件を満たす。よって、ＣＰＵ１０１は、抽出処理と照合処理を実行し、照合結果リストを更新する。
【０１１０】
次に、ＣＰＵ１０１は、要素［１］に対する照合判定で、図１１に示すように登録人物「さとし」に対する類似度が一番高く、図１２に示すように要素［２］の「さとし」に対する類似度より高いので、この類似度を閾値と比較する。このときの閾値には、フレーム１〜フレーム４の期間が記録開始前であるので、閾値Ａを用いる。
【０１１１】
ＣＰＵ１０１は、フレーム１において類似度が閾値Ａ未満であるため、被写体リストの「さとし」に対応する要素［１］の判定回数に０を格納し、認証候補人物に０を格納する。次に、ＣＰＵ１０１は、要素［２］の「まさひろ」に対して照合判定を行う。図１２に示すように、登録人物「まさひろ」に対する類似度が一番高く、図１１に示す要素［１］の「まさひろ」に対する類似度より高いため、ＣＰＵ１０１は、この類似度を閾値Ａと比較する。そして、ＣＰＵ１０１は、このときの類似度が閾値Ａを越えているので、被写体リストの要素［２］の認証候補人物に登録人物「まさひろ」の登録番号２を格納し、判定回数に１を格納する。
【０１１２】
次に、ＣＰＵ１０１は、フレーム２において、顔検出部１２４の検出結果に基づいて追尾判定を実行し、被写体リストの要素［１］と要素［２］の位置と大きさを更新する。前フレームと同様に要素［１］と要素［２］は、条件を満たすので抽出処理と照合処理が行われ、照合結果リストが更新される。
【０１１３】
次に、図１１、図１２に示すように、ＣＰＵ１０１は、要素［１］に対する照合判定において登録人物「さとし」に対する類似度を閾値Ａと比較する。そして、ＣＰＵ１０１は、類似度が閾値Ａを越えているので、要素［１］の認証候補人物に登録人物「さとし」の登録番号１を格納し、判定回数に１を格納する。次に、ＣＰＵ１０１は、要素［２］の「まさひろ」に対して照合判定を行う。ＣＰＵ１０１は、図１１、図１２に示す如く前フレームと同様に、登録人物「まさひろ」に対する類似度を閾値Ａと比較する。ここでは、類似度が閾値Ａを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［２］の判定回数を２にカウントアップする。
【０１１４】
次に、ＣＰＵ１０１は、フレーム３において、顔検出部１２４の検出結果より追尾判定によって、被写体リストの要素［１］と要素［２］の位置と大きさを更新する。前フレームと同様に、要素［１］と要素［２］は、条件を満たすので抽出処理と照合処理が行われ、照合結果リストが更新される。
【０１１５】
次に、ＣＰＵ１０１は、図１１、図１２に示す要素［１］に対する照合判定において、登録人物「さとし」に対する類似度を閾値Ａと比較する。ここでは、類似度が閾値Ａを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［１］の判定回数を２にカウントアップする。次に、ＣＰＵ１０１は、要素［２］の「まさひろ」に対して照合判定を行う。ＣＰＵ１０１は、前フレームと同様に、図１１、図１２に示す登録人物「まさひろ」に対する類似度を閾値Ａと比較する。ここでは、類似度が閾値Ａを越え、また判定人物と認証候補人物が一致するので、被写体リストの要素［２］の判定回数を３にカウントアップする。
【０１１６】
ここでは、認証判定において判定回数が３なので、ＣＰＵ１０１は、要素［２］を登録人物「まさひろ」として認証し、認証済み人物に登録人物「まさひろ」の登録番号２を追加する。そして、ＣＰＵ１０１は、描画部１４０により、認証した人物の名前「まさひろ」を描画させる。またこのとき、ユーザーによって、要素［１］が主被写体に指定されているので、ＣＰＵ１０１は、ＲＡＭ１０２の主被写体情報に１を格納する。
【０１１７】
次に、ＣＰＵ１０１は、フレーム４において、顔検出部１２４の検出結果に基づいて追尾判定を実行し、被写体リストの要素［１］と要素［２］との位置及び大きさを更新する。前フレームと同様に、要素［１］は、条件を満たすが、要素［２］が認証されている。このため、ＣＰＵ１０１は、要素［１］の「さとし」に対して抽出処理と照合処理を実行し、照合結果リストを更新する。
【０１１８】
次に、ＣＰＵ１０１は、要素［１］に対する照合判定において登録人物「まさひろ」が認証済み人物なので図１１に示す登録人物「さとし」に対する類似度を閾値Ａと比較する。ＣＰＵ１０１は、類似度が閾値Ａを越え、判定人物と認証候補人物が一致するので、被写体リストの要素［１］の判定回数を３にカウントアップする。ここでは、認証判定において判定回数が３なので、ＣＰＵ１０１は、要素［１］を登録人物「さとし」として認証し、認証済み人物に登録人物「さとし」の登録番号１を追加する。そして、ＣＰＵ１０１は、描画部１４０により、認証した人物の名前「さとし」を描画させる。
【０１１９】
次に、ＣＰＵ１０１は、フレーム５において記録が開始されたので、その際に主被写体である要素［１］が認証している登録人物「さとし」の登録番号１を記録開始時認証人物に格納する。そして、ＣＰＵ１０１は、フレーム５〜フレーム７において、顔検出部１２４により検出処理を行い、検出結果に基づいて追尾判定を実行し、被写体リストの要素［１］と要素［２］との位置及び大きさを更新する。このとき、ＣＰＵ１０１は、登録人物が全て認証済みであるので、何れの要素に対しても抽出処理と照合処理を行わない。ここでは、フレーム８、フレーム９において「さとし」と「まさひろ」が検出できなくなっている。よって、ＣＰＵ１０１は、顔検出部１２４の検出結果に基づいて追尾判定を実行して、「さとし」と「まさひろ」に対応する要素［１］、及び要素［２］を削除する。またＣＰＵ１０１は、フレーム８で主被写体である「さとし」が検出されなくなったので主被写体情報を０にする。
【０１２０】
次に、ＣＰＵ１０１は、フレーム１０において、再度「さとし」の顔が検出可能となったので、被写体リストに要素（要素［１］）を追加し、検出結果より、位置と大きさを格納する。そして、ＣＰＵ１０１は、要素［１］に対して抽出処理と照合処理を実行し、照合結果リストを更新する。
【０１２１】
次にＣＰＵ１０１は、要素［１］に対する照合判定において図１１に示す登録人物「まさひろ」に対する類似度が一番高いため、この類似度を閾値と比較する。このとき、ＣＰＵ１０１は、判定人物と記録開始時認証人物が一致しないため、閾値として閾値Ｂを用いる。このときの類似度が閾値Ａ未満であるため、ＣＰＵ１０１は、被写体リストの「さとし」に対応する要素［１］の判定回数に０を格納し、認証候補人物に０を格納する。
【０１２２】
次に、ＣＰＵ１０１は、フレーム１１〜フレーム１３において、前フレームと同様に、顔検出部１２４の検出結果に基づいて、要素［１］の位置及び大きさを更新し、抽出処理と照合処理を実行し、照合結果リストを更新する。ＣＰＵ１０１は、照合判定において、図１１に示す登録人物「さとし」に対する類似度が一番高いため、この類似度を閾値と比較する。このとき、ＣＰＵ１０１は、判定人物と記録開始時認証人物とが一致するため、閾値として、閾値Ａを用いる。またＣＰＵ１０１は、何れのフレームでも類似度が閾値Ａを越えるので、被写体リストの要素［１］の認証候補人物に登録人物「さとし」の登録番号１を格納し、判定回数をカウントアップする。このとき、ＣＰＵ１０１は、フレーム１３の認証判定において、判定回数が３となるので、要素［１］を登録人物「さとし」として認証し、認証済み人物に登録人物「さとし」の登録番号１を追加する。そして、ＣＰＵ１０１は、描画部１４０により、認証した人物の名前「さとし」を描画させる。
【０１２３】
このように、本第２実施の形態に係るビデオカメラ１００では、記録開始時に認証されている主被写体である人物に対して認証される頻度を上げる。これと共にビデオカメラ１００では、記録開始時に認証されているが主被写体でない人物に対して、主被写体よりも認証される頻度は下がるが、より誤認証の頻度が下がるよう設定する。さらに、このビデオカメラ１００では、記録開始時に認証されていない人物に対して、さらに誤認証の頻度を下げるように設定することもできる。これにより、記録された認証の情報を利用した、人物の検索性をより向上することができる。
【０１２４】
なお、本発明の第２実施の形態に係るビデオカメラにおける以上説明した以外の構成、作用、及び効果は、前述した本発明の第1実施の形態と同様であるので、その説明を省略する。
【０１２５】
要するに、本実施の形態に係るビデオカメラは、個人認証の閾値を低い閾値である第１の閾値（第１の値）又は高い閾値である第２の閾値（第２の値）に設定可能に構成されている。このビデオカメラでは、ユーザーがビデオカメラを操作して記録ポーズを設定した時に撮影されている画像から、人物の顔を検出する。このビデオカメラでは、認証を積極的に行うために、個人認証の閾値を低い閾値である第１の閾値に設定し、人物の顔として認証される確率を上げる。このとき誤認証の可能性も上がるが、このビデオカメラでは、撮影前の状態である。
【０１２６】
ここで、ユーザーは、このビデオカメラの表示部に表示されている認証結果の表示を見て、正しく認証されているか否かを判断できる。ユーザーは、正しく認証されていると判断した場合に、このビデオカメラで記録（録画）を開始することになる。
【０１２７】
このようにしてビデオカメラで記録が開始された場合には、記録ポーズ時に認証されている人物の顔を認証する判断基準となる個人認証の閾値を低い閾値である第１の閾値を維持するよう制御する。これにより、記録開始時に認証されていた人物の顔は、ユーザーが認証結果を見て正しいと判断し、記録を開始したと考えられる。そのため、記録開始時に認証されていた人物の顔は、第２の閾値よりも低い第３の閾値を用いて認証を行い、認証回数を向上させる。この第３の閾値は、第１の閾値以上、かつ第２の閾値未満（第３の値は、第１の値以上、かつ第２の値未満）であればよく、この第３の閾値として引き続き第１の閾値を用いてもよい。
【０１２８】
すなわち、このビデオカメラでは、記録ポーズ時に低い第１の閾値で人物の顔の認証を行い、その結果を表示する。そして、この認証結果が表示されている間に撮影が開始された場合には、その低い第１の閾値で認証を行ったとしても誤認証されない可能性が高い人物が被写体に含まれると判断する。そして、このビデオカメラでは、撮影時に、その人物の顔を認証するのに用いる閾値のみを、それ以外の人物に設定される第２の閾値よりも低い第３の閾値に設定する。
【０１２９】
これにより、このビデオカメラでは、記録時に、誤認証されない可能性の高い人物に対して積極的に個人認証させて、再生時に記録されている動画の中から、この人物の顔が写っている動画やシーンを抽出できるようする。
【０１３０】
これと共に、このビデオカメラでは、複数の人物の顔の中から主被写体となる顔を設定し、記録が開示された場合には、主被写体の人物の顔を認証するのに用いる閾値のみを第３の閾値に設定することも可能である。このとき、主被写体以外の人物の顔（記録開始時にいなかった人物等）を認証する判断基準となる個人認証の閾値を、高い閾値である第２の閾値に設定し、誤認証防止を図る。なお、このビデオカメラでは、主被写体以外に対して認証を行う場合に、記録開始前後に関わらず常に高い第２の閾値を用いるように設定しても良い。さらに、このビデオカメラでは、記録開始時に認証されていた人物の顔のうち、主被写体として設定されていた顔には第３の閾値を設定し、主被写体として選択されていなかった顔には、第３の閾値よりも高く、かつ第２の閾値以下である第４の閾値を設定する。すなわち、主被写体として設定されていた顔には第３の値を設定し、主被写体として選択されていなかった顔には、第３の値よりも高く、かつ第２の値以下である第４の値を設定する。この第３の閾値として第１の閾値を用いても良いし、この第４の閾値として第２の閾値を用いても良い。
【０１３１】
このビデオカメラでは、記録ポーズ時に主被写体の人物の顔の認証に用いられる類似度が、一定時間であるサンプル時間中（判断期間中）第１の閾値以上であるが第２の閾値を越えるように移行しない場合に、主被写体の人物ではないと判定する。そして、このビデオカメラでは、自動的に、他の人物の顔を探して、主被写体の人物の顔を設定する修正動作を実行する。これは、サンプリング期間中に閾値２を超えない場合には、主被写体の人物の顔を誤認証している可能性が高いためである。
【０１３２】
さらに、このビデオカメラでは、記録ポーズ時に、主被写体の人物の顔を認証して表示していても、一定時間であるサンプル時間（判断期間）が経過するまでユーザーが記録を開始しない場合に、誤認証の可能性が高いと判断する。そして、このビデオカメラでは、自動的に、他の人物の顔を探して、主被写体の人物の顔を設定する再認証の修正動作を実行するように構成しても良い。
【符号の説明】
【０１３３】
１０１  ＣＰＵ
１２４  顔検出部
１２５  特徴量抽出部
１２６  個人認証部
１３０  記録部
【図１】
0005713821.tif 000002
【図２】
0005713821.tif 000003
【図３】
0005713821.tif 000004
【図４】
0005713821.tif 000005
【図５】
0005713821.tif 000006
【図６】
0005713821.tif 000007
【図７】
0005713821.tif 000008
【図８】
0005713821.tif 000009
【図９】
0005713821.tif 000010
【図１０】
0005713821.tif 000011
【図１１】
0005713821.tif 000012
【図１２】
0005713821.tif 000013