(57)【特許請求の範囲】
【請求項１】
入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登録装置であって、
あらかじめ定められた代表条件に一致する少なくとも１つの顔画像を、代表顔画像として上記動画像から抽出する代表顔画像抽出手段と、
上記代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた登録条件に一致する少なくとも１つの他の顔画像を、登録用顔画像として上記動画像から抽出する登録用顔画像抽出手段と、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像登録手段とを備えており、
上記登録用顔画像抽出手段は、
互いに異なる複数の上記登録条件のうち、上記辞書に登録されていない顔画像が満たす上記登録条件を選択し、さらに、上記動画像から検索した顔画像が、選択した当該登録条件を満たすか否かを判定し、
上記顔画像登録手段は、
検索された上記顔画像が、選択された上記登録条件を満たすと上記登録用顔画像抽出手段によって判定された場合に、選択された上記顔画像を上記登録用顔画像として上記辞書に登録することを特徴とする顔画像登録装置。
【請求項２】
上記顔画像登録手段は、
上記登録用顔画像の特徴を数値化した特徴量を、上記辞書に登録することを特徴とする請求項１に記載の顔画像登録装置。
【請求項３】
上記登録用顔画像抽出手段は、
互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する少なくとも１つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された上記登録用顔画像を、互いにすべて関連付けて上記辞書に登録することを特徴とする請求項１に記載の顔画像登録装置。
【請求項４】
上記登録用顔画像抽出手段は、
互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する１つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された１つの上記登録用顔画像を、互いにすべて関連付けて上記辞書に登録することを特徴とする請求項３に記載の顔画像登録装置。
【請求項５】
上記登録用顔画像抽出手段は、
上記代表顔画像によって複数の異なる上記代表顔画像が抽出されたとき、当該代表顔画像ごとに上記登録用顔画像を抽出することを特徴とする請求項１に記載の顔画像登録装置。
【請求項６】
上記動画像からシーンを抽出するシーン抽出手段をさらに備え、
上記代表顔画像抽出手段は、上記シーン抽出手段によって抽出された上記シーンの各フレームの顔画像の中から、あらかじめ定められた上記代表条件に一致する少なくとも１つの顔画像を、上記代表顔画像として抽出し、
上記登録用顔画像抽出手段は、上記シーン抽出手段によって抽出された上記シーンの各フレームの顔画像の中から、上記代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた上記登録条件に一致する少なくとも１つの顔画像を、上記登録用顔画像として抽出し、
上記登録用顔画像抽出手段は、上記シーン抽出手段によって抽出された上記シーンの各フレームから検索した顔画像が、選択した上記登録条件を満たすか否かを判定することを特徴とする請求項１に記載の顔画像登録装置。
【請求項７】
上記シーン抽出手段は、複数の異なるシーンを上記動画像から抽出し、
上記登録用顔画像抽出手段は、あるシーンから上記登録用顔画像を抽出できなかったとき、上記シーンとは異なる他のシーンから上記登録用顔画像を抽出することを特徴とする請求項６に記載の顔画像登録装置。
【請求項８】
代表顔画像抽出手段と、登録用顔画像抽出手段と、顔画像登録手段とを備えた顔画像登録方法が、入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登録方法であって、
上記代表顔画像抽出手段が、あらかじめ定められた代表条件に一致する少なくとも１つの顔画像を、代表顔画像として上記動画像から抽出する代表顔画像抽出ステップと、
上記登録用顔画像抽出手段が、上記代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた登録条件に一致する少なくとも１つの他の顔画像を、登録用顔画像として上記動画像から抽出する登録用顔画像抽出ステップと、
上記顔画像登録手段が、上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像登録ステップとを含んでおり、
上記登録用顔画像抽出ステップにおいて、上記登録用顔画像抽出手段は、
互いに異なる複数の上記登録条件のうち、上記辞書に登録されていない顔画像が満たす上記登録条件を選択し、さらに、上記動画像から検索した顔画像が、選択した当該登録条件を満たすか否かを判定し、
上記顔画像登録ステップにおいて、上記顔画像登録手段は、
検索された上記顔画像が、選択された上記登録条件を満たすと上記登録用顔画像抽出手段によって判定された場合に、選択された上記顔画像を上記登録用顔画像として上記辞書に登録することを特徴とする顔画像登録方法。
【請求項９】
請求項１から７のいずれか１項に記載の顔画像登録装置を動作させる顔画像登録プログラムであって、コンピュータを上記の各手段として機能させるための顔画像登録プログラム。
【請求項１０】
請求項９に記載の顔画像登録プログラムを記録しているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認証処理に用いられる顔画像を辞書に登録する顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体に関する。
【背景技術】
【０００２】
セキュリティ意識の高まりを反映してか、近年、顔認証システムの利用が急速に拡大している。従来の暗証番号を利用した認証システムに比べて、顔認証システムは、認証に必要な情報（本人の顔の特徴）を他人に盗まれる可能性が極めて低いこと、本人さえいれば確実に認証できることなどの手軽さがあることから、今後、より一層の普及が見込まれている。
【０００３】
とはいえ顔認証システムは、現在、さまざまな未解決の問題を抱えている。その一つは認証の精度が未だ十分に高くないことである。顔画像さえ映せば認証できるレベルにはまだ到達しておらず、たとえば背景の明るさが変わっただけで、本人と認証できなくなる問題も現実に発生している。
【０００４】
そこで、顔認証処理の精度を高めることを目的とした各種の技術が、従来、提案されている。
【０００５】
たとえば特許文献１には、映像中から顔が写っているフレームを検出し、前記フレームから顔画像を抽出し、抽出したすべての顔画像から同一登場人物の顔をグループ化し、登場人物別にその代表顔画像を抽出することを特徴とする画像検索方法が開示されている。
【０００６】
上記の方法によれば、映像から顔に特化した検出を行い、さらに検出した顔の識別を行うことで、映像中に登場する人物の顔を区別して表示できる。
【０００７】
特許文献２には、人物認証を行なうための画像データをフレーム単位で入力する手段と、前記画像データから顔領域を検出する手段と、前記顔領域から特徴量を検出する手段と、前記特徴量を基準値と比較することにより該特徴量が有効か否かを判定する手段と、有効と判定された特徴量を複数フレーム分蓄える手段と、前記複数フレーム分の特徴量に演算を施こすことにより認証用特徴量を得る手段と、前記認証用特徴量を予め記憶された顔特徴量と比較することにより当該人物の認証を行なう手段とを具備したことを特徴とする人物認証装置が開示されている。
【０００８】
上記装置によれば、頭の姿勢、表情の影響により認証精度の低下を無くし、さらに有効フレーム判定のための特徴量の計測精度を向上させることができる。
【０００９】
特許文献３には、認証本人の顔を互いに異なる複数の環境下で撮影して得られた複数の顔情報を、前記環境に対応したパターン名をつけて登録した顔認証用データベースと、この顔認証用データベースに登録されたパターン名と、このパターン名で撮影した認証本人とを対応付けた認証本人特定テーブルと、認証対象人の顔を撮影して顔情報を得るカメラと、このカメラで撮影した顔情報と、前記顔認証用データベースに登録された複数の顔情報とを照合し、最も類似度の高い顔情報を特定する認証処理手段と、この認証処理手段により特定された顔情報のパターン名から、前記認証本人特定テーブルにより、このパターン名に対応する認証本人を特定する認証本人特定手段と、を備えたことを特徴とする認証システムが開示されている。
【００１０】
上記のシステムによれば、異なる環境下での顔情報を複数用意しておくことにより、どのような環境下においても正しく認証を行うことができる。
【００１１】
特許文献４には、人物の顔画像データベースと顔特徴データベースに新規人物を登録する顔画像データベース新規登録装置において、入力画像中の人物の顔領域における複数の特徴点の位置、および前記人物の顔の向きを推定する推定手段と、前記推定手段により推定された顔の向き情報または外部から入力された顔の向き情報に従って、前記人物の顔が所定の向きを示すフレームを前記入力画像から選択する選択手段と、前記選択手段により選択されたフレームとその関連情報をユーザ命令を受けて表示させるユーザインタフェース手段と、前記選択手段により選択された前記フレームにおいて、前記推定手段により推定された前記複数の特徴点の近傍で前記人物の顔の特徴量を計測することで、前記入力画像中の前記人物のデータベース成分を計算する計算手段とを含むことを特徴とする顔画像データベース新規登録装置が開示されている。
【００１２】
上記の装置によれば、新規人物のデータベース登録作業を自動化できる。
【特許文献１】特開２００１−１６７１１０号公報（２００１年６月２２日公開）
【特許文献２】特開平６−２５９５３４号公報（１９９４年９月１６日公開）
【特許文献３】特開２００５−１１５４８１号公報（２００５年４月２８日公開）
【特許文献４】特開２００２−１３３４２３号公報（２００２年５月１０日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
顔画像を用いた認証装置において、認証性能を向上させるためには、さまざまな条件下で撮影された顔画像を登録することが必要である。しかし登録に適した画像を、多数の静止画から手動で選び出し登録する作業は煩雑であり、ときとして困難である。
【００１４】
特許文献１の技術は、同一登場人物の顔をグループ化するに過ぎず、グループ化した顔を辞書に登録する点においては何ら工夫がない。
【００１５】
特許文献２の技術は、あくまで有効フレーム判定のための特徴量の計測精度を向上させるに過ぎず、計測した特徴量を辞書に登録する点においては何ら工夫がない。
【００１６】
特許文献３の技術では、異なる環境化での顔情報をユーザがあらかじめ用意しておく必要があり、ユーザに余計な手間を掛けさせてしまう問題が生ずる。
【００１７】
特許文献４の技術では、入力素材の各フレームにおける特徴点の位置を推定するのみであり、最終的な判断をユーザにゆだねてしまっている。したがってユーザに無用な手間を掛けさせる問題が生ずる。
【００１８】
以上のように、従来の技術を流用しても、認証装置が必要とする顔画像を、網羅しきれない可能性が高い。かといって、ユーザの手動では大変な手間を要する。
【００１９】
本発明は上記の課題を解決するためになされたものであり、その目的は、ユーザに手間を掛けさせることなく、さまざまな顔画像を辞書に登録する顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体を提供することにある。
【課題を解決するための手段】
【００２０】
（顔画像登録装置の主要構成）
本発明に係る顔画像登録装置は、上記の課題を解決するために、
入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登録装置であって、
あらかじめ定められた代表条件に一致する少なくとも１つの顔画像を、代表顔画像として上記動画像から抽出する代表顔画像抽出手段と、
上記代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた登録条件に一致する少なくとも１つの他の顔画像を、登録用顔画像として上記動画像から抽出する登録用顔画像抽出手段と、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像登録手段とを備えていることを特徴としている。
【００２１】
（作用・効果）
上記の構成によれば、代表顔画像抽出手段は、あらかじめ定められた代表条件に一致する少なくとも１つの顔画像を、代表顔画像として動画像から抽出する。ここでいう「顔画像」とは、人物の顔を表す静止画のことをいう。「代表条件」とは、動画像に撮影されている各種の顔画像のうち、顔認証に最も適している顔画像が満たすべき条件のことである。たとえば正面を向いた顔は、代表条件を満たしている。そのため代表顔画像抽出手段は、代表顔画像として、たとえば正面を向いた顔についての画像である正面顔画像を、動画像から抽出する。
【００２２】
動画像は、一般に、人物や事物の動きを撮影したものである。そのため、正面顔などの代表顔画像を、代表顔画像抽出手段は問題なく動画像から抽出できる。
【００２３】
代表顔画像が抽出されたあと、登録用顔画像抽出手段が、代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた登録条件に一致する少なくとも１つの他の顔画像を、登録用顔画像として動画像から抽出する。ここでいう「登録条件」とは、画像認識に適した顔画像に当てはまる条件のことである。たとえば上を向いた顔、ひげを生やした顔、口を開いた顔など、さまざまな状態の顔に当てはまる条件が、登録条件に該当する。
【００２４】
したがって代表顔画像抽出手段が、たとえば正面を向いた顔を代表顔画像として抽出したとき、顔画像登録装置は、この正面顔画像が表す人物についての、上を向いた顔、ひげを生やした顔、口を開いた顔など、さまざま登録条件に一致する登録用顔画像を、同じ動画像から抽出する。
【００２５】
顔画像登録手段は、代表顔画像と、登録用顔画像抽出手段とを関連付けて辞書に登録する。したがって、たとえば正面を向いた顔の画像に、ひげを生やした顔の画像などの各種の異なる顔画像を関連付けて登録する。ここでいう登録とは、必ずしも、画像そのものを登録することに限定されない。たとえば画像の特徴を表す特徴量を算出し、画像の代わりに辞書に登録してもよい。
【００２６】
以上の処理によって、顔画像登録装置は、顔画像を登録するための辞書に、同じ人物についてのさまざまな顔画像を登録できる。したがって、辞書に登録する顔画像の種類を、より確実に増やすことができる効果を奏する。また、動画像から顔画像を抽出するので、登録に必要な顔画像を手作業で調べたり、あるいは撮影条件をさまざまに変化させて、登録用の顔画像をあらかじめ用意する手法に比べて、顔画像の登録処理に要する手間を、より減らすことができる。すなわち、ユーザに手間を掛けさせることなく、さまざまな顔画像を辞書に登録できる。
【００２７】
（顔画像登録方法）
本発明に係る顔画像登録方法は、上記の課題を解決するために、
入力された動画像から、人物の顔を表す顔画像を抽出し辞書に登録する顔画像登録方法であって、
あらかじめ定められた代表条件に一致する少なくとも１つの顔画像を、代表顔画像として上記動画像から抽出する代表顔画像抽出ステップと、
上記代表顔画像の表す人物についての他の顔画像のうち、あらかじめ定められた登録条件に一致する少なくとも１つの他の顔画像を、登録用顔画像として上記動画像から抽出する登録用顔画像抽出ステップと、
上記登録用顔画像を上記代表顔画像に関連付けて上記辞書に登録する顔画像登録ステップとを含んでいることを特徴としている。
【００２８】
上記の構成によれば、本方法は、上述した顔画像登録装置と同様の作用効果を奏する。
【００２９】
（特徴量を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
上記登録用顔画像の特徴を数値化した特徴量を、上記辞書に登録することが好ましい。
【００３０】
（作用・効果）
上記の構成によれば、顔画像登録手段は、登録用顔画像の特徴を数値化した特徴量を、上記辞書に登録する。たとえば、顔の器官の位置を特定し、各位置の配置状態などを算出することによって、顔画像の特徴量を算出する。
【００３１】
こうして算出した特徴量は、通常、画像そのものよりもデータ量がずっと小さい。したがって顔画像登録装置は、顔画像そのものを辞書に登録する場合に比べて、辞書のデータサイズをより小さくできる効果を奏する。
【００３２】
（登録条件に一致するすべての登録用顔画像を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する少なくとも１つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された上記登録用顔画像を、すべて関連付けて上記辞書に登録することが好ましい。
【００３３】
（作用・効果）
上記の構成によれば、代表顔画像抽出手段は、互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する少なくとも１つの上記登録用顔画像を抽出する。たとえば、１０個の登録条件があらかじめ定められているなら、１０個の登録条件のすべてについて、当てはまる登録用顔画像を動画像から抽出する。
【００３４】
これにより顔画像登録手段は、登録条件ごとに抽出された上記登録用顔画像を、すべて、代表顔画像に関連付けて辞書に登録する。すなわち、複数の登録条件にそれぞれ個別に一致する複数の顔画像を、辞書に網羅的に登録する。
【００３５】
以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる効果を奏する。
【００３６】
（登録条件に一致するすべての登録用顔画像を１つづつ登録）
また、本発明に係る顔画像登録装置では、さらに、
上記顔画像登録手段は、
互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する１つの上記登録用顔画像を抽出し、
上記顔画像登録手段は、
上記代表顔画像に、上記登録条件ごとに抽出された１つの上記登録用顔画像を、すべて関連付けて上記辞書に登録することが好ましい。
【００３７】
（作用・効果）
上記の構成によれば、代表顔画像抽出手段は、互いに異なる複数の登録条件があらかじめ定められているとき、当該登録条件ごとに、当該登録条件に一致する１つの上記登録用顔画像を抽出する。たとえば、１０個の登録条件があらかじめ定められているなら、１０個の登録条件のすべてについて、当てはまる登録用顔画像を、１つづつ、動画像から抽出する。
【００３８】
これにより顔画像登録手段は、登録条件ごとに抽出された上記登録用顔画像を、すべて、代表顔画像に関連付けて辞書に登録する。すなわち、複数の登録条件のすべてを網羅した複数の顔画像を、辞書に登録する。
【００３９】
以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる効果を奏する。また、辞書に登録する顔画像は、登録条件ごとに１つに限定される。したがって、登録条件ごとに複数の顔画像を登録する場合よりも、辞書のデータサイズをより小さくできる効果を奏する。
【００４０】
（全人物の顔画像を登録）
また、本発明に係る顔画像登録装置では、さらに、
上記登録用顔画像抽出手段は、
上記代表顔画像によって複数の異なる上記代表顔画像が抽出されたとき、当該代表顔画像ごとに上記登録用顔画像を抽出することが好ましい。
【００４１】
（作用・効果）
動画像には一人の人物が撮影されているとは限らない。大勢の人物が写っていることも良くある。そこで上記の構成によれば、代表顔画像抽出手段によって複数の異なる代表顔画像が抽出されたとき、登録用顔画像抽出手段は抽出された代表顔画像ごとに登録用顔画像を抽出する。複数の異なる代表顔画像とは、個々の顔画像がそれぞれ異なる人物の顔を表している複数の顔画像のことである。このとき登録用顔画像は、異なる人物ごとに、登録用顔画像を抽出する。
【００４２】
したがって顔画像登録手段は、動画像に複数の人物が撮影されている場合において、人物ごとに、代表顔画像とこの登録用顔画像を関連付けて、辞書に登録する。したがって、辞書には、複数の異なる人物についての顔画像が蓄積されることになる。
【００４３】
以上の処理によって、顔画像登録装置は、辞書の充実度をより高めることができる効果を奏する。
【００４４】
（シーンから顔画像を抽出）
また、本発明に係る顔画像登録装置は、さらに、
上記動画像からシーンを抽出するシーン抽出手段をさらに備え、
上記代表顔画像抽出手段は、上記シーンから上記代表顔画像を抽出し、
上記登録用顔画像抽出手段は、上記シーンから上記登録用顔画像を抽出することが好ましい。
（作用・効果）
上記の構成によれば、シーン抽出手段は、動画像からシーンを抽出する。このときたとえば、顔トラッキング技術を用いて、特定の顔がフレームに入りフレームから出て行くまでの間を、１つのシーンとして抽出する。
【００４５】
シーン抽出手段によってシーンが抽出されたとき、代表顔画像抽出手段は、シーンから代表顔画像を抽出する。したがって動画像の一部を顔画像抽出の処理対象にすることができる。さらに登録用顔画像抽出手段は、シーンから登録用顔画像を抽出する。したがって動画像の一部を顔画像抽出の処理対象にすることができる。
【００４６】
以上の処理によって顔画像登録装置は、顔画像を抽出する処理の対象とする動画像を、全体の中の一部に留めることができる。これにより顔画像の登録処理に要する時間を、より短くできる効果を奏する。
【００４７】
（複数シーンを処理）
また、本発明に係る顔画像登録装置では、さらに、
上記シーン抽出手段は、複数の異なるシーンを上記動画像から抽出し、
上記登録用顔画像抽出手段は、あるシーンから上記登録用顔画像を抽出できなかったとき、上記シーンとは異なる他のシーンから上記登録用顔画像を抽出することが好ましい。
【００４８】
（作用・効果）
上記の構成によれば、シーン抽出手段は、複数の異なるシーンを動画像から抽出する。たとえば、人物の顔が写っていない場面を区切りにする。
【００４９】
１つのシーンに、登録条件に一致するすべての種類の顔画像が含まれているとは限らない。そこで登録用顔画像抽出手段は、あるシーンから登録用顔画像を抽出できなかったとき、上記シーンとは異なる他のシーンから、登録用顔画像を抽出する。これにより、辞書に登録する顔画像の種類を、より確実に増やすことができる効果を奏する。
【００５０】
（より信頼性の高い顔画像に置換）
また、本発明に係る顔画像登録装置では、さらに、
上記登録用顔画像抽出手段は、
ある登録条件に一致する登録用顔画像が、上記辞書に登録済みである場合において、当該登録条件に一致する他の登録用顔画像をあらたに抽出し、
上記顔画像登録手段は、
上記他の登録用顔画像の認識信頼度が、上記登録済みの登録用顔画像の認識信頼度よりも高いとき、当該登録済みの顔画像を、当該他の登録用顔画像に置き換えることが好ましい。
（作用・効果）
上記の構成によれば、登録用顔画像抽出手段は、ある登録条件に一致する登録用顔画像が辞書に登録済みである場合において、当該登録条件に一致する他の登録用顔画像をあらたに抽出する。
【００５１】
そして顔画像登録手段は、他の登録用顔画像の認識信頼度が、上記登録済みの登録用顔画像の認識信頼度よりも高いとき、登録済みの顔画像を、他の登録用顔画像に置き換える。これにより、辞書に登録済みの顔画像の認識信頼度をより高めることができる。
【００５２】
したがって顔画像登録装置は、辞書に登録する顔画像の認識精度を、より高めることができる効果を奏する。
【００５３】
（顔画像登録プログラムおよび記録媒体）
なお、上記顔画像登録装置は、コンピュータによって実現してもよい。この場合、コンピュータを上記各手段として動作させることにより上記顔画像登録装置をコンピュータにおいて実現する顔画像登録プログラム、およびその顔画像登録プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００５４】
以上のように、本発明に係る顔画像登録装置は、動画像から抽出された登録用顔画像を、動画像から抽出された代表顔画像に関連付けて辞書に登録する顔画像登録手段を備えているため、ユーザに手間を掛けさせることなく、さまざまな顔画像を辞書に登録できる効果を奏する。
【発明を実施するための最良の形態】
【００５５】
本発明の一実施形態について、図１〜図１１を参照して以下に説明する。
【００５６】
（顔画像登録システム２０）
まず、顔画像登録システム２０の構成について、図１を参照して以下に説明する。図１は、本発明の一実施形態に係る顔画像登録システム２０の要部構成を示すブロック図である。この図に示すように、顔画像登録システム２０は、顔画像登録装置１、入力装置２、表示装置３、および動画撮影装置４によって構成されている。
【００５７】
（顔画像登録装置１）
顔画像登録装置１は、顔認証に必要な顔画像を、辞書に登録する装置である。構成や概要などの詳細は、後述する。
【００５８】
（入力装置２）
入力装置２は、情報を顔画像登録装置１に入力したり、表示装置３に表示されている情報を選択するためにユーザが用いる装置である。たとえばマウスやキーボードとして実現される。
【００５９】
（表示装置３）
表示装置３は、情報を表示しユーザに提示する装置である。たとえば液晶表示装置やプラズマ表示装置として実現される。
【００６０】
（動画撮影装置４）
動画撮影装置４は、外界の人物や事物を動画に撮影する装置である。たとえばビデオカメラとして実現される。
【００６１】
（辞書作成装置１）
本実施形態に係る顔画像登録装置１について、図１を参照して以下に説明する。図１に示すように、顔画像登録装置１は、動画入力部１０、シーン抽出部１１（シーン抽出手段）、代表顔画像抽出部１２（代表顔画像抽出手段）、登録用顔画像抽出部１３（登録用顔画像抽出手段）、顔画像登録部１４（顔画像登録手段）、顔画像辞書１５（辞書）、入力処理部１６、および表示処理部１７を備えている。
【００６２】
（顔画像登録装置１の概要）
顔画像登録装置１の概要をまず説明する。顔画像登録装置１は、動画像から辞書登録に適した顔画像を抽出し、登録する。すなわちシーンきり分けや、顔画像のグループ化が目的ではない。辞書の性能向上と、性能向上手順の簡略化とを目的にしている。
【００６３】
具体的には、顔画像登録装置１は、顔の認証処理に適した顔画像を、入力された動画像から抽出し、顔画像辞書１５に自動的に登録する。このとき、たとえばユーザによって指定された人物の顔画像を選択的に登録する。顔画像を動画像から抽出することがポイントである。
【００６４】
すなわち動画像には、さまざまな条件に一致する顔画像が、数多くの撮影されている可能性が極めて高い。そのため顔画像登録装置は、同じ人物についての異なる顔画像を、動画像からさまざまに抽出できる。これにより、顔画像辞書１５にさまざまな顔画像を登録できるので、顔画像辞書１５に登録される顔画像の偏りを減らすことができる。また、顔画像辞書１５を簡単かつ精度よく作成できる。
【００６５】
以上のことから、顔画像登録装置１によって作成される顔画像辞書１５を用いれば、認証装置は、人物の顔認証の性能を大きく向上させることができる。
【００６６】
（顔画像の登録処理）
顔画像登録装置１が、動画像から抽出した顔画像を顔画像辞書１５に登録する際の処理について、図２を参照して以下に説明する。図２は、顔画像登録装置１が動画像から顔画像を抽出し顔画像辞書１５に登録する際の処理の流れを示すフローチャートである。
【００６７】
（動画像の入力）
図２に示す処理の前に、ユーザは、動画撮影装置４を用いて動画像を撮影しておく。これにより動画撮影装置４は、動画像を顔画像登録装置１に入力する（ステップＳ２０）。入力された動画像を、顔画像登録装置１では入力処理部１６が受け付ける。入力処理部１６は、受け付けた動画像をシーン抽出部１１に出力する。
【００６８】
本発明において、顔画像登録装置１に入力される動画像は、動画撮影装置４によって撮影されたものに限定されない。たとえば、市販されている有償の映像ソフトであってもよく、あるいは放送されているドラマやスポーツ番組のような、無償で入手できる動画像であってもよい。すなわち顔画像登録装置１に入力される動画像は、人物の顔が撮影されているものであれば何でもよい。
【００６９】
（動画像の例）
顔画像登録装置１は、動画像から顔画像を抽出する。そこでまず、顔画像登録装置１が処理の対象とする動画像の一例について、図３（ａ）を参照して以下に説明する。図３（ａ）は、辞書作成装置１が顔画像を抽出する際に処理する動画像の一例を示す図である。
【００７０】
この図に示すように、動画像３０は、複数の連続したフレーム３１によって構成されている。各フレームは映像でいうところのいわゆる「コマ」に相当する。すなわち各フレーム３１は、いずれも一つの静止画である。
【００７１】
（シーンの抽出）
顔画像登録装置において、シーン抽出部１１は、入力された動画像から、少なくとも１つのシーンを抽出する（ステップＳ２１）。ここでいう「シーン」とは、動画像を構成する一部のフレームが連続して連なっている、部分動画像である。シーン抽出部１１は、同一人物の顔がフレームに入ってから、出て行くまでの間を、１つのシーンとして抽出すればよい。すなわち１つのシーンは、ある人物の顔が最初のフレームに映ってから、消えていくまでのものであればよい。
【００７２】
シーン抽出部１１は、公知の任意手法を用いて、動画像からシーンを抽出すればよい。たとえば、連続的に少しずつ変化する顔を検出して追いかける、いわゆる顔トラッキング技術を利用することができる。また、背景の変化を検出し、あらかじめ定められている特定条件に一致する背景を映したフレームが出現した箇所において、動画像を切り分けてもよい。このとき、切り分けた前後のフレーム群を、それぞれシーンとして抽出することになる。
【００７３】
（シーンの一例）
シーン抽出部１１によって動画像から抽出されるシーンの一例を、図３（ｂ）を参照して以下に説明する。図３（ｂ）は、シーン抽出部１１によって抽出されたシーンの一例を示す図である。
【００７４】
この図に示す例では、シーン抽出部１１は、１つの動画像から３つのシーンを、すなわちシーン３２、シーン３３、およびシーン３４を抽出する。シーン３２は、フレーム３２ａからフレーム３２ｂまで、連続する複数のフレームが連なった構造を取っている。これらのフレームには、いずれも、同一人物の顔が連続して撮影されている。
【００７５】
シーン３３は、フレーム３３ａおよびフレーム３３ｂという２つのフレームから構成されている。フレーム３３ａの直前のフレーム、およびフレーム３３ｂの直後のフレームには、顔が撮影されていないため、シーン抽出部１１は、動画像のうちフレーム３３ａ・３３ｂの２つによって構成される箇所を、１つのシーン３３として抽出する。
【００７６】
シーン３４は、３つのフレームすなわちフレーム３３ａから３４ｃが連続して連なった構造を取っている。これらのフレームには、同一人物の顔画像が、連続して撮影されている。そのためシーン抽出部１１は、動画像のうちフレーム３３ｂから３４ｃの３つによって構成されている箇所を、１つのシーン３４として抽出する。
【００７７】
（フレームの一例）
シーンを構成するフレームについて、図３（ｃ）を参照して以下に説明する。図３（ｃ）は、それぞれが各種の顔画像を含み、１つのシーン３２を構成する、複数のフレームの例を示す図である。
【００７８】
この図に示すように、シーン３２は、複数のフレームによって構成されている。各フレームには、少なくとも一人の人物の顔が撮影されている。加えて、他の人物の顔も同時に撮影しているフレームも、シーン３２に含まれている。なお、必ずしもすべてのフレームが、複数の人物の顔画像を撮影しているとは限らない。しかし、各フレームには、正面を向いた顔、横を向いた顔、ひげを生やした顔、口を開いた顔など、さまざまに異なる特徴を持った顔が撮影されている。
【００７９】
（正面顔の抽出）
シーン抽出部１１は、ステップＳ２１において抽出したシーンを、代表顔画像抽出部１２に出力する。代表顔画像抽出部１２は、入力されたシーンから、各種の顔画像を検索する（ステップＳ２２）。
【００８０】
このとき代表顔画像抽出部１２は、特に、あらかじめ定められた代表条件に一致する顔画像を抽出する。ここでいう「代表条件」とは、動画像に撮影されている各種の顔画像のうち、顔認証に最も適している顔画像が満たすべき条件のことである。顔画像登録装置１において、代表条件は、図示しないメモリにあらかじめ記憶されている。本実施形態では、正面を向いた顔の顔画像が満たす条件が代表条件である。したがって代表顔画像抽出部１２は、入力されたシーンから、正面を向いた顔を抽出する（ステップＳ２３）。
【００８１】
なお、代表条件は、必ずしも、正面を向いた顔の顔画像が満たす条件に限らない。他に、顔認証に適した顔画像が満たすべき条件であれば、どのような条件であってもよい。
【００８２】
また代表顔画像抽出部１２は、シーンから、代表条件に一致する顔画像を、可能な限りすべて抽出してもよい。したがって、同じ人物についての正面を向いた顔を、それぞれ異なる代表顔画像として互いに区別して抽出してもよい。
【００８３】
なお、顔画像登録装置１において、ユーザが、適宜、代表条件を設定してもよい。この場合代表顔画像抽出部１２は、`ユーザによって設定された代表条件に一致する顔画像を、代表顔画像としてシーンから抽出する。
【００８４】
（人物の選択）
本実施形態では、代表顔画像抽出部１２は、入力されたシーンから、可能な限りの数の代表顔画像を、該当する人物の重複に関わり無くすべて抽出する。そして、抽出したすべての代表顔画像を、表示処理部１７に出力する。
【００８５】
代表顔画像抽出部１２が代表顔画像をシーンから抽出し終えると、顔画像登録装置１は、抽出された代表顔画像を１つ、選択する（ステップＳ２４）。本実施形態の顔画像登録装置１は、顔画像辞書１５に登録させたい人物の代表顔画像を、ユーザに１つ選択させる。
【００８６】
具体的には、表示処理部１７は、入力されたすべての代表顔画像を表示装置３に表示させる。ユーザは、表示装置３を通じて代表顔画像の表示を確認する。つぎにユーザは、表示されている代表顔画像のうちいずれか１つを、入力装置２を用いて選択する。この選択を、入力処理部１６が受け付ける。入力処理部１６は、ユーザが選択した代表顔画像についての情報を登録用顔画像抽出部１３に出力する。これにより登録用顔画像抽出部１３は、ユーザが選択した代表顔画像を、処理の対象として選択する。
【００８７】
図４は、代表顔画像の選択をユーザに求めるための表示画面の一例を示す図である。表示処理部１７は、図４に示す画面４０を表示装置３に表示させる。画面４０は、正面顔画像４１を含む複数の正面顔画像を表示する領域と、メッセージボックス４２とを含んでいる。メッセージボックス４２には、ユーザに顔画像の選択を促すメッセージを表示している。図４の例では、「登録したい人物の顔画像を選択してください」とのメッセージを表示している。
【００８８】
上述したように、代表顔画像抽出部１２は、代表顔画像として、同一人物について異なる正面顔画像を複数回、抽出することもできる。このとき表示処理部１７は、表示装置３に、同じ人物についての複数の異なる正面顔画像を、同時に表示させることになる。
【００８９】
（選択した人物の登録）
登録用顔画像抽出部１３は、ユーザによって選択された正面顔画像を顔画像辞書１５に登録する（ステップＳ２５）。このとき、選択された正面顔画像を識別するための固有の識別子を、顔画像辞書１５に登録してもよい。または、選択された正面顔画像そのものを、登録してもよい。あるいは、後述する方法によって算出できる、顔画像の特徴量を登録してもよい。いずれにせよ、選択された人物の顔を表す顔画像を登録するための格納領域を、顔画像辞書１５にあらたに設定することに変わりはない。
【００９０】
（登録人物について顔画像検索）
登録用顔画像抽出部１３は、ユーザによって選択された正面顔画像の表す人物について、同じ人物の顔画像を、各種、入力されたシーンから検索する（ステップＳ２６）。このとき、条件の違いに関わらず、抽出された正面顔と同じ人物の顔と判定できる顔画像を、すべて検索する。判定手法は公知のものでよい。本実施形態では、登録用顔画像抽出部１３は、顔画像だと判定できる画像を一括して検索しておく。
【００９１】
（条件判定・抽出）
ステップＳ２６において各種の顔画像を検索したあと、登録用顔画像抽出部１３は、検索した顔画像が、あらかじめ定められているピックアップ条件（登録条件）に一致するか否かを判定する。そして、満たすと判定した顔画像を、顔画像辞書１５に登録する顔画像として抽出する（ステップＳ２７）。このとき、図示しないメモリにあらかじめ記憶されているピックアップ条件リストを用いる。「ピックアップ条件リスト」とは、顔画像辞書１５への登録に適した顔画像が満たすべき各種のピックアップ条件を１つにまとめたリストである。
【００９２】
（ピックアップ条件リスト５０）
登録用顔画像抽出部１３が用いるピックアップ条件リスト５０について、図５を参照して以下に説明する。図５は、ピックアップ条件リスト５０の一例を示す図である。
【００９３】
この図に示すように、ピックアップ条件リスト５０において、主条件、副条件Ａ、副条件Ｂ、副条件Ｃがそれぞれ定義されている。主条件は、顔画像の特徴を大雑把に分類した条件である。ピックアップ条件リスト５０には、顔の向き、明るさ、表情、および付帯物が、ピックアップ条件の主条件として定義されている。
【００９４】
主条件をさらに細かく定義したのが、副条件Ａである。たとえば「顔の向き」には「上」「下」「右」「左」が、「明るさ」には「フラッシュ」「背景比」が、「表情」には「目」「口」が、そして「付帯物」には「眼鏡」「髭」が、それぞれ副条件Ａとして定義されている。
【００９５】
副条件Ａをさらに細かく定義したのが、副条件Ｂである。たとえば「上」には「０〜３０度」が、「フラッシュ」には「あり」「なし」が、「背景比」には「明るい」「暗い」が、「目」には「開」「閉」といった副条件Ｂがそれぞれ定義されている。
【００９６】
副条件Ｂをさらに細かく定義したのが、副条件Ｃである。たとえば「０〜３０度」には「５度刻み」が定義されている。
【００９７】
以上のように、ピックアップ条件によっては、設定される副条件のレベルが異なる。しかし、顔画像を抽出するための条件であることに変わりはない。すなわち、特定の条件に一致する顔画像だと判定できる条件の細かさに違いがあるのみである。
【００９８】
登録用顔画像抽出部１３は、ピックアップ条件リスト５０に定義されている主条件に、当該主条件に属する副条件を適宜組み合わせて、各種のピックアップ条件を生成する。たとえば、「顔の向き」について言えば、「上に５度向いた顔」を１つのピックアップ条件として扱う。
【００９９】
ステップＳ２７に示す処理の詳細については、後述する。なお、この処理を実行することによって、登録用顔画像抽出部１３は、ピックアップ条件リスト５０に定義されている少なくとも１つのピックアップ条件に一致する顔画像を、少なくとも１つ、登録用顔画像としてシーンから抽出する。
【０１００】
（顔画像の登録）
登録用顔画像抽出部１３は、シーンから抽出した登録用顔画像を顔画像登録部１４に出力する。顔画像登録部１４は、入力された登録用顔画像を顔画像辞書１５に登録する（ステップＳ２８）。この詳細は後述する。
【０１０１】
（最終判定処理）
ステップＳ２８において登録用顔画像を顔画像辞書１５に登録したあと、登録用顔画像抽出部１３は、シーンから顔画像を抽出し終えたか否かを判定する（ステップＳ２９）。このとき登録用顔画像抽出部１３は、
条件Ａ：ピックアップ条件リスト５０に定義されている各ピックアップ条件に一致する顔画像をすべて顔画像辞書１５に登録した
条件Ｃ：１つの動画像内の全シーンを処理した
条件Ｂ：一定数のシーンを処理した
条件Ｄ：入力された複数の動画像をすべて処理した
条件Ｅ：一定数の動画像を処理した
条件Ｆ：抽出処理を開始してから一定時間が経過した
のいずれかを満たしたとき、顔画像の抽出を終了したと判定する。
【０１０２】
上記の条件ＡからＦのいずれをも満たしていないと判定したとき（Ｎｏ）、図２に示す処理はステップＳ２７に戻る。このとき登録用顔画像抽出部１３は、シーンから検索した顔画像のうちピックアップ条件に一致するか否かを判定していない顔画像を、あらたに１つ選択する。そして、上述したピックアップ条件に一致するか否かを判定する。
【０１０３】
このようにして、ステップＳ２９に示す最終判定処理において「真」の結果を得るまで、登録用顔画像抽出部１３は、シーンから検索した顔画像が、登録用顔画像としてのピックアップ条件に一致するか否かを、顔画像ごとに繰り返し判定する。
【０１０４】
（条件判定・抽出処理の詳細）
ステップＳ２７に示す条件抽出・抽出処理の詳細ついて、図６を参照して以下に説明する。図６は、ピックアップ条件に一致する顔画像を登録用顔画像抽出部１３がシーンから抽出する処理の流れを示すフローチャートである。
【０１０５】
本実施形態の登録用顔画像抽出部１３は、たとえば特開２００５−４９８５４号公報に開示されている技術を用いて、ピックアップ条件に一致する顔画像をシーンから抽出する。したがって、各ピックアップ条件に該当する顔画像（テンプレート）を事前に必要としない。すなわち、ピックアップ条件として定義されている条件が与えられれば、それに一致する顔画像を、人物ごとに自動的に抽出できる。
【０１０６】
（未登録の条件を選択）
登録用顔画像抽出部１３は、まず、未登録のピックアップ条件を１つ選択する（ステップＳ６０）。ここでいう「未登録のピックアップ条件」とは、選択された代表顔画像の表す人物についての顔画像のうち、顔画像辞書１５に登録されていない顔画像が満たす条件のことである。たとえば、顔の向きのピックアップ条件に一致する顔画像が、顔画像辞書１５に登録されていないとき、顔の向きについてのピックアップ条件を、ピックアップ条件リスト５０から選択する。
【０１０７】
登録用顔画像抽出部１３は、選択した条件に応じた処理を実行する。図６の例では、選択した条件を処理するためのブロックまでジャンプする。
【０１０８】
なお、本実施形態では、ピックアップ条件に一致する顔画像を顔画像辞書１５に登録したことを示すフラグが、ピックアップ条件ごとにピックアップ条件リスト５０に設定されている。したがって登録用顔画像抽出部１３は、ピックアップ条件リスト５０に定義されているピックアップ条件のうち、フラグが設定されていない条件を、未登録のピックアップ条件として選択すればよい。
【０１０９】
（顔の向きの算出および判定）
以下では、「顔の向き」の条件に一致する登録用顔画像が、顔画像辞書１５に未登録だと仮定する。このとき登録用顔画像抽出部１３は、処理対象の顔画像の表す顔の向きを算出する。たとえば、上向き４０度、といった方向や数値を算出する。
【０１１０】
このとき登録用顔画像抽出部１３は、たとえば、
・目と口とを結んだ三角形の形
・目尻から顔の輪郭までの距離、左右方向
などに基づき、顔の向きを算出する。これらの算出方法はすでに確立されているものであるため、詳細な説明を省略する。
【０１１１】
登録用顔画像抽出部１３は、算出した顔の向きが、選択したピックアップ条件を満たしているか否かを判定する（ステップＳ６２）。満たしていると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件を更新する（ステップＳ６９）。更新の詳細は後述する。
【０１１２】
（明るさの算出および判定）
ステップＳ６２において、顔画像から算出した顔の向きが、顔の向きについてのピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに顔画像の明るさを算出する（ステップＳ６３）。
【０１１３】
このとき登録用顔画像抽出部１３は、たとえば、
・画像ファイルの絞り情報
・フラッシュの情報
・背景の輝度と、顔の明るさ輝度の差
・顔画像の輪郭内画素の輝度レベル平均値
などに基づき、顔画像の明るさを選択する。これらの算出方法はすでに確立されているものであるため、詳細な説明を省略する。
【０１１４】
登録用顔画像抽出部１３は、算出した明るさが、選択したピックアップ条件を満たしているか否かを判定する（ステップＳ６４）。満たしていると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件を更新する（ステップＳ６９）。
【０１１５】
（表情の算出および判定）
ステップＳ６４において、顔画像から算出した明るさが、明るさについてのピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに顔画像の表情を算出する（ステップＳ６５）。更新の詳細は後述する。
【０１１６】
このとき登録用顔画像抽出部１３は、たとえば、
・目の中心からのエッジ量
・目の中心から上下左右方向へのエッジ量
・瞳と白目との境
・目の縦と横との比率
などに基づき、顔画像の表情を算出する。これらの算出方法はすでに確立されているものであるため、詳細な説明を省略する。
【０１１７】
登録用顔画像抽出部１３は、算出した表情が、表情についてのピックアップ条件を満たしているか否かを判定する（ステップＳ６８）。満たしていると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３はピックアップ条件を更新する（ステップＳ６９）。更新の詳細は後述する。
【０１１８】
（付帯物の算出および判定）
ステップＳ６６において、顔画像から算出した表情が、表情についてのピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに顔画像の付帯物の有無を算出する（ステップＳ６７）。
【０１１９】
このとき登録用顔画像抽出部１３は、たとえば、
・代表顔画像との違い
・目の周囲の色と、肌色との違い
・口の周囲の色（黒色）
などに基づき、顔画像の付帯物の有無を算出する。これらの算出方法はすでに確立されているものであるため、詳細な説明を省略する。
【０１２０】
登録用顔画像抽出部１３は、算出した付帯物が、付帯物についてのピックアップ条件を満たしているか否かを判定する（ステップＳ６８）。満たしていると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件を更新する（ステップＳ６９）。詳細は後述する
（ピックアップ条件リスト５０の更新）
顔の向き、明るさ、表情、付帯物のいずれにせよ、顔画像から算出した条件が、選択したピックアップ条件を満たしていると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件リスト５０を更新する（ステップＳ６９）。具体的には、選択したピックアップ条件について、一致する顔画像を顔画像辞書１５に登録したことを表すフラグを、ピックアップ条件リスト５０に立てる。このとき登録用顔画像抽出部１３は、次の顔画像を処理するとき、今回登録した条件を再び選択することはない。
【０１２１】
（まとめ）
以上のように顔画像登録装置１は、顔画像辞書１５に登録したい人物をユーザが選択することによって、その人物の顔認証に最適な顔画像辞書１５を自動的に生成する。すなわち、さまざまに異なる顔画像を動画像（シーン）から自動的に抽出し、顔画像辞書１５に登録する。したがって、顔画像の登録処理に要する手間を、従来技術よりも減らすことができる。
【０１２２】
なお、顔画像登録装置１は、顔画像辞書１５に登録する登録用顔画像の選択を、ユーザに任せてもよい。このとき顔画像登録装置１は、検索した各種の顔画像を、表示装置３に一覧表示させる。これにより、ユーザによって選択された顔画像を顔画像辞書１５に登録することになる。この場合、登録する顔画像の選別にユーザによる判定が加味されるので、顔画像辞書１５の精度をより高めることができる。
【０１２３】
（無作為な選択）
以上の例では、登録用顔画像抽出部１３は、ピックアップ条件に一致する顔画像を抽出するごとに、ピックアップ条件リスト５０を更新している。しかし登録用顔画像抽出部１３は、ピックアップ条件に一致する顔画像を、まず、すべてまとめてメモリに記憶してもよい。このとき登録用顔画像抽出部１３は、顔画像の抽出を終了したあと、顔画像辞書１５に登録する顔画像を１つ、無作為に選択すればよい。あるいは、登録する顔画像をユーザに選択させてもよい。
【０１２４】
（顔画像辞書１５への登録処理の詳細）
ステップＳ２８において顔画像登録部１４が実行する、顔画像辞書１５への顔画像の登録処理について、図７を参照して以下に説明する。図７は、登録用顔画像抽出部１３によって抽出された登録用顔画像を、顔画像登録部１４が顔画像辞書１５に登録するときの処理の流れを示すフローチャートである。
【０１２５】
（器官位置の検出）
この図に示すように、顔画像登録部１４は、まず、顔画像によって表される顔について、各種の器官の位置を検出する（ステップＳ７０）。具体的には、目の中心、目尻、目頭、口、口の両端、眉の両端などを検出する。器官の検出手法は公知であるため、詳細な説明を省略する。顔画像登録部１４が検出する器官はこれらに限定されず、顔の器官であればどれでもよい。検出する数も特に限定されない。どの器官を、どれだけの数検出するのかは、顔画像登録装置１において図示しないメモリにあらかじめ定められている。
【０１２６】
（特徴量の算出）
顔画像の器官位置を検出したあと、顔画像登録部１４は、検出した各器官位置の情報を用いて、顔画像の特徴量を算出する（ステップＳ７１）。これにより顔画像の特徴を数値化する。数値化の方法はすでに確立されているものであるため、ここでは特に詳しく説明しない。
【０１２７】
（特徴量の登録）
つぎに顔画像登録部１４は、算出した特徴量を、顔画像辞書１５において、すでに登録されている代表顔画像に関連付けて格納する（ステップＳ７２）。
【０１２８】
以上の処理によって、顔画像登録部１４は、顔画像そのものを顔画像辞書１５に登録することに比べて、より少ない量でのデータを顔画像辞書１５に登録する。したがって、生成する顔画像辞書１５のデータサイズを、より小さくできる。
【０１２９】
（条件判定・抽出処理）
以上に説明した例では、顔画像登録装置１は、顔画像辞書１５に登録されていないピックアップ条件に一致する顔画像を抽出し、顔画像辞書１５に登録している。しかし顔画像登録装置１は、登録済みか否かに関わらず、ピックアップ条件に一致する顔画像を抽出してもよい。このとき登録用顔画像抽出部１３は、顔画像辞書１５に登録されている顔画像と、あらたに抽出した登録用顔画像とのうち、どちらが顔認証に適しているかを判定する。もしあらたに抽出した顔画像の方が、顔認証に適していると判定したとき、既存の顔画像を、あらたに抽出した顔画像によって置き換える。
【０１３０】
以上の処理について、図８を参照して以下に説明する。図８は、ピックアップ条件に一致する顔画像を登録用顔画像抽出部１３が抽出するときの処理の流れを示すフローチャートである。
【０１３１】
処理の前に、登録用顔画像抽出部１３は、処理対象とする顔画像を１つ、選択している。つぎに顔画像登録部１４は、選択した顔画像についての顔の向きを算出する（ステップＳ８０）。顔の向きの算出処理については上述したので、説明を省略する。登録用顔画像抽出部１３は、算出した顔の向きが、ピックアップ条件リスト５０に定義されている、顔の向きについてのピックアップ条件の少なくともいずれかに一致するか否かを判定する（ステップＳ８１）。
【０１３２】
ステップＳ８１において、算出した顔の向きがピックアップ条件に一致すると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件リスト５０を更新する。この処理の詳細については、後述する。
【０１３３】
ステップＳ８１において、算出した顔の向きがピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに、選択した顔画像についての明るさを算出する（ステップＳ８２）。明るさの算出処理については上述したので、説明を省略する。登録用顔画像抽出部１３は、算出した明るさが、ピックアップ条件リスト５０に定義されている、明るさについてのピックアップ条件の少なくともいずれかに一致するか否かを判定する（ステップＳ８３）。
【０１３４】
ステップＳ８３において、算出した明るさがピックアップ条件に一致すると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件リスト５０を更新する。この処理の詳細については、後述する。
【０１３５】
ステップＳ８３において、算出した顔の向きがピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに、選択した顔画像についての表情を算出する（ステップＳ８２）。表情の算出処理については上述したので、説明を省略する。登録用顔画像抽出部１３は、算出した表情が、ピックアップ条件リスト５０に定義されている、表情についてのピックアップ条件の少なくともいずれかに一致するか否かを判定する（ステップＳ８５）。
【０１３６】
ステップＳ８３において、算出した明るさがピックアップ条件に一致すると判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件リスト５０を更新する。この処理の詳細については、後述する。
【０１３７】
ステップＳ８５において、算出した表情がピックアップ条件に一致しないと判定したとき（Ｎｏ）、登録用顔画像抽出部１３は、つぎに、選択した顔画像についての付帯物を算出する（ステップＳ８６）。表情の算出処理については上述したので、説明を省略する。登録用顔画像抽出部１３は、算出した付帯物が、ピックアップ条件リスト５０に定義されている、付帯物についてのピックアップ条件の少なくともいずれかに一致するか否かを判定する（ステップＳ８７）。
【０１３８】
（ピックアップ条件リストの更新）
いずれのピックアップ条件に一致するかに関わらず、登録用顔画像抽出部１３は、顔画像がピックアップ条件に一致したとき、ピックアップ条件リスト５０を更新する（ステップＳ８８）。
【０１３９】
（ピックアップ条件リスト更新の詳細）
ステップＳ８８において登録用顔画像抽出部１３が実行する、ピックアップ条件リスト５０更新処理について、図９を参照して以下に説明する。図９は、登録用顔画像抽出部１３がピックアップ条件リストを更新するときの処理の流れを示すフローチャートである。
【０１４０】
まず登録用顔画像抽出部１３は、選択した顔画像に一致すると判定したピックアップ条件が、ピックアップ条件リスト５０に登録済みであるか否かを判定する（ステップＳ９０）。具体的には、ピックアップ条件リスト５０に、そのピックアップ条件についてのフラグが設定されているか否かを判定する。
【０１４１】
（認識信頼度の比較）
ステップＳ９０における判定の結果が「偽」であるとき（Ｎｏ）、ピックアップ条件リスト５０を更新する。具体的には、顔画像に一致すると判定したピックアップ条件に、フラグを設定する。
【０１４２】
一方、ステップＳ９０における判定の結果が「真」であるとき（Ｙｅｓ）、そのピックアップ条件にはすでにフラグが設定されている。すなわち、そのピックアップ条件に一致する顔画像が、すでに顔画像辞書１５に登録されている。そこで登録用顔画像抽出部１３は、登録済みの顔画像についての認識信頼度と、あらたに抽出した顔画像についての認識信頼度とを比較する。これにより、記憶されている認識信頼度が、あらたに算出した認識信頼度が、記憶済みの認識信頼度よりも大きいか否かを判定する（ステップＳ９１）
ここでいう「認識信頼度」とは、ピックアップ条件の満たし具合を数値化したものである。たとえば、顔の向きなら、５度、８度、というように、登録用顔画像抽出部１３は、算出した数値を、ピックアップ条件に関連付けてピックアップ条件リスト５０に記憶する。あるいは、登録用顔画像に関連付けて顔画像辞書１５に登録してもよい。
【０１４３】
ステップＳ９０における判定の結果が「真」であるとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ピックアップ条件リスト５０を更新する。ピックアップ条件に一致する顔画像が顔画像辞書１５に登録されていることを表すフラグは、すでにピックアップ条件リスト５０に設定されているので、そのままにする。一方で、それまでに記憶されている認識信頼度を、あらたに抽出した顔画像についての認識信頼度に置き換える。このあと、顔画像登録部１４が、顔画像辞書１５に登録済みの顔画像を、登録用顔画像抽出部１３によってあらたに抽出された顔画像に置き換える。
【０１４４】
以上の処理によって、顔画像辞書１５に、より認識精度の高い顔画像を登録できる。したがって、顔画像登録装置１が生成した顔画像辞書１５の認証精度を、より高めることができる。
【０１４５】
（複数の人物についての顔画像を登録）
以上に説明した例では、顔画像登録装置１は、複数の代表顔画像のうち、ユーザが選択した一人の人物についての登録用顔画像を抽出し、顔画像辞書１５に登録している。しかし顔画像登録装置１は、１つの動画像、あるいは１つのシーンから登録に適した顔画像を抽出するとき、複数の人物についての登録用顔画像をそれぞれ抽出し、顔画像辞書１５に続けて登録してもよい。
【０１４６】
図１０は、複数の人物についての顔画像を顔画像登録装置１が抽出し、顔画像辞書１５に登録するときの処理の流れを示すフローチャートである。
【０１４７】
図１０に示すステップＳ１００からＳ１０９の処理は、それぞれ、ステップＳ２０からＳ２９の処理と、本質的に同一である。そのため、詳細は説明を省略する。なお、ステップＳ１０４において、表示処理部１７は、ユーザの選択した人物が選択済みであることを示すフラグを、図示しないメモリに設定する。
【０１４８】
ステップＳ１０９において、ある人物についての登録用顔画像の抽出を終了したと判定したとき（Ｙｅｓ）、登録用顔画像抽出部１３は、ユーザに提示した代表顔画像の人物のうち、顔画像辞書１５に未登録、すなわち未だ処理の対象としていない顔画像についての人物がいるか否かを判定する（ステップＳ１１０）。具体的には、フラグが未設定の顔画像があるかどうかを判定する。
【０１４９】
ステップＳ１１０における判定の結果が「真」であるとき（Ｙｅｓ）、図１０の処理はステップＳ１０４に戻って、顔画像登録装置１は、表示装置３に表示させた代表顔画像のうち、未登録のものを、ユーザに選択させる。このときたとえば選択済みの顔画像をグレースケール表示するなどして、選択済みであることを明示させてもよい。
【０１５０】
ユーザは、未選択の代表顔画像を１つ選択する。これにより登録用顔画像抽出部１３は、あらたに選択された代表顔画像の表す人物についての登録用顔画像を、シーンから抽出する。そして、登録用顔画像抽出部１３によって選択した登録用顔画像を、顔画像登録部１４が顔画像辞書１５に登録する。
【０１５１】
以上の処理を、もはや選択できる代表顔画像がなくなるか、あるいはユーザによって明示的に登録終了の指示がなされるまで、顔画像登録装置１は繰り返す。
【０１５２】
（作用・効果）
動画像には、一人の人物が撮影されているとは限らない。大勢の人物が写っていることも、しばしばある。そこで登録用顔画像抽出部１３は、代表顔画像抽出部１２によって、複数の異なる代表顔画像が抽出されたとき、代表顔画像ごとに登録用顔画像を抽出する。複数の異なる代表顔画像とは、個々の顔画像がそれぞれ異なる人物の顔を表している複数の顔画像のことである。このとき登録用顔画像抽出部１３は、異なる人物ごとに、登録用顔画像を抽出する。
【０１５３】
したがって顔画像登録部１４は、動画像に複数の人物が撮影されている場合において、人物ごとに、代表顔画像とこの登録用顔画像を関連付けて、顔画像辞書１５に登録する。したがって、顔画像辞書１５には、複数の異なる人物についての顔画像が蓄積されることになる。
【０１５４】
以上の処理によって、顔画像登録装置１は、顔画像辞書１５の充実度をより高めることができる。
【０１５５】
（辞書データの一例）
顔画像登録装置１が生成する、顔画像辞書１５に記憶される辞書データの一例について、図１１を参照して以下に説明する。図１１は、顔画像辞書１５に記憶されている辞書データの一例を示す図である。
【０１５６】
この図に示すように、顔画像登録装置１が生成する辞書データは、ヘッダデータＨ、特徴量データｄ１、特徴量データｄ２、・・・特徴量データｄｎを含んでいる。ヘッダデータＨは、顔画像辞書１５のバージョン情報や、顔画像辞書１５に登録されている人物の人数など、辞書データ全体に関わる各種の定義データによって構成されている。各特徴量データｄｉ（ｉ＝１、２、・・・ｎ）は、代表顔画像抽出部１２によって動画像から抽出された代表顔画像の表す人物ごとの、特徴量を表すデータである。人物ごとの特徴量データにおいて、特徴量は、登録用顔画像ごとに分かれず一体化されている。
【０１５７】
（顔画像辞書１５の利用）
上述したように、顔画像登録装置１は、特定のピックアップ条件に一致するテンプレート画像と、動画像内の顔画像とを比較して、一致する顔画像を抽出しているのではない。その代わりに、登録された各ピックアップ条件に一致する顔画像を抽出し、抽出した顔画像から算出した特徴量を１つに合成して、顔画像辞書１５を生成する。したがって、登録済み条件よりも幅広く対応できる顔画像辞書１５を作成できる。
【０１５８】
以上のようにして顔画像登録装置１が生成した顔画像辞書１５を、各種の認証装置が使用する。たとえば、認証装置は、与えられた多量の静止画から、特定の人物の写った写真を抽出する。あるいは、本人認証時に顔画像辞書１５を使用して、認証精度を高めることもできる。または、入力された動画から、特定の人物の登場する場面を抜き出すこともできる。いずれにせよ、従来に比べてより精度の高い顔画像辞書１５を用いることができるので、顔画像の認証を従来に比べてより精度よく実行できる。
【０１５９】
なお、本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【０１６０】
（他のシーンの連続検索）
たとえば１つのシーンに、ピックアップ条件に一致するすべての種類の顔画像が含まれているとは限らない。そこで登録用顔画像抽出部１３は、１つのシーンに必要な登録用顔画像が無ければ、別のシーンを検索対象とすることもできる。
【０１６１】
このときシーン抽出部１１は、動画像から、複数の異なるシーンを抽出する。このときたとえば、人物の顔が写っていない場面を区切りにする。登録用顔画像抽出部１３は、あるシーンから登録用顔画像を抽出できなかったとき、そのシーンとは異なる他のシーンから、登録用顔画像を抽出する。これにより、顔画像辞書１５に登録する顔画像の種類を、より確実に増やすことができる。
【０１６２】
（顔画像の大きさ）
代表顔画像抽出部１２は、シーンから代表顔画像を抽出するとき、人物ごとに、互いに同じ大きさの顔画像を抽出することもできる。このようにすれば、顔画像辞書１５に登録する代表顔画像の認証精度を安定させることができる。
【０１６３】
同様に、登録用顔画像抽出部１３は、シーンから登録を抽出するときに、ピックアップ条件ごとに、互いに同じ大きさの顔画像を抽出することもできる。このようにすれば、顔画像辞書１５に登録する登録用顔画像の認証精度を安定させることができる。
【０１６４】
（代表顔画像の自動選択）
顔画像登録装置１は、代表顔画像抽出部１２が抽出した代表顔画像を、ユーザに選択させることなく、自動的に選択してもよい。このとき登録用顔画像抽出部１３が、抽出された代表顔画像のうちいずれか１つを選択し、当該選択した代表顔画像の表す人物についての登録用顔画像を、シーンから抽出する。この手法によれば、顔画像辞書１５を完全に自動的に生成することができ、ユーザの手を一切、煩わせることがない。
【０１６５】
（顔画像登録プログラムおよび記録媒体）
最後に、顔画像登録装置１に含まれている各ブロックは、ハードウェアロジックによって構成すればよい。または、次のように、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いてソフトウェアによって実現してもよい。
【０１６６】
すなわち顔画像登録装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、この制御プログラムを格納したＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、上記制御プログラムを実行可能な形式に展開するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、および、上記制御プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）を備えている。
【０１６７】
この構成により、本発明の目的は、所定の記録媒体によっても達成できる。この記録媒体は、上述した機能を実現するソフトウェアである顔画像登録装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録していればよい。顔画像登録装置１にこの記録媒体を供給する。これにより、コンピュータとしての顔画像登録装置１（またはＣＰＵやＭＰＵ）が、供給された記録媒体に記録されているプログラムコードを読み出し、実行すればよい。
`  プログラムコードを顔画像登録装置１に供給する記録媒体は、特定の構造または種類のものに限定されない。すなわちこの記録媒体は、たとえば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などとすることができる。
【０１６８】
また顔画像登録装置１は、通信ネットワークと接続可能に構成しても、本発明の目的を達成できる。この場合、上記のプログラムコードを、通信ネットワークを介して顔画像登録装置１に供給する。この通信ネットワークは、顔画像登録装置１にプログラムコードを供給できるものであればよく、特定の種類または形態に限定されない。たとえば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）、電話回線網、移動体通信網、衛星通信網等であればよい。
【０１６９】
この通信ネットワークを構成する伝送媒体も、プログラムコードを`伝送可能な任意の媒体であればよく、特定の構成または種類のものに限定されない。たとえば、ＩＥＥＥ１３９４、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０１７０】
本発明は、人物の顔画像を認証する各種の認証装置が利用する顔画像辞書を生成する顔画像登録装置として、幅広く利用できる。
【図面の簡単な説明】
【０１７１】
【図１】本発明の一実施形態に係る顔画像登録システムの要部構成を示すブロック図である。
【図２】顔画像登録装置が動画像から顔画像を抽出し顔画像辞書に登録する際の処理の流れを示すフローチャートである。
【図３】（ａ）は、辞書作成装置が顔画像を抽出する際に処理する動画像の一例を示す図であり、（ｂ）は、シーン抽出部によって抽出されたシーンの一例を示す図であり、（ｃ）は、それぞれが各種の顔画像を含み、１つのシーンを構成する、複数のフレームの例を示す図である。
【図４】代表顔画像の選択をユーザに求めるための表示画面の一例を示す図である。
【図５】ピックアップ条件リスト５０の一例を示す図である。
【図６】ピックアップ条件に一致する顔画像を登録用顔画像抽出部がシーンから抽出する処理の流れを示すフローチャートである。
【図７】登録用顔画像抽出部によって抽出された登録用顔画像を、顔画像登録部が顔画像辞書に登録するときの処理の流れを示すフローチャートである。
【図８】ピックアップ条件に一致する顔画像を登録用顔画像抽出部が抽出するときの処理の流れを示すフローチャートである。
【図９】登録用顔画像抽出部がピックアップ条件リストを更新するときの処理の流れを示すフローチャートである。
【図１０】複数の人物についての顔画像を顔画像登録装置が抽出し、顔画像辞書に登録するときの処理の流れを示すフローチャートである。
【図１１】顔画像辞書に記憶されている辞書データの一例を示す図である。
【符号の説明】
【０１７２】
１  顔画像登録装置
２  入力装置
３  表示装置
１０  動画入力部
１１  シーン抽出部（映像シーン抽出手段）
１２  代表顔画像抽出部（代表顔画像抽出手段）
１３  登録用顔画像抽出部（登録用顔画像抽出手段）
１４  顔画像登録部（顔画像登録手段）
１５  顔画像辞書（辞書）
１６  入力処理部
１７  表示処理部
２０  顔画像登録システム
４０  画面
４１  正面顔画像
４２  メッセージボックス
５０  ピックアップ条件リスト
【図１】
0004725377.tif 000002
【図２】
0004725377.tif 000003
【図３】
0004725377.tif 000004
【図４】
0004725377.tif 000005
【図５】
0004725377.tif 000006
【図６】
0004725377.tif 000007
【図７】
0004725377.tif 000008
【図８】
0004725377.tif 000009
【図９】
0004725377.tif 000010
【図１０】
0004725377.tif 000011
【図１１】
0004725377.tif 000012