(57)【要約】【課題】特徴点抽出に失敗しても、個人認証実行時の処理量および処理時間の増加を抑制することのできる人物認証装置および方法を提供する。【解決手段】人物認証装置１は、顔領域抽出部１１が現フレームの顔領域を抽出し、特徴点候補抽出部１２が顔領域から特徴点候補を抽出し、類似度判定部１３が基準の類似度を超える特徴点候補があるかどうか判定し、判定部位のいずれかで特徴点候補がないと判定されたときに、予測特徴点領域生成部１６が、特徴点抽出部１４で抽出されて特徴点記憶部１５に記憶されている前フレームの特徴点を読み出して予測特徴点領域を生成し、特徴点候補判定部１７が予測特徴点領域に特徴点候補が少なくとも１つは含まれていると判定したときに、顔領域継続出力指示部１８が顔領域抽出部１１へ、次フレーム画面入力に対して、現フレームの顔領域を継続して出力するよう指示する。【選択図】図１
2008287399.tif 000002
【特許請求の範囲】
【請求項１】
入力された動画像のフレーム画面から個人認証を行うための特徴点を抽出する人物認証装置であって、
現フレームの画面から人物の顔領域を抽出する顔領域抽出手段と、
前記顔領域から複数の判定部位ごとに特徴点候補を抽出する特徴点候補抽出手段と、
前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定する類似度判定手段と、
前記類似度判定手段により前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する特徴点抽出手段と、
前記特徴点抽出手段により抽出された前記特徴点をフレームごとに記憶する特徴点記憶手段と、
前記類似度判定手段により前記複数の判定部位のいずれかで前記基準の類似度を超える特徴点候補がないと判定されたときに、前記特徴点記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成する予測特徴点領域生成手段と、
前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定する特徴点候補判定手段と、
前記特徴点候補判定手段により前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、前記顔領域抽出手段へ、次フレーム画面入力に対する顔領域抽出を行わず、現フレームの前記顔領域を継続して出力するよう指示する顔領域継続出力指示手段と、
を備えることを特徴とする人物認証装置。
【請求項２】
個人認証を行うための正規化画像を、入力された動画像のフレーム画面から生成して蓄積する人物認証装置であって、
現フレームの画面から人物の顔領域を抽出する顔領域抽出手段と、
前記顔領域から複数の判定部位ごとに特徴点候補を抽出する特徴点候補抽出手段と、
前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定する類似度判定手段と、
前記類似度判定手段により前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときは、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する特徴点抽出手段と、
前記特徴点にもとづいて正規化画像を生成する正規化画像生成手段と、
前記特徴点の抽出に成功したフレームの前記正規化画像を蓄積する正規化画像蓄積手段と、
前記特徴点抽出手段により抽出された前記特徴点をフレームごとに記憶する特徴点記憶手段と、
前記特徴点の抽出に失敗したときに、前記特徴点記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成する予測特徴点領域生成手段と、
前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定する特徴点候補判定手段と、
前記特徴点候補判定手段により前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、前記正規化画像蓄積手段へ、蓄積している前記正規化画像を保持するよう指示する正規化画像蓄積保持指示手段と、
を備えることを特徴とする人物認証装置。
【請求項３】
前記特徴点候補判定手段により前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、前記顔領域抽出手段へ、次フレーム画面入力に対する顔領域抽出を行わず、現フレームの前記顔領域を継続して出力するよう指示する顔領域継続出力指示手段と、
をさらに備えることを特徴とする請求項２に記載の人物認証装置。
【請求項４】
入力された動画像のフレーム画面を用いて個人認証を行う人物認証方法であって、
前フレームからの指示に従って、入力された現フレームの画面に対して、前フレームで抽出された顔領域を継続使用するか、顔領域を新規抽出するかを決定するステップと、
前記決定が新規抽出であったときに現フレームの画面から人物の顔領域を抽出するステップと、
前記決定に応じて、継続使用または新規抽出の顔領域から複数の判定部位ごとに特徴点候補を抽出するステップと、
前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定するステップと、
前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出するステップと、
抽出された前記特徴点をフレームごとに記憶手段に記憶するステップと、
前記複数の判定部位のいずれかで前記基準の類似度を超える特徴点候補がないと判定されたときに、前記記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成するステップと、
前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定するステップと、
前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、次フレームの画面入力に対して、現フレームの前記顔領域を継続して使用するよう指示するステップと、
を備えることを特徴とする人物認証方法。
【請求項５】
入力された動画像のフレーム画面から生成した正規化画像を複数枚蓄積し、その蓄積された複数枚の正規化画像を用いて個人認証を行う人物認証方法であって、
現フレームの画面から人物の顔領域を抽出するステップと、
前記顔領域から複数の判定部位ごとに特徴点候補を抽出するステップと、
前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定するステップと、
前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出するステップと、
前記特徴点にもとづいて正規化画像を生成するステップと、
前記特徴点の抽出に成功したフレームの前記正規化画像を蓄積するステップと、
抽出された前記特徴点をフレームごとに記憶手段に記憶するステップと、
前記特徴点の抽出に失敗したときに、前記記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成するステップと、
前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定するステップと、
を備え、
前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が１つも含まれていないと判定されたときは、蓄積していた前記正規化画像を破棄し、
前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときは、蓄積している前記正規化画像を保持することを特徴とする人物認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物認証装置および方法に関する。
【背景技術】
【０００２】
従来、個人認証に関し、さまざまな人物認証装置および方法が提案されている。その１つに、動画像を用いて顔認証を行う人物認証装置および方法がある。
【０００３】
この動画像を用いた個人認証の基本的な処理の流れは次のとおりである。  
１．動画のフレームごとの入力画像から顔領域を抽出
２．抽出された領域から判定部位ごとの特徴点を抽出
３．抽出された特徴点から顔の正規化画像を生成
４．正規化画像を予め登録されている個人辞書の画像と比較して個人を認証
この中で、特徴点抽出処理では、顔領域抽出処理で抽出された顔領域から、分離度フィルタを用いて、瞳、鼻孔などの判定部位ごとの特徴点候補を抽出し、予め登録してある判定部位ごとの領域のテンプレートとの類似度を計算して、左右瞳点、左右鼻孔点などの特徴点を抽出する方法が提案されている（例えば、特許文献１参照。）。
【０００４】
従来、このような特徴点抽出処理により現フレームの動画像から総ての特徴点の抽出に成功した場合、抽出された特徴点から次フレームの動画像における顔領域を予測し、その予測領域を次フレームの特徴点抽出に用いることにより、上述の顔領域抽出処理を省略することが行われている。
【０００５】
また、上述の認証処理の方法として制約相互部分空間法が提案されている（例えば、特許文献２参照。）。この制約相互部分空間法では、予め規定された枚数の正規化画像が蓄積されたら入力部分空間を生成し、その入力部分空間を制約部分空間へ射影した入力射影部分空間と、予め制約部分空間へ射影して登録してある個人辞書部分空間との類似度を算出することにより、対象人物の同定を行う。
【０００６】
この制約相互部分空間法を用いた認証処理では、連続するフレームで連続して特徴点の抽出に成功し、それにより生成された正規化画像が予め規定された枚数に達したときに認証処理を開始する。しかし、従来、特徴点の抽出に１フレームでも失敗すると、それまでに蓄積した正規化画像を総て破棄し、次フレームから新たに正規化画像を蓄積し直すことが行われている。
【０００７】
このように、従来の人物認証装置および方法では、特徴点抽出処理が成功するかどうかにより、個人認証実行時の処理量および処理時間が左右される。すなわち、特徴点抽出処理に成功すると、次フレームの顔領域抽出処理を省略することができ、また、正規化画像の蓄積を継続することができる。
【０００８】
ところが、従来の特徴点抽出処理では、実際に瞳、鼻孔が画像中に存在し、特徴点候補が抽出されるにも拘らず、画像処理の影響などで瞳点、鼻孔点という特徴点の抽出に失敗することがある。この場合、顔領域の予測が可能であるにも拘らず、次フレームでの顔領域抽出処理の実行が行われ、その分、処理量が増加するという問題があった。
【０００９】
また、制約相互部分空間法における正規化画像の蓄積においては、同一人物の動画像のフレームが連続する場合に、たまたま、その中の１フレームでも特徴点抽出に失敗すると、その後の処理に利用できるにも拘らず、それまでに蓄積した画像を破棄してしまい、正規化画像の再蓄積から認証処理に至るまでの処理時間が増加するという問題があった。
【特許文献１】特開平９−２５１５３４号公報  （第４ページ、図３）
【特許文献２】特開２０００−３００６５号公報  （第８−９ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
そこで、本発明の目的は、特徴点抽出に失敗しても、個人認証実行時の処理量および処理時間の増加を抑制することのできる人物認証装置および方法を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の一態様によれば、入力された動画像のフレーム画面から個人認証を行うための特徴点を抽出する人物認証装置であって、現フレームの画面から人物の顔領域を抽出する顔領域抽出手段と、前記顔領域から複数の判定部位ごとに特徴点候補を抽出する特徴点候補抽出手段と、前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定する類似度判定手段と、前記類似度判定手段により前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する特徴点抽出手段と、前記特徴点抽出手段により抽出された前記特徴点をフレームごとに記憶する特徴点記憶手段と、前記類似度判定手段により前記複数の判定部位のいずれかで前記基準の類似度を超える特徴点候補がないと判定されたときに、前記特徴点記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成する予測特徴点領域生成手段と、前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定する特徴点候補判定手段と、前記特徴点候補判定手段により前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、前記顔領域抽出手段へ、次フレーム画面入力に対する顔領域抽出を行わず、現フレームの前記顔領域を継続して出力するよう指示する顔領域継続出力指示手段と、を備えることを特徴とする人物認証装置が提供される。
【００１２】
また、本発明の別の一態様によれば、個人認証を行うための正規化画像を、入力された動画像のフレーム画面から生成して蓄積する人物認証装置であって、現フレームの画面から人物の顔領域を抽出する顔領域抽出手段と、前記顔領域から複数の判定部位ごとに特徴点候補を抽出する特徴点候補抽出手段と、前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定する類似度判定手段と、前記類似度判定手段により前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときは、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する特徴点抽出手段と、前記特徴点にもとづいて正規化画像を生成する正規化画像生成手段と、前記特徴点の抽出に成功したフレームの前記正規化画像を蓄積する正規化画像蓄積手段と、前記特徴点抽出手段により抽出された前記特徴点をフレームごとに記憶する特徴点記憶手段と、前記特徴点の抽出に失敗したときに、前記特徴点記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成する予測特徴点領域生成手段と、前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定する特徴点候補判定手段と、前記特徴点候補判定手段により前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、前記正規化画像蓄積手段へ、蓄積している前記正規化画像を保持するよう指示する正規化画像蓄積保持指示手段と、を備えることを特徴とする人物認証装置が提供される。
【００１３】
また、本発明のさらに別の一態様によれば、入力された動画像のフレーム画面を用いて個人認証を行う人物認証方法であって、前フレームからの指示に従って、入力された現フレームの画面に対して、前フレームで抽出された顔領域を継続使用するか、顔領域を新規抽出するかを決定するステップと、前記決定が新規抽出であったときに現フレームの画面から人物の顔領域を抽出するステップと、前記決定に応じて、継続使用または新規抽出の顔領域から複数の判定部位ごとに特徴点候補を抽出するステップと、前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定するステップと、前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出するステップと、抽出された前記特徴点をフレームごとに記憶手段に記憶するステップと、前記複数の判定部位のいずれかで前記基準の類似度を超える特徴点候補がないと判定されたときに、前記記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成するステップと、前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定するステップと、前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときに、次フレームの画面入力に対して、現フレームの前記顔領域を継続して使用するよう指示するステップと、を備えることを特徴とする人物認証方法が提供される。
【００１４】
また、本発明のさらに別の一態様によれば、入力された動画像のフレーム画面から生成した正規化画像を複数枚蓄積し、その蓄積された複数枚の正規化画像を用いて個人認証を行う人物認証方法であって、現フレームの画面から人物の顔領域を抽出するステップと、前記顔領域から複数の判定部位ごとに特徴点候補を抽出するステップと、前記特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定するステップと、前記複数の判定部位の総てで前記基準の類似度を超える特徴点候補があると判定されたときに、前記判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出するステップと、前記特徴点にもとづいて正規化画像を生成するステップと、前記特徴点の抽出に成功したフレームの前記正規化画像を蓄積するステップと、抽出された前記特徴点をフレームごとに記憶手段に記憶するステップと、前記特徴点の抽出に失敗したときに、前記記憶手段から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成するステップと、前記予測特徴点領域が生成されたときに、前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれているかどうかを判定するステップと、を備え、前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が１つも含まれていないと判定されたときは、蓄積していた前記正規化画像を破棄し、前記複数の判定部位総ての前記予測特徴点領域に前記特徴点候補が少なくとも１つは含まれていると判定されたときは、蓄積している前記正規化画像を保持することを特徴とする人物認証方法が提供される。
【発明の効果】
【００１５】
本発明によれば、特徴点抽出に失敗しても、個人認証実行時の処理量および処理時間の増加を抑制することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施例を図面を参照して説明する。
【実施例１】
【００１７】
図１は、本発明の実施例１に係る人物認証装置の構成の例を示すブロック図である。
【００１８】
本実施例の人物認証装置１は、入力された動画像のフレーム画面から個人認証を行うために、左右瞳点や左右鼻孔点など、個人の特定に用いる判定部位を顔面の特徴点として抽出する装置である。
【００１９】
人物認証装置１は、入力された現フレームの画面から人物の顔領域を抽出する顔領域抽出部１１と、顔領域から左右瞳点や左右鼻孔点などの判定部位ごとに特徴点候補を抽出する特徴点候補抽出部１２と、抽出された特徴点候補と予め登録されているテンプレートとを比較し、基準の類似度を超える特徴点候補があるかどうかを判定する類似度判定部１３と、類似度判定部１３により左右瞳点や左右鼻孔点などの判定部位の総てで基準の類似度を超える特徴点候補があると判定されたときに、左右瞳点や左右鼻孔点などの判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する特徴点抽出部１４と、その抽出された特徴点をフレームごとに記憶する特徴点記憶部１５と、類似度判定部１３により左右瞳点や左右鼻孔点などの判定部位のいずれかで基準の類似度を超える特徴点候補がないと判定されたときに、特徴点記憶部１５から前フレームの特徴点を読み出し、その特徴点を中心とした予測特徴点領域を生成する予測特徴点領域生成部１６と、予測特徴点領域が生成されたときに、この予測特徴点領域に上述の特徴点候補が少なくとも１つは含まれているかどうかを判定する特徴点候補判定部１７と、特徴点候補判定部１７により左右瞳点や左右鼻孔点などの判定部位総ての予測特徴点領域に上述の特徴点候補が少なくとも１つは含まれていると判定されたときに、顔領域抽出部１１へ、次フレーム画面入力に対する顔領域抽出を行わず、現フレームの前記顔領域を継続して出力するよう指示する顔領域継続出力指示部１８と、を備える。
【００２０】
このように、人物認証装置１は、現フレームの画面から抽出された特徴点候補に基準の類似度を超える特徴点候補がないと判定したとき、すなわち、現フレームの画面からの特徴点の抽出に失敗したときに、予測特徴点領域を生成し、この予測特徴点領域に特徴点候補が少なくとも１つ含まれていれば、次フレーム画面入力の際に、新たな顔領域抽出を行わず、現フレームの顔領域を継続して使用するようにする。
【００２１】
すなわち、本実施例の人物認証装置１では、入力されたフレームの画像データに対して顔領域を抽出するか否かの指示が、前のフレームから次のフレームへと、順次、出されて行く。
【００２２】
そこで、人物認証装置１における処理の冒頭では、顔領域抽出に関する前フレームの指示にもとづいて、新たな顔領域抽出を行うか、前フレームの顔領域を継続して使用するかの決定を行う。
【００２３】
次に、このような人物認証装置１における特徴点抽出の処理手順の例について図２〜図５を用いて説明する。
【００２４】
図２は、人物認証装置１における特徴点抽出処理の手順の例を示すフロー図である。
【００２５】
現フレームの画像データが入力されると、人物認証装置１は、まず、顔領域継続出力指示部１８から出力される顔領域抽出に関する前フレームの指示を確認し（ステップＳ０１）、その指示が前フレームの顔領域の継続使用であるときは、前フレームの顔領域の継続使用することとし（ステップＳ０２）、その指示が顔領域の新規抽出であるときは、顔領域抽出部１１が、現フレームの画面から人物の顔領域を新たに抽出する（ステップＳ０３）。
【００２６】
次に、この継続使用または新規抽出の顔領域から、特徴点候補抽出部１２が、左右瞳点や左右鼻孔点などの判定部位ごとに特徴点候補を抽出し（ステップＳ０４）、類似度判定部１３が、予め登録されているテンプレートとの類似度の比較を行い（ステップＳ０５）、基準の類似度を超える特徴点候補があるかどうかを判定する（ステップＳ０６）。
【００２７】
この判定で、基準の類似度を超える特徴点候補があると判定されたときは、特徴点抽出部１４が、判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する（ステップＳ０７）。
【００２８】
抽出された特徴点は、記憶手段に記憶され（ステップＳ０８）、認証処理へ引き渡される。
【００２９】
図３に、抽出された特徴点の例を模式的に示す。ここでは、個人の特定に用いる判定部位を左右瞳点および左右鼻孔点としたときに抽出された特徴点の例を示す。
【００３０】
図３では、入力されたフレーム画面の画像データの顔領域１００から、左右瞳点を示す特徴点１０１、１０２、および、左右鼻孔点を示す特徴点１０３、１０４が抽出された例を示す。
【００３１】
一方、図２に示すステップＳ０６における判定で、基準の類似度を超える特徴点候補がないと判定されたときは、予測特徴点領域生成部１６が、フレームごとの特徴点が記憶されている記憶手段から前フレームの特徴点を読み出し（ステップＳ０９）、その特徴点を中心とした予測特徴点領域を生成する（ステップＳ１０）。
【００３２】
図４に、生成された予測特徴点領域の例を示す。ここでは、予測特徴点領域を矩形とした例を示すが、予測特徴点領域を、円形、楕円形としてもよい。
【００３３】
記憶手段から読み出した前フレームの特徴点１０１、１０２、１０３、１０４に対して、それぞれの特徴点を中心として、予測特徴点領域１１１、１１２、１１３、１１４が生成される。この予測特徴点領域の大きさは、実験などにより最適値を求めて設定するなど、任意に設定することができる。
【００３４】
図２のフローに戻って、次に、特徴点候補判定部１７が、それぞれの予測特徴点領域に、ステップＳ０４で抽出した特徴点候補が少なくとも１つは含まれているかどうかを判定する（ステップＳ１１）。
【００３５】
このとき、図５（ａ）に示すように、予測特徴点領域１１１、１１２、１１３、１１４に対して、×で示す特徴点候補が抽出されているときは、特徴点候補判定部１７が、総ての判定部位の予測特徴点領域に特徴点候補が少なくとも１つは含まれていると判定する。この判定を受けて、顔領域継続出力指示部１８は、顔領域抽出部１１へ、次フレーム画面入力に対して、現フレームの顔領域を継続して出力するよう指示する（ステップＳ１２）。
【００３６】
一方、予測特徴点領域１１１、１１２、１１３、１１４に対して、図５（ｂ）に×で示すような特徴点候補が抽出されているときは、特徴点候補判定部１７が、総ての判定部位の予測特徴点領域のいずれにも特徴点候補が１つも含まれていないと判定する。この判定を受けると、顔領域継続出力指示部１８は、顔領域抽出部１１へ、次フレーム画面入力に対して、顔領域を新規抽出するよう指示する（ステップＳ１３）。
【００３７】
上述のステップＳ１２またはステップＳ１３の処理が行われると、現フレームに対する処理が終了し、次フレームの画面データ入力へと処理は進む。次フレームの画面データが入力されると、図２のフローの先頭から処理が行われる。すなわち、図２に示すフローの処理が、入力されるフレームの画面データごとに実行される。
【００３８】
このような本実施例によれば、現フレームの画像データから特徴点の抽出に失敗しても、前フレームの特徴点を中心に形成した予測特徴点領域に現フレームの特徴点候補が１つでも含まれていれば、次フレームの画像データ入力に対する顔領域抽出を行わなくてもよいので、個人認証実行時の処理量の増加を抑制することができる。
【実施例２】
【００３９】
図６は、本発明の実施例２に係る人物認証装置の構成の例を示すブロック図である。
【００４０】
本実施例の人物認証装置２は、例えば制約相互部分空間法による個人認証を行うために必要な正規化画像を、入力された動画像のフレーム画面から生成して蓄積する人物認証装置である。なお、図６において、図１に示した実施例１のブロックと同様の機能を有するブロックには図１と同一の符号を付し、ここではその詳細な説明を省略する。
【００４１】
本実施例の人物認証装置２は、実施例１の人物認証装置１と同様に、顔領域抽出部１１と、特徴点候補抽出部１２と、類似度判定部１３と、特徴点抽出部１４と、特徴点記憶部１５と、予測特徴点領域生成部１６と、特徴点候補判定部１７と、を備える。
【００４２】
さらに、人物認証装置２は、特徴点抽出部１４により抽出された特徴点にもとづいて正規化画像を生成する正規化画像生成部２１と、上述の特徴点の抽出に成功したフレームの正規化画像を蓄積する正規化画像蓄積部２２と、特徴点候補判定部１７により左右瞳点や左右鼻孔点などの判定部位総ての予測特徴点領域に上述の特徴点候補が少なくとも１つは含まれていると判定されたときに、正規化画像蓄積部２２へ、蓄積している正規化画像を保持するよう指示する正規化画像蓄積保持指示部２３と、を備える。
【００４３】
このように、人物認証装置２は、現フレームの画面から抽出された特徴点候補に基準の類似度を超える特徴点候補がないと判定したとき、すなわち、現フレームの画面からの特徴点の抽出に失敗したときに、予測特徴点領域を生成し、この予測特徴点領域に特徴点候補が少なくとも１つ含まれていれば、正規化画像蓄積部２２に蓄積している正規化画像を破棄せず、そのまま保持するようにする。
【００４４】
次に、このような人物認証装置２における正規化画像蓄積の処理手順の例について図７を用いて説明する。
【００４５】
図７は、人物認証装置２における正規化画像蓄積処理の手順の例を示すフロー図である。
【００４６】
現フレームの画像データが入力されると、顔領域抽出部１１が人物の顔領域を抽出し（ステップＳ２１）、特徴点候補抽出部１２が左右瞳点や左右鼻孔点などの判定部位ごとに特徴点候補を抽出し（ステップＳ２２）、類似度判定部１３が、予め登録されているテンプレートとの類似度の比較を行い（ステップＳ２３）、基準の類似度を超える特徴点候補があるかどうかを判定する（ステップＳ２４）。
【００４７】
この判定で、基準の類似度を超える特徴点候補があると判定されたときは、特徴点抽出部１４が、判定部位ごとに、最も類似度の高い特徴点候補を特徴点として抽出する（ステップＳ２５）。抽出された特徴点は、記憶手段に記憶される（ステップＳ２６）。
【００４８】
次に、正規化画像生成部２１が、抽出された特徴点にもとづいて正規化画像を生成し（ステップＳ２７）、正規化画像蓄積部２２が、生成された正規化画像を蓄積する（ステップＳ２８）。
【００４９】
さらに、正規化画像蓄積部２２は、この蓄積により、正規化画像の蓄積された枚数が、規定の枚数に達したかどうかを判定し（ステップＳ２９）、正規化画像が規定枚数あるときは、蓄積している正規化画像を認証処理へ引き渡す。
【００５０】
一方、正規化画像が規定枚数ないときは、蓄積している正規化画像を正規化画像蓄積保持指示部２３の指示に従って処理する。
【００５１】
この正規化画像蓄積保持指示部２３の指示は、次に述べるような処理を行って出される。
【００５２】
すなわち、ステップＳ２４において、基準の類似度を超える特徴点候補がないと判定されたときに、予測特徴点領域生成部１６が、フレームごとの特徴点が記憶されている記憶手段から前フレームの特徴点を読み出し（ステップＳ３０）、その特徴点を中心とした予測特徴点領域を生成し（ステップＳ３１）、特徴点候補判定部１７が、それぞれの予測特徴点領域に、ステップＳ２２で抽出した特徴点候補が少なくとも１つは含まれているかどうかを判定する（ステップＳ３２）。
【００５３】
このとき、特徴点候補判定部１７が、総ての判定部位の予測特徴点領域に特徴点候補が少なくとも１つは含まれていると判定すると、正規化画像蓄積保持指示部２３は、蓄積している正規化画像をそのまま保持することを正規化画像蓄積部２２へ指示する。
【００５４】
一方、特徴点候補判定部１７が、総ての判定部位の予測特徴点領域に特徴点候補が１つも含まれていないと判定すると、正規化画像蓄積保持指示部２３は、蓄積している正規化画像を破棄することを正規化画像蓄積部２２へ指示する。
【００５５】
正規化画像蓄積部２２は、この正規化画像蓄積保持指示部２３からの指示を受けて、蓄積している正規化画像をそのまま保持する（ステップＳ３３）か、破棄する（ステップＳ３４）か、のいずれかの処理を行う。
【００５６】
これらの処理により現フレームの画像データへの処理は終了し、次フレームの画像データ入力へと、処理は進む。次フレームの画面データが入力されると、図７のフローの先頭から処理が行われる。すなわち、図７に示すフローの処理が、入力されるフレームの画面データごとに実行される。
【００５７】
このような本実施例によれば、現フレームの画像データから特徴点の抽出に失敗しても、前フレームの特徴点を中心に形成した予測特徴点領域に現フレームの特徴点候補が１つでも含まれていれば、それまでに蓄積していた画像をそのまま保持するので、従来の特徴点の抽出に失敗したときに直ちに蓄積していた画像を破棄して正規化画像の蓄積を最初からやり直していたものに比べて、個人認証実行時の処理時間の増加を抑制することができる。
【実施例３】
【００５８】
図８は、本発明の実施例３に係る人物認証装置の構成の例を示すブロック図である。
【００５９】
本実施例の人物認証装置３は、実施例２の人物認証装置２に、実施例１の顔領域継続出力指示部１８を追加したものである。
【００６０】
すなわち、本実施例の人物認証装置３は、実施例２の人物認証装置２の機能と、実施例１の人物認証装置１の機能と、を併せ持つ。これにより、本実施例では、特徴点候補判定部１７の判定にもとづき、正規化画像蓄積保持指示部２３が正規化画像蓄積部２２へ指示を出すとともに、顔領域継続出力指示部１８が顔領域抽出部１１への指示を出す。
【００６１】
このような本実施例によれば、個人認証実行時の処理時間の増加を抑制することができるとともに、処理量の増加も抑制することができる
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例１に係る人物認証装置の構成の例を示すブロック図。
【図２】実施例１の人物認証装置における処理の手順の例を示すフロー図。
【図３】実施例１の人物認証装置における特徴点抽出の例を示す図。
【図４】実施例１の人物認証装置における予想特徴点領域生成の例を示す図。
【図５】実施例１の人物認証装置における特徴点候補判定の様子を示す図。
【図６】本発明の実施例２に係る人物認証装置の構成の例を示すブロック図。
【図７】実施例２の人物認証装置における処理の手順の例を示すフロー図。
【図８】本発明の実施例３に係る人物認証装置の構成の例を示すブロック図。
【符号の説明】
【００６３】
１、２、３  人物認証装置
１１  顔領域抽出部
１２  特徴点候補抽出部
１３  類似度判定部
１４  特徴点抽出部
１５  特徴点記憶部
１６  予想特徴点領域生成部
１７  特徴点候補判定部
１８  顔領域継続出力指示部
２１  正規化画像生成部
２２  正規化画像蓄積部
２３  正規化画像蓄積指示部
【図１】
2008287399.tif 000003
【図２】
2008287399.tif 000004
【図３】
2008287399.tif 000005
【図４】
2008287399.tif 000006
【図５】
2008287399.tif 000007
【図６】
2008287399.tif 000008
【図７】
2008287399.tif 000009
【図８】
2008287399.tif 000010