(57)【要約】【課題】単眼カメラにおいて登録画像と同じ向きの照合画像を撮影するのに有効な方法がなかった。このため、撮影画像を補正することを余儀なくされていた。【解決手段】登録画像と比較してポーズ変化の差の大きな顔に対応した汎用顔検出器と、同検出器で検出される顔の中から登録画像と同じポーズの顔を検出する登録ポーズ顔検出器と、汎用顔検出器と登録ポーズ顔検出器の検出状態をユーザに表示する表示装置と、を設けることで、撮影画像を補正することなく照合に使えるようにした。【選択図】図１
2008304979.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を登録した登録画像から特徴量を抽出する登録画像特徴量抽出部と、
前記人物の顔画像を撮り前記登録画像と同じ顔向きとなる正面顔であるか否かを検出し、正面顔の場合には照合画像特徴量抽出部へ前記顔画像を出力する登録ポーズ顔検出部と、
前記照合画像特徴量抽出部から抽出した特徴量と前記登録画像特徴量抽出部から抽出した前記特徴量とを照合する照合部とを備えたことを特徴とする顔認証装置。
【請求項２】
登録ポーズ顔検出部は、正面顔を検出できなかった場合及び顔を検出できなかった場合には、表示部に信号を出力し、
前記表示部は、前記信号に基づいた表示をすることを特徴とする請求項１に記載の顔認証装置。
【請求項３】
人物の顔画像を撮るカメラを鉛直方向に複数台設けたことを特徴とする請求項１または２に記載の顔認証装置。
【請求項４】
人物の顔画像を撮るカメラと表示部とを一体化して鉛直方向に複数台設けたことを特徴とする請求項２に記載の顔認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラで撮影された顔画像中の人物と登録された顔画像データベース中の顔画像の人物との照合技術である画像認識に関するものである。
【背景技術】
【０００２】
単眼のカメラで撮影された顔画像と事前に登録された顔画像データベース中の顔画像との照合においては、撮影された顔画像と登録画像中の顔画像との顔向きの違いの大きさが認証性能を悪化させる原因となる。このような問題を解決するための手法としては、撮影された顔画像もしくは特徴量と登録された顔画像もしくは特徴量とに補正を加え、擬似的に同じ向きの顔画像同士の照合として扱う方法がある。
【０００３】
例えば、登録顔画像とワイヤフレームの基準モデルを用いてカメラの撮影方向から見た場合の擬似的な登録顔画像を合成するものがある（特許文献１）。また、顔画像から抽出される特徴量に対して補正を行い、撮影された顔画像から得られる特徴量を、登録顔画像と同じ向きから見た場合の特徴量に補正するものがある（特許文献２）。
【０００４】
【特許文献１】特開２００３−２６３６３９
【特許文献２】特願平４−３２０２３６
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、登録された顔画像もしくは特徴量を、カメラで撮影された顔向きの顔画像もしくは特徴量に補正する方法の場合、補正の伴う誤差が発生すること、また、もともとの登録された顔画像もしくは照合画像では見えて無かった顔の部分の画像もしくは特徴量については、補正で作り出すことは難しいという問題があること、また、単眼のカメラかつ単一の顔モデルの場合、様々な人の顔向きの違いを正確に補正することは難しいという問題がある。つまるところ、補正が不要な正面顔画像を適切に得ることができなかったと云う課題である。
【課題を解決するための手段】
【０００６】
この発明に係る顔認証装置は、人物の顔を登録した登録画像から特徴量を抽出する登録画像特徴量抽出部と、人物の顔画像を撮り登録画像と同じ顔向きとなる正面顔であるか否かを検出し、正面顔の場合には照合画像特徴量抽出部へ顔画像を出力する登録ポーズ顔検出部と、照合画像特徴量抽出部から抽出した特徴量と登録画像特徴量抽出部から抽出した特徴量とを照合する照合部とを備えたことを特徴とするものである。
【発明の効果】
【０００７】
この発明に係る顔認証装置によれば、人物の顔を登録した登録画像から特徴量を抽出する登録画像特徴量抽出部と、人物の顔画像を撮り登録画像と同じ顔向きとなる正面顔であるか否かを検出し、正面顔の場合には照合画像特徴量抽出部へ顔画像を出力する登録ポーズ顔検出部と、照合画像特徴量抽出部から抽出した特徴量と登録画像特徴量抽出部から抽出した特徴量とを照合する照合部とを備えたので、正面顔画像を適切に得ることができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は実施の形態１による物体認識装置を示すブロック図である。また、図２は実施の形態１による登録顔画像の一例を説明するための図である。さらに、図３は、実施の形態１による汎用顔検出器が検出する顔に関する説明図である。図４は、実施の形態１による登録ポーズ顔検出器が検出する顔に関する説明図である。
【０００９】
登録画像データベース記憶部６では、図２の登録画像データベースの画像のように、正面方向から撮影した顔画像（正面顔）を一定の大きさに切り出した正規化顔画像を記憶している。画像の大きさ並びに目、鼻及び口等の特徴点の位置を固定して、正規化顔画像を記憶している。
【００１０】
画像入力部１は、単眼カメラで撮影された顔画像を入力し、汎用顔検出部２に顔画像を送る。汎用顔検出部２は、画像中から正面顔を含む顔のポーズ変化の大きな顔領域を検出し、登録ポーズ顔検出部３に送る（図３参照）。登録ポーズ顔検出部３は、汎用顔検出部２から送られた顔領域から登録ポーズと同じ顔向きとなる画像、すなわち、正面顔を検出する（図４参照）。図３を例にすると、左から３番目、３番目の顔画像が正面顔となる。
【００１１】
また、登録ポーズ顔検出部３は、汎用顔検出部２から送られた顔領域が登録画像データベースと同じ正面顔かそうでないかの結果を表示装置４に送る。さらに、登録ポーズ顔検出部３は、正面顔の場合には、正面顔と判断された顔領域を照合画像特徴量抽出部５に送る。よって、照合画像特徴量抽出部５では、正面顔の特徴点を抽出することになる。
【００１２】
表示装置４は汎用顔検出部２と登録ポーズ顔検出部３とからの出力結果を用いて、（ａ）顔を非検出、（ｂ）登録ポーズとは異なる向きの顔（＝非正面顔）を検出、または（ｃ）登録ポーズと同じ向きの正面顔を検出の３つの状態のいずれの状態であるかをユーザに提示する。表示装置４に正面顔が検出／非検出の２つの状態だけでなく、(ａ)顔が未検出、(ｂ)顔は検出されたが非正面顔、(ｃ)正面顔が検出という中間状態を持つ３つの状態をユーザに提示することで、ユーザとのインタラクションによる正面顔の検出を可能とする。
【００１３】
よって、登録画像中の顔領域について、登録画像との顔向きの適合度合いを検出することで、認証に対してより望ましい顔画像を照合用に選択することができることになる。なお、ここでは、汎用顔検出部２と登録ポーズ顔検出部３とを区別しているが、両者を一体にしても同じことである。また、（ｃ）の正面顔を検出した場合には、ユーザへの表示部である表示装置４にその旨の信号を出力することなく、照合をすることも当然できる。
【００１４】
登録ポーズ顔検出部３が正面顔を検出した場合には、照合画像特徴量抽出部５は、登録ポーズ顔検出部３から送られた正面顔領域から照合に必要な特徴量の抽出を行う。登録画像入力部９は登録画像データベース記憶部６から登録画像を取り出し、登録画像特徴量抽出部８は、取り出した登録画像から特徴量抽出を行う。照合部７は、照合画像の特徴量と登録画像の特徴量とを用いて照合を行い、登録画像と画像入力部１から入力された顔画像中の人物が同一人物か異なる人物かという照合結果を出力する。
【００１５】
図５は実施の形態１による顔認証装置の動作を示すフローチャートである。図６及び図７は、実施の形態１による画像走査方式の一例である。ステップＳＴ１０において、画像入力部１は顔画像を入力し、ステップＳＴ１１において、図６に示すように基本走査領域２０を拡大、移動させることで画像２１中の部分領域２２を走査していく。なお、走査方法としては、図７に示すように、基本走査領域２０の大きさは固定したまま、画像２１の大きさを縮小し、固定した大きさの基本走査領域２０を移動させることで走査していく方法もある。
【００１６】
ステップＳＴ１２において、汎用顔検出部２は画像中の部分領域が顔か非顔かを判断し、非顔の場合には、その判断結果（非顔であること）は、表示装置４に送られる。ここで顔検出の方法としては、一般的な手法でよく、例えば、Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋを用いる方法、Ｂｏｏｓｔｉｎｇを用いる方法等を用いることができる。なお、Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋについては、H. Rowley, S. Baluja, and T. Kanade. Neural network-based face detection. In IEEE Patt. Anal. Mach. Intell., volume 20, pages 2238, 1998に記載があり、Ｂｏｏｓｔｉｎｇについては、Paul Viola and Michael Jones, Robust real-time object detection, International Journal of Computer Vision, 2002に記載がある。
【００１７】
ステップＳＴ１３において、登録ポーズ顔検出部３はステップＳＴ１２において汎用顔検出部２が検出した画像中の部分領域（＝顔領域）が正面顔であるか非正面顔であるかを判断し、その判断結果を表示装置４に送り、表示装置４はステップＳＴ１２による判断結果と合わせて、非顔、非正面顔、正面顔の３つの状態を例えば、赤、黄色、緑の色でユーザに提示し、ユーザは表示装置４の色を見ながら、緑が点灯（＝正面顔）するように顔向きを変化させる。
【００１８】
緑が点灯し、正面顔が検出された場合には、ステップＳＴ１４において、照合画像特徴量抽出部５は、検出された画像中の部分領域から目鼻口等の特徴点の位置を検出し、それぞれの位置が図２に示すように、ある幅と高さを持った画像中の特定の位置に来るように、画像に対してアフィン変換を適用して正規化顔画像を生成する。ここで、目鼻口等の特徴点位置検出手法としては、汎用顔検出部２において顔検出に用いた手法と同じを用いることができる。
【００１９】
ステップＳＴ１５において、照合画像特徴量抽出部５は、正規化顔画像から照合用の特徴量を抽出する。ここで、特徴量の抽出方法としては、一般的な特徴量抽出手法でよく、例えば、Ｇａｂｏｒ  Ｗａｖｅｌｅｔを用いる手法、ＰＣＡを用いる手法等を用いることができる。なお、Ｇａｂｏｒ  Ｗａｖｅｌｅｔについては、WISKOTT, L., FELLOUS, J.-M., AND VON DER MALSBURG, C. 1997. Face recognition by elastic bunch graph matching. IEEE Trans. Patt. Anal. Mach. Intell.19, 775779.に記載がり、ＰＣＡについては、TURK, M. AND PENTLAND, A. 1991. Eigenfaces for recognition. J. Cogn. Neurosci. 3, 7286.に記載がある。
【００２０】
ステップＳＴ１７において、登録画像入力部９は登録画像データベース記憶部６から登録画像を抜き出す。
【００２１】
ステップＳＴ１８において、登録画像特徴量抽出部８は、登録画像から照合用の特徴量を抽出する。ここで、特徴量の抽出方法としては、照合画像特徴量抽出部５と同様に一般的な特徴量抽出手法でよい。このため、照合画像特徴量抽出部５で用いた手法と同じ方法を用いることができる。
【００２２】
ステップＳＴ１９において、照合部７は照合画像の特徴量と登録画像の特徴量とを用いて、入力された顔画像と登録画像とが同一人物かどうかの判定を行う。ここで、特徴量の照合方法は一般的な照合手法でよい。例えば、Ｇａｂｏｒ  Ｗａｖｅｌｅｔを用いた手法の場合は、Ｗａｖｅｌｅｔ係数の正規化相互相関係数で判断することができる。また、ＰＣＡを用いた手法の場合は、ＰＣＡで得られた各基底ベクトルの係数を特徴量ベクトルとして、特徴量ベクトル間のユークリッド距離を閾値処理する方法等がある。
【００２３】
以上のように、人物の顔を登録した登録画像から特徴量を抽出する登録画像特徴量抽出部と、人物の顔画像を撮り登録画像と同じ顔向きとなる正面顔であるか否かを検出し、正面顔の場合には照合画像特徴量抽出部へ顔画像を出力する登録ポーズ顔検出部と、照合画像特徴量抽出部から抽出した特徴量と登録画像特徴量抽出部から抽出した特徴量とを照合する照合部とを備えたので、正面顔画像を適切に得ることができる。
【００２４】
また、登録ポーズ顔検出部は、正面顔を検出できなかった場合及び顔を検出できなかった場合には、表示部に信号を出力し、表示部は、信号に基づいた表示をするので、ユーザを補正のいらない適切な正面顔に誘導することができる。
【００２５】
これによって、容易に登録画像と同じ向きの顔画像の検出を可能とし、登録画像と照合画像との顔向きの違いに起因する認証性能の低下を防ぐことで、高性能な顔認証装置を実現することができる。また、上下方向の顔向き変化についてもより登録画像との顔向きの違いの少ない顔画像の検出を可能とし、さらに高性能な顔認証装置を実現することができる。
【００２６】
実施の形態２．
実施の形態２を説明する。図８は実施の形態２による物体認識装置を示すブロック図である。実施の形態１とくらべた場合、表示装置４の代わりに、カメラと一体化したカメラ一体型表示装置１０があり、また、複数のカメラに対応して、カメラ一体型表示装置１１、画像入力部１２、汎用顔検出部１３、登録ポーズ顔検出部１４、カメラ選択部１５がある点が異なっている。なお、図において、同一の符号を付したものは、同一またはこれに相当するものであり、このことは明細書の全文において共通することである。また、明細書全文に表れている構成要素の形容は、あくまで例示であってこれらの記載に限定されるものではない。
【００２７】
カメラ一体型表示装置１０から画像入力部１、汎用顔検出部２、登録ポーズ顔検出部３までは、実施の形態１と同様であり、カメラ一体型表示装置１１についても、カメラと表示装置４とが一体になった以外は、カメラ一体型表示装置１０と同様である。
【００２８】
カメラ一体型表示装置１０，１１が複数台あることで、例えば、カメラ一体型表示装置１０とカメラ一体型表示装置１１とを高さ方向に並べて配置することで、またカメラ選択部１５は、カメラ一体型表示装置１０又はカメラ一体型表示装置１１の選択を行い、一方にのみ顔検出部の結果を表示し、かつ照合画像特徴量抽出部５に送る顔領域をカメラ一体型表示装置１０又はカメラ一体型表示装置１１のどちらかを選択することができる。
【００２９】
図９は実施の形態２による物体認識装置を示すフローチャートである。実施の形態２における顔認証装置の動作は、実施の形態１とほぼ同様である。ステップＳＴ１０からステップＳＴ１３までの顔検出を行う部分は、実施の形態１と同様であり、カメラが２台あるため、同様なステップＳＴ２０からＳＴ２３が存在する。
【００３０】
ＳＴ３０では、ステップＳＴ１２及びステップＳＴ２２の汎用顔検出結果で得られた画像中の高さ方向での顔位置を比較し、画像中の中心に近いカメラ一体型表示装置１０あるいは１１を選択し、非顔、非正面顔、正面顔の結果をカメラ一体型表示装置１０（または１１）に送る。選択されたカメラ一体型表示装置１０（または１１）では、顔検出結果に合わせて、赤（＝非顔）、黄色（＝非正面顔）、緑（＝正面顔）という表示が行われるが、選択されなかったカメラ一体型表示装置１１（または１０）は、一切表示が行われないようにすることができる。これにより、ユーザは真正面に近いカメラを使って、ポーズをとることができ、顔検出を行うことができる。
【００３１】
ここでは、カメラ一体型表示装置が２台の場合を例として説明したが、２台に限らず人物の顔画像を撮るカメラと表示部とを一体化して鉛直方向に複数台設けてもよい。身長差にかかわらずに、より顔の正面に近いカメラとのインタラクションを可能とすることで、登録画像との顔向きの差がより少ない顔の撮影を可能とすることができる。また、この際、カメラ選択部１５で選択されたカメラ一体型表示装置のみが、識別状態（非顔、非正面顔、正面顔）を表示するのではなく、他のカメラ一体型表示装置では、どのカメラ一体型表示装置が正面顔を識別しようとしているのかを「矢印マーク」や「カメラ番号」でユーザに知らせることもできる。
【００３２】
また、ステップＳＴ３０において選択したカメラ一体型表示装置１０（または１１）の正面顔がステップＳＴ１４の正規化に送られる。
【００３３】
よって、高さ方向に並べた２台のカメラ一体型表示装置を使い、よりユーザに対して正対しているカメラ一体型表示装置を選択することで、顔の上下方向の向きの差についても、正面方向から撮影した登録画像と同じ向きの顔を検出することができる。
【００３４】
人物の顔画像を撮るカメラを鉛直方向に複数台設けたこと、さらには、人物の顔画像を撮るカメラと表示部とを一体化して鉛直方向に複数台設けたことにより、正面顔画像を適切に得ることができる。
【図面の簡単な説明】
【００３５】
【図１】実施の形態１による物体認識装置を示すブロック図である。
【図２】実施の形態１による登録顔画像の一例を説明するための図である。
【図３】実施の形態１による汎用顔検出器が検出する顔に関する説明図である。
【図４】実施の形態１による登録ポーズ顔検出器が検出する顔に関する説明図である。
【図５】実施の形態１による顔認証装置の動作を示すフローチャートである。
【図６】実施の形態１による画像走査方式の一例である。
【図７】実施の形態１による画像走査方式の一例である。
【図８】実施の形態２による物体認識装置を示すブロック図である。
【図９】実施の形態２による物体認識装置を示すフローチャートである。
【符号の説明】
【００３６】
１  画像入力部、２  汎用顔検出部、３  登録ポーズ顔検出部、４  表示装置、５  照合画像特徴量抽出部、６  登録画像データベース記憶部、７  照合部、８  登録画像特徴量抽出部、９  登録画像入力部、１０  カメラ一体型表示装置、１１  カメラ一体型表示装置、１２  画像入力部、１３  汎用顔検出部、１４  登録ポーズ顔検出部、１５  カメラ選択部、２０  基本操作領域、２１  画像、２２  部分領域。
【図１】
2008304979.tif 000003
【図２】
2008304979.tif 000004
【図３】
2008304979.tif 000005
【図４】
2008304979.tif 000006
【図５】
2008304979.tif 000007
【図６】
2008304979.tif 000008
【図７】
2008304979.tif 000009
【図８】
2008304979.tif 000010
【図９】
2008304979.tif 000011