(57)【要約】      （修正有）【課題】被写体が登録画像と同じ向きで撮影されなくとも、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも処理を高速に行うことのできる顔判別装置。【解決手段】人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの画像について、登録顔画像との照合度をそれぞれ算出する照合度算出手段と、照合度に基づいて、それぞれの画像における顔の向きを推定する顔の向き推定手段と、推定された顔の向きと登録顔画像の顔の向きとに基づいて、画像の中から向きの近い１つまたは複数の画像を選択する画像選択手段と、推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、選択された画像についての照合度としきい値とを比較して人物の顔が登録顔画像と一致するか否かの判別を行う判別手段とを有する。【選択図】図１
2007004534.tif 000002
【特許請求の範囲】
【請求項１】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、
取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、
前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、
推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い１つまたは複数の画像を選択するステップと、
推定された顔の向きに基づいて判別用のしきい値を設定するステップと、
選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップと、
を有することを特徴とする顔判別方法。
【請求項２】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、
取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、
前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、
推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能な前記カメラの位置を推定するステップと、
取得された前記画像に基づいて、推定された前記カメラの位置から撮影した場合の画像を生成するステップと、
生成された前記画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップと、
を有することを特徴とする顔判別方法。
【請求項３】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、
前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、
推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い１つまたは複数の画像を選択する画像選択手段と、
推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、
選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
【請求項４】
前記登録顔画像は、人物についての正面平均顔の画像である、
請求項３記載の顔判別装置。
【請求項５】
請求項３また４記載の顔判別装置を用いて前記人物に対する顔認証を行うように構成された、
ことを特徴とする顔認証装置。
【請求項６】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、
前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、
推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定するカメラ位置推定手段と、
取得された前記画像に基づいて、前記カメラ位置推定手段で推定された位置から撮影した場合の画像を生成する画像生成手段と、
前記画像生成手段によって生成された画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
【請求項７】
前記登録顔画像は、人物についての正面平均顔の画像である、
請求項６記載の顔判別装置。
【請求項８】
請求項６また７記載の顔判別装置を用いて前記人物に対する顔認証を行うように構成された、
ことを特徴とする顔認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法および装置ならびに顔認証装置に関する。
【背景技術】
【０００２】
近年、セキュリティなどの分野において、認証への要求が高まっている。種々の認証方式のなかで、人物の顔による認証方式が、照合対象人物に対する束縛が少ないという点で、数多いアプリケーションにおいて支持されている。
【０００３】
顔認証では、被写体である人物の顔を撮影して得られた画像と、予め登録した顔画像との間で照合を行ってそれらが一致するか否かを判断し、人物の同定や本人判定を行っている。顔認証による場合には、顔の向きや照明条件などが登録時と照合時とで異なり、また人物自体が経時変化によって異なることがあるので、認証精度が低下するという問題がある。
【０００４】
さて、顔の向きに関しては、一般的に正面顔が登録顔画像として使用される。これは、正面顔である方が登録時と照合時とで合わせることが容易であり、また、目、鼻、口といった顔の各部位の画像を比較的良好な状態で取得できるからである。また、カード類を用いた認証の場合には、登録顔画像をそのままカードに印刷することが多いため、人が見易い正面から撮影することが多いためである。
【０００５】
したがって、照合時においても、カメラを被写体に対して正面と思われる位置姿勢で設置しておき、その状態で撮影した画像と登録顔画像との間で照合が行われる。
【０００６】
ところが、アプリケーションによっては、被写体に対して顔を正確に正面に向けるように要求できない場合がある。仮にそれができた場合であっても、顔の向きと視線方向とは必ずしも一致しないため、登録時と照合時とで顔の向きが一致するという保証はない。したがって、顔の向きがある程度ばらつくことを前提として顔判別を行うことが必要であるといえる。
【０００７】
従来において、複数条件で撮影した各画像で本人認証と他人認証とを行い、その結果を比較することで本人判定する技術が開示されている（特許文献１）。また、複数台のカメラで撮影した画像からユーザの顔領域を抽出し、計算した特徴量と予め登録した顔特徴量とを比較するようにした顔認証技術が開示されている（特許文献２）。
【特許文献１】特開２００３ー１７８２７４
【特許文献２】特開２００４ー１９２３７８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１による場合には、複数条件で撮影するごとにそれを登録画像とする必要があり、登録画像の数が増えることによってデータ量が増大し、その処理に時間を要することとなる。
【０００９】
また、特許文献２による場合には、各カメラで検出した顔特徴量を空間的に対応付け、複数の画像に対するＫＬ展開等で特徴空間において照合を行っており、登録画像自体に複数方向からの撮影情報が含まれる必要がある。そのため、登録されるデータ量が増大しそのため処理に時間を要する。
【００１０】
本発明は、上述の問題に鑑みてなされたもので、被写体である人物の顔が登録顔画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことのできる顔判別方法および装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る方法は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別方法であって、互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い１つまたは複数の画像を選択するステップと、推定された顔の向きに基づいて判別用のしきい値を設定するステップと、選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップとを有する。
【００１２】
また、互いの位置関係が既知である複数のカメラによって、前記人物の頭部についての複数の画像を取得するステップと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出するステップと、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定するステップと、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能な前記カメラの位置を推定するステップと、取得された前記画像に基づいて、推定された前記カメラの位置から撮影した場合の画像を生成するステップと、生成された前記画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行うステップとを有する。
【００１３】
本発明に係る装置は、被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、前記人物の頭部についての画像を取得するための、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの前記画像について、前記登録顔画像との間における照合度をそれぞれ算出する照合度算出手段と、前記照合度に基づいて、それぞれの前記画像における顔の向きを推定する顔の向き推定手段と、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記画像の中から向きの近い１つまたは複数の画像を選択する画像選択手段と、推定された顔の向きに基づいて判別用のしきい値を設定するしきい値設定手段と、選択された前記画像についての照合度と前記判別用のしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。
【００１４】
好ましくは、前記登録顔画像は、人物についての正面平均顔の画像である、
また、上に記載の顔判別装置を用いて前記人物に対する顔認証を行うように顔認証装置を構成する。
【００１５】
また、推定された顔の向きと前記登録顔画像の顔の向きとに基づいて、前記登録顔画像の顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定するカメラ位置推定手段と、取得された前記画像に基づいて、前記カメラ位置推定手段で推定された位置から撮影した場合の画像を生成する画像生成手段と、前記画像生成手段によって生成された画像についての照合度としきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。
【発明の効果】
【００１６】
本発明によると、被写体である人物の顔が登録顔画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことができる。
【発明を実施するための最良の形態】
【００１７】
〔第１の実施形態〕
図１は本発明に係る第１の実施形態の顔判別装置１の機能的な構成を示すブロック図である。
【００１８】
図１において、顔判別装置１は、複数台のカメラ１１ａ〜ｄ、処理装置１２、表示装置１３、入力装置１４、および記憶装置１５などから構成される。
【００１９】
カメラ１１ａ〜ｄは、被写体Ｑの特定の部位についての画像（画像データ）ＧＤを取得するためのものであり、それぞれの互いの位置関係が既知である。１つの被写体Ｑに対して、カメラ１１ａ〜ｄは同時に撮影を行い、同じタイミングにおける複数の画像ＧＤを得る。なお、カメラ１１ａ〜ｄの位置関係を示すデータは、例えば処理装置１２のメモリに格納されまたはプログラムに組み込まれている。
【００２０】
処理装置１２は、カメラ１１ａ〜ｄで撮影して取得された人物の頭部についてのそれぞれの画像ＧＤについて、登録顔画像との間における照合度Ｖをそれぞれ算出し、算出した照合度Ｖに基づいて、それぞれの画像における顔の向きを推定し、推定された顔の向きと登録顔画像の顔の向きとに基づいて、画像の中から向きの近い１つまたは複数の画像を選択し、また推定された顔の向きに基づいて判別用のしきい値Ｔｈｂを設定し、選択された画像についての照合度Ｖと判別用のしきい値Ｔｈｂとを比較して人物の顔が登録顔画像と一致するか否かの判別を行う。処理装置１２は、その他の種々の処理をも行う。処理装置１２は、ＣＰＵ（中央処理装置）、ＲＯＭ、ＲＡＭ、その他の周辺回路、記憶デバイス、およびインタフェース回路などを含んで構成される。
【００２１】
処理装置１２には、属性値算出用情報格納部２１、属性値算出部２２、正面方向推定部２３、しきい値設定部２４、仮しきい値格納部２５、画像選択部２６、および判別部２７などが設けられる。
【００２２】
属性値算出用情報格納部２１は、カメラ１１ａ〜ｄによって取得されるそれぞれの画像ＧＤの属性値ＺＳを算出するための情報（登録顔画像ＴＪＫ）を格納する。そのような登録顔画像ＴＪＫとして、本実施形態では、属性値ＺＳを「画像の向きの照合度（一致度合い）Ｖ」であると定義し、人物の顔についての標準的な画像を用いる。また、属性値ＺＳをどのような値とするかによって、被写体Ｑの特定の部位についての表面状態、色、形状などに関する情報が登録顔画像ＴＪＫとなり得る。
【００２３】
属性値算出部２２は、カメラ１１ａ〜ｄにより取得されたそれぞれの画像ＧＤについての属性値ＺＳを算出する。属性値ＺＳは、本実施形態においては、上に述べたように顔の向きの照合度（一致度合い）Ｖである。したがって、本実施形態における属性値算出部２２は、それぞれの画像ＧＤについて、登録顔画像ＴＪＫとの間における照合度Ｖをそれぞれ算出する。なお、属性値算出部２２には、画像ＧＤを格納するためのメモリ領域、カメラ１１ａ〜ｄの位置関係を示すデータを格納するメモリ領域なども設けられている。
【００２４】
正面方向推定部２３は、照合度Ｖに基づいて、それぞれの画像ＧＤにおける顔の向きを推定する。また、正面方向の顔画像を推定する。
【００２５】
しきい値設定部２４は、推定された顔の向きに基づいて、判別用のしきい値Ｔｈｂを設定する。判別用のしきい値Ｔｈｂを設定するに当たっては、仮しきい値格納部２５に格納された仮しきい値Ｔｈを参照にし、これを補正して算出する。なお、仮しきい値Ｔｈは、種々の経験則または実験などから求めて設定することが可能である。
【００２６】
画像選択部２６は、推定された顔の向きと登録顔画像ＴＪＫの顔の向きとに基づいて、画像ＧＤの中から向きの近い１つまたは複数の画像ＧＤを選択する。また、選択した画像ＧＤについての照合度（第２の照合度）Ｖを算出する。したがって、画像選択部２６は、第２の照合度算出部としての機能も有する。但し、照合度（第２の照合度）Ｖの算出を属性値算出部２２によって行うこととしてもよい。
【００２７】
判別部２７は、選択された画像ＧＤについての照合度Ｖと判別用のしきい値Ｔｈｂとを比較して、人物の顔が登録顔画像ＴＪＫと一致するか否かの判別を行う。
【００２８】
表示装置１３は、処理装置１２で判別された結果を表示し、その他のデータ、画像、メッセージなどを表示する。
【００２９】
入力装置１４は、処理装置１２での処理に必要な変数やパラメータなどを入力しまたは設定し、またそれ以外の種々のデータや指令を入力する。
【００３０】
記憶装置１５は、処理装置１２での処理に必要な画像、変数、パラメータなどを記憶する。
【００３１】
このような顔判別装置１は、適当なプログラムが格納されたパーソナルコンピュータによって実現することが可能である。そして、専用回線、ＬＡＮ、ＷＡＮ、またはインターネットを介して外部のネットワークやサーバなどに接続することが可能である。
【００３２】
次に、上に述べた顔判別装置１を人物の顔による認証のために用いた例について具体的に説明する。
【００３３】
本実施形態では、登録顔画像ＴＪＫとして、被写体Ｑについて、正面などの固定の顔の向きで予め撮影された画像を用いる。複数の人物についての登録顔画像ＴＪＫを属性値算出用情報格納部２１に格納しておき、カメラ１１ａ〜ｄで撮影した人物と特定の登録顔画像ＴＪＫとを照合し、その照合度を判別する。一致すると判別されると、そのことが表示装置１３の表示面に表示される。また、一致すると判別されたことによって、当該人物が認証される。つまり顔認証が行われる。カメラ１１ａ〜ｄによる被写体Ｑの撮影の際に、被写体Ｑの顔の向きを正確に調整または制御できない場合でも、判別精度または認証精度をロバストに維持することが可能である。
【００３４】
図２は被写体Ｑに対するカメラ１１ａ〜ｄの配置状態の例を示す図、図３は各カメラ１１ａ〜ｄで撮影された被写体Ｑの頭部の画像ＧＤＫａ〜ｄの例を示す図、図４は登録顔画像ＴＪＫの例を示す図、図５は画像ＧＤＫａ〜ｄと登録顔画像ＴＪＫとの照合度を各カメラの位置と対応付けて示す図、図６は仮しきい値Ｔｈから判別用のしきい値Ｔｈｂを設定する様子を説明するための図である。
【００３５】
図２において、被写体Ｑに対して互いに異なる顔の向きの画像ＧＤＫａ〜ｄが得られるように、カメラ１１ａ〜ｄが設置されている。各カメラ１１ａ〜ｄの撮影方向を表すために、ある基準方向ＫＨに対するそれぞれの光軸方向の角度差をそれぞれθａ〜θｄとする。図２に示すように、基準方向ＫＨは任意の撮影方向に設定することが可能である。しかし、後でのデータ処理を容易にするためには、複数のカメラ１１ａ〜ｄのいずれかの光軸方向と一致させるか、またはその中間の方向と一致させるなど、適宜選択するのが好ましい。
【００３６】
なお、説明の簡単化のため、各カメラ１１ａ〜ｄの光軸は外に一点で交わり、被写体Ｑの頭部のサイズは各画像ＧＤＫａ〜ｄ中でほぼ同一となるように光軸方向や画角などが設定されているとする。しかし、画像ＧＤＫａ〜ｄ間の関係、および各カメラ１１ａ〜ｄで検出される属性値ＺＳの関係などが予め分かっている場合には、これらに限ることはない。なお、図２において、カメラ１１ｘは、被写体Ｑである人物の正面顔を撮影する位置に配置した架空のカメラである。つまり、理想的にはこの位置にカメラ１１ｘがあって欲しいのであるが、実際にはこのカメラ１１ｘは存在しない。
【００３７】
図３（Ａ）〜（Ｄ）において、各画像ＧＤＫａ〜ｄは、それぞれ、カメラ１１ａ〜ｄによって同時に撮影された画像である。
【００３８】
図４に示すように、属性値算出用情報格納部２１には登録顔画像ＴＪＫが格納されている。本実施形態においては、登録顔画像ＴＪＫは、ある人物について多数の顔画像を元に作成した平均正面顔である。このような平均正面顔の作成方法は、例えば特開平２００３ー２７１９５８などで公知である。しかし、登録顔画像ＴＪＫはこれに限られることはない。また、属性値ＺＳの内容もここでの記載に限定されない。
【００３９】
図５には、横軸を各カメラ１１ａ〜ｄの角度位置として、縦軸上に登録顔画像ＴＪＫとの照合度Ｖが示されている。つまり、ここでは、属性値ＺＳとして照合度Ｖが用いられる。それぞれの画像ＧＤＫａ〜ｄの照合度はＶａ〜Ｖｄであり、この中での最大値はＶｂである。しかし、本来的には、図２に示す架空のカメラ１１ｘの位置から撮影した画像ＧＤＫｘを用いて照合を行うことが好ましいので、このときに照合度Ｖとの比較に用いる仮しきい値Ｔｈは、架空のカメラ１１ｘによる架空の画像ＧＤＫｘに対する照合度Ｖよりも低くなるように設定される。
【００４０】
すなわち、照合度Ｖが仮しきい値Ｔｈよりも高い場合には、正面顔が検出されたものとし、低い場合には正面顔が検出されなかったものとする。しかし、図５においては、最大の照合度Ｖｂよりも仮しきい値Ｔｈの方が高いため、このままでは顔が存在しないものと判別されてしまうこととなる。
【００４１】
そこで、画像ＧＤＫａ〜ｄの照合度を示す４つの点（θａ，Ｖａ）（θｂ，Ｖｂ）（θｃ，Ｖｃ）（θｄ，Ｖｄ）を全て通るような曲線ＬＫを求め、照合度Ｖが最大となる位置を登録顔画像ＴＪＫの顔の向き方向と推定し、その位置における照合度ＭａｘＶを算出する。次に、画像ＧＤＫａ〜ｄの中から、この顔の向きに最も近いカメラ１１ａ〜ｄによる画像ＧＤを選択する。
【００４２】
図５で示される例では、Ｖｂ＞Ｖｃであることや、照合度Ｖが最大となる架空のカメラ１１ｘの位置（角度）と角度θｂ，θｃとの距離比較を利用することにより、カメラ１１ｂ（カメラＢ）による画像ＧＤＫｂを選択すればよいことが分かる。しかし、上に述べたように、選択されたカメラ１１ｂの処理結果に対して、仮しきい値Ｔｈをそのまま使用できない。そこで、しきい値設定部２４において、仮しきい値Ｔｈに対して補正のための演算を行い、判別用のしきい値Ｔｈｂを求める。
【００４３】
すなわち、図６に示すように、照合度Ｖが最大となる位置の情報（最大照合度である照合度ＭａｘＶ）を利用し、カメラ１１ｂの画像ＧＤＫｂについて算出した照合度Ｖｂに対して適用するしきい値Ｔｈｂを算出する。
【００４４】
具体的には、照合度ＭａｘＶと画像ＧＤＫｂの照合度Ｖｂとの比が、仮しきい値Ｔｈと判別用のしきい値Ｔｈｂとの比に等しくなることから、判別用のしきい値Ｔｈｂを、
Ｔｈｂ＝Ｔｈ×（Ｖｂ／ＭａｘＶ）  ……（１）
として求める。
【００４５】
このようにして算出された判別用のしきい値Ｔｈｂと、選択された画像ＧＤＫｂに対して算出された照合度Ｖｂとの比較によって、顔の存在可否判定、つまり画像ＧＤが登録顔画像ＴＪＫと一致するか否かの判別を行う。
【００４６】
なお、照合度ＭａｘＶの算出に当たっては、例えば、図５における曲線ＬＫの極大値を求めればよい。
【００４７】
したがって、結局、画像ＧＤＫｂによる照合度Ｖｂと判別用のしきい値Ｔｈｂとが比較され、図６に示すように照合度Ｖｂがしきい値Ｔｈｂよりも大きいので、被写体Ｑである人物の顔は登録顔画像ＴＪＫと一致すると判別される。つまり、当該人物の顔の存在が確認される。これに基づいて、当該人物についての顔認証が行われ、認証結果は「ＹＥＳ」または「ＯＫ」となる。
【００４８】
なお、図５においては、４つの点が全て１つの曲線（放物線）ＬＫ上にのっている場合を示すが、常に１つの曲線上に４点がのるとは限らないため、照合度に対する二乗誤差平均を最小にするような放物線を算出したり、他の種類の曲線を算出したり、キュービックコンボリューションやスプライン関数といった既存の補間手法を用いて算出することも可能である。
【００４９】
これらの照合度ＭａｘＶを求めるアルゴリズムは、顔の向きと属性値ＺＳの変化度合いの性質や、装置構成に対する制約、例えば処理速度、メモリ容量、演算器の種類などに応じて決定すればよい。また、属性値ＺＳの変化度合いの性質が理論的に定まらない場合には、複数の登録顔画像ＴＪＫに対する結果から統計的に求めてもよい。
【００５０】
なお、設置されたカメラ１１ａ〜ｄから得られる４つの画像ＧＤＫａ〜ｄの全てに対して処理を行うことなく、照合度Ｖつまり属性値ＺＳの確からしさが高い部分、例えば、人物の頭部全体を撮影する複数のカメラのうち正面方向の近辺に配置されていると考えられるカメラのみを利用してもよい。そうすることによって、精度向上を図ったり、処理速度を向上することが可能である。また、カメラ１１ａ〜ｄの数や位置を限定し、または全体の中から選択して用いてもよい。
【００５１】
次に、顔判別装置１による処理動作の例をフローチャートによって説明する。
【００５２】
図７は顔判別装置１における顔判別処理のフローチャートである。
【００５３】
図７において、カメラ１１ａ〜ｄから処理装置１２に画像ＧＤＫａ〜ｄが順次入力されてくるが、まず最初に入力された画像ＧＤＫについて（＃１１）、その画像ＧＤＫと登録顔画像ＴＪＫとの照合度Ｖを算出する（＃１２）。次の画像ＧＤＫを入力し（＃１３）、全ての画像ＧＤＫが入力されるまでステップ＃１１〜１３を繰り返す（＃１４）。そして、得られた全ての照合度Ｖに基づいて、最大照合度および最大照合度方向を算出する（＃１５）。照合対象となる画像を選択する（＃１６）。最大照合度、選択された画像についての照合度Ｖ、および仮しきい値Ｔｈに基づいて、判別用のしきい値Ｔｈｂを算出する（＃１７）。選択された画像についての照合度Ｖと判別用のしきい値Ｔｈｂとを比較し、人物の顔と登録顔画像ＴＪＫとが一致するか否かを判別する（＃１８）。そしてその結果を、表示装置１３その他の機器に出力する（＃１９）。
【００５４】
上の実施形態では、カメラ１１ａ〜ｄを水平方向のみに配置したが、垂直方向や斜め方向にも配置してもよい。また、図８に示すように、カメラ１１ａ，ｂ，ｃ，ｄ，ｅ…を３次元空間的に配置してもよい。各カメラ間の位置や角度の関係が既知である場合には、カメラを配置する間隔は、同一でなくてもよく、カメラごとに異なっていてもよい。
【００５５】
また、上に述べた実施形態では、平均正面顔による登録顔画像ＴＪＫを使用した。登録顔画像ＴＪＫは、特徴量に変換した状態で保持しておいてもよく、また、別の登録画像や顔画像に関連する画像以外の情報を登録しておくことで、様々な顔判別処理または顔認識処理に適用することができる。登録顔画像ＴＪＫとして個人の顔画像を使用する場合には、得られる属性値ＺＳは顔の照合度Ｖまたは認証度となる。また、例えば、登録顔画像ＴＪＫとして、肌色面積率のしきい値Ｔｈ２といった情報を登録しておき、カメラ１１ａ〜ｄから得られる各画像ＧＤから検出した肌色面積率と登録した肌色面積率のしきい値Ｔｈ２とを比較してもよい。この場合には、顔の正面方向から撮影した画像ＧＤでは正面顔であるので肌色面積比率が高く、斜めから撮影した画像ＧＤになるほど髪の毛の影響によって肌色面積率が低下するので、このような性質を用いて正面顔検出を行うことが可能である。
【００５６】
また、登録顔画像ＴＪＫの顔の向きは正面顔に限られない。例えば、横顔であってもよい。登録顔画像ＴＪＫが横顔である場合には、入力された画像ＧＤが横顔の場合に照合度Ｖが高くなり、正面顔の場合には低くなる。その他、入力される画像ＧＤと登録顔画像ＴＪＫとの間の顔の向きの差と高い相関をもって変化する属性値であれば、上に述べたと同様な効果が得られる。
〔第２の実施形態〕
第２の実施形態の顔判別装置１Ｂは、基本的には上に述べた顔判別装置１と同じであるので、相違点についてのみ説明する。
【００５７】
図９は本発明に係る第２の実施形態の顔判別装置１Ｂの機能的な構成を示すブロック図、図１０は第２の実施形態における顔判別処理のフローチャートである。
【００５８】
図９に示すように、顔判別装置１Ｂの処理装置１２Ｂには、属性値算出用情報格納部２１、属性値算出部２２、正面方向推定部２３、正面画像生成部２８、第２の属性値算出部２９、第２の属性値算出用情報格納部３０、しきい値格納部３１、および判別部３２などが設けられる。
【００５９】
ところで、３次元画像処理の分野においては、ステレオ対応などによって複数の画像を元に３次元画像または３次元情報に変換し、この３次元画像または情報を元に任意の方向を向いた２次元画像を生成することが広く行われている。３次元画像や３次元情報の構成時には、２次元画像間で特徴点の対応をとることが必要となるが、人の目や口など顔の部位やアプリケーションとして顔画像の出力が必要でない場合には、アクティブにパターン光を照射することを利用すれば可能である。このように複数画像から３次元画像を生成し、これをもとに任意方向に回転させて２次元画像に変換する技術は公知である。
【００６０】
第２の実施形態では、第１の実施形態における正面方向推定部２３による正面方向推定の処理、つまり、図５において曲線ＬＫの頂点（極大点）にあたる位置を算出する処理までは同じである。推定された方向情報の利用方法が第１の実施形態とは異なる。
【００６１】
つまり、第１の実施形態では、選択された画像ＧＤについての照合度Ｖと判別用のしきい値Ｔｈｂとから、人物の顔が登録顔画像ＴＪＫと一致するか否かの判別を行った。これに対し、第２の実施形態では、正面画像生成部２８によって、架空のカメラ１１ｘによる正面方向の顔画像ＧＤＫｘを生成する。但し、登録顔画像ＴＪＫが正面顔でない場合にはその画像の顔の向きに合った顔画像を生成する。第２の属性値算出部２９によって、第２の属性値算出用情報格納部３０に格納された登録情報ＴＪＬを用い、生成された顔画像ＧＤＫｘの属性値ＺＬつまり照合度（第２の照合度）Ｖを算出する。判別部３２において、算出された照合度（第２の照合度）Ｖと、しきい値格納部３１に格納されたしきい値Ｔｈとを比較し、算出された照合度（第２の照合度）Ｖがしきい値Ｔｈ以上である場合に、当該人物の顔が登録顔画像ＴＪＫと一致すると判別する。つまり、この場合には被写体Ｑである人物の顔と一致する登録顔画像ＴＪＫの存在が確認されたことになる。
【００６２】
なお、正面方向推定部２３は、照合度Ｖに基づいて、それぞれの画像ＧＤＫａ〜ｄにおける顔の向きを推定するとともに、推定された顔の向きと登録顔画像ＴＪＫの顔の向きとに基づいて、登録顔画像ＴＪＫの顔の向きと同じ向きの画像を撮影可能なカメラの位置を推定する。つまり、正面方向推定部２３は、本発明における顔の向き推定手段およびカメラ位置推定手段に相当する。
【００６３】
このように、第２の実施形態では、顔の向きの推定結果とそれらの技術を利用して、図２におけるカメラ１１ｘの位置からの正面方向の顔画像ＧＤＫｘを生成し、第２の属性値算出用情報格納部３０に格納された登録情報ＴＪＬを用いて属性値ＺＬつまり照合度（第２の照合度）Ｖの算出を行う。この登録情報ＴＪＬおよび照合度（第２の照合度）Ｖを算出する第２の属性値算出部２９の処理は、同図における属性値算出用情報格納部２１に格納された登録情報ＴＪＫおよび属性値算出部２２の処理と同一でもよいし、別の情報または別の処理で算出し直してもよい。別の情報とは、例えば、属性値算出用のデータの解像度などの精度を上げたものが利用できるが、正面方向推定には、平均正面顔を用いた属性値算出を行い、最終的な判別では表情判定などの別処理を行ってもよい。その場合には判定用の情報や属性値算出方法は異なることとなる。この情報はアプリケーションまたはモジュールが最終的に判定したい属性によって決まるものであり、顔の向きの差によって判定性能が低下するような処理であれば特に限定されるものではない。
【００６４】
図１０において、カメラ１１ａ〜ｄから処理装置１２に画像ＧＤＫａ〜ｄが順次入力されてくるが、まず最初に入力された画像ＧＤＫについて（＃３１）、その画像ＧＤＫと登録顔画像ＴＪＫとの照合度Ｖを算出する（＃３２）。次の画像ＧＤＫを入力し（＃３３）、全ての画像ＧＤＫが入力されるまでステップ＃３１〜３３を繰り返す（＃３４）。そして、得られた全ての照合度Ｖに基づいて、それぞれの画像ＧＤＫにおける顔の向きを推定し、推定された顔の向きと登録顔画像ＴＪＫの顔の向きとに基づいて、登録顔画像ＴＪＫの顔の向きと同じ向きの画像を撮影可能なカメラの位置、方向、または姿勢、つまり最大照合度方向を算出する（＃３５）。算出された最大照合度方向に基づいて、正面方向の顔画像ＧＤＫｘを生成する（＃３６）。顔画像ＧＤＫｘの照合度Ｖとしきい値Ｔｈとを比較して一致するか否かの判別を行い（＃３７）、その結果を出力する（＃３８）。
【００６５】
上に述べた各実施形態における特徴点は次のように整理することができる。
（１）  複数のカメラと単一の登録顔画像とによる顔認識を行う。
（２）  画像に対する顔判別または顔認識は、個々のカメラ単独に対してのみ行われる。複数のカメラで得られる顔画像間の関係は、これらの顔判別または顔認識の結果に対して関連付けを行う。
（３）  登録顔画像ＴＪＫの顔の向きに近い向きで撮影された顔との照合と、遠い向きで撮影された顔との照合では、近い向きとの場合の方が照合度Ｖが高くなるという性質を利用し、顔の向きの差と照合度Ｖの関連をもとに顔の向きの推定を行い、登録顔画像ＴＪＫの顔の向きと最も近い顔の向きで撮影していると思われるカメラの画像を選択し、推定された顔の向きをもとに、別途判別用のしきい値Ｔｈｂを決定し、 選択された画像に対して、決定された判別用のしきい値Ｔｈｂを用いて顔判別または顔認識を行う（第２の実施形態）。顔認識の種類としては、顔の向きとの間に相関のある情報の認識であれば適用可能である。例えば、顔認証、年齢推定、表情判別などに適用可能である。
【００６６】
したがって、上に述べた各実施形態では次のような利点がある。
（１）  被写体Ｑに対するカメラの向きが登録顔画像ＴＪＫと必ずしも同一の向きでなくでも判別および認識が可能となり、判別および認識のロバスト性が向上する。
（２）  １人の人物に対して、登録顔画像ＴＪＫは２次元画像一枚で済む。
（３）  顔判別装置において統合的に扱う情報は、顔判別結果または顔認識結果であって、画像ではない。そのため、データ量が少なく、処理速度が速く、顔判別装置の構成が簡単となる。
（４）  顔判別装置は、顔判別、顔認識、顔認証など以外にも適用可能であり、汎用的な構成をとることが可能である。
【００６７】
このように、上に述べた実施形態によると、被写体Ｑが登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能である。しかも、登録画像などのデータ量が少なく、処理を高速に行うことができる。
【００６８】
上に述べた実施形態において、カメラ１１ａ〜ｄ、処理装置１２，１２Ｂ、顔判別装置１，１Ｂなどの全体または各部の構造、構成、形状、寸法、個数、画像の内容、処理の内容および順序、タイミングなどは、本発明の趣旨に沿って適宜変更することができる。
【産業上の利用可能性】
【００６９】
本発明は、セキュリティなどのための人物の顔による認証に利用可能である。
【図面の簡単な説明】
【００７０】
【図１】本発明の第１の実施形態の顔判別装置の機能を示すブロック図である。
【図２】被写体に対するカメラの配置状態の例を示す図である。
【図３】各カメラで撮影された被写体の頭部の画像の例を示す図である。
【図４】登録顔画像の例を示す図である。
【図５】画像と登録顔画像との照合度を各カメラの位置と対応付けて示す図である。
【図６】仮しきい値から判別用のしきい値を設定する様子を説明するための図である。
【図７】顔判別装置における顔判別処理のフローチャートである。
【図８】カメラを３次元空間的に配置した例を示す図である。
【図９】本発明に係る第２の実施形態の顔判別装置機能を示すブロック図である。
【図１０】第２の実施形態における顔判別処理のフローチャートである。
【符号の説明】
【００７１】
１，１Ｂ  顔判別装置（顔認証装置）
１１  カメラ
１２，１２Ｂ  処理装置
２１  属性値算出用情報格納部
２２  属性値算出部（照合度算出手段）
２３  正面方向推定部（顔の向き推定手段、カメラ位置推定手段）
２４  しきい値設定部（しきい値設定手段）
２５  仮しきい値格納部
２６  画像選択部（画像選択手段）
２７  判別部（判別手段）
２８  正面画像生成部（画像生成手段）
２９  第２の属性値算出部
３０  第２の属性値算出用情報格納部
３１  しきい値格納部
３２  判別部（判別手段）
Ｑ  被写体
ＺＳ  属性値
Ｖ  照合度（属性値）
ＺＭ  最大照合度
Ｔｈ  しきい値
Ｔｈｂ  判別用しきい値
ＧＤ  画像
ＴＪＫ  登録顔画像
ＬＫ  曲線
【図１】
2007004534.tif 000003
【図２】
2007004534.tif 000004
【図３】
2007004534.tif 000005
【図４】
2007004534.tif 000006
【図５】
2007004534.tif 000007
【図６】
2007004534.tif 000008
【図７】
2007004534.tif 000009
【図８】
2007004534.tif 000010
【図９】
2007004534.tif 000011
【図１０】
2007004534.tif 000012