(57)【要約】【課題】被写体が登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことのできる顔判別装置を提供すること。【解決手段】被写体である人物の顔が登録顔画像ＴＪＫと一致するか否かを判別するための顔判別装置１であって、被写体の頭部についての画像ＧＤＫを得るための、互いの位置関係が既知である複数のカメラ１１ａ〜ｄと、取得されたそれぞれの画像について、登録顔画像ＴＪＫとの一致度合いＺＳを算出する属性値算出部２２と、算出された複数の一致度合いＺＳに基づいて、人物の顔が登録顔画像ＴＪＫの向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いＺＭを算出する最大属性値算出部２３と、算出された最大一致度合いＺＭとしきい値Ｔｈとを比較して人物の顔が登録顔画像ＴＪＫと一致するか否かの判別を行う判別手段２４とを有する。【選択図】図１
2007004536.tif 000002
【特許請求の範囲】
【請求項１】
被写体が登録情報と一致するか否かを判別するための被写体判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、
取得されたそれぞれの画像について前記登録情報と比較することによって属性値を算出するステップと、
算出された複数の前記属性値に基づいて、前記被写体が前記登録情報に最も近い場合の属性値の最大値である最大属性値を算出するステップと、
算出された前記最大属性値としきい値とを比較して前記被写体が登録情報と一致するか否かの判別を行うステップと、
を有することを特徴とする被写体判別方法。
【請求項２】
被写体が登録画像と一致するか否かを判別するための被写体判別方法であって、
互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、
取得されたそれぞれの画像について前記登録画像との一致度合いを算出するステップと、
算出された複数の前記一致度合いに基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出するステップと、
算出最大一致度合いとしきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行うステップと、
を有することを特徴とする被写体判別方法。
【請求項３】
被写体が登録画像と一致するか否かを判別するための被写体判別装置であって、
前記被写体の特定の部位についての画像を取得するための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像についての属性値を算出する属性値算出手段と、
算出された複数の前記属性値に基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の属性値の最大値である最大属性値を算出する最大属性値算出手段と、
算出された前記最大属性値としきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする被写体判別装置。
【請求項４】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記被写体の頭部についての画像を得るための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、
前記一致度合い算出手段によって算出された複数の前記一致度合いに基づいて、前記人物の顔が前記登録顔画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出する最大一致度合い算出手段と、
算出された前記最大一致度合いとしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
【請求項５】
前記登録顔画像は、人物についての正面平均顔の画像である、
請求項４記載の顔判別装置。
【請求項６】
前記最大一致度合い算出手段は、複数の前記一致度合いを示す点により近似される曲線の極大点を前記最大一致度合いとして算出する、
請求項４または５記載の顔判別装置。
【請求項７】
被写体である人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置であって、
前記被写体の頭部についての画像を得るための、互いの位置関係が既知である複数のカメラと、
取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、
前記一致度合い算出手段によって算出された複数の前記一致度合いを示す点により近似される曲線について、前記被写体が前記登録顔画像の本人であった場合とそうでなかった場合とを比較することにより、前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段と、
を有することを特徴とする顔判別装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体が登録画像と一致するか否かを判別するための被写体判別装置に関し、特に人物の顔が登録顔画像と一致するか否かを判別するための顔判別装置に関する。
【背景技術】
【０００２】
近年、セキュリティなどの分野において、認証への要求が高まっている。種々の認証方式のなかで、人物の顔による認証方式が、照合対象人物に対する束縛が少ないという点で、数多いアプリケーションにおいて支持されている。
【０００３】
顔認証では、被写体である人物の顔を撮影して得られた画像と、予め登録した顔画像との間で照合を行ってそれらが一致するか否かを判断し、人物の同定や本人判定を行っている。顔認証による場合には、顔の向きや照明条件などが登録時と照合時とで異なり、また人物自体が経時変化によって異なることがあるので、認証精度が低下するという問題がある。
【０００４】
さて、顔の向きに関しては、一般的に正面顔が登録画像として使用される。これは、正面顔である方が登録時と照合時とで合わせることが容易であり、また、目、鼻、口といった顔の各部位の画像を比較的良好な状態で取得できるからである。また、カード類を用いた認証の場合には、登録画像をそのままカードに印刷することが多いため、人が見易い正面から撮影することが多いためである。
【０００５】
したがって、照合時においても、カメラを被写体に対して正面と思われる位置姿勢で設置しておき、その状態で撮影した画像と登録顔画像との間で照合が行われる。
【０００６】
ところが、アプリケーションによっては、被写体に対して顔を正確に正面に向けるように要求できない場合がある。仮にそれができた場合であっても、顔の向きと視線方向とは必ずしも一致しないため、登録時と照合時とで顔の向きが一致するという保証はない。したがって、顔の向きがある程度ばらつくことを前提として顔判別を行うことが必要であるといえる。
【０００７】
従来において、複数条件で撮影した各画像で本人認証と他人認証とを行い、その結果を比較することで本人判定する技術が開示されている（特許文献１）。また、複数台のカメラで撮影した画像からユーザの顔領域を抽出し、計算した特徴量と予め登録した顔特徴量とを比較するようにした顔認証技術が開示されている（特許文献２）。
【特許文献１】特開２００３ー１７８２７４
【特許文献２】特開２００４ー１９２３７８
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１による場合には、複数条件で撮影するごとにそれを登録画像とする必要があり、登録画像の数が増えることによってデータ量が増大し、その処理に時間を要することとなる。
【０００９】
また、特許文献２による場合には、各カメラで検出した顔特徴量を空間的に対応付け、複数の画像に対するＫＬ展開等で特徴空間において照合を行っており、登録画像自体に複数方向からの撮影情報が含まれる必要がある。そのため、登録されるデータ量が増大しそのため処理に時間を要する。
【００１０】
本発明は、上述の問題に鑑みてなされたもので、被写体が登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことのできる被写体判別方法および顔判別装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る方法は、被写体が登録情報と一致するか否かを判別するための被写体判別方法であって、互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、取得されたそれぞれの画像について前記登録情報と比較することによって属性値を算出するステップと、算出された複数の前記属性値に基づいて、前記被写体が前記登録情報に最も近い場合の属性値の最大値である最大属性値を算出するステップと、算出された前記最大属性値としきい値とを比較して前記被写体が登録情報と一致するか否かの判別を行うステップとを有する。
【００１２】
また、互いの位置関係が既知である複数のカメラによって、前記被写体の特定の部位についての複数の画像を取得するステップと、取得されたそれぞれの画像について前記登録画像との一致度合いを算出するステップと、算出された複数の前記一致度合いに基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出するステップと、算出最大一致度合いとしきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行うステップとを有する。
【００１３】
本発明に係る装置は、前記被写体の特定の部位についての画像を取得するための、互いの位置関係が既知である複数のカメラと、取得されたそれぞれの画像についての属性値を算出する属性値算出手段と、算出された複数の前記属性値に基づいて、前記被写体が前記登録画像の向きに最も近い向きを向いていた場合の属性値の最大値である最大属性値を算出する最大属性値算出手段と、算出された前記最大属性値としきい値とを比較して前記被写体が登録画像と一致するか否かの判別を行う判別手段とを有する。
【００１４】
また、取得されたそれぞれの画像について、前記登録顔画像との一致度合いを算出する一致度合い算出手段と、前記一致度合い算出手段によって算出された複数の前記一致度合いに基づいて、前記人物の顔が前記登録顔画像の向きに最も近い向きを向いていた場合の一致度合いである最大一致度合いを算出する最大一致度合い算出手段と、算出された前記最大一致度合いとしきい値とを比較して前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段とを有する。
【００１５】
好ましくは、前記登録顔画像は、人物についての正面平均顔の画像である。
【００１６】
また、前記最大一致度合い算出手段は、複数の前記一致度合いを示す点により近似される曲線の極大点を前記最大一致度合いとして算出する。
【００１７】
また、前記一致度合い算出手段によって算出された複数の前記一致度合いを示す点により近似される曲線について、前記被写体が前記登録顔画像の本人であった場合とそうでなかった場合とを比較することにより、前記人物の顔が前記登録顔画像と一致するか否かの判別を行う判別手段有する。
【発明の効果】
【００１８】
本発明によると、被写体が登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能であり、しかも登録画像などのデータ量が少なく処理を高速に行うことができる。
【発明を実施するための最良の形態】
【００１９】
〔第１の実施形態〕
図１は本発明に係る第１の実施形態の被写体判別装置１の機能的な構成を示すブロック図である。
【００２０】
図１において、被写体判別装置１は、複数台のカメラ１１ａ〜ｄ、処理装置１２、表示装置１３、入力装置１４、および記憶装置１５などから構成される。
【００２１】
カメラ１１ａ〜ｄは、被写体Ｑの特定の部位についての画像（画像データ）ＧＤを取得するためのものであり、それぞれの互いの位置関係が既知である。１つの被写体Ｑに対して、カメラ１１ａ〜ｄは同時に撮影を行い、同じタイミングにおける複数の画像ＧＤを得る。なお、カメラ１１ａ〜ｄの位置関係を示すデータは、例えば処理装置１２のメモリに格納されまたはプログラムに組み込まれている。
【００２２】
処理装置１２は、カメラ１１ａ〜ｄで撮影して取得されたそれぞれの画像ＧＤについて、属性値を求め、求めた複数の属性値に基づいて、被写体Ｑが登録情報に最も近い場合の属性値の最大値である最大属性値を算出し、算出された最大属性値としきい値とを比較して被写体Ｑが登録情報と一致するか否かの判別を行う。処理装置１２は、その他の種々の処理をも行う。処理装置１２は、ＣＰＵ（中央処理装置）、ＲＯＭ、ＲＡＭ、その他の周辺回路、記憶デバイス、およびインタフェース回路などを含んで構成される。
【００２３】
処理装置１２には、属性値算出用情報格納部２１、属性値算出部２２、最大属性値算出部２３、判別部２４、およびしきい値格納部２５などが設けられる。
【００２４】
属性値算出用情報格納部２１は、カメラ１１ａ〜ｄによって取得されるそれぞれの画像ＧＤの属性値ＺＳを算出するための情報（登録情報ＴＪ）を格納する。そのような登録情報ＴＪとして、例えば、属性値ＺＳを「画像の向きの照合度（一致度合い）」であると定義した場合に、カメラ１１ａ〜ｄによって撮影される被写体Ｑの特定の部位（例えば顔）についての標準的な画像が用いられる。また、属性値ＺＳをどのような値とするかによって、被写体Ｑの特定の部位についての表面状態、色、形状などに関する情報が登録情報ＴＪとなり得る。
【００２５】
属性値算出部２２は、カメラ１１ａ〜ｄにより取得されたそれぞれの画像ＧＤについての属性値ＺＳを算出する。属性値ＺＳは、例えば、上に述べたように顔の向きの照合度（一致度合い）である。なお、属性値算出部２２には、画像ＧＤを格納するためのメモリ領域、カメラ１１ａ〜ｄの位置関係を示すデータを格納するメモリ領域なども設けられている。
【００２６】
最大属性値算出部２３は、算出された複数の属性値ＺＳに基づいて、被写体Ｑが登録情報ＴＪに最も近い場合の属性値ＺＳの最大値である最大属性値ＺＭを算出する。
【００２７】
判別部２４は、算出された最大属性値ＺＭと、しきい値格納部２５に格納されたしきい値Ｔｈとを比較して、被写体Ｑが登録情報ＴＪと一致するか否かの判別を行う。
【００２８】
表示装置１３は、処理装置１２で判別された結果を表示し、その他のデータ、画像、メッセージなどを表示する。
【００２９】
入力装置１４は、処理装置１２での処理に必要な変数やパラメータなどを入力しまたは設定し、またそれ以外の種々のデータや指令を入力する。
【００３０】
記憶装置１５は、処理装置１２での処理に必要な画像、変数、パラメータなどを記憶する。
【００３１】
このような被写体判別装置１は、適当なプログラムが格納されたパーソナルコンピュータによって実現することが可能である。そして、専用回線、ＬＡＮ、ＷＡＮ、またはインターネットを介して外部のネットワークやサーバなどに接続することが可能である。
【００３２】
次に、上に述べた被写体判別装置１を人物の顔による認証のために用いた例について具体的に説明する。
【００３３】
本実施形態では、登録情報ＴＪとして、被写体Ｑについて、正面などの固定の顔の向きで予め撮影された登録顔画像ＴＪＫを用いる。複数の人物についての登録顔画像ＴＪＫを属性値算出用情報格納部２１に格納しておき、カメラ１１ａ〜ｄで撮影した人物と特定の登録顔画像ＴＪＫとを照合し、その照合度を判別する。一致すると判別されると、そのことが表示装置１３の表示面に表示される。また、一致すると判別されたことによって、当該人物が認証される。つまり顔認証が行われる。カメラ１１ａ〜ｄによる被写体Ｑの撮影の際に、被写体Ｑの顔の向きを正確に調整または制御できない場合でも、判別精度または認証精度をロバストに維持することが可能である。
【００３４】
図２は被写体Ｑに対するカメラ１１ａ〜ｄの配置状態の例を示す図、図３は各カメラ１１ａ〜ｄで撮影された被写体Ｑの頭部の画像ＧＤＫａ〜ｄの例を示す図、図４は登録顔画像ＴＪＫの例を示す図、図５は画像ＧＤＫａ〜ｄと登録顔画像ＴＪＫとの照合度を各カメラの位置と対応付けて示す図、図６は画像ＧＤＫａ〜ｄと登録顔画像ＴＪＫとの照合度を各カメラの位置と対応付けて示す他の例の図である。
【００３５】
図２において、被写体Ｑに対して互いに異なる顔の向きの画像ＧＤＫａ〜ｄが得られるように、カメラ１１ａ〜ｄが設置されている。各カメラ１１ａ〜ｄの撮影方向を表すために、ある基準方向ＫＨに対するそれぞれの光軸方向の角度差をそれぞれθａ〜θｄとする。図２に示すように、基準方向ＫＨは任意の撮影方向に設定することが可能である。しかし、後でのデータ処理を容易にするためには、複数のカメラ１１ａ〜ｄのいずれかの光軸方向と一致させるか、またはその中間の方向と一致させるなど、適宜選択するのが好ましい。
【００３６】
なお、説明の簡単化のため、各カメラ１１ａ〜ｄの光軸は外に一点で交わり、被写体Ｑの頭部のサイズは各画像ＧＤＫａ〜ｄ中でほぼ同一となるように光軸方向や画角などが設定されているとする。しかし、画像ＧＤＫａ〜ｄ間の関係、および各カメラ１１ａ〜ｄで検出される属性値ＺＳの関係などが予め分かっている場合には、これらに限ることはない。なお、図２において、カメラ１１ｘは、被写体Ｑである人物の正面顔を撮影する位置に配置した架空のカメラである。つまり、理想的にはこの位置にカメラ１１ｘがあって欲しいのであるが、実際にはこのカメラ１１ｘは存在しない。
【００３７】
図３（Ａ）〜（Ｄ）において、各画像ＧＤＫａ〜ｄは、それぞれ、カメラ１１ａ〜ｄによって同時に撮影された画像である。
【００３８】
図４に示すように、属性値算出用情報格納部２１には、登録情報ＴＪとして登録顔画像ＴＪＫ１が格納されている。本実施形態においては、登録顔画像ＴＪＫ１は、ある人物について多数の顔画像を元に作成した平均正面顔である。このような平均正面顔の作成方法は、例えば特開平２００３ー２７１９５８などで公知である。しかし、登録情報ＴＪまたは登録顔画像ＴＪＫはこれに限られることはない。また、属性値ＺＳの内容もここでの記載に限定されない。
【００３９】
図５には、横軸を各カメラ１１ａ〜ｄの角度位置として、縦軸上に登録顔画像ＴＪＫとの照合度Ｖが示されている。つまり、ここでは、属性値ＺＳとして照合度Ｖが用いられる。それぞれの画像ＧＤＫａ〜ｄの照合度はＶａ〜Ｖｄであり、この中での最大値はＶｂである。しかし、本来的には、図２に示す架空のカメラ１１ｘの位置から撮影した画像ＧＤＫｘを用いて照合を行うことが好ましいので、このときに照合度Ｖとの比較に用いるしきい値Ｔｈは、架空のカメラ１１ｘによる架空の画像ＧＤＫｘに対する照合度Ｖよりも低くなるように設定される。
【００４０】
すなわち、照合度Ｖがしきい値Ｔｈよりも高い場合には、正面顔が検出されたものとし、低い場合には正面顔が検出されなかったものとする。しかし、図５においては、最大の照合度Ｖｂよりもしきい値Ｔｈの方が高いため、このままでは顔が存在しないものと判別されてしまうこととなる。
【００４１】
そこで、画像ＧＤＫａ〜ｄの照合度を示す４つの点（θａ，Ｖａ）（θｂ，Ｖｂ）（θｃ，Ｖｃ）（θｄ，Ｖｄ）を全て通るような曲線ＬＫを求め、その曲線ＬＫの極大値を求めて最大値ＭａｘＶとする。最大値ＭａｘＶを、カメラ１１ｘによる画像ＧＤＫｘであるとして、つまり当該人物の正面の顔画像によるものであるとして、これとしきい値Ｔｈとの比較を行う。
【００４２】
したがって、結局、最大値ＭａｘＶとしきい値Ｔｈとが比較され、最大値ＭａｘＶがしきい値Ｔｈよりも大きいので、被写体Ｑである人物の顔は登録顔画像ＴＪＫと一致すると判別される。つまり、当該人物についての顔認証が行われ、認証結果は「ＹＥＳ」または「ＯＫ」となる。
【００４３】
なお、ここでの最大値ＭａｘＶは、最大照合度であり、本発明における最大属性値ＺＭに相当する。また、最大値ＭａｘＶに対応する仮想の画像ＧＤＫｘが、当該人物の正面顔であると推定されている。
【００４４】
なお、図５においては、４つの点が全て１つの曲線（放物線）ＬＫ上にのっている場合を示すが、常に１つの曲線上に４点がのるとは限らないため、照合度に対する二乗誤差平均を最小にするような放物線を算出したり、他の種類の曲線を算出したり、キュービックコンボリューションやスプライン関数といった既存の補間手法を用いて算出することも可能である。
【００４５】
これらの最大値ＭａｘＶを求めるアルゴリズムは、顔の向きと属性値ＺＳの変化度合いの性質や、装置構成に対する制約、例えば処理速度、メモリ容量、演算器の種類などに応じて決定すればよい。また、属性値ＺＳの変化度合いの性質が理論的に定まらない場合には、複数の登録顔画像ＴＪＫに対する結果から統計的に求めてもよい。
【００４６】
また、図６においては、４つの点から最大値ＭａｘＶを求めるために、２つの点（θａ，Ｖａ）（θｂ，Ｖｂ）、（θｃ，Ｖｃ）（θｄ，Ｖｄ）をそれぞれ結ぶ２つの直線ＬＴ１、ＬＴ２の交点が採用されている。つまり、２つの直線ＬＴ１、ＬＴ２の交点の照合度Ｖを最大値ＭａｘＶとする。
【００４７】
なお、設置されたカメラ１１ａ〜ｄから得られる４つの画像ＧＤＫａ〜ｄの全てに対して処理を行うことなく、照合度Ｖつまり属性値ＺＳの確からしさが高い部分、例えば、人物の頭部全体を撮影する複数のカメラのうち正面方向の近辺に配置されていると考えられるカメラのみを利用してもよい。そうすることによって、精度向上を図ったり、処理速度を向上することが可能である。また、カメラ１１ａ〜ｄの数や位置を限定し、または全体の中から選択して用いてもよい。
【００４８】
次に、被写体判別装置１による処理動作の例をフローチャートによって説明する。
【００４９】
図７は被写体判別装置１における顔判別処理のフローチャートである。
【００５０】
図７において、カメラ１１ａ〜ｄから処理装置１２に画像ＧＤＫａ〜ｄが順次入力されてくるが、まず最初に入力された画像ＧＤＫについて（＃１１）、その画像ＧＤＫと登録顔画像ＴＪＫとの照合度Ｖを算出する（＃１２）。次の画像ＧＤＫを入力し（＃１３）、全ての画像ＧＤＫが入力されるまでステップ＃１１〜１３を繰り返す（＃１４）。そして、得られた全ての照合度Ｖに基づいて、最大照合度を推定して求める（＃１５）。最大照合度としきい値Ｔｈとを比較し（＃１６）、比較によって一致するか否かを判別し（＃１７）、その結果を出力する（＃１８）。
【００５１】
上の実施形態では、カメラ１１ａ〜ｄを水平方向のみに配置したが、垂直方向や斜め方向にも配置してもよい。また、図８に示すように、カメラ１１ａ，ｂ，ｃ，ｄ，ｅ…を３次元空間的に配置してもよい。各カメラ間の位置や角度の関係が既知である場合には、カメラを配置する間隔は、同一でなくてもよく、カメラごとに異なっていてもよい。
【００５２】
また、上に述べた実施形態では、登録情報ＴＪとして平均正面顔による登録顔画像ＴＪＫを使用した。登録情報ＴＪは、特徴量に変換した状態で保持しておいてもよく、また、別の登録画像や顔画像に関連する画像以外の情報を登録しておくことで、様々な被写体判別処理または顔認識処理に適用することができる。登録情報ＴＪとして個人の顔画像を使用する場合には、得られる属性値ＺＳは顔の照合度Ｖまたは認証度となる。また、例えば、登録情報ＴＪとして、登録顔画像ＴＪＫではなく、肌色面積率のしきい値Ｔｈ２といった情報を登録しておき、カメラ１１ａ〜ｄから得られる各画像ＧＤから検出した肌色面積率と登録した肌色面積率のしきい値Ｔｈ２とを比較してもよい。この場合には、顔の正面方向から撮影した画像ＧＤでは正面顔であるので肌色面積比率が高く、斜めから撮影した画像ＧＤになるほど髪の毛の影響によって肌色面積率が低下するので、このような性質を用いて正面顔検出を行うことが可能である。
【００５３】
また、登録顔画像ＴＪＫの顔の向きは正面顔に限られない。例えば、横顔であってもよい。登録顔画像ＴＪＫが横顔である場合には、入力された画像ＧＤが横顔の場合に照合度Ｖが高くなり、正面顔の場合には低くなる。その他、入力される画像ＧＤと登録顔画像ＴＪＫとの間の顔の向きの差と高い相関をもって変化する属性値であれば、上に述べたと同様な効果が得られる。例えば、丸顔であるか否か、口の形状から何の言葉を発話しているか、ということに関しても、人物の横から観察するよりも正面から観察する方が判断が容易である。これは、横顔の場合には、顔の輪郭や口の形状についての水平方向の情報が得難いためである。すなわち、被写体Ｑの向きに依存する属性値ＺＳ、例えば、発話内容、顔の輪郭などに対しては、本実施形態の被写体判別装置１による効果が大きい。
〔第２の実施形態〕
セキュリティ目的のアプリケーションにおいて、被写体Ｑが本人自身ではなく写真などを用いた成り済ましといった不正アクセスへの対応も必要である。次のそのような不正アクセスへの対応を行った被写体判別装置１Ｂについて説明する。
【００５４】
第２の実施形態の被写体判別装置１Ｂは、基本的には上に述べた被写体判別装置１と同じであるので、相違点についてのみ説明する。
【００５５】
図９は本発明に係る第２の実施形態の被写体判別装置１Ｂの機能的な構成を示すブロック図、図１０は各カメラ１１ａ〜ｄで撮影された成り済ましの被写体Ｑの画像ＧＤＳａ〜ｄの例を示す図、図１１は本人の画像ＧＤと成り済ましの画像ＧＤＳａ〜ｄとのそれぞれの照合度Ｖに基づく曲線ＬＫ２，３を示す図、図１２は登録顔画像ＴＪＫ２の例を示す図、図１３は本人の画像ＧＤと成り済ましの画像ＧＤＳａ〜ｄとのそれぞれの照合度Ｖに基づく曲線ＬＫ４，５の他の例を示す図である。
【００５６】
図９において、被写体判別装置１Ｂの処理装置１２Ｂには、顔画像格納部２１Ｂ、照合度算出部２２Ｂ、判別部２４Ｂ、およびしきい値格納部２５Ｂなどが設けられる。
【００５７】
顔画像格納部２１Ｂには、顔画像が登録顔画像ＴＪＫとして格納される。照合度算出部２２Ｂは、カメラ１１ａ〜ｄから得られるそれぞれの画像ＧＤについての照合度Ｖを算出する。
【００５８】
判別部２４Ｂは、照合度算出部２２Ｂによって算出された複数の照合度Ｖを示す点により近似される曲線について、被写体Ｑが登録顔画像ＴＪＫの本人であった場合とそうでなかった場合とを比較することにより、当該人物の顔が登録顔画像ＴＪＫと一致するか否かの判別を行う。
【００５９】
すなわち、図１０には、被写体Ｑとして写真が用いられた場合の成り済ましの画像ＧＤＳａ〜ｄが示されている。写真のような平面情報では、図１０に示されるように、各カメラ１１ａ〜ｄに対して、得られる画像ＧＤＳａ〜ｄは部位の配置が大きく変化することなく、上下左右の縮尺のみが大きく変化したような画像となる。したがって、図１１に示すように、本人の画像ＧＤの照合度Ｖに基づく曲線ＬＫ２と、成り済ましの画像ＧＤＳａ〜ｄの照合度Ｖに基づく曲線ＬＫ３とで、有為な差が生じることとなる。
【００６０】
図１１においては、照合度Ｖが部位の配置に大きく左右されるような照合アルゴリズムの場合の曲線ＬＫ３が示されており、本物の人物についての曲線ＬＫ２よりも急激な変化が現れている。この場合に、最大照合度となる位置における曲線ＬＫの曲率を算出し、経験的に得られる正常な曲率推定値と比較することにより、成り済ましであるか否かを判別することができる。経験的な曲率推定値は、多数のサンプル人物に対する正面顔付近での照合度から平均的な値を算出してもよいし、種々の角度から撮影することを本人が了解する場合には、予め撮影した種々の角度からの画像に対して曲率を算出して用いてもよい。また、曲率でなくても、変化の違いを検出できるものであればよい。例えば、隣合うカメラによる画像ＧＤの照合度との差分などを用いることも可能である。
【００６１】
また、部位の配置よりも頭部輪郭などに依存するような照合アルゴリズムの場合には、図１１の場合の逆となり、最大照合度の位置では本来の曲率よりも異常に小さい曲率が得られることとなる。
【００６２】
図１２に示す登録顔画像ＴＪＫ２は、人物の正面顔の画像を左右方向において縮尺を縮めた画像である。このような登録顔画像ＴＪＫ２を用いて顔判別を行うと、成り済ましの場合には、カメラＡおよびカメラＤのように端に寄った位置のカメラ１１ａ，ｄで撮影された画像ＧＤに対して照合度Ｖが高くなる。
【００６３】
すなわち、図１３に示すように、本人の画像ＧＤの照合度Ｖに基づく曲線ＬＫ４と、成り済ましの画像ＧＤＳａ〜ｄの照合度Ｖに基づく曲線ＬＫ５とで、有為な差が生じる。曲線ＬＫ５による場合には、端部において照合度がかなり高くなり、曲線ＬＫ４による場合との差が大きくなる。このように、これら２つの曲線ＬＫ４，５の差分量などを用いることにより、成り済ましであるか否かの判別を行うことが可能である。これにより、人物の顔認証において不正な成り済ましを防止することができる。
【００６４】
上に述べた各実施形態における特徴点は次のように整理することができる。
（１）  複数のカメラと単一の登録顔画像とによる顔認識を行う。
（２）  画像に対する顔判別または顔認識は、個々のカメラ単独に対してのみ行われる。複数のカメラで得られる顔画像間の関係は、これらの顔判別または顔認識の結果に対して関連付けを行う。
（３）  登録顔画像ＴＪＫとの照合度Ｖを属性値ＺＳとした場合に、登録顔画像ＴＪＫの顔の向きに近い向きで撮影された顔に対する属性値ＺＳと、遠い向きで撮影された顔の属性値ＺＳとでは、近い向きとの場合の方が値が大きくなるという性質を利用し、登録顔画像ＴＪＫの顔の向きと全く同じ向きから撮影された場合の画像に対して算出される属性値ＺＳを限られた数の画像から推定し、この推定された属性値ＺＳ（最大属性値ＺＭ）を用いて認識を行う。顔認識の種類としては、顔の向きとの間に相関のある情報の認識であれば適用可能である。例えば、顔認証、年齢推定、表情判別などに適用可能である。
【００６５】
したがって、上に述べた各実施形態では次のような利点がある。
（１）  被写体Ｑに対するカメラの向きが登録顔画像ＴＪＫと必ずしも同一の向きでなくでも判別および認識が可能となり、判別および認識のロバスト性が向上する。
（２）  １人の人物に対して、登録顔画像ＴＪＫは２次元画像一枚で済む。
（３）  被写体判別装置において統合的に扱う情報は、被写体判別結果（顔判別結果または顔認識結果）であって、画像ではない。そのため、データ量が少なく、処理速度が速く、被写体判別装置の構成が簡単となる。
（４）  被写体判別装置は、顔判別、顔認識、顔認証など以外にも適用可能であり、汎用的な構成をとることが可能である。
【００６６】
このように、上に述べた実施形態によると、被写体Ｑが登録画像と同じ向きで撮影されなかった場合においても、それらが一致するか否かの判別をロバストに行うことが可能である。しかも、登録画像などのデータ量が少なく、処理を高速に行うことができる。
【００６７】
上に述べた実施形態において、カメラ１１ａ〜ｄ、処理装置１２、被写体判別装置１などの全体または各部の構造、構成、形状、寸法、個数、画像の内容、処理の内容および順序、タイミングなどは、本発明の趣旨に沿って適宜変更することができる。            
【産業上の利用可能性】
【００６８】
本発明は、セキュリティなどのための人物の顔による認証に利用可能である。
【図面の簡単な説明】
【００６９】
【図１】本発明の第１の実施形態の被写体判別装置の機能を示すブロック図である。
【図２】被写体に対するカメラの配置状態の例を示す図である。
【図３】各カメラで撮影された被写体の頭部の画像の例を示す図である。
【図４】登録顔画像の例を示す図である。
【図５】画像と登録顔画像との照合度を各カメラの位置と対応付けて示す図である。
【図６】図５と同様な他の例を示す図である。
【図７】被写体判別装置における顔判別処理のフローチャートである。
【図８】カメラを３次元空間的に配置した例を示す図である。
【図９】本発明の第２の実施形態の被写体判別装置の機能を示すブロック図である。
【図１０】各カメラで撮影された成り済ましの被写体の画像の例を示す図である。
【図１１】本人の画像と成り済ましの画像とに基づく曲線を示す図である。
【図１２】登録顔画像の例を示す図である。
【図１３】本人の画像と成り済ましの画像とに基づく曲線の他の例を示す図である。
【符号の説明】
【００７０】
１，１Ｂ  被写体判別装置（顔判別装置）
１１  カメラ
１２，１２Ｂ  処理装置
２１，２１Ｂ  属性値算出用情報格納部（）
２２，２２Ｂ  属性値算出部（属性値算出手段、一致度合い算出手段）
２３  最大属性値算出部（最大属性値算出手段、最大一致度合い算出手段）
２４，２４Ｂ  判別部（判別手段）
２５  しきい値格納部
Ｑ  被写体
ＺＳ  属性値
Ｖ  照合度（属性値）
ＺＭ  最大属性値（最大一致度合い）
Ｔｈ  しきい値
ＧＤ  画像
ＴＪ  登録情報（登録画像、登録顔画像）
ＴＪＫ  登録顔画像
ＬＫ  曲線
【図１】
2007004536.tif 000003
【図２】
2007004536.tif 000004
【図３】
2007004536.tif 000005
【図４】
2007004536.tif 000006
【図５】
2007004536.tif 000007
【図６】
2007004536.tif 000008
【図７】
2007004536.tif 000009
【図８】
2007004536.tif 000010
【図９】
2007004536.tif 000011
【図１０】
2007004536.tif 000012
【図１１】
2007004536.tif 000013
【図１２】
2007004536.tif 000014
【図１３】
2007004536.tif 000015