(57)【要約】【課題】複数台のカメラ(マルチカメラ)を用いた高精度な顔画像処理装置を提供する。【解決手段】複数台のカメラ（１０１）からそれぞれ入力した画像に対して、ユーザの顔領域を抽出し、目鼻などの顔特徴点を検出し、検出された特徴点から顔特徴領域を抽出し（１０３）、ユーザの顔特徴量を計算する（１０３）。それらをあらかじめ登録してある顔特徴量と比較することで（１０５）、個人の識別を行なう（１０６、１０７）。【選択図】  図１
2004192378.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出する顔領域検出部と、この顔領域検出部により検出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置。
【請求項２】
前記顔領域検出部は、前記複数の撮像手段で撮像された画像からそれぞれ人の顔特徴点を検出して顔領域を検出する複数の顔領域検出手段からなり、前記顔特徴量抽出部は、前記顔領域検出部を構成する複数の顔領域検出手段により検出された複数の顔領域の画像からそれぞれ顔の特徴量を抽出する複数の顔特徴量抽出手段からなることを特徴とする請求項１記載の顔画像処理装置。
【請求項３】
前記複数の撮像手段により撮像された複数の画像について抽出された顔の特徴量同士を比較して被写体が写真であるか否かを判定する写真判定部を備えたことを特徴とする請求項１または２記載の顔画像処理装置。
【請求項４】
複数の撮像手段により撮像された複数の画像からそれぞれ顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点に基づいて他の画像に関する顔の特徴点の位置を推定する顔特徴点推定部と、前記顔特徴点検出部及び前記顔特徴点推定部の結果により修正された顔の特徴点を用いてそれぞれの画像から顔領域を切り出す顔領域切り出し部と、切り出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置。
【請求項５】
複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出する顔領域検出部と、所定の顔向き毎の人の顔領域集合の特徴量と前記顔特徴量抽出部で抽出された顔領域の特徴量とを比較して人物の顔向きを推定する推定部とを有することを特徴とする顔画像処理装置。
【請求項６】
複数の撮像手段により撮像された複数の画像から顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算する手段とを有することを特徴とする顔画像処理装置。
【請求項７】
複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出するステップと、検出された顔領域の画像から顔の特徴量を抽出するステップと、予め登録された特定人の顔の特徴量と前記抽出された顔の特徴量とから類似度を計算して人物の認識を行うステップと、その人物認識部の認識結果を出力するステップとを有することを特徴とする顔画像処理方法。
【請求項８】
複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出するステップと、所定の顔向き毎の人の顔領域集合の特徴量と前記抽出された顔領域の特徴量とを比較して人物の顔向きを推定するステップとを有することを特徴とする顔画像処理方法。
【請求項９】
複数の撮像手段により撮像された複数の画像から顔の特徴点を検出するステップと、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算するステップとを有することを特徴とする顔画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、複数台のカメラ（マルチカメラ)を用いて入力された画像から顔認識、顔向き検出などの顔画像処理を行う装置及び方法に関する。
【０００２】
【従来の技術】
顔画像を用いた認識は、物理的な鍵やパスワードと違い紛失や忘却の心配がないため、セキュリティの面で非常に有用な技術である。しかしながら、ユーザの立ち位置や背恰好などの個人差により顔の大きさが変化する上、顔の向きも一定ではないため、これらの顔のパターンの変動を吸収することが高精度な認識を行うのには不可欠であった。
【０００３】
これまで顔画像を用いて個人識別を行う技術としては、例えば非特許文献１などがある。これは動画像を用いることにより顔パターンの変動を抑え、認識を行う手法である。高精度な認識を行うためには動画像から個人の多様な顔パターンを集めることが重要であるが、パターン収集はユーザ自身の顔の動きに依存しているという問題があった。
【０００４】
顔画像認識によるセキュリティシステムにおいては、顔写真などによる不正アクセスの危険性がある。そのため、入力された顔が実物か写真かを正確に見分けたいという要求がある。そのときビデオカメラ一台のみから構成されるシステムでは、写真の画質が高い場合、画像情報のみでは区別することが難しい。正確に判別するためには、対象物体の動きなどから３次元情報を抽出するシェイプ・フロム・モーションの技術を利用することなどが考えられるが、３次元情報を正確に抽出できるような特徴点をテクスチャの少なく非剛体の物体である人間の顔から検出することは難しい。そのため、特別な機材を用いないビデオカメラ一台のみのシステムでは対象が写真であるかどうかを正確に判断するのは難しいという問題がある。
【０００５】
カメラ一台のみから入力された画像ではカメラの画角には限界があるため、顔の向きや眼鏡の反射などにより顔の特徴点が隠れてしまうという、オクルージョンや反射などの問題が発生することがある。そのため、隠れや陰影の影響により常に全ての顔特徴点を検出することは難しい。また、正しい位置の特徴点が隠れてしまうため、検出できなかったり、できたとしても本来正解とすべき点からずれた点を誤検出してしまうなど、検出結果が不安定かつ不正確になりやすいという問題がある。
【０００６】
人間の行動を画像から理解しようとした際に、その人間の顔がどの方向を向いているのかは非常に重要な情報のひとつである。そのため、ロバストに顔の向きを検出したいという要求がある。従来の技術では、一台のカメラから、特定の顔領域を切り出してさまざまな角度から撮影したテンプレートとマッチングする方法や、特徴点を抽出して幾何学的な情報を元に計算する方法や、顔の３次元形状を抽出して向きを計算する方法などが知られている。しかし、テンプレートマッチングでは１枚の画像を比較するだけなので高精度化しにくい、幾何学的に計算する方法では顔の特徴点が正確に出しにくく、顔が非剛体のため誤差を含むことがあることや、顔の３次元形状を利用する方法では、レンジファインダなどの特別な機材を要求したり、ステレオ法などでは計算コストがかかったりするなど、顔の形状復元自体が困難な問題である、といった問題点がある。
【０００７】
従来の顔認識のシステム、例えば特許文献１などにおいても、カメラは複数でも良いとされている。しかし、単純にカメラを増やした場合、ユーザの混入という問題点が生じる。例えば、一度に検出可能な顔の数が１つだけだと仮定すると、マルチカメラでユーザを撮影したときに、図９に示すように、あるカメラではユーザＡだけを検出でき、あるカメラでは別のユーザＢだけを検出してしまうことがある。そのとき、検出されたユーザＡとユーザＢの顔特徴を同じ人物のものとして扱ってしまった場合には、他人の情報が混ざってしまうため、誤認識が起きる原因となる。
【０００８】
さらに、もし人物の登録時にこの他人が混ざるという現象が起きた場合には、ユーザＡだけでなくユーザＢの情報も登録されてしまうため、ユーザＢが登録許可されてない人物だとすると、ユーザＢはユーザＡの登録データに対して高い類似度がでてしまい、他人に成りすまして通行できてしまい、セキュリティ面で問題となる。また、一度に検出可能な顔の数が複数だとしても、検出できた顔のカメラ間の対応付けを行わなければ、同様に他人混入の問題が発生してしまう。
【０００９】
【特許文献１】
特開２００２-１３７３４公報
【００１０】
【非特許文献１】
山口、福井、「顔向き表情変化にロバストな顔認識システム'smartface'」, 信学論 (D-II), vol.J４-D-II, No.６, p.１０４５-１０５２, ２００１.
【００１１】
【発明が解決しようとする課題】
以上説明したように、顔画像を用いた従来の顔画像技術では、個人の多用な顔パターン画像を収集する必要がある、人物の立ち位置、顔向き変動等の要因により認識精度が制限される等の問題があった。また複数のカメラを用いて人物認証しようとすると、ユーザの混入により人物認証を誤るという問題があった。
【００１２】
本発明は上記の問題を解決するために、マルチカメラを用いて個人を多方向から同時に撮影することで多様な顔パターンをユーザに負担をかけずに収集し、さらにマルチカメラから得られる情報を有効に利用することでより高精度な人物の認識を行うことを目的とする。
【００１３】
【課題を解決するための手段】
本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出する顔領域検出部と、この顔領域検出部により検出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１４】
また本発明においては、前記顔領域検出部は、前記複数の撮像手段で撮像された画像からそれぞれ人の顔特徴点を検出して顔領域を検出する複数の顔領域検出手段からなり、前記顔特徴量抽出部は、前記顔領域検出部を構成する複数の顔領域検出手段により検出された複数の顔領域の画像からそれぞれ顔の特徴量を抽出する複数の顔特徴量抽出手段からなることを特徴とする。
【００１５】
また本発明においては、前記複数の撮像手段により撮像された複数の画像について抽出された顔の特徴量同士を比較して被写体が写真であるか否かを判定する写真判定部を備えたことを特徴とする。
【００１６】
また本発明においては、複数の撮像手段により撮像された複数の画像からそれぞれ顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点に基づいて他の画像に関する顔の特徴点の位置を推定する顔特徴点推定部と、前記顔特徴点検出部及び前記顔特徴点推定部の結果により修正された顔の特徴点を用いてそれぞれの画像から顔領域を切り出す顔領域切り出し部と、切り出された顔領域の画像から顔の特徴量を抽出する顔特徴量抽出部と、予め登録された特定人の顔の特徴量と前記顔特徴量抽出部で抽出された顔の特徴量とから類似度を計算して人物の認識を行う人物認識部と、その人物認識部の認識結果を出力する出力装置とを有することを特徴とする顔画像処理装置を提供する。
【００１７】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出する顔領域検出部と、所定の顔向き毎の人の顔領域集合の特徴量と前記顔特徴量抽出部で抽出された顔領域の特徴量とを比較して人物の顔向きを推定する推定部とを有することを特徴とする顔画像処理装置を提供する。
【００１８】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出する顔特徴点検出部と、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算する手段とを有することを特徴とする顔画像処理装置を提供する。
【００１９】
また本発明においては、複数の撮像手段により撮像された複数の画像から人の顔特徴点を検出して顔領域を検出するステップと、検出された顔領域の画像から顔の特徴量を抽出するステップと、予め登録された特定人の顔の特徴量と前記抽出された顔の特徴量とから類似度を計算して人物の認識を行うステップと、その人物認識部の認識結果を出力するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２０】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出して顔領域を検出するステップと、所定の顔向き毎の人の顔領域集合の特徴量と前記抽出された顔領域の特徴量とを比較して人物の顔向きを推定するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２１】
また本発明においては、複数の撮像手段により撮像された複数の画像から顔の特徴点を検出するステップと、前記複数の画像間の空間的な対応関係に従い一の画像について求められた顔の特徴点を他の画像に関する顔の特徴点に変換し、それぞれの特徴点間の距離を計算するステップとを有することを特徴とする顔画像処理方法を提供する。
【００２２】
【発明の実施の形態】
以下に図面を参照して本発明を詳細に説明する。
【００２３】
まず、本発明に関わる第１の実施例について述べる。第１の実施例は、マルチカメラから入力された画像からそれぞれ顔特徴領域を検出し、その特徴領域から顔のもつ特徴量を計算し、人物の識別を行い、結果を出力するものである。
【００２４】
図１は第１の実施例の構成を表す図である。画像入力部１０１は複数のビデオカメラ１０１ａ〜１０１ｎから構成される。被認証者を撮像するカメラの数は２台以上ならばいくつでも良い。以下の説明ではカメラが３台の場合について説明する（図２参照）。顔領域検出部１０２は各カメラ１０１ａ〜１０１ｎから入力された複数の画像から、被認証者の顔の特徴点（目、瞳、鼻孔など）を検出する。検出された顔の顔特徴点の大きさ、相対位置関係に基づいて、一定の大きさ、形状に領域を切り出し、その領域の傾きや大きさを補正してｍ×ｎ画素（ピクセル、ｍ、ｎは自然数）の大きさの顔特徴領域を作成する。
【００２５】
顔特徴量抽出部１０３では、作成された顔特徴領域の画像から顔特徴ベクトルを作成する。顔特徴ベクトルは、例えば、各要素を画素値とするｍ×ｎ次元のベクトルでも良いし、さらにヒストグラム平坦化や微分処理やフーリエ変換などの処理を施すこともできる。複数カメラから構成される画像入力部１０１と顔領域検出部１０２を介して時系列的に取得される複数の画像を複数の顔特徴ベクトルとして、それらのベクトルに対してＫ−Ｌ展開を行い、得られた正規直交ベクトルをその人物の顔特徴量とする。被認証用の人物の登録時には、この顔特徴量をその被認証者の識別データとして登録情報保持部１０５に保存しておく。
【００２６】
人物認識部１０４では、入力された未知の人物の顔特徴量と、あらかじめ登録情報保持部１０５に保存されている認証用の人物の顔特徴量を比較することにより類似度を算出し、人物の同定を行う。出力装置１０６は認識結果を映像または音声もしくはその両方によりユーザに提示するものである。
【００２７】
本実施例のシステム構成例を図２に示す。本実施例における画像入力手段２０１ａ〜２０１ｃは３つまたはそれ以上の画像入力手段、例えばビデオカメラなどの動画像撮像装置、スチルカメラ等の静止画撮像装置などで構成される。これら複数のカメラは同時に被認証者の画像を取得するため、撮像領域を重ねるように空間的に配置される。図１の顔領域検出部１０２、顔特徴量抽出部１０３、人物認識部１０４は、図２の演算処理手段２０２、例えばパーソナルコンピュータ上で動作するプログラム（ソフトウェア）で構成される。図１の登録情報保持部１０５は、図２の演算処理手段２０２に備えられた磁気記憶装置（ハードディスク）、光学的記憶装置（ＤＶＤ−ＲＯＭ、追記または書き換え型のＤＶＤ記録媒体）などで構成される。図１の出力装置１０６は、図２の表示手段２０３（スピーカを含む。図示せず）で構成され、顔認証の結果を映像、音声などで出力するものである。
【００２８】
本実施例の各構成部について以下で詳細に述べる。
【００２９】
画像入力部１０１ではビデオカメラもしくは特別な入力装置から対象となる人物の顔を含む動画像を入力する。例えば一般的なＵＳＢカメラやデジタルビデオの他に、パンチルトズームができるカメラや、レンジファインダのような３次元情報の入力装置などもあり得る。また、赤外線カメラを用いることにより、照明条件による影響が少ない画像を撮影し、認識の精度を向上させることもできる。各カメラ１０１ａ〜１０１ｎは同一構成の機器でも良いし、それぞれ別の構成の機器でもかまわないものとする。また、各カメラ同士で同期信号などを利用して、画像入力のタイミングの同期を取っても良い。各カメラ間及び各カメラ以降の処理手段（例えばパーソナルコンピュータ）との接続方式はＵＳＢとＩＥＥＥ１３９４、ネットワーク経由など、複数の接続方式が混在していてもかまわない。カメラの配置はフレームなどの機器に固定しても、自由に動くようにしても、アームや回転台など特別な機材を用いて各カメラを動的に空間的に移動させても良い。
【００３０】
画像入力部１０１より得られた画像は逐次、顔領域検出部１０２に送られる。顔領域検出部１０２では、複数のカメラから入力された各画像から被認証者の顔特徴点および顔特徴領域を求める。具体的には、目（瞳）、鼻孔等の位置的な幾何拘束だけでなく，円、だ円形状の分離度フィルタによる特徴点の形状情報の抽出とパターンによる照合を組み合わせることによりロバストに顔特徴点を抽出する。顔特徴点が求まったら、その点、及び特徴点の位置関係に基づいて、顔の傾きや大きさの補正を行い、得られた画像からある一定の大きさの顔特徴領域を切り出す。
【００３１】
顔特徴量抽出部１０３では、求められた顔特徴領域の画像から顔特徴量を求める。まず、ｍ×ｎピクセルの顔特徴領域の画像を各ピクセルの画素値を要素とするようなｍ×ｎ次元の顔特徴ベクトルに変換する。さらに画像入力部１０１から顔領域検出部を介して得られる複数の画像に対して同様の処理を施し、時系列で複数の顔特徴ベクトルを取得する。このとき画像入力部における各カメラからの入力は任意に選択可能である。例えば、全てのカメラについて得られる同数の画像を入力しても良いし、ある特定のカメラの画像の数を相対的に増やしたり減らしたりしても良い。このように得られた複数の顔特徴ベクトルをＫ−Ｌ展開することで正規直交ベクトルを求め、その正規直交ベクトルを基底とするような部分空間をその人物に関する顔特徴量とすることができる。
【００３２】
登録情報保持部１０５では、得られた顔特徴量（を表わす部分空間）をハードディスクやメモリなどの記録媒体に保存する。保存媒体はカメラ等を制御し、人物認証プロセスを処理するパーソナルコンピュータに接続されているか、ネットワークを経由した別のコンピュータに接続されているものとする。記録媒体自体はバックアップなどのため取り外し、交換して可能であっても差し支えない。
【００３３】
人物認識部１０４では、入力された被認証者の人物の顔特徴量と、すでに登録情報保持部１０５に登録されている顔特徴量を比較することで、登録済みの人物と一致するか否か（登録済みの同一人物と判定されるか否か）等の人物の同定を行う。顔特徴量同士の比較の方法は、例えば相互部分空間法があるが、認識方法は他のパターン認識方法を用いてもかまわない。ここにいう相互部分空間法とは、調べたい２つの部分空間があったときに、部分空間同士の為す角度（正準角という（Ｎ次元部分空間ならＮ個存在する））を計算し、得られた正準角のうち最小の角度を類似度とする手法であり、従来の静止画ベースの手法と異なり、辞書と入力に部分空間を用いることで１つの間違った(不適当な)パターンや，パターンのばらつきに左右されることなく、安定した認識を行うことができる。このような認識方法により顔特徴量同士の類似度を算出することができる。その類似度をある所定の閾値で判定し、登録された人物との同定をする。閾値は事前の認識実験などで定めた値でも良いし、人物の特徴量に応じて増減させることもできる。
【００３４】
出力装置１０６では、人物認識部の結果に応じて、画像や文字からなる映像もしくは音声との組み合わせにより、ユーザに結果を提示する。出力装置１０６は、パーソナルコンピュータの表示装置として通常使われるＣＲＴもしくは液晶パネルなどの他にも、スピーカや液晶プロジェクタとスクリーンなどの出力装置を自由に組み合わせてユーザの理解を助けることができる。
【００３５】
次に本発明にかかわる第２の実施例について述べる。本実施例では、複数の画像取得手段（マルチカメラ）を用いた顔画像処理装置においてユーザの画像を取得するカメラを複数台配置し、それぞれのカメラごとに得られる画像情報の特性を比較することにより、登録されている他人の顔写真などを利用して不正な認証結果を得ようとする場合などに、それを実際の人間か顔写真かを判別して認識する装置について説明する。
【００３６】
図３は本実施例の構成を示したものである。画像入力部３０１は複数台（Ｎ台）のビデオカメラ３０１ａ〜３０１ｎである。各カメラから入力された顔画像は、各カメラに対してそれぞれ設けられた顔領域検出部３０２ａ〜３０２ｎにより被認証者の顔特徴点が検出され、顔特徴領域が抽出される。その後、各カメラごとに設けられた顔特徴量抽出部３０３ａ〜３０３ｎにより、顔領域検出部３０２ａ〜３０２ｎで抽出された顔特徴領域の画像に基づいて被認証者の顔の特徴量（例えばｍ×ｎ次元の顔特徴量ベクトル）が抽出される。
【００３７】
次に写真判定部３０４について詳しく述べる。写真判定部３０４では、各カメラ３０１ａ〜３０１ｎから得られた画像に対して計算された顔特徴量ベクトルに基づいて、２つのカメラの組の間の画像の類似度を計算する。例えば、カメラ１から得られた画像の顔特徴量１とカメラ２から得られた画像の顔特徴量２の間の類似度を計算して、カメラ１の出力画像とカメラ２の出力画像とを比較する。
【００３８】
例えばカメラ１とカメラ２が空間的に水平方向（左右）に並べて配置されていた場合を想定する。図８に被認証者を撮像して得られる画像のパターン（８０１〜８０３）と角度を変えて撮像した写真画像のパターン（８０４〜８０６）とを示す。図８に示すように、被認証者の顔を実際に撮像して得られる顔画像（８０１〜８０３）は、被写体が３次元物体であるので、複数のカメラから得られた画像について顔の傾きや大きさを補正しても、カメラ１とカメラ２では同じ顔パターンにはならない。しかし写真画像を複数のカメラで撮像した場合（８０４〜８０６）は、写真画像上の顔画像は平面であるため、複数カメラで撮像された画像をアフィン変換などで傾きや大きさを補正すると、得られる顔パターンはカメラ１とカメラ２で同じ画像になる。これにより被写体が立体物（人物の顔）であるか、平面物（写真）であるかを区別することができる。
【００３９】
よって写真判定部３０４により被写体が立体物（人物の顔）か平面物（写真）であるかを区別し、人物の顔である場合（入力が写真画像ではない場合）には登録情報保持部３０６に登録された個人認証用の顔特徴ベクトルと被認証者の顔の特徴量ベクトルとを比較することにより人物認証を行ない（人物認識部３０５）、認証結果を出力装置３０７に出力する。特に本実施例では、顔特徴量抽出部３０３ａ〜３０３ｎにおいてカメラ３０１ａ〜３０１ｎごとにそれぞれ顔特徴量が計算されているので、全体としての顔特徴量を求めることが必要である。顔特徴量抽出部３０３ａ〜３０３ｎでのＫ−Ｌ展開する前の各カメラから得られた顔特徴領域をひとまとめにして、Ｋ−Ｌ展開を再度計算することにより１つの顔特徴量を計算し、それらと登録情報保持部との顔特徴量との類似度を計算することができる。写真判定部３０４で、入力された画像が写真画像であると判断された場合は、人物認識部３０５で処理することなく、出力装置３０７によりユーザに認識不可を通知する。
【００４０】
このように複数のカメラから得られる画像間の類似度を計算し、それがある閾値以上の（類似度が高い）場合は写真画像と判定できる。ここで複数のカメラ間の距離が極端に近い場合、３次元の物体であってもそれぞれのカメラから得られる画像間の類似度は高くなり、立体物か平面物かを区別することが難しくなる。そのため複数のカメラ間の距離はある程度の距離を離したほうが効果的に写真画像を排除することをできる。
【００４１】
また複数のカメラの組み合わせが複数存在する場合は、例えば複数のカメラの組ごとの類似度の和をとるなどして、すべて考慮に入れることにより、立体物が平面物かを識別を行なうことも可能である。この場合には識別精度を上げることができる。またセキュリティの面から、写真による拒否とはユーザには通知しないこともできる。表示上は通常の認識不可と同じ（人物認証に失敗しましたとのメッセージ、音声出力など）にしておき、システムの写真判定の判断基準に関する情報を不正なユーザになるべく提供しないようにする。また本実施例において登録情報保持部３０６は、登録時の各カメラからの顔特徴量を別々に保存しておき、それらと入力の各カメラからの顔特徴量との類似度を比較することもできる。
【００４２】
本発明にかかわる第３の実施例について述べる。本実施例では、複数の画像入力部（マルチカメラ）を利用し、一つのカメラからは顔の特徴点が検出でき、別のカメラでは隠れや歪みなどにより顔の特徴点を検出できない場合に、先の特徴点検出可能なカメラからの情報を元にして、特徴点検出不可のカメラから得られた画像における顔特徴点を推定し、顔の向きや特徴点の隠れに対してロバストに顔特徴を検出することで、より高精度な顔認識を行う装置を説明する。
【００４３】
図４は本実施例の構成を示したものである。画像入力部４０１ａ〜４０１ｎは複数（２台以上）の画像入力手段、例えばビデオカメラから構成される。その複数のカメラの配置やカメラの数は特に制限しない。
【００４４】
顔特徴点抽出部４０２ａ〜４０２ｎでは、複数のカメラ４０１ａ〜４０１ｎから得られた複数の画像の入力を受けて、それぞれの画像における被認証者の顔の特徴点を抽出する。抽出する顔の特徴点の構成およびその抽出方法は、第１の実施例における顔領域検出部と同じである。この顔特徴点抽出部４０２ａ〜４０２ｎにより、各カメラの入力画像からその画像に対応した顔の特徴点が得られる。ところで被認証者の顔の向き、立ち位置や各カメラの配置と向きによっては、特定のカメラで撮像された画像における一部もしくは全部の特徴点が抽出できない場合が考えられる。そのような場合に、顔特徴点推定部４０３により他の正しく抽出された特徴点に基づいて欠損した特徴点を計算により補完する。次にこの顔特徴点推定部４０３の詳細を述べる。
【００４５】
顔特徴点推定部４０３では、検出できなかった顔特徴点を推定する。そのためには複数の各カメラの位置関係が予め定まっていることが必要である。具体的には各カメラのキャリブレーション（カメラの相対的な位置合わせ、画像変換パラメータの設定）が行われていることが前提となる。カメラのキャリブレーションは、複数のカメラ間での撮像領域の対応が既知となるような画像上の点の組み合わせ（対応づけ）が必要である。
【００４６】
この対応点については、例えば、あらかじめカメラ等を設置した際に、大きさなどが全て既知の格子状などの特殊なキャリブレーションボードを用意し、そのキャリブレーションボード上の点を人間が手作業もしくは自動的にポイントすることで抽出することができる。あるいは人物の初期データ登録時に、ある時点のカメラ入力において全ての特徴点が求まった場合を考えると、それらの特徴点はカメラ間で対応が取れているので、その特徴点を用いてカメラをキャリブレーションすることもできる。画像間の対応点がいくつか得られれば、例えば、幾何学的および光学的特性が既知なもの（格子模様のボードなど）を撮影し、撮影された特徴点から幾何学的に対応を解いてカメラパラメータを求める手法によりキャリブレーションを実現することができる。
【００４７】
カメラがキャリブレーションできると、予め求められたカメラパラメータにより複数の画像間で対応点が得られているので、エピポーラ幾何等の変換処理を用いて３次元空間上の位置を計算することができる。よって複数のカメラ間で対応のとれている任意のピクセルの３次元空間上の座標を計算できる。３次元空間上の座標が計算できれば、任意の視点から見た座標に変換することができる。つまりあるカメラで検出できた顔特徴点は、他のカメラの視野に入っている場合、他のカメラにおける顔特徴点に変換することができる。
【００４８】
以上のような特徴点推定処理を行うフローチャートを図７に示す。まず複数（ｎ台）のカメラから被認証者の画像を入力し（ステップＳ１）、それらの画像から顔特徴点を抽出する（ステップＳ２）。この段階で、全てのカメラについて全ての特徴点が抽出されていた場合は、特徴点抽出成功として処理を終了する（ステップＳ７、Ｓ８）。一方、あるカメラから入力された画像について抽出できなかった特徴点が存在する場合（ステップＳ３）は、各特徴点がそれぞれ２つ以上のカメラで検出できたかを調べる（ステップＳ４）。２つ以上検出できなかった特徴点があった場合には、特徴点間の対応付けができず、３次元の位置を得ることができないので、特徴点抽出失敗として処理を終了する（ステップＳ９）。各画像について全ての特徴点は２つ以上抽出できている、つまり、特徴点間の対応付けができる場合（ステップＳ５）には、各特徴点について３次元空間上の座標に変換する。その３次元座標を、抽出できない特徴点を含むカメラから見た視点の座標系に変換し、特徴点を推定する（ステップＳ６）。全ての抽出できなかった特徴点を推定することで、特徴点抽出成功として推定処理は終了する（ステップＳ７、Ｓ８）。
【００４９】
また上記の構成とは別に、各画像について顔特徴点が抽出できた場合であっても、抽出された顔特徴点同士を各カメラで撮像された画像間で相互に特徴点を推定し、検出した座標と計算により推定した座標との差を調べることによって、特徴点抽出精度を検証し、誤検出の判定や、検出精度を向上させることもできる。
【００５０】
顔特徴点推定部で推定された顔特徴点に基づいて、補正された顔特徴点は、次に顔領域切り出し部４０４ａ〜４０４ｎに送られる。顔領域切り出し部４０４ａ〜４０４ｎでは、この顔特徴点に基づいて一定の大きさ、形状の顔領域を切り出し、傾きや大きさを補正してｍ×ｎピクセルの大きさの顔特徴領域の画像を作成する。
【００５１】
顔特徴領域の画像が作成されたら、第１の実施例で述べたように、顔特徴量抽出部４０５でｍ×ｎ次元の顔特徴ベクトルを生成し、これをＫ−Ｌ展開することで被認証者の顔特徴量を計算する。この顔特徴量とあらかじめ登録情報保持部にある顔特徴量とを人物認識部において比較することで、個人の顔画像情報による本人識別を行う。
【００５２】
本発明にかかわる第４の実施例について述べる。本実施例では、マルチカメラを用いて対象となる人物の顔がどちらを向いているかを安定かつ正確に検出する方法について説明する。
【００５３】
本装置は、図５の構成図に示す通り、複数のカメラ５０１ａ〜５０１ｎから構成される画像入力部５０１、入力された画像から顔を検出する顔領域検出部５０２、顔領域から顔の向きを計算する顔向き推定部５０３、あらかじめ顔のさまざまな向きの画像を登録しておく登録情報保持部５０４、検出結果を提示する出力装置５０５から構成される。次に各構成要素の詳細を述べる。
【００５４】
画像入力部５０１は複数のビデオカメラで構成され、それらのカメラは２台以上とし、被認証者の顔画像を同時に撮像可能とするように配置される。ここでカメラの台数は特に制限しない。
【００５５】
顔領域検出部５０２では、各カメラからの入力画像から被認証者の顔特徴点を検出し、それに基づいて画像から顔領域を切り出し、大きさを正規化してある一定の大きさの顔特徴領域を切り出す。これは例えば、第１の実施例と同じ方法を用いることにより実現することができる。
【００５６】
顔向き推定部５０３では、切り出された顔特徴領域を利用して、対象の人物がどちらを向いているかを推定する。ある時刻にマルチカメラから撮影された画像(切り出された顔特徴領域)の組をひとつの顔向き特徴領域集合として定義し、その顔向き特徴領域集合に基づいて被認証者の顔向きの推定を行う。図６は、異なった位置に配置されたカメラ３台の場合のある時刻において撮像された特定の被認証者の顔画像３枚（６０１、６０２、６０３）の顔向き特徴領域集合の例を示す。顔向き推定は、入力から得られた顔向き特徴領域集合と、ある角度ごとに登録情報保持部５０４にあらかじめ登録された顔向き特徴領域集合とを比較することで行う。顔向き特徴領域集合をどのように扱い、どのようにそれぞれを比較するかは様々な方法があるが、例えば次のような方法で行うことができる。
【００５７】
まず、Ｎ台のカメラからシステムが構築されていた場合、Ｎ個の顔特徴領域により顔向き特徴領域集合が構成される。このとき、顔特徴領域がそれぞれｍ×ｎピクセルのサイズであるとすると、顔向き特徴領域集合を顔特徴領域を横に並べたｍ×ｎピクセルの領域として定義する。この顔向き特徴領域集合を、画素値を要素とするｍ×ｎ次元の特徴ベクトルとみなすことで、顔向き特徴領域集合をひとつの顔向き特徴量に変換する。そして、既知の角度に対する既知の顔向き特徴量を複数集めておき、それらをＫ−Ｌ展開して、それぞれの角度に対応する部分空間として登録情報保持部５０４に顔向き特徴部分空間として登録する。これを所定の単位角度（５度、１０度など）でサンプリングされた複数の角度の分について全て計算する。実際に顔向き推定を行う場合は、入力されたある時刻に撮像された顔画像について顔向き特徴量を計算し、それと登録情報保持部に登録されている顔向き特徴部分空間と比較することにより、例えば部分空間法（少数の低次の固有ベクトルのみを用いて認識を行う手法。パターンを少ない次元で効率的に照合することができる）等の手法により判定を行う。
【００５８】
この顔向き特徴領域集合から顔向き特徴量に変換する方法は、取得された顔画像データをただ単に横に並べるだけではなく、他のデータとの組み合わせや、前処理として顔画像データに微分フィルタなどの他の何らかの処理や変換を施しても良い。また、入力と登録情報保持部との類似度の算出方法も部分空間法ではない他の手法を用いても良い。登録情報保持部に角度ごとに登録されている顔向き特徴量との比較も、全ての組み合わせについて調べる必要はなく、例えば、ある角度で低い類似度がでた場合はその近傍の角度では計算しないなど、処理を高速化することもできる。
【００５９】
最終的に、判定された顔の向きの結果は出力装置５０５に送られて、ユーザに結果を提示（表示手段に結果のメッセージを表示、音声で出力）したり、別の処理のために送られたり、記録装置などに書き込まれたりなどされる。
【００６０】
次に本発明にかかわる第５の実施例について述べる。本実施例では、複数の画像入力装置（マルチカメラ）で得られた画像について特徴点抽出を行った際に、その特徴点の位置から被認証者の立ち位置（マルチカメラとの相対位置）を推定し、それが同一の場所に存在するかどうかを判定する装置について説明する。
【００６１】
図１０は本実施例の構成を示したものである。画像入力部１００１は２台以上の一般的なビデオカメラ、スチルカメラもしくはその他の複数の撮像装置１００１ａ〜１００１ｎにより構成され、種類や数は特に限定しない。ただし各カメラにより撮像された画像の変換パラメータに関するキャリブレーション済みであり、カメラパラメータやカメラ間の位置関係は既知であるとする。
【００６２】
顔特徴点抽出部１００２ａ〜１００２ｎでは、画像入力部１００１ａ〜１００１ｎからの画像の入力を受けて、それぞれの画像について顔の特徴点を抽出する。ここで抽出する顔の特徴点およびその抽出方法は、第１の実施例における顔領域検出部と同様の手法を用いることができる。
【００６３】
他人混入判定部１００３では、それぞれの画像について検出された顔特徴点に基づいて、その各カメラから得られた特徴点が同一の人物をあらわしているかどうかを判定する。この他人混入判定部について詳しく説明する。
【００６４】
あるカメラで取得された顔画像に対応する人物Ａと、同時に別のカメラで取得された顔画像に対応する人物Ｂとが同一であるかを判定する方法について説明する。第３の実施例において説明したように、画像入力部を構成するマルチカメラがキャリブレーション済みであるならば、各カメラ間で対応づけられた画像平面上の任意の点を相互に３次元空間上の点に座標変換することができる。そこで、それぞれのカメラから取得された画像について得られた特徴点を全て３次元空間上の座標に変換する。その変換された座標系で、同種の特徴点(例えば右目と右目)の距離Ｌを計算する。距離の尺度は、例えば一般的なユークリッド距離などを利用することができる。その距離Ｌが所定のしきい値よりも大きい場合は、それらの特徴点は同一ではない可能性がある。変換された座標上でそれぞれ対応する特徴点について、対応点間の距離Ｌを計算し、カメラごとに特徴点ごとの距離Ｌの総和、平均値をとるなどして、ひとつの尺度Ｌ＊を計算し、それがある一定のしきい値以上であれば、ひとつのカメラで取得された顔画像に対応する人物Ａと別のカメラで取得された顔画像に対応する人物Ｂとは別人であると判断できる。かかる判断が得られた場合には、他人が混入していると判定される。一方、距離Ｌが所定のしきい値以内であれば、それらの顔画像に対応する人物は同一であるとして、他人は混入していないと判定される。
【００６５】
ここで各カメラから複数の人物に対応した顔画像が検出された場合は、各カメラの顔ごとに上記のＬ＊を計算し、個別に顔の対応付けを行なうことにより、複数の人物について顔画像のグルーピングを実現することも可能である。
（変形例）
第３の実施例において、複数のカメラから得られた画像に対する各特徴点を検出する際に、その特徴点の類似度（確からしさ）を計算することもできる。例えば推定した後の特徴点の確からしさＥｐを、対応付けを行った２つの特徴点の類似度の積として、計算することができる。この場合には、特徴点の類似度上対応付け（推定）ができたとしても、その確からしさＥｐの値が小さい場合は、これを無視するなどして最終的な顔検出精度を向上させることができる。
【００６６】
また第４の実施例において、顔向き推定を行った際に、その推定値と特定の角度に対する顔向き特徴量などを用いて顔の個人識別を行うこともできる。例えば、各登録人物においてさまざまな向きの特徴量データをあらかじめ登録しておき、推定された向きに応じて比較する特徴量データを切り替えて個人識別をすることにより、処理を高速化、認識精度を向上させることができる。
【００６７】
また第５の実施例において、複数カメラ間のキャリブレーションできないなど、特徴点の３次元的な座標を求めることができない場合は、計算された特徴点から顔領域を切り出し、一般的なテンプレートマッチングや部分空間法により判定の尺度Ｌ＊を計算することもできる。以上のような変形を加えて本発明を実現することも可能である。
【００６８】
【発明の効果】
以上説明したように本発明によれば、複数台のカメラにより多様な画像を収集し、特徴量を抽出することにより、ロバストな顔認識を行うことができる顔画像処理装置が可能となる。また不正な写真によるアクセスを判定したり、隠れや陰影により顔特徴点が検出できない場合であっても、特徴点を推定し、認識精度を向上することができる。また被認証者の顔の向きも考慮し、処理に他人が混入していないか調べることにより、精度の高い顔向き推定を実現することができる。
【図面の簡単な説明】
【図１】第１の実施例の構成図
【図２】第１の実施例の概観図
【図３】第２の実施例の構成図
【図４】第３の実施例の構成図
【図５】第４の実施例の構成図
【図６】顔特徴領域集合の例
【図７】顔特徴推定処理のフローチャート
【図８】実際の顔と写真の顔の見え方の違いを説明する図
【図９】他人が混入してしまう例を説明する図
【図１０】第５の実施例の構成図
【符号の説明】
１０１  画像入力部
１０１ａ〜ｎ  カメラ
１０２  顔領域検出部
１０３  顔特徴量抽出部
１０４  人物認識部
１０５  登録情報保持部
１０６  出力装置
【図１】
2004192378.tif 000003
【図２】
2004192378.tif 000004
【図３】
2004192378.tif 000005
【図４】
2004192378.tif 000006
【図５】
2004192378.tif 000007
【図６】
2004192378.tif 000008
【図７】
2004192378.tif 000009
【図８】
2004192378.tif 000010
【図９】
2004192378.tif 000011
【図１０】
2004192378.tif 000012