(57)【要約】【課題】顔の向きの変化、表情の変化、照明条件、あるいは、これらが複合的に絡み合うことにより発生する顔認証処理における判定精度を向上させる手法を提供すること。【解決手段】顔画像認証装置１０は、所定の方向の要素を含む撮影条件で撮影された登録顔画像取得する登録顔画像取得部１３、複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を取得する認証顔画像取得部１４、取得した登録顔画像に対する複数の認証顔画像の各々の類似度を照合することにより得、各類似度を方向の要素と関連付ける類似度データ算出部１６、関連付けられたこれらの情報が同一人物類似度群または異人物類似度群のいずれに帰属するかを、群判別データとの比較することにより、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像かどうかを判定する認証部１７を備え、認証顔画像と登録顔画像の同一性を判定する。【選択図】図１
2008065651.tif 000002
【特許請求の範囲】
【請求項１】
メモリと制御手段を有するコンピュータが行う方法であって、前記制御手段が、
一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データを導出する処理と、
所定の方向の要素を含む撮影条件で撮影された登録顔画像、および、複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を、それぞれ取得して前記メモリに保存し、保存されている前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、各類似度を方向の要素と関連付け、関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較により、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する処理とを実行する、
顔画像認証方法。
【請求項２】
前記制御手段が、顔画像およびこの顔画像の方向の要素からなる集合に、前記登録顔画像または前記認証顔画像を照合し、顔画像の特徴を比較することにより、前記登録顔画像の前記所定の方向の要素または前記複数の認証顔画像の複数の方向の要素を推定し、推定された方向の要素と関連づけられた類似度を含む情報の前記帰属を判定する、請求項１記載の顔画像認証方法。
【請求項３】
前記方向の要素は、顔画像の撮影方向、または、顔画像の撮影時における光の照射方向である、請求項１または２記載の顔画像認証方法。
【請求項４】
一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データが登録されたデータベースと、
前記データベースの登録情報を管理するデータベース管理手段と、
所定の方向の要素を含む撮影条件で撮影された登録顔画像を取得する登録顔画像取得手段と、
複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を取得する認証顔画像取得手段と、
前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、前記各類似度を方向の要素と関連付ける類似度算出手段と、
前記類似度算出手段によって関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較することにより、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する判定手段と
を備え、前記認証顔画像と前記登録顔画像の同一性を判定する、顔画像認証装置。
【請求項５】
一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データが登録されたデータベースにアクセス可能なコンピュータを、
所定の方向の要素を含む撮影条件で撮影された登録顔画像取得する登録顔画像取得手段、
複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を取得する認証顔画像取得手段、
取得した前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、前記各類似度を方向の要素と関連付ける類似度算出手段、および、
前記類似度算出手段によって関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較することにより、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する判定手段、として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像を認証する顔画像認証方法およびその関連技術に関する。
【背景技術】
【０００２】
顔画像認証方法とは、予めデータベース等に登録された人物の顔画像データ（登録顔画像）と、認証時に撮影された認証対象者の顔画像データ（入力画像）との類似度を算出し、その類似度が予め設定された閾値以上であれば、認証対象者はデータベースに登録された顔画像の人物と同一（照合成立）と判定し、その類似度が閾値未満であれば、認証対象者はデータベースに登録された顔画像の人物と非同一（照合不成立）と判定する技術である。
【０００３】
一般に、顔画像認証方法では、顔の向き、照明の条件、撮影機器の差異等からなる撮影条件の変化（要因１）、または、表情、化粧、装着物の有無、時間経過等からなる顔の状態の変化（要因２）等によって、撮影される顔画像が大きく異なるため、同一人物の顔画像同士であっても、所望の類似度が得られず、照合結果が不一致になることが少なからずある。そのため、このような顔画像の映り方の変化が生じないように、利用条件を限定しないと十分な照合精度が得られない。
【０００４】
しかしながら、顔画像認証方法の現実の利用シーンにおいては、撮影条件や顔の状態が照合処理に適するように設定することが困難な場合が多く、特に、不特定多数のユーザを対象とする場合は、撮影条件等を設定することがより困難になるため、安定して正確な照合処理を行うことが困難であった。
【０００５】
この課題に対し、従来の顔画像認証方法においては、より高い照合精度を確保するために、複数の顔画像を採取し、それぞれに対し照合を行い、類似度の最大値を採用する方法、または、類似度の算出にあたり、画像からの照明変化成分の除去、照明等の変化に対しても安定した顔画像特徴を用いる方法等があった。
【０００６】
また、非特許文献１には、類似度の算出にあたり、グラフマッチング法等を用いて、認証対象者の表情等の変化に対しても安定した顔画像特徴を用いる方法が開示されている。
非特許文献２には、類似度の算出にあたって、照明の変化、顔の向きによる顔画像の映り方の変化を、予め推定する方法が開示されている。
非特許文献３には、類似度の算出アルゴリズムを工夫し、照明条件の変化による顔画像の映り方の変化に対しても安定して類似度を算出する方法が開示されている。
特許文献１には、１人の登録者について照明条件が異なる複数の登録者顔画像データ毎に、認証対象者の顔画像から得た認証者顔画像データと照合して、その類似度を求め、類似度が抽出閾値よりも大きい登録者顔画像データが含まれている登録者毎に算出した類似度の総和に基づいて認証対象者が登録者であるかどうかを認証方法が開示されている。
【０００７】
【非特許文献１】川手雅人、細井聖著「実環境にロバストな顔認識技術とその応用」IIP2000情報・知能・精密機器部門講演会講演論文集  日本機械学会（２０００年３月）
【非特許文献２】今岡仁、佐藤敦著「判別分析と摂動画像法を用いた顔照合アルゴリズム」第４回情報科学技術フォーラム講演論文集（２００５年）
【非特許文献３】福井和広他著「制約相互部分空間法を用いた環境変動にロバストな顔画像認証−照明変動の影響を抑える制約部分空間の学習−」電子情報通信学会  論文誌D-II Vol.J82-D-II, No.4,p.613-620,1999
【特許文献１】特開２００５−５６００４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
従来の顔画像認証方法では、顔画像の映り方の変化が原因となって生じる誤認証に対して、上述のような改善がなされてきてはいるが、その対策は未だ不十分である。
中でも、顔の向きの変化に起因する誤認証に対しては十分な対策が行われているとはいえず、利用者が顔画像認証方法に慣れていない場合には、本人が意識しない程度の顔の向きの変化によっても、誤認証が生じる場合があるという課題があった。
また、顔の映り方の変化は、顔の向きの変化のみならず、前述の各種要因が複合的に発生してもたらされることが多く、上記の顔の向きによる変化と、照明の条件や表情の変化などが複合的に発生する場合は、認証精度がさらに低下するという課題があった。
さらに、特許文献１記載の顔照合方法では、登録顔画像に対する複数の認証顔画像の各々の類似度を照合することによって得る各類似度を方向の要素と関連付け、関連付けられたこれらの情報に基づいて認証を行う、という視点では行われていなかった。
【０００９】
本発明は、顔の向きの変化、表情の変化、照明条件、あるいは、これらが複合的に絡み合うことにより発生する顔認証処理における判定精度を向上させる手法を提供することを課題とする。
【課題を解決するための手段】
【００１０】
本発明が提供する顔画像認証方法は、メモリと制御手段を有するコンピュータが行う方法であって、前記制御手段が、一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データを導出する処理と、所定の方向の要素を含む撮影条件で撮影された登録顔画像、および、複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を、それぞれ取得して前記メモリに保存し、保存されている前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、各類似度を方向の要素と関連付け、関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較により、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する処理とを実行する。このため、認証顔画像と登録顔画像の画像データの相関度を多元的に検証することにより、認証顔画像と登録顔画像の同一性を正しく判定することができる。
【００１１】
ある実施形態では、前記制御手段が、顔画像およびこの顔画像の方向の要素からなる集合に、前記登録顔画像または前記認証顔画像を照合し、顔画像の特徴を比較することにより、前記登録顔画像の前記所定の方向の要素または前記複数の認証顔画像の複数の方向の要素を推定し、推定された方向の要素と関連づけられた類似度を含む情報の前記帰属を判定する。このため、認証顔画像または登録顔画像の方向条件を正しく判定できる。
【００１２】
ある実施形態では、前記方向の要素は、顔画像の撮影方向、または、顔画像の撮影時における光の照射方向である。このため、撮影方向の異なる複数の撮影手段によって撮影された顔画像、または、撮影時の光の照射方向が異なる状況において撮影手段によって撮影された顔画像のいずれに含まれる顔の方向であっても正しく判定することができる。
【００１３】
本発明が提供する顔画像認証装置は、一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データが登録されたデータベースと、前記データベースの登録情報を管理するデータベース管理手段と、所定の方向の要素を含む撮影条件で撮影された登録顔画像取得する登録顔画像取得手段と、複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を取得する認証顔画像取得手段と、取得した前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、前記各類似度を方向の要素と関連付ける類似度算出手段と、前記類似度算出手段によって関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較することにより、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する判定手段とを備え、前記認証顔画像と前記登録顔画像の同一性を判定する。
【００１４】
本発明が提供する顔画像認証用のプログラムは、一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物類似度群データと異人物類似度群データとを判別するための群判別データが登録されたデータベースにアクセス可能なコンピュータを、所定の方向の要素を含む撮影条件で撮影された登録顔画像取得する登録顔画像取得手段、複数の方向の要素を含む撮影条件で新たに撮影された認証対象者の複数の認証顔画像を取得する認証顔画像取得手段、取得した前記登録顔画像に対する前記複数の認証顔画像の各々の類似度を照合することにより得、前記各類似度を方向の要素と関連付ける類似度算出手段、および、前記類似度算出手段によって関連付けられたこれらの情報が前記同一人物類似度群または異人物類似度群のいずれに帰属するかを、前記群判別データとの比較することにより、前記複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定する判定手段、として機能させる。
【発明の効果】
【００１５】
本発明によれば、同一人物類似度群データと異人物類似度群データとを判別するための群判別データを用いて複数の認証顔画像と前記登録顔画像とが同一人物を撮影した画像かどうかを判定するので、登録顔画像と認証顔画像の顔方向が異なる場合、登録顔画像と認証顔画像における表情または照明の照射方向が異なる場合、または、登録顔画像と認証顔画像の顔方向、表情および照明の方向のすべてが異なる場合においても、高精度な顔画像認証を行うことが可能である。また、登録顔画像または認証顔画像の顔方向を判定できるので、登録顔画像または認証顔画像の顔方向が一定でない場合でも高精度な顔画像認証を行うことが可能である。また、登録顔画像と認証顔画像の撮影時に証明の照射方向が異なる場合でも、顔方向が異なる場合と同様に高精度な顔画像認証を行うことが可能である。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を適用した顔画像認証装置の実施の形態例を説明する。ここでは、認証対象者とは、本発明の顔画像認証装置による顔画像の認証を受ける者をいい、後述する撮影手段で撮影した認証対象者の顔画像を認証顔画像という。また、登録顔画像とは、認証を受けるために自己の顔画像を予め登録画像保持手段に登録している者をいう。すなわち、認証対象者が正しい登録顔画像を保持していれば、本発明を適用した顔画像装置によって認証顔画像と登録顔画像の同一性が認証される。
また、この形態例では、顔画像の撮影時における方向の要素として、後述するカメラに対する顔の方向（以下、顔方向））を用い、登録者の顔画像を予め登録した所定の登録顔画像保持手段として登録者が保持するＩＣカードを用いる場合の例を挙げる。
【００１７】
［構成］
図１は、本実施形態による顔画像認証装置の構成例を示した図である。この顔画像認証装置１０は、後述する同一人物類似度群データ、異人物類似度群データおよび顔方向集合データが登録されたデータベース１１、このデータベース１１の登録情報を管理するデータベース管理部１２、登録顔画像を取得する登録顔画像取得部１３、認証顔画像を取得する認証顔画像取得部１４、登録顔画像および認証顔画像の顔方向を判定する顔方向判定部１５、登録顔画像と認証顔画像の類似度を算出し、算出した類似度と顔画像の顔方向とを関連付ける類似度データ算出部１６、および、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像かどうかを判定する認証部１７を備える。
また、顔画像認証装置１０は、登録顔画像、認証顔画像、類似度および顔方向を保存するための内部メモリ（図示せず）を有する。顔画像認証装置１０内の各部１１〜１７は、必要に応じてこの内部メモリにアクセス可能である。
【００１８】
データベース１１に登録されている同一人物類似度群データおよび異人物類似度群データとは、一人の人物について複数の方向の要素を含む撮影条件で撮影された複数の顔画像が複数人分収集され、同一人物の顔画像同士、および、異なる人物の顔画像同士の照合により得られる類似度を前記複数の方向の要素の各々と関連付けることにより生成された顔画像の特徴の集合を表す群データに含まれる同一人物の顔画像同士および異なる人物の顔画像同士について得られる類似度群データをいう。この詳細については後述する。
また、顔方向集合データは、不特定多数の人物の顔画像と、その顔画像を撮影した際の顔方向とを関連付けて集合させたデータである。
なお、ここでは、顔方向判定部１５が登録顔画像および認証顔画像の顔方向の判定に用いる顔画像と顔方向とを関連づけた集合データ（以下、顔方向集合データ）がデータベース１１に登録されている形態について説明するが、この顔方向集合データは別個独立したデータベースに登録されていてもよい。
【００１９】
データベース管理部１２は、データベース１１に格納された３つのデータに登録された情報の読み書きの制御を行う。
登録顔画像取得部１３は、カード読取装置３に接続されており、このカード読取装置３によって読み取られたＩＣカード２に登録された登録顔画像を取得する。
認証顔画像取得部１４は、一人の認証対象者について複数方向から顔画像を撮影できる撮影手段である９個のカメラ４ａ〜４ｉに接続されている。図１には、図を簡略化するために２つのカメラ４ａとカメラ４ｉしか示さないが、実際には、正面、および、上下左右各２段階の計９方向から認証顔画像を撮影するように配設されている。
ここで、認証対象者の顔画像は、少なくとも２つ以上の方向から撮影されたものを取得できればよいため、認証対象者の顔画像を撮影するためのカメラは、２つ以上の方向から認証対象者の顔を撮影できるように構成されていればよい。
なお、図２に登録顔画像取得部１３および認証顔画像取得部１４がそれぞれ登録顔画像および認証顔画像ａ〜ｉを取得する処理段階を図示する。
【００２０】
顔方向判定部１５は、登録顔画像および認証顔画像のパターンを公知の部分空間法等のパターン認識法によって抽出し、抽出したパターンをデータベース１１に登録された顔方向集合データに含まれる顔画像の特徴（パターン）と比較する。さらに、この比較処理を顔方向集合データに含まれる顔画像の集合に対して統計的に行うことにより、図２に示すように登録顔画像ａ〜ｉおよび認証顔画像の顔方向Ｄ１〜Ｄ９およびＤ０を推定する。
例えば、顔方向集合データに予め十分な人数の人物について正面および上下左右２段階の計９方向から撮影した顔画像をサンプルとして登録しておき、ある認証顔画像の顔方向が、サンプル内のどの顔画像の顔方向に近いかを、部分空間法などのパターン認識技術を用いて特徴を比較することにより、認証顔画像ａ〜ｉの顔方向Ｄ１〜Ｄ９を推定することができる。
なお、登録顔画像の顔方向Ｄ０は、認証顔画像ａ〜ｉのいずれかの方向と同一であってもよいし、いずれとも異なる方向であってもよい。
【００２１】
また、顔方向判定部１５は、ＩＣカード２に印刷されている一枚の顔写真を表す登録顔画像についても、認証顔画像ａ〜ｉの顔方向判定と同様に、部分空間法を用いた統計的な処理により、顔方向Ｄ０の推定を行う。
なお、登録顔画像の顔方向Ｄ０は、予めＩＣカード２に登録されていてもよく、その場合は、顔方向判定部１５が推定する顔方向は、カメラ４ａ〜４ｉによって撮影された認証顔画像の顔方向Ｄ１〜Ｄ９だけとなり、以下の処理において必要な登録顔画像の顔方向Ｄ０としては、ＩＣカード２に登録された顔方向を用いるようにすればよい。
また、ここでは、部分空間法を用いた顔画像のパターン認識を行うことにより、登録顔画像および認証顔画像の顔方向を判定する形態について説明したが、顔画像から顔方向を判定できる統計的な手法であれば、他の方法を用いてもよい。
【００２２】
類似度データ算出部１６は、図２に示すように、方向判定部１５によって顔方向が判定された登録顔画像ａ〜ｉと認証顔画像の類似度Ｒａ〜Ｒｉを算出し、算出した類似度Ｒａ〜Ｒｉと顔画像の顔方向Ｄ１〜Ｄ９およびＤ０とを関連付ける。すなわち、図２に示すように、１つの登録顔画像（顔方向Ｄ０）に対して、９個の認証顔画像ａ〜ｉ（顔方向Ｄ１〜Ｄ９）を照合することにより、９つの類似度Ｒａ〜Ｒｉを算出し、それぞれの類似度Ｒａ〜Ｒｉが得られた登録顔画像および認証顔画像ａ〜ｉの顔方向の組み合わせ（方向Ｄ０−Ｄ１〜方向Ｄ０−Ｄ９）を類似度Ｒａ〜Ｒｉと関連付ける。
例えば、図３に示すように、各類似度は、Ｒａ＝０．５２、Ｒｂ＝０．３８、・・・、Ｒｉ＝０．２２というように求まる。
このようにして得られる９つの類似度Ｒａ〜Ｒｉおよび顔方向の組み合わせ（方向Ｄ０−Ｄ１〜方向Ｄ０−Ｄ９）は、９次元ベクトルを構成する。
【００２３】
ここで、顔画像の類似度を利用する顔画像認証技術における人物の同一性判別と、類似度の算出方法について説明する。
一般に、顔画像認証技術は、例えば、所定のデータベースに登録された同一人物又は異なる人物の複数の顔画像同士の類似度を予め導出しておき、そのデータベースに登録されている顔画像と、認証時に撮影された認証対象者の顔画像との類似度を算出する。この類似度が一定の値以上であれば、登録された顔画像の人物と認証対象者が同一人物であると判定する。一方、類似度が一定値に満たなければ、顔画像が登録された者と認証対象者は同一人物ではないと判定する。
【００２４】
顔画像同士の類似度の算出方法には様々なものがあり、その一例として、固有顔法(Eigenface method)が挙げられる。
この方法では、顔画像を画像サイズ（画素数）の次元数を持つ特徴ベクトルとみなし、予め収集した多数の顔画像の特徴ベクトルに対して、主成分分析（K-L展開: Karhunen-Loeve expansionとも称す）を行う。この分析で求められた固有ベクトルのうち、主成分形成への寄与率が高い複数の固有ベクトルを選択し、選択した固有ベクトルからなる射影行列を生成する。
【００２５】
ここで、上述の射影行列を用いて、データベースに登録されている複数の顔画像の特徴ベクトルの射影を求め、その射影した複数のベクトルの平均ベクトルもデータベースに登録しておく。
また、この射影行列を用いて、認証時に撮影された顔画像から得られるベクトルを射影し、射影したベクトルと、データベースに登録した平均ベクトルとの二乗誤差を求める。こうして得られた二乗誤差を、登録顔画像と認証時に撮影された顔画像との距離とする。顔画像同士の類似度は、この距離から求まる。ここで算出される距離は、顔画像同士の類似度とは絶対値の大きさが逆の関係であり、同一人物である場合に小さな値をとり、同一人物ではない場合に大きな値をとる。すなわち、顔画像同士の類似度は、同一人物である場合に大きな値をとり、同一人物ではない場合に小さな値をとる。
以上のような手法により、類似度データ算出部１６は、方向判定部１５によって顔方向が判定された登録顔画像ａ〜ｉと認証顔画像の類似度Ｒａ〜Ｒｉを算出する。
【００２６】
認証部１７は、例えばサポートベクターマシン法や核非線形判別分析法等の統計的手法によって実現される群判別方法を用いて、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像かどうかを判定する。この判定には、ｎ次元特徴空間において顔画像同士の類似度が同一人物類似度群データまたは異人物類似度群データのいずれに帰属するかを判別する群判別データを用いる。
この認証部１７には、端末５が接続されており、この端末５は、例えば、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像であるとの判定結果を受けた場合に、図示しないゲートを開錠する端末で構成することができる。この端末５は、顔画像認証装置の用途に応じて構成を適宜変更することができる。
【００２７】
ここで、群判別データの求め方について説明する。この群判別データは、本実施形態例による顔画像認証装置内の群判別面算出部（図示せず）、または、顔画像認証装置に接続された群判別面算出装置（図示せず）によって予め算出され、データベース１１に登録されている。ここでは、顔画像認証装置内の群判別面算出部によって群判別面を表すデータが算出される場合について説明する。
まず、群判別面算出部は、一人の人物について複数の顔方向で撮影された顔画像を複数人分収集する。これを学習用の顔画像の集合とする。この学習用の顔画像集合に含まれる各顔画像は、すべて顔方向が特定されており、また、上述した認証顔画像の顔方向および登録顔画像の顔方向として生じうるすべての顔方向のものが学習用の顔画像集合に含まれている必要がある。
【００２８】
次に、図４（ａ）に示すように、同一人物の顔画像データ同士を照合して得られる類似度の組と、異なる人物の顔画像データ同士を照合して得られる類似度の組とを算出する。これらの組に含まれる各類似度は、撮影時の顔方向と関連付けられている。例えば、顔方向がＤ１とＤ２の顔画像データを照合して類似度を算出したのであれば、その類似度と顔方向Ｄ１−Ｄ２とを関連付ければよい。
なお、この類似度の組は、照合される認証顔画像と登録顔画像とのすべての組み合わせに含まれる顔方向の組み合わせを含むように構成されている必要がある。
【００２９】
このような類似度算出および顔方向の関連付け処理を全ての学習用の顔画像について行うと、図４（ｂ）に示すように、ｎ次元特徴空間において、同一人物の顔画像同士および異なる人物の顔画像同士について、顔方向と関連付けられた類似度のデータを得る。このｎ次元の次元数ｎは、学習用の顔画像の集合に含まれるすべての顔画像の顔方向の数によって定まる。
【００３０】
図４（ｂ）中において、○のプロットで表される群データは、同一人物の顔画像同士によって得られる類似度を表し、同図中の×のプロットで表される群データは、異人物の顔画像同士によって得られる類似度を表す。
次に、群判別面算出部は、これらすべての類似群の各々をｎ次元の特徴ベクトルとみなし、サポートベクターマシン法によって実現されるパターン認識技術を用いて、すべての特徴ベクトルが同一人物の顔画像同士による類似度と、異なる人物の顔画像同士による類似度とを判別するための群判別面を表す群判別データを算出する。
すなわち、群判別データは、図４（ｃ）に示すｎ次元特徴空間に存在する顔画像同士の類似度が、同一人物の顔画像同士による類似度群に帰属するか、異なる人物の顔画像同士による類似度群に帰属するかを判別する面を表すデータである。
以上のようにして群判別データが求まる。
【００３１】
認証部１７は、類似度データ算出部１６によって算出された９次元のベクトルで表される登録顔画像と認証顔画像との類似度が、同一人物の顔画像同士による類似度群に帰属するか、異なる人物の顔画像同士による類似度群に帰属するかを群判別データによって判別する。
認証部１７は、登録顔画像と認証顔画像との類似度が同一人物の顔画像同士による類似度群に帰属すると判定した場合は、登録顔画像と認証顔画像は同一であると判定する。一方、登録顔画像と認証顔画像との類似度が異なる人物の顔画像同士による類似度群に帰属すると判定した場合は、認証部１７は、登録顔画像と認証顔画像は同一ではないと判定する。
【００３２】
ここでは、サポートベクターマシン法を用いた群判別を行う場合について説明したが、群判別を行う手法は、これに限らず、核非線形判別分析法等の他の手法によって行うこともできる。
【００３３】
図６は、本実施形態による認証処理の手順説明図である。
まず、認証対象者からの認証要求があるかを判定する（ステップＳ１）。具体的には、認証対象者によって、ＩＣカード読取装置３にＩＣカード２が通されたことを登録顔画像取得部１３が検出すると、認証要求があったと判定する。
次に、登録画像取得部１３は、ＩＣカード読取装置３を通じて、ＩＣカード２に登録された登録顔画像を取得する（ステップＳ２）。
【００３４】
認証顔画像取得部１４は、カメラ４ａ〜４ｉによって撮影された認証顔画像ａ〜ｉを取得する（ステップＳ３）。
次に、顔方向判定部１５は、登録顔画像と認証顔画像ａ〜ｉの顔方向を判定する（ステップＳ４）。すべての登録顔画像と認証顔画像について顔方向を判定した場合は、処理手順はステップＳ５に進行する。
このステップＳ４において、判定された認証顔画像または登録顔画像の顔方向が顔方向集合データに含まれるサンプルの顔画像の顔方向と一致しない場合は、その認証顔画像または登録顔画像の顔方向は判定不能であるとして、処理手順はＳＴＡＲＴにリターンする。
【００３５】
類似データ算出部１６は、登録顔画像と認証顔画像ａ〜ｉの各々を照合し、類似度Ｒａ〜Ｒｉを算出する（ステップＳ５）。
認証部１７は、データベース１１から群判別データを読み出す（ステップＳ６）。
さらに、認証部１７は、９次元のベクトルで表される登録顔画像と認証顔画像との類似度が同一人物の顔画像同士による類似度群に帰属するか、異なる人物の顔画像同士による類似度群に帰属するかを群判別データによって判別する（ステップＳ７）。
認証部１７は、登録顔画像と認証顔画像との類似度が同一人物の顔画像同士による類似度群に帰属すると判定した場合は、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像であると判定し、判別結果を所定の端末５に出力する（ステップＳ８）。
図５は、ｎ次元特徴空間における群判別面と算出された類似度の関係を示す図である。この図において、登録顔画像と認証顔画像の類似度は、黒い丸のプロットで表されている。この黒い丸のプロットは、群判別データによって表される面よりも同一人物類似度群側にあるので、認証部１７は、登録顔画像と認証顔画像は同一であると判定する。
このステップＳ８が終了すると、本形態例による処理手順は終了する（ＥＮＤ）。
【００３６】
なお、ステップＳ７において、登録顔画像と認証顔画像との類似度が異なる人物の顔画像同士による類似度群に帰属すると判定した場合は、認証部１７は、複数の認証顔画像と登録顔画像とが同一人物を撮影した画像ではないと判定し、処理手順はＳＴＲＡＴにリターンする。
【００３７】
以上、本実施例によれば、ｎ次元特徴空間における群判別面を用いて、登録顔画像と認証顔画像の同一性を統合的に判定するので、登録顔画像と認証顔画像の顔方向が異なる場合、登録顔画像と認証顔画像における表情または照明の照射方向が異なる場合、または、登録顔画像と認証顔画像の顔方向、表情および照明の方向のすべてが異なる場合においても、高精度な顔画像認証を行うことが可能である。また、登録顔画像または認証顔画像の顔方向を判定できるので、登録顔画像または認証顔画像の顔方向が一定でない場合でも高精度な顔画像認証を行うことが可能である。また、登録顔画像と認証顔画像の撮影時に証明の照射方向が異なる場合でも、顔方向が異なる場合と同様に高精度な顔画像認証を行うことが可能である。
【００３８】
なお、以上の説明では、方向条件として顔方向を用いる場合について説明したが、顔画像を撮影する際の照明の照射方向を用いてもよい。
また、認証対象者の判定結果を学習データとして、同一人物類似度群データ、異人物類似度群データおよび顔方向集合データに追加登録してもよい。
【図面の簡単な説明】
【００３９】
【図１】本実施形態による顔画像認証装置の構成例を示す図。
【図２】本実施形態による顔画像認証装置の機能ブロックを示す図。
【図３】顔画像の類似度と顔方向との関係を示す図。
【図４】群判別面の算出手順およびｎ次元特徴空間における群判別面を示す図。
【図５】ｎ次元特徴空間における群判別面と算出された類似度の関係を示す図。
【図６】本実施形態による顔画像認証装置による処理手順を示す図。
【符号の説明】
【００４０】
１０…顔画像認証装置、１１…データベース、１２…データベース管理部、１３…登録顔画像取得部、１４…認証顔画像取得部、１５…顔方向判定部、１６…類似度データ算出部、１７…認証部。
【図１】
2008065651.tif 000003
【図２】
2008065651.tif 000004
【図３】
2008065651.tif 000005
【図４】
2008065651.tif 000006
【図５】
2008065651.tif 000007
【図６】
2008065651.tif 000008