(57)【特許請求の範囲】
【請求項１】
登録者の顔の画像から予め取得された複数の特徴量と、画像中の顔の状態と複数の特徴量それぞれの信頼度との関係を示す信頼度テーブルを記憶する記憶手段と、
入力された画像から人の顔を検出する顔検出手段と、
検出された顔から複数の特徴量を取得する特徴量取得手段と、
入力された画像中の顔の状態を判断する状態判断部と、
前記状態判断部の判断結果と前記信頼度テーブルに基づいて、前記検出された顔から取得された複数の特徴量のそれぞれの信頼度を判断する信頼度判断手段と、
前記記憶手段に記憶される複数の特徴量と前記特徴量取得手段により取得された複数の特徴量とを、各特徴量の信頼度を考慮しつつ比較することによって、検出された顔と記憶手段に記憶された登録者の顔とを照合する照合手段と、
を備える顔照合装置。
【請求項２】
検出された顔を含む領域において複数の部分領域を決定する部分領域決定手段をさらに備え、
前記記憶手段は、登録者の顔の画像から部分領域毎に予め取得された複数の特徴量を記憶し、
前記特徴量取得手段は、入力された画像の各部分領域から特徴量を取得し、
前記信頼度テーブルには、部分領域毎の特徴量についての信頼度が記憶されており、
前記照合手段は、前記記憶手段に記憶される登録者の特徴量と、前記特徴量取得手段により取得された特徴量とを、部分領域毎に比較することにより、登録者について各部分領域におけるスコアを算出し、前記スコア及び前記信頼度に基づき、検出された顔と記憶手段に記憶された登録者の顔とを照合する
請求項１に記載の顔照合装置。
【請求項３】
前記状態判断部は検出された顔の向きを判断する向き判断手段を備えており、
前記信頼度判断手段は、検出された顔の向きに応じて特徴量毎の信頼度を判断する
請求項１又は２に記載の顔照合装置。
【請求項４】
前記状態判断部は各特徴量が取得される部分又はその周囲の明暗を判断する明暗判断手
段を備えており、
前記信頼度判断手段は、その明暗に応じて特徴量毎の信頼度を判断する
請求項１〜３のいずれかに記載の顔照合装置。
【請求項５】
前記状態判断部は検出された顔において、被写体が装着している物の有無を判断する装着物判断手段を備えており、
前記信頼度判断手段は、装着物の有無および装着されている箇所に応じて特徴量毎の信頼度を判断する
請求項１〜４のいずれかに記載の顔照合装置。
【請求項６】
前記状態判断部は検出された顔の向きを判断する向き判断手段を備えており、
前記部分領域決定手段は、検出された顔の向きに応じて各部分領域の範囲を決定する
請求項２に記載の顔照合装置。
【請求項７】
登録者の顔の画像から予め取得された複数の特徴量と、画像中の顔の状態と複数の特徴量それぞれの信頼度との関係を示す信頼度テーブルを記憶する記憶手段を備える情報処理装置が、入力された画像から人の顔を検出するステップと、
前記情報処理装置が、検出された顔から複数の特徴量を取得するステップと、
前記情報処理装置が、入力された画像中の顔の状態を判断するステップと、
前記情報処理装置が、前記顔の状態と前記信頼度テーブルとに基づいて、入力された画像から、各特徴量の信頼度を判断するステップと、
前記情報処理装置が、前記記憶手段に記憶される複数の特徴量と検出された顔から取得された複数の特徴量とを、各特徴量の信頼度を考慮しつつ比較することによって、検出された顔と記憶手段に記憶された登録者の顔とを照合するステップと、
を含む顔照合方法。
【請求項８】
登録者の顔の画像から予め取得された複数の特徴量と、画像中の顔の状態と複数の特徴量それぞれの信頼度との関係を示す信頼度テーブルを記憶する記憶手段を備える情報処理装置に対し、
入力された画像から人の顔を検出するステップと、
検出された顔から複数の特徴量を取得するステップと、
入力された画像中の顔の状態を判断するステップと、
前記顔の状態と前記信頼度テーブルとに基づいて、入力された画像から、各特徴量の信頼度を判断するステップと、
前記記憶手段に記憶される複数の特徴量と検出された顔から取得された複数の特徴量とを、各特徴量の信頼度を考慮しつつ比較することによって、検出された顔と記憶手段に記憶された登録者の顔とを照合するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人の顔の照合を行う装置や方法に適用されて有効な技術に関する。
【背景技術】
【０００２】
従来から、人の顔の画像を照合画像として撮像し、予め登録されている特徴量などの情報に基づいて誰の顔であるか照合を行う技術が提案されている。しかし、被写体がサングラスやマスク等の顔の全体又は一部を覆うもの（以下、「装着物」と呼ぶ）を身につけている場合や、照明環境が暗すぎる又は明るすぎる場合や、顔が横を向いている場合など、照合を行うに当たって悪い条件が発生した場合には、照合の精度が低下してしまう問題があった。
【０００３】
このような問題の解決を図る技術として、様々な向きの顔に応じた顔照合器を用意し、照合画像の顔の向きを検出することで顔照合器を使い分ける技術が提案されている（非特許文献１参照）。また、照度センサによって撮影時の照明強度を感知し、その強度に応じて特徴量の抽出アルゴリズムや照合時の識別アルゴリズムを切り替える技術も提案されている（特許文献１参照）。しかしながら、これらのように特徴量抽出や照合に関わる機能を複数設けた場合、その複数の機能個別に、画像の登録、アルゴリズムのチューニング、各種パラメータの学習等を行わなければならなくなるため、開発コストの増大や操作の煩雑を招いてしまう。しかも、特徴量抽出や照合に関わる機能は顔照合装置の中でもプログラムサイズや使用リソースが最も大きい部分ゆえ、これらを複数設けるとなると、顔照合装置のプログラムサイズや必要リソースの肥大化を招くという弊害がある。かかる点に鑑みると、上記提案技術は、実装面での不利が大きく、製品化が困難といえる。
【０００４】
また、悪条件が生じている画像から悪条件が生じていない場合の画像若しくは特徴量を復元することにより、照合の精度の低下を抑止する技術も提案されている（特許文献２，３，４参照）。しかしながら、この技術では、復元の精度に難がある。さらに復元処理に時間を要してしまうため、照合処理の高速化が困難となっていた。
【特許文献１】特開２０００−２１５３０８号公報
【特許文献２】特許第２９２３８９４号公報
【特許文献３】特開２００２−０１５３１１号公報
【特許文献４】特開２００３−１３２３３９号公報
【非特許文献１】F. J. Huang, Z. Zhou, H. Zhang, and T. Chen, Pose Invariant Face Recognition, Proceedings of the 4th IEEE International Conference on Automatic Face and Gesture Recognition, Grenoble,  France, 2000, pp.245-250.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そこで本発明はこれらの問題を解決し、悪条件が生じている画像を照合画像として用いた場合に照合処理の精度が低下することを抑止可能とする装置や方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するため、本発明は以下のような構成をとる。本発明は顔照合装置であって、記憶手段、顔検出手段、特徴量取得手段、信頼度判断手段及び照合手段を備える。記憶手段は、登録者の顔の画像から予め取得された複数の特徴量を記憶する。記憶手段は、一人分の登録者の特徴量を記憶するように構成されても良いし、複数人の登録者の特徴量を記憶するように構成されても良い。顔検出手段は、入力された画像から人の顔を検出する。特徴量取得手段は、検出された顔から複数の特徴量を取得する。
【０００７】
信頼度判断手段は、入力された画像から、各特徴量の信頼度を判断する。信頼度とは、その特徴量を用いて照合処理を行った場合に、その照合処理によって得られた結果がどの程度信頼できるものであるかを示す値である。即ち、例えば入力された画像の被写体が横を向いている場合やサングラス等の装着物を身につけている場合には、特定の特徴量については正確に画像から取得することが困難となってしまう。このような場合に、全ての特徴量を同程度の重み付けで照合処理に用いると、照合精度の低下を招く虞がある。このため、信頼度判断手段は、各特徴量についてその信頼度を決定し、照合を行う照合手段に信頼度を渡すことで照合精度の低下を抑止する。なお、信頼度判断手段の具体的な処理例については後述する。
【０００８】
照合手段は、記憶手段に記憶される複数の特徴量と検出された顔から取得された複数の特徴量とを、各特徴量の信頼度を考慮しつつ比較することによって、検出された顔と記憶手段に記憶された登録者の顔とを照合する。即ち、照合手段は、各特徴量に対し、信頼度に基づいた重み付けを行って照合を行う。
【０００９】
このように構成された顔照合装置では、上述したように、各特徴量について判断された信頼度に基づいて照合が行われる。このため、特定の特徴量が精度良く取得できない場合であっても、照合を行うに際してこの特徴量の重み付けを低くすることや無視してしまうことなどにより、照合精度の低下を抑止することが可能となる。
【００１０】
本発明の顔照合装置は、検出された顔を含む領域において複数の部分領域を決定する部分領域決定手段をさらに備えるように構成されても良い。この場合、記憶手段は、登録者の顔の画像から部分領域毎に予め取得された複数の特徴量を記憶するように構成されても良い。またこの場合、特徴量取得手段は、入力された画像の各部分領域から特徴量を取得するように構成されても良い。またこの場合、照合手段は、記憶手段に記憶される登録者の特徴量と、特徴量取得手段により取得された特徴量とを、部分領域毎に比較することにより、登録者について各部分領域におけるスコアを算出し、スコア及び信頼度に基づき、検出された顔と記憶手段に記憶された登録者の顔とを照合するように構成されても良い。
【００１１】
本発明の顔照合装置は、検出された顔の向きを判断する向き判断手段をさらに備えるように構成されても良い。この場合、信頼度判断手段は、検出された顔の向きに応じて特徴量毎の信頼度を判断するように構成されても良い。
【００１２】
本発明の顔照合装置は、各特徴量が取得される部分又はその周囲の明暗を判断する明暗判断手段をさらに備えるように構成されても良い。この場合、信頼度判断手段は、その明暗に応じて特徴量毎の信頼度を判断するように構成されても良い。
【００１３】
本発明の顔照合装置は、検出された顔において、被写体が装着している物の有無を判断する装着物判断手段をさらに備えるように構成されても良い。この場合、信頼度判断手段は、装着物の有無および装着されている箇所に応じて特徴量毎の信頼度を判断するように構成されても良い。
【００１４】
本発明の顔照合装置は、検出された顔の向きを判断する向き判断手段をさらに備えるように構成されても良い。この場合、部分領域決定手段は、検出された顔の向きに応じて各部分領域の範囲を決定するように構成されても良い。
【００１５】
本発明は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した各手段が実行する処理を、情報処理装置に対して実行させ
るためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。
【発明の効果】
【００１６】
本発明によれば、悪条件が生じている画像を照合画像として用いた場合に照合処理の精度が低下することを抑止することが可能となる。
【発明を実施するための最良の形態】
【００１７】
〔システム構成〕  図１は、顔照合装置１の機能ブロック例を示す図である。顔照合装置１は、照合対象となる人物が撮像された画像（照合画像）から顔の特徴量（例えば輝度分布や色ヒストグラム等）を取得し、予め登録されている各人物の特徴量と比較することによって、照合画像の人物が誰であるか判断する。顔照合装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。
【００１８】
顔照合装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、画像入力部２、画像記憶部３、顔検出部４、特徴点検出部５、状態判断部６、部分領域決定部７、信頼度記憶部８、信頼度判断部９、登録情報記憶部１０及び顔照合部１１等を含む装置として機能する。顔検出部４、特徴点検出部５、状態判断部６、部分領域決定部７、信頼度判断部９及び顔照合部１１は、プログラムがＣＰＵによって実行されることにより実現される。また、顔検出部４、特徴点検出部５、状態判断部６、部分領域決定部７、信頼度判断部９及び顔照合部１１は専用のチップとして構成されても良い。次に、顔照合装置１が含む各機能部について説明する。
【００１９】
〈画像入力部〉  画像入力部２は、照合画像のデータを顔照合装置１へ入力するためのインタフェースとして機能する。画像入力部２によって、照合画像のデータが顔照合装置１へ入力される。画像入力部２は、顔照合装置１へ照合画像のデータを入力するためのどのような既存技術を用いて構成されても良い。
【００２０】
例えば、ネットワーク（例えばローカル・エリア・ネットワークやインターネット）を介して照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２はネットワークインタフェースを用いて構成される。また、デジタルカメラやスキャナやパーソナルコンピュータや記録装置（例えばハードディスクドライブ）等から照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２は、デジタルカメラやスキャナやパーソナルコンピュータや記録装置などと顔照合装置１とをデータ通信可能に接続する規格（例えばＵＳＢ（Universal Serial Bus）やＳＣＳＩ（Small Computer System Interface）等の有線接続やｂｌｕｅｔｏｏｔｈ（登録商標）等の無線接続の規格）に応じて構成される。また、記録媒体（例えば各種フラッシュメモリやフレキシブルディスクやＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disc、Digital Video Disc））に記録された照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２は、記録媒体からデータを読み出す装置（例えばフラッシュメモリリーダやフレキシブルディスクドライブやＣＤドライブやＤＶＤドライブ）を用いて構成される。
【００２１】
また、顔照合装置１がデジタルカメラ等の撮像装置又はデジタルカメラ等の撮像装置を備える各種装置（例えばＰＤＡ（Personal Digital Assistant）や携帯電話機）の内部に含まれ、撮像された照合画像のデータが顔照合装置１へ入力されても良い。この場合、画像入力部２は、ＣＣＤ（Charge-Coupled Devices）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等を用いて構成されても良いし、ＣＣＤやＣＭＯＳセンサな
どによって撮像された照合画像のデータを顔照合装置１に入力させるためのインタフェースとして構成されても良い。また、顔照合装置１がプリンタやディスプレイ等の画像出力装置の内部に含まれ、出力データとしてこの画像出力装置に入力された画像のデータが照合画像として顔照合装置１へ入力されても良い。この場合、画像入力部２は、これらの画像出力装置に入力された画像のデータを顔照合装置１において取り扱い可能なデータに変換する装置などを用いて構成される。
【００２２】
また、画像入力部２は上記された複数の場合に応じることが可能となるように構成されても良い。
【００２３】
〈画像記憶部〉  画像記憶部３は、記憶装置を用いて構成される。画像記憶部３に用いられる記憶装置には、揮発性記憶装置や不揮発性記憶装置など、どのような具体的技術が適用されても良い。
【００２４】
画像記憶部３は、画像入力部２を介して入力された照合画像のデータを記憶する。画像記憶部３に記憶された照合画像のデータは、顔検出部４、特徴点検出部５及び部分領域決定部７によって読み出される。画像記憶部３は、少なくとも顔検出部４、特徴点検出部５、状態判断部６、部分領域決定部７及び顔照合部１１による処理が完了するまでは、その処理の対象となっている照合画像のデータを保持する。
【００２５】
〈顔検出部〉  顔検出部４は、画像記憶部３から照合画像のデータを読み出し、照合画像から人の顔を検出し、検出された顔の位置や大きさ等を特定する。顔検出部４は、例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、顔の器官（目，鼻，耳など）に基づくテンプレートマッチングによって顔を検出するように構成されても良い。また、顔検出部４は、クロマキー処理によって頭部などの頂点を検出し、この頂点に基づいて顔を検出するように構成されても良い。また、顔検出部４は、肌の色に近い領域を検出し、その領域を顔として検出するように構成されても良い。また、顔検出部４は、ニューラルネットワークを使って教師信号による学習を行い、顔らしい領域を顔として検出するように構成されても良い。また、顔検出部４による顔検出処理は、その他、既存のどのような技術が適用されることによって実現されても良い。
【００２６】
また、顔検出部４は、照合画像から複数の人の顔が検出された場合、特定の基準に従って処理の対象となる顔を決定しても良い。所定の基準とは、例えば顔の大きさ、顔の向き、画像中における顔の位置などである。
【００２７】
〈特徴点検出部〉  特徴点検出部５は、顔検出部４によって検出された顔について複数の特徴点を検出する。特徴点検出部５には、既存のどのような特徴点検出技術が適用されても良い。例えば、特徴点検出部５は、顔特徴点の位置を示すパターンを予め学習し、その学習データを使用したマッチングを行うことによって特徴点を検出するように構成されても良い。また、特徴点検出部５は、検出された顔の内側において、エッジの検出やパターンマッチングを行うことにより、顔の器官の端点を検出し、それを基準として特徴点を検出するように構成されても良い。また、特徴点検出部５は、ＡＡＭ（Active Appearance Model）、ＡＳＭ（Active Shape Model）等の形状若しくはテクスチャモデルを予め定義し、それを検出された顔に応じて変形等させることにより特徴点を検出するように構成されても良い。
【００２８】
〈状態判断部〉  状態判断部６は、顔検出部４によって検出された顔に関し、照合を行うに当たって悪い条件が発生しているか否か、発生しているのであればその程度などを判断する。例えば、状態判断部６は、検出された顔の向きの角度を判断しても良い。このよ
うな判断は、例えば以下のように行うことができる。まず、状態判断部６は、予め学習を行うことにより、顔の画像若しくはその一部と顔の向きとの対応関係や、顔の特徴点配置と顔の向きとの対応関係などを取得しておく。そして、顔検出部４によって検出された顔の画像若しくはその一部、又はその画像から特徴点配置を取得することにより、対応する顔の向きの角度を得ることができる。このような角度の判断は、他の技術を適用することによって実施されても良い。
【００２９】
また、状態判断部６は、照明環境による影響を判断しても良い。このような判断は、例えば以下のように行うことができる。まず、状態判断部６は、後述する部分領域決定部７によって決定される各部分領域について、輝度を取得する。そして、状態判断部６は、各部分領域についてどの程度暗いか又はどの程度明るいかを判断する。また、状態判断部６は以下のように処理を行っても良い。まず、状態判断部６は、検出された顔内において各部分領域に対応する点や領域を設定し、それぞれについての輝度を取得する。そして、状態判断部６は、取得された輝度に基づいて、各部分領域について明暗を判断するように構成されても良い。また、このような照明環境による影響の判断は、他の技術を適用することによって実施されても良い。
【００３０】
また、状態判断部６は、装着物の有無を判断しても良い。このような判断は、例えば以下のように行うことができる。まず、状態判断部６は、サングラスやマスク等の装着物が着用された画像に基づいた学習を予め行う。そして、状態判断部６は、顔検出部４により検出された顔内において学習に基づいた検出処理を行い、装着物が検出された場合には、その装着物を装着していると判断する。また、状態判断部６は、装着物のテンプレートや色情報を予め取得し、それとの相関を得ることで検出をするように構成されても良い。また、サングラスやマスクなどの装着物を被写体が装着しているとエントロピや分散が低下するという経験則に基づき、エントロピ等の代替指標を用いて検出するように構成されても良い。また、状態判断部６は、装着物が検出された場合には、その装着物によって顔の器官がどの程度隠蔽されているかを示す値（隠蔽率）を取得するように構成されても良い。この隠蔽率は、例えば装着物が検出された付近において、隠蔽される可能性のある器官の特徴点をどの程度検出することができるか調べることなどにより取得することができる。
【００３１】
また、状態判断部６は、後述する部分領域決定部７によって決定された部分領域毎に、各部分領域の画像内に含まれる情報量を取得するように構成されても良い。この情報量は、例えばエントロピとして表すことができる。また、この情報量は、十分に情報量を有している理想的な画像における同じ部分領域との相対エントロピやＫＬダイバージェンス（Kullback Leibler Divergence）として表されても良い。
【００３２】
〈部分領域決定部〉  部分領域決定部７は、特徴点検出部５によって検出された複数の特徴点の位置に基づいて部分領域を決定する。部分領域とは、一つの顔の画像に含まれる一部分の領域を示す。例えば、部分領域決定部７は、各頂点に特徴点を持つ三角形などの多角形を部分領域として決定するように構成されても良い。
【００３３】
図２は、部分領域の具体例を示す図である。図２では、部分領域決定部７によって、矩形によって表される三つの部分領域１０１、１０２、１０３が決定されている。部分領域１０１は、被写体の右目及びその周囲を含む部分領域である。部分領域１０２は、被写体の左目及びその周囲を含む部分領域である。部分領域１０３は、被写体の鼻及びその周囲を含む部分領域である。部分領域決定部７は、これとは異なる部分領域を決定するように構成されても良いし、さらに多くの部分領域を決定するように構成されても良い。
【００３４】
〈信頼度記憶部〉  信頼度記憶部８は、記憶装置を用いて構成される。信頼度記憶部８
は、信頼度テーブルを記憶する。信頼度テーブルは、様々な条件における各部分領域の信頼度の値を有する。信頼度とは、その部分領域の特徴量を用いて照合処理を行った場合に、その照合処理によって得られた結果がどの程度信頼できるものであるかを示す値である。以下の説明では、信頼度の値は０〜１の範囲の値として表され、０に近いほど信頼できないことを示し、１に近いほど信頼できることを示す。なお、信頼度の値は連続値でも良いし、離散値でも良い。
【００３５】
まず、被写体の顔の向きに応じた信頼度について説明する。図３は、顔の向きの例を示す図である。図３に示すように、本実施例では照合画像を見る者にとっての右側を正の値、左側を負の値として角度を表現する。図３には、（ａ）〜（ｅ）として、それぞれ−６０度、−３０度、０度、＋３０度、＋６０度を向いている被写体の顔の例が示される。図４は、被写体の顔の向きに応じた信頼度テーブル８ａの具体例を示す図である。図４の信頼度テーブル８ａには、それぞれの顔の向き（θ）について各部分領域１０１〜１０３における信頼度が示される。
【００３６】
−６０度の場合を例に説明すると、被写体の左目はほとんど全体が画像中に現れているが、右目は半分程度が画像中に現れず隠れてしまっている。このため、左目に相当する部分領域１０３における信頼度に比べ、右目に相当する部分領域１０１における信頼度は大幅に低く設定されている。また、−６０度の場合に比べて−３０度の場合は右目がある程度画像中に現れている。このため、部分領域１０１における信頼度は、−６０度の場合に比べて−３０度の場合の方が高く設定されている。また、照合の際に使用される特徴量（後述する登録情報記憶部１０に記憶されている特徴量）は、正面を向いた顔の画像から取得された特徴量であることが一般的である。このため、照合画像において被写体の顔が横を向いている場合には、部分領域における特徴点が全て画像上に現れているか否かに関わらず、歪みの発生などに起因して精度が低下する。このため、各部分領域１０１〜１０３の信頼度は、角度の絶対値が大きくなるほど低い値に設定されている。
【００３７】
次に、照明環境による影響に応じた信頼度テーブルについて説明する。図５は、照明環境による影響の具体例を示す図である。図５（ａ）の被写体は、顔全体に均一に照明が当たっている。一方、図５（ｂ）の被写体は、顔の左側には照明が当たっているものの右側にはほとんど照明が当たっていないため影ができてしまっている。このため、図５（ｂ）では右目の周囲が影を含んでしまい、部分領域１０１において正確な特徴量を取得することが困難となっている。また、図５（ｃ）の被写体は、顔の右側には適度な照明が当たっているものの左側には過度の照明が当たってしまっているため白飛びしてしまっている。このため、図５（ｃ）では左目の部分が白飛びしてしまい、部分領域１０２において正確な特徴量を取得することが困難となっている。
【００３８】
図６は、照明環境による影響に応じた信頼度テーブル８ｂの具体例を示す図である。この例では、全ての部分領域に共通に、照明環境と信頼度との関係が定義されている。ある部分領域において、その面積の何パーセントが影部分又は白飛び部分となっているか（例えば隠蔽率を用いて表されても良い）で信頼度が決定される。
【００３９】
次に、装着物による影響に応じた信頼度テーブルについて説明する。図７は、装着物による影響の具体例を示す図である。図７（ａ）の被写体は、顔に装着物を付けていないためいずれの部分領域における特徴も画像に現れている。一方、図７（ｂ）の被写体は、サングラスを着用しているため、左右の目が隠れてしまい、部分領域１０１、１０２において正確な特徴量を取得することが困難となっている。また、図７（ｃ）の被写体は、マスクを着用しているため、鼻や口や頬などが隠れてしまい、部分領域１０３において正確な特徴量を取得することが困難となっている。
【００４０】
図８は、装着物による影響に応じた信頼度テーブル８ｃの具体例を示す図である。この例では、サングラスが着用されている場合には、部分領域１０１、１０２の信頼度は０であり、サングラスによる影響を受けていない部分領域１０３の信頼度は１である。一方、マスクが着用されている場合には、部分領域１０３の信頼度は０であり、マスクによる影響を受けていない部分領域１０１、１０２の信頼度は１である。信頼度テーブル８ｃの値は、“０”又は“１”に限られる必要はなく、他の値（例えば“０．１”や“０．９”等）を用いて表されても良い。
【００４１】
次に、部分領域毎に取得された情報量に応じた信頼度テーブルについて説明する。この場合、情報量が多いほど信頼度が１に近づき、情報量が少ないほど信頼度が０に近づくように信頼度テーブルが構成される。
【００４２】
〈信頼度判断部〉  信頼度判断部９は、状態判断部６による判断結果と信頼度記憶部８に記憶される信頼度テーブルとに基づいて、部分領域決定部７によって決定された部分領域毎に信頼度を判断する。状態判断部６によって複数の悪条件が存在すると判断された場合、信頼度判断部９は、各条件に応じた複数の信頼度の統計値（平均や重心など）を算出し、信頼度として決定するように構成されても良い。また、各条件について優先順位が予め定められており、信頼度判断部９はこの優先順位の最も高い条件について取得された信頼度をその部分領域の信頼度として決定するように構成されても良い。
【００４３】
〈登録情報記憶部〉  登録情報記憶部１０は、記憶装置を用いて構成される。登録情報記憶部１０は、登録情報テーブルを記憶する。登録情報テーブルは、照合の対象となる者のＩＤ毎に、各部分領域における特徴量を有する。登録情報テーブルでは、例えばＩＤ“Ａ”に対応する特徴量として、部分領域１０１における特徴量と、部分領域１０２における特徴量と、部分領域１０３における特徴量とが対応づけられている。
【００４４】
〈顔照合部〉  顔照合部１１は、各部分領域から取得する特徴量、登録情報記憶部１０に記憶される特徴量、及び信頼度判断部９によって決定された信頼度に基づいて照合処理を行う。以下、顔照合部１１の処理について具体的に説明する。なお、以下の説明では、部分領域の数は三つに限定せずＮ個あるものとして説明する。
【００４５】
まず、顔照合部１１は、登録情報記憶部１０に記憶されている全ＩＤについて、最終スコアを算出する。最終スコアは、スコア算出処理と、算出された複数のスコアを用いた最終スコア算出処理との実行によって求められる。
【００４６】
スコア算出処理では、顔照合部１１は、各部分領域（ｊ＝１，２，・・・，Ｎ）におけるスコアを算出する。スコアとは、各部分領域から得られる特徴量に基づき算出される値であり、その部分領域を有する被写体が特定の被写体である可能性を示す。例えば、可能性が高ければ大きなスコアが得られ、可能性が低ければ小さいスコアが得られる。
【００４７】
各部分領域におけるスコアは、例えば式１のように求めることができる。式１は、ある条件θのもと部分領域ｊにおいて特徴量ｘｊが取得された場合に、その人（顔）が本人である確率P（ψｊ｜ｘｊ，θ）を表している。ただし、ξは、ハイパーパラメータであって、条件θの下で取得された特徴量が理想条件下で本来取得できる特徴量からどれほど乖離しているか（乖離度）を表す確率変数である。ψは、登録者のＩＤを表す確率変数である。なお、式１では乖離度ξを離散的な変数として扱っているが、もちろん連続的な変数としても構わない。また、式１では全ての部分領域について共通の条件θを用いているが、もちろん部分領域毎に異なる条件θｊを用いても構わない。
【数１】
0004696857.tif 000002
【００４８】
ここで、Ｐ（ψｊ｜ｘｊ，ξ）は、画像の部分領域から取得された特徴量と登録情報記憶部１０に記憶されている特徴量とを比較することにより得られる値（条件θが考慮されていないスコア）を表している。この値は、例えば両特徴量の類似度などである。類似度は、従来から使用されている顔照合技術を適用することにより得ることができる。例えば、輝度分布の正規化相関や、色ヒストグラムのヒストグラムインタセクション等を類似度として取得することができる。
【００４９】
一方、Ｐ（ξ｜θ）は、信頼度判断部９によって決定される信頼度を表している。つまり、条件θの下で部分領域ｊにおいて取得された特徴量ｘｊ（若しくは、その特徴量ｘｊから計算された類似度）の信頼度（若しくは精度）を示す値である。条件θが悪いほど信頼度は小さい値をとる。
【００５０】
すなわち、式１のＰ（ψｊ｜ｘｊ，θ）は、被写体の特徴量と登録者の特徴量の類似度Ｐ（ψｊ｜ｘｊ，ξ）を、被写体の状態（信頼度）Ｐ（ξ｜θ）に基づいて調整することによって得られた値（調整後のスコア）ということができる。後述する最終スコア算出処理では、各部分領域の調整後のスコアから最終的な評価に用いる最終スコアが算出されるが、この最終スコアには信頼度の大きなスコアほど大きな影響を与える。このことからすると、信頼度Ｐ（ξ｜θ）は最終スコアを算出する際の「重み」ということもできる。
【００５１】
スコア算出処理が終了すると、顔照合部１１は次に最終スコア算出処理を行う。最終スコア算出処理では、顔照合部１１は、各部分領域から得られたスコアに基づき、最終的なスコア（最終スコア）を算出する。式２は、各部分領域が独立であると考えた場合の最終スコアを算出するための式である。式３は、Ｂａｇｇｉｎｇモデル、若しくはＭｉｘｔｕｒｅ  ｏｆ  Ｅｘｐｅｒｔｓモデルに基づく最終スコアを算出するための式であり、局所領域のスコアの平均として最終スコアが得られる。顔照合部１１は、例えば式２又は式３を用いることによって最終スコアを算出する。式２、３は最終スコアを算出する際に適用可能な処理の具体例であり、他の処理によって最終スコアが得られても良い。例えば、顔照合部１１は、各部分領域から得られたスコアの最大値を最終スコアとして取得するように構成されても良い。
【数２】
0004696857.tif 000003
【数３】
0004696857.tif 000004
【００５２】
全ＩＤについて最終スコアが算出されると、顔照合部１１は、得られた複数の最終スコアに基づき、照合画像の被写体が、いずれのＩＤを付与された人物であるのか又はそのいずれでもないのかについて判断する。例えば、顔照合部１１は、最大の最終スコアが所定
の閾値を超えた場合には、その最終スコアに係るＩＤが付与された人物が被写体であると判断する。また、顔照合部１１は、最大の最終スコアが所定の閾値を超えていない場合には、照合画像の被写体は登録情報記憶部１０に記憶されたいずれのＩＤに係る人物でもない、即ち未登録の人物であると判断する。そして、顔照合部１１は、この判断結果を顔照合の結果として出力する。
【００５３】
〔動作例〕  図９は、顔照合装置１の動作例を示すフローチャートである。次に顔照合装置１の動作例について説明する。まず、照合画像が画像入力部２を介して顔照合装置１に入力される（Ｓ０１）。画像記憶部３は、入力された照合画像のデータを記憶する。顔検出部４は、画像記憶部３に記憶された照合画像から、人の顔を検出する（Ｓ０２）。次に、検出された顔から特徴点検出部５が複数の特徴点を検出し、この特徴点に基づいて部分領域決定部７が部分領域を決定する（Ｓ０３）。
【００５４】
次に、状態判断部６は、検出された顔において、照合を行うに当たっての悪い条件が発生しているか否か、発生しているのであればその程度などを判断する（Ｓ０４）。信頼度判断部９は、状態判断部６における判断結果に基づいて、各部分領域についての信頼度を取得する（Ｓ０５）。
【００５５】
次に、顔照合部１１は、登録情報記憶部１０に記憶されている各ＩＤ（各登録者）についてスコア算出処理（Ｓ０６）及び最終スコア算出処理（Ｓ０７）を実行する。この処理は、全ての登録者について実行されるまで繰り返される（Ｓ０８−ＮＯ）。全ての登録者について上記処理が実行されると（Ｓ０８−ＹＥＳ）、顔照合部１１は、各登録者について得られた最終スコアに基づき、照合結果を決定する（Ｓ０９）。そして、顔照合部１１は、この照合結果を出力する。
【００５６】
〔作用／効果〕  顔照合部１１における照合処理において、各部分領域に係る特徴量が照合結果に与える影響の度合いが、信頼度に基づいて決定されることにより、悪条件が発生した照合画像における顔照合処理の精度低下が抑制される。
【００５７】
また、画像から判断した信頼度を各部分領域の類似度（スコア）に乗じる、という構成ゆえ、顔検出、特徴量抽出、類似度算出などの機能を全ての条件で共通にできる。したがって、開発コストを低減できると共に、プログラムサイズや使用リソースの縮小を図ることができ、実装面で極めて有利である。
【００５８】
〔変形例〕  顔照合部１１は、全ＩＤについて最終スコアが算出された後に、スコア正規化処理を行うように構成されても良い。スコア正規化処理は、例えば得られた複数の最終スコアのレンジが広すぎる場合に、これらの値を一定の範囲内に収めることを目的として行うことができる。
【００５９】
また、入力された照合画像の被写体の顔が正面を向いていない場合は、部分領域決定部７によって決定される部分領域は、その向きに応じてひずんでしまう可能性がある。一方、前述したように、顔照合部１１によって照合の際に使用される特徴量は、正面を向いた顔の画像から取得される特徴量であることが一般的である。このため、向きに応じて生じたひずみが、顔照合部１１による照合処理の際に誤差発生の原因となってしまう場合がある。図１０は、顔の向きに応じたひずみの具体例を示す図である。従来は、部分領域の決定において両目間の距離が用いられる場合があった。両目間の距離は顔の向きに大きく左右されるため、このような部分領域の決定法では、被写体の顔の向きに応じて照合の精度が大幅に低下していた。図１０の場合も、横を向いている場合の両目間の距離（ｔ１）と、正面を向いている場合の両目間の距離（ｔ２）は、大幅に異なることがわかる。部分領域決定部７は、状態判断部６によって顔の向きが検出された場合には、その向きに応じた各部分領域の大きさや範囲の変更を行うように、言い換えれば向きに応じた正規化を行うように構成されても良い。具体的には、部分領域決定部７は、状態判断部６によって顔の向きが判断された場合には、その向きに応じてアフィン変換などの処理を部分領域に施すように構成されても良い。また、部分領域決定部７は、複数の顔の向きに応じたテンプレートを用意しておき、判断された向きに応じたテンプレートを用いて部分領域を決定するように構成されても良い。このように構成されることにより、登録情報記憶部１０に記憶されている特徴量により近い条件での特徴量の取得が可能となり、顔の向きによる顔照合の精度低下を抑止することが可能となる。
【００６０】
また、登録情報記憶部１０に特徴量を登録する処理を、特徴量を顔照合装置１に入力することによって実施するのではなく、登録者の顔が撮像されている画像（以下、登録画像と呼ぶ）を顔照合装置１に入力することによって実施することができるように顔照合装置１が構成されても良い。この場合、画像入力部２を介して入力された登録画像が画像記憶部３に記憶される。そして、顔検出部４、特徴点検出部５、部分領域決定部７、顔照合部１１による協働により、登録画像から各部分領域における特徴量が取得され、登録情報記憶部１０に記憶される。このような場合、さらに登録画像において悪条件の有無やその程度を状態判断部６が判断し、一定の場合には特徴量の登録を実施しないように顔照合装置１が構成されても良い。このように構成されることにより、悪条件の元で取得された特徴量が登録情報記憶部１０に記憶されることを抑止することができる。そして、このような精度の低い特徴量に基づいた顔照合が実施されないため、結果としてその後の顔照合処理における精度の低下を抑止することができる。
【００６１】
上記実施形態では、被写体の顔がどのＩＤの登録者の顔と一致するかという「一対多」の照合処理を実施しているが、上記顔照合装置は、撮影によって得られた顔が本人の顔か否かという「一対一」の照合処理にも適用可能である。
【図面の簡単な説明】
【００６２】
【図１】顔照合装置の機能ブロック例を示す図である。
【図２】部分領域の具体例を示す図である。
【図３】顔の向きの例を示す図である。
【図４】被写体の顔の向きに応じた信頼度テーブルの例を示す図である。
【図５】照明環境による影響の具体例を示す図である。
【図６】照明環境による影響に応じた信頼度テーブルの例を示す図である。
【図７】装着物による影響の具体例を示す図である。
【図８】装着物による影響に応じた信頼度テーブルの例を示す図である。
【図９】顔照合装置の動作例を示すフローチャートである。
【図１０】顔の向きに応じたひずみの例を示す図である。
【符号の説明】
【００６３】
１        顔照合装置
２        画像入力部
３        画像記憶部
４        顔検出部
５        特徴点検出部
６        状態判断部
７        部分領域決定部
８        信頼度記憶部
８ａ      被写体の顔の向きに応じた信頼度テーブル
８ｂ      照明環境による影響に応じた信頼度テーブル
８ｃ      装着物による影響に応じた信頼度テーブル
９        信頼度判断部
１０      登録情報記憶部
１１      顔照合部
【図１】
0004696857.tif 000005
【図２】
0004696857.tif 000006
【図３】
0004696857.tif 000007
【図４】
0004696857.tif 000008
【図５】
0004696857.tif 000009
【図６】
0004696857.tif 000010
【図７】
0004696857.tif 000011
【図８】
0004696857.tif 000012
【図９】
0004696857.tif 000013
【図１０】
0004696857.tif 000014