(57)【要約】【課題】  顔画像データにおいて画質が不良な部分に対して補正を施した後に、辞書に登録されている顔画像データとの照合処理を行うため、顔画像データの画質を向上させることができ、その結果として顔画像照合装置において精度の高い顔画像による照合処理を実現できる。【解決手段】  カメラ２にて撮影した少なくとも顔を含む画像から得られた顔画像データに対して、複数の画像ブロックごとに画質の良否を判定し、画質不良と判定された不良ブロックについては補正を施して辞書２７に登録されている顔画像データとの照合処理を行うようにしたものである。【選択図】      図５
2005084824.tif 000002
【特許請求の範囲】
【請求項１】
顔画像データが予め登録されている登録手段と、
少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データにおける画質の良否を判定する画質判定手段と、
この画質判定手段により画質が不良と判定された部分を補正する補正手段と、
この補正手段により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、
を有することを特徴とする顔画像照合装置。
【請求項２】
前記画質判定手段は、前記処理手段により得られた顔画像データについて複数の画像ブロックごとに画質の良否を判定し、
前記補正手段は、前記画質判定手段により画質が不良と判定された画像ブロックを補正する、ことを特徴とする前記請求項１に記載の顔画像照合装置。
【請求項３】
前記補正手段は、前記画質判定手段により画質が不良であると判定された画像ブロックを、当該顔画像データの顔の中心軸に対して対称となる画像ブロックを用いて補正する、ことを特徴とする前記請求項２に記載の顔画像照合装置。
【請求項４】
前記画像入力手段は、少なくとも顔を含む複数の画像を連続して入力し、
前記補正手段は、前記画質判定手段により画質が不良であると判定された画像ブロックを当該顔画像データに連続する他の顔画像データにおける同一位置の画像ブロックを用いて補正する、ことを特徴とする前記請求項２に記載の顔画像照合装置。
【請求項５】
顔画像データが予め登録されている登録手段と、
複数の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した複数の画像から正規化した複数の顔画像データを生成する処理手段と、
この処理手段により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成手段と、
この生成手段により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、
を有することを特徴とする顔画像照合装置。
【請求項６】
さらに、前記処理手段により得られた各顔画像データにおける各画像ブロックの画質の良否を判定する画質判定手段を有し、
前記生成手段は、前記画質判定手段により各顔画像データにおいて画質が不良と判定された画像ブロック以外を用いて代表顔画像データを生成する、ことを特徴とする前記請求項５に記載の顔画像照合装置。
【請求項７】
前記生成手段は、複数の顔画像データにおける各画像ブロックの値の平均値を、前記代表顔画像データの各画像ブロックの値とする、ことを特徴とする前記請求項５に記載の顔画像照合装置。
【請求項８】
所定の領域ごとの顔画像データが各領域に対応する辞書パターンとして登録されている登録手段と、
少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定手段と、
この画質判定手段により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合手段と、
を有することを特徴とする顔画像照合装置。
【請求項９】
前記登録手段には、顔全体を領域とする顔画像データの全体の辞書パターンと、顔の左半分を領域とする顔画像データの左半分の辞書パターンと、顔の右半分を領域とする顔画像データの右半分の辞書パターンとが登録され、
前記画質判定手段は、前記処理手段により得られた顔画像データに対して顔の左半分の領域における画質の良否と、顔の右半分の領域における画質の良否を判定し、
前記照合手段は、前記画質判定手段により顔の左半分及び顔の右半分の画質が共に良好であると判定した場合には当該顔画像データ全体と前記登録手段に登録されている全体の辞書パターンとを照合し、前記画質判定手段により顔の左半分の領域における画質のみが良好であると判定した場合には当該顔画像データの左半分と前記登録手段に登録されている左半分の辞書パターンとを照合し、前記画質判定手段により顔の右半分の領域における画質のみが良好であると判定した場合には当該顔画像データの右半分と前記登録手段に登録されている右半分の辞書パターンとを照合する、ことを特徴とする前記請求項９に記載の顔画像照合装置。
【請求項１０】
顔画像データの一部が画質不良であることを想定した種々の辞書パターンが予め登録されている登録手段と、
少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定手段と、
この画質判定手段により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択手段と、
前記画質判定手段により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択手段により選択された辞書パターンとに基づいて照合処理を行う照合手段と、
を有することを特徴とする顔画像照合装置。
【請求項１１】
前記登録手段には、前記画質判定手段により画質が判定される画像ブロック単位で、各画像ブロックの画質が不良である場合を想定した種々の辞書パターンが登録されている、ことを特徴とする前記請求項１０に記載の顔画像照合装置。
【請求項１２】
所定の領域ごとの顔画像データが各領域に対応する複数の辞書パターンとして登録されている登録手段と、
少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合手段と、
を有することを特徴とする顔画像照合装置。
【請求項１３】
前記登録手段には、顔の左半分を領域とする顔画像データの左半分の辞書パターンと、顔の右半分を領域とする顔画像データの右半分の辞書パターンとが登録され、
前記照合手段は、顔の左半分あるいは右半分の何れか一方の領域に対応する辞書パターンとその辞書パターンに対応する当該顔画像データの領域とを照合し、この照合が成功した場合には他方の領域の辞書パターンとその辞書パターンに対応する当該顔画像データの領域とを照合する、ことを特徴とする前記請求項１２に記載の顔画像照合装置。
【請求項１４】
前記登録手段には、顔の左半分を領域とする顔画像データの左半分の辞書パターンと顔の右半分を領域とする顔画像データの右半分の辞書パターンとが複数人数分登録され、
前記照合手段は、顔の左半分あるいは右半分の何れか一方の領域に対応する辞書パターンとその辞書パターンに対応する当該顔画像データの領域とを照合し、この照合により所定の照合度以上の候補が複数である場合には、それらの候補について、他方の領域の辞書パターンとその辞書パターンに対応する当該顔画像データの領域とを照合し、その照合により得られた照合度が最も大きいものを当該顔画像データと照合したものとする、ことを特徴とする前記請求項１２に記載の顔画像照合装置。
【請求項１５】
顔画像データを予め登録手段に登録しておく登録工程と、
少なくとも顔を含む画像を入力する画像入力工程と、
この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、
この処理工程により得られた顔画像データにおける画質の良否を判定する画質判定工程と、
この画質判定工程により画質が不良と判定された部分を補正する補正工程と、
この補正工程により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合工程と、
を有することを特徴とする顔画像照合方法。
【請求項１６】
顔画像データを予め登録手段に登録しておく登録工程と、
複数の少なくとも顔を含む画像を入力する画像入力工程と、
この画像入力工程により入力した複数の画像から正規化した複数の顔画像データを生成する処理工程と、
この処理工程により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成工程と、
この生成工程により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合工程と、
を有することを特徴とする顔画像照合方法。
【請求項１７】
所定の領域ごとの顔画像データが各領域に対応する辞書パターンとして予め登録手段に登録しておく登録工程と、
少なくとも顔を含む画像を入力する画像入力工程と、
この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、
この処理工程により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定工程と、
この画質判定工程により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合工程と、
を有することを特徴とする顔画像照合方法。
【請求項１８】
顔画像データの一部が画質不良であることを想定した種々の辞書パターンを予め登録手段に登録しておく登録工程と、
少なくとも顔を含む画像を入力する画像入力工程と、
この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、
この処理工程により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定工程と、
この画質判定工程により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択工程と、
前記画質判定工程により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択工程により選択された辞書パターンとに基づいて照合処理を行う照合工程と、
を有することを特徴とする顔画像照合方法。
【請求項１９】
所定の領域ごとの顔画像データが各領域に対応する複数の辞書パターンとして予め登録手段に登録しておく登録工程と、
少なくとも顔を含む画像を入力する画像入力工程と、
この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、
この処理工程により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合工程と、
を有することを特徴とする顔画像照合方法。
【請求項２０】
通行を許可すべき人物の顔画像データが予め登録されている登録手段と、
通行者の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データにおける画質の良否を判定する画質判定手段と、
この画質判定手段により画質が不良と判定された部分を補正する補正手段と、
この補正手段により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、
この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段と、
を有することを特徴とする通行制御装置。
【請求項２１】
通行を許可すべき人物の顔画像データが予め登録されている登録手段と、
通行者の複数の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した複数の画像から正規化した複数の顔画像データを生成する処理手段と、
この処理手段により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成手段と、
この生成手段により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、
この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段と、
を有することを特徴とする通行制御装置。
【請求項２２】
通行を許可すべき人物の顔画像データが所定の領域ごとに各領域に対応する辞書パターンとして登録されている登録手段と、
通行者の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定手段と、
この画質判定手段により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合手段と、
この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段と、
を有することを特徴とする通行制御装置。
【請求項２３】
通行を許可すべき人物の顔画像データとして顔画像データの一部が画質不良であることを想定した種々の辞書パターンが予め登録されている登録手段と、
通行者の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定手段と、
この画質判定手段により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択手段と、
前記画質判定手段により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択手段により選択された辞書パターンとに基づいて照合処理を行う照合手段と、
この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段と、
を有することを特徴とする通行制御装置。
【請求項２４】
通行を許可すべき人物の顔画像データが所定の領域ごとに各領域に対応する複数の辞書パターンとして登録されている登録手段と、
通行者の少なくとも顔を含む画像を入力する画像入力手段と、
この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、
この処理手段により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合手段と、
この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段と、
を有することを特徴とする通行制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、重要施設（部屋、フロア、建物など）の入退出、管理コンピュータ及び端末装置のアクセス管理などに利用される顔画像照合装置、顔画像照合方法及び通行制御装置に関する。
【背景技術】
【０００２】
従来、生体情報（バイオメトリクス）を利用した個人認証装置としては、指紋、手形、声紋、サイン、網膜、虹彩などの生体情報を利用したものが提案されている。これらの生体情報は、接触型と非接触型に分類される。接触型の生体情報とは、本人が装置に触れることにより得られる生体情報である。また、非接触型の生体情報とは、本人が装置に触れることなく得られる生体情報である。上記の例では、指紋、手形、サインなどが接触型に属する。ただし、サインは本人が署名するという行動を起こさなければならないという点で指紋などとは多少異なる。このような接触型の生体情報は、ユーザが意識して装置に触れるという行為を行わなければならないので、利便性の面で非接触型に劣る。
【０００３】
また、声紋、網膜、虹彩などは、非接触型に属する。しかしながら、声紋（音声）照合は、非接触型に属するが本人が意識して声を発する必要があるため、ユーザの利便性の面では接触型と同様であるといえる。また、網膜、虹彩は、カメラから対象部位の詳細な画像を取り込んで処理するため、ユーザが意識してカメラに接近しなければならない。このため、ユーザの利便性の面では接触型に近い。例えば、網膜は眼球の奥に位置するため、網膜を撮影するには眼をレンズにほとんど接触に近い位置にする必要があり、接触型に近い。また、虹彩は、微細パターンであり、眼球の表面に現れている。このため、虹彩を撮影するには、離れた位置からのカメラで入力可能であるが、眼とレンズとの離せる距離にはおのずと限界があり、接触型に近い。
【０００４】
これらの生体情報に対して、非接触型のバイオメトリクスとして顔画像を用いた顔画像照合による個人認証技術がある。顔画像照合による個人認証に用いられる顔画像は、例えば、虹彩のパターンよりもスケールが大きいため、比較的離れた位置からでも撮影が可能ある。また、顔画像による個人認証は、通常、人間が個人を識別する際に、使われている方法であるため、人間系との親和性が良く、ユーザに違和感なく受入れられやすいという点が大きな特徴である。
【０００５】
従来の顔画像を使った顔画像照合装置では、ビデオカメラを適当な位置に設置し、正面または正面に近いユーザの顔画像を取り込んで、あらかじめ同様な条件で登録した顔画像とのパターン照合を行うものである。例えば、従来では、「「顔画像を用いた顔認識システム」、信学技法ＰＲＭＵ９７−５０、１９９７年６月；山口、福井、前田著」（非特許文献文献１）、あるいは、「「形状抽出とパターン照合の組合せによる顔特徴点抽出」、信学論Ｄ−ＩＩ、Ｖｏｌ．Ｊ−８０−Ｄ−ＩＩ、Ｎｏ．８、１９９７年８月；福井、山口著」（非特許文献２）に記載されているように、やや下方に設置したカメラから顔画像を取り込んで登録及び照合を行うものが提案されている。
【０００６】
しかしながら、従来の顔画像による顔画像照合装置は、ユーザにとって親しみ易く、利便性に優れている反面、環境照明変動に弱いという欠点があり、照合の安定性にも限界がある。
【０００７】
すなわち，顔照合処理は、一般的に、「照合のための顔領域の切出しと正規化」の処理と「顔パターン抽出とパターン照合」の処理とに大きく分けられる。前者の処理においては、比較的環境変動に強いものの画質が良好でない（輝度情報の「白飛び（光量の飽和）」や「黒つぶれ（光量不足）」が多く発生している）顔パターンを照合に用いた場合に誤認識の原因になりやすいという問題点がある。
【０００８】
また，顔照合を含めたバイオメトリクス個人認証においては、大きく分類すると、被認証者の生体情報と識別情報（ＩＤ番号）により特定される人物の生体情報との照合を行う「１対１照合」モードと、被認証者の生体情報と複数の人物の生体情報との照合を行う「1対Ｎ（Ｎは登録者数）照合」モードとの２つの運用モードに分けられる。しかしながら、後者のモードにおいては、照合時間等の制約から登録者数Ｎの数に限界があるという問題点もある。
【特許文献１】特開平１１−１８５０２５号公報
【非特許文献１】「動画像を用いた顔認識システム」，信学技法PRMU９７−５０，１９９７年６月；山口，福井，前田著
【非特許文献２】「形状抽出とパターン照合の組合せによる顔特徴点抽出」，信学論D-II，Vol.J-80-D-II，No.8，１９９７年８月；福井，山口著
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明は、上記のような問題点を解決するもので、ユーザへの負担が非常に小さく、かつ、利便性が高いという顔照合による認証処理の長所をそこなうことなく、照合精度を安定させることができ、照合処理の複雑さや処理コストの増加をおさえることができる顔画像照合装置、顔画像照合方法、および、通行制御装置を提供することを目的としている。
【課題を解決するための手段】
【００１０】
この発明の顔画像処理装置は、顔画像データが予め登録されている登録手段と、少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データにおける画質の良否を判定する画質判定手段と、この画質判定手段により画質が不良と判定された部分を補正する補正手段と、この補正手段により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段とを有する。
【００１１】
この発明の顔画像照合装置は、顔画像データが予め登録されている登録手段と、複数の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した複数の画像から正規化した複数の顔画像データを生成する処理手段と、この処理手段により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成手段と、この生成手段により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段とを有する。
【００１２】
この発明の顔画像照合装置は、所定の領域ごとの顔画像データが各領域に対応する辞書パターンとして登録されている登録手段と、少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定手段と、この画質判定手段により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合手段とを有する。
【００１３】
この発明の顔画像照合装置は、顔画像データの一部が画質不良であることを想定した種々の辞書パターンが予め登録されている登録手段と、少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定手段と、この画質判定手段により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択手段と、前記画質判定手段により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択手段により選択された辞書パターンとに基づいて照合処理を行う照合手段とを有する。
【００１４】
この発明の顔画像照合装置は、所定の領域ごとの顔画像データが各領域に対応する複数の辞書パターンとして登録されている登録手段と、少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合手段とを有する。
【００１５】
この発明の顔画像照合方法は、顔画像データを予め登録手段に登録しておく登録工程と、少なくとも顔を含む画像を入力する画像入力工程と、この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、この処理工程により得られた顔画像データにおける画質の良否を判定する画質判定工程と、この画質判定工程により画質が不良と判定された部分を補正する補正工程と、この補正工程により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合工程とを有する。
【００１６】
この発明の顔画像照合方法は、顔画像データを予め登録手段に登録しておく登録工程と、複数の少なくとも顔を含む画像を入力する画像入力工程と、この画像入力工程により入力した複数の画像から正規化した複数の顔画像データを生成する処理工程と、この処理工程により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成工程と、この生成工程により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合工程とを有する。
【００１７】
この発明の顔画像照合方法は、所定の領域ごとの顔画像データが各領域に対応する辞書パターンとして予め登録手段に登録しておく登録工程と、少なくとも顔を含む画像を入力する画像入力工程と、この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、この処理工程により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定工程と、この画質判定工程により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合工程とを有する。
【００１８】
この発明の顔画像照合方法は、顔画像データの一部が画質不良であることを想定した種々の辞書パターンを予め登録手段に登録しておく登録工程と、少なくとも顔を含む画像を入力する画像入力工程と、この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、この処理工程により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定工程と、この画質判定工程により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択工程と、前記画質判定工程により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択工程により選択された辞書パターンとに基づいて照合処理を行う照合工程とを有する。
【００１９】
この発明の顔画像照合方法は、所定の領域ごとの顔画像データが各領域に対応する複数の辞書パターンとして予め登録手段に登録しておく登録工程と、少なくとも顔を含む画像を入力する画像入力工程と、この画像入力工程により入力した画像から正規化した顔画像データを生成する処理工程と、この処理工程により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合工程とを有する。
【００２０】
この発明の通行制御装置は、通行を許可すべき人物の顔画像データが予め登録されている登録手段と、通行者の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データにおける画質の良否を判定する画質判定手段と、この画質判定手段により画質が不良と判定された部分を補正する補正手段と、この補正手段により補正した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段とを有する。
【００２１】
この発明の通行制御装置は、通行を許可すべき人物の顔画像データが予め登録されている登録手段と、通行者の複数の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した複数の画像から正規化した複数の顔画像データを生成する処理手段と、この処理手段により得られた複数の顔画像データをそれぞれ所定の複数の画像ブロックに分割して複数の顔画像データから各画像ブロックを代表する画像ブロックを生成し、それらの画像ブロックから代表顔画像データを生成する生成手段と、この生成手段により生成した顔画像データと前記登録手段に登録されている顔画像データとに基づいて照合処理を行う照合手段と、この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段とを有する。
【００２２】
この発明の通行制御装置は、通行を許可すべき人物の顔画像データが所定の領域ごとに各領域に対応する辞書パターンとして登録されている登録手段と、通行者の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データに対して所定の領域ごとの画質の良否を判定する画質判定手段と、この画質判定手段により画質が良好と判定された領域の顔画像データと、前記登録手段に登録されている当該領域に対応する辞書パターンとに基づいて照合処理を行う照合手段と、この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段とを有する。
【００２３】
この発明の通行制御装置は、通行を許可すべき人物の顔画像データとして顔画像データの一部が画質不良であることを想定した種々の辞書パターンが予め登録されている登録手段と、通行者の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データに対して複数の画像ブロックごとに画質の良否を判定する画質判定手段と、この画質判定手段により画質が不良と判定された画像ブロックの位置に基づいて前記登録手段に登録されている辞書パターンから当該顔画像データに最も適合する辞書パターンを選択する選択手段と、前記画質判定手段により画質が良好と判定された画像ブロックのみからなる顔画像データと前記選択手段により選択された辞書パターンとに基づいて照合処理を行う照合手段と、この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段とを有する。
【００２４】
この発明の通行制御装置は、通行を許可すべき人物の顔画像データが所定の領域ごとに各領域に対応する複数の辞書パターンとして登録されている登録手段と、通行者の少なくとも顔を含む画像を入力する画像入力手段と、この画像入力手段により入力した画像から正規化した顔画像データを生成する処理手段と、この処理手段により得られた顔画像データにおいて前記登録手段に登録されている各辞書パターンに対応する領域の顔画像データと前記登録手段に登録されている各辞書パターンとをそれぞれ照合し、それらの照合結果に基づいて当該顔画像データに対する照合結果を判定する照合手段と、この照合手段による照合結果に基づいて前記画像入力手段により顔を含む画像が入力された通行者の通行を制御する通行制御手段とを有する。
【発明の効果】
【００２５】
この発明によれば、ユーザへの負担が非常に小さく、かつ、利便性が高いという顔照合による認証処理の長所をそこなうことなく、照合精度を安定させることができ、照合処理の複雑さや処理コストの増加をおさえることができる顔画像照合装置、顔画像照合方法、および、通行制御装置を提供できる。
【発明を実施するための最良の形態】
【００２６】
以下、この発明を実施するための最良の形態について図面を参照して説明する。  
まず、第１の実施の形態について説明する．
図１、及び図２は、個人認証装置としての顔画像照合装置のユーザインターフェース部１０の外観構成例を示す正面図である。図１に示す顔画像照合装置の構成例では、ユーザインターフェース部１０に、表示部１、及びカメラ２が設けられている。また、図２に示す顔画像照合装置の構成例では、ユーザインターフェース部１０に、表示部１、カメラ２、及び操作部５が設けられている。
【００２７】
上記表示部１は、上記カメラ２が撮影中の画像を表示したり、及び利用者に対する案内などを表示したりする。上記カメラ２は、静止画像、動画像あるいは連続画像を撮影するものである。このカメラ２は、上記表示部１の下方に設けられ、上記表示部１を目視している利用者の少なくとも顔を含む領域の画像（以下、顔画像という）をやや顔の下側から撮影するようになっている。
【００２８】
また、図２に示す顔画像照合装置では、表示部１、及びカメラ２に加えて、操作部５が設けられている。この操作部５は、テンキーなどで構成される。この操作部５は、例えば、利用者が個人を特定するために各利用者に与えられている識別情報としてのＩＤ番号、あるいはパスワードなどを入力するものである。
【００２９】
図３、図４は、顔画像照合装置の設置例を示す側面図である。  
図３は、壁掛けタイプのユーザインターフェース部１０を有する顔画像照合装置の設置例を示す側面図である。図３では、図１あるいは図２に示すように構成されたユーザインターフェース部１０が壁に掛けて設置されている。このユーザインターフェース部１０の正面に立つ利用者Ｈの顔は、下方からカメラ２によって撮影されるようになっている。
【００３０】
図４は、据え置きタイプのユーザインターフェース部１０を有する顔画像照合装置の設置例を示す側面図である。図４では、ユーザインターフェース部１０の正面に立った利用者Ｈに対して斜め下方にカメラ２が設置される。これにより、利用者Ｈは、カメラ２を上から覗き込むようになっている。また、図４に示す設置例では、図１あるいは図２に示すように構成される顔画像照合装置のユーザインターフェース部１０がケーブル１１で接続される処理部１２に接続されている。
【００３１】
図５は、顔画像照合装置の制御系統としての全体構成を示す図である。  
図５に示すように、顔画像照合装置の処理部１２は、処理プロセッサ２１、ワークメモリ２２、プログラムメモリ２３、画像メモリ２４、キャプチャボード２５、表示制御部２６、及び辞書データベース２７を有している。
【００３２】
上記処理プロセッサ２１は、顔画像照合装置全体の制御を行う。また、上記処理プロセッサ２１は、図１あるいは図２に示すユーザインターフェース部１０に設けられる表示部１、及びカメラ２等が接続され、これらの制御を行うようになっている。なお、図２に示すように、ユーザインターフェース部１０に操作部５が設けられる場合、操作部５は、処理プロセッサ２１に接続される。上記操作部５で入力された情報は処理プロセッサ２１に供給されるようになっている。
【００３３】
上記ワークメモリ２２は、処理中の画像などを一時的に記憶するメモリである。上記プログラムメモリ２３は、上記処理プロセッサ２１により実行される制御プログラムなどが記憶されるメモリである。例えば、上記処理プロセッサ２１は、上記プログラムメモリ２３に記憶されている制御プログラムに基づいて上記カメラ２に対して制御信号を送って上記カメラ２から顔画像データを取り込む制御を行う。また、上記処理プロセッサ２１は、上記プログラムメモリ２３に記憶されている制御プログラムに基づいて、上記カメラ２から取り込んだ顔画像データに対してワークメモリ２２を使いながら顔画像データに対する画像処理、顔画像データの登録処理、及び顔画像の照合処理などを行う。
【００３４】
上記画像メモリ２４は、画像データを記憶するメモリである。この画像メモリ２４は、例えば、カメラ２で撮影され、上記キャプチャボード２５を介して処理部１２内に供給された顔画像を記憶する。上記キャプチャボード２５は、上記カメラ２で撮影された画像を処理部１２内に取り込む際のインターフェースである。
【００３５】
上記表示制御部２６は、表示部（ディスプレイ）１の表示画面を制御するものである。なお、上記表示部１をタッチパネル内蔵の表示装置で構成する場合、上記表示制御部２６は、表示部１に表示する表示画面を制御するとともに、タッチパネルによりユーザが入力した内容を上記処理プロセッサ２１へ供給する機能を有するものとなる。
【００３６】
ここで、上記カメラ２は、例えば、ＣＣＤまたはＣＭＯＳイメージセンサを用いたモノクロのビデオカメラを使用するものとする。また、上記カメラ２として、カラーカメラを用いる場合、カラー画像からモノクロ画像に変換する処理が追加される。上記キャプチャボード２５は、ビデオ信号（アナログデータ）をディジタルデータに変換し（Ａ／Ｄ変換）、画像メモリ２４に送る（バッファリング）。
【００３７】
これにより、画像メモリ２４に蓄積された画像データに対しては、処理プロセッサ２１がワークメモリ２２を使いながら、画像データを順次取り込んで種々の処理を行う。また、上記カメラ２がＵＳＢ（ユニバーサル・シリアル・バス）インターフェースを備えている場合、上記キャプチャボード２５には、Ａ／Ｄ変換回路が不要であり、ＵＳＢインターフェースを持たせればよい。また、上記カメラ２がＩＥＥＥ１３９４などの他のディジタルインターフェースを備えている場合も同様に、上記キャプチャボード２５には、対応するインターフェースをもたせればよい。
【００３８】
また、上記辞書データベース（以下、単に辞書とも称する）２７は、図示しないインターフェースにより接続される磁気ディスク装置などの記憶装置により構成され、上記カメラ２で撮影した顔画像データと照合するための辞書用の顔画像データが記憶されるものである。また、上記辞書２７には、辞書用の顔画像データ、ユーザ情報、及び顔の特徴量としての顔の特徴パターン（顔パターン）がＩＤ番号毎（ユーザ毎）に登録される。なお、以下の説明では、辞書２７に登録される各ユーザのデータを辞書パターンとも称するものとする。また、上記辞書２７は、通信インターフェース（図示しない）を介して通信可能であれば、当該処理部１２の外に設けられるようにしても良い。
【００３９】
次に、上記のように構成される顔画像照合装置の第１の実施の形態としての動作例について説明する。
【００４０】
図６は、上記カメラ２から取り込んだ顔画像データに対する画像処理（前処理）を説明するためのフローチャートである。  
すなわち、処理プロセッサ２１は、上記カメラ２にて撮影した人物の顔画像データをキャプチャボード２５によって取り込む。上記カメラ２にて撮影した顔画像を取り込むと、処理プロセッサ２１は、取り込んだ顔画像データに対する前処理を行う。
【００４１】
この前処理において、上記処理プロセッサ２１は、まず、上記キャプチャボード２５によって取り込んだ上記カメラ２にて撮影した顔画像データから顔の領域（顔領域）を検出する顔検出処理を行う（ステップ１１）。この顔検出処理で顔画像の領域が検出できなった場合、上記処理プロセッサ２１は、再度、上記カメラ２から顔画像データを取り込んで、顔検出処理を再度実行する。
【００４２】
上記顔検出処理で顔画像の領域を検出すると、上記処理プロセッサ２１は、検出した顔画像の領域から特徴点の抽出処理を行う（ステップＳ１２）。この特徴点の抽出処理は、まず、検出された顔画像領域内において、ほぼ円形領域とみなせる瞳領域と鼻孔領域を検出し、これらの検出した領域の中心位置を顔画像の特徴点として抽出する処理である。
【００４３】
顔画像の特徴点を抽出すると、処理プロセッサ２１は、順番に特徴点の位置を基準とした照合領域の切出しを行う（ステップＳ１３）。これにより照合領域を切り出すと、処理プロセッサ２１は、切り出した照合領域に対して幾何補正による大きさの正規化を行う（ステップＳ１４）。さらに、処理プロセッサ２１は、幾何補正された照合領域に対して濃度補正による濃度分布の正規化を行う（ステップＳ１５）。
【００４４】
これらの処理が前処理として上記処理プロセッサ２１によって行われる処理である。この前処理は、例えば、上記非特許文献１に記載されている従来の処理方法を適用することができるものである。
【００４５】
次に、第１の実施の形態としての顔画像データの登録処理について説明する。  
図７は、第１の実施の形態としての顔画像データの登録処理を説明するためのフローチャートである。
【００４６】
図７に示すように、ユーザの顔画像データの登録処理を行う場合、管理者などの操作員は、図示しないキーボード等の操作部により当該ユーザのＩＤ番号を入力する（ステップＳ２１）。なお、通常の運用では、ＩＤ番号は、当該顔画像照合装置の管理者側が発行し、ユーザに提供するものである。また、当該顔画像照合装置側が登録処理時に、ＩＤ番号を発行するようにしても良い。
【００４７】
次に、ＩＤ番号が入力されると、当該顔画像照合装置の処理プロセッサ２１は、ユーザの顔画像の入力処理を行う（ステップＳ２２）。この顔画像の入力処理は、処理プロセッサ２１の制御によりカメラ２でユーザの顔画像を撮影し、撮影した画像をキャプチャボード２５によって取り込む処理である。
【００４８】
上記顔画像の入力処理によって上記カメラ２で撮影した顔画像を取り込むと、上記処理プロセッサ２１は、上記ステップＳ１１〜Ｓ１５で示すような前処理を行う（ステップＳ２３）。この前処理の結果としては、大きさ、向き、輝度などが正規化された顔画像データが得られる。また、上記前処理で得られる正規化された顔画像データは、Ｍ×Ｎ（例えば、１５×１５等）のブロック画像からなるものとする。
【００４９】
なお、上記ブロック画像は、各画素単位であっても良い。この場合は、以下の説明において「ブロック画像」を「画素」に置き換えたものとなる。
【００５０】
上記前処理により複数のブロック画像からなる正規化された顔画像データが得られると、上記処理プロセッサ２１は、当該顔画像データの各ブロック画像ごとに画質を判定する画質判定処理を行う（ステップＳ２４）。この画質判定処理では、例えば、各ブロック画像内の平均輝度値（以下、各ブロック画像の輝度値とする）が所定のしきい値よりも大きいか否か、及び、所定のしきい値よりも小さいか否かを判定するものである。
【００５１】
すなわち、輝度値が所定のしきい値よりも大きい場合、処理プロセッサ２１は、当該ブロック画像が白飛びしているため、画像不良と判定する。また、輝度値が所定のしきい値よりも小さい場合、処理プロセッサ２１は、当該ブロック画像が黒つぶれしているため、画像不良と判定する。以下の説明では、上記画質判定処理によって画像不良と判定されたブロック画像を不良ブロックとする。また、不良ブロックは、「はずれ値」であるか否かによって定義することも可能である。ここで、「はずれ値」は、例えば、当該処理部１２に複数の画像を入力している場合に各画像における同一位置の値を統計処理して平均よりも所定範囲以上はずれているものとして検出するようにすればよい。
【００５２】
上記画質判定処理を当該顔画像データ内の全てのブロック画像に対して行うと、上記処理プロセッサ２１は、当該顔画像データ内の不良ブロックの数が所定のしきい値Ｔよりも大きいか否かを判断する（ステップＳ２５）。この判断により不良ブロックの数が所定のしきい値Ｔ以下であると判断した場合、上記処理プロセッサ２１は、当該顔画像データを上記ステップＳ２１で入力されたＩＤ番号に対応させて上記辞書２７に登録する（ステップＳ２６）。
【００５３】
また、上記判断により不良ブロックの数が所定のしきい値Ｔよりも大きいと判断した場合、上記処理プロセッサ２１は、上記表示制御部２６によりディスプレイ１に、当該顔画像データが「画像不良」である旨の警告を表示し、当該顔画像データの登録を不可とする（ステップＳ２７）。この場合は、上記ステップＳ２１あるいは上記ステップ２２からの処理を再度繰り返すようにすればよい。
【００５４】
なお、不良ブロックができるだけ少ない顔画像データを辞書２７に登録した方が良い場合には、上記ステップＳ２６で顔画像データを辞書２７に登録する前に、上記画質判定処理によって画質不良と判定した画像ブロックに対しては後述するような補正処理によって補正を施すようにしても良い。ただし、上記カメラ２で撮影した顔画像を忠実に辞書に登録した方が良い場合には不良ブロックに対する補正を行わずに登録するのが好ましい。
【００５５】
上記のように、第１の実施の形態としての登録処理によれば、顔画像データを辞書に登録する前に、複数の画像ブロックごとに画質を判定し、画質不良と判定されたブロックが所定のしきい値よりも大きい場合には当該顔画像データを登録しないようにしたものである。
【００５６】
これにより、画質不良の領域が多い顔画像を辞書に登録することなく、所定のしきい値以上の画質を有する顔画像のみを辞書に登録することができる。この結果、顔画像照合装置において精度の高い顔画像照合を実現できる。
【００５７】
次に、第１の実施の形態としての顔画像データの照合処理について説明する。
【００５８】
図８は、第１の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。ここでは、ユーザがＩＤ番号により指定する辞書２７内の顔画像データとの照合を行う１対１の照合モード（以下の説明では、単に「１対１照合モード」と呼ぶ）の動作について説明する。
【００５９】
ユーザは、まず、操作部５により自分のＩＤ番号を入力する（ステップＳ３１）。このユーザにより入力されるＩＤ番号により、処理プロセッサ２１は、辞書２７内に登録されているＩＤ番号に対応する顔画像データを特定する。また、ＩＤ番号が入力されると、処理プロセッサ２１は、上記ステップＳ２２及びＳ２３と同様に、当該ＩＤ番号を入力したユーザの少なくとも顔を含む画像を撮影して処理部１２内に取り込み（ステップＳ３２）、取り込んだ画像に対して前処理を施す（ステップＳ３３）。
【００６０】
上記前処理により正規化された顔画像データが得られると、上記処理プロセッサ２１は、上記ステップＳ２４と同様に、当該顔画像データを複数の画像ブロックに分けて、各画像ブロックに対する画質判定処理を行う（ステップＳ３４）。
【００６１】
この画質判定処理を当該顔画像データ内の全てのブロック画像に対して行うと、上記処理プロセッサ２１は、当該顔画像データ内の画質が不良であると判定されたブロック（不良ブロック）を補正する補正処理を行う（ステップＳ３５）。
【００６２】
この補正処理については、後で詳細に説明するが、不良ブロックを他の画像ブロックで補完するものである。このため、この補正処理では、他の画像ブロックも不良ブロックである場合には不良ブロックが補正できないことがある。従って、この補正処理では、上記のような補正できない不良ブロックを補正不可の不良ブロックとして後段の処理へ進むものとする。
【００６３】
上記ステップＳ３５の補正処理が終了すると、上記処理プロセッサ２１は、上記補正処理において補正不可となった不良ブロックの数が所定のしきい値よりも大きいか否かを判断する（ステップＳ３６）。
【００６４】
この判断により当該顔画像データにおける補正不可の不良ブロックの数が所定のしきい値よりも多いと判断した場合（ステップＳ３６、ＹＥＳ）、上記処理プロセッサ２１は、当該顔画像データによる照合処理を不可とし（ステップＳ３７）、当該顔画像データを破棄して上記ステップＳ３２からの処理を再度実行する。
【００６５】
また、上記判断により当該顔画像データにおける補正不可の不良ブロックの数が所定のしきい値以下であると判断した場合（ステップＳ３６、ＮＯ）、上記処理プロセッサ２１は、上記補正処理が施された顔画像データと上記辞書２７に登録されている当該ＩＤ番号に対応する顔画像データとを照合する照合処理を行う（ステップＳ３８）。
【００６６】
この照合処理では、上記処理プロセッサ２１により上記ステップＳ３２〜Ｓ３７の処理で得られた顔画像データと上記ステップＳ３１で入力されたＩＤ番号に対応する上記辞書２７内の顔画像データとの照合度（類似度）を算出し、算出した照合度が所定のしきい値より大きい場合には「照合成功」と判断し、それ以外の場合には「照合失敗」と判断する。
【００６７】
なお、上記のような照合処理は、カメラにて撮影した画像から得られる顔画像データに対して辞書２７に登録されている全ての人物の顔画像データとの照合を行う１対Ｎの照合モード（以下の説明では、単に「１対１照合モード」と呼ぶ）に適用することも可能である。この場合、上記ステップＳ２１でのＩＤ番号の入力が省略され、上記ステップＳ３８の照合処理においては、カメラにて撮影した画像に対する前処理の結果として得られる顔画像データと辞書２７内の全ての顔画像データとを類似度を算出し、所定の類似度以上のものが無ければ照合失敗とし、所定の類似度があればその中で最も類似度が高い顔画像データのＩＤ番号の人物との照合が成功したものと判定する。
【００６８】
上記のように、第１の実施の形態としての照合処理によれば、カメラにて撮影した少なくとも顔を含む画像から得られた顔画像データに対して、複数の画像ブロックごとに画質の良否を判定し、画質不良と判定された不良ブロックについては補正を施して、辞書に登録されている顔画像データとの照合処理を行うようにしたものである。
【００６９】
これにより、顔画像データにおいて画質が不良な領域に対して補正を施した後に、辞書に登録されている顔画像データとの照合処理を行うため、顔画像データの画質を向上させることができ、その結果として顔画像照合装置において精度の高い顔画像による照合処理を実現できる。
【００７０】
また、特に、登録時の照明環境条件に比べて、照合時の照明環境条件が保証されない場合（良好でない場合）を想定し、カメラにて撮影した画像から得られる顔画像データにおいて不良ブロックが検出された時には可能な限り「補正処理」を実行し，補正が不可能となるような不良ブロックの数が所定のしきい値を超える顔画像データでは照合処理を行わないようにする。
【００７１】
これにより、照合時の照明環境条件が良好でなくとも、カメラにて撮影した画像から得られる顔画像データの画質を安定させることができ、安定した高精度な照合処理を実現できる。この結果、照合時の照明環境の変化への対応性能が高く、利便性の高い顔画像照合装置を提供できる。
【００７２】
なお、顔画像データの登録処理や顔画像データの照合処理においては、１枚の顔画像（静止画）を処理対象とする方法と、入力条件の変動を考慮して複数枚の画像を処理対象とする方法があるが、これらのような処理は、従来方法で良く、例えば、上記非特許文献１あるいは上記非特許文献２に記載されている。また、複数枚の画像を処理対象とする場合は、一定時間間隔で顔画像の動画像（複数の連続する顔画像）を取込んで、キャプチャボードの画像メモリにバッファリングするようにすればよい。 
次に、顔画像データに対する補正処理について詳細に説明する。
【００７３】
ここでは、顔画像データに対する補正処理の例として、上記ステップＳ３７の不要ブロックに対する補正について説明する。
【００７４】
図９及び図１０は、不良ブロックの補正処理の例を説明するための図である。
【００７５】
図９は、第１の補正方法を示すものである。この第１の補正方法は、１枚の画像内（１枚の顔画像データだけ）で不良ブロックを補正するものである。このため、この第１の補正方法は、例えば、上記カメラ２にて撮影した１枚の静止画（顔を含む画像）から照合用の顔画像データを取得する場合に適用できる。
【００７６】
この第１の補正方法は、図９に示すように、顔の左右の対称性を用いて、不良ブロックを他の画像ブロックで補完するものである。つまり、第１の補正方法は、顔の中心軸を対称軸とし、不良ブロックの値を上記対象軸に対して左右対称となる画像ブロックの値で代用させるものである。上記対称軸は、顔を左右に均等分割する中心線であり、例えば、前処理によって検出される両瞳の２等分点と両鼻孔の２等分点とを結ぶ直線として検出される。なお、この第１の補正方法では、上記対象軸に対して左右対称となる画像ブロックが両方とも画質不良（不良ブロック）と判定された場合は補正不可となる。
【００７７】
また、図１０（ａ）、（ｂ）、（ｃ）は、第２の補正方法を示す図である。この第２の補正方法では、連続する複数の画像を用いて不良ブロックを補正するものである。このため、この第２の補正方法は、例えば、上記カメラ２にて撮影した連続する複数の画像（顔を含む画像）から顔画像データを取得する場合に適用できる。
【００７８】
この第２の補正方法は、例えば、図１０（ｂ）に示す不良ブロックを含む画像Ｇ１（ｉ）に対して前後する、図１０（ａ）に示す画像Ｇ１（ｉ−１）及び図１０（ｃ）に示す画像Ｇ１（ｉ−１）における同一位置の画像ブロックで補完するものである。つまり、第２の補正方法は、不良ブロックを含む画像に対して前後する画像における同一位置の画像ブロックの値に対する平均値を算出し、当該不良ブロックの値を算出した平均値に置き換えるという方法である．なお、この第２の補正方法では、連続する複数の顔画像において同一位置の画像ブロックが両方とも画質不良（不良ブロック）と判定された場合は補正が不可となる。
【００７９】
なお、上述した第２の補正方法では、前後の顔画像データにおける画像ブロックの平均値で不良ブロックを補正するものとしたが、不良ブロックを補完するための画像ブロックは前後の顔画像データから取得するものに限定されるものではない。例えば、複数の顔画像データにおける画像ブロックの平均値を算出して不良ブロックを補正するようにしても良し、前の顔画像データのみ、あるいは後の顔画像データのみを用いて不良ブロックを補正するようにしても良い。
【００８０】
次に、第２の実施の形態について説明する。
【００８１】
この第２の実施の形態は、上記第１の実施の形態の変形例として、上記第１の実施の形態で説明した処理における顔画像データの補正処理の変形例を示すものである。すなわち、この第２の実施の形態において、顔画像データの登録処理及び顔画像データの照合処理を行う個人認証装置としての顔画像照合装置の構成は、図１〜図５に示すような、上記第１の実施の形態と同様である。従って、この第２の実施の形態では、装置構成及び不良ブロックの補正処理以外の処理については、上記第１の実施の形態と同様であるため、詳細な説明を省略する。
【００８２】
以下、この第２の実施の形態では、顔画像データの補正処理としての不良ブロックの補正処理について説明する。なお、この第２の実施の形態で説明する不良ブロックの補正処理は、例えば、上記ステップＳ３７の不良ブロックの補正処理に適用されるものである。また、この第２の実施の形態では、不良ブロックの補正処理の前に、連続する複数の画像から顔画像データが得られているものとする。
【００８３】
図１１（ａ）、（ｂ）、（ｃ）は、連続する複数の画像の例を示す図である。また、図１２は、図１１（ａ）、（ｂ）、（ｃ）に示す複数の画像から生成された画像（代表画像）の例を示す図である。例えば、図１１（ａ）、（ｂ）、（ｃ）は、上記カメラ２にて連続して撮影した画像から得られた顔画像データの例を示すものである。
【００８４】
すなわち、図１１（ａ）に示す画像Ｇ２（ｉ―１）では、画像ブロックＢ１１〜Ｂ５４のうち画像ブロックＢ３４が不良ブロックとなっており、図１１（ｂ）に示す画像Ｇ２（ｉ）では、画像ブロックＢ１１〜Ｂ５４のうち画像ブロックＢ２４が不良ブロックとなっており、図１１（ｃ）に示す画像Ｇ２（ｉ＋１）では、画像ブロックＢ１１〜Ｂ５４のうち画像ブロックＢ４４が不良ブロックとなっている。
【００８５】
図１１（ａ）〜（ｃ）に示すような複数の画像が得られた場合、代表画像Ｇ２は、各画像から不良ブロックを取り除いた状態で、各画像の対応する画像ブロックの平均値からなる画像ブロックで形成する。すなわち、代表画像Ｇ２の画像ブロックＢ２４の値は、画像Ｇ２（ｉ−１）の画像ブロックＢ２４の値と画像Ｇ２（ｉ＋１）の画像ブロックＢ２４の値との平均値とする。同様に、代表画像Ｇ２の画像ブロックＢ３４の値は、画像Ｇ２（ｉ）の画像ブロックＢ３４の値と画像Ｇ２（ｉ＋１）の画像ブロックＢ３４の値との平均値とする。同様に、代表画像Ｇ２の画像ブロックＢ４４の値は、画像Ｇ２（ｉ−１）の画像ブロックＢ４４の値と画像Ｇ２（ｉ）の画像ブロックＢ４４の値との平均値とする。
【００８６】
また、代表画像Ｇ２の画像ブロックＢ２４、Ｂ３４、Ｂ４４以外の各画像ブロック（Ｂ１１〜Ｂ２３、Ｂ３１〜Ｂ３３、Ｂ４１〜Ｂ４３、Ｂ５１〜Ｂ５４）の値は、それぞれ画像Ｇ２（ｉ−１）の画像ブロック（Ｂ１１〜Ｂ２３、Ｂ３１〜Ｂ３３、Ｂ４１〜Ｂ４３、Ｂ５１〜Ｂ５４）の値と、画像Ｇ２（ｉ）の画像ブロック（Ｂ１１〜Ｂ２３、Ｂ３１〜Ｂ３３、Ｂ４１〜Ｂ４３、Ｂ５１〜Ｂ５４）の値と、画像Ｇ２（ｉ＋１）の画像ブロック画像Ｇ２（ｉ−１）の値との平均値とする。
【００８７】
このような処理によって、図１１（ａ）に示す画像Ｇ２（ｉ−１）と図１１（ｂ）に示す画像Ｇ２（ｉ）と図１１（ｃ）に示す画像Ｇ２（ｉ＋１）とから、図１２に示すような代表画像Ｇ２が得られる。
【００８８】
次に、第２の実施の形態としての顔画像データの照合処理について説明する。  
図１３は、第２の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。
【００８９】
ユーザは、まず、操作部５により自分のＩＤ番号を入力する（ステップＳ４０）。このユーザにより入力されるＩＤ番号に基づいて、上記処理プロセッサ２１は、辞書２７内に登録されているＩＤ番号に対応する顔画像データを特定する。また、ＩＤ番号が入力されると、上記処理プロセッサ２１は、当該ＩＤ番号を入力したユーザの少なくとも顔を含む画像（顔画像）を連続して複数枚撮影し、上記キャプチャボード２５により当該処理部１２内に取り込む（ステップＳ４１）。上記キャプチャボード２５では、上記カメラ２にて連続して撮影された複数の顔画像を図示しない画像メモリに蓄積しておくものとする。従って、上記処理プロセッサ２１は、上記キャプチャボード２５内に蓄積された複数の顔画像を順次読み出して各顔画像に対する前処理を行う（ステップＳ４２）。なお、上記前処理は、上述した図６に示すような処理である。
【００９０】
上記前処理により正規化された複数の顔画像データが得られると、上記処理プロセッサ２１は、各顔画像データを複数の画像ブロックに分けて、各画像ブロックに対する画質判定処理を行う（ステップＳ４３）。この画質判定処理により各顔画像データ内の不良ブロックを判定すると、上記処理プロセッサ２１は、上述したように、各顔画像データ内の不良ブロックを除いた状態で、各顔画像データの各画像ブロックの値から各位置の画像ブロックの平均値を算出し、それらの各画像ブロックの平均値からなる画像ブロックによって１つの代表画像を生成する（ステップＳ４４）。ここで、上記ステップＳ４２の前処理では各顔画像データを正規化しているため、上記代表画像も正規化された顔画像データとなっている。
【００９１】
上記ステップＳ４４で代表画像を生成すると、上記処理プロセッサ２１は、上記代表画像としての顔画像データと上記辞書２７に登録されている上記ステップＳ４０で入力されたＩＤ番号に対応する顔画像データとを照合する照合処理を行う（ステップＳ３８）。この照合処理では、代表画像としての顔画像データと当該ＩＤ番号に対応する上記辞書２７内の顔画像データとの照合度（類似度）を算出し、算出した照合度が所定のしきい値より大きい場合には「照合成功」と判定し、それ以外の場合には「照合失敗」と判定するものである。
【００９２】
なお、上述の説明では、各画像ブロックの平均値により代表顔画像データを生成するものとしたが、各顔画像データの不良ブロックのみを他の顔画像データにおける同一位置の画像ブロックに置き換えるようにしても良い。この場合は代表顔画像データとしての複数の顔画像データを生成することができる。また、各顔画像データ間における同一位置の各画像ブロックの値に対する変動率に基づいて画像ブロックの値を書き換えるようにしてもよい。例えば、複数の顔画像データにおける同一位置の各画像ブロックの値の分散を算出し、その分散が所定値以上の画像ブロックについてのみ他の画像ブロックに置き換えるようにすればよい。この場合も代表顔画像データとしての複数の顔画像データを生成することができる。
【００９３】
また、上述の説明では、複数の顔画像データの各画像ブロックに対して画質判定を行って代表画像を生成するものとしたが、画質判定の対象となる顔画像データが多い場合には各画像ブロックに対する画質判定を省略するようにしても良い。この場合、各画像の各画像ブロックに対して画質判定を行う必要がないため、顔画像データの補正処理としての当該処理を高速化できる。また、この場合、画質不良と判定されるべき画像ブロックの値は他の画像ブロックの平均値として代表画像に反映されるが、顔画像データの数が多ければ多いほど１つの不良ブロックによる代表画像への影響が少ない。
【００９４】
また、上述の説明では、複数の連続する顔画像データ（カメラ２にて連続して撮影される画像系列）に対して補正処理を行う場合について説明したが、上記前処理では顔画像データを正規化するため、別々の場所（あるいは別の時間帯）で撮像された複数枚の画像から得られた複数の顔画像データに対して上述した補正処理を適用するようにしても良い。これは、上記前処理では顔画像データを正規化するため、別の場所あるいは別の時間帯で撮影された画像から得られた顔画像データであっても、各画像ブロックが対応するものとすることができるためである。
【００９５】
上記のように、第２の実施の形態としての顔画像データの補正処理では、複数の連続する顔画像データから不良ブロックを除いて、各顔画像データにおける各画像ブロックごとの平均値を算出し、これらの各画像ブロックの値の平均値からなる代表画像を生成するようにしたものである。
【００９６】
これにより、複数の連続する顔画像データからそれぞれの不良ブロックを除去した状態で、複数の連続する顔画像データの平均的な顔画像データを照合用の顔画像データあるいは登録用の顔画像データとして生成することができ、顔画像データにおける画質不良の領域の影響が少ない高精度な照合処理を実現できる。
【００９７】
次に、第３の実施の形態について説明する。  
この第３の実施の形態は、上記第１の実施の形態の変形例として、上記第１の実施の形態で説明した処理における顔画像データの補正処理を行わずに照合処理を行うものである。すなわち、この第３の実施の形態において、顔画像データの登録処理及び顔画像データの照合処理を行う個人認証装置としての顔画像照合装置の構成は、図１〜図５に示すような、上記第１の実施の形態と同様である。従って、この第３の実施の形態では、装置構成については、上記第１の実施の形態と同様であるため、詳細な説明を省略する。
【００９８】
まず、第３の実施の形態としての顔画像データの登録処理について説明する。
【００９９】
ここでは、第３の実施の形態に係る顔画像データの登録処理の例として、例えば、上記第１の実施の形態で説明した図７のステップＳ２６に適用される登録処理について説明する。
【０１００】
図１４は、上記第１の実施の形態で説明した前処理までの処理（図７の上記ステップＳ２１〜Ｓ２３に対応する処理）で得られる正規化された顔画像データ（以下、全体パターンと称する）の例を示す図である。図１４に示す例において、正規化された顔画像データ（全体パターン）は、画像ブロックＰ１〜Ｐ２０からなっている。言い換えると、図１４に示す全体パターンは、２０次元の特徴ベクトルからなる顔全体のパターンを示す顔画像データである。
【０１０１】
これに対して、図１５（ａ）は、図１４に示す顔画像データにおいて中心軸から左側半分の各画像ブロック（Ｐ１〜Ｐ１０）からなる顔画像データ（以下、左半分パターンと称する）を示すものである。言い換えると、図１５（ａ）に示す左半分パターンは、１０次元の特徴ベクトルからなる顔の右半分のパターンを示す顔画像データである。
【０１０２】
また、図１５（ｂ）は、図１４に示す顔画像データにおいて中心軸から右側半分の各画像ブロック（Ｐ１１〜Ｐ２０）からなる画像データ（以下、右半分パターンと称する）を示すものである。言い換えると、図１５（ｂ）に示す右半分パターンは、１０次元の特徴ベクトルからなる顔の左半分のパターンを示す顔画像データである。
【０１０３】
この第３の実施の形態としての登録処理では、登録処理の開始時に入力されるＩＤ番号に対応して、図１４に示すような全体パターンを辞書２７に登録するとともに、図１５（ａ）に示すような左半分パターンと図１５（ｂ）に示すような右半分パターンとを辞書２７に登録する。これにより、上記辞書２７には、１人の被登録者（あるいは１つのＩＤ番号）に対して、被登録者の顔全体を示す辞書パターンと、被登録者の顔の左半分を示す辞書パターンと、被登録者の顔の右半分を示す辞書パターンとが登録される。
【０１０４】
次に、第３の実施の形態としての顔画像データの照合処理について説明する。  
図１６は、第３の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。なお、図１６に示すステップＳ４６〜Ｓ４９の処理は、図８のステップＳ３１〜Ｓ３４の処理と同様であるため、詳細な説明を省略する。
【０１０５】
すなわち、前処理された顔画像データにおける各画像ブロックごとの画質判定が完了すると、上記処理プロセッサ２１は、当該顔画像データの左半分の画像ブロックにおける不良ブロック数を計数し、その左半分の不良ブロック数と所定のしきい値とを比較する（ステップＳ５０）。同様に、上記処理プロセッサ２１は、当該顔画像データの右半分における不良ブロック数を計数し、その右半分の不良ブロック数と所定のしきい値とを比較する（ステップＳ５１）。
【０１０６】
これらの比較の結果、左半分の不良ブロック数と右半分の不良ブロック数とが共に所定のしきい値よりも多い場合（ステップＳ５２、ＹＥＳ）、上記処理プロセッサ２１は、当該顔画像データによる照合処理が不可であると判断し（ステップＳ５３）、当該顔画像データを破棄して上記ステップＳ４７へ戻る。
【０１０７】
また、上記比較の結果、左半分の不良ブロック数のみが所定のしきい値以下であると判断した場合（右半分の不要ブロック数が所定のしきい値よりも多く、かつ、左半分の不良ブロック数が所定のしきい値以下である場合）（ステップＳ５４、ＹＥＳ）、上記処理プロセッサ２１は、当該顔画像データにおける左半分の顔画像データと上記辞書２７に登録されている上記ステップＳ４６で入力されたＩＤ番号に対応する左半分パターンとの照合処理を行う（ステップＳ５５）。
【０１０８】
また、上記比較の結果、右半分の不良ブロック数のみが所定のしきい値以下であると判断した場合（左半分の不要ブロック数が所定のしきい値よりも多く、かつ、右半分の不良ブロック数が所定のしきい値以下である場合）（ステップＳ５６、ＹＥＳ）、上記処理プロセッサ２１は、当該顔画像データにおける右半分の顔画像データと上記辞書２７に登録されている上記ステップＳ４６で入力されたＩＤ番号に対応する右半分パターンとの照合処理を行う（ステップＳ５７）。
【０１０９】
また、上記比較の結果、左半分の不良ブロック数と右半分の不良ブロック数とが共に所定のしきい値以下であると判断した場合（ステップＳ５４及びＳ５６、ＮＯ）、上記処理プロセッサ２１は、当該顔画像データ全体と上記辞書２７に登録されている上記ステップＳ４６で入力されたＩＤ番号に対応する全体パターンとの照合処理を行う（ステップＳ５８）。
【０１１０】
上記ステップＳ５５、Ｓ５７、あるいは、Ｓ５８の何れかの照合処理によって当該顔画像データと辞書２７に登録されている辞書パターンとの照合が成功した場合、上記処理プロセッサ２１は、当該顔画像データによる照合処理が成功したものと判定し、そうでない場合には当該顔画像データによる照合処理が失敗したものと判定する。
【０１１１】
なお、当該顔画像データにおいて、左半分の領域の不良ブロック数と右半分の領域の不良ブロック数とが共に所定のしきい値以上であると判断された場合には、何れか良い方（不良ブロック数が少ない方）を用いて照合処理を行うようにしても良い。また、左半分と右半分とのどちらの画質が良いかは、１つの顔画像データごとに判定するものとするが、照明環境が変動しないとすれば、連続する複数の顔画像データを入力する場合には最初の顔画像データのみにおいて、左半分と右半分とのどちらの画質が良いかを判定し、それ以後は同じとみなすように実施しても良い．
上記のように、第３の実施の形態としての照合処理によれば、顔画像データにおける所定の領域ごとに画質の良否を判定し、画質の良い領域のみの顔画像データによる照合処理を行うようにしたものである。
【０１１２】
これにより、照明環境などにより顔画像データにおける一部の領域の画質が不良であっても、高精度な顔照合を行うことが可能となる。また、照明環境などの変化にも対応しやすくなるため、顔画像を撮影するカメラの設置場所等の自由度も高くなる。
【０１１３】
次に、第４の実施の形態について説明する。  
この第４の実施の形態は、上記第１の実施の形態の変形例として、上記第１の実施の形態で説明した処理における顔画像データの補正処理を行わずに照合処理を行うものである。すなわち、この第４の実施の形態において、顔画像データの登録処理及び顔画像データの照合処理を行う個人認証装置としての顔画像照合装置の構成は、図１〜図５に示すような、上記第１の実施の形態と同様である。従って、この第４の実施の形態では、装置構成については、上記第１の実施の形態と同様であるため、詳細な説明を省略する。
【０１１４】
まず、第４の実施の形態としての顔画像データの登録処理について説明する。
【０１１５】
ここでは、第４の実施の形態に係る顔画像データの登録処理の例として、例えば、上記第１の実施の形態で説明した図７のステップＳ２６に適用される登録処理について説明する。
【０１１６】
図１７は、上記第１の実施の形態で説明した前処理までの処理（図７の上記ステップＳ２１〜Ｓ２３）で得られる正規化された顔画像データの例を示す図である。図１７に示す例において、正規化された顔画像データは、複数の画像ブロックからなっている。
【０１１７】
この第４の実施の形態としての顔画像データの登録処理では、図１７に示すような辞書２７へ登録する登録用の顔画像データを基に、様々な位置に不良ブロックが現れた場合を想定し、想定した不良ブロック以外の画像ブロックで照合を行えるような種々の辞書パターンを辞書に登録するものである。つまり、この第４の実施の形態では、様々な位置に現れる可能性がある不良ブロックに対応するための様々な辞書パターンを上記辞書２７に登録しておき、後述するような照合処理時に、照合用の顔画像データに対して、最適な辞書パターンを選択して照合を行うものである。
【０１１８】
例えば、図１８は、図１７に示す顔画像データから生成した６つの辞書パターン（ＤＰ１〜ＤＰ６）の例を示す図である。
【０１１９】
すなわち、図１８に示す辞書パターンＤＰ１は、図１７に示す顔画像データをそのまま登録した辞書用の顔画像データ（辞書パターン）である。また、図１８に示す辞書パターンＤＰ２〜ＤＰ６は、図１７に示す顔画像データの画像ブロックの１つを不良ブロックＡと想定した場合の辞書パターンである。
【０１２０】
例えば、辞書パターンＤＰ２では、図１７に示す顔画像データにおける右上の画像ブロックを不良ブロックＡとして想定した場合の辞書パターンである。すなわち、右上の画像ブロックＡが不良ブロックとなっている顔画像データと照合する場合には辞書パターンＤＰ２を用いる。
【０１２１】
同様に、辞書パターンＤＰ３では、図１７に示す顔画像データにおける右端の上から２つ目の画像ブロックを不良ブロックＡとして想定した場合の辞書パターンである。すなわち、右端の上から２つ目の画像ブロックＡが不良ブロックとなっている顔画像データと照合する場合には辞書パターンＤＰ３を用いる。
【０１２２】
同様に、辞書パターンＤＰ４では、図１７に示す顔画像データにおける右端の上から３つ目の画像ブロックを不良ブロックＡとして想定した場合の辞書パターンである。すなわち、右端の上から３つ目の画像ブロックＡが不良ブロックとなっている顔画像データと照合する場合には辞書パターンＤＰ４を用いる。
【０１２３】
同様に、辞書パターンＤＰ５では、図１７に示す顔画像データにおける右端の上から４つ目の画像ブロックを不良ブロックＡとして想定した場合の辞書パターンである。すなわち、右端の上から４つ目の画像ブロックＡが不良ブロックとなっている顔画像データと照合する場合には辞書パターンＤＰ５を用いる。
【０１２４】
同様に、辞書パターンＤＰ６では、図１７に示す顔画像データにおける右下の画像ブロックを不良ブロックＡとして想定した場合の辞書パターンである。すなわち、右下の画像ブロックＡが不良ブロックとなっている顔画像データと照合する場合には辞書パターンＤＰ６を用いる。
【０１２５】
なお、図１８に示す辞書パターンの例では、１つの登録用の顔画像データに対して６通りの辞書パターンを辞書に登録したものについて説明したが、辞書パターンとして登録する数はこれに限らず任意の数の辞書パターンを登録するようにすれば良い。例えば、照合場所（カメラにて顔を撮影する場所）の照明環境に応じて、上記辞書２７に登録する辞書パターンのバリエーションを決定するようにしても良い。
【０１２６】
上記のように、第４の実施の形態では、画像ブロックのうち１つ（あるいは１部）を不良ブロックと想定し、その想定した不良ブロックを除いた辞書パターンを登録用の顔画像データから生成して辞書２７に登録するようにしたものである。これにより、様々な位置に不良ブロックを有する顔画像データに対して、不良ブロックなしの状態で照合可能な辞書パターンを登録した辞書を作成できる。
【０１２７】
次に、第４の実施の形態としての顔画像データの照合処理について説明する。  
図１９は、第４の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。なお、図１９に示すステップＳ６１〜Ｓ６４の処理は、図８のステップＳ３１〜Ｓ３４の処理と同様であるため、詳細な説明を省略する。
【０１２８】
すなわち、前処理された顔画像データにおける各画像ブロックごとの画質判定が完了すると、上記処理プロセッサ２１は、当該顔画像データに存在する不良ブロックの位置に基づいて最適な辞書パターンを選択する（ステップＳ６５）。
【０１２９】
つまり、上記処理プロセッサ２１は、上記ステップＳ６１で入力されたＩＤ番号に対応する辞書パターンのうち、最も当該顔画像データに存在する不良ブロックの影響が少ない辞書パターンを選択する。例えば、当該顔画像データの不良ブロックの位置と想定している不良ブロックの位置とが一致する辞書パターンがあれば、その辞書パターンを選択する。
【０１３０】
当該顔画像データに最適な辞書パターンを選択すると、上記処理プロセッサ２１は、当該顔画像データと選択した辞書パターンとの照合処理を行う。この場合、上記処理プロセッサ２１は、選択した辞書パターンで想定している不良ブロックの画像ブロック部分について照合処理の対象とはせずに、それ以外の画像ブロック部分での照合処理を行う（ステップＳ６６）。この照合処理によって当該顔画像データと選択した辞書パターンとの照合が成功した場合、上記処理プロセッサ２１は、当該顔画像データによる照合処理が成功したものと判定し、そうでない場合には当該顔画像データによる照合処理が失敗したものと判定する。
【０１３１】
なお、上記ステップＳ６４の画質判定において画質不良と判定した画像ブロック（不良ブロック）の数が所定のしきい値よりも多い場合には、図８に示す第１の実施の形態と同様に、当該顔画像データを破棄して上記ステップＳ６２へ戻るようにしても良い。
【０１３２】
上記のように、第４の実施の形態としての照合処理によれば、様々な位置の不良ブロックを想定して種々の辞書パターンを辞書に登録しておき、照合用の顔画像データにおける不良ブロックの位置に基づいて最適な辞書パターンを選択して照合処理を行うようにしたものである。
【０１３３】
これにより、照明環境などにより顔画像データにおける一部の領域の画質が不良であっても、高精度な顔照合を行うことが可能となる。また、照明環境などの変化にも対応しやすくなるため、顔画像を撮影するカメラの設置場所等の自由度も高くなる。
【０１３４】
次に、第５の実施の形態について説明する。  
この第５の実施の形態は、上記第１の実施の形態の変形例として、上記第１の実施の形態で説明した処理における顔画像データの補正処理を行わずに照合処理を行うものである。すなわち、この第５の実施の形態において、顔画像データの登録処理及び顔画像データの照合処理を行う個人認証装置としての顔画像照合装置の構成は、図１〜図５に示すような、上記第１の実施の形態と同様である。従って、この第５の実施の形態では、装置構成については、上記第１の実施の形態と同様であるため、詳細な説明を省略する。
【０１３５】
この第５の実施の形態では、上記第３の実施の形態あるいは上記第４の実施の形態のように、登録用の顔画像データから予め複数の画像ブロックからなる辞書パターンを複数種類分、辞書２７に登録しておくものである。つまり、第５の実施の形態では、１つのＩＤ番号（あるいは１人の登録者）に対して所定の複数の画像ブロックからなる辞書パターンを少なくとも２つ以上辞書２７に登録されるものとする。
【０１３６】
以下の説明では、外光が左右どちらかから当っているような状況を想定し、各ＩＤ番号（あるいは各登録者）に対して、登録用の顔画像データの左半分からなる第１の辞書パターンと、登録用の顔画像データの右半分からなる第２の辞書パターンとが辞書２７に登録されているものとする。
【０１３７】
次に、第５の実施の形態としての顔画像データの照合処理について説明する。  
図２０は、第５の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。また、図２０は、１対１照合モードの場合の照合処理の動作例を示すものである。ここで、図２０に示すステップＳ７１〜Ｓ７３の処理は、図８のステップＳ３１〜Ｓ３３の処理と同様であるため、詳細な説明を省略するものとする。
【０１３８】
すなわち、前処理（ステップＳ７３）により正規化された顔画像データが得られると、上記処理プロセッサ２１は、当該顔画像データによる照合処理を行う（ステップＳ７４）。なお、第５の実施の形態では、画像ブロックごとの画質判定は省略するものとする。
【０１３９】
上記照合処理において、上記処理プロセッサ２１は、まず、当該顔画像データの左半分の顔画像データと、上記辞書２７に登録されている上記ステップＳ７１で入力されたＩＤ番号に対応する登録用の顔画像データの左半分の顔画像データとしての第１の辞書パターンとの照合度（類似度）を算出することにより顔の左半分での照合処理を行う（ステップＳ８１）。
【０１４０】
この顔の左半分での照合処理により照合度（顔の左半分の照合度）が算出されると、上記処理プロセッサ２１は、上記顔の左半分の照合度が所定のしきい値Ｔ１以上か否かを判断する（ステップＳ８２）。この判断により顔の左半分の照合度が所定のしきい値Ｔ１以上でないと判断した場合、上記処理プロセッサ２１は、照合が失敗したものと判定する（リジェクト）。
【０１４１】
また、上記判断により顔の左半分の照合度が所定のしきい値Ｔ１以上であると判断した場合、上記処理プロセッサ２１は、さらに、当該顔画像データの右半分の顔画像データと、上記辞書２７に登録されている上記ステップＳ７１で入力されたＩＤ番号に対応する登録用の顔画像データの右半分の顔画像データとしての第２の辞書パターンとの照合度（類似度）を算出することにより顔の右半分での照合処理を行う（ステップＳ８３）。
【０１４２】
この顔の右半分での照合処理により照合度（顔の右半分の照合度）が算出されると、上記処理プロセッサ２１は、上記顔の右半分の照合度が所定のしきい値Ｔ２以上か否かを判断する（ステップＳ８４）。この判断により顔の右半分の照合度が所定のしきい値Ｔ２以上でないと判断した場合、上記処理プロセッサ２１は、照合が失敗したものと判定する（リジェクト）。
【０１４３】
また、上記判断により顔の右半分の照合度が所定のしきい値Ｔ２以上であると判断した場合、上記処理プロセッサ２１は、当該顔画像データと上記辞書２７に登録されている上記ステップＳ７１で入力されたＩＤ番号の顔画像データとの照合が成功したものと判定する（「本人である」と判定する）。
【０１４４】
上述した動作例では、左半分と右半分の照合度を別々に判定（ステップＳ８２、Ｓ８４）するものとしたが、左半分の照合度と右半分の照合度との平均値（単純平均あるいは重み付き平均）、あるいは、両者の合計値などを当該顔画像データと辞書パターンとの照合度として用いて判定するようにしてもよい。
【０１４５】
次に、第５の実施の形態としての顔画像データの照合処理について説明する。  
図２１は、第５の実施の形態としての顔画像データの照合処理を説明するためのフローチャートである。また、図２１は、１対Ｎ照合モードの場合の照合処理の動作例を示すものである。ここで、図２１に示すステップＳ９１、Ｓ９２の処理は、図８のステップＳ３２、Ｓ３３の処理と同様であるため、詳細な説明を省略するものとする。
【０１４６】
すなわち、前処理（ステップＳ９２）により正規化された顔画像データが得られると、上記処理プロセッサ２１は、当該顔画像データによる照合処理を行う（ステップＳ１０１）。なお、第５の実施の形態では、画像ブロックごとの画質判定は省略するものとする。
【０１４７】
上記照合処理において、上記処理プロセッサ２１は、まず、当該顔画像データの左半分の顔画像データと、上記辞書２７に登録されている全ての第１の辞書パターン（顔の左半分の辞書パターン）との照合度（類似度）を算出することにより顔の左半分での照合処理を行う（ステップＳ１０１）。
【０１４８】
この顔の左半分での照合処理により上記辞書２７に登録されている全ての第１の辞書パターンとの照合度（顔の左半分の照合度）が算出されると、上記処理プロセッサ２１は、それらの顔の左半分の照合度のうち所定のしきい値Ｔ３のものを候補として選出する（ステップＳ１０２）。
【０１４９】
これにより、候補として選出されたものが無かった場合（ステップＳ１０３、なし）、上記処理プロセッサ２１は、当該顔画像データに該当するものがない（該当する登録者がいない）と判定する。また、上記ステップＳ１０２で候補として選出されたものが１つであった場合（ステップＳ１０３、一意）、上記処理プロセッサ２１は、その候補と当該顔画像データとの照合が成功したものとして判定し、その候補のＩＤ番号を当該顔画像データに一致する人物のＩＤ番号として出力する。
【０１５０】
また、上記ステップＳ１０２で候補として選出されたものが複数であった場合（ステップＳ１０３、複数）、上記処理プロセッサ２１は、さらに、それらの候補を対象として、当該顔画像データの右半分の顔画像データと、上記辞書２７に登録されているそれらの候補の第２の辞書パターン（顔の右半分の辞書パターン）との照合度（類似度）を算出することにより顔の右半分での照合処理を行う（ステップＳ１０４）。
【０１５１】
この顔の右半分での照合処理により当該顔画像データの右半分の顔画像データと各候補の第２の辞書パターンとの照合度が全て算出されると、上記処理プロセッサ２１は、それらの照合度の最大照合度を判断し、その最大照合度となった候補との照合が成功したものと判断する。この場合、その最大照合度となった候補のＩＤ番号を当該顔画像データに一致する人物のＩＤ番号として出力する。
【０１５２】
なお、上述した動作例では、左半分と右半分の照合度を別々に判定（ステップＳ１０１、Ｓ１０４）するものとしたが、左半分の照合度と右半分の照合度との照合度を平均値（単純平均あるいは重み付き平均）、あるいは、両者の合計値などを当該顔画像データと各辞書パターンとの照合度として用いることにより当該顔画像データと一致する人物を判定するようにしてもよい。
【０１５３】
また、「特定人物のリスト」（特定人物の顔画像データの辞書）に登録されている特定人物の有無を検出する顔検索ような用途に用いる場合、最終的な照合結果を、一意に絞らないで所定のしきい値以上の候補を全て出力するようにしてもよい。
【０１５４】
上記のように、第５の実施の形態を１対Ｎ照合の場合に適用することにより、実際の照合処理においては、階層的に候補を絞ることとなるので，照合処理にかかる時間を短くすることが可能であるというメリットがある。
【０１５５】
また、図２２〜２４は、上述した第５の実施の形態の変形例を説明するための図である。図２２は、前処理で正規化された顔画像データの例を示すものである。また、図２３は、図２２の顔画像データにおける中心部分の画像ブロックを含む左半分の顔画像データを示すものである。また、図２４は、図２２の顔画像データにおける中心部分の画像ブロックを含む右半分の顔画像データを示すものである。図２３及び図２４に示す顔画像データの例において、斜線部分は、互いに共通する部分の画像ブロックを示すものであり、これらの斜線部分の画像ブロックは、図２２において、対象軸を含む画像ブロックに対応している。
【０１５６】
すなわち、図２０あるいは図２１に示すような第５の実施の形態で説明した処理は、図２３及び図２４に示すように、互いに重複する領域を有する状態で左半分と右半分とに分けた顔画像データを辞書パターンとして辞書に登録しても実現できる。
【０１５７】
さらには、顔画像データを上半分の顔画像データと下半分の顔画像データとに分けてそれらの辞書パターンを辞書２７に登録するようにても、図２０あるいは図２１に示すような動作は実現可能である。また、上半分、下半分、左半分、及び右半分の４通りの辞書パターンを辞書２７に登録するようにしても良い。すなわち、第５の実施の形態は、辞書に登録する少なくとも２つの辞書パターンの分け方は、それぞれの領域の顔画像データでの照合処理における照合精度が所定のレベルに保たれる範囲において、任意に設定することが可能である。
【０１５８】
上記のように、第５の実施の形態の照合処理によれば、顔画像データの種々の領域に対応する種々の辞書パターンを辞書に登録しておき、照合時に取得した顔画像データに対して、各辞書パターンが対応している領域ごとに照合処理を行って、それらの照合処理の結果を総合して最終的な照合結果を得るようにしたものである。また、照合時に取得した顔画像データに対して各辞書パターンが対応している領域ごとに階層的に順次照合処理を行って、その結果として最終的な照合結果を得るようにしたものである
これにより、照明環境などにより顔画像データにおける一部の領域の画質が不良であっても、高精度な顔照合を行うことが可能となる。また、照明環境などの変化にも対応しやすくなるため、顔画像を撮影するカメラの設置場所等の自由度も高くなる。
【０１５９】
なお、上記第１〜第５の実施の形態では、顔画像データによって照合処理を行うまでの顔画像照合装置としての動作について説明したが、このような顔画像照合装置は、施設への出入口のドアやゲートの通行を制御する通行制御装置に適用することが可能である。
【０１６０】
例えば、図２５は、上記第１〜第５の実施の形態で説明したユーザインターフェース１０を有する顔画像照合装置を通行制御装置に適用した場合の構成を示す図である。上記通行制御装置では、ドア（あるいはゲート）１０１の手前で、カメラ２により通行者の少なくとも顔を含む画像を撮影し、上記第１〜第５の実施の形態で説明した照合処理を行い、この照合処理の結果が照合成功となった場合、ドア開閉機構１０２によりドア１０１を開放して当該通行者の通行を許可し、照合失敗となった場合、ドア開閉機構１０２によりドア１０１を閉鎖したままとして当該通行者の通行を阻止する。
【０１６１】
このように、上述した顔画像照合装置を通行制御装置に適用するこれにより、顔画像による照合（個人認証）に基づいてドアあるいはゲートの開閉を制御することができ、ユーザへの負担が非常に小さく、かつ、利便性が高いという顔照合での通行制御が実現できる。
【０１６２】
なお。本発明は、上述した各実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で、種々変形して実施できる。例えば、上述した各実施の形態を種々に組み合わせて実施することも可能である。また、上述した各実施の形態では、１個のカメラで撮影した画像を照合に用いるものについて説明したが、複数のカメラで撮影した画像に対して上述したような各実施の形態を適用するようにしてもよい。
【図面の簡単な説明】
【０１６３】
【図１】本発明に係る顔画像照合装置に用いられるユーザインターフェース部の外観構成の例を示す図。
【図２】本発明に係る顔画像照合装置に用いられるユーザインターフェース部の外観構成の例を示す図。
【図３】本発明に係る顔画像照合装置に用いられるユーザインターフェース部の設置例を示す図。
【図４】本発明に係る顔画像照合装置に用いられるユーザインターフェース部の設置例を示す図。
【図５】顔画像照合装置の処理部内の構成例を示すブロック図。
【図６】顔画像照合装置のカメラにて撮影した画像に対する前処理を説明するためのフローチャート。
【図７】第１の実施の形態としての顔画像データの登録処理を説明するためのフローチャート。
【図８】第１の実施の形態としての顔画像データによる照合処理を説明するためのフローチャート。
【図９】第１の実施の形態としての顔画像データにおける不良ブロックに対する補正方法を説明するための図。
【図１０】第１の実施の形態としての顔画像データにおける不良ブロックに対する第２の補正方法を説明するための図。
【図１１】第２の実施の形態としての顔画像データの補正処理が適用される連続する複数の顔画像データの例を示す図。
【図１２】図１１の複数の顔画像データから生成される代表画像の例を示す図。
【図１３】第２の実施の形態としての顔画像データによる照合処理を説明するためのフローチャート。
【図１４】第３の実施の形態としての登録処理が適用される顔画像データ全体における各画像ブロックの構成例を示す図。
【図１５】図１４の顔画像データから生成される左半分パターンの例と右半分パターンの例とを示す図。
【図１６】第３の実施の形態としての顔画像データによる照合処理を説明するためのフローチャート。
【図１７】第４の実施の形態としての登録処理が適用される顔画像データ全体における各画像ブロックの構成例を示す図。
【図１８】図１７の顔画像データから生成される種々の辞書パターンの構成例を示す図。
【図１９】第４の実施の形態としての顔画像データによる照合処理を説明するためのフローチャート。
【図２０】第５の実施の形態としての顔画像データによる照合処理を１対１照合に適用した場合の動作例を説明するためのフローチャート。
【図２１】第５の実施の形態としての顔画像データによる照合処理を１対Ｎ照合に適用した場合の動作例を説明するためのフローチャート。
【図２２】第５の実施の形態の変形例が適用される正規化された顔画像データの構成例を示す図である。
【図２３】図２２の顔画像データにおける中心部分の画像ブロックを含む左半分の顔画像データを示す図である。
【図２４】図２２の顔画像データにおける中心部分の画像ブロックを含む右半分の顔画像データを示す図である。
【図２５】第１〜第５の実施の形態で説明したユーザインターフェース１０を有する顔画像照合装置を通行制御装置に適用した場合の構成例を示す図である。
【符号の説明】
【０１６４】
１…表示部、２…カメラ、５…操作部、１０…ユーザインターフェース部、１２…処理部、２１…処理プロセッサ、２２…ワークメモリ、２３…プログラムメモリ、２４…画像メモリ、２５…キャプチャボード（画像入力手段）、２６…表示制御部、２７…辞書データベース（登録手段）、１０１…ドア、１０２…ドア開閉機構
【図１】
2005084824.tif 000003
【図２】
2005084824.tif 000004
【図３】
2005084824.tif 000005
【図４】
2005084824.tif 000006
【図５】
2005084824.tif 000007
【図６】
2005084824.tif 000008
【図７】
2005084824.tif 000009
【図８】
2005084824.tif 000010
【図９】
2005084824.tif 000011
【図１０】
2005084824.tif 000012
【図１１】
2005084824.tif 000013
【図１２】
2005084824.tif 000014
【図１３】
2005084824.tif 000015
【図１４】
2005084824.tif 000016
【図１５】
2005084824.tif 000017
【図１６】
2005084824.tif 000018
【図１７】
2005084824.tif 000019
【図１８】
2005084824.tif 000020
【図１９】
2005084824.tif 000021
【図２０】
2005084824.tif 000022
【図２１】
2005084824.tif 000023
【図２２】
2005084824.tif 000024
【図２３】
2005084824.tif 000025
【図２４】
2005084824.tif 000026
【図２５】
2005084824.tif 000027