(57)【要約】  【課題】短時間で精度の高い画像認識を実現することができる画像認識装置、画像認識方法、画像認識プログラムおよびそのプログラムを記録した記録媒体を提供する。  【解決手段】照合データ記憶部２５には、予め複数人の顔画像の照合データが登録されている。照合データは、各人について、複数枚の顔画像に対応した個別照合データと、１つの代表照合データとを含む。代表照合データは、複数の個別照合データを代表するデータである。照合データ選択部４２は、まず、代表照合データを照合対象として選択する。類似度演算部４１は、被照合顔画像データと代表照合データとを照合し、類似度を演算する。この類似度が低ければ、照合データ選択部４２は、その代表照合データに対応する複数の個別照合データについては、被照合顔画像データとの照合対象から除外する。【選択図】        図３
2006031387.tif 000002
【特許請求の範囲】
【請求項１】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置であって、
認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段と、
前記複数の個別外観を代表する代表外観に対応した代表照合データを生成する代表照合データ生成手段と、
処理対象の画像データと前記代表照合データ生成手段が生成する代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合手段と、
前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合手段と、
前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合手段による照合対象とするか、この個別照合手段による照合対象から除外するかを定める個別照合制御手段とを含むことを特徴とする画像認識装置。
【請求項２】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きいときに、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている複数の個別照合データとを前記個別照合手段によってそれぞれ照合させ、前記代表照合手段によって演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１記載の画像認識装置。
【請求項３】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置であって、
認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが、複数のグループ毎に分類して記憶された個別照合データ記憶手段と、
この個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成する代表照合データ生成手段と、
処理対象の画像データと前記代表照合データが生成する複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合手段と、
処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合手段と、
前記代表照合手段によって前記複数の代表照合データに関してそれぞれ演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合手段によって前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合手段による照合対象から除外する個別照合制御手段とを含むことを特徴とする画像認識装置。
【請求項４】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項３記載の画像認識装置。
【請求項５】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項３または４記載の画像認識装置。
【請求項６】
複数の個別照合データに対して前記個別照合手段によって演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断する手段と、
前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力する認識結果出力手段と、
前記最高類似度が前記認識しきい値以下の場合に、前記個別照合制御手段によって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合手段による照合対象に加え、この個別照合手段による個別照合処理を行わせる再個別照合制御手段とをさらに含むことを特徴とする請求項３ないし５のいずれかに記載の画像認識装置。
【請求項７】
前記代表照合手段によって求められた複数の類似度を記憶する代表外観類似度記憶手段をさらに含み、
前記再個別照合制御手段は、前記個別照合手段による照合対象から除外されている個別照合データのグループのうち、前記代表外観類似度記憶手段に記憶されている類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合手段による照合対象に加えるものであることを特徴とする請求項６記載の画像認識装置。
【請求項８】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識方法であって、
認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段を準備するステップと、
前記複数の個別外観を代表する代表外観に対応した代表照合データを生成するステップと、
処理対象の画像データと前記生成される代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合ステップと、
前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合ステップと、
前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合ステップにおける照合対象とするか、この個別照合ステップによる照合対象から除外するかを定める個別照合対象選択ステップとを含むことを特徴とする画像認識方法。
【請求項９】
前記個別照合対象選択ステップは、前記代表照合ステップで演算された類似度が所定のしきい値よりも大きいときに、前記個別照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合ステップにおける照合対象とし、前記代表照合ステップ演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合ステップにおける照合対象から除外するステップを含むことを特徴とする請求項８記載の画像認識方法。
【請求項１０】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識方法であって、
認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが、複数のグループ毎に分類して記憶された個別照合データ記憶手段を準備するステップと、
この個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成するステップと、
処理対象の画像データと前記生成される複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合ステップと、
処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合ステップと、
前記代表照合ステップにおいて前記複数の代表照合データに関してそれぞれ演算された類似度に基づき、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合ステップにおいて前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合ステップにおける照合対象から除外する個別照合対象選択ステップとを含むことを特徴とする画像認識方法。
【請求項１１】
前記個別照合対象選択ステップは、前記代表照合ステップにおいて演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合ステップでの照合対象とし、残余のグループの個別照合データを前記個別照合ステップでの照合対象から除外するステップを含むことを特徴とする請求項１０記載の画像認識方法。
【請求項１２】
前記個別照合対象選択ステップは、前記代表照合ステップにおいて演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合ステップでの照合対象とし、残余のグループの個別照合データを前記個別照合ステップでの照合対象から除外するステップを含むことを特徴とする請求項１０または１１記載の画像認識方法。
【請求項１３】
複数の個別照合データに対して前記個別照合ステップにおいて演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断するステップと、
前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力するステップと、
前記最高類似度が前記認識しきい値以下の場合に、前記個別照合対象選択ステップによって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合ステップでの照合対象に加える個別照合対象再選択ステップとをさらに含むことを特徴とする請求項１０ないし１２のいずれかに記載の画像認識方法。
【請求項１４】
前記個別照合対象再選択ステップは、前記個別照合ステップでの照合対象から除外されている個別照合データのグループのうちで、代表照合ステップで演算された類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合ステップでの照合対象に加えるステップを含むことを特徴とする請求項１３記載の画像認識方法。
【請求項１５】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置としてコンピュータを動作させるためのコンピュータプログラムであって、
前記コンピュータは、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段を備え、
前記コンピュータプログラムは、前記コンピュータを、
前記複数の個別外観を代表する代表外観に対応した代表照合データを生成する代表照合データ生成手段、
処理対象の画像データと前記代表照合データ生成手段が生成する代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合手段、
前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合手段、および
前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合手段による照合対象とするか、この個別照合手段による照合対象から除外するかを定める個別照合制御手段
として機能させるものであることを特徴とするコンピュータプログラム。
【請求項１６】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きいときに、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている複数の個別照合データとを前記個別照合手段によってそれぞれ照合させ、前記代表照合手段によって演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１５記載のコンピュータプログラム。
【請求項１７】
画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置としてコンピュータを動作させるためのコンピュータプログラムであって、
前記コンピュータは、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データを複数のグループ毎に分類して記憶した個別照合データ記憶手段を備え、
前記コンピュータプログラムは、前記コンピュータを、
前記個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成する代表照合データ生成手段、
処理対象の画像データと前記代表照合データが生成する複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合手段、
処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合手段、
前記代表照合手段によって前記複数の代表照合データに関してそれぞれ演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合手段によって前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合手段による照合対象から除外する個別照合制御手段
として機能させるものであることを特徴とするコンピュータプログラム。
【請求項１８】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１７記載のコンピュータプログラム。
【請求項１９】
前記個別照合制御手段は、前記代表照合手段によって演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１７または１８記載のコンピュータプログラム。
【請求項２０】
前記コンピュータプログラムは、前記コンピュータを、さらに、
複数の個別照合データに対して前記個別照合手段によって演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断する手段、
前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力する認識結果出力手段、
前記最高類似度が前記認識しきい値以下の場合に、前記個別照合制御手段によって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合手段による照合対象に加え、この個別照合手段による個別照合処理を行わせる再個別照合制御手段
として機能させるものであることを特徴とする請求項１７ないし１９のいずれかに記載のコンピュータプログラム。
【請求項２１】
前記コンピュータは、前記代表照合手段によって求められた複数の類似度を記憶する代表外観類似度記憶手段をさらに含み、
前記再個別照合制御手段は、前記個別照合手段による照合対象から除外されている個別照合データのグループのうち、前記代表外観類似度記憶手段に記憶されている類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合手段による照合対象に加えるものであることを特徴とする請求項２０記載のコンピュータプログラム。
【請求項２２】
請求項１５ないし２１のいずれかに記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データを処理して、当該画像データによって表される画像中に含まれる認識対象物を認識するための画像認識装置、画像認識方法、画像認識プログラム、およびこの画像認識プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
特定の区域への立ち入りを制限する場合、入口での個人認証が行われる。個人認証のために従来から用いられてきた装置の一つの例は、カード読取装置である。この場合、立ち入りが許可された者に予め磁気カードのような識別カードが配布される。立ち入り制限区域に立ち入ろうとする者は、入口に配置されたカード読取装置により、識別カードに記録された識別情報を読み取らせる。読み取られた識別情報が予め登録されている識別情報と一致すれば、立ち入りが許可され、入口に設置されたゲートが開かれるか、またはドアロックが解錠される。
【０００３】
しかし、このようなシステムでは、カードの携行を忘れたり、カードを紛失したりすると、たとえ立ち入りが許可された者であっても、入場ができなくなる。また、カードの盗難により、セキュリティが容易に破られてしまうという問題もある。
個人認証のための従来の装置の他の例は、パスワード入力装置である。この場合、立ち入りが許可された者には、予めパスワードが教示される。立ち入り制限区域に入場しようとする者は、入口に配置されたパスワード入力装置からパスワードを入力する。その入力結果が予め登録されているパスワードと一致すれば、立ち入りが許可され、入口に設置されたゲートが開かれるか、ドアロックが解錠される。
【０００４】
このシステムでは、カードの携行忘れや紛失のおそれはない。しかし、立ち入りが許可されている者がパスワードを失念してしまえば、やはりその者の入場が不可能になる。また、パスワードが漏洩すれば、セキュリティが破られてしまう。
最近では、人間の生体情報（バイオメトリクスデータ）を用いた個人認証技術の開発が盛んに行われている。生体情報を用いた個人認証であれば、前述のような問題はいずれも解消される。
【０００５】
生体情報を用いた個人認証技術には、指紋を利用するもの、虹彩を利用するもの、顔画像を利用するものなどがある。ところが、指紋を利用する場合には、指紋を予め登録しておく必要がある。そのため、抵抗感を持つ使用者が少なくない。また、虹彩を利用した個人認証のためには、使用者は、認証時に、カメラに極近接した位置に目の位置を合わさなければならない。したがって、使用者は、個人認証手続を強く意識することになり、煩わしさを感じることになる。顔画像を利用した個人認証にはこのような欠点がなく、抵抗感の少ない個人認証システムを構築できる可能性がある。
【０００６】
顔画像を用いた個人認証には、顔画像を認識するために、たとえばコンピュータシステムによって構成された画像認識装置が用いられる（特許文献１および特許文献２）。この画像認識装置は、立ち入り制限区域への入場が許可されている人物の顔画像の画像データまたはその画像データの特徴量データを照合データとして予め登録した照合データ記憶手段を備えている。さらに、画像認識装置は、認識対象の人物の顔画像を撮像して画像データに変換する撮像装置と、この撮像装置が出力する画像データと照合データ記憶手段の登録データとを照合する照合手段と、この照合手段による照合結果に基づいて認識結果を出力する判定手段とを有している。
【０００７】
照合手段は、撮像装置によって撮像された顔画像と照合データ記憶手段に登録された照合データに対応する顔画像との類似度を演算する。判定手段は、演算された類似度を所定の認識しきい値と比較し、その類似度が認識しきい値を超える場合に、認識対象の人物が照合データ記憶手段に登録されている人物の一人と一致する旨の判定結果を出力する。
【特許文献１】特開２００３−３４６１４９号公報
【特許文献２】特開２００１−２６６１５１号公報
【非特許文献１】Yoav Freundら著、「A decision-theoretic generalization of on-line learning and an application to boosting」、Journal of Computer and System Sciences、１９９７年、p.119-139
【発明の開示】
【発明が解決しようとする課題】
【０００８】
前述のような画像認識装置では、認識対象人物の撮像時の照明条件、認識対象人物の姿勢およびその表情のような変動要因が、認識精度に大きく影響する。そこで、照合データ記憶手段には、個々の登録人物について、変動要因を考慮した複数枚（たとえば、一人あたり５０枚〜１００枚）の画像に対応する照合データが予め登録される。
各人に対する登録画像枚数を増やすほど認識精度は高くなる。しかし、照合手段は、認識辞書に登録された全ての画像と撮像装置によって撮像された顔画像とを照合して類似度を求めるから、登録画像枚数の増加に伴って、認識処理に要する時間が長くなる。
【０００９】
その結果、使用者が認証手続きのために拘束される時間（立ち入り制限区域の入口での待ち時間）が長くなるから、抵抗感の少ない個人認証システムを構築できない。
つまり、認識対象人物の顔画像を、照合データ記憶手段に登録された全ての顔画像と照合する前述の先行技術では、認識精度の向上と、認識処理のための時間の短縮とが相反する要求となっていて、これらの両立を図ることができなかった。
【００１０】
顔画像の認識に限らず、様々な外観を呈する対象物を画像認識する場合には、同様の問題があり、短時間で正確な画像認識を実現することが技術的課題となっていた。
そこで、この発明の目的は、短時間で精度の高い画像認識を実現することができる画像認識装置、画像認識方法、画像認識プログラムおよびそのプログラムを記録した記録媒体を提供することである。
【課題を解決するための手段】
【００１１】
前記の目的を達成するための請求項１記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置であって、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段と、前記複数の個別外観を代表する代表外観に対応した代表照合データを生成する代表照合データ生成手段と、処理対象の画像データと前記代表照合データ生成手段が生成する代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合手段と、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合手段と、前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合手段による照合対象とするか、この個別照合手段による照合対象から除外するかを定める個別照合制御手段とを含むことを特徴とする画像認識装置である。
【００１２】
「類似度」とは、同一対象物である蓋然性（同一対象物らしさ）、または同種対象物である蓋然性（同種対象物らしさ）の度合いをいう。
この構成によれば、認識対象物の複数の外観を代表する代表外観に対応した代表照合データが生成され、この代表照合データと処理対象の画像データとが照合される。そして、代表外観と処理対象の画像との類似度に基づいて、個別外観を表す個別照合データと処理対象の画像データとの照合を行うかどうかが定められる。
【００１３】
これにより、高い類似度が得られる蓋然性の低い複数の個別照合データを、代表照合データと処理対象の画像データとの一回の照合処理によって照合対象から一括して除外できるから、照合演算回数を著しく少なくすることができる。とくに、認識対象物が未登録の物（個別照合データ記憶手段に個別照合データが記憶されていないもの）である場合には、代表照合データに対する照合処理のみで認識処理を終えることができる可能性がある。
【００１４】
請求項２記載の発明は、前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きいときに、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている複数の個別照合データとを前記個別照合手段によってそれぞれ照合させ、前記代表照合手段によって演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１記載の画像認識装置である。
【００１５】
この構成によれば、処理対象の画像と代表外観との類似度が所定のしきい値を超えていれば、当該代表外観によって代表される複数の個別外観を表す個別照合データが、処理対象の画像データと照合される。すなわち、処理対象の画像と複数の個別外観との類似度が求められる。一方、代表外観と処理対象の画像との類似度が前記所定のしきい値以下のときには、当該代表外観によって代表される複数の個別照合データは、処理対象の画像データとの個別照合の対象から除外される。
【００１６】
この場合、前記代表照合手段、個別照合手段および個別照合制御手段の機能は、具体的には、処理対象の画像データに対応した画像と代表照合データに対応した代表外観または個別照合データに対応した個別外観との類似度を演算する類似度演算手段と、この類似度演算手段による類似度演算の対象として、はじめに、代表照合データを選択し、次に、この代表照合データに対する類似度の演算結果が所定のしきい値を超えていることを条件に、個別照合データ記憶手段に記憶された複数の個別照合データを順次選択する照合候補選択手段とを含む構成によって実現することができる。
【００１７】
「認識対象物」は、それ自体の外観が変化する物であってもよい。外観の変化の要因の例は、対象物自身の形態の変化（動的な変化や経年変化）、照度に依存する見かけ上の変化、付属物（眼鏡や化粧など）の有無による変化を含む。このような認識対象物の例は、動物（とくに人間）の顔および動物の体格を含む。「形態」とは、形状、模様もしくは色彩、またはこれらの任意の組み合わせを含む概念を意味する。
【００１８】
また、認識対象物は、様々な外観を呈する同種物（一定の範囲で形態等が異なる物）であってもよい。このような認識対象物の例は、果物、空き瓶、自動車、機械部品、および航空機から見た地上の物体（建造物等）を含む。
処理対象の画像データは、静止画を表すものであってもよいし、動画を表すものであってもよい。静止画の画像データと照合される個別照合データは、認識対象物の外観の静止画に対応したものであることが好ましく、動画の画像データと照合される個別照合データは、認識対象物の外観の動画に対応したものであることが好ましい。むろん、静止画の画像データは、動画データから抽出（クリップ）した特定シーンの画像データであってもよい。
【００１９】
処理対象の画像データは、認識対象物を撮像して画像データを出力する撮像装置（カメラ）から入力されてもよいし、メモリ、光ディスクその他の記録媒体に記録された画像データを再生する画像再生装置から入力されてもよく、通信によって取得されてもよい。
個別照合データ記憶手段に記憶される個別照合データは、認識対象物を予め撮像して得られた画像データであってもよいし、このような画像データから抽出された所定の特徴量データであってもよい。個別照合データ記憶手段には、認識対象物の様々な外観を予め撮像して得られた複数枚の画像に対応する個別照合データが記憶されていることが好ましい。
【００２０】
代表照合データ生成手段が生成する代表照合データは、対応する複数の個別照合データの一部または全部に対して所定の代表値演算（たとえば平均値演算）を施して得られるデータであってもよい。また、代表照合データは、対応する複数の個別照合データから選択した代表的な１つの個別照合データであってもよい。個別照合データの場合と同じく、代表照合データは、画像データであってもよいし、画像データから抽出される特徴量データであってもよい。
【００２１】
また、代表照合データ生成手段は、１つの認識対象物（たとえば同一人物）に対して１つの代表照合データを生成するものである必要はなく、１つの認識対象物に対して複数の代表照合データ（たとえば、眼鏡等の付属物の有無に対応した２つの代表照合データ）を生成するものであってもよい。
代表照合データ生成手段は、予め演算された代表照合データを記憶する代表照合データ記憶手段であってもよく、個別照合データ記憶手段に記憶された複数の個別照合データに対して演算を行って代表照合データを生成する代表照合データ演算手段であってもよい。
【００２２】
請求項３記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置であって、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが、複数のグループ毎に分類して記憶された個別照合データ記憶手段と、この個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成する代表照合データ生成手段と、処理対象の画像データと前記代表照合データが生成する複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合手段と、処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合手段と、前記代表照合手段によって前記複数の代表照合データに関してそれぞれ演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合手段によって前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合手段による照合対象から除外する個別照合制御手段とを含むことを特徴とする画像認識装置である。
【００２３】
この構成によれば、個別照合データ記憶手段には、複数の個別照合データがグループ毎に分類して記憶されており、各グループの個別照合データを代表する代表照合データが代表照合データ生成手段によって生成されるようになっている。そして、代表照合データと処理対象の画像データとの照合により、照合対象とすべき個別照合データと、照合対象から排除すべき個別照合データとが、グループ単位で分別されることになる。
【００２４】
このようにして、高い類似度が得られる蓋然性の低い複数の個別照合データを、代表照合データと処理対象の画像データとの一回の照合処理によって、グループ単位で一括して照合対象から除外できる。したがって、照合演算回数を著しく少なくすることができるので、多数枚の個別外観に対応した個別照合データを個別照合データ記憶手段に蓄積して認識精度の向上を図る場合でも、照合演算回数が著しく増大することがない。したがって、短時間の照合処理で正確な認識結果を得ることができる。
【００２５】
複数の個別照合データのグループ分けは、同一対象物または同種対象物の個別照合データが同一グループに属するようになされていることが好ましい。つまり、たとえば、人物の顔画像が認識対象物である場合には、同一人の顔画像の個別照合データが同一グループに属し、各人の顔画像を代表する代表照合データが生成されることが好ましい。
同一対象物または同種対象物の個別照合データであっても、異なるグループに属するようにグループ分けを行うことが好ましい場合もある。たとえば、人物の顔画像が認識対象物である場合に、眼鏡等の付属物を装着した状態の顔画像の個別照合データと、付属物を装着していない状態の当該人物の顔画像の個別照合データとを別のグループに分類してもよい。また、同じ人物であっても、表情の種類毎に異なるグループに個別照合データを分類することも考えられる。
【００２６】
その他、性別、年齢帯および人種のように、外観の傾向に関連のある特徴事項を指標として、個別照合データを分類することも考えられる。
さらに、個別照合データの分類（グルーピング）は、階層的に行ってもよい（複数階層分類）。具体的には、人物の顔画像が認識対象物である場合に、性別を第１階層（最上位階層）の分類指標とし、年齢帯を第２階層の分類指標とし、個人を第３階層の分類指標とし、付属物の有無、表情の傾向または照度の傾向を第４階層の分類指標とする分類を行ってもよい。この場合には、第１階層の分類に対応して、男性および女性の代表的な顔画像を表す代表照合データが代表照合データ生成手段によって生成される。また、第２階層の分類に対応して、年齢帯毎の男性および女性の代表的な顔画像を表す代表照合データが代表照合データ生成手段によって生成される。さらに、第３階層の分類に対応して、各人の複数の顔画像を代表する代表照合データが代表照合データ生成手段によって生成される。そして、第４階層の分類に対応して、付属物の有無、表情の傾向または照度の傾向などで分類した各人の顔画像毎の代表照合データが代表照合データ生成手段によって生成されることになる。むろん、前記の４階層の分類は一例にすぎず、これらのうちの任意の２階層のみを用いて、個別照合データの複数階層分類を行うこともできるし、さらに他の特徴事項を分類指標として導入して、５階層以上に個別照合データを分類してもよい。
【００２７】
個別照合データを階層的に分類する場合には、上位階層における代表照合データと処理対象の画像データとの照合が先に行われることが好ましい。そして、当該上位階層の代表照合データに対して求められた類似度に基づき、この代表照合データに対応するグループの個別照合データを照合対象から除外すべきものとされたならば、その下位に属するグループの代表照合データと認識対象の画像データとの照合は省かれてもよい。このようにして、照合演算回数をさらに少なくすることができる。
【００２８】
請求項４記載の発明は、前記個別照合制御手段が、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項３記載の画像認識装置である。
【００２９】
この構成によれば、処理対象の画像と代表外観との類似度をしきい値と比較し、その比較結果に応じて、各グループの個別照合データに対して照合演算（類似度演算）を行うかどうかを分別できる。
この場合、前記代表照合手段、個別照合手段および個別照合制御手段の機能は、具体的には、処理対象の画像データに対応した画像と代表照合データに対応した代表外観または個別照合データに対応した個別外観との類似度を演算する類似度演算手段と、この類似度演算手段による類似度演算の対象として、はじめに、前記複数のグループに対応する代表照合データを順次選択し、次に、類似度の演算結果が所定のしきい値を超える代表照合データに対応したグループに属する複数の個別照合データを順次選択する照合候補選択手段とを含む構成によって実現することができる。
【００３０】
代表照合データに対して求められた類似度と比較されるしきい値は、一定値であってもよいし、たとえば、代表照合手段によって複数の代表外観に対応して求められた複数の類似度に対して所定の演算を行うことにより定められる値であってもよい。
請求項５記載の発明は、前記個別照合制御手段が、前記代表照合手段によって演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項３または４記載の画像認識装置である。
【００３１】
つまり、個別照合制御手段は、たとえば、複数の代表照合データに対してそれぞれ求められる類似度を順位付け（ソート）し、上位の所定数または所定割合の範囲の代表照合データに対応するグループの個別照合データを照合対象とし、残余の代表照合データに対応する個別照合データは照合対象から除外する。この場合、上位所定順位以内または上位所定割合以内の類似度が抽出されるように、しきい値が設定されたものと把握することができる。
【００３２】
この請求項５の特徴を請求項４の特徴と組み合わせることも可能である。たとえば、個別照合制御手段は、代表照合データに対して求められた類似度が前記所定順位以内または所定割合以内の値をとる場合であっても、その類似度が一定の下限しきい値以下の場合には、当該代表照合データに対応したグループの個別照合データを個別照合対象から除外するものであってもよい。
【００３３】
請求項６記載の発明は、複数の個別照合データに対して前記個別照合手段によって演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断する手段と、前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力する認識結果出力手段と、前記最高類似度が前記認識しきい値以下の場合に、前記個別照合制御手段によって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合手段による照合対象に加え、この個別照合手段による個別照合処理を行わせる再個別照合制御手段とをさらに含むことを特徴とする請求項３ないし５のいずれかに記載の画像認識装置である。
【００３４】
この構成によれば、処理対象の画像データとの間で最高の類似度が得られた個別照合データについて、その類似度（最高類似度）が所定の認識しきい値と比較される。最高類似度が認識しきい値を超える場合には、当該個別照合データに対応する認識結果が出力される。つまり、認識対象画像中に、その個別照合データに対応する認識対象物が含まれていると判定される。
【００３５】
一方、最高類似度が前記認識しきい値以下の場合には、個別照合制御手段によって個別照合手段による照合対象から一旦除外された個別照合データが、照合対象として復活させられる。これにより、代表照合データとの照合結果に基づく個別照合データの除外に起因して画像認識が不可能となる事態を回避することができる。
請求項７記載の発明は、前記代表照合手段によって求められた複数の類似度を記憶する代表外観類似度記憶手段をさらに含み、前記再個別照合制御手段は、前記個別照合手段による照合対象から除外されている個別照合データのグループのうち、前記代表外観類似度記憶手段に記憶されている類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合手段による照合対象に加えるものであることを特徴とする請求項６記載の画像認識装置である。
【００３６】
この構成によれば、複数のグループの個別照合データを代表する代表照合データと処理対象の画像データとの照合によって得られる複数の類似度が代表外観類似度記憶手段に記憶される。そして、個別照合データについての最高類似度が認識しきい値を超えていないときには、類似度の高い代表照合データから順に選択されて、その代表照合データに対応するグループに属する個別照合データが、個別照合対象として復活させられる。このような処理は、認識しきい値に達する個別照合データが見つかるまで繰り返し実行されることが好ましい。むろん、個別照合データ記憶手段に記憶されたすべての個別照合データについての個別照合が完了すれば、処理対象画像中に認識対象物が含まれていないと判定されて、画像認識処理が終了することになる。
【００３７】
このようにして、代表照合データと処理対象の画像データとの照合の結果として個別照合対象から除外されたグループ中から、効率的に、正解の個別照合データを見いだすことができる。
再個別照合制御手段によって個別認識対象に加えられる個別照合データは、照合対象から一旦除外された個別照合データのグループのうち代表外観に関する類似度が最高のグループの個別データを少なくとも含んでいればよい。すなわち、再個別照合制御手段によって個別照合対象として復活させられる個別照合データは、たとえば、上位所定順位以内または上位所定割合以内の類似度が得られた代表外観のグループに属するものであってもよい。
【００３８】
請求項８記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識方法であって、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段を準備するステップと、前記複数の個別外観を代表する代表外観に対応した代表照合データを生成するステップと、処理対象の画像データと前記生成される代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合ステップと、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合ステップと、前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合ステップにおける照合対象とするか、この個別照合ステップによる照合対象から除外するかを定める個別照合対象選択ステップとを含むことを特徴とする画像認識方法である。
【００３９】
この方法により、処理対象の画像データと代表照合データとの類似度に基づいて、当該画像データと複数の個別照合データとの照合の要否が判断されるから、照合が不要な複数の個別照合データを照合対象から一括して除外することができる。
より具体的には、請求項９に記載されているように、前記個別照合対象選択ステップは、前記代表照合ステップで演算された類似度が所定のしきい値よりも大きいときに、前記個別照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合ステップにおける照合対象とし、前記代表照合ステップ演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合ステップにおける照合対象から除外するステップを含むことが好ましい。
【００４０】
請求項１０記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識方法であって、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが、複数のグループ毎に分類して記憶された個別照合データ記憶手段を準備するステップと、この個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成するステップと、処理対象の画像データと前記生成される複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合ステップと、処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合ステップと、前記代表照合ステップにおいて前記複数の代表照合データに関してそれぞれ演算された類似度に基づき、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合ステップにおいて前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合ステップにおける照合対象から除外する個別照合対象選択ステップとを含むことを特徴とする画像認識方法である。
【００４１】
この方法によれば、処理対象の画像データと代表照合データとの照合によって、個別照合を要する個別照合データと個別照合を要しない個別照合データとをグループ単位で分別することができる。これにより、個別照合データが多い場合でも、個別照合処理演算を少なく抑えることができるから、短時間で正確な画像認識処理が可能になる。
より具体的には、請求項１１に記載されているように、前記個別照合対象選択ステップは、前記代表照合ステップにおいて演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合ステップでの照合対象とし、残余のグループの個別照合データを前記個別照合ステップでの照合対象から除外するステップを含むことが好ましい。
【００４２】
また、請求項１２に記載されているように、前記個別照合対象選択ステップは、前記代表照合ステップにおいて演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合ステップでの照合対象とし、残余のグループの個別照合データを前記個別照合ステップでの照合対象から除外するステップを含むことが好ましい。
【００４３】
請求項１３記載の発明は、複数の個別照合データに対して前記個別照合ステップにおいて演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断するステップと、前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力するステップと、前記最高類似度が前記認識しきい値以下の場合に、前記個別照合対象選択ステップによって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合ステップでの照合対象に加える個別照合対象再選択ステップとをさらに含むことを特徴とする請求項１０ないし１２のいずれかに記載の画像認識方法である。
【００４４】
この方法により、個別照合データに関する最高類似度が認識しきい値を超えない場合には、個別照合対象から一旦除外された個別照合データがグループ単位で個別照合対象として復活させられる。これにより、代表照合データに関する照合処理によって正解の個別照合データが個別照合対象から排除されるような事態を回避して、確実な認識処理を実現できる。「正解の個別照合データ」とは、処理対象画像との類似度が認識しきい値を超える個別画像に対応するもの個別照合データである。
【００４５】
請求項１４記載の発明は、前記個別照合対象再選択ステップは、前記個別照合ステップでの照合対象から除外されている個別照合データのグループのうちで、代表照合ステップで演算された類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合ステップでの照合対象に加えるステップを含むことを特徴とする請求項１３記載の画像認識方法である。
【００４６】
この方法により、個別照合対象から一旦除外された個別照合データをグループ単位で復活させる際に、代表照合データに関して求められた類似度の高いグループが優先的に選択される。これにより、一旦除外された個別照合データのなかから、すみやかに正解の個別照合データを見つけ出すことができる。
請求項１５記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータは、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データが予め記憶された個別照合データ記憶手段を備え、前記コンピュータプログラムは、前記コンピュータを、前記複数の個別外観を代表する代表外観に対応した代表照合データを生成する代表照合データ生成手段、処理対象の画像データと前記代表照合データ生成手段が生成する代表照合データとを照合し、当該画像データに対応した画像と前記代表照合データに対応した代表外観との類似度を演算する代表照合手段、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている個別照合データとを照合し、当該画像データに対応した画像と当該個別照合データに対応した個別外観との類似度を演算するための個別照合手段、および前記代表照合手段によって演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された複数の個別照合データを前記個別照合手段による照合対象とするか、この個別照合手段による照合対象から除外するかを定める個別照合制御手段として機能させるものであることを特徴とするコンピュータプログラムである。
【００４７】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項１の画像認識装置を構成できる。
請求項１６記載の発明は、前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きいときに、前記処理対象の画像データと前記個別照合データ記憶手段に記憶されている複数の個別照合データとを前記個別照合手段によってそれぞれ照合させ、前記代表照合手段によって演算された類似度が前記しきい値以下のときは、前記照合データ記憶手段に記憶されている複数の個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１５記載のコンピュータプログラムである。
【００４８】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項２の画像認識装置を構成できる。
請求項１７記載の発明は、画像データを処理して、当該画像データに対応した画像中の認識対象物を認識するための画像認識装置としてコンピュータを動作させるためのコンピュータプログラムであって、前記コンピュータは、認識対象物が取り得る複数の個別外観に対応した複数の個別照合データを複数のグループ毎に分類して記憶した個別照合データ記憶手段を備え、前記コンピュータプログラムは、前記コンピュータを、前記個別照合データ記憶手段に記憶された複数のグループの個別照合データをそれぞれ代表する複数の代表照合データを生成する代表照合データ生成手段、処理対象の画像データと前記代表照合データが生成する複数の代表照合データとをそれぞれ照合し、当該画像データに対応した画像と前記複数の代表照合データにそれぞれ対応した複数の代表外観との類似度を演算する代表照合手段、処理対象の画像データに対応した画像と前記個別照合データ記憶手段に記憶された個別照合データに対応した個別外観との類似度を演算するための個別照合手段、前記代表照合手段によって前記複数の代表照合データに関してそれぞれ演算された類似度に基づいて、前記個別照合データ記憶手段に記憶された個別照合データの複数のグループのなかから、前記個別照合手段によって前記処理対象の画像データと照合すべき個別照合データのグループを選択し、選択されなかったグループの個別照合データを前記個別照合手段による照合対象から除外する個別照合制御手段として機能させるものであることを特徴とするコンピュータプログラムである。
【００４９】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項３の画像認識装置を構成できる。
請求項１８記載の発明は、前記個別照合制御手段は、前記代表照合手段によって演算された類似度が所定のしきい値よりも大きい代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１７記載のコンピュータプログラムである。
【００５０】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項４の画像認識装置を構成できる。
請求項１９記載の発明は、前記個別照合制御手段は、前記代表照合手段によって演算された類似度が上位所定順位以内または上位所定割合以内の値をとる代表照合データに対応するグループを選択して、このグループに属する個別照合データを前記個別照合手段による照合対象とし、残余のグループの個別照合データを前記個別照合手段による照合対象から除外するものであることを特徴とする請求項１７または１８記載のコンピュータプログラムである。
【００５１】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項５の画像認識装置を構成できる。
請求項２０記載の発明は、前記コンピュータプログラムは、前記コンピュータを、さらに、複数の個別照合データに対して前記個別照合手段によって演算された複数の類似度の最高値である最高類似度が所定の認識しきい値よりも大きいかどうかを判断する手段、前記最高類似度が前記認識しきい値よりも大きい場合に、当該最高類似度の個別照合データに対応する認識結果を出力する認識結果出力手段、前記最高類似度が前記認識しきい値以下の場合に、前記個別照合制御手段によって前記照合対象から除外された個別照合データの少なくとも一部を前記個別照合手段による照合対象に加え、この個別照合手段による個別照合処理を行わせる再個別照合制御手段として機能させるものであることを特徴とする請求項１７ないし１９のいずれかに記載のコンピュータプログラムである。
【００５２】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項６の画像認識装置を構成できる。
請求項２１記載の発明は、前記コンピュータは、前記代表照合手段によって求められた複数の類似度を記憶する代表外観類似度記憶手段をさらに含み、前記再個別照合制御手段は、前記個別照合手段による照合対象から除外されている個別照合データのグループのうち、前記代表外観類似度記憶手段に記憶されている類似度が最も高い代表照合データに対応したグループの個別照合データを、前記個別照合手段による照合対象に加えるものであることを特徴とする請求項２０記載のコンピュータプログラムである。
【００５３】
このコンピュータプログラムをコンピュータ上で実行することにより、請求項７の画像認識装置を構成できる。
請求項２２記載の発明は、請求項１５ないし２１のいずれかに記載のコンピュータプログラムが記録されたコンピュータ読取可能な記録媒体である。
この記録媒体に記録されたコンピュータプログラムをコンピュータに実行させることにより、このコンピュータを前述のような画像認識装置として機能させることができる。
【００５４】
コンピュータプログラムは、どのような形式で記録媒体に記録されていてもよく、たとえば、圧縮した形式で記録されていてもよい。記録媒体には、磁気記録媒体、光記録媒体および光磁気記録媒体を含む任意の記録形式のものを適用できる。
【発明を実施するための最良の形態】
【００５５】
以下では、この発明の実施の形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る個人認証システムの構成を示す図解的なブロック図である。この個人認証システムは、たとえば、立ち入り制限がされた特定の区域への入場管理のために用いられる。この個人認証システムは、当該立ち入り制限区域への入口に配置され、この入口に現れた者の顔画像を撮像する撮像装置としてのカメラ１と、このカメラ１にケーブル２を介して接続されたコンピュータ３と、入口に配置された表示器４と、入口に設置されたゲートを開閉（またはドアロックを解錠／施錠）するゲート開閉器７とを備えている。
【００５６】
コンピュータ３には、マンマシンインタフェースとしてのディスプレイ５および入力操作部６（たとえば、キーボードおよびマウス）が接続されている。表示器４は、たとえば、コンピュータ３からの指令信号を受けてメッセージを表示することができる二次元表示デバイスであってもよいし、たとえば、コンピュータ３によって制御される複数色のＬＥＤランプを備えたランプ表示デバイスであってもよい。ゲート開閉器７は、コンピュータ３からの制御信号に応じて、ゲートを開閉（またはドアロックを解錠／施錠）し、入口に現れた者の入場を許可したり禁止したりする。
【００５７】
コンピュータ３は、ＣＰＵ１０、ＲＯＭ１１およびＲＡＭ１２を備え、これらがバス１３に接続された一般的な構成のものである。バス１３には、さらに、外部記憶装置としてのハードディスクドライブ（ＨＤＤ）１４、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されたデータを読み取ることができる記録媒体読取装置としてのＣＤ−ＲＯＭドライブ１５、ディスプレイ５の制御のためのディスプレイコントローラ１６、および入力操作部６の制御のための入力部コントローラ１７（たとえば、キーボードコントローラおよびマウスコントローラ）が接続されている。また、カメラ１から生成される撮像画像に対応した画像データを受け入れるための画像入力インタフェース部１８、表示器４に制御信号を出力するための表示制御インタフェース部１９、およびゲート開閉器７に制御信号を出力するためのゲート開閉制御インタフェース部２０が、バス１３に接続されている。
【００５８】
当該立ち入り制限区域への立ち入りが許可された者の顔画像は、たとえば、予めカメラ１によって撮像され、その顔画像に対応した個別照合データが予めハードディスクドライブ１４内の所定の記憶領域である照合データ記憶部２５に登録される。この照合データ記憶部２５には、後述するように、各人の個別照合データを代表する代表照合データが併せて登録される。
【００５９】
一方、入口に現れた者の画像は、カメラ１によって撮像される。撮像された画像を表す画像データは、コンピュータ３へと伝送され、この画像データからその者の顔画像データが抽出される。この抽出された顔画像データが、ハードディスクドライブ１４の照合データ記憶部２５に予め登録されている個別照合データと照合される。この照合の結果、個別照合データの形態で登録されたいずれかの顔画像と入口に現れた者の顔画像とが符合すれば、すなわち、両顔画像の類似度が予め定める認識しきい値を超えていれば、コンピュータ３は、ゲート開閉器７によってゲートを開き（またはドアロックを解錠し）、その者の入場を許可する。
【００６０】
コンピュータ３によるこのような働きを実現するためのコンピュータプログラムは、たとえば、記録媒体の一例であるＣＤ−ＲＯＭ８に記録されて提供されてもよい。この場合、このＣＤ−ＲＯＭ８をＣＤ−ＲＯＭドライブ１５に装填し、所定のインストール操作を行って、当該コンピュータプログラムをコンピュータ３にインストールすることによって、コンピュータ３は、前述のような機能を実現可能となる。
【００６１】
インストールされたそのコンピュータプログラムをコンピュータ３上で実行すると、たとえば、図２に示すような画面がディスプレイ５に表示される。前記コンピュータプログラムの実行中のコンピュータ３は、画像認識装置として動作し、立ち入りが許可された者の顔画像を登録するための登録モードと、カメラ１によって撮像された画像から顔画像を抽出して認識処理を行う認識モードとのいずれかのモードで動作する。
【００６２】
前記立ち入り制限区域への立ち入りが許可された者の顔画像の個別照合データを照合データ記憶部２５に登録するときには、操作者は、入力操作部６を操作して、コンピュータ３を登録モードで動作させる。この状態で、立ち入りが許可された者がカメラ１によって撮像される。このときにカメラ１から生成される画像データがコンピュータ３へと伝送され、ＲＡＭ１２内の記憶領域（必要に応じてさらにハードディスクドライブ１４内の仮想メモリ領域）で構成される画像メモリ１２ａに格納される。さらに、その画像データから顔画像データが抽出される。この抽出された顔画像データに対応する個別照合データが照合データ記憶部２５に登録される。個別照合データは、顔画像データ自体であってもよいし、顔画像データから抽出された所定の特徴量を表す特徴量データであってもよい。
【００６３】
人間の顔画像は、表情によって様々に変化し、眼鏡のような付属物の有無によっても大きく変化するうえ、撮像条件（照度等）の影響も受ける。そこで、立ち入りが許可された者の個別照合データの登録時には、その者に様々な表情をさせて顔画像を撮像したり、付属物有りおよび付属物なしの状態でそれぞれ撮像を行ったり、様々な撮像条件での撮像を行ったりする。こうして、各人に対して複数枚（たとえば、５０枚〜１００枚）の顔画像が撮像され、個々の顔画像に対応した個別照合データが照合データ記憶部２５に登録される。
【００６４】
以下では、前述のようにして個別照合データの登録を終えた者を、「登録者」といい、個別照合データの登録をしていない者を「未登録者」という。
図３は、前記コンピュータプログラムの実行状態におけるコンピュータ３の機能的な構成を説明するためのブロック図である。コンピュータ３は、ＣＰＵ１０によって前記コンピュータプログラムを実行させることにより、このＣＰＵ１０がＲＯＭ１１およびＲＡＭ１２と協働することによって実現される複数の機能処理部を実質的に備えることになる。この複数の機能処理部は、カメラ１が生成した画像データから顔画像の領域を抽出して顔画像データを生成する顔画像検出部３０と、この顔画像検出部３０が抽出した顔画像データを予め登録された個別照合データと照合する顔認識処理部４０とを備えている。
【００６５】
顔画像検出部３０は、入力画像データから顔画像領域を切り出し、さらに、サイズおよび傾き（左右の傾き）を正規化した顔画像データを被照合顔画像データとして出力する。切り出される顔画像領域は、たとえば、髪型の影響を受けにくく、かつ、発話時の顎の上下動の影響を受けにくい領域である。より具体的には、たとえば、左右方向に関しては両目尻の間を含み、上下方向に関しては眉から口元までの範囲を含む矩形領域が顔画像領域として切り出される。正規化された顔画像データは、たとえば、３２画素×３２画素の正方形画像に対応する。
【００６６】
顔認識処理部４０は、被照合顔画像データといずれかの個別照合データとの間に一定程度以上の符合が見られれば、被照合顔画像データが当該個別照合データに対応する登録者の顔画像であると判定する。この場合、カメラ１によって撮像された者は登録者であると判定され、コンピュータ３は、ゲート開閉器７によってゲートを開き（または、ドアロックを解錠し）、その者の入場を許可する。一方、顔認識処理部４０は、被照合顔画像データと一定程度以上の符合が見られる個別照合データが照合データ記憶部２５に登録されていなければ、被照合顔画像は登録者の顔画像ではないと判定する。この場合、カメラ１によって撮像された者は未登録者であると判定され、コンピュータ３は、ゲート開閉器７によってゲートを閉状態に保持（または、ドアロックを施錠状態に保持）し、その者の入場を禁止する。
【００６７】
顔認識処理部４０は、被照合顔画像と照合データ（個別照合データまたは代表照合データ）に対応した顔画像との類似度（同一人物らしさ）を演算する類似度演算部４１と、照合データ記憶部２５に登録されている照合データのうちいずれの照合データを照合対象とするかを選択する照合データ選択部４２と、類似度演算部４１によって演算された類似度を所定の認識しきい値と比較することによって被照合顔画像が登録者の顔画像かどうかを判断する判断部４３とを有している。
【００６８】
判断部４３は、複数の個別照合データに対して求められた類似度のうちの最高値（最高類似度）が前記認識しきい値を超えていれば、被照合顔画像の人物が登録者であると判断し、そのことを表す認識結果データを出力する。認識結果データは、当該最高類似度の個別照合データに対応する登録者を特定するための情報（たとえば、当該登録者の氏名情報や登録番号情報）を含んでいてもよい。この認識結果データを受けて、表示器４には、認識結果が表示される。この表示は、単に、登録者である旨を表す表示であってもよく、登録者の特定情報（たとえば氏名）の表示であってもよい。
【００６９】
一方、類似度が前記認識しきい値を超える個別照合データが存在しなければ、判断部４３は、被照合顔画像の人物が登録者でないと判断し、その旨を表す識別結果データが出力される。この場合、表示器４は、その人物の登録が確認できない旨を表示する。
類似度演算部４１は、照合データ記憶部２５に格納された照合データと、ハードディスクドライブ１４内の記憶領域で構成された照合用辞書記憶部２６に格納された照合用特徴辞書とに基づいて、被照合顔画像と登録された顔画像（照合データの形式で記憶されたもの）との類似度を演算する。照合用特徴辞書は、２つの画像の類似度を演算する際の指標となるデータ（照合用特徴データ）を一定のデータ構造で保持している。類似度演算部４１は、照合用特徴辞書に保持された照合用特徴データに基づいて、被照合顔画像データから特徴量を抽出し、かつ照合データと照合する。
【００７０】
図４は、照合データ記憶部２５における照合データの登録状態を説明するための図解図である。この図４には、ｍ人の登録者があり、各登録者に対してｎ枚の顔画像に対応したｎ個の個別照合データを登録した例が示されている。より具体的には、個々の登録者に対して登録番号１，２，……，ｍが付与され、この登録番号にそれぞれ対応して、登録者の名前（名前１、名前２、……、名前ｍ）と、各１個の代表照合データ（代表照合データ１、代表照合データ２、……、代表照合データｍ）と、各ｎ個の個別照合データ（個別照合データ１−１，１−２，…，１−ｎ；２−１，２−２，…，２−ｎ；……；ｍ−１，ｍ−２，…，ｍ−ｎ）が登録されている。むろん、登録者毎に個別照合データの数が異なっていても差し支えない。
【００７１】
各登録者の代表照合データは、当該登録者に対応したｎ個の個別照合データを代表する照合データである。より具体的には、各登録者の代表照合データは、当該登録者に対応して登録されたｎ個の個別照合データの平均値データであってもよい。
このような代表照合データは、個別照合データを照合データ記憶部２５に登録する際に、ＣＰＵ１０などの働きによって自動で生成されて照合データ記憶部２５に書き込まれてもよい。また、代表照合データは、登録される顔画像の画像データまたは個別照合データを用いた操作者の手動操作によって作成されたうえで、同じく操作者の手動操作によって照合データ記憶部２５に書き込まれてもよい。
【００７２】
図５は、照合データ記憶部２５における照合データの登録状態をより直感的に表した図である。この例では、９人の登録者Ａ〜Ｉに対して、各１枚の代表顔画像データが代表照合データとして登録されており、さらに、各３枚の顔画像データが個別照合データとして登録されている。この例のように、各登録者に対して複数の顔画像データを個別照合データとして登録し、この複数の顔画像データの平均値演算によって得られる代表顔画像データを代表照合データとして登録してもよい。また、画像データ自体ではなく、類似度演算部４１による類似度の演算に用いられる特徴量を予め個々の顔画像から抽出し、この特徴量を個別照合データとして照合データ記憶部２５に登録しておき、各登録者に対する個別照合データ（特徴量）の平均値を代表照合データとして照合データ記憶部２５に登録してもよい。
【００７３】
このように、照合データ記憶部２５は、個別照合データを記憶する個別照合データ記憶手段、代表照合データを記憶する代表照合データ記憶手段（代表照合データ生成手段の一例）としての働きを有している。
図６は、顔認識処理部４０による処理の一例を説明するためのフローチャートである。被照合顔画像データが顔認識処理部４０に入力されると、照合データ選択部４２は、照合データ記憶部２５を参照して、登録者の代表照合データを順に選択する（ステップＳ１）。類似度演算部４１は、照合データ選択部４２によって選択された代表照合データに対応する代表顔画像と、被照合顔画像との類似度を演算し、ＲＡＭ１２内の代表類似度記憶領域１２ｂ（図１および図３参照。代表外観類似度記憶手段）に書き込む（ステップＳ２）。これらのステップＳ１およびＳ２で実行される機能が、本願発明の代表照合手段（代表照合ステップ）の機能に相当する。
【００７４】
こうして、照合データ記憶部２５に登録されたすべての登録者の代表照合データに関して類似度が求まると、照合データ選択部４２は、被照合顔画像データと照合すべき個別照合データを抽出するための処理を実行する（ステップＳ３）。この処理は、端的には、被照合顔画像データと明らかに符合しないと考えられる登録者の個別照合データを照合対象から除外するための処理であり、本願発明の個別照合制御手段（個別照合対象選択ステップ）の働きに相当する。
【００７５】
照合対象の個別照合データを抽出するための処理内容の１つの具体例は、図７に示されている。この例では、照合データ選択部４２は、代表照合データに対して求められた前記の類似度を所定の棄却しきい値と比較する（ステップＳ１１）。照合データ選択部４２は、類似度が前記棄却しきい値を超えない代表照合データに対応する登録者については、照合対象から除外（棄却）する（ステップＳ１２）。つまり、その登録者に関して照合データ記憶部２５に登録された複数の個別照合データが一括して棄却される。これにより、類似度が棄却しきい値を超える代表照合データに対応する登録者についてのみ、その個別照合データが照合対象とされる（ステップＳ１３）。照合データ選択部４２は、全ての代表照合データに関して同様な処理を行って（ステップＳ１４）、照合対象の個別照合データの抽出を終了する。
【００７６】
照合対象の個別照合データを抽出するための処理の他の例は、図８に示されている。この例では、照合データ選択部４２は、代表類似度記憶領域１２ｂに記憶された全登録者の代表照合データを順位付け（ソート）し、（ステップＳ１５）、上位の所定数または所定割合の登録者については、その個別照合データを照合対象として抽出する（ステップＳ１６）。照合データ選択部４２は、残余の登録者の各複数の個別照合データについては、一括して照合対象から除外する（ステップＳ１７）。なお、この場合にも、上位所定数以内または上位所定割合以内の類似度のうち、所定の棄却しきい値を超えないものがあれば、そのような類似度に対応した登録者の個別照合データは照合対象から除外してもよい。
【００７７】
照合データ選択部４２は、このようにして抽出された一部の登録者の個別照合データを、類似度演算部４１による照合演算の対象として、１つずつ順次選択する（図６のステップＳ４）。類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、照合データ選択部４２によって抽出された個別照合データのすべてに関して類似度の演算が行われる（ステップＳ５）。演算された類似度は、ＲＡＭ１２内の個別類似度記憶領域１２ｃに書き込まれる。このように、ステップＳ４およびＳ５で実行される機能が、本願発明の個別照合手段（個別照合ステップ）の機能に相当する。
【００７８】
次に、判断部４３は、個別類似度記憶領域１２ｃを参照して、演算された類似度の最高値（最高類似度）を検索する（ステップＳ６）。そして、判断部４３は、この検索された最高類似度を所定の認識しきい値と比較する（ステップＳ７）。その結果、その最高類似度が認識しきい値を超えていれば（ステップＳ６のＹＥＳ）、判断部４３は、被照合顔画画像が登録者の顔画像であると判定し、当該最高類似度の個別照合データに対応する登録者を被照合顔画像の人物であると特定する（ステップＳ８）。一方、当該最高類似度が前記認識しきい値以下であるときには、被照合顔画像の人物は未登録であると判定する（ステップＳ９）。判断部４３による前記ステップＳ８の機能は、本願発明の認識結果出力手段の機能に相当する。
【００７９】
このようにして、被照合顔画像データと代表照合データとの照合によって照合対象の個別照合データを絞ることができる。これにより、被照合顔画像データと個別照合データとの照合演算を大幅に削減することができ、認識処理に要する時間を大幅に短縮することができる。また、登録者一人あたりの個別照合データの数を増やして認識精度の向上を図る場合にも、認識に要する時間が大幅に増加することがない。したがって、短時間の処理で正確に顔画像を認識できるようになる。
【００８０】
図９は、顔認識処理部４０による処理の他の例を説明するためのフローチャートである。被照合顔画像データが顔認識処理部４０に入力されると、照合データ選択部４２は、照合データ記憶部２５を参照して、登録者の代表照合データを順に選択する（ステップＳ２１）。類似度演算部４１は、照合データ選択部４２によって選択された代表照合データに対応する代表画像と被照合顔画像との類似度を演算し、代表類似度記憶領域１２ｂに書き込む（ステップＳ２２）。これらのステップＳ２１およびＳ２２で実行される機能が、本願発明の代表照合手段（代表照合ステップ）の機能に相当する。
【００８１】
こうして、照合データ記憶部２５に登録されたすべての登録者の代表照合データに関して類似度が求まると、照合データ選択部４２は、照合すべき個別照合データを抽出するための処理を実行する。この処理は、端的には、被照合顔画像データと明らかに符合しないと考えられる登録者の個別照合データを照合対象から除外するための処理である。
より具体的には、照合データ選択部４２は、前記代表類似度記憶領域１２ｂを参照して、全登録者の代表照合データを類似度によって降順にソートする（ステップＳ２３）。さらに、照合データ選択部４２は、類似度の順序に従って、登録者を複数のグループに分ける（ステップＳ２４）。たとえば、図５の例のような照合データが照合データ記憶部２５に登録されているとすると、類似度が上位の３人を第１グループに分類し、類似度が中位の３人を第２グループに分類し、類似度が下位の３人を第３グループに分類してもよい。むろん、類似度に基づく登録者のグループ分けは、複数のグループ間で人数が等しくなるようにする必要はない。
【００８２】
照合データ選択部４２は、さらに、最上位のグループ（たとえば前述の第１グループ）の登録者の個別照合データを照合対象として抽出し（ステップＳ２５）、他のグループ（前述の例では第２および第３グループ）の登録者の個別照合データは、暫定的に、照合対象から除外する（ステップＳ２６）。これらのステップＳ２５，２６の処理は、本願発明の個別照合制御手段（個別照合対象選択ステップ）の機能に対応する。
【００８３】
照合データ選択部４２は、このようにして抽出された最上位のグループの登録者の個別照合データを照合対象として、１つずつ順次選択する（ステップＳ２７）。類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、最上位のグループの登録者の個別照合データのすべてに関して類似度の演算が行われる（ステップＳ２８）。演算された類似度は、ＲＡＭ１２内の個別類似度記憶領域１２ｃに書き込まれる。これらのステップＳ２７，２８の処理は、本願発明の個別照合手段（個別照合ステップ）の機能に相当する。
【００８４】
次に、判断部４３は、個別類似度記憶領域１２ｃを参照して、演算された類似度の最大値（最高類似度）を検索する（ステップＳ２９）。そして、この検索された最高類似度を所定の認識しきい値と比較する（ステップＳ３０）。その結果、その最高類似度が認識しきい値を超えていれば（ステップＳ３０のＹＥＳ）、判断部４３は、被照合顔画像が登録者の顔画像であると判定し、当該最高類似度の個別照合データに対応する登録者を、被照合顔画像の人物であると特定する（ステップＳ３１）。このステップＳ３１の処理は、本願発明の認識結果出力手段の機能に相当する。
【００８５】
一方、当該最高類似度が前記認識しきい値以下であるときには（ステップＳ３０のＮＯ）、照合データ選択部４２は、照合データ記憶部２５に登録されている全登録者に関して個別照合データの照合が完了したかどうかを判断する（ステップＳ３２）。この判断は、登録者を代表照合データの類似度の大小によって分類した前記の全てのグループに関して照合処理を完了したかどうかの判断と等価である。いずれかの登録者についての照合処理が未完了である場合には（ステップＳ３２のＮＯ）、照合データ選択部４２は、暫定的に候補から除外していたグループ中で最も最上位のグループ（すなわち、次位のグループ。たとえば前述の例では第２グループ）に属する登録者を照合対象候補とし、ステップＳ２７からの処理を繰り返す。すなわち、当該次位のグループの登録者の個別照合データが順次選択される。このステップＳ３３の処理は、本願発明における再個別照合制御手段（個別照合対象再選択ステップ）の機能に相当する。
【００８６】
前述の場合と同様に、類似度演算部４１は、選択された個別照合データに対応する顔画像と、被照合顔画像との類似度を演算する。こうして、次位のグループの登録者の照合データのすべてに関して類似度の演算が行われる（ステップＳ２８）。
次に、判断部４３は、演算された類似度の最高値（最高類似度）を検索する（ステップＳ２９）。そして、この検索された最高類似度を前記認識しきい値と比較する（ステップＳ３０）。その結果、その最大の類似度が認識しきい値を超えていれば、当該類似度の個別照合データに対応した登録者を、被照合顔画像の人物であると特定する（ステップＳ３１）。
【００８７】
このようにして、認識しきい値を超える類似度を有する個別照合データが見つかるまで、同様の処理が行われる。もしも、照合データ記憶部２５に格納されたすべての個別照合データに対して照合処理を行ったにもかかわらず、類似度が前記認識しきい値を超える個別照合データが見つからなかった場合には（ステップＳ３２のＹＥＳ）、判断部４３は、被照合顔画像の人物は未登録であると判定する（ステップＳ３４）。
【００８８】
この図９に示した処理では、適切な認識結果が得られない場合には、一旦棄却された個別照合データが照合対象として復活させられる。これにより、登録者が認識されなくなるなどという事態を確実に回避できる。
図９の例では、被照合顔画像の人物が未登録であると判定する場合に、登録者の全てに関して個別照合データに対する照合処理が行われる。しかし、被照合顔画像データと代表照合データとの照合結果として得られる類似度が著しく低い場合には、個別照合データとの照合による認識しきい値よりも高い類似度が得られる確率は低い。したがって、代表顔画像データに対して演算された類似度が所定の棄却しきい値に達しないグループに関しては、登録者の個別照合データを照合対象として復活させないようにしてもよい。
【００８９】
なお、この実施形態では、一人の登録者に対して１つの代表照合データが登録される例が示されているが、一人の登録者に対して複数（２つ以上）の代表照合データが照合データ記憶部２５に登録されるようにしてもよい。たとえば、眼鏡を使用する登録者の場合に、眼鏡を装着した状態の個別照合データを代表する第１代表照合データと、眼鏡を装着していない状態の個別照合データを代表する第２代表照合データとを登録しておいてもよい。この場合にも、代表照合データに関して求められた類似度に基づいて、代表照合データごとに、対応する一群の個別照合データを照合対象とするか否かを決定すればよい。
【００９０】
次に、顔画像の類似度の計算について説明する。
図１０に示すように、サイズおよび傾きが正規化された第１顔画像Ｉ1および第２顔画像Ｉ2の類似度を求める場合について説明する。第１顔画像Ｉ1は、たとえば、照合データ記憶部２５に格納された個別照合データに対応する登録顔画像であり、第２顔画像Ｉ2は、たとえば、カメラ１によって撮像された画像から顔画像検出部３０によって抽出された被照合顔画像データに対応する。
【００９１】
まず、サイズ、形状、位置および後述する種類のうちの少なくともいずれか１つが異なるＴ個（Ｔは２以上の自然数）の特徴領域Ａj（ｊは１≦ｊ≦Ｔの自然数）を、順次、第１顔画像Ｉ1および第２顔画像Ｉ2中に共通に設定する。特徴領域Ａjは、少なくとも２画素を含み、かつ、第１および第２顔画像Ｉ1，Ｉ2と同じ大きさか、またはそれよりも小さな領域である。特徴領域Ａjの形状としては、矩形（正方形を含む。）、円形、鉤形など、任意の形状を選択することができ、複数の特徴領域Ａ1〜ＡT間で形状が異なっていてもよい。
【００９２】
たとえば、特徴領域の形状を正方形とすることにし、第１および第２顔画像Ｉ1，Ｉ2が３２画素×３２画素の正方形であるとし、さらに、特徴領域を２分割して分析（すなわち、後述の分割数ｐjを「２」に固定）する場合を想定すると、最小の特徴領域は２画素×２画素の大きさの正方形であり、最大の特徴領域は３２画素×３２画素の大きさの正方形であって、さらに、サイズ（正方形領域の一辺にならぶ画素数で表される。）が偶数画素の場合のみが許容される。ただし、２画素×２画素の特徴領域は小さすぎてあまり意味を持たないことが経験的にわかっているので、実際は、最小の特徴領域の大きさは４画素×４画素である。４画素×４画素の特徴領域は３２画素×３２画素の正方形領域内で２９×２９個の異なる位置をとることができ、次の大きさの６画素×６画素の特徴領域は３２画素×３２画素の正方形領域内で２７×２７個の異なる位置をとることができる。同様の考察により、３２画素×３２画素の第１および第２顔画像Ｉ1，Ｉ2中には、合計で４４９５個の特徴領域が設定可能となる。さらに、位置およびサイズが同じ領域を横方向（水平方向）ｘに２分して分析する場合と、縦方向（垂直方向）ｙに２分して分析する場合とを区別して、別の特徴領域とみなすこととすれば、合計で８９９０個の特徴領域の設定が可能となる。これらの特徴領域の一部または全部が、類似度の計算のための特徴領域Ａj（ｊ＝１，２，……，Ｔ）として用いられる。
【００９３】
特徴領域Ａjが設定されると、次に、第１顔画像Ｉ1における特徴領域Ａj中のｐj個（ｐjは２以上の自然数）の部分領域ａk（ｋは１≦ｋ≦ｐjの自然数）内の領域値ｘ1kおよび前記第２画像Ｉ2中の当該特徴領域Ａj中の対応するｐj個の部分領域ａk内の領域値ｘ2kが求められる。特徴領域Ａjの分割数ｐjは、特徴領域毎に異なる数であってもよく、特徴領域Ａ1〜ＡTで共通の値ｐ（＝ｐ1＝ｐ2＝……＝ｐT）としてもよい。
【００９４】
部分領域ａkは、たとえば、図１１(a)に示すように、特徴領域Ａj内を水平方向ｘに沿う水平分割線５５で垂直方向にｐj個に等分して得られる領域（図１１(a)ではｘ方向に長い矩形領域）であってもよい。また、部分領域ａkは、図１１(b)に示すように特徴領域Ａj内を垂直方向ｙに沿う垂直分割線５６で水平方向にｐj個に等分して得られる領域（図１１(b)ではｙ方向に長い矩形領域）であってもよい。また、複数の特徴領域Ａ1ないしＡT間で、領域の分割方向が異なっていてもよい。以下では、領域分割の方向が異なる特徴領域は、形状および大きさならびに位置が同じであっても、異なる特徴領域として取り扱う。
【００９５】
部分領域ａk内の領域値ｘ1k，ｘ2kは、たとえば、当該部分領域ａk内に含まれる複数の画素のデータの平均値（平均画素値）であり、当該部分領域ａkの輝度値に相当する。ただし、当該部分領域ａkにただ一つの画素が含まれる場合（たとえば、２画素×１画素の特徴領域の場合）には、その画素のデータ自身がその部分領域ａkの領域値となる。特徴領域Ａjの各部分領域ａkの領域値ｘ1k，ｘ2kは、当該特徴領域Ａjに関する第１および第２顔画像Ｉ1，Ｉ2の特徴量である。
【００９６】
ｐj個の部分領域ａkについて前述の領域値ｘ1k，ｘ2kが求まると、次に、第１および第２顔画像Ｉ1，Ｉ2の当該特徴領域Ａj内の相関が求められる。より具体的には、次式により、相関値Ｃjが演算される。
【００９７】
【数１】
2006031387.tif 000003
【００９８】
ただし、すべての特徴領域Ａ1〜ＡTにおける分割数ｐjがいずれも等しい場合には、右辺の係数１／ｐjは省かれてもよい。
画像間の相関を求める操作は、特徴領域をｘ方向およびｙ方向の２方向について分割（すなわち、格子状に分割）して得られる部分領域を用いて行われてもよい。しかし、この実施形態では、ｘ方向またはｙ方向のいずれか一方向について特徴領域Ａjを分割して得られる部分領域ａkを用いて、相関を求める操作が行われる。以下では、このようにして求められる相関を「単方向相関」という。
【００９９】
このような単方向相関を求める操作が、前記複数の特徴領域Ａ1〜ＡTに関して実行され、これにより、相関値Ｃ1，Ｃ2，……，ＣTが求められる。
こうして求められた各特徴領域Ａjの相関値Ｃjは、特徴領域Ａj毎に定めた次式の弱識別器(Weak Classifier)ｈj(I1,I2)にかけられる。
【０１００】
【数２】
2006031387.tif 000004
【０１０１】
すなわち、各特徴領域Ａjに関する相関値Ｃjは、特徴領域Ａj毎に予め定めた所定のしきい値θjと比較される。その結果、相関値Ｃjがしきい値θjを超えていれば、第１および第２顔画像Ｉ1，Ｉ2が同一人物の顔画像であることを表す第１識別値「＋１」（肯定的結論を表す弱仮説(Weak Hypothesis)）が生成される。一方、前記相関値Ｃjがしきい値θj以下であれば、第１および第２顔画像Ｉ1，Ｉ2が同一人物の顔画像ではないことを表す第２識別値「−１」（否定的結論を表す弱仮説）が生成される。
【０１０２】
前記Ｔ個の特徴領域Ａ1〜ＡTの個々についての前記弱識別器の出力値ｈ1(I1,I2)〜ｈT(I1,I2)（弱仮説）が求められると、次に、これらは、個々の特徴領域Ａj毎に定めた重み付け係数ｗjを乗じて加算（線形結合）される。これにより、第１および第２顔画像Ｉ1，Ｉ2の類似度（同一人物らしさ）が求められる。すなわち、類似度は、次式で与えられる。
【０１０３】
【数３】
2006031387.tif 000005
【０１０４】
前記単方向相関値Ｃjの演算に適用される特徴領域Ａ1〜ＡTの選択、弱識別器におけるしきい値θj、および重み付け係数ｗjは、事前の学習によって定められる。この学習には、たとえば、非特許文献１に記載されたブースティング学習アルゴリズム（アダブースト：AdaBoost）が適用される。
具体的には、図１２のフローチャートに示すように、予め、同一人物の異なる顔画像データのペアをポジティブサンプル（同一人物であるとの結論が正解となるサンプル）として複数個準備し、また、他人同士の顔画像データのペアをネガティブサンプル（同一人物であるとの結論が不正解となるサンプル）として複数個準備しておき、初期化処理として、これらのサンプルに一律に（均等に）ウエイト（weight）を配分する（ステップＳ５０）。
【０１０５】
次に、正規化された顔画像データ中に特徴領域Ａ（たとえば、正方形の特徴領域）を設定し、前記第(1)式で表される単方向相関値Ｃが、全てのサンプル（ポジティブサンプルおよびネガティブサンプル）に関して演算される。この演算が、正規化された顔画像中に設定可能な全ての特徴領域Ａ（たとえば、位置、大きさおよび領域の分割方向のうちの少なくともいずれか１つが異なる正方形領域）に関して実行される（ステップＳ５１）。そして、Ｔ個の特徴領域Ａ1〜ＡTを選択し、かつＴ個の弱識別器ｈ1(I1,I2)〜ｈT(I1,I2)を定めるためのＴ回の学習（for t=1 to T ループ）が開始される（ステップＳ５２）。
【０１０６】
具体的には、まず、未選択の個々の特徴領域Ａ（ｔ＝１のときは全ての特徴領域Ａ）ごとに、ウエイト（ｔ＝１のときは均一なウエイト）が与えられた全ポジティブサンプルおよび全ネガティブサンプルに関し、それぞれ、単方向相関値Ｃについてのヒストグラム（ウエイトが与えられたサンプルに対応した重み付けヒストグラム）が作成される（ステップＳ５３）。このヒストグラムの例を図１３に示す。
【０１０７】
一般に、相関値Ｃの値の比較的小さな範囲にネガティブサンプルの分布が現れ、相関値Ｃの値の比較的大きな範囲にポジティブサンプルの分布が現れる。しきい値θは、当該しきい値と相関値Ｃとを比較したときの誤識別率（エラー率）が最小となるように定められる（ステップＳ５４）。
たとえば、しきい値θを大きな値θLに定めると、異なる人物の画像ペア（ネガティブサンプル）を同一人物の画像ペアであるとする誤識別（他人受入れ(False Accept)エラー、フォルスポジティブエラー）は少なくなるが、同一人物の画像ペア（ポジティブサンプル）を異なる人物の画像ペアであるとする誤識別（本人棄却(False Reject)エラー、フォルスネガティブエラー）が多くなる。逆に、しきい値θを小さな値θSに定めると、異なる人物の画像ペア（ネガティブサンプル）を同一人物の画像ペアであるとする誤識別（他人受入れエラー、フォルスポジティブエラー）が多くなる反面、同一人物の画像ペア（ポジティブサンプル）を異なる人物の画像ペアであるとする誤識別（本人棄却エラー、フォルスネガティブエラー）は少なくなる。
【０１０８】
しきい値θは、前記の誤識別が全体として最小となる値に定められる。一般的には、ポジティブサンプルの分布範囲とネガティブサンプルの分布範囲の間、またはそれらの重なり区間の値がしきい値θとされる。このしきい値θとともに、当該しきい値θに対応した誤識別率が求められる。
このようにして未選択の全ての特徴領域Ａのしきい値θを定めることによって、全特徴領域Ａに対応した弱識別器ｈが作成されることになる。
【０１０９】
これらの弱識別器ｈのなかで最も誤識別率（エラー率）の低い弱識別器が第ｔ番目の識別器ｈt（ｔ＝１のときは第１の識別器ｈ1（特徴領域Ａ1に対応））として選択され（ステップＳ５５）、その誤識別率に応じた重み付け係数ｗt（ｔ＝１のときは重み付け係数ｗ1）が定められる（ステップＳ５６）。
次いで、第ｔ弱識別器ｈtにより正解が得られるサンプルには小さなウエイトを与え、第ｔ弱識別器ｈtにより不正解となるサンプルには大きなウエイトを与えるように重みの再配分（re-weighting）を行い、これに対してステップＳ５２以降の学習を実行する（ステップＳ５７）。すなわち、未選択の全ての特徴領域（特徴領域Ａ1〜Ａt以外の特徴領域Ａ）について、前記ウエイトが与えられたサンプルに対する重み付けヒストグラムが作成される（ステップＳ５３）。そして、それらの特徴領域Ａに対応した弱識別器のうちで誤識別率が最も小さくなる弱識別器が第（ｔ＋１）の識別器ｈt+1とされる（ステップＳ５５）。つまり、たとえば、第２の識別器ｈ2には、第１の識別器ｈ1が誤識別しやすいサンプルに対して高確率で正解を与える弱識別器が選択される。そして、この第（ｔ＋１）の弱識別器ｈt+1の誤識別率に応じた重み付け係数ｗt+1が定められる（ステップＳ５６）。
【０１１０】
同様の操作を、Ｔ個の弱識別器ｈ1〜ｈTが得られるまで繰り返し、Ｔ回の学習を行うことにより、類似度の演算に適したＴ個の特徴領域Ａ1〜ＡTが選択されることになる。そして、Ｔ個の弱識別器ｈ1〜ｈTに各重み付け係数ｗ1〜ｗTを乗じて線形結合することにより、前記第(3)式による類似度演算式が得られる。
そして、前記第(3)式によって求められた類似度が所定の認識しきい値Ｒthと比較される。求められた類似度が認識しきい値Ｒthを超える場合には、第１および第２顔画像Ｉ1，Ｉ2が同一人物の顔画像である判定され、認識しきい値Ｒth以下の場合には、第１および第２顔画像Ｉ1，Ｉ2は異なる人物の顔画像であると判定される。
【０１１１】
つまり、次式により、判定結果が与えられる。
【０１１２】
【数４】
2006031387.tif 000006
【０１１３】
図１４は、照合用辞書記憶部２６（図１および図３参照）の保持内容を説明するための図である。照合用辞書記憶部２６には、前記第(3)式の類似度演算式に対応した特徴領域Ａ1〜ＡTの情報が格納されている。すなわち、特徴番号１〜Ｔに対応して、特徴領域Ａ1〜ＡTを指定するための特徴領域指定情報と、各特徴領域Ａ1〜ＡTの相関値Ｃ1〜ＣTに対して適用されるしきい値θ1〜θTと、各特徴領域Ａ1〜ＡTの弱識別器ｈ1〜ｈTに対して与えられる重み付け係数ｗ1〜ｗTとが格納されている。
【０１１４】
特徴領域指定情報は、特徴領域の位置、形状、サイズおよび種類を指定するための情報である。図１４には、特徴領域の形状を一定形状（たとえば正方形）に固定し、かつ、特徴領域の分割数ｐjを一定値ｐに固定する場合の例が示されている。したがって、特徴領域指定情報として、位置、サイズおよび種類が登録されている。特徴領域の位置は、照合される２つの顔画像Ｉ1，Ｉ2中における位置を表す。具体的には、たとえば、図１１に示すように、特徴領域が矩形形状の場合、その左下角を原点とみなし、この原点のｘ座標およびｙ座標によって、当該特徴領域の位置が表される。サイズは、たとえば正方形の特徴領域の場合における一辺の長さ（画素数）で表される。種類は、特徴領域をｘ方向（水平方向）に分割（図１１(b)参照）するか、ｙ方向（垂直方向）に分割（図１１(a)参照）するかを表す情報である。
【０１１５】
図１５は、類似度演算部４１（図３参照）の構成例を説明するためのブロック図である。この構成例の類似度演算部４１は、照合対象の第１顔画像Ｉ1（たとえば、代表照合データに対応した代表顔画像または個別照合データに対応した登録顔画像）および第２顔画像Ｉ2（たとえば、カメラ１で撮像された被照合顔画像）に対して共通に特徴領域Ａjを設定する特徴領域設定部４５と、第１顔画像Ｉ1の特徴量を演算する第１特徴量演算部４６と、第２顔画像Ｉ2の特徴量を演算する第２特徴量演算部４７とを備えている。
【０１１６】
特徴領域設定部４５は、照合用辞書記憶部２６から特徴領域Ａ1〜ＡTを読み出し、第１および第２顔画像Ｉ1，Ｉ2中に順次設定する。
第１特徴量演算部４６は、照合用辞書記憶部２６を参照し、特徴領域設定部４５によって設定された第１顔画像Ｉ1内の特徴領域Ａjについて、その「種類」の情報に従って領域を分割し、その分割された部分領域ａk毎の領域値ｘ1kを特徴量として求める。同様に、第２特徴量演算部４７は、照合用辞書記憶部２６を参照し、特徴領域設定部４５によって設定された第２顔画像Ｉ2内の特徴領域Ａjについて、その「種類」の情報に従って領域を分割し、その分割された部分領域ａk毎の領域値ｘ2kを特徴量として求める。
【０１１７】
類似度演算部４１は、さらに、第１および第２特徴量演算部４６，４７によって求められた領域値ｘ1k，ｘ2kに基づいて相関値Ｃjを演算する相関値演算部４８と、この相関値演算部４８によって求められた相関値Ｃjを当該特徴領域Ａjに対応したしきい値θjと比較する比較部４９と、この比較部４９による比較結果ｈj(I1,I2)に重み付け係数ｗjを乗じて加算する重み付け加算部５０とを備えている。
【０１１８】
比較部４９は、照合用辞書記憶部２６を参照し、特徴領域Ａjに対応したしきい値θjを読み出す。そして、比較部４９は、相関値Ｃjがしきい値θjよりも大きければ第１識別値「＋１」（第１および第２顔画像が同一人物の顔画像であることを表す弱仮説）を出力する。一方、相関値Ｃjがしきい値θj以下であれば、比較部４９は、第２識別値「−１」（第１および第２顔画像が他人の顔画像であることを表す弱仮説）を出力する。
【０１１９】
重み付け加算部５０は、比較部４９の出力値に対して特徴領域Ａjに対応した重み付け係数を乗じ、特徴領域Ａ1〜ＡTに関する比較部４９の出力値を線形結合して、前記(3)式で表される類似度を求めて出力する。すなわち、重み付け加算部５０は、比較部４９から与えられる特徴領域Ａ1〜ＡTについての比較結果ｈj(I1,I2)に対して重み付け係数ｗjを乗じ、これらを加算する。
【０１２０】
図１６は、類似度演算部４１の他の構成例を説明するためのブロック図である。この図１６において、前述の図１５に示された各部と同等の機能部分には、図１５の場合と同一の参照符号を付して示す。この図１６の構成は、照合データ記憶部２５に、顔画像の照合データ（代表照合データおよび個別照合データ）が特徴量の形式で登録されている場合に好適である。この場合、照合データ記憶部２５には、各登録顔画像について特徴領域Ａ1〜ＡTに関する特徴量が個別照合データとして記憶されている。同様に、代表照合データとしては、代表顔画像についての特徴領域Ａ1〜ＡTに関する特徴量が記憶されている。これら特徴量は、個々の照合データに対して、特徴領域Ａ1〜ＡTごとに照合データ記憶部２５に記憶されている。記憶される特徴量は、各特徴領域Ａjを分割して得られる部分領域ａkの領域値ｘ1kである。
【０１２１】
特徴領域設定部４５Ａは、照合用辞書記憶部２６を参照して、第２顔画像Ｉ2内に特徴領域Ａ1〜ＡTを順次設定する。特徴量演算部４７は、照合用辞書記憶部２６を参照して、第２顔画像Ｉ2中に設定された特徴領域Ａjについて、その部分領域ａkごとの領域値ｘ2kを特徴量として演算する。
この演算された領域値ｘ2kは、相関値演算部４８に与えられる。この相関値演算部４８は、照合データ記憶部２５から第１顔画像Ｉ1の当該特徴領域Ａjに対応した領域値ｘ1kを読み出す。そして、相関値演算部４８は、照合データ記憶部２５から読み出された領域値ｘ1kと特徴量演算部４７によって演算された領域値ｘ2kとに基づいて、相関値Ｃjを演算する。
【０１２２】
比較部４９および重み付け加算部５０の働きは、図１１の構成の場合と同様である。
この構成例の場合には、第１顔画像Ｉ1（登録顔画像または代表顔画像）については、領域値ｘ1kが予め求められて、照合データとして照合データ記憶部２５に登録されている。したがって、類似度の計算のための演算量を少なくすることができる。それに応じて、演算時間を短縮できるから、顔画像の認識に要する時間を短縮できる。
【０１２３】
次に、顔画像検出部３０（図３参照）による処理について概説する。
図１７は、顔画像検出部３０の機能的な構成を説明するための機能ブロック図である。顔画像検出部３０は、カメラ１によって撮像された入力画像から顔画像領域を抽出して、サイズおよび傾きが正規化された顔画像データ（被照合顔画像データ）を生成するものである。この顔画像検出部３０は、第１段階の処理としての粗検出処理と、第２段階の処理としての精密検出処理とを実行する。粗検出処理は、カメラ１によって撮像された画像の全領域を粗くスキャンして、顔画像が含まれている蓋然性の高い一部の領域を顔画像周辺領域として抽出し、残余の領域を棄却して精密検出処理対象から除外する処理である。すなわち、精密検出処理は、粗検出処理によって抽出された顔画像周辺領域内で、顔画像の領域を抽出して切り出す処理である。
【０１２４】
粗検出処理の実行のために、顔画像検出部３０には、撮像画像中の部分領域を処理対象領域（粗検出ウィンドウ）として設定する粗検出ウィンドウ設定部３１と、この粗検出ウィンドウ設定部３１によって設定された粗検出ウィンドウが顔画像を内包する顔画像周辺領域であるかどうかを識別する周辺領域識別部３２と、この周辺領域識別部３２による判定のための情報を記憶した周辺領域特徴辞書３３とが備えられている。周辺領域特徴辞書３３は、図１に示すように、ハードディスクドライブ１４内の記憶領域に格納されている。
【０１２５】
また、精密検出処理の実行のために、顔画像検出部３０には、さらに、周辺領域識別部３２によって抽出された顔画像周辺領域のなかの部分領域を処理対象領域（精密検出ウィンドウ）として設定する精密検出ウィンドウ設定部３４と、この精密検出ウィンドウ設定部３４によって設定された精密検出ウィンドウが顔画像領域に該当するかどうかを識別する顔画像識別部３５と、この顔画像識別部３５による判定のための情報を記憶した顔画像特徴辞書３６とが備えられている。顔画像特徴辞書３６は、図１に示すように、ハードディスクドライブ１４内の記憶領域に格納されている。
【０１２６】
さらに、顔画像検出部３０は、顔画像識別部３５によって顔画像領域であると判定された精密検出ウィンドウ内の画像を正規化して出力する顔画像出力処理部３７を備えている。この顔画像出力処理部３７は、当該精密検出ウィンドウ内の画像を、一定のサイズ（たとえば３２画素×３２画素）に正規化し、かつ、当該精密ウィンドウ内の顔画像の傾きを補正して、被照合顔画像データを生成する。
【０１２７】
撮像画像から抽出して切り出される顔画像は、たとえば、図１８の中央列の３つの画像（縦方向にならぶ３つの画像）のように、人の顔の両目尻の内側の所定形状の矩形領域（顔認識処理部４０で照合される画像と同形状の領域。たとえば、正方形領域）の画像である。つまり、撮像画像中にさまざまな大きさで含まれる顔画像が、縦横比が一定の矩形領域によって切り出される。図１８の中央列中段の顔画像は、両目尻を結ぶ線分が矩形領域の横辺にほぼ平行な場合（０degree）を示し、図１８の中央列上段の顔画像は、同列中段の画像に対して５度だけ左回転（−５degrees）されており、図１８の中央列下段の顔画像は、同列中段の画像に対して５度だけ右回転（＋５degrees）されている。
【０１２８】
この場合、顔画像特徴辞書３６には、図１８の中央列に示されるような矩形の画像を顔画像として識別するための情報が保持されることになる。より具体的には、顔画像の特徴パターンに対応した顔画像検出フィルタに関する情報が顔画像特徴辞書３６に保持されている。顔画像検出フィルタは、たとえば、図１９に示すように、処理ウィンドウ７０内に設定された一対の矩形領域７１，７２のそれぞれに関して、それらの領域７１，７２に含まれる各複数画素の平均輝度値を求め、それらの平均輝度値の差を所定のしきい値と比較するものである。
【０１２９】
処理ウィンドウ７０内における矩形領域７１，７２の位置、形状（縦横長）、および平均輝度値に対するしきい値は、学習によって予め定められる。この学習は、多数の画像サンプルを用いて実行される。より具体的には、処理ウィンドウ７０と同形状および同サイズの多数の画像サンプルが収集されて、ハードディスクドライブ１４（図１参照）の記憶領域内の顔画像サンプル格納部６１（図１７参照）に格納される。この場合の画像サンプルは、顔画像を含む顔画像サンプル（真サンプル）と、顔画像を含まない非顔画像サンプル（偽サンプル）とを含む。
【０１３０】
コンピュータ３内の機能処理部である顔画像特徴計算部６３は、顔画像サンプル格納部６１に格納された画像サンプルに基づいて学習を行い、真偽のサンプルを最もよく分離することができる顔画像検出フィルタを求める。すなわち、処理ウィンドウ７０内における矩形領域７１，７２の位置およびそれら縦横長の組み合わせを様々に設定し、真偽のサンプルを最もよく分離することができる組み合わせが選択される。この場合、「真偽のサンプルを最もよく分離することができる」とは、真サンプルを偽サンプルとする誤識別および偽サンプルを真サンプルとする誤識別が最少となることを意味する。こうして選択された矩形領域７１，７２の組み合わせに対して、さらに、誤識別率が最小となるしきい値が設定されることにより、顔画像検出フィルタが得られる。この顔画像検出フィルタに関する情報が、顔画像特徴辞書３６に予め格納される。
【０１３１】
一方、周辺領域特徴辞書３３には、図１８の中央列の顔画像のほかに、図１８の左列および右列の各３個の顔画像を顔画像周辺領域として識別するための情報が保持されることになる。図１８左列の３つの画像は、顔画像の抽出枠を、図１８中央列の３つの画像の位置からそれぞれ左方向に所定画素分（図１８の例では１画素分。−１pixel）だけシフトさせて得られる画像である。また、図１８右列の３つの画像は、顔画像の抽出枠を、図１８中央列の３つの画像の位置からそれぞれ右方向に所定画素分（図１８の例では１画素分。＋１pixel）だけシフトして得られる画像である。
【０１３２】
周辺領域特徴辞書３３には、顔画像検出フィルタの場合と同様な周辺画像検出フィルタに関する情報が保持されている。この周辺画像検出フィルタは、顔画像検出フィルタの場合と同様な学習によって定められる。ただし、この学習には、顔画像周辺領域サンプル（真サンプル）として、図１８中央列のような顔画像のほかにその左右列に示されるような顔画像も用いられる。このような真サンプルと、顔画像を含まない偽サンプルとが、ハードディスクドライブ１４内の記憶領域である周辺領域画像サンプル格納部６２に、予め、多数格納される。
【０１３３】
この周辺領域画像サンプル格納部６２に格納された真偽のサンプルを最もよく分離することができる周辺領域検出フィルタが、コンピュータ３内の機能処理部である周辺領域特徴計算部６４によって、顔画像検出フィルタの場合と同様な学習によって求められる。この周辺領域検出フィルタの情報が、周辺領域特徴辞書３３に予め格納されることになる。
顔画像サンプル格納部６１、周辺領域画像サンプル格納部６２、顔画像特徴計算部６３および周辺領域特徴計算部６４は、事前の学習のための構成である。すなわち、これらの機能処理部は、周辺領域特徴辞書３３および顔画像特徴辞書３６とともに、オフライン実行系５１を形成している。
【０１３４】
一方、撮像画像中の顔画像の抽出処理は、粗検出ウィンドウ設定部３１、周辺領域識別部３２、精密検出ウィンドウ設定部３４、顔画像識別部３５および顔画像出力処理部３７によって実行される。すなわち、これらの機能処理部は、周辺領域特徴辞書３３および顔画像特徴辞書３６とともに、オンライン実行系５２を形成している。
粗検出ウィンドウ設定部３１は、処理ウィンドウ７０と相似形の様々な大きさの粗検出ウィンドウによって撮像画像の全域を走査するように、それらの粗検出ウィンドウを撮像画像中に順次設定する。より具体的には、粗検出ウィンドウ設定部３１は、図２０に示すように、撮像画像８０内の左下角のスタート位置８１から開始して、右上角のストップ位置８２に至るまで、撮像画像８０の全範囲を走査するように粗検出ウィンドウ７７を設定していく。つまり、粗検出ウィンドウ設定部３１は、最初の粗検出ウィンドウ７７をスタート位置８１に設定し、以後、右方向に所定の複数画素（たとえば、３画素）ずつ移動させながら順に粗検出ウィンドウ７７を設定していく。この粗検出ウィンドウ７７が撮像画像８０の右端に達すると、粗検出ウィンドウ設定部３１は、粗検出ウィンドウの設定位置を左端に戻し、１画素だけ上方に移動して、新たな粗検出ウィンドウ７７を設定する。以後、同様の操作が、粗検出ウィンドウ７７がストップ位置８２に達するまで繰り返される。
【０１３５】
粗検出ウィンドウ設定部３１は、周辺領域検出フィルタによる処理が可能な最小の大きさのウィンドウを初期粗検出ウィンドウ７７として前述の操作を実行し、以後、順次、粗検出ウィンドウ７７の大きさを所定ステップずつ（たとえば、１画素ずつ）大きくしながら、同様の操作を繰り返す。最終的には、撮像画像８０と同じ大きさの粗検出ウィンドウ７７が設定される。
【０１３６】
こうして順次設定される粗検出ウィンドウ７７内の部分画像に対して、周辺領域識別部３２は、前述の周辺領域検出フィルタによる処理を実行し、各粗検出ウィンドウ７７が顔画像周辺領域に該当するか否かを判定する。粗検出ウィンドウ７７内の画像に対して周辺領域検出フィルタを適用する際には、当該画像は、周辺領域検出フィルタのウィイドウサイズと一致するように拡大または縮小される。顔画像周辺領域である判定された粗検出ウィンドウ７７については、その位置情報および大きさの情報が生成されて、ＲＡＭ１２（図１参照）に格納される。
【０１３７】
周辺領域検出フィルタは、前述のとおり、ウィンドウの中央に顔画像が収まっているサンプルだけでなく、左右に１画素ずつずらした顔画像サンプルをも用いて学習を行って求められている。そのため、粗検出ウィンドウ７７を３画素以下のシフト幅で撮像画像８０内でずらして順次設定していけば、顔画像が含まれる領域を精度よく抽出することができる。むろん、最大のシフト幅である３画素ずつずらして順次粗検出ウィンドウ７７を設定すれば、最短時間で顔画像周辺領域の判定を完了できる。
【０１３８】
一般に、図１８の中央列の顔画像とともに、これらを左右にｕ画素（ただし、ｕは自然数）だけそれぞれずらした顔画像を用いた学習によって周辺領域検出フィルタが求められている場合には、２ｕ＋１画素以下のシフト幅で粗検出ウィンドウ７７をシフトしていくことができる。
精密検出ウィンドウ設定部３４は、周辺領域識別部３２によって顔画像周辺領域と判定された領域の近傍で精密検出ウィンドウを設定する。たとえば、精密検出ウィンドウ設定部３４は、顔画像周辺領域およびその左右に１画素ずつシフトした範囲で、粗検出ウィンドウ７７と同サイズの精密検出ウィンドウを設定する。この設定された精密検出ウィンドウに対して、顔画像識別部３５による処理、すなわち、顔検出フィルタによる処理が実行される。精密検出ウィンドウ内の画像に対して顔検出フィルタを適用する際には、当該画像は、顔画像検出フィルタのウィンドウサイズと一致するように拡大または縮小される。
【０１３９】
顔識別処理部３５によって顔画像領域であると判定された精密検出ウィンドウについては、その位置およびサイズを表す情報が顔画像識別部３５によって出力される。これを受けて、顔画像出力処理部は、当該精密検出ウィンドウ内の画像に対して、サイズおよび傾きの正規化を行って、被照合顔画像データを生成する。この場合、「傾きの正規化」とは、たとえば、図１８の上段または下段のような傾きのある画像を、図１８中段のように実質的に傾きのない画像に回転することをいう。
【０１４０】
以上、この発明の一実施形態について説明したが、この発明は他の形態で実施することもできる。たとえば、前述の実施形態では、複数人の顔画像の照合データが照合データ記憶部２５に登録される例について説明したが、ただ一人の顔画像の照合データが照合データ記憶部２５に登録されてもよい。この場合、たとえば、処理対象の画像データと代表照合データとの類似度を所定のしきい値と比較し、その類似度が当該しきい値を超えない場合には、個別照合データとの照合を行わずに認識処理を終了すればよい。これにより、照合対象の顔画像が登録人物の顔画像と明らかに異なる場合には、複数の個別照合データに関する照合処理を省くことができるので、当該照合対象の顔画像の者が未登録者であるとの判定をすみやかに下すことができる。
【０１４１】
また、前記の実施形態では、立ち入り制限区域への入場制限のためのこの発明が適用される例について説明したが、たとえば、家庭用ロボットや接客ロボットのように対人対応の可能なロボットにこの発明の画像認識装置を組み込んで用いることもできる。これにより、ロボットは、登録されている人物の顔を短時間で正確に認識できるから、迅速かつ的確な対人対応が可能になる。たとえば、このようなロボットは、認識した人物に応じた適切な対応を優れた応答性で実行できる。
【０１４２】
顔画像の認識は、他にも、膨大な画像データ（静止画または動画）から特定人物の顔画像を抽出したりする処理に用いることもできる。具体的には、犯罪捜査において、ビデオカメラで撮像された映像から容疑者の顔画像を抽出したりする処理に顔画像認識処理を適用できる。
さらに、前記の実施形態では、認識対象物が顔画像である場合について説明したが、既述のとおり、この発明は、顔画像以外の認識対象物の認識にも適用可能である。
【０１４３】
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。
【図面の簡単な説明】
【０１４４】
【図１】この発明の一実施形態に係る個人認証システムの構成を示す図解的なブロック図である。
【図２】画像認識装置を構成するコンピュータに接続されたディスプレイの表示例を示す図である。
【図３】前記コンピュータプログラムの実行状態におけるコンピュータの機能的な構成を説明するためのブロック図である。
【図４】照合データ記憶部における照合データの登録状態を説明するための図解図である。
【図５】照合データ記憶部における照合データの登録状態をより直感的に表した図である。
【図６】顔認識処理部による処理の一例を説明するためのフローチャートである。
【図７】照合対象の個別照合データを抽出するための処理内容の一具体例を示すフローチャートである。
【図８】照合対象の個別照合データを抽出するための処理の他の具体例を示すフローチャートである。
【図９】顔認識処理部による処理の他の例を説明するためのフローチャートである。
【図１０】一対の顔画像の類似度を求める演算を説明するための図である。
【図１１】顔画像の類似度を求めるために用いられる特徴領域を説明するための図である。
【図１２】学習によって類似度演算式を定めるための処理を説明するためのフローチャートである。
【図１３】一対の顔画像に共通の特徴領域を設定し、当該特徴領域内における一対の顔画像の相関値を求めたときの重み付けヒストグラムの一例を示す図である。
【図１４】照合用辞書記憶部の保持内容を説明するための図である。
【図１５】類似度演算部の構成例を説明するためのブロック図である。
【図１６】類似度演算部の他の構成例を説明するためのブロック図である。
【図１７】顔画像検出部の機能的な構成を説明するための機能ブロック図である。
【図１８】撮像画像から抽出される顔画像の例と、顔画像の周辺領域として検出される画像の例を示す図である。
【図１９】顔画像検出処理のためのフィルタの例を示す図である。
【図２０】粗検出ウィンドウによる撮像画像の走査を説明するための図である。
【符号の説明】
【０１４５】
１      カメラ
２      ケーブル
３      コンピュータ
４      表示器
５      ディスプレイ
６      入力操作部
７      ゲート開閉器
８      ＣＤ−ＲＯＭ
１０    ＣＰＵ
１１    ＲＯＭ
１２    ＲＡＭ
１２ａ  画像メモリ
１２ｂ  代表類似度記憶領域
１２ｃ  個別類似度記憶領域
１３    バス
１４    ハードディスクドライブ
１５    ＣＤ−ＲＯＭドライブ
１６    ディスプレイコントローラ
１７    入力部コントローラ
１８    画像インタフェース部
１９    表示制御インタフェース部
２０    ゲート開閉制御インタフェース部
２５    照合データ記憶部
２６    照合用辞書記憶部
３０    顔画像検出部
３１    粗検出ウィンドウ設定部
３２    周辺領域識別部
３３    周辺領域特徴辞書
３４    精密検出ウィンドウ設定部
３５    顔画像識別部
３６    顔画像特徴辞書
３７    顔画像出力処理部
４０    顔認識処理部
４１    類似度演算部
４２    照合データ選択部
４３    判断部
４５    特徴領域設定部
４５Ａ  特徴領域設定部
４６    第１特徴量演算部
４７    第２特徴量演算部
４８    相関値演算部
４９    比較部
５０    重み付け加算部
５１    オフライン実行系
５２    オンライン実行系
５５    水平分割線
５６    垂直分割線
６１    顔画像サンプル格納部
６２    周辺領域画像サンプル格納部
６３    顔画像特徴計算部
６４    周辺領域特徴計算部
７０    処理ウィンドウ
７１    矩形領域
７２    矩形領域
７７    粗検出ウィンドウ
８０    撮像画像
Ａj    特徴領域
ａk    部分領域
ｘ1k    領域値
ｘ2k    領域値
Ｃj    相関値
Ｉ1    顔画像
Ｉ2    顔画像
【図１】
2006031387.tif 000007
【図２】
2006031387.tif 000008
【図３】
2006031387.tif 000009
【図４】
2006031387.tif 000010
【図６】
2006031387.tif 000011
【図７】
2006031387.tif 000012
【図８】
2006031387.tif 000013
【図９】
2006031387.tif 000014
【図１１】
2006031387.tif 000015
【図１２】
2006031387.tif 000016
【図１３】
2006031387.tif 000017
【図１４】
2006031387.tif 000018
【図１５】
2006031387.tif 000019
【図１６】
2006031387.tif 000020
【図１７】
2006031387.tif 000021
【図１８】
2006031387.tif 000022
【図１９】
2006031387.tif 000023
【図２０】
2006031387.tif 000024
【図５】
2006031387.tif 000025
【図１０】
2006031387.tif 000026