(57)【要約】【課題】  複数のカメラによる撮影状態に基づいて認識対象の人物に対して効率的なアクセス制御あるいは人物監視を行うことができる人物認識装置および人物認識方法を提供できる。【解決手段】  第１の顔検出部では、通行者に認識され易い状態で設置された第１のカメラで撮影された画像から通行者の顔を検出する。第２の顔検出部では、通行者に認識され難い状態で設置された第２のカメラで撮影された画像から前記通行者の顔を検出する。分類部では、第１の顔検出部による顔の検出結果と第２の顔検出部による顔の検出結果とに基づいて前記通行者を分類し、その分類結果に基づいて顔照合部による顔照合処理に用いられる認証用の閾値を調整する。顔照合部は、通行者の顔画像から得られる顔の特徴情報と顔特徴管理部に記憶されている登録者の顔の特徴情報との類似度を算出し、算出した類似度が調整された認証用の閾値以上であるか否かにより通行者が登録者であるか否かを判定する。【選択図】      図１
2008108243.tif 000002
【特許請求の範囲】
【請求項１】
顔画像により人物を認識する人物認識装置であって、
人物に認識され易い状態で設置された第１のカメラにより撮影された画像を取得する第１の画像取得部と、
人物に認識され難い状態で設置された第２のカメラにより撮影された画像を取得する第２の画像取得部と、
前記第１の画像取得部により取得した画像から人物の顔を検出する第１の顔検出部と、
前記第２の画像取得部により取得した画像から前記人物の顔を検出する第２の顔検出部と、
前記第１のカメラにより撮影された人物と前記第２のカメラにより撮影された人物とを対応付ける対応付け部と、
前記対応付け部による対応付けの結果と前記第１の顔検出部による顔の検出結果と前記第２の顔検出部による顔の検出結果とに基づいて前記人物を分類する分類部と、
を有する。
【請求項２】
前記分類部は、前記人物が不審者らしい人物か否かを判定する、
ことを特徴とする前記請求項１に記載の人物認識装置。
【請求項３】
前記分類部は、前記対応付け部により前記第２のカメラで撮影された人物と対応付けられる人物の顔が前記第１の顔検出部により検出されたか否かにより前記人物が不審者らしい人物か否かを判定する、
ことを特徴とする前記請求項２に記載の人物認識装置。
【請求項４】
さらに、登録者の顔画像を記憶するメモリと、
前記分類部により前記人物が不審者らしい人物でないと判定された場合、前記メモリに記憶されている登録者の顔画像と、前記第１の顔検出部により検出された前記人物の顔画像あるいは前記第２の顔検出部により検出された前記人物の顔画像との類似度が認証用の閾値以上であるか否かにより顔照合を行う顔照合部と、を有する、
ことを特徴とする前記請求項２に記載の人物認識装置。
【請求項５】
さらに、登録者の顔画像を記憶するメモリと、
このメモリに記憶されている顔画像と前記第１の顔検出部あるいは前記第２の顔検出部により検出された顔画像との類似度が認証用の閾値以上であるか否かにより顔照合を行う顔照合部と、を有し、
前記分類部は、さらに、前記対応付け部により対応付け結果と前記第１の顔検出部による顔の検出結果と前記第２の顔検出部による顔の検出結果とに基づく前記人物の分類に応じて前記顔照合部による顔照合に用いられる認証用の閾値を調整する、
ことを特徴とする前記請求項１に記載の人物認識装置。
【請求項６】
前記分類部は、前記対応付け部により対応づけられる人物の顔が前記第１の顔検出部および前記第２の顔検出部で検出された場合に当該人物に対する認証用の閾値を緩和する、
ことを特徴とする前記請求項５に記載の人物認識装置。
【請求項７】
さらに、前記対応付け部により対応づけられる人物に対する前記第１の顔検出部で検出された顔画像と前記第２の顔検出部で検出された顔画像とに基づいて当該人物がなりすましを行っているか否かを判定するなりすまし判定部を有する、
ことを特徴とする前記請求項１に記載の人物認識装置。
【請求項８】
前記なりすまし判定部は、前記対応付け部により対応付けられる前記第１の顔検出部により検出された人物の顔画像と前記第２の顔検出部により検出された前記人物の顔画像とが同一人物らしくないと判定された場合に当該人物がなりすましを行っていると判定する、
ことを特徴とする前記請求項７に記載の人物認識装置。
【請求項９】
さらに、各登録者の顔画像と分類を示す情報とを対応づけて記憶するメモリと、
前記第１の顔検出部あるいは前記第２の顔検出部により検出された顔画像との類似度が検索用の閾値以上である登録者の顔画像を前記メモリから検索する顔検索部と、を有し、
前記分類部は、前記対応付け部による対応付けの結果と前記第１の顔検出部による顔の検出結果と前記第２の顔検出部による顔の検出結果とに基づく前記人物の分類に応じて前記顔検索部による検索に用いられる検索用の閾値を調整する、
ことを特徴とする前記請求項１に記載の人物認識装置。
【請求項１０】
前記メモリには、不審者の顔画像を記憶し、
前記分類部は、前記対応付け部により対応付けられる前記第２の顔検出部により検出された人物の顔が前記第１の顔検出部により検出されなかった場合、前記不審者の顔画像に対する検索用の閾値を緩和し、
前記顔検索部は、前記第２の顔検出部により検出された顔画像との類似度が前記分類部により緩和された検索用の閾値以上である不審者の顔画像を検索する、
ことを特徴とする前記請求項９に記載の人物認識装置。
【請求項１１】
前記メモリには、特定人物の顔画像を記憶し、
前記分類部は、前記対応付け部により対応付けられる人物の顔が前記第１の顔検出部および前記第２の顔検出部により検出された場合、前記特定人物の顔画像に対する検索用の閾値を緩和し、
前記顔検索部は、前記第１の顔検出部あるいは前記第２の顔検出部により検出された顔画像との類似度が前記分類部により緩和された検索用の閾値以上である特定人物の顔画像を検索する、
ことを特徴とする前記請求項９に記載の人物認識装置。
【請求項１２】
さらに、各登録者の顔画像と分類を示す情報とを対応づけて記憶するメモリと、
前記分類部による前記人物の分類と一致する分類の登録者の顔画像を検索対象として、前記第１の顔検出部あるいは前記第２の顔検出部により検出された顔画像との類似度が検索用の閾値以上である登録者の顔画像を検索する顔検索部と、を有する、
ことを特徴とする前記請求項１に記載の人物認識装置。
【請求項１３】
前記メモリには、不審者の顔画像を記憶し、
前記分類部は、前記対応付け部により対応づけられる前記第２の顔検出部により検出された人物の顔が前記第１の顔検出部により顔が検出されなかった場合、前記人物を不審者として分類し、
前記顔検索部は、前記第１の顔検出部により顔が検出されなかった場合、不審者の顔画像を検索対象として、前記第２の顔検出部により検出された顔画像との類似度が検索用の閾値以上である顔画像を検索する、
ことを特徴とする前記請求項１２に記載の人物認識装置。
【請求項１４】
前記メモリには、特定人物の顔画像を記憶し、
前記分類部は、前記対応付け部により対応付けられる人物の顔が前記第１の顔検出部および前記第２の顔検出部により検出された場合、前記人物を特定人物として分類し、
前記顔検索部は、前記メモリに記憶されている特定人物の顔画像を検索対象として、前記第１の顔検出部あるいは前記第２の顔検出部により検出された顔画像との類似度が検索用の閾値以上である顔画像を検索する、
ことを特徴とする前記請求項１２に記載の人物認識装置。
【請求項１５】
顔画像により人物を認識する人物認識装置に用いられる人物認識方法であって、
人物に認識され易い状態で設置された第１のカメラで撮影された画像を取得し、
人物に認識され難い状態で設置された第２のカメラで撮影された画像を取得し、
前記第１のカメラで撮影された画像から人物の顔を検出し、
前記第２のカメラで撮影された画像から前記人物の顔を検出し、
前記第１のカメラにより撮影された人物と前記第２のカメラにより撮影された人物とを対応付け、
前記対応付けの結果と前記第１のカメラで撮影された画像からの顔の検出結果と前記第２のカメラで撮影された画像からの顔の検出結果とに基づいて前記人物を分類する、
ことを特徴とする人物認識方法。
【請求項１６】
前記分類することは、前記対応付けにより対応付けられる前記第２のカメラで撮影された画像から検出された人物の顔が前記第１のカメラで撮影された画像から検出されたか否かにより前記人物を不審者として分類するか否かを判定する、
ことを特徴とする前記請求項１５に記載の人物認識方法。
【請求項１７】
さらに、前記対応付けの結果と前記第１のカメラで撮影された画像からの顔の検出結果と前記第２のカメラで撮影された画像からの顔の検出結果とに基づく前記人物の分類に応じて顔照合に用いられる認証用の閾値を調整し、
メモリに記憶されている登録者の顔画像と、前記第１のカメラで撮影された画像から検出された顔画像あるいは前記第２のカメラで撮影された画像から検出された顔画像との類似度が、前記調整された認証用の閾値以上であるか否かにより顔照合を行う、
ことを特徴とする前記請求項１５に記載の人物認識方法。
【請求項１８】
さらに、前記対応付けにより対応付けられる前記第１のカメラで撮影された画像から検出された前記人物の顔画像と前記第２のカメラで撮影された画像から検出された前記人物の顔画像とに基づいて、当該人物がなりすましを行っているか否かを判定する、
ことを特徴とする前記請求項１５に記載の人物認識方法。
【請求項１９】
さらに、前記対応付けの結果と前記第１の顔検出部による顔の検出結果と前記第２の顔検出部による顔の検出結果とに基づく前記人物の分類に応じて顔検索に用いられる検索用の閾値を調整し、
前記第１のカメラで撮影された画像から検出された顔画像あるいは前記第２のカメラで撮影された画像から検出された顔画像との類似度が検索用の閾値以上である登録者の顔画像を、各登録者の顔画像と分類を示す情報とが対応づけられて記憶されているメモリから検索する、
ことを特徴とする前記請求項１５に記載の人物認識方法。
【請求項２０】
さらに、前記分類による前記人物の分類と一致する分類の登録者の顔画像を検索対象として、前記第１のカメラで撮影された画像から検出された顔画像あるいは前記第２のカメラで撮影された画像から検出された顔画像との類似度が検索用の閾値以上である登録者の顔画像を、各登録者の顔画像と分類を示す情報とが対応づけられて記憶されているメモリから検索する、
ことを特徴とする前記請求項１５に記載の人物認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、生体認証を応用した入退場管理システムあるいは人物監視システムなどに適用される人物認識装置および人物認識方法に関する。
【背景技術】
【０００２】
従来、入退場の管理あるいは人物の監視などに適用される技術として、歩行者（通行者）を撮影し、撮影した画像を記録したり、撮影した画像から歩行者を特定したりする技術が提案されている。このような技術のうち最もポピュラーなものは、監視カメラで撮影した映像を常時記録するシステムである。しかしながら、監視カメラで撮影した映像を常時記録するシステムでは、長時間に亘って記録された映像の中から特定の人物の画像を探すことは容易ではない。このため、人感センサが人物を検知した場合にのみカメラが撮影した映像を記録するシステム、あるいは、カメラが撮影した映像から人物らしい画像が検出された場合にのみ映像を記録するシステムなどが提案されている。
【０００３】
たとえば、特開２００３−１６９３２０号公報（特許文献１）には、第１および第２の監視カメラを設置し、これらの監視カメラを意識して行動している人物を監視するシステムである。これは、不審者が監視カメラを意識して行動する可能性が高いという前提に基づいている。特開２００３−１６９３２０号公報に記載されているシステムでは、第１の監視カメラおよび第２の監視カメラの意識したと判定された人物が含まれる画像を記録したり、警報を出力したりする。
【０００４】
しかしながら、特開２００３−１６９３２０号公報に記載の技術では、カメラの設置状態などによっては、顔を隠す必要がない一般の人物が不審者らしいと判定されることが多くなり、誤報が多くなりやすいと考えられる。また、特開２００３−１６９３２０号公報に記載の技術では、不審者が監視カメラに顔を映さないようにしたときに画像の記録あるいは警報の出力などの対応ができなくなるという問題もある。
【０００５】
また、特許第３０８８８８０号公報（特許文献２）には、カメラで撮影している画像から顔を隠している人物が検出された場合に、管理者および通行者に通知するシステムが記載されている。これは、監視カメラに顔を映らないようにしている人物（顔を隠している人物）が不審者である可能性が高いという前提に基づいている。特許第３０８８８８０号公報には、監視カメラで撮影した画像から人物の頭部らしい領域を抽出し、その領域から人物の顔を検出できたかどうかにより、顔を隠している人物かどうかを判定するシステムが記載されている。
【０００６】
しかしながら、特許第３０８８８８０号公報には、顔を隠した人物を不審者として扱うとしている。このため、特許第３０８８８８０号公報の技術では、たまたま顔がカメラの方向を向いていない人物、および、サングラスあるいはマスクなどで顔の検出できなかった人物が全て不審者らしいと判定されてしまうという問題がある。
【０００７】
また、特開２００４−１１８３５９号公報（特許文献３）には、異なる条件で設置した複数のカメラが撮影した画像に基づいて通行者に対する顔照合の安定化を図るという技術が記載されている。特開２００４−１１８３５９号公報には、種々の条件で設置されている複数のカメラで撮影した画像に対して、各カメラの設置条件に応じた条件で人物の顔による照合を行う技術が記載されている。しかしながら、特開２００４−１１８３５９号公報には、不審者らしい人物を判定する点については記載されていない。
【０００８】
上述したような従来の技術では、不審者らしい人物を確実に検出したり、各人物の不審者らしさに応じた効率的な認証処理を行ったりするのが困難であるという問題点がある。
【特許文献１】特開２００３−１６９３２０号公報
【特許文献２】特許第３０８８８８０号公報
【特許文献３】特開２００４−１１８３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
この発明の一形態は、人物に対して効率的なアクセス制御あるいは人物監視を行うことができる人物認識装置および人物認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明の一形態としての人物認識装置は、人物に認識され易い状態で設置されたカメラにより撮影された画像を取得する第１の画像取得部と、人物に認識され難い状態で設置されたカメラにより撮影された画像を取得する第２の画像取得部と、前記第１の画像取得部により取得した画像から人物の顔を検出する第１の顔検出部と、前記第２の画像取得部により取得した画像から前記人物の顔を検出する第２の顔検出部と、前記第１のカメラにより撮影された人物と前記第２のカメラにより撮影された人物とを対応付ける対応付け部と、前記対応付け部による対応付けの結果と前記第１の顔検出部による顔の検出結果と前記第２の顔検出部による顔の検出結果とに基づいて前記人物を分類する分類部とを有する。
【００１１】
この発明の一形態としての人物認識方法は、人物に認識され易い状態で設置された第１のカメラで撮影された画像を取得し、人物に認識され難い状態で設置された第２のカメラで撮影された画像を取得し、前記第１のカメラで撮影された画像から人物の顔を検出し、前記第２のカメラで撮影された画像から前記人物の顔を検出し、前記第１のカメラにより撮影された人物と前記第２のカメラにより撮影された人物とを対応付け、前記対応付けの結果と前記第１のカメラで撮影された画像からの顔の検出結果と前記第２のカメラで撮影された画像からの顔の検出結果とに基づいて前記人物を分類する。
【発明の効果】
【００１２】
この発明の一形態によれば、人物に対して効率的なアクセス制御あるいは人物監視を行うことができる人物認識装置および人物認識方法を提供できる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の各実施の形態について図面を参照して説明する。  
まず、第１の実施の形態について説明する。  
図１は、第１の実施の形態に係るアクセス制御装置としての人物（通行者）認識装置１０の構成例を概略的に示すものである。  
図１に示す通行者認識装置１０は、カメラで撮影した画像から人物の顔の特徴情報を抽出し、抽出した顔の特徴情報と登録者の顔の特徴情報と照合（顔照合）する顔照合装置として機能する。さらに、図１に示す通行者認識装置１０は、上記顔照合により顔の特徴情報が登録者の顔の特徴情報と一致すると判定された人物のアクセス（図１に示す例では通行）を許可するアクセス制御装置としても機能する。
【００１４】
また、図１に示す通行者認識装置１０は、たとえば、特定の人物（登録者）のみのセキュリティエリア内への入場を通行を許可するアクセス制御、あるいは、通行者の中から重要顧客あるいは要注意人物などの特定の人物を検出する人物検出などに適用されることが想定される。たとえば、図１に示す通行者認識装置１０は、特定の建造物あるいはセキュリティエリアに入場しようとする人物を管理する入場管理システム、あるいは、商用施設、娯楽施設あるいは交通機関の施設などの多くの人物が通行する場所での人物監視を行う監視システムなどに適用されることが想定される。
【００１５】
上記通行者認識装置１０は、図１に示すように、第１の画像取得部１１１、第２の画像取得部１１２、第１の人物検出部１２１、第２の人物検出部１２２、第１の顔検出部１３１、第２の顔検出部１３２、人物対応付け部１４０、分類部１５０、顔特徴管理部１６０、顔照合部１７０、通行制御部１８０および履歴管理部１９０などを有している。
【００１６】
上記第１の画像取得部１１１は、例えば、カメラ、Ａ／Ｄ変換器、出力インターフェースなどにより構成される。カメラは、通行者Ｍの少なくとも顔を含んでいる画像を撮影する。Ａ／Ｄ変換器は、カメラが撮影した画像をデジタル化する。出力インターフェースは、Ａ／Ｄ変換器によりデジタル化された画像を人物検出部１２１へ出力する。第１の画像取得部１１１のカメラ（以下、第１のカメラとも称する）は、認識対象者となる通行者Ｍに認識され易いように設置される。さらに、第１の画像取得部１１１のカメラの近傍には、表示部１１１ａが設けられている。表示部１１１ａは、認識対象者Ｍにより第１の画像取得部１１１のカメラが注目され易いように、第１の画像取得部１１１のカメラ近傍に設置される。表示部１１１ａは、たとえば、液晶表示器などにより構成される。
【００１７】
上記第２の画像取得部１１２は、例えば、カメラ、Ａ／Ｄ変換器、出力インターフェースなどにより構成される。カメラは、通行者Ｍの少なくとも顔を含んでいる画像を撮影する。Ａ／Ｄ変換器は、カメラが撮影した画像をデジタル化する。出力インターフェースは、Ａ／Ｄ変換器によりデジタル化された画像を人物検出部１２２へ出力する。第２の画像取得部１１２のカメラ（以下、第２のカメラとも称する）は、認識対象者となる通行者Ｍに認識され難いように設置される。さらに、第２の画像取得部１１２のカメラの前面には、ブラインドとして機能するアクリル板１１２ａが設けられている。アクリル板１１２ａは、第２の画像取得部１１２が通行者Ｍに発見され難いようにするために、カメラを隠すように設置される。つまり、第２の画像取得部１１２のカメラ（第２のカメラ）は、隠しカメラであれば良い。たとえば、第２のカメラは、アクリル板１１２ａで隠す以外に、通行者に発見され難い小型カメラを用いるようにしても良い。
【００１８】
すなわち、第１の画像取得部１１１のカメラが、通行者Ｍに認識され易いようになっているのに対して、第２の画像取得部１１２のカメラは、通行者Ｍに認識され難いようになっている。これにより、第１の画像取得部１１１では、カメラの存在を意識している通行者Ｍの顔画像が撮影でき、第２の画像取得部１１２は、カメラの存在を意識していない状態の通行者Ｍの顔画像が撮影できるようになっている。
【００１９】
第１の人物検出部１２１および第２の人物検出部１２２は、第１の画像取得部１１１および第２の画像取得部１１２により取得された画像からそれぞれ人物らしい画像領域（人物領域）を検出する。第１の人物検出部１２１および第２の人物検出部１２２により検出された人物らしい画像領域を示す情報は、それぞれ第１の顔検出部１３１および第２の顔検出部１３２へ出力される。
【００２０】
第１、第２の人物検出部１２１および１２２により人物領域を検出する手法には、文献１（中井宏章：「事後確率を用いた移動物体検出手法」、情報処理学会研究報告、ＳＩＧ−ＣＶ９０−１、１９９４年）に記載されている手法が適用可能である。上記文献１に記載の手法では、入力された画像に対して、背景画像の差分を用いて変化領域を人物領域として抽出する。また、上記文献１には、人物領域の人物（通行者）の特徴として、抽出した人物領域（変化領域）の形状、面積あるいは色分布情報などの特徴情報を取得できる。
【００２１】
なお、人物の検出精度を高めるため、通行者認識装置１０には、通行者Ｍの位置あるいは移動方向などを予測するための構成を追加するようにしても良い。この場合、通行者認識装置１０では、通行者の位置あるいは移動方向などの予測結果に基づいて、通行者Ｍを効率的に撮影したり、人物領域を効率的に検出したりする制御が可能となる。たとえば、通行者Ｍの位置あるいは移動方向などを予測するための構成としては、人物の位置を検知するための距離センサ、人物を検知する人感センサ、あるいは、人物の移動を把握するための別の監視カメラ（たとえば、広角な撮影が可能なカメラ）などが考えられる。
【００２２】
上記第１、第２の顔検出部１３１、１３２は、顔領域の検出処理を行なう。すなわち、上記第１の顔検出部１３１および第２の顔検出部１３２は、それぞれ第１の人物検出部１２１および第２の人物検出部１２２で検出された人物領域内の画像において、顔らしい領域を検出する。たとえば、上記第１、第２の顔検出部１３１および１３２は、あらかじめ用意されたテンプレートを画像内で移動させながら相関値を求めることにより、最も高い相関値を与える位置を顔領域として検出する。なお、上記第１、第２の顔検出部１３１及び１３２では、固有空間法あるいは部分空間法を利用した顔領域を抽出する手法などを用いるようにしても良い。
【００２３】
上記第１、第２の顔検出部１３１および１３２は、さらに、検出した顔領域の画像から当該人物の顔の特徴情報を検出する。すなわち、上記第１、第２の顔検出部１３１および１３２は、検出した顔領域の画像から顔における特徴部分として、目、鼻あるいは口などの顔部位の位置を検出する。上記第１、第２の顔検出部１３１および１３２は、顔の特徴部分として検出した顔の部位の位置に基づいて、当該人物の顔の特徴情報を算出する。
【００２４】
たとえば、目、鼻あるいは口などの顔部位の位置を検出する手法としては、文献２（福井和広、山口修：「形状抽出とパターン照合の組合せによる顔特徴点抽出」、電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ２１７０−２１７７（１９９７年））に開示されている方法などが適用可能である。
【００２５】
また、上記目、鼻あるいは口の検出を検出手法としては、文献３（湯浅真由美、中島朗子：「高精度顔特徴点検出に基づくデジタルメイクシステム」第１０回画像センシングシンポジウム予稿集、ｐｐ２１９−２２４（２００４年））に開示されている手法なども適用可能である。
【００２６】
一般に、１枚の画像の中から１つの特徴情報を抽出する場合、画像全体に対して抽出すべき特徴情報のテンプレートとの相関値を求めることにより、相関値が最大となる領域を示す位置とサイズが特徴情報の抽出結果として得られる。また、時系列で連続する複数の画像から複数の特徴情報を抽出する場合、複数の特徴情報の重なりを考慮しつつ各画像において相関値の局所的な最大値を求めことにより、各画像における特徴情報の候補が絞り込まれる。各画像における特徴情報の候補について連続する画像間での関係性（時間的な推移）を考慮することにより、複数の特徴情報が選出される。
【００２７】
第１、第２の顔検出部１３１および１３２により抽出される顔の特徴情報としては、たとえば、顔領域の濃淡情報を用いた情報が得られるものとする。この場合、上記第１、第２の顔検出部１３１および１３２は、検出された顔の部品の位置に基づいて、顔領域を一定の大きさ及び一定の形状に切り出し、切り出した顔領域の濃淡情報を取得する。ここで、顔の特徴情報は、ｍピクセル×ｎピクセルの領域の濃淡値をｍ×ｎ次元のベクトル（特徴ベクトル）として表した情報を用いるものとする。
【００２８】
このような特徴ベクトル間の類似度は、たとえば、単純類似度法という手法により算出される。単純類似度法では、第１のベクトルの長さと第２のベクトルの長さとをそれぞれ「１」とするように正規化し、それらの正規化された第１および第２のベクトルの内積を計算することにより、ベクトル間の類似性を示す類似度が求められる。１つの画像から得られる１つの特徴ベクトルと所定の特徴ベクトル（予め登録された特徴ベクトル）とを照合する場合、上記第１、第２の顔検出部１３１および１３２は、１つの画像から１つの特徴ベクトルを算出すれば良い。
【００２９】
ただし、連続した複数の画像としての動画像から特徴情報を計算をすることにより、精度の高い認識処理が行なえる。このため、ここでは、動画像から特徴情報を算出する手法について説明する。なお、動画像は、所定時間ごとの連続する各フレームの画像として取得されるものとする。上記第１、第２の顔検出部１３１および１３２は、動画像から得られる顔の特徴情報として部分空間を算出する。部分空間は、各フレームの画像から得られる特徴ベクトルの相関性に基づいて算出される情報である。
【００３０】
すなわち、上記第１、第２の顔検出部１３１および１３２は、各フレームの画像におけるｍ×ｎピクセルの顔領域の画像から特徴ベクトルをそれぞれ算出する。顔検出部１３１および１３２は、各画像から得られた各特徴ベクトルに対する相関行列（または、共分散行列）を算出し、周知のＫ−Ｌ展開による正規直交ベクトル（固有ベクトル）を求める。部分空間は、固有値に対応する固有ベクトルを、固有値の大きな順にｋ個選び、その固有ベクトルの集合を用いて表現される。ここで、相関行列をＣｄ、固有ベクトルの行列をΦとすると、以下の数式１の関係が成り立つ。
【００３１】
Ｃｄ＝ΦｄΛｄΦｄＴ  …  （数式１）
上記数式１により、固有ベクトルの行列Φｄが算出できる。この情報が顔の特徴情報としての部分空間（入力部分空間）となる。なお、顔特徴管理部１６０には、予め登録用として撮影した顔画像から、上述したような計算方法で算出された部分空間（登録部分空間）を顔の特徴情報として登録するようにすれば良い。
【００３２】
人物対応付け部１４０は、第１の画像取得部１１１で撮影された人物と第２の画像取得部１１２で撮影された人物とを対応付ける処理を行う。すなわち、人物対応付け部１４０は、第１の人物検出部１２１による人物の検出結果、第２の人物検出部１２２による人物の検出結果、第１の顔検出部１３１による顔の検出結果、あるいは、第２の顔検出部１３２による顔の検出結果に基づいて、第１の画像取得部１１１で撮影した人物と第２の画像取得部１１２で撮影した人物とを対応付ける。言い換えると、人物対応付け部１４０は、第１の画像取得部１１１（あるいは第２の画像取得部１１２）で撮影した画像から検出された人物と同一人物を、第２の画像取得部１１２（あるいは第１の画像取得部１１１）で撮影した画像から検出された人物から検出する。
【００３３】
人物対応付け部１４０は、例えば、第１の人物検出部１２１により検出された人物の画像領域および第２の人物検出部１２２により検出された人物の画像領域における、形状、面積、色分布情報などにより各人物を対応付ける。なお、色分布情報は、Ｒ，Ｇ，Ｂ各色別のヒストグラムなどにより識別される。つまり、第１の画像取得部１１１で撮影された人物の画像と第２の画像取得部１１２で撮影された人物の画像とは、形状、面積、色分布などが類似するものが同一人物の画像として対応づけられる。
【００３４】
また、人物対応付け部１４０には、人物対応付け精度を高めるために、補助検知部１４０ａを設けるようにしても良い。補助検知部１４０ａとしては、たとえば、距離センサ、人感センサ、温度センサ、重量センサなどを設けるようにしても良い。
【００３５】
たとえば、補助検知部１４０ａとしての距離センサでは、センサの設置位置から人物までの距離を推定することができる。このため、距離センサで検知された人物までの距離に基づいて各人物の位置が追跡できる。このような各人物の位置の追跡結果に基づいて、人物対応付け部１４０は、画像取得部１１１で撮影された画像から検出された人物と画像取得部１１２で撮影された画像から検出された人物とを対応付けることができる。
【００３６】
また、補助検知部１４０ａとしての人感センサでは、人物の存在を検知することができる。補助検知部１４０ａとしての温度センサでは、人物の温度（体温）により人物の存在を検知することができる。補助検知部１４０ａとしての重量センサでは、人物の体重により人物の存在を検知することができる。これらの補助検知部１４０ａとしてのセンサによる検知結果に基づいて各人物が追跡できる。従って、このような各人物の追跡結果に基づいて、人物対応付け部１４０は、画像取得部１１１で撮影された画像から検出された人物と画像取得部１１２で撮影された画像から検出された人物とを対応付けることができる。
【００３７】
さらに、人物対応付け精度を高めるための補助検知部１４０ａとしては、通路全体を広角に撮影可能な監視カメラを設けるようにしても良い。この場合、補助検知部１４０ａとしての監視カメラは、通路全体の撮影画像から各人物を追跡できるようになっている。このような各人物の追跡結果に基づいて、人物対応付け部１４０は、画像取得部１１１で撮影された画像から検出された人物と画像取得部１１２で撮影された画像から検出された人物とを対応付けることが可能となる。
【００３８】
分類部１５０は、人物対応付け部１４０で対応付けられた人物の状態（行動パターン）に基づいて各人物を分類する。分類部１５０では、第１の画像取得部１１１で撮影した人物の状態と第２の画像取得部１１２で撮影した当該人物（人物対応付け部１４０で対応付けられた人物）の状態とに基づいて当該人物の行動パターンがどのように分類されるかを判定する。たとえば、分類部１５０は、顔検出部１３１による顔の検出結果と顔検出部１３２による顔の検出結果とに基づいて各人物を幾つかのパターンに分類する。
【００３９】
つまり、分類部１５０は、第１の画像取得部１１１で撮影した画像から検出された人物の顔が検出された（第１の画像取得部１１１のカメラに対して顔を隠している状態）か否かと、第２の画像取得部１１２で撮影した画像から検出された人物の顔が検出された（第２の画像取得部１１２のカメラに対して顔を隠している状態）か否かと、により当該人物を４つのパターンに分類する。このような分類部１５０による分類結果は、顔照合部１７０あるいは通行制御部１８０による処理内容を決定づける要素となる。
【００４０】
たとえば、上述しように、第１の画像取得部１１１のカメラは、通行者Ｍに認識され易いように設置されている。このため、第１の画像取得部１１１で取得した画像から顔が検出された人物は、不審者である可能性が低いと推測できる。このような推測に基づいて、分類部１５０は、第１の画像取得部１１１で取得した画像から顔が検出された人物については顔照合を行い、第１の画像取得部１１１で取得した画像から顔が検出されなかった人物については顔照合を行わずに通行を不可とする。
【００４１】
また、第２の画像取得部１１２のカメラは、通行者Ｍに認識され難いように設置されている。このため、第２の画像取得部１１２で取得した画像から顔が検出された人物は、カメラの存在を知っていてカメラに顔を向けている人物、あるいは、カメラの存在を知らないで顔が撮影されている人物の何れかであると推定される。このような推測に基づいて、分類部１５０は、第１の画像取得部１１１で取得した画像から顔が検出された人物のうち、第２の画像取得部１１２で取得した画像から顔が検出された人物については、通行許可となり易いように制御する。これに対して、分類部１５０は、第１の画像取得部１１１で取得した画像から顔が検出された人物のうち、第２の画像取得部１１２で取得した画像から顔が検出されなかった人物については通常の顔照合により通行の可否を判定するように制御する。なお、上記分類部１５０による各人物の分類処理の例については、後で詳細に説明するものとする。
【００４２】
顔特徴管理部１６０は、辞書データとしての登録者の顔の特徴情報を記憶するものである。たとえば、顔特徴管理部１６０には、上述したような部分空間が登録者の顔の特徴情報として登録される。ただし、顔特徴管理部１６０に登録される登録者の顔の特徴情報は、登録者の顔画像（動画像あるいは１つの画像）、各顔画像から得られるｍ×ｎの特徴ベクトル、あるいは、Ｋ−Ｌ展開を行なう直前の相関行列などであっても良い。これらの登録者の顔の特徴情報は、当該登録者を識別するための識別情報としてのＩＤ番号に対応づけて顔特徴管理部１６０により記憶される。
【００４３】
また、顔特徴管理部１６０には、各登録者ごとに１つの顔の特徴情報を記憶するようにして良いいし、各登録者ごとに複数の顔の特徴情報を記憶するようにしても良い。また、、各登録者に複数の顔の特徴情報を記憶する場合、上記顔照合部１７０では、たとえば、状況に応じて選択した各登録者ごとに１つの顔の特徴情報を用いて顔照合処理を行うようにしても良いし、各登録者の複数の顔の特徴情報を用いてぞれぞれ顔照合処理を行うようにしても良い。
【００４４】
顔照合部１７０は、第１の顔検出部１３１あるいは第２の顔検出部１３２で検出された顔の特徴情報と上記顔特徴管理部１６０に記憶されている登録者の顔の特徴情報とを照合するものである。上記顔照合部１７０では、照合結果としての両者の類似度を算出する。顔照合部１７０では、算出した類似度が認証用の閾値以上であるか否かにより当該人物の通行の可否を判定する。
【００４５】
たとえば、顔照合部１７０では、第１の顔検出部１３１あるいは第２の顔検出部１３２で得られた顔の特徴情報としての部分空間（入力部分空間）と顔特徴管理部１６０に記憶されている１つまたは複数の部分空間（登録部分空間）との類似度を求める。これにより、顔照合部１７０は、算出した類似度を認証用の閾値と比較することにより、通行者が登録者であるか否かを判定する。
【００４６】
なお、上記認証用の閾値は、所定の認証用の閾値を基準に調整可能となっている。上記認証用の閾値は、後述する処理において、分類部１５０による分類結果に基づいて調整されるようになっている。
【００４７】
また、第１の画像取得部１１１あるいは第２の画像取得部１１２により取得した１つの画像中に複数の通行者が存在する場合、上記顔照合部１７０は、上述した顔照合処理を検出された人数分繰り返すことで、取得した画像内に存在する各通行者全員に対する顔照合処理を行う。
【００４８】
また、２つの部分空間の類似度を求める計算方法は、部分空間法や複合類似度法などの方法が適用可能である。たとえば、２つの部分空間の類似度は、文献４（前田賢一、渡辺貞一：「局所的構造を導入したパターン・マッチング法」，電子情報通信学会論文誌（Ｄ），ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５〜３５２（１９８５年））に開示されている相互部分空間法により算出できる。上記文献３では、２つの部分空間のなす角度を類似度として定義している。ここで、相関行列をＣin、固有ベクトルをΦｉｎとすると、以下の数式２の関係が成り立つ。
【００４９】
Ｃｉｎ＝ΦｉｎΛinΦｉｎＴ  …  （数式２）
上記数式２により、固有ベクトルΦｉｎが算出できる。これにより、２つのΦｉｎおよびΦｄで表される２つの部分空間の類似度（０．０〜１．０）が算出できる。
【００５０】
また、取得された１つの画像内に複数の顔が存在する場合、顔照合部１７０は、検出された各人物の顔の特徴情報について、順番に顔特徴管理部１６０に保存されている顔の特徴情報との類似度を総当りで計算する。これにより、取得された１つの画像内に存在する全ての人物に対する顔照合の結果を得ることができる。たとえば、Ｘ名の通行者が歩いてきた場合（つまり、取得した１つの画像からＸ名の顔の特徴情報が検出された場合）、顔特徴管理部１６０にＹ名分の顔の特徴情報が記憶されていれば、「Ｘ×Ｙ」回の類似度演算を行うことにより、Ｘ名全員の顔照合結果が得られる。
【００５１】
また、取得したｍ枚の画像から得られた入力部分空間がどの登録部分空間とも照合が成功しない場合（つまり、撮影している人物が登録者の誰とも判定されない場合）、順次取得される次のフレームの画像と過去の複数フレームの画像とにより入力部分空間が更新される。このような入力部分空間の更新は、次に取得されるフレームの画像に対する相関行列を過去の複数のフレームの画像から作成された相関行列の和に追加し、再度固有ベクトルの計算するようにすれば良い。つまり、通行者の顔画像を連続して撮影した画像（動画像）により顔照合を行なう場合、順次入力される画像により入力部分空間を更新しながら照合を行うことにより、徐々に精度の高くなる計算が可能となる。
【００５２】
通行制御部１８０は、顔照合部１７０による顔照合の結果あるいは分類部１５０による分類結果に基づいて通行者Ｍの通行を制御するものである。通行制御部１８０は、自動ドア、電子錠付ドア、ゲートなどの開閉を制御する信号を出力することにより通行者Ｍの通行を制御するようになっている。
【００５３】
たとえば、上記通行制御部１８０は、顔照合部１７０での照合結果により通行可と判定された人物（登録者と一致すると判定された人物）を通行させるために、自動ドア、電子錠付ドア、あるいは、ゲートを開放するための制御信号を出力する。また、上記通行制御部１８０は、通行不可と判定された人物（登録者と一致しないと判定された人物および顔照合ができなかった人物）の通行を阻止するために、自動ドア、電子錠付ドア、あるいは、ゲートを閉鎖するための制御信号を出力する（あるいは、開放するための制御信号を出力しない）。
【００５４】
履歴管理部１９０は、通行者Ｍに関する履歴情報（通行履歴）を記憶するものである。履歴管理部１９０は、当該通行者認識装置１０と通信可能な管理サーバなどにより実現するようにしても良い。履歴管理部１９０には、履歴情報として、各通行者に対する判定結果、通行日時、撮影された画像などが記録される。また、履歴管理部１９０には、不審者らしいと判定された通行者Ｍについてのみ履歴情報を記録するようにしても良い。
【００５５】
次に、第１の画像取得部１１１および第２の画像取得部１１２の設置例について説明する。  
第１の画像取得部１１１および第２の画像取得部１１２は、上述したように、カメラ、Ａ／Ｄ変換器、出力インターフェースなどを有している。第１の画像取得部１１１および第２の画像取得部１１２は、それぞれ異なる条件で通行者Ｍを撮影するために、設置状態などが異なっている。上述したように、第１の画像取得部１１１は、通行者Ｍが認識し易い位置に設置され、さらに、通行者Ｍがカメラの存在に気づき易いように、カメラ近傍に表示部１１１ａが設けられている。第２の画像取得部１１２は、通行者Ｍに認識され難いように、カメラを隠すためのアクリル板１１２ａが設けられている。これら第１の画像取得部１１１および第２の画像取得部１１２は、通行者Ｍが通行する通路の形状等に応じて種々の設置形態が考えられる。
【００５６】
図２および図３は、第１の画像取得部１１１と第２の画像取得部１１２の設置例を示す図である。図２に示す例では、たとえば、登録者のみが入場可能なエリア（セキュリティエリア）の入口（ゲート）Ｇ１に通じる通路Ｐ１と、通路Ｐ１における第１の画像取得部１１１および第２の画像取得部１１２の設置例を示している。
【００５７】
図２に示すように、上記通路Ｐ１は、ゲートＧ１の手前で折れ曲がっている。従って、セキュリティエリアへ入場しようとする人物（通行者）Ｍは、ゲートＧ１の手前で左折してゲートＧ１に到達するものと考えられる。
【００５８】
第２の画像取得部１１２は、通路Ｐ１が折れ曲がっている場所に設置されている。第２の画像取得部１１２のカメラ（第２のカメラ）は、ゲートＧ１に向かって歩行している通行者が、折れ曲がり場所に差し掛かった際に、歩行中の通行者を撮影するように設置されている。図２に示す例では、第２のカメラは、通路Ｐ１の折れ曲がっている場所に、通路Ｐ１を形成する壁の外側に設置されている。また、第２のカメラは、壁に沿って設置されたアクリル板１１２ａで隠されている。このような構成により、第２のカメラは、通行者Ｍに認識され難い。つまり、上記第２のカメラでは、当該カメラを意識していない可能性が高い通行者Ｍを撮影することが可能となっている。
【００５９】
第１の画像取得部１１１は、通路Ｐ１のゲートＧ１の手前近傍に設置されている。第１の画像取得部１１１のカメラ（第１のカメラ）は、通路Ｐ１からゲートＧ１に向かって進んでいる通行者を撮影できるように設置されている。さらに、ゲートＧ１の近傍には、ゲートＧ１に向かってくる通行者Ｍに対して案内あるいは撮影している画像などを表示する表示部１１１ａが設置されている。表示部１１１ａに表示される画像に通行者Ｍが注目することにより、上記第１のカメラは、さらに、通行者Ｍに意識され易くなっている。つまり、上記第１のカメラでは、当該カメラを意識している可能性が高い通行者Ｍを撮影することが可能となっている。
【００６０】
図３は、たとえば、セキュリティエリアの入口（ゲート）Ｇ２に通じる通路Ｐ２と、その通路Ｐ２に設置された第１の画像取得部１１１および第２の画像取得部１１２の設定例を示す図である。図３に示す例では、上記通路Ｐ２は、直線状となっている。従って、セキュリティエリアへ入場しようとする人物（通行者）Ｍは、ほぼ直進してゲートＧ２に到達するものと考えられる。
【００６１】
図３に示す構成例では、第２の画像取得部１１２は、通路Ｐ２をゲートＧ２へ向かって直進してくる通行者の顔を撮影するように設置されている。つまり、第２のカメラは、ゲートＧ２に向かって歩行中の通行者を撮影するように設置されている。図３に示す例では、第２のカメラは、通路Ｐ２においてゲートＧ２手前に設置される第１のカメラよりもさらに手前に、通路Ｐ２を形成する壁の外側（あるいは壁の中）に設置されている。また、第２のカメラは、通行者Ｍに認識され難いように、アクリル板１１２ａで隠されている。つまり、上記第２のカメラでは、当該カメラを意識していない可能性が高い通行者Ｍを撮影することが可能となっている。
【００６２】
図３に示す構成例では、第１の画像取得部１１１は、通路Ｐ２のゲートＧ２の手前近傍に設置されている。第１のカメラは、通路Ｐ２を直進して、ゲートＧ２に到達する直前の通行者（あるいはゲートＧ２に到達した通行者）を撮影できるように設置されている。さらに、ゲートＧ２の近傍には、ゲートＧ２に向かってくる通行者Ｍに対して案内あるいは撮影している画像などを表示する表示部１１１ａが設置されている。表示部１１１ａに表示される画像に通行者Ｍが注目することにより、上記第１のカメラは、さらに、通行者Ｍに意識され易くなっている。つまり、上記第１のカメラでは、当該カメラを意識している可能性が高い通行者Ｍを撮影することが可能となっている。
【００６３】
次に、分類部１５０による各人物の分類方法について説明する。  
上述したように、分類部１５０では、たとえば、第１の顔検出部１３１および第２の顔検出部１３２による顔の検出結果に基づいて各人物を分類する。各人物をどのように分類し、それらの分類結果に応じてどのような処理を行うかは、当該通行者認識装置の設置状況、システム全体の運用形態、あるいは、セキュリティポリシーなどに応じて適宜設定されるものである。
【００６４】
すなわち、分類部１５０は、予め設定される分類基準に従って各人物を分類する。言い換えれば、分類部１５０は、所定の分類基準に基づいて、第１の画像取得部１１１のカメラで撮影された人物の状態（たとえば、顔の検出結果）と第２の画像取得部１１２のカメラで撮影された人物の状態（たとえば、顔の検出結果）との組合せがどのような分類となるかを判定する。
【００６５】
図４は、分類部１５０による各人物に対する分類基準の例を示す図である。  
ここでは、第１の画像取得部１１１のカメラ（第１のカメラ）が通行者に認識され易いように設置され、第２の画像取得部１１２のカメラ（第２のカメラ）が通行者に認識され難いように設置されているものとする。
【００６６】
図４に示す「Ｎｏ．３」および「Ｎｏ．４」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出できなかった場合、つまり、第１の人物検出部１２１により検出された人物の顔が第１の顔検出部１３１で検出できなかった場合（第１のカメラの画像：顔検出ＮＧ）、分類部１５０は、当該人物が不審者らしい人物であると分類し、当該人物に対する通行を不可と判定する。
【００６７】
さらに、図４に示す「Ｎｏ．４」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出できず、かつ、第２の画像取得部１１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できなかった場合（第１のカメラの画像：顔検出ＮＧ、かつ、第２のカメラの画像：顔検出ＮＧ）、分類部１５０は、当該人物が全く顔が検出できなかった不審者らしい人物であると分類し、当該人物に対する通行が不可であると判定する。
【００６８】
この場合、履歴管理部１９０には、不審者らしいと判定された人物の履歴情報が記録される。この履歴管理部１９０に記録される履歴情報は、当該人物の顔が検出できていないため、判定結果および判定時刻などの情報となる。ただし、当該人物が検出された画像は存在するため、当該人物が検出された画像を履歴情報とともに記録するようにしても良い。なお、上記のように顔が全く検出できなかった人物は、後で顔を確認することができない（顔の記録が残らない）人物であるため、最も警戒すべき人物であると想定される。
【００６９】
また、図４に示す「Ｎｏ．３」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出できず、かつ、第２の画像取得部１１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できた場合（第１のカメラの画像：顔検出ＮＧ、かつ、第２のカメラの画像：顔検出ＯＫ）、分類部１５０は、当該人物が顔が検出できた不審者らしい人物であると分類し、当該人物の通行が不可であるとともに当該人物の顔画像を履歴管理部１９０に記録すると判定する。この場合、履歴管理部１９０には、不審者らしいと判定された人物の顔画像を含む履歴情報が記録される。このため、当該人物の顔は、履歴情報に含まれる顔画像で確認することが可能となる。
【００７０】
図４に示す「Ｎｏ．１」および「Ｎｏ．２」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出できた場合、つまり、第１の人物検出部１２１により検出された人物の顔が第２の顔検出部１３１で検出できた場合（第１のカメラの画像：顔検出ＯＫ）、分類部１５０は、当該人物が不審者らしくない人物であると分類し、当該人物に対する通行の可否を判定するための顔照合を実行すると判定する。
【００７１】
さらに、図４に示す「Ｎｏ．２」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出でき、かつ、第２の画像取得部１１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できなかった場合（第１のカメラの画像：顔検出ＯＫ、かつ、第２のカメラの画像：顔検出ＮＧ）、分類部１５０は、当該人物が不審者らしくない人物（一般的な歩行状態の人物）と分類し、当該人物に対する顔照合に用いる認証用の閾値を所定値とすると判定する。
【００７２】
図４に示す「Ｎｏ．１」によれば、第１の画像取得部１１１により取得した画像から検出された人物の顔が検出でき、かつ、第２の画像取得部１１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できた場合（第１のカメラの画像：顔検出ＯＫ、かつ、第２のカメラの画像：顔検出ＯＫ）、分類部１５０は、当該人物が第２カメラの位置を知っている不審者らしくない人物と分類し、当該人物に対する顔照合に用いる認証用の閾値を所定値よりも緩和（調整）すると判定する。
【００７３】
すなわち、図４に示す例では、第１のカメラで撮影した画像から顔が検出できたか否かにより不審者らしいか否かが判定されるようになっている。このような設定は、通行者に認識され易いように設置されている第１のカメラに対して顔を隠していない（カメラの方を見ている）人物は不審者である可能性が低い人物であるという推測に基づいている。従って、少なくとも登録者に対しては、第１のカメラに顔を向けるように予め知らされているという運用形態が想定される。
【００７４】
さらに、図４に示す例では、第１のカメラで撮影した画像から顔が検出できた人物に対する認証用の閾値は、第２のカメラで撮影した画像から顔が検出できたか否かにより調整されるようになっている。つまり、第１のカメラで撮影した画像と第２のカメラで撮影した画像とから顔が検出できた人物については、顔照合に用いる認証用の閾値を緩和することにより登録者との照合が成功し易くなる（通行が許可され易くなる）ようになっている。このような設定は、通行者に認識され難い状態で設置されている第２のカメラで顔が撮影された人物は、第２のカメラの存在を予め知っている登録者である可能性が高いという推測に基づいている。従って、登録者に対しては、第２のカメラの位置を予め知らせておくような運用形態が考えられる。
【００７５】
なお、上記のような設定（各人物の分類方法）は、システムの運用形態、第２のカメラの設置状況あるいは第２のカメラの秘匿性などに応じて適宜設定されるできものである。これは、第１、第２のカメラで撮影される通行者の状態が通行者のシステムの運用形態、第２のカメラの設置状況あるいは第２のカメラの秘匿性などによって異なると推測されるためである。たとえば、第２のカメラが一般的な歩行状態の通行者の顔を撮影し易い状態であるか否か、第２のカメラが通行者に発見され易いか否かなどによって、第２のカメラで顔が撮影された通行者の状態が異なると推測される。
【００７６】
次に、第１の実施の形態としての通行者認識装置１０の動作例について説明する。  
図５は、通行者認識装置１０の動作例を説明するためのフローチャートである。  
なお、ここでは、図４に示すような分類方法が予め設定されている場合を想定するものとする。
【００７７】
まず、第１の画像取得部１１１のカメラ（第１のカメラ）および第２の画像取得部１１２のカメラ（第２のカメラ）は、通路内の所定の領域を撮影しているものとする。第１のカメラで撮影された画像（各フレームの画像）は、順次第１の画像取得部１１１を介して第１の人物検出部１２１へ供給される。同様に、第２のカメラで撮影された画像（各フレームの画像）は、順次第２の画像取得部１１２を介して第２の人物検出部１２２へ供給される。これにより、第１の人物検出部１２１および第２の人物検出部１２２では、それぞれ供給された画像から人物を検出する処理を行っている（ステップＳ１０１およびＳ１０２）。
【００７８】
この状態において第１の人物検出部１２１が人物を検出した場合（ステップＳ１０１、ＹＥＳ）、第１の顔検出部１３１は、第１の人物検出部１２１により検出された人物の画像から顔の領域を検出する処理を行う（ステップＳ１０３）。同様に、第２の人物検出部１２２が人物を検出した場合（ステップＳ１０１でＮＯ、かつ、ステップＳ１０２でＹＥＳ）、第２の顔検出部１３２は、第２の人物検出部１２２により検出された人物の画像から顔の領域を検出する処理を行う（ステップＳ１０４）。上記第１の人物検出部１２１あるいは第２の人物検出部１２２で人物が検出されると、上記人物対応付け部１４０は、上記第１の人物検出部１２１で検出された人物と上記第２の人物検出部１２２で検出された人物との対応付けを行う（ステップＳ１０５）。
【００７９】
人物対応付け部１４０による対応付け処理は、第１のカメラで撮影された人物と第２のカメラで撮影された人物とを対応付ける処理である。このため、一方のカメラでのみ撮影されている人物の画像については、他方のカメラで撮影された画像と対応付けを行うことができない。ただし、運用形態によっては、一方のカメラで撮影された画像からのみ人物が検出された場合、他方のカメラで撮影された画像から当該人物が検出されなかったことを対応づけ処理の結果として得られるようにしても良い。
【００８０】
人物対応付け部１４０による対応付けの結果、第１の人物検出部１２１および第２の人物検出部１２２による人物の検出結果などに基づいて、分類部１５０では、当該人物（通行者）の分類を判定することが可能か否かを判定する（ステップＳ１０６）。ここで、図４に示す例では、第１のカメラおよび第２のカメラで撮影された人物であることを分類するための前提としている。このため、図４に示すような分類が設定される場合、分類部１５０は、第１のカメラで撮影された画像から検出された人物と第２のカメラで撮影された画像から検出された人物とが同一人物として対応付けられたか否かにより分類が可能か否かを判定する。ただし、一方のカメラで撮影された画像からのみ人物が検出された場合であっても、当該人物を分類可能な設定であれば、分類部１５０は、一方のカメラで撮影された画像から人物が検出されれば、当該人物の分類が可能であると判定する。
【００８１】
たとえば、第２のカメラは、通行者に認識され難いように設置されている。このため、第２のカメラで撮影された画像から確実に人物を検出することが難しい場合もありうる。さらに、図２あるいは図３に示す設置例では、第１のカメラが入口近傍に設置され、第２のカメラが第１のカメラよりも手前に設置されている。このような場合、第１のカメラで撮影された画像から検出された人物については、第２のカメラで撮影された画像から検出されなかった場合であっても、図４に示す「Ｎｏ２」あるいは「Ｎｏ３」と同様に、当該人物を分類するようにしても良い。この場合、人物対応付け部１４０では、第１のカメラで撮影された画像から検出された人物と対応付けられる人物が第２のカメラで撮影された画像から検出されなかった旨を対応付け処理の結果として分類部１５０へ供給するようにすれば良い。
【００８２】
上記判定により人物の分類が可能でないと判定された場合（ステップＳ１０６、ＮＯ）、上記分類部１５０による分類判定が可能な状態となるまで、上記ステップＳ１０１〜Ｓ１０６の処理が繰り返し実行される。
【００８３】
また、上記判定により人物の分類が可能であると判定された場合（ステップＳ１０６、ＹＥＳ）、分類部１５０では、人物対応付け部１４０で対応付け処理の結果が得られた人物に対する分類処理を行う。すなわち、分類部１５０は、まず、第１のカメラで撮影された画像（第１の人物検出部１２１で検出された人物の画像）から第１の顔検出部１３１により顔が検出されたか否かを判定する（ステップＳ１０７）。
【００８４】
上記第１のカメラで撮影された画像から顔が検出されなかった場合（ステップＳ１０７、ＮＯ）、上記分類部１５０は、さらに、第２のカメラで撮影された画像から当該人物（第１の人物検出部１２１で検出された人物に対応付けられた人物）の顔が第２の顔検出部１３２により検出されたか否かを判定する（ステップＳ１０８）。
【００８５】
これらの判定により第１のカメラおよび第２のカメラで撮影された画像（人物の画像）から顔が検出できなった場合（ステップＳ１０８、ＮＯ）、分類部１５０は、図４に示す分類に基づいて、当該人物が顔が検出できなかった不審者らしい人物であると分類する。このような分類に応じて、分類部１５０は、処理内容として、当該人物に対する顔照合を行わずに、当該人物に関する履歴情報を記録し、当該人物の通行を不可とするものと判断する。
【００８６】
この場合、履歴管理部１９０は、当該顔が検出できなかった不審者らしい人物に関する履歴情報として、当該人物が検出された日時、当該人物に対する判定結果、当該人物が検出された画像など記録する（ステップＳ１０９）。これと共に、通行制御部１８０は、自動ドア、電子錠、あるいは、ゲートなどを閉鎖することにより当該人物の通行を拒否する（ステップＳ１１０）。この際、通行制御部１８０は、表示部１１１ａあるいは図示しないスピーカにより「顔が確認できないため通行不可である」あるいは「顔を隠さないでください」などの警告を出力するようにしても良い。これにより、顔をカメラに向けることを促したり、不正行為を防止したりすることが可能となる。
【００８７】
また、上記判定により第１のカメラで撮影された画像から顔が検出されず、第２のカメラで撮影された画像（人物の画像）から顔が検出された場合（ステップＳ１０８、ＹＥＳ）、分類部１５０は、図４に示す分類に基づいて、当該人物が顔が検出できた不審者らしい人物であると分類する。このような分類に応じて、分類部１５０は、処理内容として、当該人物に対する顔照合を行わずに、当該人物に関する顔画像を含む履歴情報を記録し、当該人物の通行を不可とするものと判断する。
【００８８】
この場合、履歴管理部１９０は、当該顔が検出できた不審者らしい人物に関する履歴情報として、当該人物の顔画像、当該人物が検出された日時、当該人物に対する判定結果、当該人物が検出された画像など記録する（ステップＳ１１１）。これと共に、通行制御部１８０では、自動ドア、電子錠、あるいは、ゲートなどを閉鎖することにより当該人物の通行を拒否する（ステップＳ１１０）。この際、通行制御部１８０は、表示部１１１ａあるいは図示しないスピーカにより「（第１のカメラで）顔が確認できないため通行不可である」あるいは「顔を隠さないでください」などの警告を出力するようにしても良い。これにより、顔をカメラ（第１のカメラ）に向けることを促したり、不正行為を防止したりすることが可能となる。
【００８９】
上記第１のカメラで撮影された画像から顔が検出された場合（ステップＳ１０７、ＹＥＳ）、上記分類部１５０は、さらに、第２のカメラで撮影された画像から当該人物（人物検出部１２１で検出された人物に対応付けられた人物）の顔が検出されたか否かを判定する（ステップＳ１１２）。
【００９０】
これらの判定により第１のカメラで撮影された画像から顔が検出され、かつ、第２のカメラで撮影された画像（人物の画像）からも同一人物の顔が検出された場合（ステップＳ１１２、ＹＥＳ）、分類部１５０は、図４に示す分類に基づいて、当該人物が第２のカメラの存在を知っている通行者であると分類する。このような分類に応じて、分類部１５０は、処理内容として、当該人物に対する顔照合に用いられる認証用の閾値を所定値（所定の認証用の閾値）よりも緩和し（ステップＳ１１３）、この緩和した認証用の閾値による顔照合を行うものとする（ステップＳ１１４）。
【００９１】
この場合、顔照合部１７０は、分類部１５０により指定された所定値を緩和した認証用の閾値を用いて、上記顔検出部１３１あるいは顔検出部１３２により検出された顔の特徴情報と顔特徴管理部１６０に記憶されている各登録者の顔の特徴情報とを照合する顔照合処理を行う（ステップＳ１１４）。
【００９２】
また、上記判定により第１のカメラで撮影された画像から顔が検出され、かつ、第２のカメラで撮影された画像（人物の画像）からは同一人物の顔が検出されなかった場合（ステップＳ１１２、ＮＯ）、分類部１５０は、図４に示す分類に基づいて、当該人物が一般的な通行状態の通行者であると分類する。このような分類に応じて、分類部１５０は、処理内容として、当該人物に対する顔照合に用いられる認証用の閾値を所定の認証用の閾値とし、この所定の認証用の閾値による顔照合を行うものとする（ステップＳ１１４）。
【００９３】
この場合、顔照合部１７０は、分類部１５０により指定された所定の認証用の閾値を用いて、上記顔検出部１３１あるいは顔検出部１３２により検出された顔の特徴情報と顔特徴管理部１６０に記憶されている各登録者の顔の特徴情報とを照合する顔照合処理を行う（ステップＳ１１４）。
【００９４】
なお、図５に示す処理手順では、顔照合を行う場合、少なくとも第１のカメラで撮影された画像から通行者Ｍの顔が検出されている。また、上記第１のカメラは、通行者に認識され易いように設置されている。このため、第１のカメラでは、第２のカメラに比べて良好な顔画像を含む画像が撮影できる可能性が高いと推測される。このため、ここでは、第１のカメラで撮影された画像から検出された顔画像（顔の特徴情報）を用いて顔照合処理を行うものとする。
【００９５】
すなわち、顔照合部１７０は、上記顔検出部１３１により検出された顔の特徴情報と顔特徴管理部１６０に記憶されている各登録者の顔の特徴情報との類似度を算出する。各登録者との類似度を算出すると、顔照合部１７０は、算出した類似度のうち最大の類似度を選択し、選択した類似度が分類部１５０により判定された分類に応じた閾値（分類部１５０により調整された閾値）以上であるか否かを判定する。
【００９６】
ここで、図４に示す例では、第２のカメラで当該人物の顔が検出されている場合、分類部１５０は、所定の認証用の閾値を緩和した認証用の閾値を当該人物に対する顔照合に用いられる認証用の閾値とする。また、第２のカメラで当該人物の顔が検出されなった場合、分類部１５０は、所定の認証用の閾値を当該人物に対する顔照合に用いられる認証用の閾値とする。すなわち、分類部１５０は、第１のカメラで撮影された画像から顔が検出された人物については、第２のカメラで撮影された画像から顔が検出されたか否かにより顔照合に用いる認証用の閾値を調整するようになっている。
【００９７】
上記判定により最大類似度が認証用の閾値以上であると判定した場合、顔照合部１７０は、第１のカメラで顔が撮影された人物が最大類似度となった登録者であると判断する。つまり、最大類似度が認証用の閾値以上である場合、顔照合部１７０は、顔照合が成功したものと判断する。また、上記判定により最大類似度が認証用の閾値未満であると判定した場合、顔照合部１７０は、第１のカメラで顔が撮影された人物がどの登録者でもないと判断する。つまり、最大類似度が認証用の閾値未満である場合、顔照合部１７０は、顔照合が失敗したものと判断する。
【００９８】
上記ステップＳ１１４の顔照合が成功した場合（ステップＳ１１５、ＹＥＳ）、通行制御部１８０では、自動ドア、電子錠、あるいは、ゲートなどを開放することにより当該人物の通行を許可する（ステップＳ１１６）。この際、通行制御部１８０は、表示部１１１ａあるいは図示しないスピーカにより通行を許可する旨の案内を出力するようにしても良い。
【００９９】
また、上記ステップＳ１１４の顔照合が失敗した場合（ステップＳ１１５、ＮＯ）、通行制御部１８０では、自動ドア、電子錠、あるいは、ゲートなどを閉鎖することにより当該人物の通行を拒否する（ステップＳ１１０）。この際、通行制御部１８０は、表示部１１１ａあるいは図示しないスピーカにより「登録者であることが確認できないため通行不可」である旨の案内を出力するようにしても良い。
【０１００】
上記のように、第１の実施の形態としての通行者認識装置では、通行者に認識され易いように設置したカメラで撮影した画像からの顔の検出結果と通行者に認識され難いように設置したカメラで撮影した画像からの顔の検出結果とに基づいて、通行者を分類し、それらの分類に応じた処理を行うようにしたものである。これにより、各カメラで撮影された人物の状態から推測される通行者の行動に応じた通行制御処理が可能となる。
【０１０１】
なお、上記第１の実施の形態では、上記２種類の画像取得部１１１，１１２を１台ずつ設置することを前提に説明した。しかしながら、画像取得部（カメラ）は、通路の形状あるいは運用形態に応じて設置台数を増やすようにしても良い。この場合、人物対応付け部１４０では、設置された画像取得部（カメラ）の数に応じて対応付け処理を増やすことで対応することが可能である。
【０１０２】
次に、第２の実施の形態について説明する。  
図６は、第２の実施の形態に係るアクセス制御装置としての人物（通行者）認識装置２０の構成例を概略的に示すものである。
【０１０３】
図６に示す通行者認識装置２０は、上記第１の実施の形態で説明した通行者認識装置１０と同様に、顔照合機能を有するアクセス制御装置として機能するものである。また、図６に示す通行者認識装置２０の運用形態についても、上記第１の実施の形態で説明した通行者認識装置１０と同様な適用例が想定される。
【０１０４】
上記通行者認識装置２０は、図６に示すように、第１の画像取得部２１１、第２の画像取得部２１２、第１の人物検出部２２１、第２の人物検出部２２２、第１の顔検出部２３１、第２の顔検出部２３２、人物対応付け部２４０、分類部２５０、なりすまし判定部２５５、顔特徴管理部２６０、顔照合部２７０、通行制御部２８０および履歴管理部２９０などを有している。
【０１０５】
なお、第１の画像取得部２１１、表示部２１１ａ、第２の画像取得部２１２、アクリル板２１２ａ、第１の人物検出部２２１、第２の人物検出部２２２、第１の顔検出部２３１、第２の顔検出部２３２、人物対応付け部２４０、分類部２５０、顔特徴管理部２６０、通行制御部２８０および履歴管理部２９０は、第１の実施の形態で説明した、第１の画像取得部１１１、表示部１１１ａ、第２の画像取得部１１２、アクリル板１１２ａ、第１の人物検出部１２１、第２の人物検出部１２２、第１の顔検出部１３１、第２の顔検出部１３２、人物対応付け部１４０、分類部１５０、顔特徴管理部１６０、通行制御部１８０および履歴管理部１９０と同様な機能を有しているため、詳細な説明を省略するものとする。
【０１０６】
第１の画像取得部２１１は、第１の画像取得部１１１と同様に、通行者Ｍにカメラが認識され易いように設置されている。第２の画像取得部２１２は、第２の画像取得部１１２と同様に、通行者Ｍにカメラが認識され難いように設置されている。また、第１の画像取得部２１１および第２の画像取得部２１２の設置例についても、第１の画像取得部１１１および第２の画像取得部１１２と同様な設置例が想定可能である。
【０１０７】
次に、上記なりすまし判定部２５５について説明する。
【０１０８】
なりすまし判定部２５５は、通行者がなりすましを行っているか否かを判定（なりすましの有無を判定）する。すなわち、なりすまし判定部２５５では、上記人物対応付け部２４０で対応付けられた通行者がなりすましを行っているか否かを判定する。なりまし判定部２５５によるなりすまし判定処理には、種々の適用手法が可能である。ただし、本実施の形態において、なりすまし判定部２５５は、第１のカメラで撮影された顔画像と第２のカメラで撮影された同一人物の顔画像との変化によってなりすましを判定するものとする。このため、本実施の形態において、なりすまし判定部２５５は、第１のカメラおよび第２のカメラで共に顔が撮影された人物を対象として、なりすましの判定を行うものとする。
【０１０９】
顔照合部２７０は、上記第１の実施の形態で説明した顔照合部１７０と同様に、第１の画像取得部２１１（あるいは第２の画像取得部２１２）により取得した画像から検出された顔の特徴情報と顔特徴管理部２６０に記憶されている登録者の顔の特徴情報との照合を行う機能を有している。さらに、顔照合部２７０は、第１の画像取得部２１１で取得した画像から第１の顔検出部２３１により検出された顔の特徴情報（以下、第１の特徴情報とも称する）と第２の画像取得部２１２で取得した画像から第２の顔検出部２３２により検出された顔の特徴情報（以下、第２の特徴情報とも称する）との類似度を算出する機能を有している。なお、上記顔照合部２７０による第１の特徴情報と第２の特徴情報との類似度の算出手法は、上記第１の実施の形態で説明した手法が適用される。
【０１１０】
次に、なりすまし判定部２５５によるなりすまし判定処理について説明する。
【０１１１】
たとえば、なりすまし判定部２５５は、第１の特徴情報と第２の特徴情報との類似度と所定のなりすまし判定用の閾値とを比較することにより、なりすましの有無を判定する。たとえば、なりすまし判定部２５５は、第１の特徴情報と第２の特徴情報との類似度が所定のなりすまし判定用の閾値未満であれば、なりすまし有りと判定するものとする。これは、第２のカメラに気がついていない人物が、第１のカメラには他人になりました状態で撮影される場合を想定している。このような場合、第２のカメラで撮影された顔と第１のカメラで撮影された顔とが著しく異なる（たとえば、同一人物とは判定できない程度に第１の特徴情報と第２の特徴情報との類似度が低くなる）と推測される。このため、なりすまし判定部２５５は、第１の特徴情報と第２の特徴情報との類似度が所定閾値（Ｔａ）未満であるか否かにより、なりすましか否かを判定するようになっている。
【０１１２】
この場合、なりすまし判定部２５５は、顔照合部２７０により第１の特徴情報と第２の特徴情報との類似度を算出させる。これにより、なりすまし判定部２５５は、顔照合部２７０により算出された第１の特徴情報と第２の特徴情報との類似度が所定の閾値（Ｔａ）未満であるか否かにより、なりすましの有無を判定する。
【０１１３】
なお、本実施の形態では、第１、第２のカメラが歩行中の通行者の顔を撮影し、かつ、第２のカメラは通行者に意識されてないことが想定している。このため、当該通行者の姿勢あるいは表情の変化などにより、同一人物（なりすまし無しの通行者）であっても、第１の特徴情報と第２の特徴情報とは大きく変動する可能性がある。従って、上記閾値Ｔａは、当該通行者認識装置２０の運用形態に応じて同一人物がなりすましと判定されないように設定する必要がある。たとえば、上記閾値Ｔａとしては、第１の画像取得部２１１で取得された画像から検出された顔の特徴情報と登録者の顔の特徴情報とが同一人物であるか否かを判定するための所定閾値（緩和された閾値）よりも小さい値が設定される。
【０１１４】
また、不審者が第２のカメラに気がついている場合などでは、第２のカメラにも第１のカメラと同様になりすました状態の人物の顔が撮影される可能性がある。このような場合、両者の類似度が極端に高くなる（略同一となる）ことが推測される。これに対して、本実施の形態では、第１、第２のカメラが歩行中の通行者の顔を撮影することを想定しているため、当該通行者の姿勢あるいは表情の変化などにより、第１の特徴情報と第２の特徴情報とが略同一になる（両者の類似度が極端に高くなる）可能性が少ないという状況も考えられる。このような状況を想定すると、第１の特徴情報と第２の特徴情報との類似度が極端に高い（たとえば、類似度が所定閾値Ｔｂ以上）人物を、なりましと判定するようにしても良い。この場合、なりすまし判定部２５５は、上述した条件と組み合わせて閾値Ｔａ以上かつ閾値Ｔｂ未満であるか否かにより、なりすましが無しか有りかを判定するようにしても良い。
【０１１５】
次に、分類部１５０およびなりすまし判定部２５５による各人物の分類方法について説明する。
【０１１６】
図７は、各人物の分類基準と各分類の人物に対する処理内容の例を示す図である。
【０１１７】
図７に示す分類例は、図４に示す分類例になりすましの有無に応じた分類を加えたものである。従って、図７に示す分類例は、第１の画像取得部１１１で取得した画像および第２の画像取得部１１２で取得した画像から共に顔が検出され、かつ、なりすまし有りと判定された場合以外は、図４に示す分類例と同様である。
【０１１８】
すなわち、なりすまし有りと判定された場合、なりすまし判定部２５５は、上記顔照合部２７０による顔特徴管理部２６０に記憶されている登録者の顔の特徴情報との照合を行わずに、上記通行制御部２８０により当該人物の通行を拒否するとともに、履歴管理部２９０によりなりすましと判定された画像（第１、第２のカメラで撮影された画像）を記録するように制御する。この場合、さらに、なりすまし判定部２５５は、図示しないスピーカにより警報を発したり、図示しない通信インターフェースにより外部へ警告と通知するようにしても良い。
【０１１９】
次に、第２の実施の形態としての通行者認識装置２０の動作例について説明する。  
図８は、通行者認識装置２０の動作例を説明するためのフローチャートである。図８に示す動作では、図７に示すような分類方法が予め設定されている場合を想定している。
【０１２０】
なお、図８に示すフローチャートのステップＳ２０１〜Ｓ２１６は、図５に示すフローチャートのステップＳ１０１〜Ｓ１１６と同様な処理で実現可能である。つまり、図８に示す動作例は、図５に示す動作例に、なりすまし判定処理（ステップＳ２２１）を加えた処理である。従って、図５に示すステップと同様な処理については、詳細な説明を省略するものとする。
【０１２１】
ずなわち、第１のカメラで撮影した画像から顔が検出され、かつ、第２のカメラで撮影した画像からも同一人物と判定された人物の顔が検出された場合（Ｓ２０７でＹＥＳかつＳ２１２でＹＥＳ）、なりすまし判定部２５５は、第１のカメラで撮影された画像と第２のカメラで撮影された画像とに基づいて、なりすまし判定処理を行う（ステップＳ２２１）。このなりすまし判定処理では、上述したように、第１のカメラで撮影された画像から検出された顔の特徴情報（第１の特徴情報）と第２のカメラで撮影された画像から検出された顔の特徴情報（第２の特徴情報）との類似度がなりすまし判定用の所定の閾値Ｔａ未満であるか否かによりなりすましか否かを判定する。
【０１２２】
たとえば、第１の特徴情報と第２の特徴情報との類似度が閾値Ｔａ以上であった場合、なりすまし判定部２５５は、なりすまし無しと判定する。これに対して、第１の特徴情報と第２の特徴情報との類似度が閾値Ｔａ未満であった場合、なりすまし判定部２５５は、なりすまし有りと判定する。
【０１２３】
上記判定によりなりすまし無しと判定された場合（ステップＳ２２１、ＮＯ）、上記顔照合部２７０は、上記ステップＳ１１３及びＳ１１４と同様に、認証用の所定の閾値を緩和した閾値により第１の特徴情報と登録者の顔の特徴情報との照合処理（顔照合処理）を行う（ステップＳ２１３及びＳ２１４）。この場合、通行制御部２８０は、顔照合部２７０による顔照合処理の結果に応じて当該人物に対する通行制御を行う（ステップＳ２１０、Ｓ２１５及びＳ２１６）。
【０１２４】
また、上記判定によりなりすまし有りと判定された場合（ステップＳ２２１、ＹＥＳ）、上記履歴管理部２９０は、なりすましと判定された画像（第１及び第２の画像取得部で取得した各画像）を含む履歴情報を記録する（ステップＳ２１１）。この場合、通行制御部２８０は、当該人物に対する通行を拒否する（ステップＳ２１０）。
【０１２５】
上記のように、第２の実施の形態としての通行者認識装置２０では、通行者に認識され易いように設置したカメラで撮影した画像からの顔の検出結果と、通行者に認識され難いように設置したカメラで撮影した画像からの顔の検出結果とに基づいて、通行者を分類する。これと共に、通行者認識装置２０では、通行者に認識され易いように設置したカメラで撮影した画像から検出された顔の特徴情報と、通行者に認識され難いように設置したカメラで撮影した画像から検出された顔の特徴情報とを比較することにより、通行者がなりすましを行っているか否かを判定する。これにより、なりすましを排除しつつ、各カメラで撮影された人物の状態から推測される通行者の行動に応じた通行制御処理が可能となる。
【０１２６】
なお、上記第２の実施の形態で説明した通行者認識装置２０は、画像取得部（カメラ）の設置台数を通路の形状あるいは運用形態に応じて増やすようにしても良い。この場合も、なりすまし判定部２５５では、各画像取得部で取得された画像から検出される顔の特徴情報を比較することにより、通行者がなりすましを行っているか否かを判定することが可能である。
【０１２７】
次に、第３の実施の形態について説明する。  
図９は、第３の実施の形態に係る人物監視装置としての人物（通行者）認識装置３０の構成例を概略的に示すものである。
【０１２８】
図９に示す通行者認識装置３０は、上記第１の実施の形態で説明した通行者認識装置１０と同様に、顔照合機能を有する。本第３の実施の形態では、通行者認識装置３０は、通行者を監視する監視装置として機能するものを想定する。たとえば、図９に示す通行者認識装置３０は、通行者の顔を認識し、その認識結果を外部装置などへ通知する監視装置に適用される。但し、通行者認識装置３０は、第１、第２の実施の形態で説明したような運用形態のアクセス制御装置に適用することも可能である。
【０１２９】
上記通行者認識装置３０は、図９に示すように、第１の画像取得部３１１、第２の画像取得部３１２、第１の人物検出部３２１、第２の人物検出部３２２、第１の顔検出部３３１、第２の顔検出部３３２、人物対応付け部３４０、分類部３５０、顔特徴管理部３６０、不審者リスト３６１、重要人物（ＶＩＰ）リスト３６２、顔検索部３７０、出力部３８０および履歴管理部３９０などを有している。
【０１３０】
なお、第１の画像取得部３１１、表示部３１１ａ、第２の画像取得部３１２、アクリル板３１２ａ、第１の人物検出部３２１、第２の人物検出部３２２、第１の顔検出部３３１、第２の顔検出部３３２、人物対応付け部３４０および履歴管理部３９０は、第１の実施の形態で説明した第１の画像取得部１１１、表示部１１１ａ、第２の画像取得部１１２、アクリル板１１２ａ、第１の人物検出部１２１、第２の人物検出部１２２、第１の顔検出部１３１、第２の顔検出部１３２、人物対応付け部１４０および履歴管理部１９０と同様な機能を有しているため、詳細な説明を省略するものとする。
【０１３１】
第１の画像取得部３１１は、第１の画像取得部１１１と同様に、通行者Ｍにカメラが認識され易いように設置されている。第２の画像取得部３１２は、第２の画像取得部１１２と同様に、通行者Ｍにカメラが認識され難いように設置されている。第１の画像取得部３１１および第２の画像取得部３１２は、第１の画像取得部１１１および第２の画像取得部１１２と同様な設置例が想定可能である。但し、第１の画像取得部３１１および第２の画像取得部３１２は、たとえば、入口に接近する人物を撮影するだけではなく、入口付近を通行する通行者の顔を撮影するように設置される形態も可能である。なお、第１の画像取得部３１１および第２の画像取得部３１２の設置例については、後で詳細に説明する。
【０１３２】
分類部３５０は、上記第１の実施の形態で説明した分類部１５０と同様に、人物対応付け部３４０で対応付けられた人物の状態（行動パターン）に基づいて各人物を分類する。分類部３５０は、たとえば、顔検出部３３１による顔の検出結果と顔検出部３３２による顔の検出結果とに基づいて各人物を幾つかのパターンに分類する。なお、第３の実施の形態としての分類例について後で詳細に説明するものとする。
【０１３３】
顔特徴管理部３６０は、検索対象となる各人物の顔の特徴情報を含む登録者情報が記憶されている。さらに、顔特徴管理部３６０は、不審者リスト３６１およびＶＩＰリスト３６２を有している。不審者リスト３６１は、不審者として登録されている人物の顔の特徴情報が記憶されている。ＶＩＰリスト３６２は、重要人物（ＶＩＰ）として登録されている人物の顔の特徴情報が記憶されている。ただし、顔特徴管理部３６０には、不審者およびＶＩＰをリストで分けずに、各人物（顔の特徴情報）に対する属性情報として不審者およびＶＩＰを区別するようにしても良い。
【０１３４】
顔検索部３７０は、通行者の顔の特徴情報との類似度が最大、かつ、検索用の閾値以上となる顔の特徴情報を顔特徴管理部３６０から検索する。ここで、顔検索部３７０は、通行者の顔の特徴情報との類似度が最大となる類似度が検索用の閾値以上であるか否かにより、通行者と最も類似する１人の人物を検索するものとする。ただし、顔検索部３７０は、類似度が検索用の閾値以上となる全ての人物を検索結果として得るようにしても良い。
【０１３５】
すなわち、顔検索部３７０は、第１の顔検出部３３１あるいは第２の顔検出部３３２により検出された顔の特徴情報と顔特徴管理部３６０に記憶されている各顔の特徴情報との類似度を算出する。顔検索部３７０は、算出した類似度のうち最大類似度が検索用の閾値以上であるか否かを判定する。最大類似度が検索用の閾値以上であると判定した場合、顔検索部３７０は、通行者が最大類似度となった人物であると判定する（つまり、最大類似度となった人物を検索結果とする）。
【０１３６】
ここで、上記顔検索部３７０による検索処理に用いられる検索用の閾値は、分類部３５０による分類結果に応じて調整される値である。また、ＶＩＰリスト３６２に対する検索用の閾値（ＶＩＰリスト３６２に記憶されている顔の特徴情報との類似度に対する検索用の閾値）、あるいは、不審者リスト３６１に対する検索用の閾値（不審者リスト３６１に記憶されている顔の特徴情報との類似度に対する検索用の閾値）は、選択的に調整可能である。たとえば、ＶＩＰリスト３６２に対する検索用の閾値が緩和されると、通行者と一致すると判定される人物がＶＩＰリスト３６２から検索され易くなる。不審者リスト３６１に対する検索用の閾値が緩和されると、通行者と一致すると判定される人物が不審者リスト３６１から検索され易くなる。
【０１３７】
出力部３８０は、上記顔検索部３７０による検索結果、あるいは、上記分類部３５０による分類結果などに応じた情報を監視装置などの外部装置へ出力する通信インターフェースとして機能する。この場合、出力部３８０は、顔検索部３７０による検索結果あるいは分類部３５０による分類結果を示す情報として、第１、第２のカメラで撮影した映像などの画像情報あるいは警報などの音声情報を監視装置へ出力する。これにより、監視装置により監視を行っている管理者は、上記検索結果および分類結果などをリアルタイムで確認することが可能となる。
【０１３８】
また、出力部３８０は、表示部３１１ａに検索結果あるいは警告を表示したり、図示しないスピーカにより警報を発するようにしても良い。これにより、通行者自身が、上記検索結果および分類結果などをリアルタイムで認識することが可能となる。
【０１３９】
次に、第３の実施の形態としての第１の画像取得部３１１および第２の画像取得部３１２の設置例について説明する。
【０１４０】
図１０および図１１は、第１の画像取得部３１１と第２の画像取得部３１２の設置例を示す図である。
【０１４１】
図１０では、途中にゲートＧ３が設けられている直線状の通路Ｐ３と、通路Ｐ３における第１の画像取得部３１１および第２の画像取得部３１２の設置例を示している。図１０に示す例では、図１０中に点線の矢印で示すａ方向に対して、第１の画像取得部３１１のカメラ（第１のカメラ）はゲートＧ３の手前に設けられ、第２の画像取得部３１２のカメラ（第２のカメラ）はゲートＧ３を過ぎた場所に設けられている。
【０１４２】
すなわち、図１０に示す例では、第１のカメラは、ゲートＧ３に接近してくる通行者の顔を撮影するように設置される。また、第１のカメラの近傍には、通行者に対する案内などを表示する表示部３１１ａが設置されている。これにより、ゲートＧ３に接近する通行者は、第１のカメラを意識したり、表示部３１１ａに表示されている案内を目視したりする。つまり、第１のカメラは、当該第１のカメラを意識しつつゲートＧ３に接近してくる通行者の顔が撮影され易いようになっている。
【０１４３】
第２のカメラは、ゲートＧ３を通過した通行者の顔を撮影するように設置されている。また、第２のカメラは、アクリル板３１２ａにより隠されている。これにより、ゲートＧ３を通過した通行者は、第２のカメラを意識することなく通路Ｐ３を通行する。つまり、第２のカメラには、当該第２のカメラを意識していない通行者が撮影されるようになっている。
【０１４４】
図１１では、途中にゲートＧ４が設けられている直線状の通路Ｐ４と、通路Ｐ４における第１の画像取得部３１１および第２の画像取得部３１２の設置例を示している。
【０１４５】
図１１に示す例では、第１の画像取得部３１１のカメラ（第１のカメラ）は、図１１に示すａ方向に対してゲートＧ４の手前に設けられ、第２の画像取得部３１２のカメラ（第２のカメラ）は、図１１に示すａ方向とは逆のｂ方向に対して、ゲートＧ４の手前に設けられている。
【０１４６】
すなわち、第１のカメラは、ゲートＧ４にａ方向から接近してくる通行者の顔を撮影するように設置される。また、第１のカメラの近傍には、通行者に対する案内などを表示する表示部３１１ａが設置されている。これにより、ゲートＧ４にａ方向から接近する通行者は、第１のカメラを意識したり、表示部３１１ａに表示されている案内を目視したりする。つまり、第１のカメラは、ゲートＧ４に向かって、当該第１のカメラを意識しつつａ方向から接近する通行者が撮影され易いようになっている。
【０１４７】
また、第２のカメラは、ゲートＧ４にａ方向とは逆のｂ方向から接近してくる通行者の顔を撮影するように設置される。また、第２のカメラは、アクリル板３１２ａにより隠されている。これにより、ゲートＧ４にｂ方向から接近してくる通行者は、第２のカメラを意識することなく通路Ｐ４を通行する。つまり、第２のカメラには、ａ方向とは逆方向からゲートＧ４に接近してくる、当該第２のカメラを意識していない通行者が撮影されるようになっている。
【０１４８】
上述した設置例のように、第３の実施の形態としての通行者認識装置３０では、運用形態などに応じて様々な設置方法で第１のカメラと第２のカメラとを設置可能である。すなわち、通行者認識装置３０は、通行者を監視することを想定しているため、通行者を撮影できる位置であれば、第１および第２のカメラは、様々な場所に設置可能である。
【０１４９】
次に、分類部３５０による各人物の分類方法について説明する。  
分類部３５０では、第１の実施の形態と同様に、たとえば、第１の顔検出部３３１および第２の顔検出部３３２による顔の検出結果に基づいて各人物を分類する。各人物をどのように分類し、それらの分類結果に応じてどのような処理を行うかは、当該通行者認識装置の設置状況、システム全体の運用形態、あるいは、セキュリティポリシーなどに応じて適宜設定されるものである。すなわち、分類部３５０は、予め設定される分類基準に従って各人物を分類する。
【０１５０】
図１２は、第３の実施の形態としての分類部３５０による各人物に対する分類基準の例を示す図である。  
ここでは、第１の画像取得部３１１のカメラ（以下、第１カメラとも称する）が通行者に認識され易いように設置され、第２の画像取得部３１２のカメラ（以下、第２カメラとも称する）が通行者に認識され難いように設置されているものとする。
【０１５１】
図１２に示す「Ｎｏ．３」および「Ｎｏ．４」によれば、第１の画像取得部３１１により取得した画像から人物の顔が検出できなかった場合、つまり、人物検出部３２１により検出された人物の顔が顔検出部３３１で検出できなかった場合（第１のカメラの画像：顔検出ＮＧ）、分類部３５０は、当該人物が不審者らしい人物であると分類する。このような分類は、意図的に第１のカメラに顔が撮影されないようにしている人物は不審者らしい人物であるという推測に基づいている。
【０１５２】
また、図１２に示す「Ｎｏ．４」によれば、第１の画像取得部３１１により取得した画像から検出された人物の顔が検出できず、かつ、第２の画像取得部３１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できなかった場合（第１のカメラの画像：顔検出ＮＧ、かつ、第２のカメラの画像：顔検出ＮＧ）、分類部３５０は、当該人物が全く顔が検出できなかった不審者らしい人物であると分類する。
【０１５３】
この場合、分類部３５０は、出力部３８０により監視装置へ警報を出力させるとともに、履歴管理部３９０に不審者らしいと判定された人物の画像を含む履歴情報が記録させる。履歴管理部３９０に記録される履歴情報は、たとえば、判定結果、判定時刻および当該人物が検出された画像などである。なお、上記のように顔が全く検出できなかった人物については、後で顔画像を取得できれば、その顔画像から得られる顔の特徴情報とともに不審者リストに登録することも可能である。
【０１５４】
また、図１２に示す「Ｎｏ．３」によれば、第１の画像取得部３１１により取得した画像から人物の顔が検出できず、かつ、第２の画像取得部３１２により取得した画像から当該人物に対応付けられる人物の顔が検出できた場合（第１のカメラの画像：顔検出ＮＧ、かつ、第２のカメラの画像：顔検出ＯＫ）、分類部３５０は、当該人物が顔が検出できた不審者らしい人物であると分類する。
【０１５５】
この場合、第２の画像取得部３１２により取得した画像から検出できた顔画像から得られる顔の特徴情報による顔検索が可能である。このため、図１２に示す例では、処理内容として、不審者リスト３６１を重点的に顔検索し、その検索結果を出力するものと設定されている。すなわち、図１２に示す「Ｎｏ．３」の場合、分類部３５０は、不審者リスト３６１を重点的に顔検索するために、不審者リスト３６１に対する検索用の閾値を所定の検索用の閾値よりも小さくする（閾値を緩和する）。これにより、顔検索部３７０による顔検索処理では、検索結果として、不審者リスト３６１に記憶されている不審者が抽出され易くなる。なお、図１２に示す「Ｎｏ．３」の場合、分類部３５０は、ＶＩＰリスト３６２に対する検索用の閾値を所定の検索用の閾値よりも大きく（閾値を厳しく）するようにしても良い。この場合、検索結果としては、ＶＩＰリスト３６２に記憶されているＶＩＰが抽出され難くなる。
【０１５６】
また、不審者リスト３６１を重点的に顔検索する方法としては、不審者リスト３６１に記憶されている顔の特徴情報のみを検索対象として検索するようにしても良い。さらに、この場合も、分類部３５０は、不審者リスト３６１に対する検索用の閾値を所定の検索用の閾値よりも小さくする（閾値を緩和する）ようにしても良い。
【０１５７】
また、図１２に示す「Ｎｏ．１」および「Ｎｏ．２」によれば、第１の画像取得部３１１により取得した画像から検出された人物の顔が検出できた場合、つまり、人物検出部３２１により検出された人物の顔が顔検出部３３１で検出できた場合（第１のカメラの画像：顔検出ＯＫ）、分類部３５０は、当該人物が重量人物あるいは一般の通行者らしい人物であると分類する。
【０１５８】
また、図１２に示す「Ｎｏ．２」によれば、第１の画像取得部３１１により取得した画像から検出された人物の顔が検出でき、かつ、第２の画像取得部３１２により取得した画像から検出された当該人物に対応付けられる人物の顔が検出できなかった場合（第１のカメラの画像：顔検出ＯＫ、かつ、第２のカメラの画像：顔検出ＮＧ）、分類部３５０は、当該人物が一般の通行者らしい人物と分類する。この分類は、顔を隠す意図がない一般の通行者は、第２のカメラの設置位置を知らされていなければ、第１のカメラでは顔が撮影されるが、第２のカメラでは顔が撮影され難い（あるいは顔が撮影されることが不確定である）という推測に基づいている。
【０１５９】
この場合、第１の画像取得部３１１により取得した画像から検出できた顔画像から得られる顔の特徴情報による顔検索が可能である。このため、図１２に示す例では、処理内容として、各リスト（不審者リスト３６１およびＶＩＰリスト３６２）を顔検索し、その検索結果を出力するものと設定されている。すなわち、図１２に示す「Ｎｏ．２」の場合、分類部３５０は、各リストに記憶されている各顔の特徴情報を検索対象として、第１の画像取得部３１１により取得した画像から得られた顔の特徴情報との類似度が所定の検索用の閾値以上となるものを顔検索部３７０に検索させる。
【０１６０】
図１２に示す「Ｎｏ．１」によれば、第１の画像取得部３１１により取得した画像から検出された人物の顔が検出でき、かつ、第２の画像取得部３１２により取得した画像からも当該人物の顔が検出できた場合（第１のカメラの画像：顔検出ＯＫ、かつ、第２のカメラの画像：顔検出ＯＫ）、分類部３５０は、当該人物が第２カメラの位置を知っている重要人物（ＶＩＰ）らしい人物と分類する。
【０１６１】
なお、ここで、重要人物には、予め第２のカメラの位置が知らされていること想定するものとする。すなわち、上記分類は、顔を隠す意図がなく、かつ、第２のカメラの設置位置を知らされている重要人物は、第１のカメラおよび第２のカメラで顔が撮影される可能性が高いという推測に基づいている。
【０１６２】
この場合、図１２に示す例では、処理内容として、ＶＩＰリスト３６２を重点的に顔検索し、その検索結果を出力するものと設定されている。すなわち、図１２に示す「Ｎｏ．１」の場合、分類部３５０は、ＶＩＰリスト３６２を重点的に顔検索するために、ＶＩＰリスト３６２に対する検索用の閾値を所定の検索用の閾値よりも小さくする（閾値を緩和する）。これにより、顔検索部３７０による顔検索処理では、検索結果として、ＶＩＰリスト３６２に記憶されている重要人物が抽出され易くなる。
【０１６３】
なお、図１２に示す「Ｎｏ．１」の場合、分類部３５０は、不審者リスト３６１に対する検索用の閾値を所定の検索用の閾値よりも大きく（閾値を厳しく）するようにしても良い。この場合、顔検索の結果としては、不審者リスト３６１に記憶されている不審者が抽出され難くなる。
【０１６４】
また、ＶＩＰリスト３６２を重点的に顔検索する方法としては、ＶＩＰリスト３６２に記憶されている顔の特徴情報のみを検索対象として検索するようにしても良い。さらに、この場合も、分類部３５０は、ＶＩＰリスト３６２に対する顔検索に用いられる検索用の閾値を所定の検索用の閾値よりも小さくする（閾値を緩和する）ようにしても良い。
【０１６５】
上記のように、図１２に示す例では、第１のカメラあるいは第２のカメラで撮影した画像から検出された顔の特徴情報に対する顔検索処理は、第１のカメラで撮影された画像からの顔の検出結果と第２のカメラで撮影された画像からの顔の検出結果に基づいて、重点的に検索（たとえば、検索用の閾値を緩和して検索）するリストが選択されるようになっている。つまり、図１２に示す例では、第１のカメラで撮影された画像からの顔の検出結果と第２のカメラで撮影された画像からの顔の検出結果に基づいて、各リストに対する検索用の閾値を調整するように設定されている。これにより、通行者の状態（第１、第２のカメラに対する顔の向け方）に応じた効率的な顔検索処理および人物監視処理が実現できる。
【０１６６】
なお、上記のような設定（各人物の分類方法）は、システムの運用形態、第２のカメラの設置状況あるいは第２のカメラの秘匿性などに応じて適宜設定されるできものである。これは、第１、第２のカメラで撮影される通行者の状態が通行者のシステムの運用形態、第２のカメラの設置状況あるいは第２のカメラの秘匿性などによって異なると推測されるためである。たとえば、第２のカメラが一般的な歩行状態の通行者の顔を撮影し易い状態であるか否か、あるいは、第２のカメラが通行者に発見され易いか否かなどによって、第２のカメラで顔が撮影される通行者に対する分類が異なると推測される。
【０１６７】
次に、第３の実施の形態としての通行者認識装置３０の動作例について説明する。  
図１３は、通行者認識装置３０の動作例を説明するためのフローチャートである。図１３に示す動作では、図１２に示すような分類および処理内容が予め設定されている場合を想定するものとする。なお、図１３に示すフローチャートのステップＳ３０１〜Ｓ３０８及びＳ３１２は、図５に示すフローチャートのステップＳ１０１〜Ｓ１０８及びＳ１１２と同様な処理で実現可能であるため、詳細な説明を省略する。
【０１６８】
すなわち、第１のカメラおよび第２のカメラで撮影された画像（人物の画像）から顔が検出できなった場合（ステップＳ３０７でＮＯ、かつ、ステップＳ３０８でＮＯ）、分類部３５０は、図１２に示す分類に基づいて、当該人物が顔が検出できなかった不審者らしい人物であると分類する。このような分類に応じて、分類部３５０は、処理内容が、当該人物に関する履歴情報を記録し、顔が検出できない不審者らしい人物が検出された旨の警報を監視装置へ出力するものと判断する。
【０１６９】
この場合、履歴管理部３９０は、当該顔が検出できなかった不審者らしい人物に関する履歴情報として、当該人物が検出された日時、当該人物に対する判定結果、当該人物が検出された画像など記録する（ステップＳ３０９）。これと共に、出力部３８０は、顔が検出できない不審者らしい人物が検出された旨を警報として監視装置へ出力する（ステップＳ３１０）。この際、出力部３８０は、表示部３１１ａあるいは図示しないスピーカにより「顔が確認できない」あるいは「顔を隠さないでください」などの警告を出力するようにしても良い。
【０１７０】
また、上記第１のカメラで撮影された画像から顔が検出されず、第２のカメラで撮影された画像（人物の画像）から顔が検出された場合（ステップＳ３０７でＮＯ、かつ、ステップＳ３０８でＹＥＳ）、分類部３５０は、図１２に示す分類に基づいて、当該人物が顔が検出できた不審者らしい人物であると分類する。このような分類に応じて、分類部３５０は、処理内容が、不審者リスト３６１を重点的に顔検索し、その検索結果を出力するものと判断する。ここで、分類部３５０は、不審者リスト３６１を重点的に顔検索するために、不審者リスト３６１に対する検索用の閾値を緩和する（ステップＳ３１１）。なお、この場合、分類部３５０は、ＶＩＰリスト３６２に対する検索用の閾値を厳しくするようにしても良い。また、分類部３５０は、不審者リスト３６１のみを検索対象とするようにしても良い。
【０１７１】
この場合、顔検索部３７０は、顔検索処理として、第２の画像取得部３１２により取得した画像から検出された顔の特徴情報と不審者リスト３６１に記憶されている顔の特徴情報との類似度し、各類似度と緩和された検索用の閾値と比較する（ステップＳ３１４）。これにより、顔検索部３７０は、類似度が緩和された検索用の閾値以上となった不審者を検索結果として出力部３８０へ供給する。
【０１７２】
このような顔検索処理の検索結果を受けた出力部３８０は、当該検索結果を監視装置へ出力する（ステップＳ３１６）。この検索結果には、たとえば、当該人物の顔が検出された画像、および、類似度が緩和された検索用の閾値以上となった不審者を示す情報などが含まれる。この際、出力部３８０は、表示部３１１ａあるいは図示しないスピーカにより「（第１のカメラで）顔が確認できない」あるいは「顔を隠さないでください」などの警告を出力するようにしても良い。
【０１７３】
上記第１のカメラで撮影された画像から顔が検出され、かつ、第２のカメラで撮影された画像（人物の画像）からも同一人物の顔が検出された場合（ステップＳ３０７でＹＥＳ、かつ、ステップＳ３１２でＹＥＳ）、分類部３５０は、図１２に示す分類に基づいて、当該人物が第２のカメラの存在を知っている重要人物であると分類する。このような分類に応じて、分類部３５０は、処理内容が、ＶＩＰリスト３６２を重点的に顔検索し、その検索結果を出力するものと判断する。ここで、分類部３５０は、ＶＩＰリスト３６２を重点的に顔検索するために、ＶＩＰリスト３６２に対する検索用の閾値を緩和する（ステップＳ３１３）。なお、この場合、分類部３５０は、不審者リスト３６１に対する検索用の閾値を厳しくするようにしても良い。また、分類部３５０は、ＶＩＰリスト３６２のみを検索対象とするようにしても良い。
【０１７４】
この場合、顔検索部３７０は、顔検索処理として、第１の画像取得部３１１あるいは第２の画像取得部３１２により取得した画像から検出された顔の特徴情報とＶＩＰリスト３６２に記憶されている顔の特徴情報との類似度し、各類似度と緩和された検索用の閾値と比較する（ステップＳ３１４）。これにより、顔検索部３７０は、類似度が緩和された検索用の閾値以上となったＶＩＰを検索結果として出力部３８０へ供給する。
【０１７５】
このような顔検索処理の検索結果を受けた出力部３８０は、当該検索結果を監視装置へ出力する（ステップＳ３１６）。この検索結果には、たとえば、当該人物の顔が検出された画像、および、類似度が緩和された検索用の閾値以上となったＶＩＰを示す情報などが含まれる。この際、出力部３８０は、表示部３１１ａあるいは図示しないスピーカにより「（第１のカメラで）顔が確認できた」あるいは「閾値以上となったＶＩＰに対応する案内情報」などの案内を出力するようにしても良い。
【０１７６】
また、上記第１のカメラで撮影された画像から顔が検出され、かつ、第２のカメラで撮影された画像（人物の画像）からは同一人物の顔が検出されなかった場合（ステップＳ３０７でＹＥＳ、かつ、ステップＳ３１２でＮＯ）、分類部３５０は、図１２に示す分類に基づいて、当該人物が一般の通行者であると分類する。このような分類に応じて、分類部３５０は、処理内容が、各リスト（不審者リスト３６１およびＶＩＰリスト３６２）を顔検索し、その検索結果を出力するものと判断する。
【０１７７】
この場合、顔検索部３７０は、顔検索処理として、第１の画像取得部３１１により取得した画像から検出された顔の特徴情報と各リストに記憶されている顔の特徴情報との類似度を算出し、各類似度と所定の検索用の閾値とを比較する（ステップＳ３１４）。これにより、顔検索部３７０は、類似度が検索用の閾値以上となった人物を検索結果として出力部３８０へ供給する。
【０１７８】
このような顔検索処理の検索結果を受けた出力部３８０は、当該検索結果を監視装置へ出力する（ステップＳ３１６）。この検索結果には、たとえば、当該人物の顔が検出された画像、および、類似度が所定の検索用の閾値以上となった人物を示す情報などが含まれる。この際、出力部３８０は、表示部３１１ａあるいは図示しないスピーカにより「（第１のカメラで）顔が確認できた」あるいは「閾値以上となった人物を示す情報」などの案内を出力するようにしても良い。ただし、検索結果として不審者リスト３６１に記憶される不審者が検出された場合、出力部３８０は、当該人物に対する警戒を促すため、警報などを発するようにしても良い。
【０１７９】
上記のように、第３の実施の形態としての通行者認識装置では、通行者に認識され易いように設置したカメラで撮影した画像からの顔の検出結果と通行者に認識され難いように設置したカメラで撮影した画像からの顔の検出結果とに基づいて、通行者を分類し、それらの分類に応じた顔検索処理あるいは監視処理を行うようにしたものである。これにより、各カメラで撮影された人物の状態から推測される通行者の行動に応じた効率的な人物監視処理が可能となる。
【０１８０】
なお、上記第３の実施の形態では、上記２種類の画像取得部１１１，１１２を１台ずつ設置することを前提に説明した。しかしながら、画像取得部（カメラ）は、監視するエリアの状況あるいは運用形態に応じて設置台数を増やすようにしても良い。この場合、人物対応付け部３４０では、設置された画像取得部（カメラ）の数に応じて対応付け処理を増やすことで対応することが可能である。
【図面の簡単な説明】
【０１８１】
【図１】本発明の、第１の実施の形態に係る通行者認識装置の構成例を概略的に示すブロック図。
【図２】第１の実施の形態としての第１の画像取得部および第２の画像取得部の設置例を説明するための模式図。
【図３】第１の実施の形態としての第１の画像取得部および第２の画像取得部の設置例を説明するための模式図。
【図４】第１の実施の形態に係る通行者の分類例を説明する図。
【図５】第１の実施の形態に係る通行者認識装置における処理手順の例を説明するためのフローチャート。
【図６】第２の実施の形態に係る通行者認識装置の構成例を概略的に示すブロック図。
【図７】第２の実施の形態に係る通行者の分類例を説明する図。
【図８】第２の実施の形態に係る通行者認識装置における処理手順の例を説明するためのフローチャート。
【図９】第３の実施の形態に係る通行者認識装置の構成例を概略的に示すブロック図。
【図１０】第３の実施の形態としての第１の画像取得部および第２の画像取得部の設置例を説明するための模式図。
【図１１】第３の実施の形態としての第１の画像取得部および第２の画像取得部の設置例を説明するための模式図。
【図１２】第３の実施の形態に係る通行者の分類例を説明する図。
【図１３】第３の実施の形態に係る通行者認識装置における処理手順の例を説明するためのフローチャート。
【符号の説明】
【０１８２】
１０、２０、３０…人物認識装置（通行者認識装置）、１１１、２１１、３１１…第１の画像取得部、１１１ａ、２１１ａ、３１１ａ…表示部、１１２、２１２、３１２…第２の画像取得部、１１２ａ、２１２ａ、３１２ａ…アクリル板、１２１、２２１、」３２１…第１の人物検出部、１２２、２２２、３２２…第２の人物検出部、１３１、２３１、３３１…第１の顔検出部、１３２、２３２、３３２…第２の顔検出部、１４０ａ…補助検知部、１５０、２５０、３５０…分類部、１６０、２６０、３６０…顔特徴管理部、１７０、２７０…顔照合部、１８０、２８０…通行制御部、１９０、２９０…履歴管理部、２５５…判定部、３６１…不審者リスト、３６２…重要人物リスト、３７０…顔検索部、３８０…出力部、３９０…履歴管理部。
【図１】
2008108243.tif 000003
【図２】
2008108243.tif 000004
【図３】
2008108243.tif 000005
【図４】
2008108243.tif 000006
【図５】
2008108243.tif 000007
【図６】
2008108243.tif 000008
【図７】
2008108243.tif 000009
【図８】
2008108243.tif 000010
【図９】
2008108243.tif 000011
【図１０】
2008108243.tif 000012
【図１１】
2008108243.tif 000013
【図１２】
2008108243.tif 000014
【図１３】
2008108243.tif 000015