(57)【要約】【課題】所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供する。【解決手段】人物監視装置１００は、顔画像から抽出した被照合情報を予め記憶し、特定エリア内の複数の場所を通過する人物の少なくとも顔を含む画像を入力し、前記入力された画像から顔画像を検出しと、前記検出した顔画像から顔特徴情報を抽出し、前記記憶されている被照合情報と前記抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出し、前記照合の照合結果に基づいて照合頻度テーブルを作成し、前記照合により前記被照合情報に適合する人物が検出された場合、前記照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する。【選択図】      図１
2010161732.tif 000002
【特許請求の範囲】
【請求項１】
顔画像から抽出した被照合情報を記憶する記憶手段と、
特定エリア内の複数の場所を通過する人物の少なくとも顔を含む画像が入力される画像入力手段と、
前記画像入力手段から入力された画像から顔画像を検出する顔検出手段と、
前記顔検出手段により検出した顔画像から顔特徴情報を抽出する顔特徴抽出手段と、
前記記憶手段により記憶されている被照合情報と前記顔特徴抽出手段により抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出する照合手段と、
前記照合手段による照合結果に基づいて照合頻度テーブルを作成する照合頻度計数手段と、
前記照合手段により前記被照合情報に適合する人物が検出された場合、前記照合頻度計数手段により作成される照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する推定手段と、
を具備することを特徴とする人物監視装置。
【請求項２】
前記照合頻度計数手段は、前記照合結果に基づいて前記被照合情報に適合する人物が検出された場所を判断し、人物を区別して場所毎に人物を検出した回数を集計して照合頻度テーブルを作成することを特徴とする請求項１に記載の人物監視装置。
【請求項３】
前記照合頻度計数手段は、前記被照合情報に適合する人物が連続的に検出された検出場所に基づいて経路を判別し、経路毎に確率を計算して照合頻度テーブルを作成することを特徴とする請求項１に記載の人物監視装置。
【請求項４】
前記照合頻度計数手段は、さらに前回前記被照合情報に適合する人物が検出された場所で区別して前記人物を検出した回数を集計して照合頻度テーブルを作成することを特徴とする請求項１に記載の人物監視装置。
【請求項５】
前記推定手段は、前記照合頻度テーブル中の前記照合手段により前記人物が検出された場所で区別されたデータを参照し、最も検出回数の多い場所を前記人物が次に検出される場所であると推定することを特徴とする請求項４に記載の人物監視装置。
【請求項６】
前記画像入力手段は、少なくとも異なる３箇所を通過する人物の少なくとも顔を含む画像を取得することを特徴とする請求項１に記載の人物監視装置。
【請求項７】
前記推定手段により前記人物が次に検出されると推定された場所を操作者に報知する報知手段をさらに具備することを特徴とする請求項１に記載の人物監視装置。
【請求項８】
顔画像から抽出した被照合情報を予め記憶し、
特定エリア内の複数の場所を通過する人物の少なくとも顔を含む画像を入力し、
前記入力された画像から顔画像を検出しと、
前記検出した顔画像から顔特徴情報を抽出し、
前記記憶されている被照合情報と前記抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出し、
前記照合の照合結果に基づいて照合頻度テーブルを作成し、
前記照合により前記被照合情報に適合する人物が検出された場合、前記照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する、
ことを特徴とする人物監視装置。
【請求項９】
特定エリア内の少なくとも３箇所に設置され、複数の場所を通過する人物の少なくとも顔を含む画像を撮像する画像取得手段と、
顔画像から抽出した被照合情報を記憶する記憶手段と、
前記画像取得手段により撮像され画像が入力される画像入力手段と、
前記画像入力手段から入力された画像から顔画像を検出する顔検出手段と、
前記顔検出手段により検出した顔画像から顔特徴情報を抽出する顔特徴抽出手段と、
前記記憶手段により記憶されている被照合情報と前記顔特徴抽出手段により抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出する照合手段と、
前記照合手段による照合結果に基づいて照合頻度テーブルを作成する照合頻度計数手段と、
前記照合手段により前記被照合情報に適合する人物が検出された場合、前記照合頻度計数手段により作成される照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する推定手段と、
前記推定手段により前記人物が次に検出されると推定された場所を操作者に報知する報知手段と、
を具備することを特徴とする人物監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより取得した人物の顔画像に基づいて撮影対象者の顔を認識し、特定のエリアにおいて人物を監視する人物監視装置、人物監視方法、及び、人物監視システムに関する。
【背景技術】
【０００２】
近年、カメラにより人物の顔画像を撮像し、撮像した顔画像に基づいて人物の認識を行う顔認識装置が多数実用化されている。このような顔認識装置を利用し、特定のエリア内を往来する人物の監視を行う人物監視装置が実用化されている。
【０００３】
上記したような人物監視装置は、特定の人物の顔画像を登録する。人物監視装置は、特定のエリア内を往来する人物の顔画像を撮像した場合、撮像した顔画像と、登録された顔画像とで照合を行い、照合結果を表示する（例えば特許文献１参照）。
【特許文献１】特開２００８―８５８７４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の人物監視システムは、監視領域（特定のエリア）内に監視対象者が存在する場合、その旨を表示部に表示し、監視装置の操作者に報知する。しかし、操作者が、監視装置により監視領域（特定のエリア）内に監視対象人物が存在する事を確認してから、監視対象人物が検知された場所に移動するまでの間に、監視対象人物が場所を移動することが考えられる。この場合、操作者は、監視対象人物の所在を把握することができないという問題がある。
【０００５】
また、入退情報と人流センサの情報を融合し、人の流れ全体を把握する構成も考えられる。しかし、この場合、個人の行動を特定することができないという問題がある。
【０００６】
本発明の一形態における目的は、所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明の一実施形態に係る人物監視装置は、顔画像から抽出した被照合情報を記憶する記憶手段と、特定エリア内の複数の場所を通過する人物の少なくとも顔を含む画像が入力される複数の画像入力手段と、前記画像入力手段から入力された画像から顔画像を検出する顔検出手段と、前記顔検出手段により検出した顔画像から顔特徴情報を抽出する顔特徴抽出手段と、前記記憶手段により記憶されている被照合情報と前記顔特徴抽出手段により抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出する照合手段と、前記照合手段による照合結果に基づいて照合頻度テーブルを作成する照合頻度計数手段と、前記照合手段により前記被照合情報に適合する人物が検出された場合、前記照合頻度計数手段により作成される照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する推定手段と、を具備する。
【０００８】
また、本発明の一実施形態に係る人物監視方法は、顔画像から抽出した被照合情報を予め記憶し、特定エリア内の複数の場所を通過する人物の少なくとも顔を含む画像を入力し、前記入力された画像から顔画像を検出しと、前記検出した顔画像から顔特徴情報を抽出し、前記記憶されている被照合情報と前記抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出し、前記照合の照合結果に基づいて照合頻度テーブルを作成し、前記照合により前記被照合情報に適合する人物が検出された場合、前記照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する。
【０００９】
また、本発明の一実施形態に係る人物監視システムは、特定エリア内の少なくとも３箇所に設置され、複数の場所を通過する人物の少なくとも顔を含む画像を撮像する画像取得手段と、顔画像から抽出した被照合情報を記憶する記憶手段と、前記画像取得手段により撮像され画像が入力される画像入力手段と、前記画像入力手段から入力された画像から顔画像を検出する顔検出手段と、前記顔検出手段により検出した顔画像から顔特徴情報を抽出する顔特徴抽出手段と、前記記憶手段により記憶されている被照合情報と前記顔特徴抽出手段により抽出した顔特徴情報とを照合し、前記被照合情報に適合する人物が前記特定エリア内に存在することを検出する照合手段と、前記照合手段による照合結果に基づいて照合頻度テーブルを作成する照合頻度計数手段と、前記照合手段により前記被照合情報に適合する人物が検出された場合、前記照合頻度計数手段により作成される照合頻度テーブルに基づいて前記人物が次に検出される場所を推定する推定手段と、前記推定手段により前記人物が次に検出されると推定された場所を操作者に報知する報知手段と、を具備する。
【発明の効果】
【００１０】
この発明の一形態によれば、所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図を参照しながら、本発明の第１の実施形態に係る人物監視装置、人物監視方法、及び、人物監視システムについて詳細に説明する。  
図１は、本発明の第１の実施形態に係る人物監視装置が適用される人物監視システム１の構成例を概略的に説明するためのブロック図である。人物監視システム１は、例えば、特定のエリアに存在する人物を監視する。
【００１２】
図１に示すように、人物監視システム１は、複数のカメラ１１１、１１２、１１３、及び１１４と、人物監視装置１００とを備えている。
【００１３】
カメラ１１１、１１２、１１３、及び１１４は、人物の画像を取得する。カメラ１１１、１１２、１１３、及び１１４は、例えばＬＡＮなどにより人物監視装置１００に接続されている。人物監視装置１００は、各カメラ１１１、１１２、１１３、及び１１４から個別にデータを受信することができる。
【００１４】
複数のカメラ１１１、１１２、１１３、及び１１４は、図２に示すように、特定エリア内の場所Ａ、場所Ｂ、場所Ｃ、及び場所Ｄにそれぞれ設けられている。即ち、カメラ１１１は、特定エリアの入口である場所Ａに設けられている。カメラ１１２は、場所Ｂに設けられている。カメラ１１３は、場所Ｃに設けられている。カメラ１１４は、特定エリアの出口である場所Ｄに設けられている。即ち、特定エリアに出入りする人物は、すくなくとも、カメラ１１１及び１１４により撮像する画像に写りこむ。
【００１５】
カメラ１１１、１１２、１１３、及び１１４は、例えば、ｉｎｄｕｓｔｒｉａｌ  ｔｅｌｅｖｉｓｉｏｎ（IＴＶ）カメラなどにより構成される。カメラ１１１、１１２、１１３、及び１１４は、撮像した画像を図示しないＡ／Ｄ変換器によりディジタル変換し、人物監視装置１００に送信する。
【００１６】
カメラ１１１は、場所Ａに存在する人物の画像を取得する。カメラ１１２は、場所Ｂに存在する人物の画像を取得する。カメラ１１３は、場所Ｃに存在する人物の画像を取得する。カメラ１１４は、場所Ｄに存在する人物の画像を取得する。
【００１７】
カメラ１１１、１１２、１１３、及び１１４は、例えば、図３に示すように、横方向５１２画素、縦方向５１２画素の濃淡情報として画像データを取得する。
【００１８】
人物監視装置１００は、顔領域検出部１２１、１２２、１２３、及び１２４、顔特徴抽出部１３１、１３２、１３３、及び１３４並びに、顔照合部１４１、１４２、１４３、及び１４４を備えている。また、人物監視装置１００は、顔画像選択部１３５、登録データ作成部１３６、登録データ記憶部１３７、照合頻度計数部１５０、発報制御部１５１、出現場所推定部１５２、及び表示部１５３を備えている。
【００１９】
また、さらに、人物監視装置１００は、インターフェース１１５、１１６、１１７、及び１１８を備えている。インターフェース１１５は、カメラ１１１に接続されている。インターフェース１１６は、カメラ１１２に接続されている。インターフェース１１７は、カメラ１１３に接続されている。インターフェース１１８は、カメラ１１４に接続されている。
【００２０】
インターフェース１１５、１１６、１１７、及び１１８は、カメラ１１１、１１２、１１３、及び１１４からそれぞれ画像を受信する。インターフェース１１５、１１６、１１７、及び１１８は、それぞれ画像入力手段として機能する。
【００２１】
顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出手段として機能する。顔領域検出部１２１、１２２、１２３、及び１２４は、それぞれ、インターフェース１１５、１１６、１１７、及び１１８に入力された入力画像において人物の顔が写っている領域（顔領域）を検出する。
【００２２】
顔領域検出部１２１、１２２、１２３、及び１２４は、たとえば、入力画像において、あらかじめ用意された標準顔パターン（顔検出テンプレート）を移動させながら相関値を求めることにより、顔領域を検出する。ここでは、顔領域検出部１２１、１２２、１２３、及び１２４は、最も高い相関値が算出された位置を顔領域として検出する。
【００２３】
図４は、顔領域検出部１２１、１２２、１２３、及び１２４により行われる顔領域の検出処理について説明する為のフローチャートである。図５は、この顔領域の検出処理について模式的に説明する為の説明図である。
【００２４】
顔領域検出部１２１、１２２、１２３、及び１２４は、あらかじめ用意されたサイズの異なる複数の顔検出テンプレートＧｓ（ｉ，ｊ）を移動させながら相関値を求めることにより、顔領域を検出する。即顔検出テンプレートＧｓは、例えば、サイズＳ＝１、サイズＳ＝２、・・・サイズＳ＝１０のようにサイズの数だけ存在する。
【００２５】
顔領域検出部１２１、１２２、１２３、及び１２４は、まず、Ｓ＝１のサイズの顔検出テンプレートＧｓ（ｉ，ｊ）を選択する（ステップＳ１１）。
【００２６】
顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）を設置する場合のＹ座標を０に設定する（ステップＳ１２）。
【００２７】
顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）を設置する場合のＸ座標を０に設定する（ステップＳ１３）。
【００２８】
顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートが設置されている領域を局所領域とする。顔領域検出部１２１、１２２、１２３、及び１２４は、局所領域内の入力画像ｆ（ｘ，ｙ）と顔検出テンプレートＧｓ（ｉ，ｊ）との相関Ｍｓ（ｘ，ｙ）を計算する（ステップＳ１４）。なお、顔領域検出部１２１、１２２、１２３、及び１２４は、数式１に示すような計算式により相関Ｍｓ（ｘ，ｙ）を計算する。
【数１】
2010161732.tif 000003
【００２９】
顔領域検出部１２１、１２２、１２３、及び１２４は、相関Ｍｓ（ｘ，ｙ）と予め定めることが出来る顔領域を検出する為の閾値とを比較する（ステップＳ１５）。ここで、相関Ｍｓ（ｘ，ｙ）が閾値以上であると判定した場合、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）が設置されている領域を顔領域と判定する。この場合、顔領域検出部１２１、１２２、１２３、及び１２４は、顔領域の座標及びサイズに関する情報（ｘ，ｙ，ｓ）を結果として後段の顔特徴抽出部に出力する（ステップＳ１６）。
【００３０】
相関と閾値との比較を行うと、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）のＸ座標の値に１を加算する（ステップＳ１７）。
【００３１】
ここで、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）のＸ座標が入力画像の幅（ＷＩＤＴＨ）を超えているか否か判定する（ステップＳ１８）。顔検出テンプレートＧｓ（ｉ，ｊ）のＸ座標が入力画像の幅（ＷＩＤＴＨ）を超えていない場合（ステップＳ１８、ＮＯ）、顔領域検出部１２１、１２２、１２３、及び１２４は、ステップＳ１４にループする。
【００３２】
顔検出テンプレートＧｓ（ｉ，ｊ）のＸ座標が入力画像の幅（ＷＩＤＴＨ）を超えている場合（ステップＳ１８、ＹＥＳ）、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）のＹ座標の値に１を加算する（ステップＳ１９）。
【００３３】
ここで、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）のＹ座標が入力画像の高さ（ＨＥＩＧＨＴ）を超えているか否か判定する（ステップＳ２０）。顔検出テンプレートＧｓ（ｉ，ｊ）のＹ座標が入力画像の高さ（ＨＥＩＧＨＴ）を超えていない場合（ステップＳ２０、ＮＯ）、顔領域検出部１２１、１２２、１２３、及び１２４は、ステップＳ１３にループする。
【００３４】
顔検出テンプレートＧｓ（ｉ，ｊ）のＹ座標が入力画像の高さ（ＨＥＩＧＨＴ）を超えている場合（ステップＳ２０、ＹＥＳ）、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートＧｓ（ｉ，ｊ）のサイズを変更する。即ち、顔領域検出部１２１、１２２、１２３、及び１２４は、Ｓの値に１を加算する（ステップＳ２１）
ここで、顔領域検出部１２１、１２２、１２３、及び１２４は、Ｓの値に対応するサイズの顔検出テンプレートＧｓ（ｉ，ｊ）が存在するか否か判定する（ステップＳ２２）。Ｓの値に対応するサイズの顔検出テンプレートＧｓ（ｉ，ｊ）が存在する場合（ステップＳ２２、ＹＥＳ）、顔領域検出部１２１、１２２、１２３、及び１２４は、ステップＳ１２にループする。
【００３５】
即ち、図５に示すように、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートを入力画像中で移動させ、各座標における相関を計算する。また、選択している顔検出テンプレートにより顔領域を検出することが出来ない場合、顔領域検出部１２１、１２２、１２３、及び１２４は、顔検出テンプレートのサイズを切り替え、顔領域の検出処理を行う。
【００３６】
Ｓの値に対応するサイズの顔検出テンプレートＧｓ（ｉ，ｊ）が存在しない場合（ステップＳ２２、ＮＯ）、顔領域検出部１２１、１２２、１２３、及び１２４は、当該入力画像に対する顔領域の検出処理を終了する。
【００３７】
顔領域を検出する方法は、種々の方法があり、上記した方法に限定されない。顔領域検出部は、例えば、固有空間法、または部分空間法などの他の顔領域を検出する為の方法を用いても実現することが出来る。
【００３８】
顔特徴抽出部１３１、１３２、１３３、及び１３４は、顔特徴抽出手段として機能する。顔特徴抽出部１３１、１３２、１３３、及び１３４は、顔領域検出部１２１、１２２、１２３、及び１２４により検出された顔領域の画像（顔画像）に基づいて顔特徴情報Ｈ（ｘ，ｙ）を抽出する。
【００３９】
顔特徴抽出部１３１、１３２、１３３、及び１３４は、顔画像を、例えば、横１５画素、縦１５画素、輝度値の最高値２５５、且つ、輝度値の最低値０の画像に変換する。これにより、顔特徴抽出部１３１、１３２、１３３、及び１３４は、顔特徴情報を抽出する。
【００４０】
顔特徴抽出部１３１、１３２、１３３、及び１３４は、上記した処理により抽出した顔特徴情報を顔照合部１４１、１４２、１４３、及び１４４にそれぞれ送信する。また、顔特徴抽出部１３４は、抽出した顔特徴情報を顔画像選択部１３５に送信する。
【００４１】
顔画像選択部１３５は、監視する人物を操作者の操作に基づいて選択する。即ち、顔画像選択部１３５は、監視対象人物を操作者に選択させる。顔画像選択部１３５は、操作者による操作を受け付ける為の入力手段を備えている。入力手段としての入力部は、例えばキーボードなどの入力装置により構成される。入力部は、操作者による操作入力を操作信号として受け取る。
【００４２】
顔画像選択部１３５は、顔特徴抽出部１３４から受信した顔特徴情報に基づいて、図６に示すような監視人物選択画面１８０を作成する。顔画像選択部１３５は、作成した監視人物選択画面１８０を表示部１５３に送信し、表示させる。表示部１５３は、操作者に種々の情報を報知する報知手段として機能する。
【００４３】
図６は、表示部１５３に表示された監視人物選択画面１８０の一例について説明するための説明図である。監視人物選択画面１８０は、顔画像一覧を表示するためのセル１８１と、顔画像選択部１３５により選択された顔画像を表示するためのセル１８２とを表示する。
【００４４】
顔画像選択部１３５は、顔特徴抽出部１３４から受信した顔特徴情報に基づいて、顔画像のリストを作成し、セル１８１に表示する。即ち、セル１８１には、場所Ｄを通過した人物の顔画像のリストが表示される。
【００４５】
セル１８１に表示される顔画像のリストは、顔画像選択部１３５の入力部により選択することができる。顔画像選択部１３５は、入力部によりセル１８１に表示されている顔画像が選択された場合、選択された顔画像をセル１８２にも表示する。なお、顔画像選択部１３５の入力部により選択される顔画像は、単数であっても複数であってもよい。
【００４６】
顔画像選択部１３５は、選択した顔画像に対応する顔特徴情報を登録データ作成部１３６に送信する。  
なお、顔画像選択部１３５の入力部と表示部１５３とは、たとえば、タッチパネル内蔵の表示装置により一体に構成されていてもよい。
【００４７】
登録データ作成部１３６は、顔画像選択部１３５から受信した顔特徴情報に基づいて、登録データを作成する。たとえば、登録データ作成部１３６は、顔画像選択部１３５から受信した顔特徴情報にＩＤデータを付与し、登録データとして登録データ記憶部１３７に送信する。
【００４８】
登録データ記憶部１３７は、記憶手段として機能する。登録データ記憶部１３７は、登録データ作成部１３６から受信する登録データを記憶する。即ち、登録データ記憶部１３７は、カメラにより取得された顔画像に基づいて抽出された顔特徴情報を記憶する。
【００４９】
図７は、登録データ記憶部１３７により記憶されているデータの例について説明する為の説明図である。図７に示すように、登録データ記憶部１３７は、受信したＩＤデータ及び顔特徴情報を含む登録データを１つのカテゴリの登録データＲｃ（ｉ，ｊ）とし、複数の登録データを記憶する。このカテゴリは、人物毎に設定される。登録データ記憶部１３７に記憶されている顔特徴情報に該当する人物は、監視対象人物であり、後述する照合処理の照合対象である。
【００５０】
なお、顔照合部１４１、１４２、１４３、及び１４４は、登録データ記憶部１３７により記憶されている登録データを参照する場合、カテゴリＣを値で指定し、照合に用いるカテゴリを選択する。
【００５１】
顔照合部１４１、１４２、１４３、及び１４４は、照合処理を行う。顔照合部１４１、１４２、１４３、及び１４４は、各場所のカメラにより撮像された画像に基づいて抽出された顔特徴情報と、登録データ記憶部１３７に記憶されている登録データとで照合を行い、類似度を算出する。即ち、顔照合部１４１、１４２、１４３、及び１４４は、照合手段として機能する。
【００５２】
図８は、顔照合部１４１、１４２、１４３、及び１４４により行われる照合処理について説明する為のフローチャートである。  
顔照合部１４１、１４２、１４３、及び１４４は、まず、カテゴリを示す情報であるＣの値を０に設定する。（ステップＳ３１）。
【００５３】
顔照合部１４１、１４２、１４３、及び１４４は、登録データ記憶部１３７に記憶されている登録データのうちの、カテゴリを示す情報がＣであるカテゴリの登録データＲｃ（ｉ，ｊ）と、出場側の撮像端末により撮像された画像に基づいて抽出された顔特徴情報Ｈ（ｘ，ｙ）とを照合し、類似度ｓｉｍｃを算出する（ステップＳ３２）。
【００５４】
顔照合部１４１、１４２、１４３、及び１４４は、この場合、数式２に示すように、相関を求めることにより類似度ｓｉｍｃを算出する。
【数２】
2010161732.tif 000004
【００５５】
顔照合部１４１、１４２、１４３、及び１４４は、１つの登録データと顔特徴情報との類似度ｓｉｍｃを、例えば図示しないＲＡＭメモリに出力する（ステップＳ３３）。
【００５６】
顔照合部１４１、１４２、１４３、及び１４４は、カテゴリを示す情報であるＣの値に１を加算する（ステップＳ３４）。
【００５７】
ここで、顔照合部１４１、１４２、１４３、及び１４４は、登録データ記憶部１３７に記憶されている全てのカテゴリの登録データについて類似度の算出が行なわれたか否か判定する（ステップＳ３５）。
【００５８】
登録データ記憶部１３７に記憶されている全てのカテゴリの登録データについて類似度の算出が行なわれていないと判定した場合（ステップＳ３５、ＮＯ）、顔照合部１４１、１４２、１４３、及び１４４は、ステップＳ３２にループする。
【００５９】
登録データ記憶部１３７に記憶されている全てのカテゴリの登録データについて類似度の算出が行なわれたと判定した場合（ステップＳ３５、ＹＥＳ）、顔照合部１４１、１４２、１４３、及び１４４は、算出した類似度の中で最も値の大きな類似度（最大の類似度）が、予め定められている閾値以上であるか否かを判定する。
【００６０】
最大の類似度が閾値以上であると判定した場合、顔照合部１４１、１４２、１４３、及び１４４は、監視対象人物が特定エリア内に存在すると判断する。この場合、顔照合部１４１、１４２、１４３、及び１４４は、最大の類似度の算出に用いられた登録データのカテゴリのＣの値と、監視対象人物を検知した旨を示す情報（検知情報）とを照合頻度計数部１５０に送信する（ステップＳ３６）。
【００６１】
また、顔照合部１４１、１４２、１４３、及び１４４のうちで入り口に設けられている顔照合部１４１は、発報制御部１５１に検知情報とカテゴリのＣの値とを送信する。
【００６２】
なお、入力画像に基づく顔特徴情報と、登録されている顔特徴情報とを照合する方法は、種々の方法が存在し、上記した方法に限定されない。
【００６３】
照合頻度計数部１５０は、照合頻度計数手段として機能する。照合頻度計数部１５０は、顔照合部１４１、１４２、１４３、及び１４４から受信する情報に基づいて、照合頻度テーブルを作成する。照合頻度計数部１５０は、顔照合部１４１、１４２、１４３、及び１４４のいずれかから検知情報を受信した場合、人物を検知した検知場所を判断する。即ち、照合頻度計数部１５０は、たとえば、検知情報を送信した顔照合部に顔画像を供給しているカメラが設置されている場所に基づいて、検知場所を判断する。
【００６４】
照合頻度計数部１５０は、カテゴリ毎に検知場所を集計し、図９に示すような照合頻度テーブルを作成する。
【００６５】
図９は、照合頻度計数部１５０により作成される照合頻度テーブルの一例について説明するための説明図である。
【００６６】
照合頻度テーブルの１つのカテゴリは、検知場所ごとに検知した回数が集計されて構成されている。図９に示す照合頻度テーブルは、カテゴリＣ＝０の人物が、場所Ａから５回入場し、場所Ｂで１回検知され、場所Ｃで４回検知され、場所Ｄから５回退場していることを示している。また、図９に示す照合頻度テーブルは、カテゴリＣ＝１の人物が、場所Ａから２回入場し、場所Ｂで２回検知され、場所Ｄから２回退場していることを示している。
【００６７】
発報制御部１５１は、顔照合部１４１から検知情報とカテゴリのＣの値とを受信した場合、出現場所推定部１５２を起動し、カテゴリのＣの値を出現場所推定部１５２に送信する。
【００６８】
出現場所推定部１５２は、推定手段として機能する。出現場所推定部１５２は、照合頻度計数部１５０により作成された照合頻度テーブルに基づいて、発報制御部１５１から受信したカテゴリの人物が、次に検知される可能性が高い場所を推定する。
【００６９】
出現場所推定部１５２は、発報制御部１５１から受信したカテゴリのＣの値に基づいて、照合頻度計数部１５０により作成される照合頻度テーブルを参照する。即ち、出現場所推定部１５２は、照合頻度テーブルの発報制御部１５１から受信したカテゴリのＣの値に対応するカテゴリの情報を参照する。
【００７０】
出現場所推定部１５２は、例えば、入口（場所Ａ）と出口（場所Ｄ）とを除く場所で、最も検知回数の多い場所を次に検知される可能性が高い場所であると推定する。例えば、図９に示すカテゴリＣ＝０の人物が入口で検知された場合、出現場所推定部１５２は、最も検知回数の多い場所Ｃを次に当該人物が検知される可能性が高い場所であると推定する。出現場所推定部１５２は、推定した場所を示す情報を表示部１５３に送信する。
【００７１】
表示部１５３は、出現場所推定部１５２から受信した、推定場所を示す情報を表示し、当該人物監視装置１００の操作者に報知する。
【００７２】
なお、出現場所推定部１５２は、推定した場所を示す情報とともに、入口のカメラで撮像された該当する人物の顔画像を表示部１５３に送信し、表示させてもよい。
【００７３】
図１０は、照合頻度計数部１５０により作成される照合頻度テーブルの他の例について説明するための説明図である。
【００７４】
図１０に示す照合頻度テーブルは、図９に示す照合頻度テーブルのように、検知場所ごとに検知した回数が集計され、さらに、前回の検知場所ごとに区別されて構成されている。
【００７５】
照合頻度計数部１５０は、カテゴリ毎に検知場所を集計し、図９に示すような照合頻度テーブルを作成する。照合頻度計数部１５０は、カテゴリのＣの値と検知情報とを受信した場合、受信したカテゴリと一致するカテゴリの人物の、近い時間（例えば同日中など）における検知場所を判断する。即ち、照合頻度計数部１５０は、受信したカテゴリと一致するカテゴリの人物を前回どの場所で検知したかを判断する。
【００７６】
例えば、照合頻度計数部１５０は、照合頻度テーブルを作成する場合、受信した検知情報に対する処理結果を履歴として記憶しておくことにより、特定の人物の前回の検知場所を判断する。
【００７７】
図１０に示す照合頻度テーブルは、各カテゴリ毎に作成されている。図に示す「場所Ａ入」、「場所Ｂ入」、「場所Ｃ入」、及び「場所Ｄ入」などの列は、そのカテゴリの人物の検知場所を示す。図に示す「場所Ａ出」、「場所Ｂ出」、「場所Ｃ出」、及び「場所Ｄ出」などの列は、そのカテゴリの人物の前回の検知場所を示す。
【００７８】
即ち、図１０に示す照合頻度テーブルは、カテゴリＣ＝０の人物が、場所Ｂで１回検知され、そのうちの１回が前回場所Ａで検知されたことを示している。また、照合頻度テーブルは、カテゴリＣ＝０の人物が、場所Ｃで４回検知され、そのうちの４回が前回場所Ａで検知されたことを示している。またさらに、照合頻度テーブルは、カテゴリＣ＝０の人物が、場所Ｄで５回検知され、そのうちの１回が前回場所Ｂで検知され、４回が前回場所Ｃで検知されたことを示している。
【００７９】
登録データ記憶部１３７に記憶されている人物が入口のカメラ１１１に接続された顔照合部１４１で検知された場合、出現場所推定部１５２は、図１０に示す照合頻度テーブルに基づいて、当該人物の次回の出現場所を推定する。
【００８０】
この場合、出現場所推定部１５２は、図１０に示す照合頻度テーブルの「場所Ａ出」の列を参照し、最も検知回数の多い場所を次に検知される可能性が高い場所であると推定する。即ち、出現場所推定部１５２は、前回の検知場所が場所Ａである情報の中で、最も検知回数の多い場所を次に検知される可能性が高い場所であると推定する。
【００８１】
例えば、図１０に示すカテゴリＣ＝０の人物が入口（場所Ａ）で検知された場合、出現場所推定部１５２は、「場所Ａ出」の列のうちで最も検知回数の多い場所Ｃを次に当該人物が検知される可能性が高い場所であると推定する。
【００８２】
なお、上記した顔領域検出部１２１、１２２、１２３、及び１２４、顔特徴抽出部１３１、１３２、１３３、及び１３４、顔照合部１４１、１４２、１４３、及び１４４、顔画像選択部１３５、登録データ作成部１３６、登録データ記憶部１３７、照合頻度計数部１５０、発報制御部１５１、並びに出現場所推定部１５２などの各部の機能は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、及び不揮発性メモリなどにより実現される。
【００８３】
ＣＰＵは、人物監視装置１００の全体の制御を司るものである。ＣＰＵは、ＲＯＭあるいは不揮発性メモリに記憶されている制御プログラムや制御データに基づいて動作することにより、上記したような種々の処理部として機能する。
【００８４】
ＲＡＭは、ＣＰＵのワーキングメモリとして機能する揮発性のメモリである。即ち、ＲＡＭは、ＣＰＵが処理中のデータなどを一時保管する記憶手段として機能する。また、ＲＡＭは、入力部から受信したデータを一時保管する。ＲＯＭは、予め制御用のプログラムや制御データなどが記憶されている不揮発性のメモリである。
【００８５】
不揮発性メモリは、例えば、ＥＥＰＲＯＭあるいはＨＤＤなどの、データの書き込み及び書換えが可能な記憶媒体により構成される。不揮発性メモリには、当該人物監視装置１００の運用用途に応じて制御プログラムや種々のデータが書込まれる。
【００８６】
人物監視装置１００の各部の機能は、ＣＰＵがメモリに記憶されているプログラムなどを実行することにより実現される。なお、人物監視装置１００の各部の機能は、ハードウェアによっても実現することができるし、ソフトウェアによっても実現することができるし、または、ソフトウェアとハードウェアとの組み合わせによっても実現することができる。
【００８７】
また、人物監視装置１００は、カメラ１１１、１１２、１１３、及び１１４にそれぞれ対応するように、顔領域検出部１２１、１２２、１２３、及び１２４、顔特徴抽出部１３１、１３２、１３３、及び１３４、並びに顔照合部１４１、１４２、１４３、及び１４４を備えているが、この構成に限定されない。人物監視装置１００は、顔領域検出部１２１、１２２、１２３、及び１２４、顔特徴抽出部１３１、１３２、１３３、及び１３４、並びに顔照合部１４１、１４２、１４３、及び１４４をそれぞれ統合し、１つの顔領域検出部、顔特徴抽出部、及び顔照合部により上記の処理を行う構成であってもよい。
【００８８】
上記したように、本実施形態に係る人物監視装置は、特定エリア内に設置されたカメラにより撮像される人物の顔画像を一覧で表示し、操作者に監視対象人物を選択させ、選択された監視対象人物の顔特徴情報を記憶する。特定エリア内を往来する人物の顔画像を取得し、記憶している監視対象人物の顔画像と逐次照合を行う。特定エリア内において監視対象人物を検知した場合、監視対象人物を検知した回数及び検知場所を示す情報を人物毎に集計する。また、特定エリア内において監視対象人物を検知した場合、集計したデータに基づいて、検知した監視対象人物が次のどの場所で検知されるかを推定する。
【００８９】
これにより、特定エリア内において監視対象人物を検知してからの監視対象人物の所在を推定することができる。即ち、本装置の操作者が、監視対象人物が検知された場所に移動するまでに時間を要する場合であっても、本装置は、人物監視装置から監視対象人物の移動先を推定して操作者に報知することにより、操作者と監視対象人物との対面を容易にすることができる。この結果として、所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供することができる。
【００９０】
なお、上記した実施形態では、出口に設置されたカメラにより取得した顔画像に基づいて顔特徴情報を抽出し、登録データを作成するとして説明したが、この構成に限定されない。登録データを作成するための顔画像は、特定エリア内のどのカメラで取得したものであってもよい。
【００９１】
また、人物の顔画像を４箇所に設置されたカメラにより取得する構成として説明したがこれに限定されない。少なくとも、３箇所以上の場所に人物の顔画像を撮像するためのカメラを設置すれば、本発明を有効に実施することができる。また、より多くのカメラを設置することにより、より細かく人物の行動を監視することができる。
【００９２】
次に、本発明の第２の実施形態に係る人物監視装置、人物監視方法、及び、人物監視システムについて、図１１及び図１２を参照しながら説明する。  
図１１は、本発明の第２の実施形態に係る人物監視装置２００が適用される人物監視システム２の構成例を概略的に説明するためのブロック図である。なお、第１の実施形態と同様の構成には、同じ参照符号を付し、その詳細な説明を省略する。
【００９３】
第２の実施形態に係る人物監視装置２００は、第１の実施形態に係る人物監視装置１００で示したように、出口のカメラ１１４で取得した画像から、監視対象人物を選択するのではなく、入口のカメラ１１１で取得した画像から、監視対象人物を選択する。
【００９４】
即ち、図１１に示すように、人物監視装置２００の顔特徴抽出部１３１は、入口のカメラ１１１により取得した画像に基づいて、顔特徴情報を抽出し、抽出した顔特徴情報を顔画像選択部１３５に送信する。
【００９５】
顔画像選択部１３５は、顔特徴抽出部１３１から受信した顔特徴情報に基づいて、図６に示すような監視人物選択画面１８０を作成する。顔画像選択部１３５は、作成した監視人物選択画面１８０を表示部１５３に送信し、表示させる。
【００９６】
このような構成により、例えば、図１２に示すように、特定エリアに出口が複数ある場合でも、確実に監視対象人物の登録データを作成することができる。これにより、所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供することができる。
【００９７】
なお、人物監視装置は、１つのカテゴリに対して各場所で取得した顔画像からそれぞれ抽出した複数の顔特徴情報を対応付けて記憶する構成であってもよい。この場合、各顔照合部は、記憶されている顔特徴情報のうち、同じ場所で取得された顔特徴情報を照合に用いる。即ち、同じ条件で撮像した顔画像から抽出された顔特徴情報を照合に用いる為、照合処理の精度を高めることができる。
【００９８】
また、上記した実施形態は、入口に設置されたカメラにより取得した顔画像に基づいて行う照合において、監視対象人物を検知した場合、監視対象人物の次の出現場所を推定する処理を行う構成であるとして説明したが、この構成に限定されない。特定エリア内のいずれかの場所で監視対象人物を検知した場合、次の出現場所を推定する処理を行う構成であってもよい。
【００９９】
次に、本発明の第３の実施形態に係る人物監視装置、人物監視方法、及び、人物監視システムについて、図１３を参照しながら説明する。  
図１３は、本発明の第３の実施形態に係る人物監視装置３００が適用される人物監視システム３の構成例を概略的に説明するためのブロック図である。なお、第１の実施形態と同様の構成には、同じ参照符号を付し、その詳細な説明を省略する。
【０１００】
第３の実施形態に係る人物監視装置２００は、第１の実施形態に係る人物監視装置１００で示したように、入口のカメラで監視対象人物を撮像した場合に発報及び出現場所の推定処理を行うのではなく、特定エリア内のいずれかのカメラで監視対象人物を撮像した場合に発報及び出現場所の推定処理を行う。
【０１０１】
即ち、顔照合部１４１、１４２、１４３、及び１４４は、照合処理において、監視対象人物の登録データと一致する顔特徴情報を受信した場合、発報制御部１５１に検知情報とカテゴリのＣの値とを送信する。
【０１０２】
発報制御部１５１は、顔照合部１４１、１４２、１４３、及び１４４のうちのいずれかから検知情報とカテゴリのＣの値とを受信した場合、出現場所推定部１５２を起動し、カテゴリのＣの値を出現場所推定部１５２に送信する。
【０１０３】
照合頻度計数部１５０は、別の場所で同じ人物を一定時間内（例えば一日以内など）に検知した場合、各場所で検知した検知情報を関連付ける。照合頻度計数部１５０は、検知場所と次の出現場所との関係を図１０に示すような照合頻度テーブルから得ることができるが、予め経路毎に確立を求めておいてもよい。
【０１０４】
例えば、照合頻度計数部１５０は、場所Ａにおいて監視対象人物を検知し、次に場所Ｂに当該人物が出現する経路の確率Ｐ（Ｂ｜Ａ）を予め求めておく。また、例えば、照合頻度計数部１５０は、監視対象人物が場所Ａ、場所Ｂ、場所Ｃを経由し、次に場所Ｄに当該人物が出現する経路の確率Ｐ（Ｄ｜Ｃ、Ｂ、Ａ）を予め求めておく。このように、可能な経路すべてにおいて確率を予め計算することにより、照合頻度計数部１５０は、より高い精度で監視対象人物の次の出現場所を推定することができる。
【０１０５】
なお、例えば、確率Ｐ（Ｄ｜Ｃ）＝確率Ｐ（Ｄ｜Ｃ、Ｂ、Ａ）のように、確率を近似によりまとめることができる場合、照合頻度計数部１５０は、図１０に示すような照合頻度テーブルにより、高い精度で監視対象人物の次の出現場所を推定することができる。
【０１０６】
このような構成により、例えば、特定エリアに入口が複数ある場合でも、監視対象人物が特定エリアに入場したことを検知し、発報及び出現位置の推定を行うことができる。これにより、所望の人物を効率的に監視することができる人物監視装置、人物監視方法、及び、人物監視システムを提供することができる。
【０１０７】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具現化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１０８】
【図１】図１は、本発明の第１の実施形態に係る人物監視装置が適用される人物監視システムの構成例を概略的に説明するためのブロック図である。
【図２】図２は、図１に示す人物監視システムが適用された特定エリアの例を概略的に説明する為の説明図である。
【図３】図３は、カメラにより撮像される画像データの一例について説明する為の説明図である。
【図４】図４は、顔領域検出部により行われる顔領域の検出処理について説明する為のフローチャートである。
【図５】図５は、この顔領域の検出処理について模式的に説明する為の説明図である。
【図６】図７は、図１に示す人物監視装置の表示部に表示される監視人物選択画面の例について説明する為の説明図である。
【図７】図７は、登録データ記憶部により記憶されているデータの例について説明する為の説明図である。
【図８】図８は、照合部により行われる照合処理について説明する為のフローチャートである。
【図９】図９は、照合頻度計数部により作成される照合頻度テーブルの一例について説明するための説明図である。
【図１０】図１０は、照合頻度計数部により作成される照合頻度テーブルの他の例について説明するための説明図である。
【図１１】図１１は、本発明の第２の実施形態に係る人物監視装置が適用される人物監視システムの構成例を概略的に説明するためのブロック図である。
【図１２】図１２は、図１１に示す人物監視システムが適用された特定エリアの例を概略的に説明する為の説明図である。
【図１３】図１３は、本発明の第３の実施形態に係る人物監視装置が適用される人物監視システムの構成例を概略的に説明するためのブロック図である。
【符号の説明】
【０１０９】
１…人物監視システム、２…人物監視システム、３…人物監視システム、１００…人物監視装置、１１１…カメラ、１１２…カメラ、１１３…カメラ、１１４…カメラ、１１５…インターフェース、１１６…インターフェース、１１７…インターフェース、１１８…インターフェース、１２１…顔領域検出部、１２２…顔領域検出部、１２３…顔領域検出部、１２４…顔領域検出部、１３１…顔特徴抽出部、１３２…顔特徴抽出部、  １３３…顔特徴抽出部、１３４…顔特徴抽出部、１３５…顔画像選択部、１３６…登録データ作成部、１３７…登録データ記憶部、１４１…顔照合部、１４２…顔照合部、１４３…顔照合部、１４４…顔照合部、１５０…照合頻度計数部、１５１…発報制御部、１５２…出現場所推定部、１５３…表示部、１８０…監視人物選択画面、１８１…セル、１８２…セル、２００…人物監視装置、３００…人物監視装置。
【図１】
2010161732.tif 000005
【図２】
2010161732.tif 000006
【図３】
2010161732.tif 000007
【図４】
2010161732.tif 000008
【図５】
2010161732.tif 000009
【図６】
2010161732.tif 000010
【図７】
2010161732.tif 000011
【図８】
2010161732.tif 000012
【図９】
2010161732.tif 000013
【図１０】
2010161732.tif 000014
【図１１】
2010161732.tif 000015
【図１２】
2010161732.tif 000016
【図１３】
2010161732.tif 000017