(57)【要約】【課題】簡易な構成にて利用者の入退場を精度よく管理することを可能とする利用者識別装置、利用者識別方法及びコンピュータプログラムを提供する。【解決手段】利用者識別装置は、記憶装置に、特定の人物を撮像した画像の画像データに基づき、特定人物の人物領域の特徴量を予め求めて記憶しておき、新たに、撮像装置にて時系列的に撮像された複数の撮像画像の画像データを順次取得し、画像データに基づく画像から新規人物領域を抽出し、抽出した新規人物領域の特徴量を施設の利用状態を示す利用状態情報と対応付けて記憶し、複数の撮像画像内における新規人物領域及び特定人物領域の位置、形状等の変化に基づいて所定の動作がなされたか否かを判定し、判定結果に基づいて前記新規人物領域の特徴量に対応する施設の利用状態を示す利用状態情報を更新する。【選択図】図１
2016045654.tif 000002
【特許請求の範囲】
【請求項１】
施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備え、前記施設を利用する人物を識別する利用者識別装置において、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておく事前登録手段と、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断する手段と、
該手段が対応しないと判断した場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶する新規登録手段と、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記利用情報を更新する状態更新手段と
を備えることを特徴とする利用者識別装置。
【請求項２】
前記利用状態は、施設の利用前又は利用後における手続の完了状態／未完了状態を含み、
前記新規登録手段は、施設の利用前の手続未完了状態を示す状態情報を対応付けて記憶するようにしてあり、
前記利用状態更新手段は、
前記新規人物領域の撮像画像内での位置、前記特定人物領域内、若しくは前記新規人物領域内における顔部分の位置、前記特定人物領域及び前記新規人物領域間の距離、又は、前記新規人物領域が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かを判定する判定手段と、
該判定手段により行なわれたと判定した場合に、前記新規人物特徴量の識別情報に対応付けられている前記状態情報が示す人物の利用状態を利用前又は利用後における手続未完了状態から手続完了状態へ変更する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。
【請求項３】
前記新規人物領域に対応付けられている状態情報が所定の時点にて所定の利用状態である場合に、前記新規人物領域の特徴量を特定監視対象情報として前記記憶装置に記憶しておき、
新たに前記抽出手段により抽出された人物領域の特徴量が前記特定対象情報の特徴量とが対応するか否かを判断する手段と、
該手段が対応すると判断した場合に報知する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。
【請求項４】
前記新規登録手段により記憶装置に記憶した新規人物特徴量、識別情報及び状態情報を所定期間保持しておく手段と、
新たに前記抽出手段により抽出された人物領域の特徴量が、保持されている特徴量と対応するか否かを判断する手段と、
該手段が対応しないと判断した場合、前記所定期間における利用者数を加算して利用者数を計数する手段と
を更に備えることを特徴とする請求項１に記載の利用者識別装置。
【請求項５】
施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備える装置が、前記施設を利用する人物を識別する利用者識別方法において、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておき、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断し、
対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、量を、新規人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶し、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報を更新する
ことを特徴とする利用者識別方法。
【請求項６】
撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する手段、及び、記憶装置に情報を読み書きする手段を備えるコンピュータに、前記複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出させ、抽出された人物領域の特徴量を求めさせ、求められた特徴量と識別情報とを対応付けて記憶装置に記憶させるコンピュータプログラムにおいて、
前記コンピュータに、
１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に記憶しておくステップ、
新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断するステップ、
対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶するステップ、及び、
前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報を更新するステップ
を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置にて撮像した画像に基づき、画像に写る人物を認識し、施設への利用者の入退場管理を支援するシステムに関し、簡易な構成にて利用者の入退場を識別することを可能とする利用者識別装置、利用者識別方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
施設への入退場を管理し、不正侵入を防止するために種々の方法が提案されている。例えば、顔写真付きの認証カード、又はＲＦＩＤ（Radio Frequency IDentification）タグを利用してゲートを開閉する方法がある。
【０００３】
また昨今では、撮像装置の解像度及び画像処理技術の進歩により、画像に基づく認証をリアルタイムに行なうことが可能である。そこで、撮像装置を利用し、撮像画像に写る人物を認識して監視する種々のシステムが提案されている（特許文献１等）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−２２９０４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
施設の種類によっては、従業員が直接的に応対することによって利用者へのサービス提供の満足度を向上させることができる。このように従業員による直接的な応対が行なわれる施設においては、出入りが比較的自由であるために不特定の利用者が入場可能となるが、不正な利用者を区別して適切に対応できるようにすることが望まれる。
【０００６】
認証カード又はＲＦＩＤタグ等を事前に登録又は購入する等の手続を必要とする入退場管理の方法は、特定の利用者を識別する場合は適切な方法である。しかしながら、上述のような種類の施設においては、当該入退管理の方法では、手続の煩雑さ及びカード等の管理の煩雑さから、サービス低下を招きかねない。
【０００７】
特許文献１に開示された方法でも、認証カードを撮像することによって利用者を識別するので、不特定の利用者を対象とする施設における入退場の管理に利用した場合、利用者の満足度を向上させることは困難である。
【０００８】
本発明は斯かる事情に鑑みてなされたものであり、利用者による事前の登録又は所定の物の購入等の手続を不要とし、簡易な構成にて利用者の入退場を精度よく管理することを可能とする利用者識別装置、利用者識別方法及びコンピュータを利用者識別装置として機能させるコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る利用者識別装置は、施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備え、前記施設を利用する人物を識別する利用者識別装置において、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておく事前登録手段と、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断する手段と、該手段が対応しないと判断した場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶する新規登録手段と、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記利用情報を更新する状態更新手段とを備えることを特徴とする。
【００１０】
本発明に係る利用者識別装置は、前記利用状態は、施設の利用前又は利用後における手続の完了状態／未完了状態を含み、前記新規登録手段は、施設の利用前の手続未完了状態を示す状態情報を対応付けて記憶するようにしてあり、前記利用状態更新手段は、前記新規人物領域の撮像画像内での位置、前記特定人物領域内、若しくは前記新規人物領域内における顔部分の位置、前記特定人物領域及び前記新規人物領域間の距離、又は、前記新規人物領域が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かを判定する判定手段と、該判定手段により行なわれたと判定した場合に、前記新規人物特徴量の識別情報に対応付けられている前記状態情報が示す人物の利用状態を利用前又は利用後における手続未完了状態から手続完了状態へ変更する手段とを更に備えることを特徴とする。
【００１１】
本発明に係る利用者識別装置は、前記新規人物領域に対応付けられている状態情報が所定の時点にて所定の利用状態である場合に、前記新規人物領域の特徴量を特定監視対象情報として前記記憶装置に記憶しておき、新たに前記抽出手段により抽出された人物領域の特徴量が前記特定対象情報の特徴量とが対応するか否かを判断する手段と、該手段が対応すると判断した場合に報知する手段とを更に備えることを特徴とする。
【００１２】
本発明に係る利用者識別装置は、前記新規登録手段により記憶装置に記憶した新規人物特徴量、識別情報及び状態情報を所定期間保持しておく手段と、新たに前記抽出手段により抽出された人物領域の特徴量が、保持されている特徴量と対応するか否かを判断する手段と、該手段が対応しないと判断した場合、前記所定期間における利用者数を加算して利用者数を計数する手段とを更に備えることを特徴とする。
【００１３】
本発明に係る利用者識別方法は、施設の特定の場所に設置された撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する取得手段、該複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出する抽出手段、抽出された人物領域の特徴量を求める手段、及び、求められた特徴量と識別情報とを対応付けて記憶装置に記憶する手段を備える装置が、前記施設を利用する人物を識別する利用者識別方法において、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に予め記憶しておき、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断し、対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、量を、新規人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶し、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報を更新することを特徴とする。
【００１４】
本発明に係るコンピュータプログラムは、撮像装置にて時系列的に撮像される複数の撮像画像の画像データを順次取得する手段、及び、記憶装置に情報を読み書きする手段を備えるコンピュータに、前記複数の撮像画像の画像データ夫々に基づく画像から人物領域を抽出させ、抽出された人物領域の特徴量を求めさせ、求められた特徴量と識別情報とを対応付けて記憶装置に記憶させるコンピュータプログラムにおいて、前記コンピュータに、１又は複数の特定の人物を撮像した画像の画像データに基づく前記特定の人物の特定人物領域の特徴量と、前記特定の人物の識別情報とを対応付けて記憶装置に記憶しておくステップ、新たに撮像された撮像画像の画像データに基づき、抽出された人物領域について求められる特徴量が前記記憶装置に記憶されてある特徴量と対応するか否かを判断するステップ、対応しないと判断された場合、前記抽出された人物領域の特徴量を新規人物特徴量として、新規な人物の識別情報及び前記人物の前記施設の利用状態を示す状態情報と対応付けて記憶装置に記憶するステップ、及び、前記新規人物特徴量を有する新規人物領域の複数の画像に亘る変化に基づき、前記状態情報を更新するステップを実行させることを特徴とする。
【００１５】
本発明では、例えば施設の従業員等である特定人物を撮像した画像から得られる特定人物の特徴量が予め記憶されている。新たに撮像された画像から抽出された人物領域から特徴量が求められる。求められた特徴量は、記憶されている特定人物の特徴量と対応しない場合、新たに入場してきた人物の特徴量として、人物の識別情報及び当該人物の施設の利用状態を示す状態情報と対応付けて記憶される。記憶された特徴量を有する人物領域の複数の撮像画像に亘る変化に基づき、入場してきた人物に対応する状態情報が更新される。状態情報が示す利用状態が、施設における取り決めに応じた状態遷移となるか否かにより、利用者の正当な入退場を、不正な入退場と区別することが可能となる。また、従業員等の特定の人物を画像から判別することができるから、画像に撮像される従業員の不正な行為を特定することも可能となる。
【００１６】
本発明では、状態情報が示す利用状態には、施設の利用前又は利用後における手続の完了状態／未完了状態が含まれる。人物が撮像された場合の画像内での位置、人物の顔に対応する領域の位置、特定人物の顔に対応する領域の位置、前記特定人物と入場してきた人物との距離、又は、入場してきた人物が撮像されている期間に基づき、所定の施設利用手続に対応する動作が行なわれたか否かが判定される。所定の利用手続き動作が行なわれたと判定された場合、入場してきた人物に対応する利用状態情報が、手続の未完了状態から完了状態へ変更される。従業員とのやりとりを入場時及び退場時に行なったか否かを画像認識によって特定することにより、利用者の正当な入退場を不正な入退場と区別することが可能となる。
【００１７】
本発明では、入場してきた人物の特徴量に対応付けられている状態情報が、所定の時点にて所定の利用状態を示す場合には、不正な入退場がなされたと判断されて前記特徴量が監視対象の人物の特徴量として記憶される。これにより、次に、監視対象として記憶されている特徴量を有する人物が撮像された場合、不正な入退場に係る人物が入場してきたと認識され、報知がなされる。これにより、不正な入退場の繰り返しを防止することが可能となる。
【００１８】
本発明では、入場してきた人物の特徴量を所定期間保持しておき、新たに入場してきた人物の特徴量が、保持されている特徴量と対応する場合には計数対象から除外することにより、所定期間において同一人物に対する重複計数を回避することができる。
【発明の効果】
【００１９】
本発明による場合、従業員との間で、施設毎に定められている正規のやりとりが行なわれたか否かが画像認識によって特定されることにより、正当な入退場と不正な入退場とを区別することができる。防犯等の目的で既に施設で利用されている撮像装置を用いた簡易な構成によって利用者の入退場を識別することができる。
【図面の簡単な説明】
【００２０】
【図１】本実施の形態における入退場管理システムの概要を示す説明図である。
【図２】本実施の形態における入退場管理システムの構成を示すブロック図である。
【図３】本実施の形態における撮像装置の設置箇所を示す説明図である。
【図４】本実施の形態における撮像装置による撮像画像の内容例を示す説明図である。
【図５】本実施の形態における記憶部に事前に登録されてある情報の内容例を示す説明図である。
【図６】本実施の形態における利用者識別装置にて実行される処理手順の一例を示すフローチャートである。
【図７】本実施の形態における利用者識別装置にて実行される処理手順の一例を示すフローチャートである。
【図８】利用者識別装置にて記憶される追跡情報の内容例を示す説明図である。
【図９】追跡情報の推移を説明するための説明図である。
【図１０】追跡情報の推移を説明するための説明図である。
【図１１】追跡情報の推移を説明するための説明図である。
【図１２】追跡情報の推移を説明するための説明図である。
【図１３】追跡情報の推移を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。なお、以下に開示する実施の形態では、本発明に係る利用者識別装置を、施設の入退場管理システムに用いる例を挙げて説明する。
【００２２】
図１は、本実施の形態における入退場管理システムの概要を示す説明図である。図１は、入退場管理システムが設置される施設の入口付近にて利用者が識別される過程を模式的に示している。入退場管理システムが設置される施設は、例えば、宿泊施設、入浴施設、ゴルフ練習場、又はフィットネスクラブ等である。このような施設では、入口付近に会計フロント又は受付カウンタ等の手続用設備が設けられており、来場者は手続用設備にて各施設における取り決めに応じた受付手続を済ませてから施設を利用すべきとされる。図１では、右側が施設の入口側であり、左側が施設内側である。図１の中央部に、施設の入口から施設内側に至る途中に設けられている手続用設備が示されている。来場者は通常、入口から入場すると、受付手続を行なうために手続用設備に接近し、従業員とのやり取りによって手続を完了すべきである。本実施の形態における入退場管理システムでは、手続用設備付近が撮像されるようにし、来場者を従業員と区別し、更に、来場者が従業員との間のやり取りを行なって手続を完了させたか否かが撮像画像に基づいて認識された場合に、来場者を正当な利用者であると認識されるようにする。そして、本システムでは、利用者が所定の手続きを再度行なって退場するまで、撮像画像に基づき動向が追跡されるようにする。また、本システムでは、従業員の動向も追跡されるようにし、従業員による不正も特定することが可能である。
【００２３】
このように利用者及び従業員の動向の追跡を実現すべく、本実施の形態における入退場管理システムは、施設の手続用設備、及び、従業員、入退場する人物を全て撮像範囲に含むように設置される撮像装置２を用い、更に、該撮像装置２に接続されたコンピュータを利用者識別装置１として用いる。利用者識別装置１は、撮像装置２から得られる動画像データに基づく画像に対し、人物領域の抽出及び特徴量の算出等を行なって人物を認識する。利用者識別装置１は、認識した人物の動向を、以後の動画像データに基づいて追跡し、各人物について、追跡した動向に対応する状態情報を記憶する処理を行なう。利用者識別装置１により人物毎の状態情報が記憶されることにより、施設の管理者は、記憶されている状態情報を閲覧することで事後的に又は即時的に、正当な入退場と不正な入退場とを区別し適切な対応を行なうことができる。このように、利用者識別装置１を用いることによって施設の適切な入退場管理を実現することができる。
【００２４】
更に、図１に示す例では、利用者識別装置１は動画像記録装置３、表示装置４、及び報知装置５と接続されてある。これにより利用者識別装置１は、各人物の状態情報が示す動向の内容に応じて不正利用を自動的に検出し、表示装置４及び報知装置５にて不正な利用の有無又は内容を報知させて従業員等に知らせたり、撮像装置２にて撮影している動画像データを動画像記録装置３に記録させたりする。報知又は記録等が自動的に行なわれることにより、従業員が不正利用に対して即時的に適切な対応を行なうことが可能となる。
【００２５】
上述のような処理を実現するための入退場管理システムについて、以下各装置の構成を説明し、主に利用者識別装置１による動作についての説明を詳述する。なお、以下に示す構成はあくまで例示であり、これに限定されないことは勿論である。
【００２６】
図２は、本実施の形態における入退場管理システムの構成を示すブロック図である。利用者識別装置１には例えばパーソナルコンピュータを用いる。利用者識別装置１は、動画像カメラを用いた撮像装置２、ビデオレコーダを用いた動画像記録装置３、パーソナルコンピュータのモニタを用いた表示装置４、及び、スピーカを用いた報知装置５と接続されている。本実施の形態における入退場管理システムはこのように、施設で既に利用されているような設備を用いて実現可能である。
【００２７】
撮像装置２は、デジタル又はアナログにより撮像した動画像に係る映像信号（時系列的に連続する複数の画像の画像データ）を利用者識別装置１へ出力する。
【００２８】
動画像記録装置３は、ハードディスク等の記録装置を有し、利用者識別装置１から出力される映像信号を記録する。また、動画像記録装置３は、利用者識別装置１の制御により、記録してある映像信号を利用者識別装置１へ順次出力するようにしてもよい。なお、撮像装置２から出力された映像信号を、直接的に動画像記録装置３が入力して記録媒体に記録するようにしてもよいし、記録媒体に記憶してある映像信号を表示装置４へ直接的に出力するようにしてもよい。
【００２９】
表示装置４は、ＬＣＤ（Liquid Crystal Display）等のディスプレイを用い、利用者識別装置１から出力される画像信号又は映像信号に基づく画像を表示する。また、表示装置４は、動画像記録装置３から出力される映像信号を直接的に入力し、入力した映像信号に基づく動画像を表示するようにしてもよい。
【００３０】
報知装置５は、利用者識別装置１から出力された音声信号に基づき、音声を出力する。なお、表示装置４及び報知装置５は、図１に示したようにスピーカ付きの表示装置を用いて一体に構成されてよい。
【００３１】
利用者識別装置１は、制御部１０、記憶部１１、画像取得部１２、記録制御部１３、表示部１４、報知部１５、及び一時記憶部１６を備える。
【００３２】
制御部１０は、ＣＰＵ（Central Processing Unit ）を用いる。制御部１０は、記憶部１１に記憶されている制御プログラム１Ｐを読み出して実行することにより、各構成部を制御し、パーソナルコンピュータを利用者識別装置１として機能させる。具体的には、制御部１０は、制御プログラム１Ｐに基づき、取得される画像データに基づく画像からの人物領域の抽出、及び人物領域の特徴量の算出を含む人物認識処理、並びに後述する利用者の状態情報の更新処理等を行なう。人物領域の抽出処理、人物領域の特徴量の算出処理については、公知の技術を適宜採用して用いればよい。
【００３３】
記憶部１１は、ハードディスク又はフラッシュメモリ等の不揮発性の記録媒体を用いる。記憶部１１には、制御プログラム１Ｐが記憶されている。記憶部１１には、制御部１０が参照する情報が予め記憶されている。例えば、後述する事前に登録された従業員の特徴量を含む従業員情報１１１（図５参照）、撮像画像内の各領域と施設内の区画との対応関係を定義した管理領域情報１１２（図４参照）、及び、特定の監視対象の人物等を識別するための特徴量を含む特定監視情報１１３が記憶部１１に記憶されてある。また、施設の不正利用を自動的に検出するために、各人物の利用状態を示す状態情報と、各人物が存在している区画との組とからなる条件を含む不正検出条件が記憶されてある。
【００３４】
また記憶部１１には、制御部１０の処理によって認識された人物の識別情報（人物ＩＤ）と、追跡される各人物の動向に応じた利用状態を示す状態情報とが対応付けられた追跡情報が、データベース（Data Base ）化されて追跡情報群１１４として記憶される。特に、本実施の形態において追跡情報は、人物を識別する人物ＩＤ、前記状態情報、各人物を識別するために用いる特徴量を含む識別情報、更新時刻、人物が存在すると推定される領域に対応する区画ＩＤ、報知の有無等を示す付加情報、及び、更新を行なった契機などを示す備考情報を含む（図８参照）。制御部１０の処理により、記憶部１１の追跡情報群１１４が適宜更新される。
【００３５】
一時記憶部１６は、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＤＲＡＭ（Synchronous DRAM）等のＲＡＭを用い、制御部１０の処理によって生成される情報を一時的に記憶する。
【００３６】
画像取得部１２は、撮像装置２と対応するインタフェースを用い、撮像装置２と接続されている。画像取得部１２は、専用の画像用メモリ又は一時記憶部１６内に確保される画像用メモリ（図示せず）を用いる。画像取得部１２は、接続された撮像装置２から映像信号（時系列的に連続する複数の画像の画像データ）を入力し、入力した映像信号から、各画像の画像データを取得して画像用メモリに各記憶する。映像信号が、例えば１秒間に３０（２９．９７）フレーム分の画像の画像データからなる場合、画像取得部１２は、全ての画像の画像データを取得しなくてもよく、例えば、１秒間に１フレーム分の画像の画像データを取得して画像用メモリに順次記憶する。映像信号のフレームレート、及び画像取得部１２が画像データを取得する頻度は、適宜設定されればよい。制御部１０は、画像用メモリから、画像取得部１２により記憶された複数の画像の画像データを読み出すことが可能である。
【００３７】
記録制御部１３は、動画像記録装置３と対応するインタフェースを用い、動画像記録装置３と接続されている。記録制御部１３は、撮像装置２からの映像信号を動画像記録装置３へ出力させ、動画像記録装置３における記録開始、又は記録停止を制御するとよい。
【００３８】
表示部１４は、表示装置４と対応するインタフェースを用い、表示装置４に接続されている。制御部１０は、表示部１４を介し、操作画面、情報一覧、又は映像に係る画像を適宜表示装置４に表示させることが可能である。
【００３９】
報知部１５は、報知装置５に対応するインタフェースを用い、報知装置５に接続されている。制御部１０は、報知部１５を開始、音声を適宜報知装置５から出力させることが可能である。なお、報知部１５は、表示部１４の機能を包含するものであってもよい。
【００４０】
このように構成される利用者識別装置１、動画像記録装置３、表示装置４及び報知装置５は、施設の従業員のみが立ち入り可能な部屋等に設けられ、利用者識別装置１による処理が行なわれる。
【００４１】
図３は、本実施の形態における撮像装置２の設置箇所を示す説明図であり、図４は、本実施の形態における撮像装置２による撮像画像の内容例を示す説明図である。撮像装置２は、図３に示す位置の施設の壁面又は天井に設けられてある。撮像装置２は、受付用のカウンタ後方から、カウンタ、カウンタ前、及びカウンタ付近を、図４に示すように俯瞰する角度で設けられてある。なお、図３に示すように、撮像装置２の撮像範囲は、カウンタ内、カウンタ前、カウンタ付近、入口付近、施設付近、従業員専用区画Ａ、及び従業員専用区画Ｂとに区画が分けられており、図４に示した撮像画像内の各領域がいずれの区画に対応するかの管理領域情報１１２が利用者識別装置１の記憶部１１に記憶されてある。また、撮像画像内の各位置における距離と実距離との対応が記憶部１１に記憶されてもよい。
【００４２】
図５は、本実施の形態における記憶部１１の従業員情報１１１の内容例を示す説明図である。従業員情報１１１は、各従業員についての従業員の識別情報（ＩＤ）及び特徴量情報がデータベース化されたものである。特徴量情報は、各人物固有の顔認識情報を含む。顔認識情報は、予め、利用者識別装置１の制御部１０が、制御プログラム１Ｐに基づき、従業員を撮像して得られた画像に基づいて顔認識処理を行なうことによって得られる。また、特徴量情報には、各人物の身長情報が含まれる。従業員情報１１１の特徴量情報には、性別情報、又は年齢情報が含まれてもよい。図５の例では、例えばＩＤが「Ｅ０００２」の従業員の特徴量情報として、顔認識情報及び身長情報が予め対応付けられて記憶されてある。なお、従業員情報１１１は、各人物を固有に識別する情報に限らない。例えば、画像に写る人物が従業員であるか否かを識別できればよいから、例えば、従業員情報１１１は、従業員の制服の色、模様、又はマーク等の画像情報であってもよい。
【００４３】
上述のように構成される入退場管理システムにおいて、利用者識別装置の処理によって利用者を識別する具体的な方法について、フローチャートを参照して以下に説明する。図６及び図７は、本実施の形態における利用者識別装置１にて実行される処理手順の一例を示すフローチャートである。
【００４４】
制御部１０は、以後、処理を終了するまでの期間における来場者数を初期値（ゼロ）とする（ステップＳ１０１）。制御部１０は、画像取得部１２によって画像用メモリに記憶されてある複数の画像の画像データから、最新のフレーム画像の画像データを一時記憶部１６に読み出す（ステップＳ１０２）。制御部１０は、読み出した画像データに基づき、画像中の人物領域を抽出し（ステップＳ１０３）、抽出された人物領域から特徴量を算出する（ステップＳ１０４）。このとき制御部１０は、画像に人物が写っておらず人物領域を抽出できなかった場合、ステップＳ１０４以後のステップを省略し、後述するステップＳ１２５へ処理を進める。
【００４５】
ステップＳ１０４にて制御部１０は、特徴量として、画像中の顔に対応する部分から得られる各人物固有の顔認識情報を算出する。また、制御部１０は、他の特徴量として、撮像画像中の人物が写っている位置及び大きさから推定される身長情報、写っている人物に対応する範囲の色又は模様から得られる服装情報を算出する。制御部１０は、他の特徴量として顔認識処理により得られる推定性別及び推定年齢を算出する。
【００４６】
制御部１０は、人物が写っている位置及び大きさに基づき、写っている人物が存在する区画を、領域管理情報１１２に基づき特定する（ステップＳ１０５）。制御部１０は、写っている人物の内、一人の人物を選択する（ステップＳ１０６）。
【００４７】
制御部１０は、選択中の人物に対応する特徴量が、追跡情報群１１４内に既に記憶されている追跡情報が含む特徴量と合致するか否かにより、新規人物を検出したか否かを判断する（ステップＳ１０７）。このとき制御部１０は、ステップＳ１０４にて、顔部分が不明瞭である等の理由により顔認識ができなかった場合であっても、身長情報、又は服装情報等の他の特徴量により、同一人物であると推定できる範囲で合致するか否かを判断すればよい。
【００４８】
制御部１０は、ステップＳ１０７にて新規人物を検出したと判断した場合（Ｓ１０７：ＹＥＳ）、新規人物に対して付与する人物ＩＤに、来場者（利用前における手続未完了状態）であることを示す状態情報、ステップＳ１０４で算出した特徴量（識別情報）、更に、ステップＳ１０５で特定した区画に対応する区画ＩＤ、及び時刻情報（更新時刻）を対応付けた追跡情報を作成し（ステップＳ１０８）、追跡情報群１１４に追記する（ステップＳ１０９）。制御部１０は、利用者数に１を加算し（ステップＳ１１０）、次のステップＳ１１２へ進める。
【００４９】
制御部１０は、ステップＳ１０７にて、既に記憶されている特徴量と合致すると判断した場合（Ｓ１０７：ＮＯ）、合致すると判断された人物の追跡情報を、ステップＳ１０４にて新たに算出された特徴量、ステップＳ１０５で特定した区画に対応する区画ＩＤ、及び時刻情報（更新時刻）等で更新する（ステップ１１１）。ステップＳ１０４における顔認識処理では、ある程度、人物が撮像装置２に近づくまで精度が不十分であるから、他の方法で合致すると判断した後、十分な精度の顔認識情報を追記して更新すればよい。
【００５０】
次に制御部１０は、新規人物として検出された場合、及び既に認識されている人物として検出された場合のいずれの場合でも、追跡情報群１１４の他の特徴量が算出されてある他の人物と一致するか否かを判断する（ステップＳ１１２）。制御部１０は、一致すると判断した場合（Ｓ１１２：ＹＥＳ）、追跡情報群１１４を適宜削除又は追加して編集し（ステップＳ１１３）、処理を次のステップＳ１１４へ進める。誤認識等によって別人物を同一人物と認識した場合、又は逆に同一人物を別人物として認識した場合に、追跡情報を適切なものとする。制御部１０は、ステップＳ１１２で一致しないと判断した場合（Ｓ１１２：ＮＯ）、処理を次のステップＳ１１４へ進める。
【００５１】
制御部１０は、選択中の人物に対応する特徴量が、従業員情報１１１に含まれる特徴量と対応するか否かを判断する（ステップＳ１１４）。制御部１０は、ステップＳ１１４にて対応しないと判断した場合（Ｓ１１４：ＮＯ）、選択中の人物に対応する特徴量が、特定監視情報１１３に含まれる特徴量と対応するか否かにより、人物が監視対象人物か否かを判断する（ステップＳ１１５）。なお、ステップＳ１１１の判断は、ステップＳ１０７の新規人物を検出したか否かの判断の前に行なうようにしてもよい。
【００５２】
制御部１０は、ステップＳ１１５にて監視対象でないと判断した場合（Ｓ１１５：ＮＯ）、選択中の人物による所定の受付手続を検知したか否かを判定する（ステップＳ１１６）。
【００５３】
ステップＳ１１６において、制御部１０は、例えば、ステップＳ１０５で特定された利用者が存在する区画、現時点における従業員の追跡情報に基づく従業員が存在する区画、選択中の人物及び、いずれかの従業員間の距離、又は追跡情報の履歴等に基づき、追跡情報に対応する利用者が受付手続を行なったか否かを判定する。具体的には、ステップＳ１０５で特定された区画、即ち、選択している人物がカウンタ前に存在しており、且つ、いずれかの従業員がカウンタ内に存在しており、更に、選択中の人物が写っている画像において、選択中の人物の顔部分に相当する範囲に基づいて、顔がカウンタ側を向いていると特定できる場合に、制御部１０は受付手続を行なったと判定する。また、制御部１０は、画像内で、選択中の人物が写っている箇所と、いずれかの従業員が写っている箇所との間の距離が所定の距離以下である場合に、受付手続を行なったと判定するようにしてもよい。又は、制御部１０は、選択中の人物がカウンタ前に存在しており、且つ、所定の会員カード、所定のキーホルダ等が、取得中の画像内で選択中の人物付近に写っている場合に、受付手続を行なったと判定するようにしてもよい。また、制御部１０は、選択中の人物の追跡情報の区画ＩＤの履歴により、所定の期間（例えば３分）以上、選択中の人物がカウンタ前に存在している場合に、受付手続を行なったと判定するようにしてもよい。この場合、制御部１０は、選択中の人物の区画ＩＤを更新するに際し、最初にカウンタ前であることを検知したときの時刻情報を備考情報として追跡情報に加えておくことにより、滞在時間を推定することが可能である。更に、制御部１０は、画像に基づき、カウンタ上での金銭の授受、クレジットカード提示、サイン記入、暗証番号入力、金銭の収納等の動作を識別して支払い手続きが完了したか否かを判断し、これにより受付手続を行なったか否かを判定するようにしてもよい。
【００５４】
制御部１０は、ステップＳ１１６にて検知したと判断した場合（Ｓ１１６：ＹＥＳ）、追跡情報の状態情報を、来場者（利用前における手続未完了状態）であれば施設利用者（利用前における手続完了状態）へ、又は施設利用者（利用後における手続未完了状態）であれば退場予定者（利用後における手続完了状態）へと更新し（ステップＳ１１７）、処理を次のステップＳ１１９へ進める。
【００５５】
制御部１０は、ステップＳ１１６にて検知しないと判断した場合（Ｓ１１６：ＮＯ）、処理を次のステップＳ１１９へ進める。
【００５６】
制御部１０は、ステップＳ１１４にて従業員情報の特徴量と対応すると判断した場合（Ｓ１１４：ＹＥＳ）、追跡情報に、従業員であることを示す情報（備考）と、勤務中状態を示す状態情報とを対応付けて更新し（ステップＳ１１８）、処理をステップＳ１１９へ進める。
【００５７】
次に制御部１０は、選択中の人物の不正を検出したか否かを判断する（ステップＳ１１９）。ステップＳ１１９において制御部１０は、ステップＳ１０５で特定した区画、及び追跡情報の状態情報に基づき、選択中の人物の状態情報が記憶部１１に予め記憶されてある所定の不正検出条件に対応するか否かを判断する。
【００５８】
ステップＳ１１９において詳細には、制御部１０は、例えば、選択中の人物の追跡情報の状態情報が、来場者であるにも拘わらず区画が施設内であるという状態を示す場合、不正検出条件に対応すると判断する。受付手続が未完了のまま施設を利用していることが推測されるからである。また、選択中の人物が従業員でないにも拘わらず、ステップＳ１０５で特定した区画が、従業員専用区画Ａ又はＢである場合、制御部１０は、不正検出条件に対応すると判断する。また、選択中の人物が従業員である場合、画像から不正に関する動作を認識した場合には、不正検出条件に対応すると判断する。
【００５９】
制御部１０は、ステップＳ１１９にて不正を検出しないと判断した場合（Ｓ１１９：ＮＯ）、処理をそのまま次のステップＳ１２４へ進める。
【００６０】
制御部１０は、ステップＳ１１９にて、不正を検出したと判断した場合（Ｓ１１９：ＹＥＳ）、追跡情報に報知すべきことを示す情報を付加し（ステップＳ１２０）、表示部１４及び報知部１５により、表示装置４及び報知装置５にて画像及び音声にて報知させる（ステップＳ１２１）。制御部１０は更に、不正検出条件に対応する追跡情報を記憶部１１に特定監視情報１１３として保持し（ステップＳ１２２）、処理を次のステップＳ１２４へ進める。なお、不正検出条件の内容によっては、ステップＳ１２２の処理は省略してもよい。例えば、選択中の人物の追跡情報において、状態情報は、受付手続が未完了である状態を示しているにも拘わらず、対応付けられている区画ＩＤが施設付近である場合、ステップＳ１２２の処理は省略してもよい。このような利用者には、受付手続を促すために報知は行なわれるべきであるが、その後受付手続が行なわれれば不正とならないので、特定監視対象とすべきでないからである。このように不正検出条件を種々設定しておき、必要に応じて特定監視情報１１３が保持されるようにしておけばよい。
【００６１】
また制御部１０は、ステップＳ１１５にて特定監視対象であると判断した場合（Ｓ１１５：ＹＥＳ）、表示部１４及び報知部１５により、表示装置４及び報知装置５にて画像及び音声にて報知させ（ステップＳ１２３）、処理を次のステップＳ１２４へ進める。
【００６２】
制御部１０は、読み出した画像データに基づき、写っている全人物について処理を完了したか否かを判断する（ステップＳ１２４）。制御部１０は、処理が未完了であると判断した場合（Ｓ１２４：ＮＯ）、次の人物について処理を実行すべく処理をステップＳ１０６へ戻す。
【００６３】
制御部１０は、処理が完了したと判断した場合（Ｓ１２４：ＹＥＳ）、読み出している画像データに基づく画像内における不可視の人物の追跡情報を抽出する（ステップＳ１２５）。制御部１０は、抽出した追跡情報を、施設利用中であるか、又は施設外退出かを示す情報で更新する（ステップＳ１２６）。このとき、制御部１０は、直近の区画ＩＤが施設付近である場合には、追跡情報の区画ＩＤを「施設内」（利用中）へ更新し、直近の区画ＩＤが出入口付近である場合には、追跡情報の区画ＩＤを「施設外」（退出中）へ更新する。これにより、一時的に退場した人物の情報はそのまま利用者として追跡情報の更新が続行される。
【００６４】
次に制御部１０は、終了指示の有無を判断する（ステップＳ１２７）。制御部１０は、終了指示無と判断した場合（Ｓ１２７：ＮＯ）、処理をステップＳ１０２へ戻して処理を続行し、次のフレーム画像の画像データに対する処理を行なう。このとき制御部１０は、読み出してある画像データを削除してよい。なお、終了指示は例えば、施設の当日の営業を終了する際に、施設管理者の操作により為される。
【００６５】
制御部１０は、終了指示有と判断した場合（Ｓ１２７：ＹＥＳ）、計数した来場者数を記憶部１１に記憶する（ステップＳ１２８）。制御部１０は、記憶されている追跡情報群１１４の内、受付手続きを所定の手順で完了させている利用者の追跡情報については削除し（ステップＳ１２９）、処理を終了する。ステップＳ１２９において制御部１０は、例えば、利用後の受付手続きが完了して退館予定であると状態情報が示しており、区画ＩＤが「施設外」である追跡情報については、正当な利用者であったとして削除してよい。なお、ステップＳ１２９の削除は、管理者の操作によって行なわれてもよい。
【００６６】
上述の処理によって作成され、記憶される追跡情報と、追跡情報の更新について具体例を挙げて説明する。図８は、利用者識別装置１にて記憶される追跡情報の内容例を示す説明図である。図８に示す追跡情報の内容例は、例えば、フィットネスクラブに本実施の形態の入退場管理システムを稼働させた場合に、ある日の１１時時点における追跡情報を示している。
【００６７】
図８に示すように、追跡情報は、各人物に対し、人物ＩＤ、状態情報、識別情報、更新時刻、区画ＩＤ、付加情報及び備考情報を含む。図８の例では、最初にクラブに来場した人物に対応する特徴量には、当日においては新規人物として検出されて「０００１」の人物ＩＤが対応付けられている。「０００１」の人物ＩＤの人物に対応する特徴量は、従業員情報１１１の特徴量と対応するために、従業員であることが追跡情報の備考として記憶され、従業員のＩＤ「Ｅ０００３」が識別情報として追跡情報に含まれている。その後、１１時時点において、「０００１」の人物ＩＤが付与された従業員である人物は、画像内のカウンタ内に対応する領域に９時から写っており、これにより、「勤務」という状態情報と、カウンタ内に対応する区画ＩＤとが追跡情報に含まれるように更新されている。同様にして、ＩＤ「Ｅ０００２」の従業員が、クラブに来場した場合も、新規人物として検出されて「０００２」の人物ＩＤが対応付けられ、従業員のＩＤ「Ｅ０００２」を含む識別情報、区画ＩＤ「従業員専用区画Ｂ」、及び「勤務」という状態情報を含む追跡情報が作成され、記憶されている。
【００６８】
また、図８の例では、３番目に来場した人物が新規人物として検出され、対応する特徴量に、「０００３」の人物ＩＤが対応付けられている。人物ＩＤ「０００３」が対応付けられた特徴量は、従業員情報１１１の特徴量と対応しなかったために、来場者であることを示す状態情報が対応付けられ、以後、顔認識の固有情報、身長情報、及び服装色を含む特徴量が識別情報として記憶される。また、人物ＩＤ「０００３」の人物は、手続用の受付カウンタにて所定の受付手続を行なったため、利用者識別装置１の制御部１０の処理により受付手続が行なわれたと判定され、状態情報が正当な施設利用者であることを示す利用状態に更新されている。１１時時点で、人物ＩＤ「０００３」の人物は、撮像装置２の撮像範囲外からはずれて「不可視」であるが、１０時０８分に撮像範囲内で検出されたときには、区画ＩＤ「施設付近」に対応する領域に存在したため、施設内に入ったことが推定されるから、備考情報として「施設利用中」が記憶されている。
【００６９】
図８の例では、１１時の時点で、４番目に来場した人物が新規人物として検出され、対応する特徴量に、「０００４」の人物ＩＤが対応付けられ、追跡情報として追跡情報群１１４に記憶されたばかりであることが示されている。人物ＩＤ「０００４」が対応付けられた特徴量は、従業員情報１１１の特徴量と対応しなかったために、来場者であることを示す状態情報が対応付けられている。また、人物ＩＤ「０００４」には、「入口付近」であることを示す区画ＩＤが対応付けられている。以後、人物ＩＤ「０００４」の人物が施設内で移動することに応じて、「０００４」の追跡情報の区画ＩＤ、識別情報、更新時刻、及び備考情報が更新される。
【００７０】
利用者識別装置１は、図８に示したように追跡情報の一覧を、表示装置４にて表示されるように制御部１０が処理してもよい。この場合制御部１０は、追跡情報群１１４に追跡情報が作成されるか、又は追跡情報が更新される都度、表示している一覧を更新する。これにより、従業員が現在の利用者の動向を把握することができるようになる。
【００７１】
図９〜図１３は、利用者識別装置１における処理による追跡情報の推移を説明するための説明図である。図９〜図１３においては、図の上部から下部へ向かって追跡情報の時間的推移が示されている。つまり、上部の追跡情報は古い情報であり、下部の追跡情報はより新しい情報を示している。
【００７２】
図９は、図８における人物ＩＤ「０００３」の追跡情報の推移を示している。人物ＩＤ「０００３」の人物は、１０時に撮像装置２の撮像範囲内に入り、撮像画像に基づいて新規人物として検出され、これにより、人物ＩＤ「０００３」に「来場者」であることを示す状態情報が対応付けられた追跡情報が記憶されている。以後、人物ＩＤ「０００３」の人物が移動する都度、撮像画像内における人物領域の位置に応じて特定される区画ＩＤにより、追跡情報が更新される。そして１０時０７分に、特定された区画ＩＤが「カウンタ前」であるときに、従業員との受付手続を行なったと検知され、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。１０時０８分の時点では、人物ＩＤ「０００３」の人物は、撮像画像に写っておらず、人物領域が抽出されなかったが、状態情報が「施設利用者」を示しているから、施設利用中と推定され、区画ＩＤが「施設内」と更新されている。その後、人物ＩＤ「０００３」の人物の追跡情報は、１２時０２分に特定された区画ＩＤが「カウンタ前」であるときに、従業員との受付手続を行なっていると検知され、状態情報が受付完了後の「退場予定者」であることを示す状態情報に更新されている。その後、人物ＩＤ「０００３」の人物が退場して撮像範囲から不可視となったときには、区画ＩＤが「施設外」に更新される。
【００７３】
図１０は、図８における人物ＩＤ「０００４」の追跡情報の推移を示している。人物ＩＤ「０００４」の人物の追跡情報は、１１時０５分に「カウンタ付近」の区画ＩＤが特定された後、従業員との受付手続を行なったことが検知されることなしに、１１時０６分に「施設付近」の区画ＩＤが特定されている。これにより、人物ＩＤ「０００４」の人物の追跡情報については、受付手続が未完了状態であるにも拘わらず、区画ＩＤが「施設付近」となっていることにより、不正検出条件に対応すると判断されて、報知がなされている。これにより、従業員は受付手続なしに施設内に入ろうとする人物に対して、適切な案内を行なうことができる。その後、案内に応じて受付手続きが行なわれれば、人物ＩＤ「０００４」の人物の追跡情報は、１１時１２分に従業員との受付手続を行なったと検知されたことにより、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。
【００７４】
図１１は、新たに検出された人物ＩＤ「０００５」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００５」の人物の追跡情報は、１２時０７分に、利用前の受付手続を行なったことが検知されたことで、状態情報が受付完了後の正当な「施設利用者」であることを示す状態情報に更新されている。その後、１４時０５分に、利用後の受付手続を行なったことが検知されることなしに、「入口付近」の区画ＩＤが特定され、報知がなされている。その後「不可視」の区画ＩＤに更新され、人物ＩＤ「０００５」の人物が退場したままである場合、処理終了後に削除されることなく記憶部１１に保持される。これにより、従業員は記憶部１１に残存した追跡情報により、未精算の利用者を把握することができる。なお、残存した追跡情報中の不正利用に関する情報は、特定監視情報１１３として記憶されることによって、受付手続きを行なわずに施設から退出した人物が再度、施設を不正利用することを防止することが可能となる。
【００７５】
図１２は、新たに検出された人物ＩＤ「０００６」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００６」の人物については、１３時０１分の時点で顔認識により、特徴量が特定監視情報１１３に記憶されている特徴量と対応すると判断され、報知がなされている。特定監視情報１１３には、図１１のように追跡情報が推移した人物の特徴量等が記憶されているから、次に来場したときに図１２に示したように報知がなされる。これにより、一度不正利用を行なった人物が再度、不正利用することを防止できる。
【００７６】
図１３は、新たに検出された人物ＩＤ「０００７」の追跡情報の推移を示している。新たに検出された人物ＩＤ「０００７」の人物は、１２時００分の時点で撮像装置２の撮像範囲内に入り、撮像画像に基づいて新規人物として検出され、これにより、「来場者」であることを示す状態情報が対応付けられた追跡情報が記憶されている。その後、人物ＩＤ「０００７」の人物は、従業員でないにも拘らず、「カウンタ内」に存在することが特定されるために、不正検出条件により、不正が検出されて報知がなされている。この場合、表示装置４及び報知装置５による報知と共に、防犯システムを利用した通報を行なうようにしてもよい。通報を行なうか否かは、施設毎の設定に応じて判断されればよい。
【００７７】
このようにして、本実施の形態で開示した入退場管理システムでは、パーソナルコンピュータを用いた利用者識別装置１を撮像装置２と接続させるという簡易な構成にて、各識別される来場者に対し、受付手続を行なったか否かに応じた利用状態の遷移を追跡することができる。また、利用者識別装置１によって利用者を各識別することができるために重複計数を防止することができ、来場者数、及び退場者数をより正確に記録することができる。受付手続に係る利用状態が追跡されるから、来場者数及び退場者数と、受付手続又は会計手続の回数との間の矛盾を、利用者による不正行為及び従業員による不正行為によるものと推定検出することが可能となる。追跡情報群１１４の履歴と、別途会計システムを利用して、会計システムにて特定される会計処理の記録との間で時間的な比較を行なうことによって不正行為を検出することも可能となる。更に、動画像記録装置３を用いて不正行為が推定される時点におけるカウンタ付近の映像を記録する構成により、不正行為を抑制することもできる。不正検出条件に基づいて自動的に不正行為を推定検出し、表示装置４及び報知装置５にて報知を行なう構成により、即時的に従業員が適切な対応を行なうことも可能となる。
【００７８】
本実施の形態では、撮像画像から人物領域を抽出して追跡情報群１１４に記憶している追跡情報と対応すると判断された場合には、常に最新の情報に更新される構成とした。しかしながら、本発明はこのような構成に限らない。例えば制御部１０は、各人物の追跡情報の更新履歴（図９〜図１３の全情報）を一時記憶部１６に記憶しておき、不正検出条件に対応するとして追跡情報を保持するに際し、更新履歴を全て記憶部１１に記憶してもよい。
【００７９】
なお、利用者識別装置１、撮像装置２、動画像記録装置３、表示装置４、及び報知装置５間は、図１及び図２に示したように有線接続されるのみならず、無線通信によって信号又は情報の送受信が可能な構成であってもよい。
【００８０】
本実施の形態では、受付手続を入場時及び退場時の両方にて行なったか否かを判定する構成とした。しかしながら、本発明はこのような構成に限らない。例えば、施設毎の取り決めに応じて、入場時又は退場時の一方のみで判定するようにするなど適宜、正当な利用状態の遷移が判定できるように設定することができるように構成すればよい。
【００８１】
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【００８２】
１  利用者識別装置
１０  制御部
１Ｐ  制御プログラム（コンピュータプログラム）
１１  記憶部
１１１  従業員情報
１２  画像取得部
１５  報知部
１６  一時記憶部
２  撮像装置
５  報知装置
【図１】
2016045654.tif 000003
【図２】
2016045654.tif 000004
【図３】
2016045654.tif 000005
【図４】
2016045654.tif 000006
【図５】
2016045654.tif 000007
【図６】
2016045654.tif 000008
【図７】
2016045654.tif 000009
【図８】
2016045654.tif 000010
【図９】
2016045654.tif 000011
【図１０】
2016045654.tif 000012
【図１１】
2016045654.tif 000013
【図１２】
2016045654.tif 000014
【図１３】
2016045654.tif 000015