(57)【特許請求の範囲】
【請求項１】
複数の商品が配置された所定領域内に設置された複数のカメラによって撮影された映像から人物を識別する監視装置であって、
前記複数のカメラからの映像と、前記所定領域内に設置されたＰＯＳレジスタからの人物が購入した商品を表す購入履歴情報とを受信する受信部と、
人物の特徴を表す特徴情報と、前記カメラの撮影領域を表す撮影領域情報とを格納する記憶部と、
前記特徴情報に基づいて前記映像から人物を識別する制御部と、
を備え、
前記制御部は、前記購入履歴情報と前記撮影領域情報とに基づいて、前記人物が通過した撮影領域を撮影したカメラを特定する、
監視装置。
【請求項２】
前記制御部は、前記人物が通過した撮影領域を撮影したカメラとして、前記購入履歴情報に含まれる商品が配置されていた位置を撮影したカメラを前記撮影領域情報に基づいて特定する、請求項１に記載の監視装置。
【請求項３】
前記複数のカメラは、所定の位置に配置された第一カメラと、前記制御部によって前記人物が通過した撮影領域を撮影したカメラとして特定された第二のカメラと、を含み、
前記第二のカメラで撮影された映像から識別できなかった前記人物を、前記第一のカメラにおいて前記人物が撮影された時間に基づき、前記第二のカメラにより撮影された映像において特定する、
請求項１に記載の監視装置。
【請求項４】
前記制御部は、前記第一のカメラにおいて前記人物が撮影された時間に基づき、前記第二のカメラの撮影領域を前記人物が通過した時間帯を算出し、前記算出した時間帯に、前記第二のカメラにより撮影された映像において、２人以上の人物候補が映っている場合、前記特徴情報に基づいて、前記２人以上の人物候補の中から１人を前記人物として特定する、請求項３に記載の監視装置。
【請求項５】
前記制御部は、前記受信部が受信した映像から前記人物の特徴を抽出して前記特徴情報を生成して、前記記憶部に格納する、請求項１に記載の監視装置。
【請求項６】
前記第一のカメラは、前記ＰＯＳレジスタで購入中の人物を撮影可能な位置に設置される、請求項３に記載の監視装置。
【請求項７】
複数の商品が配置された所定領域内に設置された複数のカメラと、
前記所定領域内に設置され、人物が購入した商品を表す購入履歴情報を取得するＰＯＳレジスタと、
人物の特徴を表す特徴情報と前記カメラの撮影領域を表す撮影領域情報とを有し、前記特徴情報に基づいて前記映像から人物を識別し、前記購入履歴情報と前記撮影領域情報とに基づいて、前記人物が通過した撮影領域を撮影したカメラを特定する、請求項１から請求項６のいずれかに記載の監視装置と、
を含む、監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラに映っている人物を識別して、識別した人物を追跡するための監視装置及び監視システムに関する。
【背景技術】
【０００２】
特許文献１は、複数の監視カメラを備えた監視システムを開示する。この監視システムにおいて、監視カメラは映像に映った対象物の特徴情報を抽出して、その特徴情報を他の監視カメラに伝送する。これにより、複数の監視カメラが連携して、同一の特徴情報を持つ対象物を追跡して監視することを可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−３２４７２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は、精度良く対象物を追跡するのに有効な監視装置及び監視システムを提供する。
【課題を解決するための手段】
【０００５】
本開示にかかる監視装置は、複数の商品が配置された所定領域内に設置された複数のカメラによって撮影された映像から人物を識別する監視装置であって、複数のカメラからの映像と、所定領域内に設置されたＰＯＳレジスタからの人物が購入した商品を表す購入履歴情報とを受信する受信部と、人物の特徴を表す特徴情報と、カメラの撮影領域を表す撮影領域情報とを格納する記憶部と、特徴情報に基づいて映像から人物を識別する制御部と、を備え、制御部は、購入履歴情報と撮影領域情報とに基づいて、人物が通過した撮影領域を撮影したカメラを特定する。
【発明の効果】
【０００６】
本開示における監視装置及び監視システムは、精度良く対象物を追跡するのに有効である。
【図面の簡単な説明】
【０００７】
【図１】実施形態１の監視システムの構成を示すブロック図
【図２】（ａ）は実施形態１における購入履歴情報テーブルの一例を示す図、（ｂ）は実施形態１における陳列情報テーブルの一例を示す図、（ｃ）は実施形態１における撮影領域情報テーブルの一例を示す図
【図３】実施形態１における複数の監視カメラの配置例を示す図
【図４】実施形態１における人物の識別の動作を説明するためのフローチャート
【図５】（ａ）は人物の特徴抽出を説明するための図、（ｂ）は実施形態１における特徴情報テーブルの一例を示す図
【図６】実施形態１における撮影時刻情報テーブルの一例を示す図
【図７】実施形態１における撮影時刻情報テーブルの修正の動作を説明するためのフローチャート
【図８】実施形態１における撮影時刻情報の修正を説明するための図
【発明を実施するための形態】
【０００８】
以下、適宜図面を参照しながら、実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【０００９】
（実施形態１）
実施形態１について、図面を用いて説明する。本実施形態においては、複数の監視カメラのうちの一部において対象物（本実施形態において、人物）の特徴を抽出できない状況が生じても、その対象物を追跡するのに有効な監視システムを提供する。
【００１０】
［１．構成］
図１は、実施形態１の監視システムの構成を示している。本実施形態の監視システム１００は、複数の監視カメラ１（監視カメラａ，ｂ，ｃ）と、複数のＰＯＳ（Point of Sales）レジスタ（レジ）２と、複数の監視カメラ１で撮影された映像に映っている人物を識別し、複数のＰＯＳレジスタ２で取得された購入履歴情報を使用して、識別した人物を追跡する監視装置３とを含む。
【００１１】
各監視カメラ１は、それぞれ、映像を撮影する撮影部１１と、撮影部１１が撮影した映像を送信する送信部１２とを有する。撮影部１１は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどで実現できる。送信部１２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
【００１２】
各ＰＯＳレジスタ２は、店舗内の人物が購入した商品を表す購入履歴情報を取得する購入履歴情報取得部２１と、取得した購入履歴情報を送信する送信部２２とを有する。購入履歴情報取得部２１は、スキャナ、ＣＣＤ、又はレーザなどを使用したバーコードリーダを備える。送信部２２は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
【００１３】
監視装置３は、各監視カメラ１からの映像と各ＰＯＳレジスタ２からの購入履歴情報とを受信する受信部３１と、受信した映像を格納する映像蓄積部３２ａと、受信した購入履歴情報を含む購入履歴情報テーブルＴ１を格納する購入履歴情報蓄積部３２ｂと、映像蓄積部３２ａに蓄積された映像に映っている人物を識別して、識別した人物を追跡する制御部３３と、を有する。受信部３１は、所定の通信規格（例えばＬＡＮ、ＷｉＦｉ）に準拠して外部機器との通信を行うためのインタフェース回路を備える。
【００１４】
制御部３３は、半導体素子などで実現可能である。制御部３３の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部３３は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。
【００１５】
制御部３３は、映像蓄積部３２ａに蓄積された映像に映っている人物を識別する認識部３３ａを含む。認識部３３ａは、映像蓄積部３２ａに蓄積された映像に映っている人物の特徴を抽出して、その特徴を表す特徴情報を生成すると共に、抽出した特徴を持つ人物が監視カメラ１に映っている時間帯を表す撮影時刻情報を生成する。特徴情報と撮影時刻情報は、人物を認識することによって得られる認識情報である。
【００１６】
監視装置３は、さらに、陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とを格納する商品棚情報蓄積部３２ｃと、特徴情報テーブルＴ４と撮影時刻情報テーブルＴ５を格納する認識情報蓄積部３２ｄと、を有する。陳列情報テーブルＴ２と撮影領域情報テーブルＴ３は、商品棚情報蓄積部３２ｃに予め格納されている。陳列情報テーブルＴ２は、どの商品が店舗内のどの商品棚に陳列されているかを示す陳列情報を含む。撮影領域情報テーブルＴ３は、監視カメラ１が撮影可能な領域を示す撮影領域情報を含む。陳列情報は商品が陳列されている商品棚に関する情報を含み、撮影領域情報は監視カメラ１が撮影する商品棚に関する情報を含む。特徴情報テーブルＴ４は、認識部３３ａによって生成された人物の特徴情報を含む。撮影時刻情報テーブルＴ５は、認識部３３ａによって生成された撮影時刻情報を含む。
【００１７】
制御部３３は、さらに、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３と特徴情報テーブルＴ４とに基づいて撮影時刻情報テーブルＴ５を修正する認識情報修正部３３ｂを有する。認識情報修正部３３ｂは、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とに基づいて、識別した人物が映るはずの監視カメラ１を特定し、特定した監視カメラ１の撮影時刻情報があるか否か（すなわち、特性した監視カメラ１に識別した人物が映っているか否か）を撮影時刻情報テーブルＴ５に基づいて判断する。認識情報修正部３３ｂは、特定した監視カメラ１の撮影時刻情報がない（すなわち、特性した監視カメラ１に識別した人物が映っていない）と判断した場合、撮影時刻情報テーブルＴ５に基づいて、映っていない人物が特定した監視カメラ１に映るはずの時間帯を算出（推定）し、算出（推定）した時間に監視カメラ１に映っている他の人物が、映っていない人物であると判断して、撮影時刻情報テーブルＴ５を修正する。
【００１８】
映像蓄積部３２ａ、購入履歴情報蓄積部３２ｂ、商品棚情報蓄積部３２ｃ、及び認識情報蓄積部３２ｄは、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、又は磁気ディスクなどで実現できる、同一の又は別個の記憶部である。
【００１９】
監視装置３は、さらに表示部３４を有する。表示部３４は、映像蓄積部３２ａに蓄積された映像と、特徴情報テーブルＴ４及び撮影時刻情報テーブルＴ５とを表示可能である。表示部３４は、液晶ディスプレイなどで実現できる。
【００２０】
図２（ａ）は実施形態１における購入履歴情報テーブルＴ１の一例を示す。購入履歴情報テーブルＴ１は、ＰＯＳレジスタ２の購入履歴情報取得部２１によって取得された購入履歴情報４１を含む。購入履歴情報４１は、人物の識別情報（ＩＤ）と、その人物が購入した商品の識別情報（ＩＤ）とを含む。図２（ｂ）は実施形態１における陳列情報テーブルＴ２の一例を示す。陳列情報テーブルＴ２は、商品の識別情報（ＩＤ）とその商品が陳列されている商品棚の識別情報（ＩＤ）とを含む陳列情報４２によって構成される。陳列情報テーブルＴ２は、予め、例えば商品の陳列場所が決定されたときに、商品棚情報蓄積部３２ｃに格納される。図２（ｃ）は実施形態１における撮影領域情報テーブルＴ３の一例を示している。撮影領域情報テーブルＴ３は、監視カメラ１の識別情報（ＩＤ）とその監視カメラ１の撮影領域とを含む撮影領域情報４３によって構成される。撮影領域情報テーブルＴ３は、予め、例えば監視カメラ１が設置されたときに、商品棚情報蓄積部３２ｃに格納される。
【００２１】
図３に、監視カメラ１の配置例を示す。本実施形態において、監視カメラ１（監視カメラａ，ｂ，ｃ）は、店舗に設置される。図３の例において、監視カメラａは入口を撮影し、監視カメラｂは商品棚Ａ０１及びＡ０２を撮影し、監視カメラｃはＰＯＳレジスタ２を撮影する位置に、それぞれ配置される。なお、監視カメラ１の数と設置場所は、単なる例であって任意に変更可能であるが、監視カメラ１のうちの少なくとも１つはＰＯＳレジスタ２を撮影可能な範囲に設置する。監視カメラ１はそれぞれ、撮影部１１が撮影した映像を、送信部１２から監視装置３に送信する。送信された映像は、監視装置３の映像蓄積部３２ａに格納される。
【００２２】
［２．人物の識別（撮影時刻情報の生成）］
図４は、認識部３３ａによる人物の識別の処理を示す。認識部３３ａは、図４に示す人物の識別の処理を所定のタイミングで行う。例えば、所定のタイミングは、ユーザが監視装置３に指示したときであっても良いし、所定時間（例えば、２４時間）毎であっても良い。
【００２３】
認識部３３ａは、映像蓄積部３２ａに蓄積されている映像を読み出して、映像に映っている人物の特徴を抽出する（Ｓ４０１）。認識部３３ａは、例えば、入口側に設置された監視カメラａの映像から順に、又はＰＯＳレジスタ２側に設置された監視カメラｃの映像から順に、映像を解析する。認識部３３ａは、人物の特徴として、例えば、顔の一部の、形状、色、大きさ、又は位置を抽出する。図５（ａ）に人物の特徴抽出の例を示し、図５（ｂ）に特徴情報テーブルＴ４の一例を示す。認識部３３ａは、人物の特徴として、例えば、図５（ａ）に示すような両目の間の距離（「Ｉ−ＩＩ」間の距離）と一方の目と鼻との距離（「ＩＩ−ＩＩＩ」間の距離）を抽出し、抽出した特徴（距離）を含む特徴情報４４を図５（ｂ）に示すような特徴情報テーブルＴ４に追加する。
【００２４】
このとき、認識部３３ａは、抽出した特徴と一致する特徴を示す特徴情報４４が既に特徴情報テーブルＴ４にあるか否かを判断し（Ｓ４０２）、一致する特徴情報４４がなければ、映像から新たに人物を抽出したと判断して、その人物を識別するための識別情報（ＩＤ）を生成し、生成した識別情報とその人物の特徴（「Ｉ−ＩＩ」間の距離と「ＩＩ−ＩＩＩ」間の距離）を含む特徴情報４４を特徴情報テーブルＴ４に追加する（Ｓ４０３）。
【００２５】
監視カメラ１によって撮影される映像はその映像の撮影時刻の情報を含み、ＰＯＳレジスタ２によって取得される購入履歴情報４１はその購入履歴情報４１の記録時刻の情報を含む。よって、ＰＯＳレジスタ２に設置された監視カメラｃの撮影時刻と、ＰＯＳレジスタ２によって取得された購入履歴情報４１の記録時刻とを参照することによって、監視カメラｃの映像に映っている人物と、購入履歴情報４１に示される商品を購入した人物とを結びつけることができる。認識部３３ａは、ＰＯＳレジスタ２に設置された監視カメラｃの映像を解析しているときに、購入履歴情報テーブルＴ１内の人物の識別情報（ＩＤ）と特徴情報テーブルＴ４内の人物の識別情報（ＩＤ）とを一致させる。
【００２６】
認識部３３ａは、特徴情報４４に基づいて、どの人物がどの監視カメラ１にいつ映っていたかを表す撮影時刻情報を生成して、撮影時刻情報テーブルＴ５に追加する（Ｓ４０４）。図６に、撮影時刻情報テーブルＴ５の一例を示す。撮影時刻情報４５は、人物の識別情報（ＩＤ）と、その人物を撮影した監視カメラ１の識別情報と、監視カメラ１にその人物が映り始めた時刻（ＩＮ時刻）と映り終える時刻（ＯＵＴ時刻）とを含む。撮影時刻情報テーブルＴ５内の人物の識別情報（ＩＤ）は、特徴情報テーブルＴ４内の人物の識別情報（ＩＤ）と同一である。
【００２７】
認識部３３ａは、全ての監視カメラ１からの映像の読み出しが完了したか否かを判断し（Ｓ４０５）、完了していなければ、残りの監視カメラ１の映像について、ステップＳ４０１〜Ｓ４０４の処理を繰り返す。
【００２８】
以上のようにして、監視カメラ１によって撮影された映像から人物の特徴を抽出することによって、その人物を識別でき、撮影時刻情報テーブルＴ５を参照することによって識別した人物がどの監視カメラ１にいつ映っていたかを認識することができる。よって、複数の監視カメラ１の映像を使用した人物の追跡が可能になる。
【００２９】
［３．人物の特定（撮影時刻情報の修正）］
撮影したときの角度や照明条件によって同一人物であっても映像への映り方が異なることがある。そのため、複数の監視カメラ１で撮影した映像から抽出される同一人物の特徴が一致しないことがある。たとえば、明るい場所で高い位置に設置された監視カメラ１と、暗い場所で低い位置に設置された監視カメラ１では、撮影される映像が大きく異なるため、両者で撮影される映像から抽出される人物の特徴は異なる場合がある。この場合、同一人物であっても、抽出した特徴が異なるために、他の人物として認識してしまう。そのため、同一人物が複数の監視カメラ１（例えば、監視カメラａ，ｂ，ｃ）の前を順に通った場合であっても、一部の監視カメラ１（例えば、監視カメラｂ）からはその人物の特徴を抽出できず、その人物の追跡が途切れてしまうことがある。
【００３０】
そこで、本実施形態では、複数の監視カメラ１のうちの一部において人物の特徴を抽出できない状況が生じてもその人物を追跡できるように、特徴が一致せずに別人であると判断した人物の中から、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３とを使用して、同一人物を抽出し、撮影時刻情報テーブルＴ５を修正する。
【００３１】
図７に、認識情報修正部３３ｂによる撮影時刻情報テーブルＴ５の修正の処理を示す。認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を読み出して、人物のエントリ数が多い順に並べ替える（Ｓ７０１）。図８に、並べ替えた後の撮影時刻情報テーブルＴ５を示す。認識情報修正部３３ｂは、エントリ数が多い順に、人物を１名抽出し（Ｓ７０２）、購入履歴情報テーブルＴ１を参照して、抽出した人物に関して撮影時刻情報４５の欠落があるか否かを確認する（Ｓ７０３）。撮影時刻情報４５の欠落の有無は、購入履歴情報テーブルＴ１を参照して、人物が映るはずの監視カメラ１を特定することによって、確認する。具体的には、図８の例において、認識情報修正部３３ｂは、最初に、購入履歴情報テーブルＴ１を参照して、人物Ａが商品Ａを購入したことを検出する。次に、陳列情報テーブルＴ２を参照して、商品Ａが商品棚Ａ０１に陳列されていることを検出する。そして、撮影領域情報テーブルＴ３を参照して、商品棚Ａ０１は監視カメラｂによって撮影されることを検出する。すなわち、監視カメラｂを、人物Ａが映るはずの監視カメラ１として特定する。それから、認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を参照し、人物Ａについて監視カメラｂの撮影時刻情報４５があるか否かを確認する。
【００３２】
欠落がなければ（Ｓ７０４でＮｏ）、撮影時刻情報テーブルＴ５に記録されている人物の全員についての撮影時刻情報４５の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ５から次の人物を新たに抽出して、撮影時刻情報４５の欠落の有無を確認する。
【００３３】
欠落があれば（Ｓ７０４でＹｅｓ）、認識情報修正部３３ｂは、撮影時刻情報テーブルＴ５を参照して、撮影時刻情報４５が欠落している監視カメラ１に映っているはずの時間帯を推定（算出）する（Ｓ７０５）。例えば、図８に示すように、人物Ａについては、監視カメラｂの撮影時刻情報４５が欠落している。認識情報修正部３３ｂは、人物Ａについて、入口に設置された監視カメラａのＯＵＴ時刻（１０時１１分）と、ＰＯＳレジスタ２に設置された監視カメラｃのＩＮ時刻（１０時３６分）との間の時間帯に、その他の監視カメラ（ここでは、監視カメラｂ）に映ると推定する。すなわち、監視カメラｂに映る可能性のある時間帯として、１０時１１分〜１０時３６分の間を推定（算出）する。
【００３４】
認識情報修正部３３ｂは、推定した時間帯に映っている人物を撮影時刻情報テーブルＴ５から抽出する（Ｓ７０６）。図８の例では、人物Ｂの監視カメラｂのＩＮ時刻が１０時３１分で且つＯＵＴ時刻が１０時３４分であるため、認識情報修正部３３ｂは、推定した時間帯（１０時１１分〜１０時３６分）の間に監視カメラｂに映っている人物Ｂを抽出する。このとき、認識情報修正部３３ｂは、エントリ数が少ない人の中から、例えば、撮影時刻情報４５が欠落している人物の中から抽出しても良い。抽出した人物が１人であれば、その人物（人物Ｂ）が同一人物（人物Ａ）であると判断して、撮影時刻情報テーブルＴ５を修正する。図８の例では、人物Ｂについての「修正後の人物の識別情報（ＩＤ）」に人物Ａの識別情報を記録する。
【００３５】
推定した時間帯に映っている人物が複数いた場合、認識情報修正部３３ｂは、特徴情報テーブルＴ４に基づいて、特徴情報４４が最も近い人物が同一人物であると判断して、撮影時刻情報テーブルＴ５を修正する（Ｓ７０７）。
【００３６】
撮影時刻情報テーブルＴ５に記録されている人物の全員について、撮影時刻情報４５の欠落の有無の確認が完了したか否かを判断し（Ｓ７０８）、完了していなければ（Ｓ７０８でＮｏ）、ステップＳ７０２に戻り、撮影時刻情報テーブルＴ５から次の人物を新たに抽出して、撮影時刻情報４５の欠落の有無を確認する。撮影時刻情報テーブルＴ５に記録されている人物の全員について、撮影時刻情報４５の欠落の有無の確認が完了すれば、撮影時刻情報テーブルＴ５を表示部３４に表示する（Ｓ７０９）。ユーザは、表示部３４に表示された修正後の撮影時刻情報テーブルＴ５を参照することによって、複数の監視カメラ１で撮影された人物の追跡を確認することができる。
【００３７】
このように、認識情報修正部３３ｂは、購入履歴情報テーブルＴ１と陳列情報テーブルＴ２と撮影領域情報テーブルＴ３と特徴情報テーブルＴ４とを使用して、撮影時刻情報４５の欠落を補う。例えば、認識情報修正部３３ｂは、図８のように、人物Ｂを人物Ａとして修正することによって、人物Ａについての監視カメラｂの撮影時刻情報４５を補う。これにより、制御部３３は、精度良く、人物Ａを追跡することが可能になる。
【００３８】
なお、図２（ｃ）の例では、撮影領域情報テーブルＴ３の撮影領域情報４３は、商品棚の識別情報（ＩＤ）を含んでいるが、商品の識別情報（ＩＤ）を含んでもいい。この場合、購入履歴情報テーブルＴ１の商品の識別情報と撮影領域情報テーブルＴ３の商品の識別情報とを参照することによって、陳列情報テーブルＴ２を使用せずに、購入した商品から直接、その商品を含む領域を撮影する監視カメラ１を特定することができる。
【００３９】
［４．効果等］
以上のように、本実施形態の監視装置３は、複数の商品が配置された所定領域（店舗）内に設置された複数の監視カメラ１によって撮影された映像から人物を識別する監視装置であって、複数の監視カメラ１からの映像と、所定領域（店舗）内に設置されたＰＯＳレジスタ２からの人物が購入した商品を表す購入履歴情報４１とを受信する受信部３１と、人物の特徴を表す特徴情報４４を格納する認識情報蓄積部３２ｄと、監視カメラ１の撮影領域を表す撮影領域情報４３を格納する商品棚情報蓄積部３２ｃと、特徴情報４１に基づいて映像から人物を識別する制御部３３と、を備え、制御部３３は、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が通過した撮影領域を撮影した監視カメラ１を特定する。特徴情報４４を使用して人物を識別するだけでなく、購入履歴情報４１と撮影領域情報４３とを使用して、人物を撮影した監視カメラ１を特定するため、人物の追跡を精度良く実現できる。
【００４０】
制御部３３は、人物が通過した撮影領域を撮影した監視カメラ１として、購入履歴情報４１に含まれる商品が配置されていた位置を撮影した監視カメラ１を撮影領域情報４３に基づいて特定する。これにより、購入履歴情報４１と撮影領域情報４３とに基づいて、人物を撮影した監視カメラ１を特定できるため、人物の追跡を精度良く実現できる。
【００４１】
複数の監視カメラ１は、所定の位置に配置された第一のカメラ（監視カメラｃ）と、制御部３３によって、人物が通過した撮影領域を撮影した監視カメラ１として特定された第二のカメラ（監視カメラｂ）と、を含み、第二のカメラ（監視カメラｂ）で撮影された映像から識別できなかった人物を、第一のカメラ（監視カメラｃ）において人物が撮影された時間に基づき、第二のカメラ（監視カメラｂ）により撮影された映像において特定する。具体的には、制御部３３は、特徴情報４４に基づいて識別した人物が監視カメラ１に映っている時刻を表す撮影時刻情報４５を生成する。さらに、制御部３３は、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が映るはずの監視カメラ１（監視カメラｂ）を特定し、人物が特定した監視カメラ１に映っていない場合に、所定の位置に配置された監視カメラ１（監視カメラｃ）の撮影時刻情報４５に基づいて、映っていない人物が特定した監視カメラ１（監視カメラｂ）に映るはずの時間を推定する。そして、制御部３３は、撮影時刻情報４５を参照して、推定した時間に、特定した監視カメラ１に映っている他の人物が、映っていない人物であると特定して、撮影時刻情報４５を書き換える。これにより、特徴情報４４が一致せずに、撮影時刻情報４５の欠落が生じた場合であっても、購入履歴情報４１と撮影領域情報４３とを参照することによって、欠落が生じた撮影時刻情報４５を補うことができる。そのため、一部の監視カメラ１の映像から取得した人物の特徴情報４４が、他の監視カメラ１の映像からは取得されずに、他の監視カメラ１の映像においては別人として認識した場合であっても、購入履歴情報４１と撮影領域情報４３とを参照することによって、同一人物であると認識し直すことができる。よって、人物の追跡を精度良く実現できる。
【００４２】
また、制御部３３は、第一のカメラ（監視カメラｃ）において人物が撮影された時間に基づき、第二のカメラ（監視カメラｂ）の撮影領域を人物が通過した時間帯を算出し、算出した時間帯に、第二のカメラにより撮影された映像において、２人以上の人物候補が映っている場合、特徴情報４４に基づいて、２人以上の人物候補の中から１人をその人物として特定する。これにより、２人以上の人物候補が映像に映っている場合であっても、その人物候補の中から、映っていないと判断した人物を精度良く特定することができる。
【００４３】
さらに、制御部３３は、受信部３１が受信した映像から人物の特徴を抽出して特徴情報４４を生成して、認識情報蓄積部３２ｄに格納する。これにより、新たに人物を抽出した場合でも、その人物を識別して追跡することが可能になる。
【００４４】
第一のカメラ（監視カメラｃ）は、ＰＯＳレジスタ２で購入中の人物を撮影可能な位置に設置される。これにより、第二のカメラ（監視カメラｂ）により撮影された映像から人物を特定する際に、第二のカメラ（監視カメラｂ）の撮影領域を人物が通過した時間帯として、ＰＯＳレジスタ２での会計処理の時刻より前の時間帯に制限することができる。
【００４５】
本実施形態の監視システム１００は、複数の商品が配置された所定領域内に設置された複数の監視カメラ１と、所定領域内に設置され、人物が購入した商品を表す購入履歴情報４１を取得するＰＯＳレジスタ２と、人物の特徴を表す特徴情報４４と監視カメラ１の撮影領域を表す撮影領域情報４３とを有し、特徴情報４４に基づいて映像から人物を識別し、購入履歴情報４１と撮影領域情報４３とに基づいて、人物が通過した撮影領域を撮影した監視カメラ１を特定する監視装置３と、を含む。本実施形態の監視システム１００を使用すれば、精度良く対象物（人物）を追跡できるため、本実施形態の監視システム１００は動線可視化及び動線分析に有用である。例えば、局所に設けた監視カメラ１の映像を使用して、全体の動線を推測することができる。また、監視システム１００は、動線の変更をシミュレーションしたり、店舗エリアの価値を分析するのにも有用である。
【００４６】
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。また、上記実施形態１で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。そこで、以下、他の実施形態を例示する。
【００４７】
時間帯推定（Ｓ７０５）及び人物抽出（Ｓ７０６）の他の例について説明する。図８の例では、入口とＰＯＳレジスタ２に設置された監視カメラａ，ｃの映像において人物Ａが識別できている（撮影時刻情報４５が存在する）場合を例にし、入口側の監視カメラａのＯＵＴ時刻からＰＯＳレジスタ２側の監視カメラｃのＩＮ時刻の間の時間帯を算出（推定）したが、少なくともＰＯＳレジスタ２に設置された監視カメラｃの映像において人物Ａを識別できていれば良い。識別した人物（人物Ａ）についての、ＰＯＳレジスタ２側の監視カメラｃの撮影時刻情報４５があれば、又は購入履歴情報４１が購入履歴情報テーブルＴ１の中に一つでもあれば、入口に設置された監視カメラａをその人物が映るはずの監視カメラ１として特定でき、監視カメラａの撮影時刻情報４５の欠落の有無を確認できる。入口側の監視カメラａでの撮影時刻情報４５が欠落しているときは、ＰＯＳレジスタ２側の監視カメラｃのＩＮ時刻より前の所定の時間帯（例えば、ＩＮ時刻より前の１時間分）の、撮影時刻情報４５が欠落している監視カメラ１（監視カメラａ，ｂ）の映像の中から人物を抽出しても良い。また、入口とＰＯＳレジスタ２以外に設置された監視カメラ１が複数個ある場合には、その複数個の監視カメラ１のうち、撮影時刻情報４５が欠落していない監視カメラ１に映っている時間帯を除外して、推定の時間帯を求めても良い。
【００４８】
本開示の監視システム１００は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現可能である。
【００４９】
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【００５０】
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【００５１】
本開示は、複数の監視カメラを使用して対象物を追跡する監視装置及びその監視装置を有する監視システムに適用可能である。
【符号の説明】
【００５２】
１      監視カメラ
２      ＰＯＳレジスタ
３      監視装置
１１    撮影部
１２    送信部
２１    購入履歴情報取得部
２２    送信部
３１    受信部
３２ａ  映像蓄積部
３２ｂ  購入履歴情報蓄積部
３２ｃ  商品棚情報蓄積部
３２ｄ  認識情報蓄積部
３３    制御部
３３ａ  認識部
３３ｂ  認識情報修正部
３４    表示部
１００  監視システム
Ｔ１    購入履歴情報テーブル
Ｔ２    陳列情報テーブル
Ｔ３    撮影領域情報テーブル
Ｔ４    特徴情報テーブル
Ｔ５    撮影時刻情報テーブル
【図１】
0006631962.tif 000002
【図２】
0006631962.tif 000003
【図３】
0006631962.tif 000004
【図４】
0006631962.tif 000005
【図５】
0006631962.tif 000006
【図６】
0006631962.tif 000007
【図７】
0006631962.tif 000008
【図８】
0006631962.tif 000009