(57)【要約】【課題】この発明は、複数台の監視カメラを用いて特定の人物を確実且つ容易に追跡できる人物監視システムを提供することを課題とする。【解決手段】人物監視システム１は、複数台の監視カメラ２、各監視カメラ２に対応して設けられた複数台のモニタ４、操作端末６、およびサーバ８を有する。操作端末６の入力部を介してオペレータが特定人物をマーキングし、サーバ８が、マーキングされた特定人物の顔画像と複数台の監視カメラ２で撮影している人物の顔画像を照合し、特定人物を差別化してモニタ４を介して表示する。【選択図】　　　図１
2004128615.tif 000002
【特許請求の範囲】
【請求項１】
施設の複数箇所に設置された複数台の監視カメラと、
これら複数台の監視カメラに対応して設けられた複数台のモニタと、
これら複数台のモニタを介して映し出されている人物のうち特定人物の少なくとも顔を含む画像をマーキングするマーキング手段と、
このマーキング手段でマーキングされている特定人物の少なくとも顔を含む画像と上記複数台の監視カメラで撮影されている人物の少なくとも顔を含む画像とを照合し、上記マーキングされている特定人物を他の人物と差別化して上記モニタ上で表示せしめる照合・表示手段と、
を備えていることを特徴とする人物監視システム。
【請求項２】
上記マーキング手段は、上記複数台の監視カメラで撮影しているリアルタイム映像の中の特定人物の顔画像をマーキングすることを特徴とする請求項１に記載の人物監視システム。
【請求項３】
上記マーキング手段は、特定人物の少なくとも顔を含む画像を記憶する記憶部を有し、この記憶部に記憶している特定人物の顔画像をマーキングすることを特徴とする請求項１に記載の人物監視システム。
【請求項４】
上記マーキング手段は、特定人物の少なくとも顔を含む画像を入力する顔画像入力部を有し、この顔画像入力部を介して入力された特定人物の顔画像をマーキングすることを特徴とする請求項１に記載の人物監視システム。
【請求項５】
施設の複数個所に設置された複数台の監視カメラと、
これら複数台の監視カメラに対応して設けられた複数台のモニタと、
これら複数台のモニタを介して映し出されている人物のうち特定人物の少なくとも顔を含む画像をマーキングするマーキング手段と、
このマーキング手段でマーキングされた特定人物の少なくとも顔を含む画像を記憶する記憶部と、
上記記憶部に記憶されている特定人物の少なくとも顔を含む画像と上記複数台の監視カメラで撮影されている人物の少なくとも顔を含む画像とを照合し、特定人物を他の人物と差別化して上記モニタ上で表示せしめる照合・表示手段と、
を備えていることを特徴とする人物監視システム。
【請求項６】
特定人物の顔画像を入力する顔画像入力部をさらに有し、
上記記憶部は、上記顔画像入力部を介して入力された特定人物の顔画像をも記憶することを特徴とする請求項５に記載の人物監視システム。
【請求項７】
上記照合・表示手段は、特定人物が複数人いた場合、夫々の特定人物を互いに差別化して上記モニタ上で表示せしめることを特徴とする請求項５に記載の人物監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、例えば、アミューズメントパーク、展示場、デパート等、多くの人が集まる施設で、特定人物を監視する人物監視システムに関する。
【０００２】
【従来の技術】
一般に、デパートなどの多くの人が集まる施設では、複数個所に設置した監視カメラで店内を撮影し、監視カメラに対応して警備室に設置した複数台のモニタで係員が店内を監視している。
【０００３】
そして、係員が不信人物をモニタ上で発見した場合、その監視カメラの映像から不信人物を追跡することになる。
【０００４】
【発明が解決しようとする課題】
しかし、不信人物が監視カメラのフレームから外れたり、違うフロアに移動してしまうと、不信人物を見失ってしまう問題があった。
【０００５】
この発明は、以上の点に鑑みなされたもので、その目的は、複数台の監視カメラを用いて特定人物を確実且つ容易に追跡できる人物監視システムを提供することにある。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の人物監視システムは、施設の複数箇所に設置された複数台の監視カメラと、これら複数台の監視カメラに対応して設けられた複数台のモニタと、これら複数台のモニタを介して映し出されている人物のうち特定人物の少なくとも顔を含む画像をマーキングするマーキング手段と、このマーキング手段でマーキングされている特定人物の少なくとも顔を含む画像と上記複数台の監視カメラで撮影されている人物の少なくとも顔を含む画像とを照合し、上記マーキングされている特定人物を他の人物と差別化して上記モニタ上で表示せしめる照合・表示手段と、を備えている。
【０００７】
上記発明によると、モニタ表示されている監視カメラ映像の中の人物のうち特定人物の少なくとも顔を含む画像をマーキングし、複数台の監視カメラで撮影されている人物の少なくとも顔を含む画像と照合し、特定人物を差別化してモニタ表示するようにした。これにより、特定人物が移動して特定人物を撮影している監視カメラが変わった場合であっても、特定人物をモニタ上で容易に追跡できる。
【０００８】
また、本発明の人物監視システムは、施設の複数個所に設置された複数台の監視カメラと、これら複数台の監視カメラに対応して設けられた複数台のモニタと、これら複数台のモニタを介して映し出されている人物のうち特定人物の少なくとも顔を含む画像をマーキングするマーキング手段と、このマーキング手段でマーキングされた特定人物の少なくとも顔を含む画像を記憶する記憶部と、上記記憶部に記憶されている特定人物の少なくとも顔を含む画像と上記複数台の監視カメラで撮影されている人物の少なくとも顔を含む画像とを照合し、特定人物を他の人物と差別化して上記モニタ上で表示せしめる照合・表示手段と、を備えている。
【０００９】
【発明の実施の形態】
以下、図面を参照しながらこの発明の実施の形態について詳細に説明する。
【００１０】
図１には、この発明の実施の形態に係る人物監視システム１（以下、単にシステム１と称する）の概略構成をブロック図にして示してある。ここでは、システム１をデパート（施設）の店内を監視する目的で利用する場合を例にとって説明する。
【００１１】
システム１は、デパートの至るところに設置された複数台の監視カメラ２、これら複数台の監視カメラ２に対応してデパートの警備員室に設置された複数台のモニタ４、操作端末６（マーキング手段）、およびサーバ８（照合・表示手段）を有する。複数台の監視カメラ２、複数台のモニタ４、操作端末６、およびサーバ８は、顔画像データベース１２（記憶部）、および操作端末６に接続された読取装置１４（顔画像入力部）とともにネットワーク接続されている。
【００１２】
各監視カメラ２は、それぞれ設置場所の映像を撮影する。各監視カメラ２で撮影された映像は、対応するモニタ４を介してリアルタイム映像として表示されるとともに、サーバ８で保存される。保存した監視カメラ２の映像は、一定期間だけサーバ８で保持される。各モニタ４は、表示している映像の場所を文字等により表示している。
【００１３】
操作端末６は、オペレータによる操作入力を受け付けて、複数台のモニタ４を介して表示されている人物のうち特定の人物（特定人物）の少なくとも顔を含む画像をマーキングする。また、操作端末６は、読取装置１４を介して読み取った特定人物の少なくとも顔を含む画像のデータを取得する。なお、以後、少なくとも顔を含む画像のことを顔画像という。
【００１４】
サーバ８は、操作端末６を介してマーキングされた特定人物の顔画像と複数台の監視カメラ２で撮影しているリアルタイム映像の中の人物の顔画像とを照合し、特定人物の顔画像を他の人物の顔画像と差別化してモニタ表示する。このとき、サーバ８は、マーキングされた特定人物の顔画像を顔画像データベース１２に記憶する。
【００１５】
また、サーバ８は、顔画像データベース１２に記憶されている特定人物の顔画像とリアルタイム映像の中の人物の顔画像とを照合し、特定人物の顔画像を差別化してモニタ表示する。
【００１６】
さらに、サーバ８は、読取装置１４を介して入力された特定人物の顔画像を顔画像データベース１２に記憶するとともに、この顔画像とリアルタイム映像の中の人物の顔画像とを照合し、特定人物の顔画像を差別化してモニタ表示する。
【００１７】
サーバ８として、一般にネットワークサーバとして使用される例えばタワー型ＰＣが適している。顔画像データベース１２は、本実施の形態のようにサーバ８と別体にせずにサーバ８に内蔵しても良い。
【００１８】
読取装置１４は、例えば、指名手配犯などの特定人物の顔写真の投入を受け付けて、特定人物の顔画像を読み取る。そして、操作端末６にて、読み取った顔画像から顔画像データが取得される。
【００１９】
ここで、上記システム１の動作について、図２のフローチャートを参照してより詳細に説明する。
【００２０】
各監視カメラ２で撮影された映像は、各監視カメラ２に対応して設けられた複数台のモニタ４を介してリアルタイム映像として表示されるとともに、サーバ８に送信されて保存される。警備員は、複数台のモニタ４を見て店内の様子を監視する。
【００２１】
サーバ８は、常時、顔画像データベース１２に記憶されている特定人物の顔画像と複数台の監視カメラ２で撮影しているリアルタイム映像の中の人物の顔画像とを照合し（ステップ１）、特定人物が監視カメラ２のリアルタイム映像に含まれているか否かを監視する（ステップ２）。顔画像データベース１２には、特定人物の顔画像が必ずしも記憶されているとは限らず、また複数の特定人物の顔画像が記憶されている場合もある。
【００２２】
ステップ１で顔照合するとき、サーバ８は、例えば、特開２００２−１９１０４４号公報に開示されている人物検出技術を用いて各映像の中の人物を検出し、例えば、特開２００１−２５６４９６号公報に開示されている顔照合技術を用いて検出した人物の顔画像と顔画像データベース１２に記憶されている特定人物の顔画像とを照合する。
【００２３】
上記人物検出技術によると、監視カメラ２で撮影した映像の連続する２枚の画像の差分から人物の領域を検出する。そして、その領域の大きさや形状から人物を検出する。
【００２４】
また、上記顔照合技術によると、検出した人物の画像から顔領域を検出し、顔の方向を判定し、目、鼻、口等の顔の部位を検出し、顔の傾きや大きさを正規化する。そして、この正規化された顔画像と顔画像データベース１２に記憶されている顔画像それぞれの特徴量の類似度が計算され、顔画像が照合されて人物が特定される。
【００２５】
また、サーバ８は、上述したステップ１、２の処理と平行して、操作端末６を介して特定人物がマーキングされたか否かを判断するとともに（ステップ３）、読取装置１４を介して特定人物の顔画像が入力されたか否かを判断する（ステップ４）。
【００２６】
つまり、複数台のモニタ４を監視している警備員が監視カメラ２の映像から不信人物を発見した場合、操作端末６を操作してこの不信人物がマーキングされる。この場合、例えば、不信人物が映っているモニタ４の画像が操作端末６に取り込まれ、マウス等により不信人物の顔部分がマーク（指定）される。顔部分をマークする場合、例えば、マウスでポインタを画面上に移動せしめることで顔画像を囲むための円形の枠が表示されるようになっており、この円形の枠を不信人物の顔部分上に移動する。その後、操作端末６内部では、上述した顔照合技術を用いてマークした顔画像を認識し、特定人物としてシステムに一定時間、一旦保存する。
【００２７】
また、読取装置１４を介して指名手配犯などの特定人物の顔写真が投入されると、この顔写真が読取装置１４で読み取られて、特定人物の顔画像データが操作端末６で取得され、顔画像の入力がなされる。
【００２８】
そして、ステップ３で操作端末６を介して特定人物がマーキングされたことが判断され（ステップ３；ＹＥＳ）、或いはステップ４で特定人物の顔画像が入力されたことが判断されると（ステップ４；ＹＥＳ）、当該特定人物の顔画像が顔画像データベース１２に記憶されるとともに（ステップ５）、当該顔画像がリアルタイム映像の中の人物の顔画像と顔照合される（ステップ６）。ステップ６の顔照合は、ステップ１の顔照合と同様になされる。
【００２９】
ステップ６の照合の結果、特定人物がリアルタイム映像に含まれていることが判断され（ステップ７；ＹＥＳ）、或いはステップ２で特定人物がリアルタイム映像に含まれていることが判断されると（ステップ２；ＹＥＳ）、当該映像の中の特定人物が同じ映像の中の他の人物と差別化されて該当するモニタ４を介して表示される（ステップ８）。
【００３０】
ステップ８で特定人物を差別化してモニタ表示する方法として、特定人物の映っている領域を色の付いた円で囲ったり、特定人物を特定の色（例えば赤）に着色して表示したり、点滅させたりする方法などが考えられる。
【００３１】
特に、ステップ２、７で複数の特定人物がリアルタイム映像に含まれていることが判断された場合、例えば、特定人物Ａおよび特定人物Ｂが同じ映像の中に含まれ、或いは異なる監視カメラ２の映像に別々に含まれていることが判断された場合、特定人物Ａを赤丸で囲い、特定人物Ｂを青丸で囲うといったように、特定人物同士で差別化して表示する。
【００３２】
以上のように、本実施の形態によると、モニタ表示している映像から警備員が特定人物をマーキングし、或いは読取装置１４を介して特定人物の顔画像を入力し、当該特定人物の顔画像とリアルタイム映像の中の人物の顔画像を照合し、特定人物を他の人物と差別化してモニタ表示するようにした。このため、複数台の監視カメラ２の映像を複数台のモニタ４を介して表示している状態で、特定人物を容易且つ確実に追跡でき、例えば特定人物がフロアを移動した場合であっても見失うことがない。
【００３３】
また、本実施の形態によると、複数の特定人物がリアルタイム映像の中に含まれる場合、特定人物同士を差別化してモニタ表示するようにしたため、複数の人物を同時に追跡できる。
【００３４】
尚、この発明は、上述した実施の形態に限定されるものではなく、この発明の範囲内で種々変形可能である。
【００３５】
例えば、上述した実施の形態では、本発明のシステムをデパートに適用した場合について説明したが、これに限らず、アミューズメントパークや展示場など、多くの人が集まる施設に本発明のシステムを適用することができる。また、監視カメラ２は施設内に設置するのに限らず、ビルの階段や通路、商店街など屋外に設置しても良い。
【００３６】
また、上述した実施の形態では、監視カメラ２で撮影したリアルタイムの映像に含まれる特定人物を差別化してモニタ表示するようにしたが、サーバ８が記憶している過去の映像から特定人物を検索して表示することもできる。この場合、例えば、オペレータが操作端末６を操作して、サーバ８で記憶している特定人物のうち過去の映像を検索したい特定人物を選択し、且つ検索する期間を指定し、サーバ８が、選択された特定人物の顔画像と、指定された期間内の映像の中の全ての人物の顔画像と、を照合し、特定人物が映っている映像を抽出する。そして、抽出した特定人物の映像をモニタ４を介して表示する。表示方法として、複数の映像を早送りにして表示する方法も可能である。
【００３７】
【発明の効果】
以上説明したように、この発明の人物監視システムは、上記のような構成および作用を有しているので、複数台の監視カメラを用いて特定の人物を確実且つ容易に追跡できる。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る人物監視システムの構成を示すブロック図。
【図２】図１のシステムによる動作を説明するためのフローチャート。
【符号の説明】
１…人物監視システム、２…監視カメラ、４…モニタ、６…操作端末、８…サーバ、１２…顔画像データベース、１４…読取装置。
【図１】
2004128615.tif 000003
【図２】
2004128615.tif 000004