(57)【特許請求の範囲】
【請求項１】
映像取得部により取得した入力画像から、監視領域の物体の変化を検出する監視装置であって、
前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、
前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、
前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、
前記不動領域の特徴量を抽出する特徴量抽出部と、
前記特徴量を時間方向で蓄積する特徴量蓄積部と、
前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素をクラスタリングし、ラベリングを行う際には、空間的な距離以外にも、各画素の特徴蓄積量の大きさなど時間的な距離も観測してそれぞれが一定の距離以内のものをグルーピングし、停止物を検出する停止物検出部と、
前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、
前記放置物と判断された前記停止物の属性を管理する管理部と、
を備える監視装置。
【請求項２】
前記特徴量蓄積部の蓄積結果または前記放置物判定部の結果の少なくとも一方を、前記入力画像または背景画像の上に重畳させ、前記放置物の滞留状況を判別可能に表示出力する表示手段を備える請求項１に記載の監視装置。
【請求項３】
前記管理部は、前記停止物の属性が発報条件を満たしたときに発報することを特徴とする請求項１または２に記載の監視装置。
【請求項４】
前記特徴量蓄積部は、毎フレームの特徴量蓄積画像を過去の一定の範囲で平均する、あるいは残差を平均することを特徴とする請求項１に記載の監視装置。
【請求項５】
前記停止物の候補領域と同じ座標の入力画像及び背景画像の類似性を比較する際に、正規化相互相関やＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）などのテンプレートマッチング手法によって、前記停止物の位置の輝度値の距離を求めることで、類似度を算出して背景変化と前記放置物を見分けることを特徴とする請求項１に記載の監視装置。
【請求項６】
人物の滞留や混雑、先詰まりなどの傾向を表す手段として、前記特徴量蓄積部が算出した特徴量蓄積画像に対して、前記特徴量蓄積画像を滞留度という指数に置き換えて前記滞留度を画像化し、前記入力画像上にオーバレイすることで滞留傾向を可視化することを特徴とする請求項１に記載の監視装置。
【請求項７】
疑似カラーで表現した前記特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像を前記入力画像にαブレンディングによってオーバレイした画像を示すことを特徴とする請求項６に記載の監視装置。
【請求項８】
前記入力画像を撮影したカメラの位置や高さ、俯角、焦点距離などの情報すなわちカメラパラメータが既知である場合、前記特徴蓄積部が算出した前記疑似カラーで表現した前記特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した前記滞留度ヒートマップ画像を、前記既知のカメラパラメータを用いてワールド座標系に変換し、前記ワールド座標系に変換した前記滞留度ヒートマップ画像を地図にオーバレイすることで、混雑や滞留の位置や度合を可視化することを特徴とする請求項７に記載の監視装置。
【請求項９】
前記停止物の候補領域が最初に見つかった時間の画像を記録装置に記録しておくことで、前記放置物判定部によって前記放置物が検出された場合に、前記放置物を放置した人物について、前記停止物の前記候補領域が最初に見つかった時間の入力画像について前記記録装置を参照することを特徴とする請求項１に記載の監視装置。
【請求項１０】
顔検索システムや服装検索システムを組み合わせることによって、前記放置物を放置した人物を前記記録装置から検索することを特徴とする請求項９に記載の監視装置。
【請求項１１】
映像取得部により取得した入力画像から、監視領域の物体の変化を検出する監視装置であって、
前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、
前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、
前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、
前記不動領域の特徴量を抽出する特徴量抽出部と、
前記特徴量を時間方向で蓄積する特徴量蓄積部と、
前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素をクラスタリングし、停止物を検出する停止物検出部と、
前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、
前記放置物と判断された前記停止物の属性を管理する管理部と、
を備え、
人物の滞留や混雑、先詰まりなどの傾向を表す手段として、前記特徴量蓄積部が算出した特徴量蓄積画像に対して、前記特徴量蓄積画像を滞留度という指数に置き換えて前記滞留度を画像化し、前記入力画像上にオーバレイすることで滞留傾向を可視化することを特徴とする監視装置。
【請求項１２】
疑似カラーで表現した前記特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像を前記入力画像にαブレンディングによってオーバレイした画像を示すことを特徴とする請求項１１に記載の監視装置。
【請求項１３】
映像取得部により取得した入力画像から、監視領域の物体の変化を検出する監視装置であって、
前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、
前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、
前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、
前記不動領域の特徴量を抽出する特徴量抽出部と、
前記特徴量を時間方向で蓄積する特徴量蓄積部と、
前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素をクラスタリングし、停止物を検出する停止物検出部と、
前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、
前記放置物と判断された前記停止物の属性を管理する管理部と、
を備え、
前記入力画像を撮影したカメラの位置や高さ、俯角、焦点距離などの情報すなわちカメラパラメータが既知である場合、前記特徴蓄積部が算出した疑似カラーで表現した特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像を、前記既知のカメラパラメータを用いてワールド座標系に変換し、前記ワールド座標系に変換した前記滞留度ヒートマップ画像を地図にオーバレイすることで、混雑や滞留の位置や度合を可視化することを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置に係り、例えば、カメラなどの撮像装置から映像取得し、画像認識によって監視エリア内の異常等を検知する機能を有する監視装置に関する。
【背景技術】
【０００２】
従来より、監視カメラ等の撮像装置を用いて、監視対象領域内に侵入する物体を監視することが行われている。また、監視員による有人監視ではなく、映像監視装置等が自動的に監視を行う技術が検討されている。このような機能を有する映像監視装置は、検出結果を利用することで移動物体の出現した映像のみ記録する機能や、表示装置の警告アイコンの表示機能、またブザー等を鳴らして監視員の注意を促す機能を実現できるため、従来では常時確認作業が必要であった監視業務の負担低減に役立つ。【０００３】
監視対象領域内に侵入する物体を自動的に検出する技術の一例として、背景差分法と呼ばれる方法を用いた監視技術が広く知られている（例えば、特許文献１参照）。背景差分法による物体検出方法は、撮像装置等から得られる入力画像と検出すべき物体が映っていない基準となる背景画像との輝度（或いは、画素値）の差分を算出し、算出された検出値が所定のしきい値と比べて大きい変化領域に検出すべき物体が存在する或いはその可能性があるとして監視を行なう。【０００４】
また、危険物などが放置された状態を検出するために、単に映像内の変化を検出するだけでなく、背景画像との変化が継続的に検出される動きのない領域を放置物体として検出する方法がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１０−２８５５８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
ところで、前記の放置物検知手法は、差分法などによって、動体検知を実施し、所望する監視エリア内で動体が一定時間以上停止した場合に発報する。しかし、このような手法だと、放置物と同様に、動きの少ない人物なども検出されてしまう。また、カメラ画像中に日照変化による影が新たに浮かび上がる場合など環境に変化があった場合、差分法のアルゴリズムでは、物体が現れたものと認識してしまい、誤報の原因となる。【０００７】
また、放置物の前を人物が通過、或いは周辺に人物が存在する場合、放置物と人物を同じ１つの物体として誤って検出してしまうこと、あるいは通過する人物と放置物を取り違えてしまうことにより、放置物が不動体とみなすことができない場合がある。放置物と滞留する人物や日照変化などのノイズとを識別する手段としては、検知した物体の停止領域をＨｏＧ（Histogram of Oriented Gradients）特徴+機械学習などによって識別する手法がある。しかし、人の形状は画角によって見かけが大きく異なるため、汎用的に用いるためには、画角によって学習データを変える必要があり、煩雑である。あらゆる画角のデータを同時に学習する手段もあるが、この場合は各画角での精度が低下する。また、放置物やノイズは様々な形状が予測されるため、事前学習が難しい。Deep Learningなどの特徴量設計を必要としない学習手法でも、大量の学習データが必要となる。前記手法は、ＧＰＵによる高速演算が必要であって、処理負荷の点で課題がある。【０００８】
また、放置物の前を物体が遮る場合への対応する手段としては、停止した物体を検出した時に、検出した領域をテンプレート画像として登録しておき、一定時間後に、同じ座標でテンプレート画像と入力画像に対して、正規化相互相関などによる類似度を計算する方法がある。また、類似度が高い物体が連続して発生していた場合に、放置物とみなす手法がある。但し、人が荷物の前に立ち止まっている状態や、日照変化による輝度変化など、誤ったタイミングでテンプレート画像を登録してしまうと、深刻な過報あるいは失報に繋がるという課題がある。【０００９】
本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、映像取得部により取得した入力画像から、監視領域の物体の変化を検出する監視装置であって、前記入力画像をもとに画像認識処理の基準となる基準画像を生成する基準画像生成部と、前記入力画像と前記基準画像とを比較し、前記基準画像と異なる前景領域を検出する前景抽出部と、前記前景領域と前記入力画像とを比較し、前記前景領域から不動領域を抽出する不動領域抽出部と、前記不動領域の特徴量を抽出する特徴量抽出部と、前記特徴量を時間方向で蓄積する特徴量蓄積部と、前記特徴量蓄積部において蓄積された特徴量が所定の基準を満たす画素をクラスタリングし、停止物を検出する停止物検出部と、前記停止物の特徴量及び周囲環境に対する評価をもとに、前記停止物が放置物であるか否かを判定する放置物判定部と、前記放置物と判断された前記停止物の属性を管理する管理部と、を備える。
また、前記特徴量蓄積部の蓄積結果または前記放置物判定部の結果の少なくとも一方を、前記入力画像または背景画像の上に重畳させ、前記放置物の滞留状況を判別可能に表示出力する表示手段を備えてもよい。
また、前記管理部は、前記停止部の属性が発報条件を満たしたときに発報してもよい。
【発明の効果】
【００１１】
本発明によると、処理負荷が小さいアルゴリズムで、放置物と滞留者やノイズのロバストな識別、放置物の隠れに頑健な検出手段を有する技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る、画像監視システムのブロック図である。
【図２】実施形態に係る、監視処理部のブロック図である。
【図３】実施形態に係る、前景領域画像と動領域画像を生成する処理を説明する図である。
【図４】実施形態に係る、不動領域画像を生成する処理を説明する図である。
【図５】実施形態に係る、特徴抽出部の処理を説明する図である。
【図６】実施形態に係る、特徴量蓄積画像の一例を示す図である。
【図７】実施形態に係る、停止候補領域の一例を示す図である。
【図８】実施形態に係る、テンプレートマッチング手法の一例を説明する図である。
【図９】実施形態に係る、類似度以外の手法を用いて背景を特定する手法の一例を説明する図である。
【図１０】実施形態に係る、放置物を見分ける方法の一例を示す図である。
【図１１】実施形態に係る、検出放置物情報を入力画像（ｔ＝ｔ０）に重畳した画像例を示す図である。
【図１２】実施形態に係る、滞留度ヒートマップ画像を、入力画像（ｔ＝ｔ０）にオーバレイしたオーバレイ画像を示す図である。
【発明を実施するための形態】
【００１３】
次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。本実施形態の監視システム（監視装置）の概要は次の通りである。すなわち、以下で説明する監視システムは、カメラから入力される映像または記録映像から移動物体等の影響を受けることなく、監視領域の物体に生じる放置物を個別に検出する。この放置物の検出方法により、放置物と放置した人物の記録、物体が放置された場合の発報機能、モニタ表示による監視員への注意喚起が可能な監視技術を実現する。
【００１４】
図１は、本実施形態に係る画像監視システム１００の構成を示したブロック図である。画像監視システム１００は、ハードウェアとしてはＣＰＵを備えた電子計算機システムにより構成され、それぞれの機能が実行される。前記ハードウェアは、ＤＳＰやＦＰＧＡなどの電子計算機システム以外の構成によって代替されてもよい。
【００１５】
画像監視システム１００は、撮像装置１０１と、記録装置１１０と、監視処理部１２０と、入出力部１３０とを備える。撮像装置１０１は、例えば、テレビカメラであって、１台であってもよく、また複数台でもよい。記録装置１１０は、例えば、ＨＤＤ（Hard Disk Drive）であって、撮像装置１０１で撮影された映像（監視結果）を記録するとともに、必要に応じて監視処理部１２０へ出力する。
【００１６】
監視処理部１２０は、撮像装置１０１または記録装置１１０から得られる信号を映像として取得し、映像処理に基づいて監視処理を行う。監視結果は、記録装置１１０や入出力部１３０に出力される。
【００１７】
具体的には、監視処理部１２０は、映像取得部１０２と、画像認識部１０３と、データ通信部１０４と、記録制御部１０５と、表示制御部１０６とを備える。
【００１８】
映像取得部１０２は、カメラ（撮像装置１０１）からのリアルタイムの画像データや、画像データが記録されている記録装置１１０などから入力された映像信号から１次元配列もしくは２次元配列の画像データとして取得する。
【００１９】
映像取得部１０２は、このとき、画像データに対して、ノイズやフリッカなどの影響を低減するために、平滑化フィルタや輪郭強調フィルタ、濃度変換などの前処理を施してもよい。また、映像取得部１０２は、用途に応じてＲＧＢカラーやモノクロなどのデータ形式を選択してもよし、さらには、処理コスト低減のために、所定の大きさで画像データに縮小処理を施してもよい。
【００２０】
画像認識部１０３は、映像取得部１０２から得られた画像データを入力として画像認識処理により移動物体や放置物体を認識する。
【００２１】
データ通信部１０４は、記録装置１１０や入出力部１３０（特に後述の発報装置１０７、指示装置１０８）と通信接続する為の通信インタフェイスである。具体的には、データ通信部１０４は、画像認識部１０３の結果や記録装置１１０に保存された情報等をローカルエリアに設置された他の機器（入出力部１３０等）や、ネットワーク上の監視センタ（図示せず）などと送受信する。
【００２２】
記録制御部１０５は、画像認識部１０３で算出した結果を用いて、映像の記録制御や、記録映像の圧縮率や記録間隔を制御する。また、記録制御部１０５は、映像取得部１０２より得られた映像を記録装置１１０に記録保持したり、表示制御部１０６に出力したりする。
【００２３】
表示制御部１０６は、映像取得部１０２で取得した映像および画像認識部１０３で得られた結果や、記録装置１１０に保存された情報の表示を制御する。
【００２４】
入出力部１３０は、発報装置１０７と、指示装置１０８と、表示出力装置１０９とを備える。発報装置１０７は、画像認識部１０３で検出した異常状態を音声や光などでユーザに知らせる。指示装置１０８は、画像認識部１０３に用いるパラメータや発報内容を受けて発報を停めるなどユーザからの指示を取得する。表示出力装置１０９は、表示制御部１０６から出力された情報を表示する。
【００２５】
図２は、画像認識部１０３の機能ブロック図である。画像認識部１０３は、前段処理部２２０と後段処理部２３０と、結果統合部２１０とを備える。
【００２６】
前段処理部２２０は、基準画像生成部２０１と、基準画像管理部２０２と、前景抽出部２０３と、不動領域抽出部２０４とを備える。
【００２７】
基準画像生成部２０１は、映像取得部１０２で取得した入力画像から画像認識処理の基準となる画像を生成し、基準画像管理部２０２に出力する。
【００２８】
基準画像管理部２０２は、基準画像生成部２０１で生成された画像を保存する。前景抽出部２０３は、基準画像管理部２０２に保存された基準画像と映像取得部１０２で取得した入力画像を所定の特徴量の比較演算により映像内の背景と異なる前景領域を検出する。不動領域抽出部２０４は、入力画像の時間変化と前景領域の比較演算により、映像内の前景のうち不動領域のみを抽出する。
【００２９】
後段処理部２３０は、特徴抽出部２０５と、特徴蓄積部２０６と、停止物検出部２０７と、放置物判定部２０８と、放置物管理部２０９とを備える。
【００３０】
特徴抽出部２０５は、不動領域のエッジ等の特徴を抽出する。特徴蓄積部２０６は、特徴抽出部２０５で抽出された特徴を時間方向で蓄積する。停止物検出部２０７は、特徴蓄積部２０６において蓄積された特徴の量（特徴蓄積量）が基準を満たす画素について、クラスタリング処理を施すことにより停止物を検出する。放置物判定部２０８は、停止物の特徴量や周辺の動きの有無などを観測して、停止物が放置物かどうかを判定する。放置物管理部２０９は、前記放置物の数や位置、放置された時間、背景との類似度などによって計算される放置物らしさなどの情報を管理・保存する。
【００３１】
結果統合部２１０は、停止物検出部２０７における放置物の検出結果を、放置物の座標や位置などのメタデータあるいは放置物に検出矩形などを入力画像に重畳するなどして、結果を統合し、記録装置１１０やデータ通信部１０４（入出力部１３０）へ出力する。
【００３２】
なお、基準画像管理部２０２や放置物管理部２０９に保存された情報は、それらの代わりに記録装置１１０に保存されたり、表示制御部１０６及び表示出力装置１０９で表示されたりしてもよい。
【００３３】
基準画像生成部２０１が生成する基準画像は、背景差分法によって背景と異なる前景を検出するための背景画像と、フレーム間差分法によって、その瞬間の動きを検出するための一定時間前の過去の入力画像と、少なくとも２種類の画像から構成される。
【００３４】
上述の背景と異なる前景を検出するための背景画像は、移動物体を含まずに時々刻々と変化する天候や照明条件などの環境変化に適応した画像が理想である。これは、移動物体やノイズを含む背景画像と入力画像を比較した場合、背景画像に含まれる移動物体が変化として検出される可能性があり、また環境変化に追従しなければ、背景画像と入力画像の照明変動による明るさの変化を検出してしまう場合があるためである。そのため本実施形態では、基準画像生成部２０１では後述する前景抽出部２０３の結果を利用し、一定期間に取得される画像から移動物体の影響を除去した画像を統計処理することで移動物体を含まない画像を再構成する手法を用いる。
【００３５】
なお、このような手法を用いたとしても、環境の急激な変化などには対応できない場合も想定されるが、その場合は、後述の放置物判定部２０８などで誤報とならないように識別する。その他、背景画像は監視員による登録ができるようにしてもよい。これにより、移動物体を含まず、環境変化に対応した背景画像を生成することが可能で、移動物体を精度よく検出することができる。
【００３６】
また、動き検出のための一定時間前の過去の入力画像は、現在時刻ｔ＝ｔ０としたとき、例えば時刻ｔ＝ｔ０−ｋの時の入力画像を保存しておくようにする。このとき、ｋは任意の定数である。また、前記フレーム間差分では、２フレーム間の差分を取る方法以外にも、３フレーム以上の複数のフレーム間差分を取って論理積を取ることで、動体検出の精度を高めるアルゴリズムなどがあり、そのような方法を用いてもよい。そのような方法を用いる場合は、過去の複数の入力画像を保存しておくようにする。
【００３７】
基準画像管理部２０２は、基準画像生成部２０１が生成した背景画像及び過去の入力画像を、時刻毎に所定の間隔で保存する。
【００３８】
前景抽出部２０３は、基準画像生成部２０１で予め算出し基準画像管理部２０２に保存されている背景画像及び過去の入力画像と、映像取得部１０２より得られる入力画像との比較処理を行う。
【００３９】
ここで比較処理に用いる情報として、この入力画像の各画素で算出される輝度値やＲＧＢ値、微分フィルタによって算出されるエッジ強度や方向など任意のオペレータによって算出される特徴量、またはそれらを統合した特徴ベクトルが用いられてもよい。それぞれ特徴量によって環境変動に対するロバスト性や検出精度は異なり、状況に応じた特徴量の決定が必要である。なお、本実施形態では最も一般的である輝度値を選択した場合について例示する。
【００４０】
比較処理の方法として、（１）画素単位での差分演算による算出方法や、（２）注目画素周辺の局所領域で判定する方法、（３）基準画像に対して、数フレームの入力画像によって時間軸方向に判定基準を拡張する方法、が考えられる。本実施形態では、画素単位での差分演算による算出方法について例示する。
【００４１】
また、前景抽出部２０３の精度向上を目的として、予め入力画像や基準画像に対して、ガウシアンフィルタなどの平滑化処理をかけることや、比較処理後の結果に対して、膨張・収縮などの処理を施すことでの前景領域の整形処理など、前処理及び後処理を施すようにしてもよい。
【００４２】
前述の前景抽出処理では、領域が停止した領域か否かを判別することができない。停止した物体は、基準画像管理部２０２に保存された基準画像の過去の入力画像と、現在の入力画像を比較することによって、物体の動きの有無を判定することで可能である。
【００４３】
不動領域抽出部２０４は、前記判定を実施する。その概略を図３及び図４を用いて説明する。
【００４４】
図３は、前景領域画像３０４と動領域画像３０５を生成する処理を説明する図である。前景領域画像３０４は、前景抽出部２０３において、背景画像３０１と現在時刻ｔ＝ｔ０の入力画像（ｔ＝ｔ０）３０２とを比較して一定のしきい値で二値化し、領域を膨張処理によって整形することによって生成される。
【００４５】
動領域画像３０５は、不動領域抽出部２０４において、現在時刻ｔ０の入力画像（ｔ＝ｔ０）３０２と過去時刻ｔ０−ｋの入力画像（ｔ＝ｔ０−ｋ）３０３とを比較して一定のしきい値で二値化し、領域を膨張処理によって整形することによって生成される。
【００４６】
図４は、不動領域画像４０１を生成する処理を説明する図である。不動領域画像４０１は、動領域画像３０５の論理否定（ＮＯＴ）と前景領域画像３０４との論理積を取った画像である。これにより、不動領域が抽出される。但し、この前景領域画像３０４の時点では、動領域検出のアルゴリズムによっては、例えば、人物が一様の模様の服を着ており、移動量が微小の場合において、人物の輪郭から遠い領域の一部を不動領域と誤って判定する特性を示す場合がある。本実施形態は、このような場合でも、後段の処理によって、誤って検出した不動領域の影響を軽減して目的の放置物を見つけ出すことが可能である。
【００４７】
図５は、特徴抽出部２０５の処理を説明する図である。特徴抽出部２０５は、不動領域抽出部２０４において不動と判定された領域の範囲で、入力画像（ｔ＝ｔ０）３０２上の輪郭やテクスチャに関する特徴量を抽出する。
【００４８】
これは、輪郭やテクスチャであれば、動きが微小である場合でも、真に不動である領域と明確に区別することができるためである。ここでは、特徴量として、Ｃａｎｎｙのエッジアルゴリズムに基づくエッジ特徴を用いた場合について例示する。
【００４９】
特徴量は、ソーベルフィルタやラプラシアンフィルタなどに基づくエッジ特徴や、ＧＬＣＭ（Gray Level Co-occurrence Matrix）といった画像中の２ピクセル間の輝度（グレーレベル）変化の頻度を行列としたテクスチャ特徴などを用いてもよい。また、前記の特徴量は画像上の位置によって特徴の見え方が異なるため、例えば、特徴量の抽出時のしきい値や強度に対して、画面の奥と手前でカメラパラメータ等に基づく補正を掛けて正規化するようにしてもよい。特徴量は、本実施形態では一次元とするが、特徴量の組合せによる多次元の特徴量としてもよい。
【００５０】
特徴量画像５０１は、入力画像（ｔ＝ｔ０）３０２から特徴量を抽出し、不動領域画像４０１との論理積を取ることで得られる。
【００５１】
つぎに、特徴蓄積部２０６の処理について説明する。特徴蓄積部２０６は、特徴量画像５０１に記録した特徴の位置を時間的に蓄積する。蓄積の手段としては、毎フレームの特徴量画像５０１を過去の一定の範囲で平均する方法、あるいは残差を平均する方法などを用いることができる。
【００５２】
この時、特徴量の蓄積は、位置や背景に元々含まれるエッジやテクスチャなどの特徴量の量、あるいは過去の物体の発生頻度などの情報を用いて、画素ごとに特徴量の更新速度が変更されてもよい。
【００５３】
本実施形態では、前景領域画像３０４の前景領域に相当する画素に対して、背景領域に相当する画素の特徴量蓄積速度を速くすることで、物体が存在しなくなった位置の蓄積量が速やかに減少されるようにしている。
【００５４】
図６は、特徴量蓄積画像６０１の一例を示す。本実施形態において、特徴量の蓄積量は０〜２５５の実数で表現されるものとし、蓄積量の大きさと、予め与えたカラーテーブルを対応付けしておき、擬似カラーで表現することができる。特徴量蓄積画像６０１に対しては、膨張・収縮などの空間フィルタをかけることで、ノイズ除去あるいは領域の整形を施してもよい。
【００５５】
次に、停止物検出部２０７を説明する。停止物検出部２０７は、特徴蓄積部２０６における特徴量蓄積画像から、各画素の特徴蓄積量に対して、しきい値処理を実施し、一定以上のしきい値を超える画素を空間的にクラスタリングする。停止物検出部２０７は、クラスタリングの手段として、ラスタスキャンとルックアップテーブルを用いたラベリング方法などを用いる。
【００５６】
停止物検出部２０７は、ラベリングを行う際には、空間的な距離以外にも、各画素の特徴蓄積量の大きさなど時間的な距離も観測し、それぞれが一定の距離以内のものをグルーピングしてもよい。停止物検出部２０７は、クラスタリングし、一定以上の大きさなど特定の条件を満たす領域を停止候補領域７０１とみなす。
【００５７】
図７は、停止候補領域７０１の一例を示している。特徴量蓄積画像６０１で、特徴の蓄積量が５０％以上の領域をクラスタリングした結果が、停止候補領域７０１である。
【００５８】
次に放置物判定部２０８について説明する。放置物判定部２０８は、停止候補領域７０１の周囲環境に対する評価、具体的には周囲の変化を評価することで、放置物であるか否かの判定を行う。例えば、放置物判定部２０８は、停止候補領域７０１のうち、所有者の足元に置かれた荷物など所有者が周辺に存在する放置されていない物体、日照変化や照明ＯＮ／ＯＦＦなどに基づく背景変化による背景テクスチャ領域、長時間滞留している人物の一部あるいは全体など、異常と判定するべき放置物かどうかの判定を行う。
【００５９】
背景変化と放置物を見分ける方法として、停止候補領域７０１と同じ座標の入力画像（ｔ＝ｔ０）３０２及び背景画像３０１の類似性を比較する方法がある。類似性の算出には、正規化相互相関やＳＡＤ（Sum of Absolute Difference）などのテンプレートマッチング手法によって、前記位置の輝度値の距離を求めることで、類似度を算出する方法がある。
【００６０】
図８は、テンプレートマッチング手法の一例を説明する図である。図８（ａ）に示す背景画像３０１における停止物候補領域画像８０１と、図８（ｂ）に示す入力画像（ｔ＝ｔ０）３０２における停止物候補領域画像８０２の類似度を前記手法により算出する。
【００６１】
この例では、停止物候補領域画像８０１と停止物候補領域画像８０２の類似度は非常に高く、すなわち図７の停止候補領域７０１は、背景テクスチャ領域を誤検出した領域である可能性が高いとみなすことができる。
【００６２】
但し、停止物候補領域の前を人物が通過する場合など、類似度が低くなる時であっても、前記候補領域が背景である可能性は否定できないので、時間方向での類似度を観測して、一定時間以上連続して類似度が高くならない領域のみを放置物の候補とするようにしてもよい。
【００６３】
類似度以外にも、背景画像３０１に含まれる特徴量と特徴量蓄積画像６０１の停止物候補領域における特徴量を比較し、背景を特定する手法がある。図９は、そのような手法の例を説明する図である。この方法では、図９（ａ）の特徴量蓄積画像６０１の停止物候補領域矩形９０２における特徴量が一定以上の画素の数と、図９（ｂ）の背景画像３０１に対して特徴量抽出を実施した画像（特徴量抽出後画像９０１）における停止物候補領域矩形９０３に含まれる特徴量が０以外の画素の数を比較して、特徴量蓄積画像６０１における前記画素の数の差が一定以上の場合において背景と判断する。この方法は、仮に放置物の前に人物など視界を遮る物体が通過しても評価値が下がることなく、よりロバストな判定が可能である。
【００６４】
所有者の足元に置かれた荷物など所有者が周辺に存在する放置されていない物体、または時間滞留している人物の一部あるいは全体と、放置物を見分ける方法として、放置物候補領域の周辺の動的領域の量を観測する技術がある。
【００６５】
図１０は、放置物を見分ける方法の一例を示す図である。図１０（ａ）の画像１００１の停止物候補領域１００３の周辺、例えば停止物候補領域１００３から一定距離以内の範囲で、不動領域抽出部２０４が算出した示す動領域画像３０５（図１０（ｂ）に示す。）を参照し、人物に相当すると思われる一定数以上の画素（領域１００２）が存在していた場合、動的物体が近くに存在する、あるいは、停止物候補領域１００３が動的物体の一部である可能性が高いとみなし、本事象を検知してから一定時間は放置物として発報することを保留するような処理を行う。
【００６６】
次に放置物管理部２０９について説明する。放置物管理部２０９は、停止物検出部２０７で取得した全ての停止物候補領域と、それら領域に付随する放置物判定部２０８で算出した放置物らしさに関する属性、一例として候補領域と背景の類似度、特徴量の差分量、周辺の動的領域の有無、候補領域の大きさ、候補領域が検出され続けている時間の長さなどを合わせて記録しておく。
【００６７】
放置物管理部２０９に対して、予め指示装置１０８を用いて、ユーザやシステム管理者らは、発報条件（大きさや放置された時間の長さなど）を設定する。放置物管理部２０９は、その発報条件を満たす放置物が格納された場合、データ通信部１０４を通じて発報装置１０７や記録装置１１０に展開したり、表示出力装置１０９にその情報を出力したりする。
【００６８】
結果統合部２１０は、放置物管理部２０９に格納された放置物候補のうち、ユーザやシステム管理者に通知すべき放置物の位置や属性をメタデータの形、あるいは入力画像（ｔ＝ｔ０）３０２または背景画像３０１に重畳、一般にはオーバレイした画像の形で出力できるように、結果を統合する。
【００６９】
図１１は、検出した放置物の情報（検出放置物情報１１０２）を入力画像（ｔ＝ｔ０）３０２に重畳した場合の一例を示す画像１１０１である。
【００７０】
放置物の位置以外にも、人物の滞留や混雑、先詰まりなどの傾向を表す手段として、例えば、特徴蓄積部２０６が算出した特徴量蓄積画像に対して、前記特徴の蓄積量を滞留度といった指数に置き換えて、その滞留度を画像化し、入力画像上にオーバレイすることで、前記の滞留傾向をユーザにわかりやすく可視化することが可能となる。
【００７１】
一例として、図１２では、疑似カラーで表現した特徴量蓄積画像に対して、ガウシアンフィルタによる空間処理などを施すことによって取得した滞留度ヒートマップ画像１２０１（図１２（ａ））を、入力画像（ｔ＝ｔ０）３０２にαブレンディングによってオーバレイした画像（オーバレイ画像１２０２）（図１２（ｂ））を示す。これによって、本実施形態の技術を用いることで、放置物検出以外にも、滞留や混雑を可視化する手段としても実現できる。
【００７２】
また、上述の放置物の位置は、撮影したカメラの位置や高さ、俯角、焦点距離などの情報が既知である場合、カメラパラメータを用いて、ワールド座標系に変換して、地図上にマッピングするようにしてもよい。これは前記の滞留度ヒートマップ画像１２０１に対しても適用可能で、ワールド座標系に変換したヒートマップ画像を地図にオーバレイすることで、混雑や滞留の位置や度合を可視化することも可能となる。
【００７３】
さらに、画像認識部１０３は、停止物の候補領域が最初に見つかった時間の画像を記録しておくことで、放置物判定部２０８によって放置物が検出された場合に、前記放置物を放置した人物について、前記、停止物候補領域が最初に見つかった時間の入力画像を記録装置１１０を参照することで、見つけることが可能となる。
【００７４】
さらに、本実施形態の画像監視システム１００と、顔検索システムや服装検索システムなどを組み合わせることによって、前記放置物を放置した人物を記録装置１１０から検索できるようにし、例えば、警察の捜査支援や忘れ物をした持ち主の探索をより効率的に行えるようにすることも可能である。
【００７５】
以上、本実施形態の画像監視システム１００によると、ＧＰＵなどを必要としない軽量なアルゴリズム、すなわち処理負荷の小さいアルゴリズムで、放置物と滞留者やノイズのロバストな識別、放置物の隠れに頑健な検出技術を実現できる。
【００７６】
以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【符号の説明】
【００７７】
１００  画像監視システム１０１  撮像装置１０２  映像取得部１０３  画像認識部１０４  データ通信部１０５  記録制御部１０６  表示制御部１０７  発報装置１０８  指示装置１０９  表示出力装置１１０  記録装置１２０  監視処理部１３０  入出力部２０１  基準画像生成部２０２  基準画像管理部２０３  前景抽出部２０４  不動領域抽出部２０５  特徴抽出部２０６  特徴蓄積部２０７  停止物検出部２０８  放置物判定部２０９  放置物管理部２１０  結果統合部２２０  前段処理部２３０  後段処理部
【図１】
0006764481.tif 000002
【図２】
0006764481.tif 000003
【図３】
0006764481.tif 000004
【図４】
0006764481.tif 000005
【図５】
0006764481.tif 000006
【図６】
0006764481.tif 000007
【図７】
0006764481.tif 000008
【図８】
0006764481.tif 000009
【図９】
0006764481.tif 000010
【図１０】
0006764481.tif 000011
【図１１】
0006764481.tif 000012
【図１２】
0006764481.tif 000013