(57)【特許請求の範囲】
【請求項１】
人の動作を時系列に並べたものを行動シーケンスとし、
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定してその特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項２】
人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項３】
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【請求項４】
前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする請求項１または２に記載の不審人物検知方法。
【請求項５】
人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする請求項１、２、４のいずれか１つに記載の不審人物検知方法。
【請求項６】
前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする請求項１または３に記載の不審人物検知方法。
【請求項７】
一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項１または２に記載の不審人物検知方法。
【請求項８】
一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項１または３に記載の不審人物検知方法。
【請求項９】
前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする請求項１乃至８のいずれか１つに記載の不審人物検知方法。
【請求項１０】
異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする請求項１または２に記載の不審人物検知方法。
【請求項１１】
異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする請求項１または３に記載の不審人物検知方法。
【請求項１２】
前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする請求項１０または１１に記載の不審人物検知方法。
【請求項１３】
異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールをルール登録部に登録しておき、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知方法。
【請求項１４】
前記観察対象の状態が予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする請求項１３に記載の異常事象検知方法。
【請求項１５】
一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする請求項１３に記載の異常事象検知方法。
【請求項１６】
前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする請求項１３乃至１５のいずれか１つに記載の異常事象検知方法。
【請求項１７】
人の動作を時系列に並べたものを行動シーケンスとし、人の所在位置を時系列に並べたものを移動経路として、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定して、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項１８】
人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項１９】
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【請求項２０】
前記処理部は、前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする請求項１７または１８に記載の不審人物検知装置。
【請求項２１】
人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする請求項１７、１８、２０のいずれか１つに記載の不審人物検知装置。
【請求項２２】
前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする請求項１７または１９に記載の不審人物検知装置。
【請求項２３】
前記処理部は、一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項１７または１８に記載の不審人物検知装置。
【請求項２４】
前記処理部は、一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする請求項１７または１９に記載の不審人物検知装置。
【請求項２５】
前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする請求項１７乃至２４のいずれか１つに記載の不審人物検知装置。
【請求項２６】
前記処理部は、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする請求項１７または１８に記載の不審人物検知装置。
【請求項２７】
前記処理部は、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする請求項１７または１９に記載の不審人物検知装置。
【請求項２８】
前記処理部は、前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする請求項２６または２７に記載の不審人物検知装置。
【請求項２９】
異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知装置。
【請求項３０】
前記処理部は、前記観察対象の状態が、予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする請求項２９に記載の異常事象検知装置。
【請求項３１】
前記処理部は、一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする請求項２９に記載の異常事象検知装置。
【請求項３２】
前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする請求項２９乃至３１のいずれか１つに記載の異常事象検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、不審人物を検知する不審人物検知方法、不審人物検知装置および異常事象を検知する異常事象検知方法、異常事象検知装置に関する。
【背景技術】
【０００２】
カメラ画像に基づいて、不審人物や異常事象の発生を監視するシステムでは、監視対象の人物や物体の状態推移を所定時間長モニタリングした結果から不審人物等を判定するようになっている。判定の基礎となるモニタリング時間は、通常、観察対象に応じて予め定めた１つの時間長に固定される。
【０００３】
また、所定時間にわたり人の行動をモニタリングし、その行動パターンを解析して人が特定の振る舞いを行ったか否かを判定する画像監視システムがある（特許文献１参照）。この画像監視システムでは、たとえば、歩く、屈むなど人の汎用的振る舞いを解析し、この汎用的振る舞いに関する時系列パターンデータに基づいて、特定の専用的振る舞いか否かを識別（たとえば、歩く動作から屈む動作に遷移し、その後、屈む動作がＮ秒間以上継続すると病気と判定)するようになっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−２７２４８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
モニタリング時間長がある１つの時間長に限られる場合、人の動きの個人差への対応が難しい。たとえば、屈む動作がＮ秒継続したことを基準に病人であると判定すると、実際には病人であっても、屈む動作の継続時間がＮ秒より僅かに短いだけでも病人でないと判定されてしまう。
【０００６】
また、監視している人の行動パターンの長さが、設定したモニタリング時間に達しないうちは判定処理を行わないので、モニタリング時間の長さより短い時間の長さの意味のある行動を見落としてしまい、不審人物や異常事象の発見に遅れが生じる可能性がある。
【０００７】
また、時系列に連なった複数の動作である行動パターンに基づいて判定する場合、意味のある１つの動作を見落としてしまい、不審人物や異常事象の発見に遅れが生じる可能性がある。
【０００８】
本発明は、上記の問題を解決しようとするものであり、不審人物や異常事象を、より短時間の観察から精度良く検知することのできる不審人物検知方法、不審人物検知装置、異常事象検知方法、異常事象検知装置を提供することを目的としている。
【課題を解決するための手段】
【０００９】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１０】
［１］人の動作を時系列に並べたものを行動シーケンスとし、
人の所在位置を時系列に並べたものを移動経路とし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを、ルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定してその特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【００１１】
上記発明および下記［１７］に記載の発明では、不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを、ルール登録部に登録しておく。そして、監視処理においては、カメラからの画像を解析して追尾人物の動作や所在位置を特定し、その特定した追尾人物の動作により時系列に並べた行動シーケンスデータ、および追尾人物の所在位置により時系列に並べた移動経路データを逐次更新する。追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、追尾中の人物の所在位置が変化した場合は、経路長さ毎に、移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させる。そして、スコアの累積値に基づいて、追尾人物が不審者であるか否かを判定する。
【００１２】
このように、行動シーケンスや移動経路を、シーケンス長さや経路長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の行動・移動パターンや、人の動き・移動の個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【００１３】
［２］人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【００１４】
上記発明および下記［１８］に記載の発明では、追尾人物の行動シーケンスをシーケンス長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の行動パターンや、人の動きの個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【００１５】
［３］人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールをルール登録部に登録しておき、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知方法。
【００１６】
上記発明および下記［１９］に記載の発明では、追尾人物の移動経路を、経路長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の移動パターンや、人の移動の個人差に対応することができ、不審人物を漏れなく早期にかつ高精度に検知することができる。
【００１７】
［４］前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする［１］または［２］に記載の不審人物検知方法。
【００１８】
上記発明および下記［２０］に記載の発明では、予め定めた特定の動作に基づいて、スコアを上昇させる。すなわち、時系列な動作の推移と関係なく、特定の動作が行われた時点でスコアを上昇させる。ユーザが特に注目したい動作を特定動作に設定するとよい。
【００１９】
［５］人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする［１］、［２］、［４］のいずれか１つに記載の不審人物検知方法。
【００２０】
上記発明および下記［２１］に記載の発明では、追尾人物の動作を、「移動」、「佇み」、「屈み」など動作の種類を示す基本動作要素と、その継続時間（長い、短いなど）を示す時間要素と、監視対象物（たとえば、車両や金庫など）と追尾人物との距離を示す相対位置要素（遠い、近いなど）とを用いて定義する（他の要素をさらに含めてもよい）。これにより、動作を時間的、空間的に定義することができる。
【００２１】
［６］前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする［１］または［３］に記載の不審人物検知方法。
【００２２】
上記発明および下記［２２］に記載の発明では、所在位置を予め定義したエリア番号で表す。これにより所在位置や移動経路の管理・処理が容易になる。
【００２３】
［７］一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする［１］または［２］に記載の不審人物検知方法。
【００２４】
上記発明および下記［２３］に記載の発明では、長いルールに一致するほど、不審人物である可能性は高くなるので、追尾人物の行動シーケンスがシーケンス長の長いルールに一致するほどスコアの上昇量を大きくする。
【００２５】
［８］一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする［１］または［３］に記載の不審人物検知方法。
【００２６】
上記発明および下記［２４］に記載の発明では、長いルールに一致するほど、不審人物である可能性は高くなるので、追尾人物の移動経路が経路長の長いルールに一致するほどスコアの上昇量を大きくする。
【００２７】
［９］前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする［１］乃至［８］のいずれか１つに記載の不審人物検知方法。
【００２８】
［１０］異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする［１］または［２］に記載の不審人物検知方法。
【００２９】
上記発明および下記［２６］に記載の発明では、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとから、長さ毎の客観的なルールが自動生成されて登録される。
【００３０】
［１１］異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする［１］または［３］に記載の不審人物検知方法。
【００３１】
上記発明および下記［２７］に記載の発明では、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とから、長さ毎の客観的なルールが自動生成されて登録される。
【００３２】
［１２］前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする［１０］または［１１］に記載の不審人物検知方法。
【００３３】
上記発明および下記［２８］に記載の発明では、特定条件によってさらに絞り込まれたルールのみが登録部に登録される。
【００３４】
［１３］異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールをルール登録部に登録しておき、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知方法。
【００３５】
上記発明および下記［２９］に記載の発明では、異常時に生じる観察対象の状態推移のパターンを表した、パターン長さ（状態の変化回数）別の異常検知ルールを予め登録しておき、入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新する。そして、観察対象の状態が変化した場合に、パターン長さ毎に、異常検知ルールと一致する状態推移のパターンが状態推移データに含まれているかを調べ、一致する場合にスコアを上昇させる。このスコアの累積値に基づいて観察対象の異常を判定する。
【００３６】
このように、観察対象の状態推移のパターン長さ毎に異常検知用ルールと対比し、各ルールと一致する毎にスコアを上昇させるので、いろいろな時間長の状態推移パターンや、観察対象の個体差に対応することができ、異常事象を漏れなく早期にかつ高精度に検知することができる。
【００３７】
［１４］前記観察対象の状態が予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする［１３］に記載の異常事象検知方法。
【００３８】
上記発明および下記［３０］に記載の発明では、予め定めた特定の状態に基づいてスコアを上昇させる。すなわち、時系列な状態の推移と関係なく、特定の状態が出現した時点でスコアを上昇させる。ユーザが特に注目したい状態を特定状態に設定するとよい。
【００３９】
［１５］一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする［１３］に記載の異常事象検知方法。
【００４０】
上記発明および下記［３１］に記載の発明では、長いルールに一致するほど、異常事象である可能性は高くなるので、観察対象の状態推移パターンが長いルールに一致するほどスコアの上昇量を大きくする。
【００４１】
［１６］前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする［１３］乃至［１５］のいずれか１つに記載の異常事象検知方法。
【００４２】
［１７］人の動作を時系列に並べたものを行動シーケンスとし、人の所在位置を時系列に並べたものを移動経路として、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールと、不審人物の移動経路を表した経路長さ別の移動経路ルールとを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定して、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新すると共に、前記追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の動作が変化した場合は、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記追尾中の人物の所在位置が変化した場合は、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合に前記スコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【００４３】
［１８］人の動作を時系列に並べたものを行動シーケンスとし、
不審人物の行動シーケンスを表したシーケンス長さ別の行動シーケンスルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の動作を特定し、その特定した動作により時系列に並べた行動シーケンスデータを繰り返し更新し、
前記追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、前記行動シーケンスルールと一致する行動シーケンスが、前記行動シーケンスデータに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【００４４】
［１９］人の所在位置を時系列に並べたものを移動経路とし、
不審人物の移動経路を表した経路長さ別の移動経路ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
カメラから入力される画像内の人物を追尾すると共に、追尾中の人物の所在位置により時系列に並べた移動経路データを繰り返し更新し、
前記追尾中の人物の所在位置が変化した場合に、経路長さ毎に、前記移動経路ルールと一致する移動経路が、前記移動経路データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記追尾中の人物が不審人物であるかを判定する
ことを特徴とする不審人物検知装置。
【００４５】
［２０］前記処理部は、前記追尾中の人物の動作が、予め定めた特定動作の場合に、前記スコアを上昇させる
ことを特徴とする［１７］または［１８］に記載の不審人物検知装置。
【００４６】
［２１］人物の動作を、動作の種類を示す基本動作要素と、同一の基本動作要素の継続時間を示す時間要素と、監視対象物と追尾人物との距離を示す相対位置要素とを用いて表す
ことを特徴とする［１７］、［１８］、［２０］のいずれか１つに記載の不審人物検知装置。
【００４７】
［２２］前記所在位置は、画像内を複数に区分した各エリアに対して割り当てたエリア番号で表す
ことを特徴とする［１７］または［１９］に記載の不審人物検知装置。
【００４８】
［２３］前記処理部は、一致した行動シーケンスルールのシーケンス長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする［１７］または［１８］に記載の不審人物検知装置。
【００４９】
［２４］前記処理部は、一致した移動経路ルールの経路長さが長いほど、スコアの上昇量を大きくする
ことを特徴とする［１７］または［１９］に記載の不審人物検知装置。
【００５０】
［２５］前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記追尾中の人物は不審人物であると判定する
ことを特徴とする［１７］乃至［２４］のいずれか１つに記載の不審人物検知装置。
【００５１】
［２６］前記処理部は、異常データベースに登録されている不審人物の行動シーケンスと、正常データベースに登録されている正常人物の行動シーケンスとを、シーケンス長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない行動シーケンスを、不審人物を検知するための行動シーケンスルールとして前記ルール登録部に登録する
ことを特徴とする［１７］または［１８］に記載の不審人物検知装置。
【００５２】
［２７］前記処理部は、異常データベースに登録されている不審人物の移動経路と、正常データベースに登録されている正常人物の移動経路とを、経路長さ毎に比較し、異常データベースに含まれて正常データベースに含まれない移動経路を、不審人物を検知するための移動経路ルールとして前記ルール登録部に登録する
ことを特徴とする［１７］または［１９］に記載の不審人物検知装置。
【００５３】
［２８］前記処理部は、前記異常データベースと前記正常データベースとの比較によって得たルールのうち、設定された特定条件を満たすものだけを抽出して、前記ルール登録部に登録する
ことを特徴とする［２６］または［２７］に記載の不審人物検知装置。
【００５４】
［２９］異常時に生じる観察対象の状態推移のパターンを表したパターン長さ別の異常検知ルールを記憶したルール登録部と、
処理部と
を備え、
前記処理部は、
入力される観測データから観察対象の状態を特定して、その特定した状態により時系列に並べた状態推移データを繰り返し更新し、
前記観察対象の状態が変化した場合に、パターン長さ毎に、前記異常検知ルールと一致する状態推移のパターンが、前記状態推移データに含まれているかを調べて、一致する場合にスコアを上昇させ、
前記スコアに基づいて前記観察対象の異常を判定する
ことを特徴とする異常事象検知装置。
【００５５】
［３０］前記処理部は、前記観察対象の状態が、予め定めた特定状態の場合に、前記スコアを上昇させる
ことを特徴とする［２９］に記載の異常事象検知装置。
【００５６】
［３１］前記処理部は、一致した異常検知ルールのパターン長さが長いほど、前記スコアの上昇量を大きくする
ことを特徴とする［２９］に記載の異常事象検知装置。
【００５７】
［３２］前記処理部は、前記スコアが予め定めた閾値を超えたとき、前記観察対象は異常であると判定する
ことを特徴とする［２９］乃至［３１］のいずれか１つに記載の異常事象検知装置。
【発明の効果】
【００５８】
本発明に係る不審人物検知方法、不審人物検知装置、異常事象検知方法、異常事象検知装置によれば、不審人物や異常事象をより短時間の観察から精度良く検知することができる。
【図面の簡単な説明】
【００５９】
【図１】本発明の第１の実施の形態に係る不審人物検知装置の概略構成を示すブロック図である。
【図２】追尾中のオブジェクトについて作成されるオブジェクトデータテーブルの一例を示す説明図である。
【図３】駐車場における人の基本動作を列挙した一覧表である。
【図４】特徴量時系列データの蓄積状態を例示した説明図である。
【図５】基本動作判別部が有する基本動作信頼度算出部の構成例を示すブロック図である。
【図６】行動シーケンスを構成する人の動作の構成要素と、移動経路の構成要素を示す説明図である。
【図７】駐車車両を中心とした各地点のエリア番号を例示した説明図である。
【図８】正常行動シーケンスセットの一例を示す説明図である。
【図９】不審行動シーケンスセットの一例を示す説明図である。
【図１０】図８、図９の行動シーケンスセットから導出された不審行動シーケンスルールを示す説明図である。
【図１１】不審人物検知用行動シーケンスルールの一覧を示す説明図である。
【図１２】不審人物検知用移動経路ルールの一覧を示す説明図である。
【図１３】動作・位置要素時系列記憶領域の蓄積状態を示す説明図である。
【図１４】行動シーケンス記憶領域の記憶内容およびルール長さ毎のルールヒット確認領域を示す説明図である。
【図１５】移動経路記憶領域の記憶内容およびルール長さ毎のルールヒット確認領域を示す説明図である。
【図１６】不審人物検知装置が行う処理の流れを示す流れ図である。
【図１７】図１６のステップＳ１３のうちの行動シーケンスデータの生成更新に係る処理の詳細を示す流れ図である。
【図１８】図１７の続きを示す流れ図である。
【図１９】行動シーケンス生成処理（Ｓ３２）を示す流れ図である。
【図２０】行動シーケンス更新処理（Ｓ３７等）を示す流れ図である。
【図２１】図１６のステップＳ１３のうちの移動経路データの生成更新に係る処理の詳細を示す流れ図である。
【図２２】移動経路生成処理（Ｓ８２）を示す流れ図である。
【図２３】移動経路更新処理（Ｓ８５）を示す流れ図である。
【図２４】不審人物検知用ルール適用・検索処理（図１６のＳ１４）の詳細を示す流れ図である。
【図２５】図２４の続きを示す流れ図である。
【図２６】不審人物スコア加算更新処理（図１６のＳ１５）を示す流れ図である。
【図２７】駐車場内での不審者の行動と不審スコアの上昇グラフの一例を示す説明図である。
【図２８】第２の実施の形態に係る不審人物検知装置の構成を示すブロック図である。
【図２９】第２の実施の形態における図１６のステップＳ１４の処理内容を示す流れ図である。
【図３０】第２の実施の形態における図１６のステップＳ１５の処理内容を示す流れ図である。
【図３１】機器の故障診断、異常気象予測に関わる異常事象、正常事象、特徴量の一覧を示す説明図である。
【発明を実施するための形態】
【００６０】
以下、図面に基づき本発明の各種実施の形態を説明する。
【００６１】
図１は、本発明の第１の実施の形態に係る不審人物検知装置１０の概略構成を示している。不審人物検知装置１０は、監視カメラで撮影している監視エリア内の人物が不審人物か否かを判定して不審人物を検知する監視システムである。本実施の形態では、監視エリアを広い駐車場内とする場合を例に説明する。不審人物検知装置１０は、カメラ画像内から検出された移動物体が人か車両かを判別し、人であると判別した場合にその人物を追尾して行動を解析し、不審行動か否かを判定する。検知結果は、たとえば、監視員に対して注意喚起する警告ランプの作動や警告表示に利用される。
【００６２】
不審人物検知装置１０は、監視対象エリアを撮影して画像を取り込むためのカメラ部１１と、カメラ部１１によって取り込まれた画像を解析して不審人物を検出する処理部１２と、処理部１２の処理結果を出力する出力部１３と、不審人物検知装置１０に対する各種の設定や処理に関する指示の入力などを受ける入力部１４と、不審行動を検知するためのルールが登録された不審動作・行動検知処理用ルール登録部１５と、各種のデータが蓄積されたデータベース部１６とを備えている。
【００６３】
データベース部１６は、人に関する形状等の特徴量データが蓄積された人特徴ＤＢ部１６ａと、車両に関する形状等の特徴量データが蓄積された車両特徴ＤＢ部１６ｂと、正常人物の動作・行動に関するデータが蓄積された正常人物動作・行動時系列パターンＤＢ部１６ｃと、不審人物の動作・行動に関するデータが蓄積された不審人物動作・行動時系列パターンＤＢ部１６ｄとを備えている。正常人物動作・行動時系列パターンＤＢ部１６ｃ、不審人物動作・行動時系列パターンＤＢ部１６ｄに蓄積されるデータは、正常動作・行動や不審動作・行動に関するサンプルデータであり、人物の動作の時間的な推移である行動シーケンスを表した時系列パターンデータ(動作を時系列に並べたデータであり、行動シーケンスデータとも呼ぶ。)と、人物の所在位置の時間的な推移である移動経路を表した時系列パターンデータ（所在位置を時系列に並べたデータであり、移動経路データとも呼ぶ。）である。
【００６４】
カメラ部１１は、フレーム毎の画像（１画面分の静止画像）を１秒間に数十フレーム取り込むことで、動画を撮影する機能を果たす。
【００６５】
処理部１２は、カメラ部１１から入力された画像内の移動物体が人物であるか車両であるかを判別し、人物であれば追尾してその動作・行動シーケンス・移動経路などを解析して不審人物の検知を行う。以後、画像内から認識された人物や車両などの物体をオブジェクトとも呼ぶ。
【００６６】
処理部１２は、ＣＰＵ（Central Processing Unit）と、このＣＰＵが実行するプログラムやデータが記憶されたＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）などを主要部として構成される。
【００６７】
処理部１２は、カメラ部１１から入力される画像内のオブジェクトを追尾・探索する追尾部２１と、記憶部２２と、追尾部２１で追尾中のオブジェクトの特徴を抽出し、その特徴を示す特徴量データを記憶部２２に記憶する特徴量抽出処理を繰り返し行う蓄積制御部２３と、記憶部２２に記憶されている各オブジェクトの特徴量データに基づいて、各オブジェクトが人か車両かを判別する人・車両判別部２４と、不審人物検知ルール候補探索部２５と、不審人物検知ルール抽出部２６と、追尾中の人の動作・行動を解析する動作・行動解析部３０の機能を備えている。
【００６８】
特徴量データは、たとえば、オブジェクトの形状、大きさ、縦横比、動きや、不審人物判定用の各種属性などである。特徴量データは時系列に記憶部２２に記憶される。蓄積制御部２３は、オブジェクトの追尾中は所定の時間間隔で特徴量データを記憶部２２に記憶させる。ここでは、フレーム毎に行う。なお、時系列に並べた特徴量データを特徴量時系列データとする。
【００６９】
追尾部２１によるオブジェクトの追尾方法は、公知の方法を含めて任意の方法でよい。
【００７０】
人・車両判別部２４は、人特徴ＤＢ部１６ａに蓄積されている人の特徴を表した特徴量データと、オブジェクトの特徴量データとを比較して、そのオブジェクトが人か否かの判別を行う。また、車両特徴ＤＢ部１６ｂに蓄積されている車両の特徴を表した特徴量データと、オブジェクトの特徴量データとを比較して、そのオブジェクトが車両か否かの判別を行う。人・車両の判別方法はこれに限らず、公知の方法を含めて任意の方法でよい。
【００７１】
不審人物検知ルール候補探索部２５は、正常人物動作・行動時系列パターンＤＢ部１６ｃに記憶されているデータと、不審人物動作・行動時系列パターンＤＢ部１６ｄに記憶されているデータとを比較して、不審人物検知ルールの候補を探索する。不審人物検知ルール抽出部２６は、不審人物検知ルール候補探索部２５が探索して得た不審人物検知ルールの候補を、さらに特定の条件で絞り込んで不審人物検知ルールを抽出する機能を果たす。不審動作・行動検知処理用ルール登録部１５には、不審人物検知ルールや、ユーザの設定した不審動作のルール（設定不審動作検知ルール）が登録される。
【００７２】
動作・行動解析部３０は、追尾中の人物の動作・行動が不審動作・行動であるか否かを判定する。詳細には、基本動作判別部３１と、行動シーケンス生成部３２と、移動経路生成部３３と、不審動作検知部３４と、不審行動検知部３５と、不審判定部３６としての機能を果たす。
【００７３】
基本動作判別部３１は、追尾中の人の動作が、「歩く」、「屈む」などの予め定めた基本動作のいずれに該当するかを判別する。行動シーケンス生成部３２は、人の動作を時系列に並べた行動シーケンスを示す行動シーケンスデータを生成する。すなわち、基本動作判別部３１が判別した追尾中の人物の動作を時系列に並べることで、その人物の動作の時系列な推移を表した行動シーケンスデータを生成する。
【００７４】
移動経路生成部３３は、追尾中の人物の所在位置を時系列に並べた移動経路を示す移動経路データを生成する。
【００７５】
不審動作検知部３４は、基本動作判別部３１の判別した動作が不審動作か否かを、不審動作・行動検知処理用ルール登録部１５に登録されている設定不審動作検知ルール（不審動作を示すルール）と比較して判別し、不審動作の場合に不審スコアを上昇させる。
【００７６】
不審行動検知部３５は、追尾中の人物の行動シーケンスが不審人物のの行動シーケンスか否かを、また追尾中の人物の移動経路が不審人物の移動経路か否かを、不審動作・行動検知処理用ルール登録部１５に記憶されている各種ルールとの比較によって判別し、登録されているルールに該当する場合に不審スコアを上昇させる。
【００７７】
不審判定部３６は、不審スコアの値（累積値）に基づき、追尾中の人物が不審人物か否かを判定する。
【００７８】
出力部１３は、処理結果を外部に出力するためのインターフェース回路、各種設定画面や操作画面、処理結果等を視覚的に表示するためのディスプレイ装置などで構成される。入力部１４は、各種の設定や処理に関する指示に係る信号を入力するためのインターフェース回路のほか、各種の操作スイッチなどで構成される。
【００７９】
図２は、追尾中のオブジェクトについて作成されるオブジェクトデータテーブル４０の一例を示している。オブジェクトデータテーブル４０は、追尾中のオブジェクトの各種特徴量・属性などを登録したものである。オブジェクトデータテーブル４０は、画像内で新たなオブジェクトが検出される毎に作成され、そのオブジェクトが画像から消滅するまで、１フレームの画像を処理する毎に更新される。オブジェクトデータテーブル４０の作成更新は、主として追尾部２１および動作・行動解析部３０が行う。
【００８０】
オブジェクトデータテーブル４０には、オブジェクトＩＤ（obj_id）と、オブジェクト種類（obj_typeobj_id）と、オブジェクト状態（obj_stateobj_id）と、オブジェクト存在継続時間（obj_timeobj_id）と、オブジェクト領域左端位置（obj_lxobj_id）と、オブジェクト領域右端位置（obj_rxobj_id）と、オブジェクト領域上端位置（obj_tyobj_id）と、オブジェクト領域下端位置（obj_bｙobj_id）と、オブジェクト領域重心位置（水平方向）（obj_gxobj_id）と、オブジェクト領域重心位置（垂直方向）（obj_gyobj_id）と、オブジェクトの大きさ（obj_sizeobj_id）と、オブジェクトの縦横比（obj_aspectobj_id）と、オブジェクトの動きベクトル（水平方向）（obj_dxobj_id）と、オブジェクトの動きベクトル（垂直方向）（obj_dyobj_id）と、オブジェクト-最近傍車両間距離（obj_car_distobj_id）と、オブジェクト不審判定フラグ（suspicious_flagobj_id）と、オブジェクトの不審スコア（ＳＳobj_id）と、オブジェクトの行動シーケンス長（lenaobj_id）と、オブジェクトの移動経路長（lenｐobj_id）と、オブジェクトの基本動作継続時間（tcntobj_id）とが登録される。
【００８１】
オブジェクトＩＤは、このオブジェクトに固有に割り当てられた識別子である。オブジェクト種類は、当該オブジェクトが人であるか車両であるかを示す。オブジェクト-最近傍車両間距離は、当該オブジェクトが人の場合にセットされ、最も近い車両までの距離を示す。不審判定フラグは、当該オブジェクトが人であって、この人が不審人物（不審行動を行った人）であると判定済みの場合にセットされる。不審スコアは、不審動作検知部３４や不審行動検知部３５によって累積加算された不審スコアの現在値を示す。オブジェクトの行動シーケンス長は、この人物（オブジェクト）が画像内に出現してからの行動シーケンスの長さ（シーケンス長、動作が変化した回数）を示す。オブジェクトの移動経路長は、この人物が画像内に出現してからの移動経路の長さ（経路長、所在位置が変化した回数）を示す。オブジェクトの基本動作継続時間は、同一の基本動作が継続している時間の長さを示す。
【００８２】
図３は、駐車場における人の基本動作を列挙した基本動作一覧表４２である。ここでは、歩く・走るなどの「移動（Move）」、その場に停止して留まる「佇み（Stop）」、姿勢を低くする「屈み（Bend）」、自動車のドアを開閉する「ドア開閉（Door）」の４つを基本動作として定義する。また、基本動作「移動」の信頼度をＲmove、基本動作「佇み」の信頼度をＲstop、基本動作「屈み」の信頼度をＲbend、基本動作「ドア開閉」の信頼度をＲdoorとする。信頼度は、人の動きがその基本動作らしい度合いを示す。
【００８３】
ここでは、フレーム毎のオブジェクトデータテーブル４０の内容（全部もしくは一部）が、そのオブジェクトのある時刻での特徴量データとされる。特徴量データは時系列にして（特徴量時系列データとして）記憶部２２に保存される。なお、基本動作は図３に示すものに限定されるものではなく、監視対象に応じて適宜に定めればよい。
【００８４】
図４は、特徴量時系列データの蓄積状態を例示している。特徴量時系列データの記憶領域Ｆは、現在時刻から最大で（ｌmax−１）時間前までの特徴量データを時系列に保存する。同図（ｂ）は、記憶領域Ｆの途中まで特徴量時系列データが記憶された状態を、同図（ａ）は、ｌmax時間分の特徴量時系列データが詰まった状態を示している。右端（終端）まで詰まった以後は、１つずつ右へシフトされて最も古いデータが廃棄され、左端の空いた領域に最新のデータが記憶される。すなわち、ＦＩＦＯ（First in First out）形式で記憶内容の更新が行われる。
【００８５】
図５は、基本動作判別部３１が有する基本動作信頼度算出部３１ａの構成例を示している。図５の基本動作信頼度算出部３１ａは、図３に示した基本動作のいずれか１つを担当する部分である。基本動作判別部３１には基本動作毎に基本動作信頼度算出部３１ａが設けてある。
【００８６】
基本動作信頼度算出部３１ａは、複数個（ここではＭｆ個）の判別器３１ｂと、これらＭｆ個の判別器３１ｂの出力値に、それぞれ重み係数を乗じた値を加算（荷重和）する加算器３１ｃを備えている。
【００８７】
加算器３１ｃの出力Ｒｊは、この基本動作信頼度算出部３１ａが対象とする特定の基本動作の信頼度である。判別器３１ｂはそれぞれ対象の基本動作（たとえば、「屈み」）か否かの判別に寄与するいずれかの特徴量データに関して、所定時間分の特徴量時系列データセット（たとえば、Ｔｂ時間分（時系列にされたＴｂ個）の特徴量データを一組みにしたもの）として入力し、該当の基本動作らしさの度合いを示す数値を信頼度Ｒｊとして出力する。
【００８８】
たとえば、判別器３１ｂは、オブジェクトの形状、大きさ、動き、などの特徴量別に設けられ、各判別器３１ｂはその判別器に寄与する特徴量時系列データセットに基づいて基本動作らしさを判定する。各判別器３１ｂは、対象とする基本動作を行う人の動きの多数のサンプル等によってあらかじめチューニング（重み係数α１〜αＭfを調整）されている。ここでは、対象の基本動作である可能性が高いほど、Ｍｆ個の判別器３１ｂの出力の荷重和Ｒｊが大きな値となるようにされており、基本動作判別部３１は、基本動作信頼度算出部３１ａの加算器３１ｃが出力する信頼度Ｒｊが閾値以上の場合に該当の基本動作であると判定する。なお、基本動作の判別方法は上記に限定されるものではなく、任意の方法でよい。
【００８９】
図６は、時系列に並べることで行動シーケンスとなる人の動作の構成要素の一覧４６と、移動経路の構成要素の一覧４８とを示している。人の動作の構成要素の一覧４６に示すように、本例では、駐車場内での人の動作を、基本動作の種類（基本動作要素）と、その基本動作の継続時間（時間要素）と、注目車両との距離（相対位置要素）の３つの属性で表す。つまり、１つの動作をこの３つの属性で定義する。時間要素は「短い」（Short）と「長い」（Long）で定義する。相対位置要素は「近い」(Near)と「遠い」（Far）で定義する。基本動作の種類は基本動作判別部３１で判別される。
【００９０】
なお、「移動」をＭＶ、「佇み」をＳＴ、「屈み」をＢＮ、「ドア開閉」をＤＲ、「短い」をＳ、「長い」をＬ、「近い」をＮ、「遠い」をＦと図中略記する。また、「基本動作要素（時間要素、相対位置要素）」の書式で１つの動作を記号表記するものとする。たとえば、基本動作要素が「移動」（ＭＶ）、時間要素が「短い」（Ｓ）、相対位置要素が「近い」（Ｎ）の場合、この動作を記号で示すと、ＭＶ（Ｓ，Ｎ）となる。
【００９１】
図６の下側には移動経路の構成要素の一覧４８を示している。移動経路は、所在位置要素を連ねて表される。本例では、所在位置は図７に示す１〜１８のエリア番号で表す。人の移動に伴ってその人の所在位置を示すエリア番号を時系列に並べたものが移動経路となる。
【００９２】
図７は、駐車場内でのエリア番号の設定例を示している。所在位置要素は、画像内を１〜１８のエリアに区分して、それぞれのエリアにエリア番号を割り当てている。本例では、車両５０を中心として、その周囲の各エリアの中心点（基準位置）に対してエリア番号を割り当てている。図中の破線で示す矩形内の領域は、車両から近いＮｅａｒ領域５２である。エリア番号１〜９の場所は、相対位置要素では「近い」(Near)となり、エリア番号１０〜１８は相対位置要素で「遠い」（Far）となる。
【００９３】
なお、追尾人物の現在位置（位置座標）と各エリア番号に対応するエリアの基準位置との距離Ｄｋ（ｔ）を求め、この距離が最も短いエリア番号を、追尾人物の所在位置Ｐ（ｔ）とする。上記に対応する式を以下に示す。
【００９４】
【数１】
0005717553.tif 000002
【００９５】
図８は、駐車場内の人物の正常行動（正常事象）の行動シーケンスデータ７０と、この行動シーケンスデータ７０から生成された正常行動の行動シーケンスセット一覧７１を示している。人の動作を時系列に並べたものが行動シーケンスである。１つの動作を示すデータは前述したようにＭＶ（Ｓ，Ｎ）のように記述する。これを「−」で複数繋げることで、ＭＶ（Ｓ，Ｎ）−ＳＴ（Ｓ，Ｎ）−…のような行動シーケンスデータ（時系列パターンデータとも呼ぶ）となる。図８の正常行動の行動シーケンスデータ７０は、人が車に近づき乗車する行動シーケンスを表している。
行動シーケンスデータを、２以上の所定の長さに区切って取り出したものを行動シーケンスセット（あるいは時系列パターンセット）と呼ぶものとする。図８に示す１つの正常行動の行動シーケンスデータ７０から、正常行動の行動シーケンスセット一覧７１に示すようなシーケンス長さ別の多数の行動シーケンスセットを生成することができる。
【００９６】
図９は、駐車場内の人物の不審行動（異常事象）の行動シーケンスデータ７３と、この不審行動の行動シーケンスデータ７３から生成された不審行動の行動シーケンスセットの一覧７４を示している。本例の不審行動は、人が車に近づき、ドアの鍵をこじ開けて車両内に侵入（乗車）する行動である。図９の不審行動の行動シーケンスデータ７３は、図８の正常行動の行動シーケンスデータ７０に対して、３番目の動作としてＢＮ（Ｓ，Ｎ）「屈み」が含まれている。
【００９７】
図１０は、図９の不審行動の行動シーケンスセット一覧７４に含まれていて、図８の正常行動の行動シーケンスセット一覧７１に含まれていない行動シーケンスセットのみを、不審行動検知用行動シーケンスルールとして選出して得た、不審行動検知用行動シーケンスルールの一覧７５を示している。
【００９８】
不審人物検知ルール候補探索部２５は、データベース部１６の正常人物動作・行動時系列パターンＤＢ部１６ｃから正常行動の行動シーケンスデータを取得して、正常行動の行動シーケンスセット一覧７１のようなシーケンス長さ別の行動シーケンスセットを可能なだけすべて生成する。また、不審人物動作・行動時系列パターンＤＢ部１６ｄから不審行動の行動シーケンスデータを取得し、不審行動の行動シーケンスセット一覧７４のようなシーケンス長さ別の行動シーケンスセットを可能なだけすべて生成する。そして、不審行動の行動シーケンスセットに含まれていて、正常行動の行動シーケンスセットに含まれていない行動シーケンスセットを、不審行動検知用行動シーケンスルールとして抽出し、これを不審動作・行動検知処理用ルール登録部１５に登録する。移動経路についても同様にしてルールを自動生成して、不審動作・行動検知処理用ルール登録部１５に登録するようになっている。
【００９９】
本例では、不審人物検知ルール抽出部２６による抽出は行わず、不審人物検知ルール候補探索部２５でのルール候補を、そのまま不審行動検知用行動シーケンスルールとしている。不審人物検知ルール抽出部２６による抽出を行う場合、不審人物検知ルール候補探索部２５の生成したものを不審人物検知用行動シーケンスルールの候補とし、これを特定の条件で絞込んだものを、不審人物検知用行動シーケンスルールとする。たとえば、発生頻度の高いルールから順に、それらの発生頻度の累積値が閾値を超える手前までのみを抽出する、発生確率が一定以上のルールのみを抽出する、ルール長さが所定値以上のものだけを抽出する、といった絞込みを行うようにしてもよい。不審人物検知用移動経路ルールについても同様である。
【０１００】
このように、不審人物検知装置１０では、データベース部１６に記憶されている不審行動、正常行動の行動シーケンスデータから、それぞれシーケンス長さ毎の行動シーケンスセットを生成し、シーケンス長さ毎の不審人物検知用行動シーケンスルールを自動生成する。移動経路についても同様に不審人物検知用移動経路ルールを自動生成する。これらの長さ毎のルールを使用することで、駐車場などでの不審人物をより精度高くかつ短時間の観測で検知することが可能になる。また、データベース部１６に記憶されている不審行動、正常行動のサンプルデータから、不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールを自動的に生成するので、人がルールを設定する場合と異なり、少ない設定工数でかつ客観的なルールを得ることができる。
【０１０１】
図１１は、不審動作・行動検知処理用ルール登録部１５に登録されている不審人物検知用行動シーケンスルール一覧７７の一般形を示している。ルール長さ毎に、不審人物検知用行動シーケンスルールが登録される。図中の記号Ｅij、ａ１ｊ、ａ２ｊにおいて、Ｅは基本動作要素（ＭＶ、ＳＴ、ＢＮ、ＤＲのいずれか）、ａ１は時間要素（Ｓ、Ｌのいずれか）、ａ２は相対位置要素（Ｎ、Ｆのいずれか）、添え字ｉは同じルール長さを有するルールの中でのルールＩＤを、添え字ｊはそのルールの中でのルールの先頭からの順番（先頭を０とする）をそれぞれ示している。１つのルール長さ（シーケンス長さ）について、多数のルールが形成されて登録される。
【０１０２】
図１２は、不審動作・行動検知処理用ルール登録部１５に登録されている不審人物検知用移動経路ルールの一覧７９の一般形を示している。Ｐijにおいて、Ｐは所在位置要素である。Ｐは図７に示すいずれかのエリア番号となる。添え字ｉは同じルール長さを有するルールの中でのルールＩＤ、添え字ｊはそのルールの中でのルールの先頭からの順番（先頭を０とする）を示している。１つのルール長さ（経路長）について、多数のルールが形成されて登録される。
【０１０３】
図１３は、基本動作要素、時間要素、相対位置要素、所在位置要素の各時系列データを蓄積記憶する動作・位置要素時系列記憶領域６２の蓄積状態を示している。基本動作要素を記憶する基本動作要素時系列記憶領域６２ａ、時間要素を記憶する時間要素時系列記憶領域６２ｂ、相対位置要素を記憶する相対位置要素時系列記憶領域６２ｃ、所在位置要素を記憶する所在位置要素時系列記憶領域６２ｄは、それぞれ長さｌmaxを有するＦＩＦＯ形式の記憶領域となっている。
【０１０４】
図１４は、追尾中の人物の動作の変化を時系列に記憶する行動シーケンス記憶領域６４の記憶内容を示している。基本動作要素、時間要素、相対位置要素のいずれかが変化する毎に動作が更新されて記憶される。行動シーケンス記憶領域６４は、長さlenmaxを有するＦＩＦＯ形式の記憶領域となっており、最新の動作から（lenmax−１）回前までの動作が時系列に記憶される。
【０１０５】
図１５は、追尾中の人物の所在位置の変化を時系列に記憶する移動経路記憶領域６５の記憶内容を示している。追尾中の人物の所在位置（エリア番号）が変化する毎に、移動経路記憶領域６５の記憶内容が更新される。移動経路記憶領域６５は、長さlenmaxを有するＦＩＦＯ形式の記憶領域となっており、最新の所在位置から（lenmax−１）回前までの所在位置が時系列に記憶される。
【０１０６】
次に、不審人物検知装置１０が行う不審人物検知処理について説明する。
【０１０７】
図１６は、不審人物検知装置１０が行う処理の流れを示している。
本処理では、処理部１２は、カメラ部１１から入力された画像を解析して人物を追尾し、追尾中の人物の動作を特定してその特定した動作を時系列に並べた行動シーケンスデータ(行動シーケンス記憶領域６４の記憶内容)を繰り返し更新する。
【０１０８】
また、追尾中の人物の所在位置を時系列に並べた移動経路データ（移動経路記憶領域６５の記憶内容）を繰り返し更新する。そして、追尾中の人物の動作が変化した(行動シーケンスデータのデータ長が１つ増えた)場合は、シーケンス長さ毎に、不審人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べ、一致する場合に不審スコアを上昇させる。また、追尾中の人物の所在位置が変化した(移動経路データのデータ長が１つ増えた)場合は、経路長さ毎に、不審人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べ、一致する場合に不審スコアを上昇させる。そして、不審スコアの累積値が閾値以上になった時点で不審人物と判定するように処理を行う。以下その詳細を説明する。
【０１０９】
処理部１２は、フレーム時刻ｔを０に初期化した（ステップＳ１）後、画像を解析して人物の追尾を行う(ステップＳ２)。Ｓ２では、新たな人物を検出した場合は、その人物に関するオブジェクトデータテーブル４０の新規生成などを行う。これにより新たな人物は追尾中の人物となる。
【０１１０】
追尾中の人物が存在しない場合は(ステップＳ３；Ｎｏ)、フレーム時刻ｔを＋１して（ステップＳ２１）、ステップＳ２に移行して処理を継続する。なお、処理部１２は、ステップＳ２〜Ｓ２１の処理を、カメラ部１１から１フレームの画像（もしくは所定の複数フレーム）を取り込む毎に実行する。
【０１１１】
追尾中の人物が存在すれば（ステップＳ３；Ｙｅｓ）、画像から消滅した人物が存在するか否かを確認する（ステップＳ４）。画像から消滅した人物が存在しない場合は（ステップＳ４；Ｎｏ）、ステップＳ９へ移行する。画像から消滅した人物が存在する場合は（ステップＳ４；Ｙｅｓ）、すべての消滅した人物のオブジェクトデータテーブル４０や各種の追尾データをクリアして（ステップＳ５〜Ｓ８）、ステップＳ９へ移行する。
【０１１２】
ステップＳ９では、処理対象の追尾中の人物（オブジェクト）の番号を示す変数ｉを０にクリアする。その後、追尾中の人物それぞれについてステップＳ１０〜Ｓ２０の処理を行う。すなわち、不審判定フラグ（suspicious_flagobj_id(i)）がＯＮ状態（ＯＮは不審人物であることを示す）か否かを調べ（ステップＳ１０）、ＯＮでなければ(ステップＳ１０；Ｎｏ)、当該人物に関する特徴量時系列データを更新する（ステップＳ１１）。ここでは、フレーム毎のオブジェクトデータテーブル４０内の特定事項を特徴量データとする。そして、特徴量データを時系列にして、記憶部２２に図４に示したように保存する。なお、特徴量データを時系列にしたデータを特徴量時系列データとする。
【０１１３】
次に、特徴量時系列データに基づいて、基本動作判別部３１で基本動作を導出する(ステップＳ１２)。そして、行動シーケンス・移動経路生成更新処理を行う(ステップＳ１３)。この処理では、図１３の動作・位置要素時系列記憶領域６２の内容（基本動作要素時系列データ、時間要素時系列データ、相対位置要素時系列データ、所在位置要素時系列データ）を更新し、さらに、動作に変化が生じた場合は行動シーケンス記憶領域６４の行動シーケンスデータを更新する。また所在位置に変化が生じた場合は移動経路記憶領域６５の移動経路データを更新する。
【０１１４】
次に、不審人物検知用ルール適用・検索処理を行う(ステップＳ１４)。この処理では、追尾中の人物の動作が変化した場合に、シーケンス長さ毎に、不審人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べる。また、追尾中の人物の所在位置が変化した場合は、経路長さ毎に、不審人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べる。
【０１１５】
次に、不審スコア加算更新処理において(ステップＳ１５)、ステップＳ１４の結果に応じて不審スコアを上昇させ、不審スコア(累積値)が閾値を超えた場合は、不審人物と判断し(ステップＳ１６；Ｙｅｓ)、不審判定フラグ（suspicious_flagobj_id(i)）をＯＮにし(ステップＳ１７)、アラーム表示等を行って(ステップＳ１８)、ステップＳ１９へ移行する。不審スコアにより不審人物と判定しない場合は(ステップＳ１６；Ｎｏ)、ステップＳ１９に移行する。
【０１１６】
ステップＳ１９では、変数ｉを＋１し、加算後の変数ｉが追尾中の全人物数に等しいか否かを調べ（ステップＳ２０）、等しくない場合は（ステップＳ２０；Ｎｏ）、ステップＳ１０に戻り、次の追尾中の人物について処理を行う。等しい場合は（ステップＳ２０；Ｙｅｓ）、フレーム時刻ｔを＋１し（ステップＳ２１）、ステップＳ２に戻って次フレーム画像に対する処理を行う。
【０１１７】
図１７、図１８は、図１６のステップＳ１３のうち、行動シーケンスデータの生成更新に係る処理の詳細を示している。追尾中の人物の行動シーケンス長が０であれば(ステップＳ３１；Ｙｅｓ)、追尾中の人物の最初の基本動作となるため、行動シーケンスを生成し初期化する（ステップＳ３２）。この処理は、図１９に示すように、行動シーケンス長lenＡを「１」に初期化し（ステップＳ６１）、基本動作要素Ｅ０、時間要素ａ１０、相対位置要素ａ２０を現在値（Ｅ（ｔ）、ａ１（ｔ）、ａ２（ｔ））にそれぞれ初期化する（ステップＳ６２〜Ｓ６４）。
【０１１８】
行動シーケンス長が０でなければ(ステップＳ３１；Ｎｏ)、現在時刻ｔと１つ前の時刻（ｔ−１）の動作の基本動作要素を比較し、基本動作が変化したか否か調べる(ステップＳ３３)。基本動作が変化していなければ(ステップＳ３４；Ｙｅｓ)、基本動作継続時間ｔcntを＋１して(ステップＳ３５)、ステップＳ３８に移行する。
【０１１９】
基本動作が変化した場合は(ステップＳ３４；Ｎｏ)、基本動作継続時間ｔcntを１に初期化し（ステップＳ３６）、行動シーケンス更新処理を行って(ステップＳ３７)、ステップＳ３８へ移行する。
【０１２０】
図２０は、行動シーケンス更新処理を示している。行動シーケンス長を＋１し(ステップＳ７１)、ＦＩＦＯ形式の行動シーケンス記憶領域６４の現在の記憶内容を１つずつ終端側へ移動させ（ステップＳ７２〜Ｓ７７）、一番手前の最新の基本動作要素Ｅ０に現時点の基本動作Ｅ（ｔ）を設定する(ステップＳ７８)。
【０１２１】
続くステップＳ３８〜Ｓ４５では、時間要素の設定を行う。詳細には、ステップＳ３４において、現在時刻ｔと１つ前の時刻（ｔ−１）で基本動作要素が同一であったか否かを調べ(ステップＳ３８)、基本動作要素が更新されている場合は（ステップＳ３８；Ｙｅｓ）、その基本動作は開始したばかりなので、現在時刻ｔの時間要素ａ１（ｔ）と最新の時間要素ａ１０に「短い」を設定して(ステップＳ４５)、ステップＳ４６へ移行する。
【０１２２】
同じ基本動作が継続している場合は(ステップＳ３８；Ｎｏ)、基本動作継続時間ｔcntが時間要素「長い」となる所定の閾値時間以上か否かを調べ（ステップＳ３９）、閾値時間以上ならば(ステップＳ３９；Ｙｅｓ)、現在時刻ｔの時間要素ａ１（ｔ）を「長い」（Long）に設定し(ステップＳ４０)、閾値時間未満ならば(ステップＳ３９；Ｎｏ)、ａ１（ｔ）を「短い」(Short)に設定する(ステップＳ４１)。現在時刻ｔの時間要素ａ１（ｔ）と１つ前の時刻の時間要素ａ１（ｔ−１）とを比較し（ステップＳ４２）、これらが不一致、すなわち、「短い」から「長い」に変化している場合は(ステップＳ４２；Ｎｏ)、行動シーケンス更新処理を行い(ステップＳ４３)、最新時間要素ａ１０にａ１（ｔ）を設定して(ステップＳ４４)、ステップＳ４６へ移行する。
【０１２３】
ステップＳ４６以降では、相対位置要素の設定を行う。詳細には、まず、現在時刻ｔにおける駐車車両と監視人物間との距離Ｄ（ｔ）を導出する(ステップＳ４６)。そして、ステップＳ３４でＮｏまたＳ４２でＮｏであった（現在時刻ｔと１つ前の時刻（ｔ−１）で、基本動作要素が変化していた、または時間要素が変化していた）場合は（ステップＳ４７；Ｙｅｓ）、追尾中の人物と車両との距離Ｄ（ｔ）が、相対位置要素を「遠い」(Far)とする閾値距離以上か否かを調べる(ステップＳ５１)。閾値距離以上ならば(ステップＳ５１；Ｙｅｓ)、現在時刻ｔの相対位置要素ａ２（ｔ）に「遠い」を設定し(ステップＳ５２)、閾値距離未満ならば(ステップＳ５１；Ｎｏ)、ａ２（ｔ）に「近い」を設定し(ステップＳ５３)、最新相対位置要素ａ２０にａ２（ｔ）を設定して（ステップＳ５４）処理を終了する。
【０１２４】
ステップＳ３４、Ｓ４２共にＹｅｓであった（現在時刻ｔと１つ前の時刻（ｔ−１）で基本動作要素、時間要素ともに変化していない）場合は（ステップＳ４７；Ｎｏ）、距離Ｄ（ｔ）が閾値距離以上かを調べ（ステップＳ４８）、閾値距離以上ならば(ステップＳ４８；Ｙｅｓ)、ａ２（ｔ）を「遠い」に設定し(ステップＳ４９)、閾値距離未満ならば(ステップＳ４８；Ｎｏ)、ａ２（ｔ）を「近い」に設定する(ステップＳ５０)。そして、現在時刻ｔの相対位置要素ａ２（ｔ）と１つ前の時刻の相対位置要素ａ２（ｔ−１）とを比較する（ステップＳ５５）。これらが不一致の場合は(ステップＳ５５；Ｎｏ)、行動シーケンス更新処理を行い(ステップＳ５６)、最新時間要素ａ１０に１つ前の動作の時間要素ａ１１をコピーする(ステップＳ５７)。また最新相対位置要素ａ２０に現在時刻ｔの相対位置要素ａ２（ｔ）を設定して(ステップＳ５８)、処理を終了する。
【０１２５】
図２１は、図１６のステップＳ１３のうち、移動経路データの生成更新に係る処理の詳細を示している。追尾中の人物の移動経路長lenＰが０であれば(ステップＳ８１；Ｙｅｓ)、追尾対象の人物の新たな出現を意味するので、その人物の移動経路を生成し初期化する（ステップＳ８２）。この処理は、図２２に示すように、移動経路長lenＰを「１」に初期化し（ステップＳ９１）、最新の所在位置要素Ｐ０に現在の所在位置Ｐ（ｔ）を設定する（ステップＳ９２）。
【０１２６】
移動経路長lenＰが０でなければ(ステップＳ８１；Ｎｏ)、監視対象人物の現在時刻ｔの所在位置Ｐ（ｔ）と１つ前の時刻（ｔ−１）の所在位置Ｐ（ｔ−１）とを比較して、所在位置が変化したか否か調べる(ステップＳ８３)。所在位置が変化していなければ(ステップＳ８４；Ｙｅｓ)、本処理を終了する。所在位置が変化している場合は(ステップＳ８４；Ｎｏ)、移動経路更新処理を行って(ステップＳ８５)、本処理を終了する。
【０１２７】
図２３は、移動経路更新処理を示している。移動経路長lenＰを＋１し(ステップＳ１０１)、ＦＩＦＯ形式の移動経路記憶領域６５の記憶内容を１つずつ終端側へ移動させ（ステップＳ１０２〜Ｓ１０５）、一番手前の最新所在位置要素Ｐ０に現在の所在位置Ｐ（ｔ）を設定する(ステップＳ１０６)。
【０１２８】
図２４、図２５は、不審人物検知用ルール適用・検索処理（図１６のＳ１４）の詳細を示している。時刻ｔ(現在時刻)で行動シーケンスデータの更新があれば（ステップＳ１２１；Ｙｅｓ）、シーケンス長さ毎に、行動シーケンスデータと、不審動作・行動検知処理用ルール登録部１５に登録されている不審人物検知用行動シーケンスルールとを比較し、シーケンス長さ(ルール長さ)毎に、図１４に示すルールヒット確認領域においてヒットしたルールの数（ＨＮａｉ    ｉはルール長さ）を計数する（ステップＳ１２２〜Ｓ１３２）。
【０１２９】
また、時刻ｔ(現在時刻)で移動経路データの更新があれば（ステップＳ１３３；Ｙｅｓ）、移動経路長さ毎に、移動経路データと、不審動作・行動検知処理用ルール登録部１５に登録されている不審人物検知用移動経路ルールとを比較し、移動経路長さ(ルール長さ)毎に、図１５に示すルールヒット確認領域においてヒットしたルールの数（ＨＮｐｉ  ｉはルール長さ）を計数する（ステップＳ１３４〜Ｓ１４４）。
【０１３０】
さらに、ユーザの設定した各設定不審動作検知ルールと、現在時刻ｔの動作が一致するか否か調べ、ヒットしたルールの数（ＨＮｂ）を計数する（ステップＳ１４５〜Ｓ１５１）。なお、設定不審動作検知ルールとしては、たとえば、車両近傍での屈み・佇みなどが考えられる。これは、基本動作要素が「Bend」あるいは「Stop」、時間要素が「Long」、相対位置要素が「Near」で継続している状態より捉えることができる。後述する不審スコア加算更新処理では、ヒットした設定不審動作検知ルールの数だけ、不審スコアを加算するようになっている（ステップＳ１７７〜１７９）。
【０１３１】
図２６は、不審スコア加算更新処理（図１６のＳ１５）の詳細を示している。時刻ｔ(現在時刻)で行動シーケンスデータの更新があれば（ステップＳ１６１；Ｙｅｓ）、ルール長さ毎に、そのルール長さｉでのヒット数（ＨＮａｉ）にそのルールの長さｉを乗じた値（ｉ×ＨＮａｉ）を求め、不審スコアＳＳに累積加算する（ステップＳ１６２〜Ｓ１６８）。つまり、ルール長さに応じた重み付けを行ってヒット数を計数して不審スコアを累積加算する。
【０１３２】
また、時刻ｔ(現在時刻)で移動経路データの更新があれば（ステップＳ１６９；Ｙｅｓ）、ルール長さ毎に、そのルール長さｉでのヒット数（ＨＮｐｉ）にそのルールの長さｉを乗じた値（ｉ×ＨＮｐｉ）を求め、不審スコアＳＳに累積加算する（ステップＳ１７０〜Ｓ１７６）。移動経路に関しても、ルール長さに応じた重み付けを行ってヒット数を計数し、不審スコアを累積加算する。
【０１３３】
また、設定不審動作検知ルールのヒット数（ＨＮｂ）を不審スコアＳＳに加算する（ステップＳ１７７〜Ｓ１７９）。これを式で表すと以下のようになる。
【０１３４】
【数２】
0005717553.tif 000003
【０１３５】
なお、不審スコアの累積加算は、不審スコア値が予め定めた不審人物判定閾値Thを超えた時点で終了する（ステップＳ１６６；Ｙｅｓ、Ｓ１７４；Ｙｅｓ）。また、ｉ×ＨＮａｉ、ｉ×ＨＮｐｉ、ＨＮｂのそれぞれに任意の重み付けをしてもよい。たとえば、行動シーケンスでルールが一致した場合の不審スコアの上昇量を、移動経路でのルール一致の場合より大きくする、といったことが重み付けにより可能になる。
【０１３６】
図２７は、駐車場内での不審者の行動と、この不審者を不審人物検知装置１０が追尾したときの不審スコアの上昇グラフの一例を示している。長さの短いルールがヒットした場合も不審スコアは上昇するので、行動シーケンス長が比較的短い時点から不審スコアは上昇し始めている。また、行動シーケンスが長くなるほど、比較されるルールの数も増え、長いルールがヒットした場合には不審スコアの上昇量は大きくなる。時間の経過と共に行動シーケンスが長くなると、不審スコアが大きく上昇する場合がある。本例では、車両に近づいて立ち止まったとき（Ｗ１）や、車両の近くで屈んだとき（Ｗ２）、などに不審スコアが大きく上昇している。たとえば、不審人物と判定する閾値を１５０に設定すると、ドアを開いた時点（Ｗ３）で不審人物と判定され、逃走前に警備員などに警告が出される。
【０１３７】
このように、種々の長さで、行動シーケンスや移動経路を、予め定めた不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールと比較し、ルールがヒットする毎に累積加算した不審スコアに基づいて不審人物を判定するので、いろいろな時間長の行動・移動パターンへの対応や、人の動き・移動の個人差への対応が可能となり、不審人物を漏れなく早期にかつ高精度で検知することができる。また、不審人物検知用行動シーケンスルールや不審人物検知用移動経路ルールは、サンプルデータなどに基づく客観的なルールなので、不審人物か否かについて客観的に判定することができる。
【０１３８】
次に、本発明の第２の実施の形態について説明する。
【０１３９】
＜第２の実施の形態＞
犯罪行為などの不審行動に関するデータは収集が難しい。そこで、第２の実施の形態では、正常行動に関する多数のルールを用意し、これらのルールに１つもヒットしない場合に不審行動と判定する。
【０１４０】
図２８は、第２の実施の形態に係る不審人物検知装置１０Ｂの構成を示している。図１に示す第１の実施の形態に係る不審人物検知装置１０と同一部分には同一符号を付してある。不審人物検知装置１０Ｂは、カメラ部１１と、処理部１２Ｂと、出力部１３と、入力部１４と、正常行動を示す多数のルールが登録された正常行動ルール登録部１５Ｂと、データベース部１６Ｂとを備えている。
【０１４１】
データベース部１６Ｂは、図１のデータベース部１６の不審人物動作・行動時系列パターンＤＢ部１６ｄを具備しない点で相違し、その他は同一である。
【０１４２】
処理部１２Ｂは、図１の不審人物検知ルール候補探索部２５、不審人物検知ルール抽出部２６はなく、これらに代えて、正常人物検知ルール生成部２７を備えている。正常人物検知ルール生成部２７は正常人物行動時系列パターンＤＢ部１６ｃ１に登録されている時系列パターンから長さ別の時系列パターンセットを生成し、これらを正常人物検知ルールとして出力する。
【０１４３】
正常行動ルール登録部１５Ｂは、正常人物検知ルール生成部２７が生成した正常人物検知ルールが登録される。
【０１４４】
行動解析部３０Ｂは、図１の動作・行動解析部３０に比して、不審動作検知部３４を具備しない点で相違し、他の構成は備えている。
【０１４５】
第２の実施の形態に係る不審人物検知装置１０Ｂの処理は、不審人物を判定するためのルールが正常人物検知ルールである点と、そのルールに１つもヒットしない場合に不審スコアを加算する点とが相違し、これら以外は、第１の実施の形態と同様である。
【０１４６】
以下、相違点について説明する。図１６の流れ図のうち、第２の実施の形態では、ステップＳ１４とＳ１５が第１の実施の形態と相違し、その他のステップは同一である。
【０１４７】
図２９は、第２の実施の形態における図１６のステップＳ１４の処理内容を示している。図２４と同一ステップには同一のステップ番号を付してある。また相違するステップには末尾にＡを付してある。
【０１４８】
この処理では、追尾中の人物の動作が変化した場合に（ステップＳ１２１；Ｙｅｓ）、行動シーケンス長さｉ毎に、正常人物検知用行動シーケンスルールと一致する行動シーケンスが行動シーケンスデータに含まれているかを調べ（ステップＳ１２７Ａ）、長さｉのいずれかのルールと一致(ヒット)する場合は（ステップＳ１２７Ａ；Ｙｅｓ）、その長さｉの行動シーケンスは正常行動とし（ステップＳ１２８Ａ、ノーヒットフラグaFlagｉを０にする）、長さｉのすべてのルールと一致しない場合は、長さｉの行動シーケンスは不審行動とする（ノーヒットフラグaFlagｉを１にする、ステップＳ１２４Ａで１にセットした状態が維持される）。
【０１４９】
また、追尾中の人物の所在位置が変化した場合は（ステップＳ１３３；Ｙｅｓ）、移動経路長さｉ毎に、正常人物検知用移動経路ルールと一致する移動経路が移動経路データに含まれているかを調べ（ステップＳ１３９Ａ）、長さｉのいずれかのルールと一致(ヒット)する場合は（ステップＳ１３９Ａ；Ｙｅｓ）、その長さｉの移動経路は正常な移動とし（ステップＳ１４０Ａ、ノーヒットフラグpFlagｉを０にする）、長さｉのすべてのルールと一致しない場合は、長さｉの移動経路は不審な移動とする（ノーヒットフラグpFlagｉを１にする、ステップＳ１３６Ａで１にセットした状態が維持される）。
【０１５０】
図３０は、第２の実施の形態における図１６のステップＳ１５の処理内容を示している。図２６と同一ステップには同一のステップ番号を付してあり、相違するステップには末尾にＡを付してある。時刻ｔ(現在時刻)で行動シーケンスの更新があれば（ステップＳ１６１；Ｙｅｓ）、ルール長さ毎に、そのルール長さｉのノーヒットフラグaFlagｉが「１」（ノーヒット）かを調べ（ステップＳ１６４Ａ）、ノーヒットフラグaFlagｉが「１」の場合は（ステップＳ１６４Ａ；Ｙｅｓ）、そのルールの長さｉに応じたスコアの加算値ｆａ（ｉ）を、不審スコアＳＳに累積加算する（ステップＳ１６５Ａ）。つまり、長いルールほど値が大きくなるような関数ｆａ（ｉ）により求めた加算値を不審スコアＳＳに累積加算する。
【０１５１】
また、時刻ｔ(現在時刻)で移動経路の更新があれば（ステップＳ１６９；Ｙｅｓ）、ルール長さ毎に、そのルール長さｉのノーヒットフラグpFlagｉが「１」（ノーヒット）かを調べ（ステップＳ１７２Ａ）、ノーヒットフラグpFlagｉが「１」の場合は（ステップＳ１７２Ａ；Ｙｅｓ）、そのルールの長さｉに応じたスコアの加算値ｆｐ（ｉ）を、不審スコアＳＳに累積加算する（ステップＳ１７３Ａ）。つまり、長いルールほど値が大きくなるような関数ｆｐ（ｉ）により求めた加算値を不審スコアＳＳに累積加算する。
【０１５２】
なお、不審スコアの累積加算は、不審スコア値が予め定めた不審人物判定閾値を超えた時点で終了する（ステップＳ１６６；Ｙｅｓ、Ｓ１７４；Ｙｅｓ）。また、上記の累積加算を式で表すと以下のようになる。
【０１５３】
【数３】
0005717553.tif 000004
【０１５４】
不審スコアに加算されるルール長さｉによる関数ｆ（ｉ）（上記のｆａ（ｉ）またはｆｐ（ｉ））としては、たとえば、ｆ（ｉ）＝ｉｎ，ｆ（ｉ）＝ｎｉ，ｆ（ｉ）＝ｎ×ｉ（ｎ：１よりも大きい数値(自然数でも浮動小数点数でも良い))などを挙げることができる。
【０１５５】
このように、ルール長さ毎に、その長さの行動シーケンスおよび移動経路が、正常人物検知用行動シーケンスルールや正常人物検知用移動経路ルールに１つもヒットしない場合に、不審行動と判定して不審スコアを上昇させるので、正常行動のルールから不審行動をより高い精度で早期に、かつ客観的なルールに基づいて、検知することができる。
【０１５６】
なお、不審スコアと比較される閾値（不審人物と判断するための閾値）は、各種の正常行動で得られる不審スコアの最大値、もしくは不審スコアの最大値＋マージンとすれば、閾値を実際の正常行動シーケンスおよび正常移動経路に基づく客観的な値に設定することができる。
【０１５７】
以上、本発明の各種実施の形態を図面によって説明してきたが、具体的な構成は実施の形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１５８】
第１の実施の形態では、駐車場内不審人物検知用行動シーケンス・移動経路ルールとして、不審人物の行動シーケンスセット・移動経路セットに含まれるが、正常人物の行動シーケンスセット・移動経路セットには含まれない行動シーケンスセットや移動経路セットをそのまま用いている。すなわち、不審人物検知用ルール候補探索部２５で得られたルール候補をそのままルールとして用いており、不審人物検知用ルール抽出部２６で特定条件による絞り込みは行っていない。これは、犯罪行為など不審行動が発生すること自体が稀なことであり、候補探索処理によって得られる全ての行動シーケンスセットおよび移動経路セットが長短問わず意味を持つと考えられるためである。
【０１５９】
また、実施の形態では、駐車場内での不審人物の検知を例に説明したが、不審人物の検知エリアは駐車場に限定されるものではなく、任意でよい。さらに、本発明は不審人物の検知に限定されず、時系列な状態推移の生じる観察対象であれば、対象は任意でよく、たとえば、機器の故障診断や突然の雷雨のような悪天候予測などにも適用可能である。
【０１６０】
たとえば、機器の故障診断では、図３１（ａ）の一覧表８１に示すように所定箇所の電圧値・電流値、機器内の各部位の温度、ファン回転数、クロック周波数、通信データ内容などをその機器の状態の特徴量を示す特徴量データとする。特徴量は、変化傾向（増加・減少、上昇・低下など）、変化幅、特定値以上・特定値以下、特定範囲内・特定範囲外、平均値・分散値などである。そして、これらの観測データから機器の状態（たとえば、温度正常、温度上昇状態１、温度上昇状態２など）を特定し、状態の推移を示す状態推移データ（特定した状態を時系列に並べたもので、不審人物判定における行動シーケンスデータや移動経路データに対応するもの）を繰り返し更新する。
【０１６１】
一方、異常時に生じる機器の状態推移パターンを表したパターン長さ別の異常検知ルールを、ルール登録部などに予め登録しておき、機器の状態が変化した場合に、パターン長さ毎に、異常検知ルールと一致する状態推移パターンが、状態推移データに含まれているかを調べる。そして、一致する場合に異常スコアを上昇させ、異常スコアの累積値に基づいて機器の異常を判定する。異常は軽度のものから重度のものまで複数種類あってもよい。軽度、重度に応じた判定用の閾値を用意すればよい。
【０１６２】
図３１（ｂ）は、気象に関する異常事象、正常事象、特徴量（観測項目）を示す一覧表８２の例を示している。異常気象の場合も、機器の故障診断と同様にすればよい。
【０１６３】
なお、機器や天候が特定状態となったとき、たとえば、ファン回転数が「０」になったとき、異常スコアを上昇させるようにしてもよい。また、機器の故障診断や異常気象予測などの場合においても、一致した異常検知ルールのパターン長さが長いほど、異常スコアを大きく上昇させるとよい。
【０１６４】
実施の形態では、不審人物検知装置１０、１０Ｂについて説明したが、本発明は、同等の機能を情報処理装置等に実行させるためのプログラムや方法にも適用することができる。異常事象検知についても同様である。
【符号の説明】
【０１６５】
１０、１０Ｂ…不審人物検知装置
１１…カメラ部
１２、１２Ｂ…処理部
１３…出力部
１４…入力部
１５…不審動作・行動検知処理用ルール登録部
１５Ｂ…正常行動ルール登録部
１６、１６Ｂ…データベース部
１６ａ…人特徴ＤＢ部
１６ｂ…車両特徴ＤＢ部
１６ｃ…正常人物動作・行動時系列パターンＤＢ部
１６ｃ１…正常人物行動時系列パターンＤＢ部
１６ｄ…不審人物動作・行動時系列パターンＤＢ部
２１…追尾部
２２…記憶部
２３…蓄積制御部
２４…人・車両判別部
２５…不審人物検知ルール候補探索部
２６…不審人物検知ルール抽出部
２７…正常人物検知ルール生成部
３０…動作・行動解析部
３０Ｂ…行動解析部
３１…基本動作判別部
３１ａ…基本動作信頼度算出部
３１ｂ…判別器
３１ｃ…加算器
３２…行動シーケンス生成部
３３…移動経路生成部
３４…不審動作検知部
３５…不審行動検知部
３６…不審判定部
４０…オブジェクトデータテーブル
４２…基本動作一覧表
４６…人の動作の構成要素の一覧
４８…移動経路の構成要素の一覧
５０…車両
５２…Ｎｅａｒ領域
６２…動作・位置要素時系列記憶領域
６２ａ…基本動作要素時系列記憶領域
６２ｂ…時間要素時系列記憶領域
６２ｃ…相対位置要素時系列記憶領域
６２ｄ…所在位置要素時系列記憶領域
６４…行動シーケンス記憶領域
６５…移動経路記憶領域
７０…正常行動の行動シーケンスデータ
７１…正常行動の行動シーケンスセット一覧
７３…不審行動の行動シーケンスデータ
７４…不審行動の行動シーケンスセット一覧
７５…不審行動検知用行動シーケンスルールの一覧
７７…不審人物検知用行動シーケンスルール一覧
７９…不審人物検知用移動経路ルールの一覧
８１…機器の故障診断にかかわる異常事象、正常事象、特徴量の一覧
８２…異常気象予測にかかわる異常事象、正常事象、特徴量の一覧
【図１】
0005717553.tif 000005
【図２】
0005717553.tif 000006
【図３】
0005717553.tif 000007
【図４】
0005717553.tif 000008
【図５】
0005717553.tif 000009
【図６】
0005717553.tif 000010
【図７】
0005717553.tif 000011
【図８】
0005717553.tif 000012
【図９】
0005717553.tif 000013
【図１０】
0005717553.tif 000014
【図１１】
0005717553.tif 000015
【図１２】
0005717553.tif 000016
【図１３】
0005717553.tif 000017
【図１４】
0005717553.tif 000018
【図１５】
0005717553.tif 000019
【図１６】
0005717553.tif 000020
【図１７】
0005717553.tif 000021
【図１８】
0005717553.tif 000022
【図１９】
0005717553.tif 000023
【図２０】
0005717553.tif 000024
【図２１】
0005717553.tif 000025
【図２２】
0005717553.tif 000026
【図２３】
0005717553.tif 000027
【図２４】
0005717553.tif 000028
【図２５】
0005717553.tif 000029
【図２６】
0005717553.tif 000030
【図２８】
0005717553.tif 000031
【図２９】
0005717553.tif 000032
【図３０】
0005717553.tif 000033
【図３１】
0005717553.tif 000034
【図２７】
0005717553.tif 000035