(57)【特許請求の範囲】
【請求項１】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの方向の属性を量子化し方向別分布に集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する際に、前記集計した方向別分布から、フロー数の多い上位２方向を求め、前記上位２方向へのフロー数の集中度を表す方向集中度、前記上位２方向のなす角度、前記上位２方向のフロー数の比率を表す逆行度の３種類の定常度評価指標の評価値を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を、前記３種類の定常度評価指標の評価値に基づいて、主流な流れに対する逆行を非定常状態として判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項２】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの方向の属性を量子化し方向別分布に集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記量子化した方向別分布に対し各方向別に対応する色を設定し、個々のオプティカルフローを方向別に色分けして描画し前記映像上に重ね表示する出力手段と、
を備えることを特徴とする監視システム。
【請求項３】
前記出力手段は、前記量子化した方向別分布を、前記映像上の該当する前記判定ブロック上に重ね表示する
ことを特徴とする請求項１に記載の監視システム。
【請求項４】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの属性を集計する際に、前記判定ブロック内で発生するオプティカルフローの大きさを速度分布に集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値として、前記速度分布の平均値μ、前記速度分布の標準偏差σ、定常範囲の下限値μ−２σから定常範囲の上限値μ＋２σの範囲、もしくは、定常範囲の下限値μ−３σから定常範囲の上限値μ＋３σの範囲を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する際に、前記範囲を外れるオプティカルフローが存在する場合に、当該ブロック内に他と異なる速度の動きが存在する速度異常である非定常状態として判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項５】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの属性を集計する際に、前記判定ブロック内で発生するオプティカルフローの大きさを、ワールド座標上の距離に変換した上で、速度分布に集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項６】
前記出力手段は、速度の大きさが前記定常範囲を外れるオプティカルフローを、他と異なる色で描画し、前記映像上に重ねて出力する
ことを特徴とする請求項４に記載の監視システム。
【請求項７】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの属性を集計する際に、前記判定ブロック内で発生するオプティカルフロー数を集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する際に、前記判定ブロック内の過去の一定時間前のフロー数との差が閾値を超えた場合に非定常状態として判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項８】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの属性を集計する際に、前記判定ブロック内で発生するオプティカルフロー数を集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する際に、対象とする判定ブロックのフロー数が周囲の判定ブロックのフロー数との差が閾値を超えた場合に非定常状態として判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項９】
前記出力手段は、前記非定常状態判定手段が非定常状態と判定した場合に、非定常状態の種類により異なる色で非定常状態の発生した前記判定ブロックを強調的に矩形表示する
ことを特徴とする請求項１に記載の監視システム。
【請求項１０】
前記出力手段は、前記定常度評価指標算出手段で算出した評価値を、映像上の該当ブロック上に描画し、前記非定常状態判定手段により前記算出した評価値が閾値を超えていると判定された場合に、異なる色で表示する
ことを特徴とする請求項１に記載の監視システム。
【請求項１１】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムであって、
前記群集の映像を撮影し入力する映像入力手段と、
前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、
前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、
前記判定ブロックごとに発生するオプティカルフローの方向の属性を量子化し方向別分布に集計するオプティカルフロー属性集計手段と、
前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する際に、前記方向別分布からエントロピーを算出する定常度評価指標算出手段と、
前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する際に、前記エントロピーの大きい領域を、流れに乱れが発生した領域である非定常状態として判定する非定常状態判定手段と、
前記非定常状態判定手段の判定の結果を前記映像上に出力する出力手段と、
を備えることを特徴とする監視システム。
【請求項１２】
複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から前記群集の非定常状態を検出する監視システムを用いて、前記群集の動きを監視する監視方法であって、
映像入力手段は、前記群集の映像を撮影し入力し、
オプティカルフロー算出手段は、前記入力した異なる時刻に撮影された映像から、オプティカルフローを算出し、
判定ブロック設定手段は、前記映像上の監視領域を、非定常判定する単位の判定ブロックに設定し、
オプティカルフロー属性集計手段は、前記判定ブロックごとに発生するオプティカルフローの方向の属性を量子化し方向別分布に集計し、
定常度評価指標算出手段は、前記集計したオプティカルフローの属性から、前記判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する際に、前記方向別分布から、フロー数の多い上位２方向を求め、前記上位２方向へのフロー数の集中度を表す方向集中度、前記上位２方向のなす角度、前記上位２方向のフロー数の比率を表す逆行度の３種類の定常度評価指標の評価値を算出し、
非定常状態判定手段は、前記定常度評価指標の評価値から、前記判定ブロックの非定常状態を判定する際に、前記３種類の定常度評価指標の評価値に基づいて、主流な流れに対する逆行を非定常状態として判定し、
出力手段は、前記非定常状態判定手段の判定の結果を前記映像上に出力する際に、前記定常度評価指標算出手段で算出した評価値を、前記映像上の該当する判定ブロック上に描画し、前記非定常状態判定手段が非定常状態と判定した場合に、前記判定ブロックを強調的に矩形表示する
ことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮影した群集の映像から、定常／非定常を含む様々な状態を検出する監視システムおよび監視方法に関する。
【背景技術】
【０００２】
駅、空港、広場、ホールなど、不特定多数の人が集まる公共の場所で、犯罪や危険行為を早期に検出する手段として、群衆をカメラで監視し、非定常状態を自動検出する技術が望まれる。群衆の非定常状態を検出する従来技術としては、以下のものがある。なお、例として人を対象とする場合は、群衆として説明している。一般的には、群集の用語を使用する。
【０００３】
特許文献１は、ランダムな粒子運動中の、定常と異なる動きを検出するため、観察領域を小領域に区切り、小領域内の粒子数の時間変化が他より大きい領域を、他と異なる動きの粒子が存在する異常領域として検出する。これを利用し群集中で他と異なる動きをする人間を検出する方法およびプログラムに関するものである。
【０００４】
特許文献２は、映像データからオプティカルフローを算出し、フローの大きさ（速度）の平均、分散から、人ごみの状態が局所的に変化したことを検知するものである。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】ＷＯ２００６／０８０３６７号公報
【特許文献２】特開２００６−９９２４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に開示のある従来技術では、ランダムな動き、もしくは一方向への動きを定常とする前提であるので、様々な方向の動きが混在する群集のシーンには適用できない。また、他と異なる動きの検出にしか使えない。
【０００７】
一方、特許文献２に開示のある従来技術は、オプティカルフローの大きさしか見ていないので、逆行などの方向に関わる異常を検知することができない。また、領域のフローの大きさの平均値、分散などの統計量の、領域間の違いを判断しているだけであるため、検出できる可能性があるのは異常が発生したか否かのみであり、具体的にどのような内容の状態が発生したかを検出することができない。
【０００８】
本発明は、前記の課題を解決するための発明であって、監視カメラで撮影した群集の映像から、汎用的に、定常／非定常を含む様々な状態を検出することができる監視システムおよび監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
前記目的を達成するため、本発明の監視システムは、複数の移動体を含んでなる群集を撮影した映像を入力し、映像上の動き情報から群集の非定常状態を検出する監視システムであって、群集の映像を撮影し入力する映像入力手段と、入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段と、映像上の監視領域を、非定常判定する単位の判定ブロックに設定する判定ブロック設定手段と、判定ブロックごとに発生するオプティカルフローの属性を集計するオプティカルフロー属性集計手段と、集計したオプティカルフローの属性から、判定ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段と、定常度評価指標の評価値から、判定ブロックの非定常状態を判定する非定常状態判定手段と、非定常状態判定手段の判定の結果を映像上に出力する出力手段と、を備えることを特徴とする。
【００１０】
オプティカルフロー属性集計手段は、判定ブロック内で発生するオプティカルフローの方向の属性を量子化し方向別分布に集計し、定常度評価指標算出手段は、方向別分布から、フロー数の多い上位２方向を求め、上位２方向へのフロー数の集中度を表す方向集中度、上位２方向のなす角度、上位２方向のフロー数の比率を表す逆行度の３種類の定常度評価指標の評価値を算出し、非定常状態判定手段は、３種類の定常度評価指標の評価値に基づいて、主流な流れに対する逆行を非定常状態として判定することを特徴とする。その他の手段については後記する。
【発明の効果】
【００１１】
本発明によれば、撮影した群集の映像から、汎用的に、定常／非定常を含む様々な状態を検出することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明による監視システムの第一の実施形態の構成を示すブロック図である。
【図２】オプティカルフローを算出した結果を、画像上に重ねて表示した例を示す図である。
【図３】画像に判定ブロックを設定した例を示す図である。
【図４】方向別分布を算出する際の、オプティカルフローの方向別符号化方法を説明するための図である。
【図５】方向符号別にオプティカルフローの発生数を集計した結果の方向別分布の例を示す図である。
【図６】上位２件のピークの求め方を示す図である。
【図７】入力画像に、オプティカルフロー算出手段で算出されたオプティカルフローを、符号化した方向別に色分けして表示する例を示す図である。
【図８】オプティカルフロー属性集計手段で集計した結果を、入力画像に重ねて表示する例を示す図である。
【図９】入力画像上に、定常度評価指標算出手段で算出した評価指標の値と、非定常状態判定手段で判定した結果を重ね表示した例を示す図である。
【図１０】映像入力手段で入力された映像上に、オプティカルフロー算出手段で算出されたオプティカルフローを重ねて描画した例を示す図である。
【図１１】オプティカルフロー算出手段で算出したオプティカルフローを、オプティカルフロー属性集計手段で、速度別分布に集計した結果のヒストグラムを示す図である。
【図１２】第三の実施形態においてモニタ上に出力する画面例を示す図である。
【図１３】異なる時刻に映像入力手段で入力された映像上に、オプティカルフロー算出手段で算出されたオプティカルフローを重ねて描画した例を示す図である。
【図１４】第四の実施形態において時系列のフロー数の変化を説明するための図である。
【図１５】監視カメラからの映像を入力し、複数の非定常判定を実行し出力する監視システムＭＳの処理の流れを示す図である。
【図１６】監視カメラからの映像を入力し、複数の非定常判定を実行し出力する監視システムＭＳの処理の流れを示す図である。
【図１７】オプティカルフロー属性種類格納手段と、オプティカルフロー属性集計結果格納手段の格納項目を説明するための図である。
【図１８】定常度評価指標種類格納手段と、定常度評価指標値格納手段の格納項目を説明するための図である。
【図１９】非定常判定種類格納手段と、非定常判定結果格納手段の格納項目を説明するための図である。
【図２０】複数の非定常判定フラグが１である場合の、判定結果の出力方法の例を示す図である。
【００１３】
以下、本発明による監視システムの実施形態を、図面を参照して詳細に説明する。
<<第一の実施形態>>
図１は、本発明による監視システムの第一の実施形態の構成を示すブロック図である。図１に示す監視システムＭＳは、映像入力手段１と、オプティカルフロー算出手段２と、判定ブロック設定手段３と、オプティカルフロー属性集計手段４と、定常度評価指標算出手段５と、非定常状態判定手段６と、出力手段７とを有している。
【００１４】
なお、監視システムＭＳは、本実施形態において、複数の移動体を含んでなる群集を監視するが、移動体は、人に限定されず、動物、人が乗った自転車などであってもよい。
【００１５】
映像入力手段１は、駅、空港、広場、ホールなど、監視したい領域を上部から俯瞰で、もしくは近傍からカメラで撮影し、アナログカメラの場合はＡ／Ｄ（アナログ／デジタル）変換した上で画像格納手段（図示せず）に取り込む。映像は時系列で連続して取り込まれ、画像格納手段に、現在の時刻をｔとすると時刻ｔの画像、時刻ｔ−１の画像、時刻ｔ−２の画像として順に格納する。
【００１６】
オプティカルフロー算出手段２は、入力された画像から、オプティカルフローを算出する手段である。オプティカルフローとは、異なる時間に撮影された２枚の画像間で同じ対象の対応付けを行い、その移動量をベクトルデータとして表現したものである。具体的な算出方法については、ＣＧ−ＡＲＴＳ協会「ディジタル画像処理」ｐ２４３−２４５などに記載がある。本発明では、オプティカルフローを計算することにより、群衆の動きの特徴を得るのが目的であるので、いずれの算出方法を用いてもよい。
【００１７】
図２は、オプティカルフローを算出した結果を、画像上に重ねて表示した例を示す図である。画面２１中、２２、２３、・・・、２９、２ａ、・・・、２ｎまでの矢印がオプティカルフローである。なお、符号中２ＬのＬは小文字にすると英文字か数字かの判別が不明りょうになるので大文字で表記している。
【００１８】
図２においては、説明の簡単のため、人物１人につきオプティカルフローが１件算出された例を示すが、オプティカルフローは１人につき複数算出してもよく、コーナーなどの特徴領域を検出し追跡するようなオプティカルフローの算出方法では、１人につき１件と限らず多数のオプティカルフローが算出されることがある。いずれのケースでもこの発明は有効である。なお、２２〜２ｎの各矢印の向きが移動方向を示している。
【００１９】
図１に戻り、判定ブロック設定手段３は、入力された画像中において、非定常状態が発生しているか否かを判定するブロック領域を予め設定する手段である。図３を参照して判定ブロックの領域の設定方法について説明する。
【００２０】
図３は、画像に判定ブロックを設定した例を示す図である。図３に示す図は、図２で示した画像に判定ブロックを設定した例を示す。画面中を４分割した３１、３２、３３、３４に示す各領域が判定ブロック（以下、ブロックともいう。）である。これらそれぞれのブロック中のオプティカルフローの発生状態を分析する。ブロックの大きさは、検出したい非定常状態の種類や、解像度などに基づき設定する。また、図３の例では、ブロックの大きさを同じに設定したが、監視するシーンの属性に応じ、任意に大きさを変更して設定してもよい。この例では、人物がどのブロックに属するかは、人物の足元の位置を基準にしている。画面上の視野を、撮影しているシーンの実座標系に変換し、実座標上で同じ面積を表す領域単位に区切ってブロックわけする方法も有効である。または、画面全体を大きなブロックとして扱うのでも構わない。
【００２１】
図１に戻り、オプティカルフロー属性集計手段４は、オプティカルフロー算出手段２で算出したオプティカルフローにつき、オプティカルフローの発生数・オプティカルフローの方向・オプティカルフローの速度などの属性を、ブロックごとに集計して特徴量として算出する手段である。実施形態１では、「逆行」などの、主の流れに対する異なる流れが存在する状態を検出する場合を例にとり、属性としてオプティカルフローの「方向」を集計する例を示す。他の属性については他の実施形態で示すこととする。
【００２２】
図３に示すのは映像上のあるフレームに、その時点で発生したオプティカルフローを重ね表示した例とする。矢印の方向が、それぞれのオプティカルフローの動き方向を示す。図３中、判定ブロック設定手段３で設定した判定ブロック３１〜３４中それぞれに、２２から２ｎのオプティカルフローが含まれる。
【００２３】
オプティカルフロー属性集計手段４では、ブロック内に発生するオプティカルフローを方向別分布に集計する。方向を持つ情報の、方向別符号化については、非特許文献１による方法が知られている。この手法は画像明るさ勾配を方向符号というデータとして符号化するものである。
【００２４】
［非特許文献１］ULLAH Farhan、S.Kaneko and S.Igarashi,”Orientation code matching for robust object search”,IEICE Trans.on Inf.& Sys.,Vol.E84-D,No.8,pp.999-1006,2001.
【００２５】
図４は、方向別分布を算出する際の、オプティカルフローの方向別符号化方法を説明するための図である。方向別分布を算出する際の、オプティカルフローの方向別符号化方法を図４で説明する。この例では、オプティカルフローの方向を８方向に符号化する方法を示す。図中、方向４１〜４８は、方向別符号化をする際の基準となるオプティカルフローの方向である。
【００２６】
オプティカルフロー算出手段２で算出されるオプティカルフローの方向は、いずれか一方向を基準とすると０〜３６０度の連続値で得られる。これを、一定の角度刻みで、整数値に量子化する。図４の例では、水平方向の右向き方向４１を基準（０°（０度））とし、４５°刻みで、それぞれの角度の間に含まれるオプティカルフローを量子化する。例えば、方向４１を基準とし、角度が２０°のオプティカルフローは符号‘０’、１００°のオプティカルフローは符号‘２’となる。
【００２７】
以上のように、オプティカルフローの方向を角度から整数に符号化した上で、当該ブロックに含まれるオプティカルフローを０〜７の方向符号別に発生数を集計する。
【００２８】
図５は、方向符号別にオプティカルフローの発生数を集計した結果の方向別分布の例を示す図である。図５に、図３に示す判定ブロック３１，３２，３４の各領域について、方向符号別にオプティカルフローの発生数を集計した結果の方向別分布の例を示す。図中、ヒストグラム５１が図３の判定ブロック３１のオプティカルフロー方向別分布の集計結果、ヒストグラム５２が図３の判定ブロック３２のオプティカルフロー方向別分布の集計結果、ヒストグラム５３が図３の判定ブロック３４のオプティカルフロー方向別分布の集計結果である。
【００２９】
判定ブロック３１では、６つ発生した２２〜２６、２ｍのオプティカルフローが多方向にばらついているため、グラフはヒストグラム５１のようになる。判定ブロック３２では、２７〜２９、２ａ、２ｂのオプティカルフローが、多少のばらつきはあるが大体同じ方向を向いているため、分布はヒストグラム５２のようになる。また、判定ブロック３４では、２ｇ、２ｈ、２ｉ、２Ｌ、２ｎのオプティカルフローは大体同方向を向いているのに対して、２ｊ、２ｋのオプティカルフローが、他の５つのフローと逆方向を向いているために、ヒストグラム５３のような分布となる。
【００３０】
図５において、判定ブロック内でのオプティカルフロー（人の動き）が多方向に分散している判定ブロック３１のような場合には、ヒストグラム５１のように方向別分布には目立ったピークは見られない、また、一方向に集中している判定ブロック３２のような場合は、ヒストグラム５２のように、大きなピークが存在する、また、主流な動きに対して逆行が存在する判定ブロック３４のような場合には、ヒストグラム５３のように、大きなピークが２つ存在し、またピークの間の角度が１８０°に近くなる、などの特徴を、方向別分布から確認できる。
【００３１】
以上のように、判定ブロックごとに、発生するオプティカルフローの属性を集計することにより、当該ブロック内の人の流れの特徴を抽出することができる。なお、この例では方向別符号を８方向に量子化する例を示したが、必ずしもこれに限らず、１６方向などでもよい。検出したい非定常状態の内容により、量子化の詳細度は決定する。
【００３２】
また、前記の実施形態では、１フレームで発生するオプティカルフローの属性を集計する例を用いたが、連続した数フレームで発生するオプティカルフローの属性を集計する手段も有効である。映像入力手段１で、画像が１秒間に３０フレーム取り込む場合、例えば連続する１０フレーム分の画像中のオプティカルフローの属性を集計するとすれば、０．３３秒間に発生した流れ情報を集計できることになる。ノイズ除去、データの平滑化の面からも、数フレーム分のオプティカルフローを集計する方法が有効である。
【００３３】
図１に戻り、次に、定常度評価指標算出手段５について説明する。
定常度評価指標算出手段５は、オプティカルフロー属性集計手段４で集計したオプティカルフローの属性（実施形態では方向別分布）から、定常度を評価する指標を算出する手段である。指標は、検出する事象の内容に基づき設定する。本実施形態では、「主流な流れに対する逆行の発生」を検出するための指標について説明する。
【００３４】
図３に示す群衆の映像の例で、判定ブロック３４では、オプティカルフロー２ｇ、２ｈ、２ｉ、２ｎ、２Ｌは、画面左上方向に向かっているが、オプティカルフロー２ｊ、２ｋは画面右下方向に向かっている。このブロックのオプティカルフローの方向属性を集計した結果が図５に示すヒストグラム５３である。
【００３５】
主流な流れに対し、逆行が発生する場合の方向別分布の特徴としては、
（ａ）２方向に大きなピークがあること、
（ｂ）２方向のピークの為す角が１８０°位であることである。
このことから、方向別分布より、下記（１）〜（３）の３種類の評価値（方向集中度、角度、逆行度）を求めることで、逆行が検出できる。
【００３６】
図６は、上位２件のピークの求め方を示す図である。評価値を算出するために、まず方向別分布から、フロー数の多い上位２件の方向を求める。図６で示す方向別分布で、フロー数最大値は方向符号が４の位置であり、図中“ｐｅａｋ１”で示す。二番目の最大値は方向符号が０の位置であり、図中“ｐｅａｋ２”で示す。すなわちこの例では、ｐｅａｋ１＝４、ｐｅａｋ２＝０である。
【００３７】
また、このときの最大値のフロー数ｈ（ｐｅａｋ１）、二番目の最大値のフロー数ｈ（ｐｅａｋ２）を求める。この際、該当するビンのみのフロー数を求めてもよいが、方向の定義に多少の誤差を許容するのであれば、該当するビンの両側のビンを合計するなどの方法を取ってもよい。ピーク位置の両側のビンを合計する場合には、最大値のフロー数ｈ（ｐｅａｋ１）は図６中６１に示す幅のフロー数であり、二番目の最大値のフロー数ｈ（ｐｅａｋ２）は図６中６２と６３をあわせた領域となる。この例ではｈ（ｐｅａｋ１）＝５、ｈ（ｐｅａｋ２）＝２である。なお、ビンとは、ヒストグラムは、ある有限のとりうる範囲の数値を持っているが、その範囲を適当な数値の領域に分けることをいう。
【００３８】
これらの値に基づき次の３種類の評価値を求める。
（１）方向集中度：ブロック全体のオプティカルフロー数のうち、件数の多い上位２方向のオプティカルフロー数が占める割合である。フローの方向が多方向に分散していると、この指標は値が小さくなり、フローの方向が２方向以下に集中していると、この指標は値が大きくなる。
【数１】
0005400718.tif 000002
【００３９】
（２）角度：ｐｅａｋ１、ｐｅａｋ２のなす角を求める。
【数２】
0005400718.tif 000003
【００４０】
（３）逆行度：フロー数最大の方向のフロー数に対する、二番目に最大の方向のフロー数の比率を求める。
【数３】
0005400718.tif 000004
【００４１】
「逆行」の事象を判定するためには、方向別分布のデータに基づき、例えば、以上のような指標を算出する。このように、検出したい事象を数値で表せる一つまたは複数の指標を、オプティカルフロー属性集計手段４で集計した属性に基づき算出する手段が、定常度評価指標算出手段の処理である。
【００４２】
図１に戻り、次に、非定常状態判定手段６について説明する。
非定常状態判定手段６は、定常度評価指標算出手段５で算出した評価指標に基づき、当該ブロックの状態が定常であるか非定常であるかを判定する手段である。判定方法は、検出する非定常状態の内容に基づき決めるが、評価値の値により決められる場合には、予め設定した閾値との比較で判定する方法が採れる。一方、周囲と比較して異なる事象を判定したい場合、同一画面中の他のブロックの評価値と比較する方法が採れる。また、時系列での状態変化を見たい場合には、同一ブロックの過去の評価値と比較する方法などがある。
【００４３】
本実施形態では、「逆行」を検出する場合を例にとる。逆行は、定常度評価指標算出手段５で算出した「方向集中度」「角度」「逆行度」の指標それぞれにつき閾値と比較し、判定する。
【００４４】
閾値との判定条件は、例えば、以下のように設定する。
条件（ｉ）      方向集中度  ＞  ｔｈ１
条件（ｉｉ）    ｔｈ２  ＜  角度  ＜  ｔｈ３
条件（ｉｉｉ）  ｔｈ４  ＜  逆行度  ＜  ｔｈ５
ｉｆ（ｉ）ａｎｄ（ｉｉ）ａｎｄ（ｉｉｉ）ｔｈｅｎ“逆行”
ｅｌｓｅ“定常”
【００４５】
ここで、方向集中度は、フローが多方向に分散せず、２方向に集中しているかを見るための指標であるため、例えば全体の６割以上が２方向に集中していることを条件とし、
ｔｈ１＝０．８
などに設定する。
【００４６】
また、角度は、２方向の成す角が何度であれば逆行とするかの指標であるため、例えば１５０度から２１０度の範囲は逆行とするとし、
ｔｈ２＝１５０
ｔｈ３＝２１０
などに設定する。
【００４７】
また、逆行度は、主流の流れと異なる方向の流れが、主流のフロー数に対しどのくらいの割合で発生するかの指標である。これは「逆行」の定義により決める指標であるが、例えば、主流の流れに対し少数の人が逆行する現象を異常として検出するとすれば、主流のフロー数に対し半分以下、また、ノイズを誤検出しないためにごく少数の逆行を除くとすると、
ｔｈ４＝０．１
ｔｈ５＝０．５
などと設定する。
【００４８】
実際の判定処理を図３の判定ブロック３１と、判定ブロック３４の領域につき評価した場合を例に取り説明する。図３の判定ブロック３１の方向別分布である、図５のヒストグラム５１から算出される評価指標は以下になる。
方向集中度＝（ｈ（２）＋ｈ（５））／６＝（２＋２）／６＝０．６６
角度＝ａｂｓ（θ（２）−θ（５））＝１３５°
逆行度＝ｈ（５）／ｈ（２）＝１．０
３種類の指標のうち、いずれの条件も判定条件を満たさないので、判定ブロック３１は“定常”として判定する。
【００４９】
これに対し、判定ブロック３４の方向別分布である、図５のヒストグラム５３から算出される評価指標は以下になる。
方向集中度＝（ｈ（４）＋ｈ（０））／７＝（５＋２）／７＝１．０
角度＝ａｂｓ（θ（４）−θ（０））＝１８０°
逆行度＝ｈ（０）／ｈ（４）＝２／５＝０．４
３種類の指標の全てが条件を満たすので、判定ブロック３４は“逆行”として判定する。以上のように、非定常判定になる場合と、定常判定になる場合の例を示したが、同様に、すべてのブロックについて定常／非定常判定を実施するとする。以上が、非定常状態判定手段６の処理の内容である。
【００５０】
図１に戻り、出力手段７は、非定常状態判定手段６で判定した非定常状態を出力する手段である。本手段の実施形態としては、まずモニタ画面上に、入力画像に重ねて処理経過や、判定結果を描画し、出力する方法がある。図７〜図９を参照して出力画面の例を説明する。
【００５１】
図７は、入力画像７１に、オプティカルフロー算出手段２で算出されたオプティカルフローを、符号化した方向別に色分けして表示する例を示す図である。７２〜７９、７ａ〜７ｎは、オプティカルフロー算出手段２で算出したオプティカルフローを画面上に重ねて描画したものであるが、矩形７２に示す凡例に基づき、符号化した方向それぞれで色を変えて描画している。このように描画することで、流れ方向の空間的分布が視覚的にわかりやすく表示できる効果がある。色分けは、カラー表示にするとより効果的である。
【００５２】
図８は、オプティカルフロー属性集計手段４で集計した結果を、入力画像に重ねて表示する例を示す図である。図中、８５、８６、８７、８８の円で示すのは、それぞれの含まれる判定ブロック８１，８２，８３，８４内で発生したオプティカルフローの方向別分布を示したものである。各方向を示す矢印の方向と色分けは８９に示す凡例に基づき、また、矢印の長さがそれぞれの方向のフロー数を表す。この出力方法により、各ブロックの方向別分布が視覚的にわかりやすく表示できる効果がある。色分けは、図７の表示と同様、カラー表示にするとより効果的である。
【００５３】
図９は、入力画像上に、定常度評価指標算出手段５で算出した評価指標の値と、非定常状態判定手段６で判定した結果を重ね表示した例を示す図である。図９に示す入力画像上に重ねて、定常度評価指標算出手段５でブロックごとに算出した評価指標（方向集中度、角度、逆行度）の値（評価値）を、それぞれ矩形９１，９２，９３，９４中に表示したものである。さらに、非定常状態判定手段６で、「非定常」と判定した領域を９５に示す太線の矩形で強調表示し、非定常の種類を９６に示すように表示するなどの実現方法もある。なお、９１〜９４の評価指標は、閾値を超えたものと超えないものを異なる色で表示することで、視覚的に状態を把握しやすくするなどの方法もある。また、９５の非定常領域の矩形や、９６の非定常状態の種類の表示を、目立つ色で描画するのも効果的である。また、９５、９６の描画色については、後の実施形態で後述する別の非定常状態と区別をするため、非定常状態の種類により色分けすることも、判定結果をより効果的に見せるために有効である。
【００５４】
また、以上の例ではそれぞれ異なる画面上に描画する例を示したが、この出力例としては、３種類のモニタを準備しそれぞれに出力する、また、１つのモニタ上に３種類を並べて表示する、また、マウスクリックやキーボード入力などのイベントの入力により、表示する画面を切り替えるなどの方法がある。監視する場所の重要度や視野の大きさなどに基づいて、任意に決定するとする。以上、画面上への出力例を示したが、必ずしもこの記載に限るものでなく、同じ効果を期待できる他の方法を用いてもよい。
【００５５】
出力手段７の別の実施形態として、非定常状態が発生した場合に、非定常状態が発生した判定ブロック、時刻、非定常の種類などのデータとともに、映像を記録手段（図示せず）に格納する方法もある。この方法は、監視員を常設せず、事件や事故などが発生した場合に後で状況を確認する場合や、当該監視領域で発生しやすい非定常状態のデータを集める際などに有効である。また、モニタへの出力と記録装置への出力を併用するのでもよい。
【００５６】
また、実施形態として、監視システムＭＳが、監視カメラが多数の場所に設置され、ネットワークでセンターとつながっているような構成の場合は、非定常状態の詳細な内容を出力するのでなく、非定常発生のみをセンタ側に出力する方法も有効である。
【００５７】
以上が、第一の実施形態である。本実施形態では、検出する非定常状態として「逆行」の例を示したが、評価値である角度の閾値を変えることで、例えば並んで進む列に対する「割り込み」などの行動も検知できる可能性がある。
【００５８】
<<第二の実施形態>>
次に、第二の実施形態につき説明する。
第二の実施形態では、オプティカルフローの方向別分布から、方向の乱れを示す「豊富度」の評価値を算出し、「群衆の動きの乱れ」を検出する実施形態である。明度勾配を方向符号化し、方向別分布から、豊富度を算出する手法については、非特許文献２に手法が示される。
【００５９】
［非特許文献２］高氏秀則、金子俊一、田中孝之、“未知環境におけるロバストタギング”、電機学会論文誌（Ｃ）、Vol25, No6, pp.926-934,2005.
【００６０】
オプティカルフロー属性集計手段４で集計した、あるブロックのオプティカルフローの方向別分布から、豊富度Ｒは以下の式で算出する。
【数４】
0005400718.tif 000005
【００６１】
算出した豊富度Ｒは０〜１の値をとり、０に近いほど、オプティカルフローの方向は偏っており、１に近いほどオプティカルフローの方向は乱れていることを示す指標となる。豊富度Ｒの評価指標で、図３における判定ブロック３１と判定ブロック３２を評価すると、図５のヒストグラム５１の方向別分布とヒストグラム５２の方向別分布から、それぞれ、下記の値となる。
判定ブロック３１の豊富度Ｒ＝０．５１
判定ブロック３２の豊富度Ｒ＝０
（但し、閾値係数αは０．５とする。）
【００６２】
フローの方向が乱れる判定ブロック３１と、一方向に偏る判定ブロック３２の流れの状態が、豊富度Ｒを用いて区別できるため、例えば閾値を適切に設定し（例えば０．５など）、豊富度Ｒが一定以上のブロックに対し、非定常判定を発行することもできる。豊富度Ｒによる評価は、例えば駅の連絡通路など、比較的流れの方向が決まっている領域に適用することで、何らかの非定常状態が発生し、人の流れの方向が乱れるなどの検出に効果的である。
【００６３】
本実施形態では、定常度評価指標算出手段５は、方向別分布から、エントロピーを算出し、非定常状態判定手段６は、該エントロピーの大きい領域を、流れに乱れが発生した領域である非定常状態として判定することができる。
【００６４】
<<第三の実施形態>>
次に、第三の実施形態につき説明する。第一の実施形態、第二の実施形態では、方向別分布を求めることで、「逆行」、「人の流れの乱れ」などの非定常状態を検出する方法を示したが、第三の実施形態では、速度分布を求めることで、周囲の速度と異なる速度の流れが混在する状態を検出する例を示す。図１の構成のうち、オプティカルフロー算出手段２までは、第一の実施形態の構成と同じであるので説明を省略する。
【００６５】
図１０は、映像入力手段１で入力された映像上に、オプティカルフロー算出手段２で算出されたオプティカルフローを重ねて描画した例を示す図である。判定ブロック１０１中には、オプティカルフロー１０２〜１０７が算出され、判定ブロック１０ｆ中には、オプティカルフロー１０８〜１０９，１０ａ〜１０ｅが算出される。説明の簡単のため、１人から算出されるオプティカルフローは１つとしたが、第一の実施形態と同様に、１人から複数のオプティカルフローを算出するのでもよい。
【００６６】
図１０中、判定ブロック１０ｆでは、群衆は大体同じ速度で歩いているが、判定ブロック１０１には、走行している人物が含まれているため、他より大きいオプティカルフロー１０７が発生している。
【００６７】
第三の実施形態では、オプティカルフロー属性集計手段４で、速度別分布を集計し、その分布により外れ値を検出し、外れ値が発生した場合に、速度分布が異なる流れが発生したとして「非定常」とする。
【００６８】
図１１は、オプティカルフロー算出手段２で算出したオプティカルフローを、オプティカルフロー属性集計手段４で、速度別分布に集計した結果のヒストグラムを示す図である。図１０の判定ブロック１０１に示す領域のオプティカルフローの速度分布を、図１１（ａ）のヒストグラム１１１に、図１０の判定ブロック１０ｆに示す領域のオプティカルフローの速度分布を図１１（ｂ）のヒストグラム１１２に示す。
【００６９】
なお、この例では過去数フレーム分のオプティカルフローを集計しているとする。また、この例では、カメラが十分高い位置に設置されており、群衆を俯瞰撮影していることを想定しているので、画面の上部と下部の解像度が大きく違わないとし、オプティカルフローの画面上での画素数を速度分布の「速度」としている。カメラの設置位置が低く、画面上部と下部で大きく解像度が異なるような場合には、撮影時のカメラパラメータを用いて、オプティカルフローの長さを実座標系に変換したうえで実際の移動速度に換算し、集計することがより望ましい。
【００７０】
定常度評価指標算出手段５では、オプティカルフロー属性集計手段４で集計した速度分布から、平均値μ、標準偏差σを求め、これらの値に基づき、定常な速度の範囲の評価値を求める。
【００７１】
群衆は、周囲と合わせて大体同様の速度で歩くことが定常とすれば、年齢や性別による個人差を考慮しても、定常時の速度分布は大体正規分布に従うと仮定できる。そこで、例えば正規分布の９５％が含まれる下限値と上限値であるμ−２σとμ＋２σの値を求め、その範囲を、当該ブロックのこの時刻の速度定常範囲の上限値、下限値評価指標とする。値は必ずしもこれに限るわけでなく、例えば群衆の年代に特に偏りがあるような場合は速度分布の形状も正規分布に従わない場合があるため、μ−３σ〜μ＋３σに変更するなど、適用する場所や時間帯などにより適宜設定する。
【００７２】
非定常状態判定手段６では、定常度評価指標算出手段５で算出した速度定常範囲の上限値、下限値の評価指標と、個別のオプティカルフローの速度を比較し、定常範囲を外れるフローがあれば、「周囲の速度と異なる速度の流れが混在する」状態が発生したとする。
【００７３】
図１１(ａ）中で、ヒストグラム１１１中の１１３が、この分布の平均μの位置であり、１１４の矢印の範囲が、μ−２σ〜μ＋２σの範囲である。図１１（ｂ）中で、ヒストグラム１１２中の１１５が、この分布の平均μの位置であり、１１６の矢印の範囲が、μ−２σ〜μ＋２σの範囲である。ヒストグラム１１２では、全てのオプティカルフローがμ−２σ〜μ＋２σの正常範囲に含まれているため、図１０の判定ブロック１０ｆは、「正常」と判定される。これに対し、ヒストグラム１１１では、１１７で示す範囲のオプティカルフローが、１１４で示す定常範囲を超えているため、「非定常」と判定される。
【００７４】
判定処理は、速度分布の最大値、最小値を求めておき、これと速度定常範囲の上限値、下限値の評価値を比較することで求められる。
【００７５】
出力手段７では、第一の実施形態と同様に、処理経過、および判定結果をモニタ上に出力する方法と、記録装置に記録する方法が採れる。
【００７６】
図１２は、第三の実施形態において、モニタ上に出力する画面例を示す図である。矩形１２２、１２３に示すように、速度分布を画面中に表示する。また、矩形１２６、１２７に示すように、定常度評価指標算出手段５で算出した、平均値μ、定常範囲下限値μ−２σ、定常範囲上限値μ＋２σ、速度分布の最小値、最大値などの評価値を画面中に表示する。
【００７７】
また、非定常状態判定手段６で、非定常と判定された場合に、定常範囲を超えた速度のオプティカルフローを、１２１に示すように他のオプティカルフローと色（図面中では破線で示している。）を変えて描画することも、速度の異なるオプティカルフローの位置を確認する上で有効である。また、非定常状態判定手段６で、非定常と判定された場合に、当該ブロックを１２４のように太線の矩形で囲み表示し、１２５のように非定常の内容を表示する。この際、１２４の矩形と１２５の文字の色は、非定常の種類ごとに予め定めた異なる色で表示すると、監視員が直感的に非定常の種類を確認しやすく効果的である。
【００７８】
また、前記のモニタ上の出力例は、同画面に描画しているが、第一の実施形態と同様、異なる画面に描画し別のモニタで表示する、同一モニタ上に分割表示する、マウスやキーボード操作により切り替えて表示する、などの表示方法を取ってもよい。以上が、第三の実施形態である。
【００７９】
なお、オプティカルフロー属性集計手段４は、判定ブロック内で発生するオプティカルフローの大きさを、ワールド座標上の距離に変換した上で、速度分布を集計してもよい。
【００８０】
<<第四の実施形態>>
次に、第四の実施形態につき説明する。第四の実施形態は、ブロックごとに算出されるオプティカルフロー属性集計値の、時間的変化により非定常状態を検出する例である。ここでは、ブロック内で発生するフロー数が急激に変化する「急変」を非定常状態として検出する例を説明する。
【００８１】
図１３は、異なる時刻に映像入力手段１で入力された映像上に、オプティカルフロー算出手段２で算出されたオプティカルフローを重ねて描画した例を示す図である。図１３（ａ）の画像は、時刻ｔに撮影、入力されたものであり、図１３（ｂ）の画像は時刻ｔ＋ｎ、図１３（ａ）の画像よりｎフレーム後に撮影、入力された画像である。図１３（ａ）の判定ブロック１３１と、図１３（ｂ）の判定ブロック１３７は、ｎフレーム異なる時刻に撮影された同じブロックの領域であり、以下、判定ブロック１３２と判定ブロック１３８、判定ブロック１３３と判定ブロック１３９なども同様である。
【００８２】
図１３（ａ）の時刻ｔの画像のシーンは、イベント中などの状態で、群衆は止まっており、オプティカルフローは算出されない。これに対し、図１３（ｂ）の時刻ｔ＋ｎの画像では、イベントが終了し群衆が動き出しているシーンである。
【００８３】
オプティカルフロー属性集計手段４では、１フレーム、もしくは数フレームごとに、各ブロック中で発生するフロー数を集計する。
【００８４】
図１４は、第四の実施形態において時系列のフロー数の変化を説明するための図である。図１４のグラフには、判定ブロック１３１の時系列のフロー数の変化を示し、フレームごとに過去数フレームのフロー数を集計するとする。具体的には、図１４を参照すると、時刻ｔでは、フロー数が０（ゼロ）であったが、時刻ｔ＋４からフロー数は増加し、時刻ｔ＋ｎにおいて、フロー数が４５に達していることがわかる。
【００８５】
定常度評価指標算出手段５では、現在時刻のフロー数と、ｎフレーム前のフロー数の差を、評価値として求める（ｎは定数）。この例の場合、前述したとおりフロー数の差は４５とする。
【００８６】
非定常状態判定手段６では、定常度評価指標算出手段５で求めたフロー数の差が、閾値を超えた場合に、人の動きの量が急に変化したとして、非定常判定する。例えば閾値を４０と設定すると、時刻ｔ＋ｎでフロー数の差が閾値を超え、「非定常」判定が発行される。この例では、フロー数が急に増加する場合を述べたが、絶対値を取り、急に増加した場合、また急に減少した場合両方を検出できるようにしてもよい。
【００８７】
出力手段７では、既に述べた実施形態と同様、処理経過の属性集計値であるフロー数や評価値のフロー数の差分、また判定結果などをモニタ画面上に同様に表示する。
【００８８】
以上が第四の実施形態である。本実施形態では、オプティカルフロー属性集計値を、時系列で比較し、変化が検出できた場合に「非定常」とする例である。オプティカルフロー属性集計値として、フロー数を例に取り説明したが、前述の集計値である方向別分布、速度分布について、同様に同じブロックの異なる時刻のデータと比較し、差が発生した場合に「非定常」としてもよい。
【００８９】
<<第五の実施形態>>
次に、第五の実施形態について説明する。第五の実施形態は、ブロックごとに算出されるオプティカルフローの集計値を、同じフレームの他のブロックの集計値と比較し、差がある場合に非定常状態を検出する例である。ここでは、隣接するブロック間でフロー数に極端に差が出る「回避」を非定常状態として検出する例を説明する。
【００９０】
図１３（ｂ）に示す画像では、判定ブロック１３７，１３９，１３ａ，１３ｂ，１３ｃ中では、人が動いておりオプティカルフローが算出されている。これに対し、判定ブロック１３８では、止まって立ち話をしている人達がいるため、オプティカルフローが算出されない。オプティカルフロー属性集計手段４では、画面中の全ての判定ブロックのフロー数を算出する。
【００９１】
定常度評価指標算出手段５では、ある判定ブロックのフロー数を、周囲の判定ブロックのフロー数と比較するための評価値を求める。例えば、ある判定ブロックについての評価値は、隣接する判定ブロックのフロー数の平均値に係数を掛けたものとする。
【００９２】
図１３（ｂ）の例では、判定ブロック１３８の評価指標は、判定ブロック１３８の周辺の判定ブロック１３７，１３９，１３ａ，１３ｂ，１３ｃのフロー数の平均となる。係数は、周囲のブロックとのフロー数の差を測る閾値であるので、例えば周囲ブロックの平均の５割を閾値とするとし０．５などとする。図１３（ｂ）の例であると、評価指標は２．６＊０．５＝１．３となる。
【００９３】
非定常状態判定手段６では、定常度評価指標算出手段５で算出した評価値を、当該ブロックのフロー数と比較し、評価値よりフロー数が少ない場合は「非定常」とする。すなわち、周囲の平均フロー数の半分以下であれば、当該ブロックは周囲のブロックと比べフロー数が極端に少ないとする。
【００９４】
この例の場合は、当該ブロックのフロー数は０であるため、評価値以下となり、「非定常」判定が発行される。非定常の内容としては、図１３（ｂ）に示すように、立ち話などで人の滞留が発生した結果、そのブロックではフローが発生せず、周囲に回避のフローが発生した状況などが考えられる。
【００９５】
出力手段７では、これまでの実施形態と同様に、各判定ブロック内に評価指標の値を描画し、非定常と判定した場合には色分けした枠を表示し、非定常の内容を表示するなどする。以上が第五の実施形態の内容である。
【００９６】
また、他の実施形態として、方向別分布、速度分布を組み合わせた、方向・速度別分布などを算出しておき、特定の方向・速度のフローが発生した場合に、非定常判定を発行するなどの実施形態も考えられる。
【００９７】
<<第六の実施形態>>
次に、第六の実施形態について説明する。第六の実施形態は、前記実施形態で述べてきた複数種類の非定常判定を実現する監視システムに関する実施形態である。本実施形態は、図１の構成で実現する。
【００９８】
図１５、図１６は、監視カメラからの映像を入力し、複数の非定常判定を実行し、出力する監視システムＭＳの処理の流れを示す図である。適宜図１を参照する。なお、図１５において、処理フロー中のＳ１５１、Ｓ１５２は、映像入力手段１により実行する処理であり、Ｓ１５３は、オプティカルフロー算出手段２により実行する処理であり、Ｓ１５４〜Ｓ１５８は、オプティカルフロー属性集計手段４により実行する処理であり、Ｓ１５９、Ｓ１５ａ〜Ｓ１５ｄは、定常度評価指標算出手段５により実行する処理である。さらに、図１６において、Ｓ１５ｅ〜Ｓ１５Ｌは、非定常状態判定手段６により実行する処理であり、Ｓ１５ｍ〜Ｓ１５ｑは、出力手段７により実行する処理である。
【００９９】
本実施形態は、オプティカルフロー属性種類格納手段１５ｓに、オプティカルフロー属性（方向別分布など）のリストを、定常度評価指標種類格納手段１５ｕに、定常度評価指標（方向集中度、逆行度など）のリストを、非定常判定種類格納手段１５ｗに、実行する非定常判定のリストを、それぞれ格納しておき、オプティカルフロー属性集計手段４、定常度評価指標算出手段５、非定常状態判定手段６の処理では、リストに記載された項目を順に処理する構成とする。これにより、複数の非定常判定や、判定のための評価指標を並列して実行することができる。また、集計するフロー属性や評価指標、判定の種類のリストを変更することで、実行する非定常判定の種類を変更したり、追加したりすることができる。
【０１００】
以下、処理の流れを順に説明する。
映像入力手段１は、Ｓ１５１において、処理の開始時に時刻のカウンタを０にクリアし、Ｓ１５２において、時刻ｔの画像を入力し、画像格納手段１５ｒに格納する。
【０１０１】
オプティカルフロー算出手段２は、Ｓ１５３において、画像格納手段１５ｒに格納した現在時刻ｔと、過去の時刻ｔ−ｎの画像とから、オプティカルフローを算出し、オプティカルフロー格納手段１５ｚに格納する。オプティカルフロー格納手段１５ｚの内容は、時刻ｔにおいて、算出した個々のオプティカルフローの始終点座標の情報を格納するとする。
【０１０２】
オプティカルフロー属性集計手段４は、Ｓ１５４において、判定ブロック設定手段３で設定した画像上の判定ブロックのカウンタｉを０にクリアし、以降のＳ１５５〜Ｓ１５７の処理はブロックごとの処理を行う。具体的には、Ｓ１５５において、オプティカルフロー属性のカウンタｊを０にクリアする。Ｓ１５６において、オプティカルフロー属性種類格納手段１５ｓ（図１７参照）に格納したｊ番目のオプティカルフロー属性種類を読み出して、オプティカルフロー属性集計手段４で属性を集計する。例えば、属性を集計するとは、方向別分布の場合は、図４に示した方向別にフロー数を集計する。速度分布の場合は、オプティカルフロー数の長さごとにフロー数を集計することを意味する。
【０１０３】
図１７は、オプティカルフロー属性種類格納手段と、オプティカルフロー属性集計結果格納手段の格納項目を説明するための図である。オプティカルフロー属性種類格納手段１５ｓの内容を、図１７（ａ）に示す。オプティカルフロー属性種類格納手段１５ｓは、属性種類のＩＤと、属性種類から構成する。それぞれの属性ＩＤに対応する、属性の集計処理（具体的な処理の内容は実施形態１〜５に記載）は、オプティカルフロー属性集計手段４に含まれる。このリストに属性ＩＤと属性種類を追加し、対応する集計処理をオプティカルフロー属性集計手段４に追加することで、新規の属性を追加することもできる。
【０１０４】
オプティカルフロー属性集計手段４は、Ｓ１５６で集計したオプティカルフロー属性を、オプティカルフロー属性集計結果格納手段１５ｔに格納する。図１７（ｂ）に、オプティカルフロー属性集計結果格納手段１５ｔの格納項目の例を示す。時刻ごとに、ブロックごとと属性種類ごとに集計結果を格納しておく。オプティカルフロー属性集計手段４は、Ｓ１５７において、全てのオプティカルフロー属性が集計済みか否かを判定する。集計済であれば（Ｓ１５７，Ｙｅｓ）、Ｓ１５８に進み、未済であれば（Ｓ１５７，Ｎｏ）、属性のカウンタｊを１進めてＳ１５６の処理に戻る。
【０１０５】
オプティカルフロー属性集計手段４は、Ｓ１５８において、全てのブロックの属性集計処理が済みか否かを判定する。済みであれば（Ｓ１５８，Ｙｅｓ）、Ｓ１５９の処理へ進み、未済であれば（Ｓ１５８，Ｎｏ），ブロックのカウンタｉを１進めてＳ１５５の処理に戻る。
【０１０６】
定常度評価指標算出手段５は、次のＳ１５９〜Ｓ１５ｄの処理を実行する。具体的には、定常度評価指標算出手段５は、Ｓ１５９において、判定ブロック設定手段３で設定した画像上の判定ブロックのカウンタｉを０にクリアし、Ｓ１５ａにおいて、定常度評価指標のカウンタｋを０にクリアする。
【０１０７】
定常度評価指標算出手段５は、Ｓ１５ｂにおいて、定常度評価指標種類格納手段１５ｕに格納したｋ番目の指標を読み出して、定常度評価指標算出手段５で評価指標ｋを算出する。算出する際には、オプティカルフロー属性集計結果格納手段１５ｔに格納した属性集計値から、必要な値を読み込んで算出する。例えば、「方向集中度」の算出であれば、時刻ｔのブロックＩの方向別分布を読み込んで算出する、などである。
【０１０８】
図１８は、定常度評価指標種類格納手段と、定常度評価指標値格納手段の格納項目を説明するための図である。定常度評価指標種類格納手段１５ｕの例を、図１８（ａ）に示す。定常度評価指標種類格納手段１５ｕは、定常度評価指標の種類のＩＤと、定常度評価指標の種類から構成する。それぞれの指標ＩＤに対応する、定常度評価指標の算出処理（具体的な処理の内容は実施形態１〜５に記載）は、定常度評価指標算出手段５に含まれる。このリストに定常度評価指標ＩＤと属性種類を追加し、対応する集計処理を定常度評価指標算出手段５に追加することで、定常度評価指標を追加することもできる。
【０１０９】
定常度評価指標算出手段５は、Ｓ１５ｂで算出した定常度評価指標を、定常度評価指標値格納手段１５ｖに格納する。図１８（ｂ）に、定常度評価指標値格納手段１５ｖの格納項目の例を示す。時刻ごとに、ブロックごとと定常度評価指標ごとに算出結果を格納しておく。定常度評価指標算出手段５は、Ｓ１５ｃにおいて、全ての定常度評価指標が算出済みか否かを判定する。算出済であれば（Ｓ１５ｃ，Ｙｅｓ）、Ｓ１５ｄに進み、未済であれば（Ｓ１５ｃ，Ｎｏ）、指標のカウンタｋを１進めてＳ１５ｂの処理に戻る。
【０１１０】
定常度評価指標算出手段５は、Ｓ１５ｄにおいて、全てのブロックの属性集計処理が済みか否かを判定する。済であれば（Ｓ１５ｄ，Ｙｅｓ）、Ｓ１５ｅの処理へ進み、未済であれば（Ｓ１５ｄ，Ｎｏ）、ブロックのカウンタｉを１進めてＳ１５ａの処理に戻る。
【０１１１】
図１６に進み、非定常状態判定手段６は、次のＳ１５ｅ〜Ｓ１５Ｌの処理を実行する。具体的には、非定常状態判定手段６は、Ｓ１５ｅにおいて、判定ブロック設定手段３で設定した画像上の判定ブロックのカウンタｉを０にクリアし、Ｓ１５ｆにおいて、非定常判定のカウンタＬを０にクリアする。
【０１１２】
非定常状態判定手段６は、Ｓ１５ｇにおいて、非定常判定種類格納手段１５ｗに格納したＬ番目の非定常判定を読み出して、非定常状態判定手段６で非定常判定を実行する。判定の際には、定常度評価指標値格納手段１５ｖから、必要な指標を読み込んで判定する。例えば「逆行」判定であれば、時刻ｔのブロックＩの「方向集中度」、「角度」「逆行度」を読み込んで算出する、などである。
【０１１３】
図１９は、非定常判定種類格納手段と、非定常判定結果格納手段の格納項目を説明するための図である。非定常判定種類格納手段１５ｗの例を、図１９（ａ）に示す。非定常判定種類格納手段１５ｗは、非定常判定の種類ＩＤと、非定常判定種類から構成する。それぞれの指標ＩＤに対応する、非定常状態判定処理（具体的な処理の内容は実施形態１〜５に記載）は、非定常状態判定手段６に含まれる。このリストに非定常判定ＩＤと非定常判定種類を追加し、対応する判定処理を非定常状態判定手段６に追加することで、非定常判定を追加することもできる。
【０１１４】
非定常状態判定手段６は、Ｓ１５ｈにおいて、Ｓ１５ｇで実行した非定常判定が“真”であるか否かを判定する。“真”であれば（Ｓ１５ｈ，Ｙｅｓ）、非定常状態Ｌが発生したとし、Ｓ１５ｉの処理に進む。“偽”であれば（Ｓ１５ｈ，Ｎｏ）、非定常状態Ｌが発生していないとし、Ｓ１５ｊに進む。
【０１１５】
非定常状態判定手段６は、Ｓ１５ｉにおいて、当該ブロックＩで、非定常状態Ｌが発生したとし、非定常判定Ｌのフラグを“１”とし、非定常判定結果格納手段１５ｘに格納する。非定常状態判定手段６は、Ｓ１５ｊにおいて、当該ブロックＩで、非定常状態Ｌが発生していないとし、非定常判定Ｌのフラグを“０”とし、非定常判定結果格納手段１５ｘに格納する。非定常判定結果格納手段１５ｘの例を図１９（ｂ）に示す。時刻ごとに、ブロックごとと非定常判定種類ごとに０もしくは１のフラグを格納しておく。
【０１１６】
非定常状態判定手段６は、Ｓ１５ｋにおいて、全ての非定常判定が実行済みか否かを判定する。判定済であれば（Ｓ１５ｋ，Ｙｅｓ）、Ｓ１５Ｌに進み、判定未済の非定常判定があれば（Ｓ１５ｋ，Ｎｏ）、非定常判定種類のカウンタＬを１進めてＳ１５ｇに戻る。
【０１１７】
非定常状態判定手段６は、Ｓ１５Ｌにおいて、全てのブロックの非定常判定処理が済みか否かを判定する。済であれば（Ｓ１５Ｌ，Ｙｅｓ）、Ｓ１５ｍの処理へ進み、未済であれば（Ｓ１５Ｌ，Ｎｏ）、ブロックのカウンタｉを１進めてＳ１５ｆの処理に戻る。
【０１１８】
出力手段７は、次のＳ１５ｍ〜Ｓ１５ｑの処理を実行する。具体的には、出力手段７は、Ｓ１５ｍにおいて、判定ブロック設定手段３で設定した画像上の判定ブロックのカウンタｉを０にクリアする。
【０１１９】
出力手段７は、Ｓ１５ｎにおいて、非定常判定結果格納手段１５ｘを読み出し、現在時刻ｔの当該ブロックＩに、非定常判定フラグが“１”、すなわち非定常判定が出たものがあるかを判定する。フラグが１の非定常判定が１つでもあれば（Ｓ１５ｎ，Ｙｅｓ）、Ｓ１５ｏに進み、全ての非定常判定が０であれば（Ｓ１５ｎ，Ｎｏ）、Ｓ１５ｐに進む。出力手段７は、Ｓ１５ｏにおいて、非定常判定画面を描画し、モニタや記憶手段に出力する。描画画面例は、図９の９５、９６に示すように、非定常判定の内容を表示するものとする。
【０１２０】
図２０は、複数の非定常判定フラグが１である場合の、判定結果の出力方法の例を示す図である。図２０に示すように、同一の判定ブロックについて、複数の非定常判定フラグが１である場合は、発生した非定常判定の種類がわかるよう、１９１、１９２のように複数描画する。もしくは、非定常判定種類の間で、優先度が決められる場合には、予め優先度を決めておき、優先度の高い非定常判定を１種類描画してもよい。
【０１２１】
出力手段７は、Ｓ１５ｐにおいて、非定常判定フラグが全ての非定常判定種類につき０であった場合に、定常画面を描画する処理を行う。定常画面の例は、図７、図８、図９の矩形９１、９２、９３を含む画面、もしくは図１２の１２３、１２７を含む画面に示すような、非定常判定を伴わない描画である。定常描画の内容は、デフォルトの描画内容を決めておき、必要に応じてマウスやキーボード入力、もしくは専用の切替メニューのインターフェースなどを準備し、ユーザからの入力に応じて切り替え表示できるようにする。
【０１２２】
出力手段７は、Ｓ１５ｑにおいて、全てのブロックの出力処理が済みか否かを判定する。済であれば（Ｓ１５ｑ，Ｙｅｓ）、図１５に示すＳ１５２の処理へ戻り、次の時刻ｔの処理を実行する。未済であれば（Ｓ１５ｑ，Ｎｏ）、ブロックのカウンタｉを１進めてＳ１５ｎの処理に戻る。
【０１２３】
以上が、監視システムＭＳの第六の実施形態である。第六の実施形態では、全ての時間帯で、全てのブロックで全ての非定常判定を実行する例を示したが、監視する場所の特性に応じて、時間帯ごと、ブロックごとなどに実行する非定常判定の種類や優先度を変えるなどの実行形態を取ることもできる。例えば、時間帯ごとに人の流れが変わる、通行する人の年代が変わるなどの、監視領域の特性がわかれば、時間帯ごとに非定常判定の種類を変更し、また、同一の画像内でも、ブロックごとに非定常判定の種類の優先度を変更するなどの運用も可能である。その場合は、オプティカルフロー属性種類格納手段１５ｓ、定常度評価指標種類格納手段１５ｕ、非定常判定種類格納手段１５ｗのリストを、それぞれ時間帯、ブロックごとに設定し、該当する時間帯、ブロックごとにリストに記載の項目を処理することで実現できる。
【０１２４】
本実施形態の特徴をまとめると、第一の実施形態で示した監視システムＭＳは、複数の移動体を含んでなる群衆の映像を撮影し入力する映像入力手段１と、入力した異なる時刻に撮影された映像から、オプティカルフローを算出するオプティカルフロー算出手段２と、映像上の領域を、予め、非定常判定する単位のブロックに区切っておく判定ブロック設定手段３と、各判定ブロック内で発生するオプティカルフローの属性を集計するオプティカルフロー属性集計手段４と、集計したオプティカルフローの属性から、当該ブロックの定常度を評価するための定常度評価指標の評価値を算出する定常度評価指標算出手段５と、定常度評価指標の評価値から、当該ブロックの非定常状態を判定する非定常状態判定手段６と、非定常状態判定手段６の判定の結果を出力する出力手段７を備えている。なお、出力手段７は、図９に示すように、非定常状態が発生した領域を囲み表示するなど強調表示することができる。
【０１２５】
出力手段７は、第一の実施形態で示した量子化した方向別分布の、各方向別に対応する色を設定し、個々のオプティカルフローを方向別色分けで描画し映像上に重ね表示することもできる。また、出力手段７は、量子化した方向別分布を、映像上の該当するブロック上に重ね表示することもできる。
【０１２６】
また、出力手段７は、非定常状態判定手段６が非定常状態と判定した場合、非定常状態の種類により異なる色で非定常状態の発生したブロックを矩形表示することもできる。また、出力手段７は、定常度評価指標算出手段５で算出した評価値を、映像上の該当ブロック上に描画し、また、評価値が非定常状態判定手段で閾値を超えている場合に、異なる色で表示することもできる。
【０１２７】
第二の実施形態では、定常度評価指標算出手段５は、方向別分布から、エントロピーを算出し、非定常状態判定手段６は、エントロピーの大きい領域を、流れに乱れが発生した領域である非定常状態として判定することができる。
【０１２８】
第三の実施形態では、オプティカルフロー属性集計手段４は、判定ブロック内で発生するオプティカルフローの大きさを速度分布に集計することができ、出力手段７は、群衆の速度分布をモニターに出力することができる。
【０１２９】
また、第三の実施形態において、定常度評価指標算出手段５は、速度分布の平均値μ、標準偏差σを求め、μ−２σ〜μ＋２σ、もしくはμ−３σ〜μ＋３σを算出し、非定常状態判定手段６は、μ−２σ〜μ＋２σ、もしくはμ−３σ〜μ＋３σの範囲を定常の範囲とし、範囲を外れるオプティカルフローが存在する場合に、当該ブロック内に他と異なる速度の動きが存在する速度異常である非定常状態として判定することができる。
【０１３０】
また、オプティカルフロー属性集計手段４は、ブロック内で発生するオプティカルフローの大きさを、ワールド座標上の距離に変換した上で、速度分布を算出してもよい。また、出力手段７は、速度の大きさが定常範囲を外れるオプティカルフローを、他と異なる色で描画し、映像と重ねて出力してもよい。
【０１３１】
また、第四の実施形態において、オプティカルフロー属性集計手段４は、判定ブロック内で発生するオプティカルフローの数を集計し、非定常状態判定手段６は、過去の一定フレーム前のフロー数との差が閾値を超えた場合に「急変」の非定常状態として判定することができる。
【０１３２】
第五の実施形態において、オプティカルフロー属性集計手段４は、判定ブロック内で発生するオプティカルフローの数を集計し、非定常状態判定手段６は、周囲のブロックのフロー数との差が閾値を超えた場合に「回避」の非定常状態として判定することができる。
【０１３３】
第六の実施形態において、出力手段７は、判定した定常もしくは非定常状態を、映像上に描画しモニタもしくは記録手段に出力してもよい。
【０１３４】
本実施形態によれば、群衆のシーンで、動きの属性の分布から、状態を定量化し、非定常な動きの発生した領域を検出できる。
【符号の説明】
【０１３５】
１    映像入力手段
２    オプティカルフロー算出手段
３    判定ブロック設定手段
４    オプティカルフロー属性集計手段
５    定常度評価指標算出手段
６    非定常状態判定手段
７    出力手段
１５ｒ    画像格納手段
１５ｚ    オプティカルフロー格納手段
１５ｓ    オプティカルフロー属性種類格納手段
１５ｔ    オプティカルフロー属性集計結果格納手段
１５ｕ    定常度評価指標種類格納手段
１５ｖ    定常度評価指標値格納手段
１５ｗ    非定常判定種類格納手段
１５ｘ    非定常判定結果格納手段
１５ｙ    記録手段
ＭＳ    監視システム
【図１】
0005400718.tif 000006
【図２】
0005400718.tif 000007
【図３】
0005400718.tif 000008
【図４】
0005400718.tif 000009
【図５】
0005400718.tif 000010
【図６】
0005400718.tif 000011
【図７】
0005400718.tif 000012
【図８】
0005400718.tif 000013
【図９】
0005400718.tif 000014
【図１０】
0005400718.tif 000015
【図１１】
0005400718.tif 000016
【図１２】
0005400718.tif 000017
【図１３】
0005400718.tif 000018
【図１４】
0005400718.tif 000019
【図１５】
0005400718.tif 000020
【図１６】
0005400718.tif 000021
【図１７】
0005400718.tif 000022
【図１８】
0005400718.tif 000023
【図１９】
0005400718.tif 000024
【図２０】
0005400718.tif 000025