(57)【要約】【課題】撮影画像から移動物体の動きを解析する装置において、混雑度の違いで解析精度が変化する。【解決手段】画像取得手段３０は所定の移動物体で混雑し得る空間を撮影した複数時刻の撮影画像を取得する。密度推定手段５０は所定の密度ごとに当該密度にて移動物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、撮影画像内の任意の領域に撮影された移動物体の密度を推定する。動きベクトル算出手段５１は撮影画像に複数の局所領域を設定し、局所領域それぞれにおける動きベクトルを、当該局所領域での密度が高いほど長く設定した期間における画像の動きから算出する。要注視行動検出手段５２は複数の局所領域の動きベクトルから空間における移動物体の動きを解析する。【選択図】図２
2019028658.tif 000002
【特許請求の範囲】
【請求項１】
所定の移動物体で混雑し得る空間を撮影した複数時刻の撮影画像を取得する画像取得手段と、
所定の密度ごとに当該密度にて前記移動物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、前記撮影画像内の任意の領域に撮影された前記移動物体の前記密度を推定する密度推定手段と、
前記撮影画像に複数の局所領域を設定し、前記局所領域それぞれにおける動きベクトルを、当該局所領域での前記密度が高いほど長く設定した期間における画像の動きから算出する動きベクトル算出手段と、
前記複数の局所領域の前記動きベクトルから前記空間における前記移動物体の動きを解析する動き解析手段と、
を備えたことを特徴とする画像解析装置。
【請求項２】
前記動きベクトル算出手段は、
前記撮影画像を撮影時刻順に並べた３次元の時空間画像を、画素値の相違度が所定の基準値以下である近傍画素ごとにまとめて複数の時空間セグメントに分割するセグメンテーション手段を有し、
前記撮影画像にて前記密度が所定値以上である領域については、前記時空間セグメントにおける前記撮影時刻が同一である画素からなる切片を前記局所領域として設定し、当該局所領域での前記密度が高いほど長く設定した期間における前記時空間セグメントに基づいて前記動きベクトルを算出すること、
を特徴とする請求項１に記載の画像解析装置。
【請求項３】
前記動きベクトル算出手段は、前記移動物体の大きさを基準として予め定められた大きさの前記局所領域を設定することを特徴とする請求項１に記載の画像解析装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人等の移動物体により混雑が生じ得る空間を撮影した画像から移動物体の動きを解析する画像解析装置に関する。
【背景技術】
【０００２】
画像に撮影された移動物体の動きを解析する際の基礎情報のひとつとして動きベクトルが知られている。
【０００３】
下記特許文献１には、直前画像と現画像との間でオプティカルフロー分析を行うことで、人や配置物の動きベクトルを算出して人や配置物の動きを解析する画像監視装置が例示されている。すなわち常に１フレーム間隔で動きベクトルを算出することが例示されている。
【０００４】
また、下記特許文献２には、群衆が検知された場合に、時系列画像に時空間セグメンテーションを施し、予め定めた時間長（例えば５時刻）を有する複数のセグメントのそれぞれから当該時間長の動きベクトルを算出して人の動きを解析する群衆解析装置が例示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−１４３０６８号公報
【特許文献２】特開２０１７−０６８５９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来手法においては、画像に撮影されている空間における移動物体の混雑の度合い（以下、密度）に関わらず、一定のフレーム間隔（以下、時間間隔）で動きベクトルを算出していたため、密度が変動すると移動物体の動きを解析する精度が低下することがあった。
【０００７】
例えば、人の密度が非常に高い場合、人は速く動くことが出来ず、ゆっくりとした動きとなる。そのため、人の密度が非常に高いときの画像から短い時間間隔で動きベクトルを算出してしまうと、人に関する動きベクトルの大きさは非常に小さくなり、実際の人の動きなのかノイズなのかが不明瞭になってしまう。
【０００８】
その一方で、人の密度が低い場合、人は速く動くことが可能である。そのため、人の密度が非常に高い場合に適合させたまま長い時間間隔で動きベクトルを算出してしまうと、誤った動きベクトルの算出が多発する。すなわち、長い時間間隔で速く動く人の動きベクトルを算出しようとすれば探索範囲を広くせざるを得ず、他人や背景を誤って対応付けてしまい易くなる。
【０００９】
このように、共通の手法を用いて動きベクトルを求める際に、常に同じ時間長で移動物体の動きを捉えると、混雑の変動によって動きベクトルのノイズや動きベクトルの誤算出が多くなり、移動物体の動きを解析する精度が低下してしまう問題があった。
【００１０】
本発明は上記問題を鑑みてなされたものであり、人等の移動物体による混雑が生じ得る空間を撮影した画像から移動物体の動きを高い精度で解析可能な画像解析装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
（１）本発明に係る画像解析装置は、所定の移動物体で混雑し得る空間を撮影した複数時刻の撮影画像を取得する画像取得手段と、所定の密度ごとに当該密度にて前記移動物体が存在する空間を撮影した密度画像それぞれの画像特徴を学習した密度推定器を用いて、前記撮影画像内の任意の領域に撮影された前記移動物体の前記密度を推定する密度推定手段と、前記撮影画像に複数の局所領域を設定し、前記局所領域それぞれにおける動きベクトルを、当該局所領域での前記密度が高いほど長く設定した期間における画像の動きから算出する動きベクトル算出手段と、前記複数の局所領域の前記動きベクトルから前記空間における前記移動物体の動きを解析する動き解析手段と、を備える。
【００１２】
（２）上記（１）に記載の画像解析装置において、前記動きベクトル算出手段は、前記撮影画像を撮影時刻順に並べた３次元の時空間画像を、画素値の相違度が所定の基準値以下である近傍画素ごとにまとめて複数の時空間セグメントに分割するセグメンテーション手段を有し、前記撮影画像にて前記密度が所定値以上である領域については、前記時空間セグメントにおける前記撮影時刻が同一である画素からなる切片を前記局所領域として設定し、当該局所領域での前記密度が高いほど長く設定した期間における前記時空間セグメントに基づいて前記動きベクトルを算出する構成とすることができる。
【００１３】
（３）上記（１）に記載の画像解析装置において、前記動きベクトル算出手段は、前記移動物体の大きさを基準として予め定められた大きさの前記局所領域を設定する構成とすることができる。
【発明の効果】
【００１４】
本発明によれば、移動物体による混雑が生じ得る空間を撮影した画像から移動物体の動きを高い精度で解析可能な画像解析装置を提供することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る画像監視装置の概略の構成を示すブロック図である。
【図２】本発明の実施形態に係る画像監視装置の機能を示す機能ブロック図である。
【図３】撮影画像の例、およびそれに対応する密度分布の例を示す模式図である。
【図４】低混雑領域、中混雑領域、高混雑領域それぞれにおける動きベクトルの模式図である。
【図５】時空間セグメントに基づく動きベクトル算出の例を説明する時空間の模式的な斜視図である。
【図６】本発明の実施形態に係る画像監視装置における監視動作の概略の処理フロー図である。
【図７】要注視行動検出処理の一例の概略のフロー図である。
【図８】要注視行動検出処理の他の例の概略のフロー図である。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態（以下実施形態という）に係る画像監視装置１について、図面に基づいて説明する。
【００１７】
図１は画像監視装置１の概略の構成を示すブロック図である。画像監視装置１は、本発明に係る画像解析装置を用いて構成され、撮影部２、通信部３、記憶部４、画像処理部５および表示部６からなる。
【００１８】
撮影部２は、監視カメラであり、通信部３を介して画像処理部５と接続され、所定の物体が混雑し得る監視空間を所定の時間間隔で撮影して撮影画像を出力する撮影手段である。
【００１９】
例えば、撮影部２は、イベント会場に設置されたポールに監視空間を俯瞰する視野を有して設置される。その視野は固定されていてもよいし、予めのスケジュール或いは通信部３を介した外部からの指示に従って変更されてもよい。また、例えば、撮影部２は監視空間をフレーム周期１秒で撮影してカラー画像を生成する。カラー画像の代わりにモノクロ画像を生成してもよい。
【００２０】
通信部３は、通信回路であり、その一端が画像処理部５に接続され、他端が同軸ケーブルまたはＬＡＮ（Local Area Network）、インターネットなどの通信網を介して撮影部２および表示部６と接続される。通信部３は、撮影部２から撮影画像を取得して画像処理部５に入力し、画像処理部５から入力された解析結果を表示部６に出力する。
【００２１】
記憶部４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリ装置であり、各種プログラムや各種データを記憶する。記憶部４は、画像処理部５と接続されて画像処理部５との間でこれらの情報を入出力する。
【００２２】
画像処理部５は、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置で構成される。画像処理部５は、記憶部４と接続され、記憶部４からプログラムを読み出して実行することにより各種処理手段・制御手段として動作し、各種データを記憶部４に記憶させ、また記憶部４から読み出す。また、画像処理部５は、通信部３を介して撮影部２および表示部６とも接続され、通信部３経由で撮影部２から取得した撮影画像を解析することにより、人の動きを解析し、解析結果と撮影画像を通信部３経由で表示部６に出力する。
【００２３】
表示部６は、液晶ディスプレイ又はＣＲＴ（Cathode Ray Tube）ディスプレイ等のディスプレイ装置であり、通信部３を介して画像処理部５と接続され、画像処理部５による解析結果を表示する表示手段である。監視員は表示された解析結果を参照しながら撮影画像を視認して異常行動等の発生を判断し、必要に応じて人員配置の変更等の対処を行う。
【００２４】
なお、本実施形態においては、撮影部２と画像処理部５の個数が１対１である画像監視装置１を例示するが、別の実施形態においては、撮影部２と画像処理部５の個数を多対１或いは多対多とすることもできる。
【００２５】
図２は画像監視装置１の機能を示す機能ブロック図である。通信部３は画像取得手段３０および要注視情報出力手段３１等として機能し、記憶部４は時系列画像記憶手段４０、密度推定器記憶手段４１および検出基準記憶手段４２等として機能する。画像処理部５は、密度推定手段５０、動きベクトル算出手段５１、および要注視行動検出手段５２（動き解析手段）等として機能する。
【００２６】
画像取得手段３０は撮影手段である撮影部２から撮影画像を順次取得して、取得した撮影画像を密度推定手段５０に順次出力するとともに、時系列画像記憶手段４０に順次追加記憶させる。
【００２７】
時系列画像記憶手段４０は、画像取得手段３０から入力された撮影画像を時系列に記憶し、撮影画像を撮影時刻順に並べた時系列画像を動きベクトル算出手段５１に出力する。時系列画像記憶手段４０は少なくとも動きベクトル算出手段５１が必要とする時間区間の撮影画像を記憶し、好ましくは不要となった時点で削除する。例えば、時系列画像記憶手段４０は現時刻および現時刻の１時刻前から４時刻前までの撮影画像（つまり最新５フレームの撮影画像）を循環記憶する。
【００２８】
密度推定器記憶手段４１は、所定の密度ごとに当該密度にて移動物体（人）が存在する空間を撮影した画像（密度画像）それぞれの画像特徴を学習した推定密度算出関数であって、画像の特徴量を入力されると当該画像に撮影されている移動物体の密度の推定値（推定密度）を算出して出力する推定器（密度推定器）を表す情報を予め記憶している。つまり密度推定器記憶手段４１は上記推定密度算出関数の係数等のパラメータを密度推定器の情報として予め記憶している。
【００２９】
密度推定手段５０は、画像取得手段３０から入力された撮影画像内の任意の領域について当該領域に撮影された移動物体の密度を推定する。具体的には、密度推定手段５０は、撮影画像の各所から密度推定用の特徴量（推定用特徴量）を抽出するとともに密度推定器記憶手段４１から密度推定器を読み出して、抽出した推定用特徴量のそれぞれを密度推定器に入力することによって密度を推定する。これにより、撮影画像内での推定密度の分布（移動物体の密度分布）が求められ、密度推定手段５０は推定した密度分布を動きベクトル算出手段５１に出力する。
【００３０】
密度推定の処理と密度推定器について具体的に説明する。
【００３１】
密度推定手段５０は、撮影画像の各画素の位置に窓（推定用抽出窓）を設定し、各推定用抽出窓における撮影画像から推定用特徴量を抽出する。推定用特徴量はＧＬＣＭ（Gray Level Co-occurrence Matrix）特徴である。
【００３２】
各推定用抽出窓に撮影されている監視空間内の領域は同一サイズであることが望ましい。すなわち、好適には密度推定手段５０は不図示のカメラパラメータ記憶手段から予め記憶されている撮影部２のカメラパラメータを読み出し、カメラパラメータを用いたホモグラフィ変換により撮影画像の任意の画素に撮影されている監視空間内の領域が同一サイズとなるように撮影画像を変形してから推定用特徴量を抽出する。
【００３３】
密度推定器は多クラスの画像を識別する識別器で実現することができ、多クラスＳＶＭ（Support Vector Machine）法で学習した識別関数とすることができる。
【００３４】
密度は、例えば、人が存在しない「背景」クラス、０人／ｍ２より高く２人／ｍ２以下である「低密度」クラス、２人／ｍ２より高く４人／ｍ２以下である「中密度」クラス、４人／ｍ２より高い「高密度」クラスの４クラスと定義することができる。
【００３５】
推定密度は各クラスに予め付与された値であり、分布推定の結果として出力される値である。本実施形態では各クラスに対応する値を「背景」、「低密度」、「中密度」、「高密度」と表記する。
【００３６】
すなわち、密度推定器は「背景」クラス、「低密度」クラス、「中密度」クラス、「高密度」クラスのそれぞれに帰属する多数の画像（密度画像）の特徴量に多クラスＳＶＭ法を適用して学習して得られる、各クラスの画像を他のクラスと識別するための識別関数である。この学習により導出された識別関数のパラメータが密度推定器として記憶されている。なお、密度画像の特徴量は、推定用特徴量と同種であり、ＧＬＣＭ特徴である。
【００３７】
密度推定手段５０は、各画素に対応して抽出した推定用特徴量のそれぞれを密度推定器に入力することによってその出力値である推定密度を取得する。なお、撮影画像を変形させて推定用特徴量を抽出した場合、密度推定手段５０はカメラパラメータを用いたホモグラフィ変換により密度分布を元の撮影画像の形状に変形させる。
【００３８】
こうして得られた、撮影画像の画素ごとの推定密度の集まりが密度分布である。
【００３９】
動きベクトル算出手段５１は撮影画像に複数の局所領域を設定し、局所領域それぞれにおける動きベクトルを、当該局所領域において推定された密度が高いほど長く設定した期間（分析時間間隔）における画像の動きから算出し、算出した動きベクトルを要注視行動検出手段５２に出力する。なお、ここで、密度と分析時間間隔とは、密度が増加すると分析時間間隔も増加する関係にあるが、当該関係は部分的に密度の増加に対して分析時間間隔が一定に保たれる場合を含むものとすることができる。
【００４０】
局所領域を予め設定する場合は、局所領域の大きさは少なくとも動き解析の対象とする移動物体の像よりも小さくするのが好適である。例えば、局所領域を撮影画像に撮影される立位の人の大きさの４分の１程度に見積もった正方形のブロックとし、動きベクトル算出手段５１は撮影画像を格子状に区分して複数の局所領域を設定する。
【００４１】
本実施形態では、密度推定手段５０が出力する密度のクラスのうち「背景」と「低密度」とを統合して取り扱うため、説明の便宜上、密度の「背景」および「低密度」の値を「低混雑度」と定義し、また「中密度」および「高密度」をそれぞれ「中混雑度」、「高混雑度」と定義する。
【００４２】
動きベクトル算出手段５１は、密度推定手段５０から入力された密度分布を参照し、撮影画像を混雑度合いごとの領域にも区分する。すなわち、撮影画像を、推定密度が「背景」または「低密度」である画素の集まりからなる低混雑領域、推定密度が「中密度」である画素の集まりからなる中混雑領域、および推定密度が「高密度」である画素の集まりからなる高混雑領域に区分する。
【００４３】
そして、動きベクトル算出手段５１は各局所領域が低混雑領域、中混雑領域および高混雑領域のいずれに帰属するかによって、当該局所領域における動きベクトルの分析時間間隔を切り替える。例えば、動きベクトル算出手段５１は低混雑領域においては分析時間間隔を１時刻間隔（１フレーム間隔）とし、また、中混雑領域においては２時刻間隔（２フレーム間隔）、高混雑領域においては４時刻間隔（４フレーム間隔）として動きベクトルを算出する。
【００４４】
すなわち、動きベクトル算出手段５１は、時系列画像記憶手段４０から現時刻の撮影画像と１時刻前の撮影画像とを読み出し、現時刻の撮影画像において低混雑領域に帰属するブロック（低混雑注目ブロック）それぞれに所定の探索範囲を設定して、１時刻前の撮影画像に設定したブロックの中から各低混雑注目ブロックの探索範囲内に位置し且つ特徴量同士が最も類似する低混雑対応ブロックを検出し、低混雑対応ブロックの重心を始点とし低混雑注目ブロックの重心を終点とするベクトルを低混雑領域における現時刻の動きベクトルとして算出する。
【００４５】
同様に、動きベクトル算出手段５１は、時系列画像記憶手段４０から現時刻の撮影画像と２時刻前の撮影画像とを読み出し、現時刻の撮影画像において中混雑領域に帰属する中混雑注目ブロックそれぞれに所定の探索範囲を設定して、２時刻前の撮影画像に設定したブロックの中から各中混雑注目ブロックの探索範囲内に位置し且つ特徴量同士が最も類似する中混雑対応ブロックを検出し、中混雑対応ブロックと中混雑注目ブロックの重心同士を結ぶベクトルを中混雑領域における現時刻の動きベクトルとして算出する。
【００４６】
また、動きベクトル算出手段５１は、時系列画像記憶手段４０から現時刻の撮影画像と４時刻前の撮影画像とを読み出し、現時刻の撮影画像において高混雑領域に帰属する高混雑注目ブロックそれぞれに所定の探索範囲を設定して、４時刻前の撮影画像に設定したブロックの中から各高混雑注目ブロックの探索範囲内に位置し且つ特徴量同士が最も類似する高混雑対応ブロックを検出し、高混雑対応ブロックと高混雑注目ブロックの重心同士を結ぶベクトルを高混雑領域における現時刻の動きベクトルとして算出する。
【００４７】
ここで、特徴量は例えば平均画素値（平均色または平均濃度）とすることができる。また、探索範囲は動き解析の対象とする移動物体が移動可能な広さとすることができる。例えば、各注目ブロックに対し、当該注目ブロックの重心を中心とする所定半径の円を探索範囲として設定することができ、その半径は例えば１時刻の間に人が走って移動可能な距離に予め定めることができる。ここで、混雑度の増加は人の移動可能な速さを低くする効果がある。当該効果を考慮して、分析時間間隔は混雑度が高いほど長く設定される。一方、当該効果により、低混雑度より分析時間間隔を長く設定される中混雑度や高混雑度の領域での移動物体の移動可能な広さは、分析時間間隔に対応しては変化しない。この観点から、上述のように混雑度の各クラスにおける探索範囲の大きさを共通とすることが可能である。
【００４８】
図３は撮影画像の例、およびそれに対応する密度分布の例を示す模式図である。図３（ａ）は撮影画像の例であり、人の像６０が示されている。また、図３（ｂ）が密度分布であり、白抜き部が低混雑領域を表しており、また、斜線部が中混雑領域、網掛け部が高混雑領域である。
【００４９】
図４は各混雑度での動きベクトルの模式図であり、図４（ａ）〜（ｃ）はそれぞれ低混雑領域、中混雑領域、高混雑領域での動きベクトルを示している。図４では、ブロック分割により局所領域を設定した場合を示しており、撮影画像７０内のマス目の１つ１つが局所領域７２を表している。また、各撮影画像７０の撮影時刻Ｔを示している。図４（ａ）に示す低混雑領域での動きベクトル算出では、現時刻（Ｔ＝ｔ）の撮影画像７０の低混雑度の注目ブロックの動きベクトル７４ａの始点として１時刻前（Ｔ＝ｔ−１）の撮影画像７０にて対応ブロックが探索される。また、図４（ｂ）に示す中混雑領域での動きベクトル算出では現時刻（Ｔ＝ｔ）の撮影画像７０の中混雑度の注目ブロックの動きベクトル７４ｂの始点として２時刻前（Ｔ＝ｔ−２）の撮影画像７０にて対応ブロックが探索され、図４（ｃ）に示す高混雑領域での動きベクトル算出では現時刻（Ｔ＝ｔ）の撮影画像７０の中混雑度の注目ブロックの動きベクトル７４ｃの始点として４時刻前（Ｔ＝ｔ−４）の撮影画像７０にて対応ブロックが探索される。
【００５０】
なお、上記例では、局所領域を複数の画素からなるブロックとしたが、各画素を局所領域に設定してもよい。
【００５１】
また上記例では、予め定めた大きさの局所領域を設定したが、各撮影画像において互いに画素値（色または濃度）が類似する近傍画素をまとめたセグメントそれぞれを局所領域に設定することもできる。この場合、局所領域の大きさは動的に定まり、少なくとも移動物体に関する局所領域はその部位程度の大きさとなることが期待できる。
【００５２】
あるいは、動きベクトル算出手段５１は所定時間長に亘り順次撮影された撮影画像からなる時系列画像に対する時空間セグメンテーションを行う手段を備え、当該手段により生成される各時空間セグメントに基づいて動きベクトルを求めることもできる。
【００５３】
ここで、時空間セグメンテーションは、時系列画像が形成する時空間にて近傍関係にあり且つ互いに画素値（色または濃度）が類似する画素のまとまりである時空間セグメントを生成する処理である。ちなみに、時系列画像は、それを構成する各時刻の２次元画像（空間画像）の座標軸（Ｘ軸、Ｙ軸とする）と、時間軸（Ｔ軸とする）とで座標（Ｘ，Ｙ，Ｔ）を定義される時空間における３次元画像（時空間画像）と考えることができ、画素の近傍関係は、Ｘ軸、Ｙ軸方向に関する空間的な画素の位置関係と、Ｔ軸方向に関する時間的な画素の位置関係との両面から把握される。つまり、時空間セグメンテーション手段は、撮影画像を撮影時刻順に並べた時空間画像を、画素値の相違度が所定の基準値以下である近傍画素ごとにまとめて複数の時空間セグメントに分割する。
【００５４】
時空間セグメンテーションは、時刻が連続する空間画像間での移動物体の像の重なりを要するため、移動物体の動きが少ない領域に適用するのが好適であり、この点から、後述する構成では、中混雑度および高混雑度の領域に適用することとしている。
【００５５】
時空間セグメンテーションを行う時系列画像の時間軸方向の範囲（分析区間）は処理負荷の観点から基本的に有限とし、その時間長（分析区間長）は予め設定される。例えば、撮影画像全体、または撮影画像のうち中混雑度および高混雑度の領域をまとめて時空間セグメンテーションする場合、高混雑領域の分析時間間隔に対応させて、セグメンテーションの分析区間長は５時刻（Ｔ＝ｔ〜ｔ−４）とすることができ、この場合、動きベクトル算出手段５１は、記憶部４から過去４時刻（Ｔ＝ｔ−４〜ｔ−１）の監視画像を読み出し、それらと現時刻（Ｔ＝ｔ）の監視画像を時刻順に並べた時空間画像の全体、または時空間画像のうち現時刻の撮影画像における中混雑領域および高混雑領域に関連する部分にて、画素位置および撮影時刻が隣接する画素間にて画素値の相違度を算出し、相違度が小さければ同一セグメントとして結合させる、という処理を繰り返すことで、複数の時空間セグメントに分割する。
【００５６】
そして、各時空間セグメントに含まれる画素のうち時刻が同じ画素のまとまりを切片と呼ぶことにすると、動きベクトル算出手段５１は、撮影画像にて密度が所定値以上である領域については、例えば、現時刻での切片を局所領域として設定し、当該局所領域での密度が高いほど長く設定した期間（分析時間間隔）における時空間セグメントに基づいて動きベクトルを算出する。具体的には、時空間セグメントの切片が中混雑度である場合には、動きベクトル算出手段５１は例えば、上述の分析時間間隔の例では、当該時空間セグメントを構成する５時刻分の切片のうち３時刻分（Ｔ＝ｔ〜ｔ−２）の切片それぞれの重心を求め、それら重心位置の時間変化を直線近似して動きベクトルを算出する。また、時空間セグメントの切片が高混雑度である場合には、動きベクトル算出手段５１は例えば、上述の分析時間間隔の例では、当該時空間セグメントにおける５時刻分（Ｔ＝ｔ〜ｔ−４）の切片それぞれの重心を求め、それら重心位置の時間変化を直線近似して動きベクトルを算出する。
【００５７】
図５は動きベクトル算出の例を説明する時空間の模式的な斜視図である。時空間セグメント６００は現時刻ｔにおいて分析区間［ｔ−４，ｔ］の時系列画像から分割されたものの１つであり、時空間セグメント６００に含まれる画素のうち、撮影時刻がｔ−４である画素のまとまりを切片６０１とし、同様に撮影時刻がｔ−３，ｔ−２，ｔ−１，ｔである画素のまとまりのそれぞれを切片６０２，６０３，６０４，６０５としている。また切片６０１，６０２，６０３，６０４，６０５の重心位置をそれぞれ（ｘ１，ｙ１，ｔ−４），（ｘ２，ｙ２，ｔ−３），（ｘ３，ｙ３，ｔ−２），（ｘ４，ｙ４，ｔ−１），（ｘ５，ｙ５，ｔ）で表している。例えば、現時刻の切片６０５が高混雑度である場合、これら５時刻分の時系列の重心位置を最小二乗法などで近似した直線６１１を求める。そして、分析区間中で最も古い時刻の重心位置（ｘ１，ｙ１，ｔ−４） から直線６１１に下ろした垂線との交点Ｖｓを始端とし、分析区間中で最も新しい時刻の重心位置（ｘ５，ｙ５，ｔ）から直線６１１に下ろした垂線との交点Ｖｅを終端としたベクトルを、局所領域である切片６０１の動きベクトルとする。また、例えば、現時刻の切片６０５が中混雑度である場合は、３時刻分の切片６０３〜６０５の重心位置を最小二乗法などで近似した直線を求め、上述の５時刻の場合と同様にして、重心位置（ｘ３，ｙ３，ｔ−２） から当該直線に下ろした垂線との交点を始端とし、重心位置（ｘ５，ｙ５，ｔ）から当該直線に下ろした垂線との交点を終端としたベクトルを、局所領域である切片６０１の動きベクトルとする。
【００５８】
また、中混雑領域と高混雑領域とを別々に時空間セグメンテーションしてもよく、この場合、例えば、現時刻の撮影画像における中混雑領域に関して、動きベクトル算出の分析時間間隔に対応させて分析区間長を３時刻とした時空間セグメンテーションを行い、一方、高混雑領域に関しては、動きベクトル算出の分析時間間隔に対応させて分析区間長を５時刻とした時空間セグメンテーションを行うことができる。この処理では、中混雑領域と高混雑領域との両方を５時刻の分析区間長で分割するよりも時空間セグメンテーションの処理負荷を軽減できる。
【００５９】
この時空間セグメンテーションを用いた動きベクトル算出手段５１の処理においても、局所領域の大きさは動的に定まり、少なくとも移動物体に関する局所領域はその部位程度の大きさとなることが期待できる。
【００６０】
また、このように動きベクトル算出手段５１は、移動物体の密度が高い局所領域における動きベクトルを長い時間間隔で算出するので混雑により低速化した移動物体の動きベクトルがノイズと混同するほど短くなってしまうことを防止でき、後段の動き解析の精度低下を防止できる。同時に、動きベクトル算出手段５１は、移動物体の密度が低い局所領域における動きベクトルを短い時間間隔で算出するので高速で移動し得る移動物体に関する動きベクトルの探索範囲の拡大化を防止して誤対応付けを防止でき、後段の動き解析の精度低下を防止できる。また、時間方向の隣接画素もまとめる時空間セグメンテーションを用いることで、照明変動による画素値の時間的揺らぎを原因とする動きベクトルの算出誤差をさらに低減できる。
【００６１】
検出基準記憶手段４２は、要注視行動を検出するために予め定められた検出基準を記憶している。この検出基準は混雑度合いごとに記憶され、各検出基準はそれぞれに対応する混雑度合いの領域において算出された動き分布に基づく要注視行動の検出に用いられる。
【００６２】
要注視行動検出手段５２は、動きベクトル算出手段５１から複数の局所領域の動きベクトルを入力され、それら動きベクトルから撮影空間における移動物体の動きを解析することによって移動物体による要注視行動を検出し、検出した要注視行動の情報（要注視情報）を要注視情報出力手段３１に出力する。
【００６３】
要注視行動検出手段５２は、混雑度合いごとに、当該混雑度合いの領域にて算出された動きベクトルを集計して動き分布を算出するとともに、検出基準記憶手段４２から当該混雑度合いに対応する検出基準を読み出し、動き分布を検出基準と比較することによって当該混雑度合いの領域において要注視行動が発生しているか否かを判定する。
【００６４】
すなわち、要注視行動検出手段５２は、低混雑領域から算出された動きベクトルを集計して移動方向の頻度分布および／または速さの頻度分布を算出し、混雑度合い「低」と対応付けて記憶されている検出基準と比較することによって低混雑領域における要注視行動を検出する。
【００６５】
また、要注視行動検出手段５２は、中混雑領域から算出された動きベクトルを集計して移動方向の頻度分布および／または速さの頻度分布を算出し、混雑度合い「中」と対応付けて記憶されている検出基準と比較することによって中混雑領域における要注視行動を検出する。
【００６６】
さらに、要注視行動検出手段５２は、高混雑領域から算出された動きベクトルを集計して移動方向の頻度分布および／または速さの頻度分布を算出し、混雑度合い「高」と対応付けて記憶されている検出基準と比較することによって高混雑領域における要注視行動を検出する。
【００６７】
ここで、要注視行動検出手段５２は、例えば、対応付けられている検出基準が要注視行動の特徴量である要注視パターンおよび閾値である場合は、要注視パターンと動き分布との類似度を算出して、類似度が閾値以上である場合に要注視行動が発生していると判定する。また、要注視行動検出手段５２は、対応付けられている検出基準が正常行動の特徴量である正常パターンおよび閾値である場合は、正常パターンと動き分布との相違度を算出して、相違度が閾値以上である場合に要注視行動が発生していると判定する。
【００６８】
要注視行動検出手段５２は、要注視行動が発生していると判定した場合に、検出基準を満たした動き分布が算出された領域、満たされた検出基準と対応する事象名を重畳させた監視画像を要注視情報として生成し、生成した要注視情報を要注視情報出力手段３１に出力する。
【００６９】
要注視情報出力手段３１は要注視行動検出手段５２から入力された要注視情報を表示部６に順次出力し、表示部６は要注視情報出力手段３１から入力された要注視情報に含まれる情報を表示する。例えば、要注視情報はインターネット経由で送受信され、表示部６に表示される。監視員は、表示された情報を視認することによって要注視行動の対処要否を判断し、対処が必要と判断すると対処員を派遣するなどの対処を行う。
【００７０】
次に、画像監視装置１の動作について説明する。図６は画像監視装置１における監視動作の概略の処理フロー図である。
【００７１】
撮影部２は監視空間を撮影して、撮影した画像を順次、画像処理部５に入力する。画像処理部５は画像取得手段３０として動作し、撮影部２から撮影画像を取得して（ステップＳ１）、記憶部４に入力する。記憶部４は時系列画像記憶手段４０として機能し、入力された撮影画像を記憶、蓄積する（ステップＳ２）。
【００７２】
要注視行動の検出に用いる動きベクトルの算出には予め定めた複数フレームの画像撮影を要するため、当該所定フレーム数の撮影画像が時系列画像記憶手段４０に蓄積されるまで（ステップＳ３にて「ＮＯ」の場合）、画像処理部５はステップＳ１，Ｓ２を繰り返す。本実施形態では当該フレーム数を５フレームとしている。
【００７３】
時系列画像記憶手段４０に所定フレーム数の撮影画像が蓄積されると（ステップＳ３にて「ＹＥＳ」の場合）、画像処理部５は密度推定手段５０として動作し、密度推定手段５０は撮影画像の各画素の位置に推定用抽出窓を設定し、各推定用抽出窓における撮影画像から抽出した推定用特徴量に基づいて当該画素における移動物体の推定密度を算出する（ステップＳ４）。
【００７４】
密度推定手段５０により撮影画像における推定密度の分布が求められると、画像処理部５は動きベクトル算出手段５１として動作し、撮影画像を混雑度合いごとの領域に区分する（ステップＳ５）。これにより、撮影画像は、推定密度が「背景」または「低密度」の画素群である低混雑領域、推定密度が「中密度」の画素群である中混雑領域、および推定密度が「高密度」の画素群である高混雑領域に区分される。
【００７５】
画像処理部５は混雑度合いごとの領域を順次、処理領域に設定して（ステップＳ６）、要注視行動検出処理を行う（ステップＳ７）。低混雑領域、中混雑領域、高混雑領域の全ての領域について要注視行動検出処理が完了するまで（ステップＳ８にて「ＮＯ」の場合）、ステップＳ６，Ｓ７を繰り返す。全領域について完了すると（ステップＳ８にて「ＹＥＳ」の場合）、要注視行動が検出された場合には（ステップＳ９にて「ＹＥＳ」の場合）、要注視情報出力手段３１に要注視情報が出力され（ステップＳ１０）、処理はステップＳ１に戻る。一方、要注視行動が検出されなかった場合には（ステップＳ９にて「ＮＯ」の場合）、ステップＳ１０は省略される。なお、ステップＳ１に戻るときに動きベクトル算出手段５１は現時刻の撮影画像と局所領域として設定したブロックの情報を記憶部４に記憶させる。
【００７６】
図７は要注視行動検出処理Ｓ７の一例の概略のフロー図である。図７に示す処理では、混雑度が低、中、高の各領域について、動きベクトルを検出する局所領域をブロック分割によって設定する。例えば、ステップＳ６にて設定された処理領域を一定の形状・サイズのブロックに区分し、各ブロックを局所領域とする（ステップＳ１００）。
【００７７】
設定された処理領域が低混雑領域である場合（ステップＳ１０２にて「ＹＥＳ」の場合）、動きベクトル算出手段５１は、記憶部４から１時刻前の撮影画像と１時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における低混雑領域に設定された局所領域ごとに、分析時間間隔を１時刻間隔（１フレーム間隔）として動きベクトルを算出し（ステップＳ１０３）、低混雑領域について算出した動きベクトルを集計して移動方向の頻度分布と速さの頻度分布を算出する（ステップＳ１０４）。
【００７８】
動きベクトル算出手段５１が低混雑領域について動き分布を算出すると、要注視行動検出手段５２は動き分布について低混雑時の検出基準を満たすか否かを調べる（ステップＳ１０５）。具体的には、要注視行動検出手段５２は検出基準記憶手段４２から低混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５２は、動き分布の正常パターンと閾値ＴＬ１１を読み出す。次に、ステップＳ１０４で求めた各分布が要注視行動の検出基準を満たすか否かを判定する。
【００７９】
例えば、要注視行動検出手段５２は、ステップＳ１０４で動き分布として求めた各頻度分布をそれぞれと対応する正常パターンと比較して相違度を算出する。相違度として、動き分布とその正常パターンの面積差ＤＬ１１を算出することができる。そして、面積差ＤＬ１１を閾値ＴＬ１１と比較し、ＤＬ１１≧ＴＬ１１である場合は検出基準を満たすと判定し（ステップＳ１０５にて「ＹＥＳ」の場合）、ＤＬ１１＜ＴＬ１１である場合は検出基準を満たさないと判定する（ステップＳ１０５にて「ＮＯ」の場合）。
【００８０】
ＤＬ１１≧ＴＬ１１である場合は、低混雑領域内に急加速もしくは急減速している局所領域があり、人のひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。このように、要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１０５にて「ＹＥＳ」の場合）、要注視行動検出手段５２は、当該分布についての要注視情報を生成し記録し（ステップＳ１０６）、図６のステップＳ８に処理を進める。例えば、要注視行動検出手段５２は、当該分布が満たした検出基準と対応する事象名「ひったくりなどの可能性あり」、および抽出対象領域である局所領域の座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１０５にて「ＮＯ」の場合）、ステップＳ１０６は省略される。
【００８１】
要注視行動検出処理Ｓ７に対して設定された処理領域が中混雑領域である場合（ステップＳ１０２にて「ＮＯ」かつステップＳ１０７にて「ＹＥＳ」の場合）、動きベクトル算出手段５１は、記憶部４から２時刻前の撮影画像と２時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における中混雑領域に設定された局所領域ごとに、分析時間間隔を２時刻間隔（２フレーム間隔）として動きベクトルを算出し（ステップＳ１０８）、中混雑領域について算出した動きベクトルを集計して動き分布を算出する（ステップＳ１０９）。例えば、動きベクトル算出手段５１は中混雑領域の動き分布として、移動方向の頻度分布を算出する。
【００８２】
動きベクトル算出手段５１が中混雑領域について動き分布を算出すると、要注視行動検出手段５２は動き分布について中混雑時の検出基準を満たすか否かを調べる（ステップＳ１１０）。具体的には、要注視行動検出手段５２は検出基準記憶手段４２から中混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５２は、移動方向が特定方向に偏った頻度を有する複数の移動方向の頻度分布とその閾値ＴＭ１１を読み出す。また移動方向の偏りが無い移動方向の頻度分布とその閾値ＴＭ１２を読み出す。これら頻度分布は要注視パターンに相当する。
【００８３】
要注視行動検出手段５２は、ステップＳ１０９で算出した移動方向の頻度分布を要注視パターンと比較して類似度を算出する。例えば、類似度として、ステップＳ１０９で算出した移動方向の頻度分布とその要注視パターンである偏った頻度を有する複数のパターンとの重複面積ＳＭ１１、偏りの無い頻度を有するパターンとの重複面積ＳＭ１２を算出する。
【００８４】
要注視行動検出手段５２は、重複面積ＳＭ１１と閾値ＴＭ１１と比較する。ＳＭ１１≧ＴＭ１１であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が一致していることから、当該人物グループは行列を生成している可能性がある。
【００８５】
また、要注視行動検出手段５２は、重複面積ＳＭ１２と閾値ＴＭ１２と比較する。ＳＭ１２≧ＴＭ１２であれば、人物グループをなす各人物が特定の位置に向かって移動し、さらに移動方向が均等であることから、当該人物グループは、特定位置に向かって囲い込む行動をとっており、急病人や喧嘩などのトラブルが生じている可能性を示す。
【００８６】
このような要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１１０にて「ＹＥＳ」の場合）、要注視行動検出手段５２は、当該分布についての要注視情報を生成し記録し（ステップＳ１０６）、図６のステップＳ８に処理を進める。例えば、要注視行動検出手段５２は、当該分布が満たした検出基準と対応する「囲い込み発生」などの事象名、および抽出対象領域である局所領域の座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１１０にて「ＮＯ」の場合）、ステップＳ１０６は省略される。
【００８７】
要注視行動検出処理Ｓ７に対して設定された処理領域が高混雑領域である場合（ステップＳ１０２およびＳ１０７にて「ＮＯ」の場合）、動きベクトル算出手段５１は、記憶部４から４時刻前の撮影画像と４時刻前の処理で設定した局所領域の情報とを読み出し、現時刻の撮影画像における高混雑領域に設定された局所領域ごとに、分析時間間隔を４時刻間隔（４フレーム間隔）として動きベクトルを算出し（ステップＳ１１１）、高混雑領域について算出した動きベクトルを集計して動き分布を算出する（ステップＳ１１２）。例えば、動きベクトル算出手段５１は、複数の局所領域それぞれの動きベクトルと当該局所領域の周囲の局所領域の動きベクトルとの差ベクトルの平均ベクトル（相対動きベクトル）を算出して、複数の局所領域それぞれの重心と相対動きベクトルを対応付けた動き分布を算出する。なお、注目局所領域に隣接する局所領域を注目局所領域の周囲の局所領域としてもよいし、注目局所領域の重心から予め定めた半径の円内に重心が含まれる局所領域を注目局所領域の周囲の局所領域としてもよい。
【００８８】
動きベクトル算出手段５１が高混雑領域について動き分布を算出すると、要注視行動検出手段５２は動き分布について高混雑時の検出基準を満たすか否かを調べる（ステップＳ１１３）。具体的には、要注視行動検出手段５２は検出基準記憶手段４２から高混雑時の検出基準を読み出す。すなわち、要注視行動検出手段５２は、高混雑領域の動き分布の正常パターンと閾値ＴＨ１１、閾値ＴＨ１２を読み出す。
【００８９】
要注視行動検出手段５２は、ステップＳ１１２で算出した分布を正常パターンと比較して相違度を算出する。例えば、要注視行動検出手段５２は、ステップＳ１１２で算出した動き分布とその正常パターンの間で対応する局所領域の相対動きベクトルどうしの差ベクトルの大きさを閾値ＴＨ１１と比較して、差ベクトルの大きさが閾値ＴＨ１１以上である局所領域の総面積ＤＨ１２を算出する。なお、注目局所領域の重心に最も近い重心を有する局所領域を注目局所領域に対応する局所領域としてもよい。
【００９０】
要注視行動検出手段５２は、総面積ＤＨ１２を閾値ＴＨ１２と比較し、ＤＨ１２≧ＴＨ１２である場合は検出基準を満たすと判定し（ステップＳ１１３にて「ＹＥＳ」の場合）、ＤＨ１２＜ＴＨ１２である場合は検出基準を満たさないと判定する（ステップＳ１１３にて「ＮＯ」の場合）。
【００９１】
ＤＨ１２≧ＴＨ１２である場合は、高混雑領域中に他の大勢の動きとは異なる動きが生じており、人の集団移動の中での逆行や滞留など、ひったくり後の逃走行動もしくはひったくり前の接近行動等が発生している可能性がある。
【００９２】
このような要注視行動の検出基準を満たす分布が検出された場合（ステップＳ１１３にて「ＹＥＳ」の場合）、要注視行動検出手段５２は、当該分布についての要注視情報を生成し記録し（ステップＳ１０６）、図６のステップＳ８に処理を進める。例えば、要注視行動検出手段５２は、当該分布が満たした検出基準と対応する「ひったくりなどの可能性あり」などの事象名、および抽出対象領域である高混雑領域において差ベクトルの大きさが閾値ＴＨ１１以上であった局所領域の重心座標を要注視情報として生成する。一方、分布が検出基準を満たさない場合（ステップＳ１１３にて「ＮＯ」の場合）、ステップＳ１０６は省略される。
【００９３】
図８は要注視行動検出処理Ｓ７の他の例の概略のフロー図である。図８に示す処理では、低混雑領域について動きベクトルを検出する局所領域は、図７の例と同様、ブロック分割によって設定する一方、中混雑領域および高混雑領域について動きベクトルを検出する局所領域は時空間セグメンテーションにより生成される。
【００９４】
図６のステップＳ６にて設定された処理領域が低混雑領域である場合（ステップＳ２００にて「ＹＥＳ」の場合）、図７のステップＳ１００と同様にして、処理領域を一定の形状・サイズのブロックに区分し、各ブロックを局所領域とする（ステップＳ２０１）。
【００９５】
当該局所領域に対して、動きベクトル算出手段５１は、現時刻の撮影画像における低混雑領域に設定された局所領域ごとに、分析時間間隔を１時刻間隔（１フレーム間隔）として動きベクトルを算出し（ステップＳ２０２）、低混雑領域について算出した動きベクトルを集計して移動方向の頻度分布と速さの頻度分布を算出する（ステップＳ２０３）。ステップＳ２０２およびＳ２０３の処理は図７にて説明したステップＳ１０３およびＳ１０４と同様とすることができる。
【００９６】
動きベクトル算出手段５１が低混雑領域について動き分布を算出すると、要注視行動検出手段５２は動き分布について低混雑時の検出基準を満たすか否かを調べ（ステップＳ２０４）、満たす場合には（ステップＳ２０４にて「ＹＥＳ」の場合）、要注視情報を生成し記録し（ステップＳ２１３）、図６のステップＳ８に処理を進める。これらステップＳ２０４およびＳ２１３の処理は図７にて説明したステップＳ１０５およびＳ１０６と同様とすることができる。
【００９７】
要注視行動検出処理Ｓ７に対して設定された処理領域が中混雑領域または高混雑領域である場合（ステップＳ２００にて「ＮＯ」の場合）、動きベクトル算出手段５１は時空間セグメンテーションを行う（ステップＳ２０５）。時空間セグメンテーションの分析区間長は、動きベクトルの分析時間間隔を長く設定する高混雑領域に対応させて５時刻とすることができる。この場合、中混雑領域および高混雑領域の時空間セグメンテーションを一度に行うことができる。よって、中混雑領域および高混雑領域についての要注視行動検出処理Ｓ７のうち先に行う方でのみステップＳ２０５を行って、その時空間セグメンテーションの結果を保存し、中混雑領域および高混雑領域についての要注視行動検出処理Ｓ７のうち後に行う方では、当該保存した結果を利用することとしてステップＳ２０５を省略することができる。
【００９８】
図６のステップＳ６にて設定された処理領域が中混雑領域である場合（ステップＳ２００にて「ＮＯ」かつステップＳ２０６にて「ＹＥＳ」の場合）、動きベクトル算出手段５１は中混雑領域の時空間セグメントの現時刻の切片を局所領域とし、当該局所領域ごとに、分析時間間隔を２時刻間隔（２フレーム間隔）として、上述した時空間セグメントに基づく動きベクトル算出を行う（ステップＳ２０７）。そして、動きベクトル算出手段５１は算出された動きベクトルから動き分布を算出し（ステップＳ２０８）、要注視行動検出手段５２は動き分布が中混雑時の検出基準を満たすか否かを調べ（ステップＳ２０９）、満たす場合には（ステップＳ２０９にて「ＹＥＳ」の場合）、要注視情報を生成し記録し（ステップＳ２１３）、図６のステップＳ８に処理を進める。これらステップＳ２０８，Ｓ２０９およびＳ２１３の処理は図７にて説明したステップＳ１０９，Ｓ１１０およびＳ１０６と同様とすることができる。
【００９９】
また、図６のステップＳ６にて設定された処理領域が高混雑領域である場合（ステップＳ２００にて「ＮＯ」かつステップＳ２０６にて「ＮＯ」の場合）、動きベクトル算出手段５１は高混雑領域の時空間セグメントの現時刻の切片を局所領域とし、当該局所領域ごとに、分析時間間隔を４時刻間隔（４フレーム間隔）として、上述した時空間セグメントに基づく動きベクトル算出を行う（ステップＳ２１０）。そして、動きベクトル算出手段５１は算出された動きベクトルから動き分布を算出し（ステップＳ２１１）、要注視行動検出手段５２は動き分布が高混雑時の検出基準を満たすか否かを調べ（ステップＳ２１２）、満たす場合には（ステップＳ２１２にて「ＹＥＳ」の場合）、要注視情報を生成し記録し（ステップＳ２１３）、図６のステップＳ８に処理を進める。これらステップＳ２１１〜Ｓ２１３の処理は図７にて説明したステップＳ１１２，Ｓ１１３およびＳ１０６と同様とすることができる。
【符号の説明】
【０１００】
１  画像監視装置、２  撮影部、３  通信部、４  記憶部、５  画像処理部、６  表示部、３０  画像取得手段、３１  要注視情報出力手段、４０  時系列画像記憶手段、４１  密度推定器記憶手段、４２  検出基準記憶手段、５０  密度推定手段、５１  動きベクトル算出手段、５２  要注視行動検出手段。
【図１】
2019028658.tif 000003
【図２】
2019028658.tif 000004
【図３】
2019028658.tif 000005
【図４】
2019028658.tif 000006
【図５】
2019028658.tif 000007
【図６】
2019028658.tif 000008
【図７】
2019028658.tif 000009
【図８】
2019028658.tif 000010