(57)【要約】【課題】  撮像を行う場所や環境に応じて、人物の移動または停止の判定を高い精度で行う。【解決手段】映像データを入力する入力部と、映像データの注目フレームにおける人物像の分布に基づいて閾値を決定する決定部と、注目フレームの人物像の座標と当該注目フレームより予め設定された時間前の前フレームにおける人物像の座標との差と、決定部で決定した閾値とを比較することで、注目フレーム内の人物像が示す人物が移動状態か否かを判定する判定部とを有する。【選択図】  図１０
2020201674.tif 000002
【特許請求の範囲】
【請求項１】
映像データを入力する入力手段と、
映像データにおける注目フレームにおける人物像の分布に基づいて閾値を決定する決定手段と、
前記注目フレームの人物像の座標と当該注目フレームより予め設定された時間前の前フレームにおける人物像の座標との差と、前記決定手段で決定した前記閾値とを比較することで、前記注目フレーム内の前記人物像が示す人物が移動状態か否かを判定する判定手段と
を有することを特徴とする映像解析装置。
【請求項２】
前記入力手段は、撮像装置から前記映像データを受信する手段である
ことを特徴とする請求項１に記載の映像解析装置。
【請求項３】
前記決定手段は、前記注目フレームにおける人物像の数、及び、前記注目フレームと前記前フレームとの時間差に比例して前記閾値を決定することを特徴とする請求項１又は２に記載の映像解析装置。
【請求項４】
前記判定手段は、前記決定手段で決定する閾値よりも大きい、予め設定された上限閾値と、前記人物像の座標との差とを比較し、前記上限閾値を超える状態か否かについても判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像解析装置。
【請求項５】
前記注目フレーム内の各人物像の位置に、前記判定手段の判定結果を表すシンボルを配置した画像を生成し、表示する表示手段を更に有することを特徴とする請求項１乃至４のいずれか１項に記載の映像解析装置。
【請求項６】
前記決定手段は、前記注目フレームを予め設定された複数の領域それぞれについて閾値を決定し、
前記判定手段は、前記複数の領域それぞれにおける人物像の座標との差と、対応する閾値とを比較することで、領域毎の人物像が示す人物が移動状態か否かを判定する
ことを特徴とする請求項１乃至５のいずれか１項に記載の映像解析装置。
【請求項７】
映像解析装置の制御方法であって、
入力手段が、映像データを入力する入力工程と、
決定手段が、映像データにおける注目フレームにおける人物像の分布に基づいて閾値を決定する決定工程と、
判定手段が、前記注目フレームの人物像の座標と当該注目フレームより予め設定された時間前の前フレームにおける人物像の座標との差と、前記決定工程で決定した前記閾値とを比較することで、前記注目フレーム内の前記人物像が示す人物が移動状態か否かを判定する判定工程と
を有することを特徴とする映像解析装置の制御方法。
【請求項８】
コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の人物の移動に係る状態の判定技術に関するものである。
【背景技術】
【０００２】
ネットワークカメラで撮像された映像を解析する場合、解析処理に適した撮影を行うことが求められることがある。例えば特許文献１には、カメラで入力された映像中の人物の顔の最小サイズと移動速度を求め、その結果から解像度とフレームレートの下限値を決定し、解析に適したカメラ設定を行うことが開示されている。
【０００３】
一方、映像内の個体を認識し、さらにそれが動いているか静止しているかを判定する解析処理を行う技術が知られている。例えば特許文献２には、映像内で時間的な変化が無い背景画像を取得し、背景画像および複数のフレーム画像間の差分画像を利用することで、背景画像に含まれない個体を認識し、その上で静止または動作を判定することが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０‐２６３５８１号公報
【特許文献２】特開２０１８‐２５９１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
映像解析の対象となる映像は、既に録画されたものであってカメラ設定を最適な状態に変更することが不可能なことがある。またライブ映像を解析対象にする場合や解析目的に合わせて録画する場合であっても、ネットワーク帯域や他の解析にも対応するために、必ずしも最適なカメラ設定ができるとは限らない。
【０００６】
背景画像を取得して解析対象のフレーム画像との差分画像およびフレーム間差分画像を求め、個体の静止または動作を判定する場合、背景画像を取得する機会を確実に得る必要があり、解析対象の映像のみから期待する結果を得るのが難しいことがある。
【課題を解決するための手段】
【０００７】
この課題を解決するため、例えば本発明の映像解析装置は以下の構成を備える。すなわち、
映像データを入力する入力手段と、
映像データにおける注目フレームにおける人物像の分布に基づいて閾値を決定する決定手段と、
前記注目フレームの人物像の座標と当該注目フレームより予め設定された時間前の前フレームにおける人物像の座標との差と、前記決定手段で決定した前記閾値とを比較することで、前記注目フレーム内の前記人物像が示す人物が移動状態か否かを判定する判定手段とを有する。
【発明の効果】
【０００８】
本発明によれば、撮像を行う場所や環境に応じて、人物の移動または停止の判定を高い精度で行うことができる。
【図面の簡単な説明】
【０００９】
【図１】実施形態におけるシステム構成図。
【図２】人物の座標情報を説明するための図。
【図３】第１の実施形態の処理の流れを示すフローチャート。
【図４】フレームレートと混雑度に対する閾値との関係を示すグラフ。
【図５】第１の実施形態における表示例を示す図。
【図６】フレームレートに対する２種の閾値の関係を示すグラフ。
【図７】第２の実施形態の処理の流れを示すフローチャート
【図８】映った人物の大きさが画面内で異なる例を示す図。
【図９】画面内で混雑度が異なる領域がある例を示す図。
【図１０】実施形態における映像解析装置の機能ブロック図。
【図１１】混雑度を判定するためのテーブルの例を示す図。
【図１２】第３の実施形態の処理の流れを示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【００１１】
［第１の実施形態］
図１は第１の実施形態が適用するシステム構成図である。
【００１２】
映像解析装置１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、ネットワーク制御部１０５、表示制御部１０６、操作制御部１０７を備える。これらはシステムバス１０８を介して互いに接続され、データの送受信が可能になっている。映像解析装置１００は、ネットワーク制御部１０５を介してネットワーク３００と接続する。結果、映像解析装置１００は、ネットワーク３００を介して撮像装置２００、記憶装置４００と通信可能に接続される。また、映像解析装置１００は、表示制御部１０６を介して表示装置１３０と接続される。さらに映像解析装置１００は操作制御部１０７を介して操作装置１５０と接続される。
【００１３】
ＣＰＵ１０１は、映像解析装置１００における動作を統括的に制御するものであり、システムバス１０８を介して各構成部（１０２〜１０７）を制御する。
【００１４】
ＲＯＭ１０２は、ＣＰＵ１０１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムはＨＤＤ１０４のほか不図示の外部メモリや着脱可能な記憶媒体に記憶されていてもよい。
【００１５】
ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１０１は、処理の実行に際してＲＯＭ１０２から必要なプログラム等をＲＡＭ１０３にロードし、当該プログラム等を実行することで各種の機能動作を実現する。
【００１６】
ＨＤＤ１０４は、大容量の記憶装置であり、ＯＳ（オペレーティングシステム）やＣＰＵ１０１が処理を実行するためのプログラム、解析に利用するデータや解析結果データなどの各種データが記憶される。
【００１７】
ネットワーク制御部１０５は、ネットワーク３００を介して外部装置と通信するためのインターフェースである。外部装置とは、ネットワークカメラ等の撮像装置２００、録画データおよびその他データを蓄積するための記憶装置４００、その他ネットワークに接続された装置である。
【００１８】
表示制御部１０６は、映像解析装置１００から出力される表示データを表示装置１３０に表示するためのインターフェースである。
【００１９】
操作制御部１０７は、操作装置１５０によってユーザが操作指示した入力情報を映像解析装置１００に伝達するためのインターフェースである。操作装置１５０は、例えばキーボード、マウス、タッチパネルである。
【００２０】
上記構成において、本装置の電源がＯＮになると、ＣＰＵ１０１はＲＯＭ１０２に格納されたブートプログラムを実行し、ＨＤＤ１０４からＯＳをＲＡＭ１０３にロードし、実行する。そして、ＣＰＵ１０１は、ＲＡＭ１０３にロードしたＯＳの制御下で、画像解析に係るアプリケーションをＨＤＤ１０４からＲＡＭ１０３にロードし、実行することで、本装置は画像解析装置として機能することになる。
【００２１】
図１０は、ＣＰＵ１０１が画像解析アプリケーションを実行した場合の機能ブロック図を示している。記憶部１００３はＨＤＤ１０４或いはＲＡＭ１０３により実現し、それ以外はＣＰＵ１０１の処理により実現するものと理解されたい。
【００２２】
映像入力部１００１は、撮像装置２００からの映像データをフレーム単位に入力する。人物検出部１００２は、入力したフレームを解析し、人物検出処理を行い、検出された人物の座標を記憶部１００３に格納する。この結果、現在、並びに、過去のフレームの人物の座標が記憶部１００３に保持させることができる。混雑度推定部１００４は、人物検出部が出力する人物の座標から人物の数を判定し、混雑度を推定する。閾値決定部１００５は、混雑度推定部１００４で推定された混雑度及び撮像装置のフレームレートに基づき、移動／停止判定のための閾値を決定し、移動／停止判定部１００６にその閾値を供給する。移動／停止判定部１００６は、記憶部１００３に格納された現在のフレームと以前のフレームそれぞれの人物の座標と、閾値決定部１００５から供給された閾値とに基づき、現在のフレームにおける各人物が移動状態であるか／停止状態であるかを判定する。そして、移動／停止判定部１００６は、各人物の座標ごとの判定結果を出力部１００７に出力する。出力部１００７は、移動／停止判定部１００６から受信した情報に基づき、可視化した画像を生成し、表示装置１３０に出力する。
【００２３】
以下、上記構成と動作を更に詳しく説明する。
【００２４】
図２（ａ）〜（ｆ）は、人物の座標情報を説明するための図である。図２（ａ）は、撮像装置２００から受信した映像データの或るフレーム画像を示しており、図示では人物が４人写っていることを示している。図２（ｂ）は、図２（ａ）に映っている各人物のフレーム画像内における座標（ｘｆp，ｙｆp）を示している。ここで“ｆ”はフレーム、“ｐ”は映っている各人物に便宜的に割り振られる識別番号である。
【００２５】
人物検出部１００２は、図２（ａ）に示すような人物の映っている画像を解析して図２（ｂ）のような人物像の座標情報を算出するが、その解析には一般に知られているいずれの技術を適用してもよい。例えば、画像内で人物と認められる既定パターンを検出、その周辺画素の特性を解析することで検出した人物像の形状を特定し、頭部（の中心）をその人物の座標と定義することができる。あるいは、多くの人物画像を学習して得られたデータとこの画像から得られる複数の特徴量とを比較することで、画像内で人物が存在する確率の高い位置を算出し、一定以上の確率となる領域内の代表的な位置を人物の座標とすることができる。場合によっては、演算量を少なくするため、人物像の外接矩形の中心位置をその人物の座標としてもよい。
【００２６】
人物の座標を算出する処理は、ネットワークカメラ等である撮像装置２００から伝送された映像または記憶装置４００に蓄積されている録画データを、ＰＣ等である映像解析装置１００が受信して、ＣＰＵ１０１により実行される。そして算出された人物の座標情報は、ＨＤＤ１０４にフレームと対応づけて保存される。この処理は映像解析装置１００で行う代わりに撮像装置２００に内蔵される不図示のＣＰＵにより実行されてもよい。その場合は算出された人物の座標情報は撮像装置２００に内蔵される不図示の記憶装置またはネットワーク上の記憶装置４００に保存される。
【００２７】
図２（ｃ）は、図２（ａ）より後の時刻のフレーム画像を示している。時間が経過しているので、映っている４人の人物の位置が変化している様子を示している。図２（ｄ）は、図２（ｃ）の人物像の座標情報を示している。なお、ここでも人物座標（ｘｆp，ｙｆp）の“ｐ”は映っている各人物に便宜上割り振られる番号であるが、図２（ｂ）と図２（ｄ）とで、同一人物に同一番号が割り振られなくてもよい。
【００２８】
図２（ｅ）は後の説明のために、図２（ａ）と図２（ｃ）のフレーム画像を重ね合わせた図であり、黒が図２（ｃ）のフレーム画像に映っている人物像、白が図２（ａ）のフレーム画像に映っている人物像である。図２（ｆ）は図２（ｅ）に対応する人物の座標情報を表した図である。
【００２９】
図２では、説明のために時刻の異なる２つのフレームについて図示したが、実際にはネットワークカメラで撮像された映像または録画データの各フレームについて人物の座標情報が算出される。
【００３０】
次に、主として、ＣＰＵ１０１が実行する移動／停止判定部１００６による、人物の移動または停止を決定する処理の流れを図２および図３を参照して説明する。図３は、処理の対象とするフレームおよびその１つ前またはそれ以前の時刻で比較対象とするフレームの人物の座標情報から、処理の対象としているフレームにおける人物の移動または停止を決定する処理のフローチャートである。したがって、図３に示す処理は、フレームの画像が入力されるたびに実行されるものと理解されたい。
【００３１】
Ｓ３０１にて、ＣＰＵ１０１（移動／停止判定部１００６）はＨＤＤ１０４に保存されている２フレーム分の人物の座標情報を取得する。ここで、処理の対象とするフレームを“注目フレーム”、それ以前の時刻のフレームで比較対象とするフレームを“前フレーム”と称することとする。通常は前フレームと注目フレームとは時間的に隣り合うフレームであり、その時間間隔はネットワークカメラからの映像または取得した録画映像のフレームレートに依存する。図２（ｃ）が注目フレーム、図２（ａ）が前フレームに相当する。
【００３２】
これ以降、ＣＰＵ１０１は、注目フレームの人物座標ごとに処理を進めていく。
【００３３】
Ｓ３０２にて、ＣＰＵ１０１（混雑度推定部１００４、閾値決定部１００５）は、注目フレーム内の人物の移動／停止判定のための閾値ｄthを決定する。この閾値ｄthの決定処理の詳細は後述する。
【００３４】
Ｓ３０３にて、ＣＰＵ１０１（移動／停止判定部１００６）は、注目フレームの人物座標から最初の処理対象とする人物座標を選択する。以降、処理対象とする人物座標を“注目人物座標”と称する。
【００３５】
Ｓ３０４にて、ＣＰＵ１０１（移動／停止判定部１００６）は前フレームの人物座標から、注目人物座標に最も近い位置にある人物座標を選択する。例えば、図２（ｆ）において注目人物座標を（ｘ２1，ｙ２1）とした場合、Ｓ３０４で選択される前フレームの人物座標は（ｘ１1，ｙ１1）である。このように選択した人物座標が注目人物座標に対応する人物と同一人物である保証はないが、映像内の人物の移動または停止状況を大局的に観察するために、演算量の少ない簡易的な選択方式を採用する。
【００３６】
Ｓ３０５にて、ＣＰＵ１０１（移動／停止判定部１００６）は注目人物座標と、Ｓ３０４で選択された前フレームの人物座標との距離ｄを算出する。例えば、注目人物座標（ｘ２1，ｙ２1）と、選択された人物座標（ｘ１1，ｙ１1）との距離ｄは次式（１）により得られる。
【００３７】
【数１】
2020201674.tif 000003
【００３８】
算出された距離ｄはフレーム間での人物移動距離と見なすこととする。
【００３９】
Ｓ３０６にて、ＣＰＵ１０１（移動／停止判定部１００６）は、Ｓ３０５で算出した距離ｄと、Ｓ３０２で求めた閾値ｄthとを比較することで、距離ｄの大小判定を行う。ＣＰＵ１０１は、距離ｄが閾値ｄthより大きいと判定した場合は処理をＳ３０７に、そうでない場合（距離ｄが閾値ｄth以下の場合）は処理をＳ３０８に進める。
【００４０】
Ｓ３０７にて、ＣＰＵ１０１（移動／停止判定部１００６）は、注目人物座標は移動点（もしくは移動状態）であると判定し、その判定結果とその人物の座標とを関連付けて出力部１００７に出力する。また、Ｓ３０８にて、ＣＰＵ１０１は、注目人物座標は停止点（もしくは非移動状態）であると判定し、その判定結果とその人物の座標とを関連付けて出力部１００７に出力する。
【００４１】
Ｓ３０９にて、ＣＰＵ１０１（移動／停止判定部１００６）は注目フレームの全人物座標について判定処理を行ったか否かを判定する。終了している場合には注目フレームに対する処理を終了する。未処理の人物座標が残っている場合には、ＣＰＵ１０１は処理をＳ３１０に進める。
【００４２】
Ｓ３１０にて、ＣＰＵ１０１（移動／停止判定部１００６）は注目フレームの未処理の人物座標のうちの１つを次の注目人物座標に定め、処理をＳ３０４に進める。
【００４３】
以上の処理を注目フレームの全人物座標について実施することで、それぞれの人物座標が移動点であるか停止点であるかの決定が行われる。
【００４４】
ここで、Ｓ３０２における、閾値ｄthの決定処理について説明する。上記説明からわかるように、閾値ｄthは、フレーム間での人物移動距離ｄがこの値を上回れば移動、下回れば停止と判定するための境界値と言うことができる。
【００４５】
本実施形態では、ある人物が移動しているか停止しているかの境界値を、実際の空間における人物の移動速度ｖ（メートル／秒）（以降、（ｍ／ｓ））に基づいて定義する。これを映像解析に反映するときに必要となる基本的な要素は、
(i)フレームレート（１秒あたりのフレーム数、以降ｆｐｓ）または解析実行する時間間隔
(ii)画像の縮尺（実物の大きさと画像上の画素数の関係）
である。
【００４６】
例えば、フレームレートがｆ（ｆｐｓ）、縮尺は１メートルの実物が画像上でｗ画素となる画像を対象とするとき、そこに映っている人物が速度ｖ（ｍ／ｓ）で移動した場合、前後フレーム画像での座標変化は、（ｗ×ｖ）／ｆ（画素）である。
【００４７】
同様に、実際の空間で移動か停止かの閾値とする移動速度をｖthとしたとき、それに対応する画像上の移動量は（ｗ×ｖth）／ｆ（画素）となる。なお、一般的な大人の歩行速度は１（ｍ／ｓ）前後であることが知られているため、通常、閾値とする移動速度ｖthは１（ｍ／ｓ）とする。
【００４８】
ところで、歩行する人物の周囲の混雑度が高い場合、歩行可能速度が変化する。このため、閾値とする移動速度ｖthをそれに合わせて補正することで、移動／停止の判定精度を上げることができる。単位面積あたりに存在する人物の人数である混雑度（ｃとする）と歩行可能速度（ｖとする）は反比例の関係にあることが知られている。そのため、ｖ＝α×ｃ＋βの形式で定義することができ、これを閾値ｖthに適用する。なお、α、βは予め設定された係数であるが、ユーザが設定可能にしてもよい。
【００４９】
以上から、閾値ｄthは次式（２）で定義することができる。
【００５０】
【数２】
2020201674.tif 000004
【００５１】
図４は、縮尺を表す値ｗをある値に固定した場合の、フレームレートｆ（ｆｐｓ）と混雑度ｃ（人／ｍ2）に応じて決定される閾値ｄthを表すグラフである。
【００５２】
混雑度推定部１００４は、混雑度ｃを注目フレームの人物座標分布（単純には人物像の座標の個数）から算出する。或いは、混雑度推定部１００４は、図１１に示すような人物の数と混雑度（図示のＣx:x=1,2…)との対応を示すテーブル（ＨＤＤ１０４に保持される）を参照して混雑度ｃを決定してもよい。もちろん、このテーブルは、撮像する環境に応じて適宜修正する等ようにすれば、テーブルの書き換えだけで様々な状況に対処できるであろう。以上、実施形態における閾値ｄthの求め方について説明した。
【００５３】
閾値決定部１００５は、混雑度ｃ、フレームレートｆを、先に示した式（２）に当てはめ、閾値ｄthを算出（決定）することになる。
【００５４】
次に、実施形態における出力部１００７による、解析によって得られた移動または停止の判定結果の表示出力を説明する。
【００５５】
図２（ｆ）において、映っている人物４人のフレーム間での移動距離ｄ１〜ｄ４のうち、閾値ｄthを上回るのは移動距離ｄ３のみであったとする。つまり、移動点は（ｘ２3，ｙ２3）、停止点は（ｘ２1，ｙ２1）、（ｘ２2，ｙ２2）、（ｘ２4，ｙ２4）である。この結果を受けて移動点と停止点を区別して描画した例が図５（ａ）である。この例では移動点を白の円形のシンボル、停止点を黒の円形のシンボルを描画している。
【００５６】
なお、ここでは移動点を白、黒の円形シンボルで描画するものとしたが、描画方法は特にこれに限定されない。移動点、停止点が視覚的に識別できればよいので、その違いを色、形状、サイズのいずれか、もしくは複数の組み合わせで表現してもよいからである。
【００５７】
図５（ｂ）は、別の解析結果の表示例である。ここでは、３つのレーンに分かれて入場を待つ人の列ができていて、中央のレーンのみ列が停滞している例を示している。このように、人物の移動または停止を判定し、区別して描画することで、人の分布や流れを視覚的に捉えやすい表現方法を提供することができる。
【００５８】
なお、図５（ａ）、（ｂ）に示す、シンボルが配置された画像を、実際の撮像画像に重畳表示するようにしてもよい。
【００５９】
以上示した通り、映像に映る人物が移動しているか停止しているかを、異なるフレーム間での人物の移動距離をフレームレートおよび混雑度に応じて決定した閾値により判定することができる。さらにその判定結果を移動点と停止点を区別して描画することにより映像内で人がどのように滞留または流れているかを視覚的に捉えやすい表現として提供することが可能となる。
【００６０】
なお、上記実施形態では、注目フレームの人物像の座標と注目フレームより１／ｆ時間前の前フレームにおける人物像の座標との差ｄと、閾値ｄthとを比較し、移動、停止を判定した。つまり、前フレームと注目フレームとの関係をフレームレートｆで表した。しかし、正確には、注目フレームと前フレームの間の時間である。例えば、撮像装置２００が１０フレーム／秒のフレームレートで撮像している場合に、「前フレーム」が「注目フレーム」の２つ前のフレームとなるように設定できるとようにしてもよい。この場合、「前フレーム」は「注目フレーム」に対して１／５秒以前のフレームということになる。したがって、より明確には、「前フレーム」が「注目フレーム」との時間差をΔｔとした場合、式（２）に替えて次式（３）で閾値ｄthを決定してもよい。
【００６１】
【数３】
2020201674.tif 000005
ここで、ｗ、ｖthは式（２）と同じ意味である。
【００６２】
［第２の実施形態］
上記第１の実施形態では、人物の移動速度をフレーム間の人物移動距離から算出し、混雑度に応じて導いた閾値を利用して移動か停止かを判定した。閾値を上回れば移動と判定したが、算出された人物移動距離に対応する移動速度が異常に速い場合があることも想定される。そこで本第２の実施形態では、歩行している人物を対象とする場合の、異常値を設ける例を説明する。
【００６３】
混雑度が低く歩行の妨げになる要因が無い場合、一般的な大人の歩行速度を約１（ｍ／ｓ）と仮定する（もしくは設定する）。人間は早くてもせいぜい１００ｍを１０秒前後（１０ｍ／秒）で走破するものであるので、例えばその２０倍の速度で歩行することのできる人物は存在しない。仮にフレーム間の人物移動距離が通常歩行速度の２０倍に相当する数値であった場合、明らかに異常値であると判定できる。
【００６４】
図６は、縮尺の値ｗと混雑度ｃをある値に固定したときの、フレームレートｆに応じた閾値ｄthと異常と判断する上限閾値ｄaを表すグラフである。算出されたフレーム間の人物移動距離が図中Ａ領域にある場合は停止、Ｂ領域にある場合は移動と判定し、Ｃ領域にある場合は異常値であると判定する。
【００６５】
図７は、図６のように定義した閾値を適用する場合の、対象フレームにおける人物の移動／停止の判定処理のフローチャートである。図３のフローチャートと共通する処理には同一の符号を付与し、その説明を省略する。
【００６６】
ＣＰＵ１０１が、Ｓ３０６にて、距離ｄが閾値ｄthより大きいと判断すると処理をＳ３１１に進める。このＳ３１１にて、ＣＰＵ１０１は、閾値ｄaに対する距離ｄの大小判定を行う。ＣＰＵ１０１は、距離ｄが閾値ｄa以下であると判定した場合、処理をＳ３０７に進める。このＳ３０７にて、ＣＰＵ１０１は、注目人物座標は移動点と判定する。一方、ＣＰＵ１０１は、距離ｄが閾値ｄaより大きいと判定した場合、処理をＳ３１２に進める。このＳ３１２にて、ＣＰＵ１０１は、注目人物座標は異常に速い移動をしている異常点であり、判定不可と決定する。
【００６７】
以上の処理により、人物の移動、停止、さらには異常も検知できるため、例えば歩行者を対象として解析している映像に乗り物に乗るなどの人物が映っているときにそれを排除した結果を得ることができる。
【００６８】
また、各人物像の位置に、停止、移動、異常のいずれであるか識別可能なシンボルを配置した画像を生成し、表示してもよい。
【００６９】
［第３の実施形態］
上記第１、第２の実施形態では、縮尺の値ｗを或る一定の値に固定して説明した。しかし、撮像装置２００の設置条件によっては、図８（ａ）に示すように１つの画面内であっても場所により映る人物のサイズが大きく変わってくる。そこで本第３の実施形態では、画像内で縮尺の値ｗを変化させて人物の移動と停止を判定する処理を説明する。
【００７０】
画像内の人物座標を取得するときに人物検出処理を利用する場合、人物サイズ情報を取得することができる。例えば、人物検出時に得られた人物形状から肩幅に相当する画素数を人物サイズとして定義するなどである。この情報を利用して、検出された人物ごとの閾値を算出し適用することで画像内の人物サイズ変化に対応できる。人物ごとの閾値ｄｐthは、人物の肩幅をｗｐ画素、大人の一般的な肩幅を０．４ｍと仮定すると、次式（４）で表すことができる。
【００７１】
【数４】
2020201674.tif 000006
【００７２】
一方、画像内の人物座標を取得する処理として人物が存在する確率の高い位置を算出する方法を利用する場合、一人一人の人物サイズを取得することは困難である。その場合には、予め簡易的な人物検出処理を実行することにより画像内の人物サイズの分布を大まかに取得し、図８（ｂ）に示すように複数領域に分割して領域毎にｗｐを定義する。もしくは、手動で領域の分割とｗｐの設定を行ってもよい。
【００７３】
以上により、映っている人物のサイズが１つの画面内で異なる場合の人物の移動と停止の判定に適した閾値設定が可能になる。
【００７４】
図１２は、本第３の実施形態における人物の移動または停止を決定する処理の流れを示すフローチャートである。
【００７５】
図１２と図３との違いは、閾値ｄthを決定する処理のＳ３０２の位置である。図１２のＳ３０２にて閾値判定を行う理由は、注目フレーム内の注目人物座標が図８（ｂ）の領域ｗ１乃至ｗ５のいずれに属しているのかに依存して移動／停止判定の閾値ｄthが決定されるためである。それ以外は、第１の実施形態と同じであるので、その説明は省略する。
【００７６】
［第４の実施形態］
第１乃至第３の実施形態では、混雑度ｃが１つの画面内で一定である前提で説明した。しかし行き先別に待機列が分かれている場所等の撮像画像の場合、図９（ａ）に示すように１つの画面内に混雑度が異なるエリアが存在することがある。図９（ａ）では２つのレーンのうち左側は多くの人物が並んでいる様子であり、右側は空いている。この場合、図９（ｂ）に示すように画像内でエリアを分割してそれぞれの状況に適した混雑度を設定する。この場合、混雑している左側の混雑度ｃｌは空いている右側の混雑度ｃｒよりも大きな値が設定される。この混雑度の設定は、解析対象の映像を見て手動で設定する。または人物座標分布からエリアごとに適した混雑度を算出して設定することとしてもよい。なお、本第４の実施形態を実現するためには、予め撮像装置２００が撮像する画像領域を２つに分割設定しておき、それぞれに対して混雑度の算出を独立するように設定しておくものとする。
【００７７】
以上実施形態を説明したが、本実施形態によれば、人物の移動または停止を判定するために、時刻の異なる２つの画像における人物の座標情報の差分と、解析時間間隔、映っている人物の大きさ、混雑度のいずれかによって決定される閾値を利用することで、判定精度を向上できる。この方法では、撮像時のカメラ設定を解析に合わせて変更する必要は無い。また、解析のために背景画像を取得したり差分画像を生成する必要も無い。
【００７８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７９】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【００８０】
１００…映像解析装置、１０１…ＣＰＵ、１３０…表示装置、２００…撮像装置
【図１】
2020201674.tif 000007
【図２】
2020201674.tif 000008
【図３】
2020201674.tif 000009
【図４】
2020201674.tif 000010
【図５】
2020201674.tif 000011
【図６】
2020201674.tif 000012
【図７】
2020201674.tif 000013
【図８】
2020201674.tif 000014
【図９】
2020201674.tif 000015
【図１０】
2020201674.tif 000016
【図１１】
2020201674.tif 000017
【図１２】
2020201674.tif 000018