(57)【特許請求の範囲】
【請求項１】
動画像を部分領域に分ける領域分割手段と、
前記個々の部分領域に動きがあるか否かを判定する動き情報判定手段と、
前記個々の部分領域に人物が存在するか否かを判定する人物情報判定手段と、
前記動き情報判定手段と前記人物情報判定手段の各判定結果を受けて、個々の部分領域を、
前記動き情報判定手段が動きありと判定し、かつ前記人物情報判定手段が人物の存在ありと判定したときは、人の動きがある移動領域と判定し、
前記動き情報判定手段が動きありと判定し、かつ前記人物情報判定手段が人物の存在なしと判定したときは、ノイズ領域と判定し、
前記動き情報判定手段が動きなしと判定し、かつ前記人物情報判定手段が人物の存在ありと判定したときは、人が滞留している滞留領域と判定し、
前記動き情報判定手段が動きなしと判定し、かつ前記人物情報判定手段が人物の存在なしと判定したときは、人の居ない前景領域として判定する滞留判定手段と、
を備えた混雑推定装置。
【請求項２】
前記動画像より動き情報を算出する動き情報生成手段と、
前記動画像に対して画像の特徴量である人物情報を生成する人物情報生成手段と、
個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成手段と、
個々の部分領域に対して人の有無を判定するための画像の特徴量である基準人物情報を保持・更新する基準人物情報生成手段と、
基準動き情報や基準人物情報を格納する格納手段と、
前記動画像を入力として人が存在するか否かを動き情報から判定し、人が存在している場合のみ前記基準動き情報生成手段および前記基準人物情報生成手段に対して更新タイミングを知らせるタイミング生成手段とを有し、
前記動き情報判定手段は、前記動き情報生成手段から出力された動き情報と前記基準動き情報生成手段により生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定し、
前記人物情報判定手段は、前記人物情報生成手段から出力された人物情報と前記基準人物情報生成手段により生成された基準人物情報とを比較し、個々の部分領域において人と同じ人物情報があるかどうかを判定し、
前記滞留判定手段は、前記動き情報判定手段と前記人物情報判定手段の各判定結果を受けて、個々の領域に人が存在するか否かを判定することを特徴とする請求項１に記載の混雑推定装置。
【請求項３】
前記タイミング生成手段は、車両の進入タイミングを検知して、この進入タイミング毎に前記基準動き情報生成手段と前記基準人物情報生成手段に対して更新タイミングを知らせる請求項２に記載の混雑推定装置。
【請求項４】
前記基準動き情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準動き情報のサンプリングを行って基準動き情報の閾値の設定を行い、
前記動き情報判定手段は、基準動き情報が前記基準動き情報の閾値を超えた場合には動きありと判定し、前記基準動き情報閾値を超えない場合は、動き無しであると判定する請求項３に記載の混雑推定装置。
【請求項５】
前記人物情報判定手段は、入力情報に対して周波数変換処理を行い、周波数領域での類似度判定を行う請求項２または請求項３に記載の混雑推定装置。
【請求項６】
前記基準人物情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準人物情報のサンプリングを行って基準人物情報の設定を行い、
前記人物情報判定手段は、前記人物情報生成手段により得られる人物情報と前記基準人物情報生成手段より得られる基準人物情報との類似度を判定し、類似している場合は人が存在すると判定する請求項２乃至請求項５のいずれか一項に記載の混雑推定装置。
【請求項７】
前記滞留判定手段は、前記動き情報判定手段と前記人物情報判定手段の各判定結果を入力とし、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域のいずれかの状態を出力する請求項２乃至請求項６のいずれか一項に記載の混雑推定装置。
【請求項８】
前記滞留判定手段から出力される情報を入力とし、入力された各状態を解析して異常混雑であるかどうかを判定する異常判定手段を備えた請求項２乃至請求項７のいずれか一項に記載の混雑推定装置。
【請求項９】
前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、前記タイミング生成手段により得られる車両の進入タイミング後に滞留領域と移動領域を加算した混雑度指標が予め設定しておいた閾値以上減少しない場合に異常状態であると判定する請求項２乃至請求項８のいずれか一項に記載の混雑推定装置。
【請求項１０】
前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域の割合が予め設定をしておいた値よりも超えた場合に異常状態であると判定する請求項２乃至請求項８のいずれか一項に記載の混雑推定装置。
【請求項１１】
プログラムされたコンピュータによって混雑を推定する混雑推定方法であって、
動画像を部分領域に分ける領域分割ステップと、
前記個々の部分領域に動きがあるか否かを判定する動き情報判定ステップと、
前記個々の部分領域に人物が存在するか否かを判定する人物情報判定ステップと、
前記動き情報判定ステップと前記人物情報判定ステップの各判定結果を受けて、個々の部分領域を、前記動き情報判定ステップが動きありと判定し、かつ前記人物情報判定ステップが人物の存在ありと判定したときは、人の動きがある移動領域と判定し、
前記動き情報判定ステップが動きありと判定し、かつ前記人物情報判定ステップが人物の存在なしと判定したときは、ノイズ領域と判定し、
前記動き情報判定ステップが動きなしと判定し、かつ前記人物情報判定ステップが人物の存在ありと判定したときは、人が滞留している滞留領域と判定し、
前記動き情報判定ステップが動きなしと判定し、かつ前記人物情報判定ステップが人物の存在なしと判定したときは、人の居ない前景領域として判定する滞留判定ステップと、
を備えた混雑推定方法。
【請求項１２】
前記動画像より動き情報を算出する動き情報生成ステップと、
前記動画像に対して画像の特徴量である人物情報を生成する人物情報生成ステップと、
個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成ステップと、
個々の部分領域に対して人の有無を判定するための画像の特徴量である基準人物情報を保持・更新する基準人物情報生成ステップと、
基準動き情報や基準人物情報を格納する格納ステップと、
前記動画像を入力として人が存在するか否かを動き情報から判定し、人が存在している場合のみ前記基準動き情報生成ステップおよび前記基準人物情報生成ステップに対して更新タイミングを知らせるタイミング生成ステップとを有し、
前記動き情報判定ステップは、前記動き情報生成ステップから出力された動き情報と前記基準動き情報生成ステップにより生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定し、
前記人物情報判定ステップは、前記人物情報生成ステップから出力された人物情報と前記基準人物情報生成ステップにより生成された基準人物情報とを比較し、個々の部分領域において人と同じ人物情報があるかどうかを判定し、
前記滞留判定ステップは、前記動き情報判定ステップと前記人物情報判定ステップの各判定結果を受けて、個々の領域に人が存在するか否かを判定することを特徴とする請求項１１に記載の混雑推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を基に人物の混雑度を推定する混雑推定装置および方法に関し、特に人物の滞留状態や移動状態の種類を判定し、異常状態を検出する混雑推定装置および方法に関する。
【背景技術】
【０００２】
従来から、画像における人物の混雑度を推定するための様々な技術が提案されてきている。例えば、動きベクトルを導出し、導出した動きベクトルをまとめ、そのまとまりの単位で人物を計数する技術が提案されている（例えば、特許文献１を参照）。
また、人物の頭部を検出して、その数を計測し、混雑度を推定する技術が提案されている（例えば、特許文献２を参照）。
また、フレーム間差分や背景差分処理により抽出した前景の面積を利用して混雑度を推定する技術が提案されている（例えば、特許文献３または特許文献４を参照）。
【０００３】
【特許文献１】特開２００５−１２８６１９号公報
【特許文献２】特開２００５−１３５３３９号公報
【特許文献３】特開２００４−１０２３８０号公報
【特許文献４】特開平１１−２８２９９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、動きベクトルをまとめ、まとまりの単位で人物を計測する方法においては、各人毎に切り出す方法であり、人が少ない場合には比較的高精度な推定ができるが、雑踏のような状況では人同士の隠蔽が生じるため適用が難しく、精度が悪化するという課題がある。また、動きベクトルを抽出する際、カメラの画角等により、通常の動きによる動きベクトル、ノイズ等により生じる微小な動きベクトルのサイズは異なり、事前に上記動きベクトルのサイズの閾値を設定する必要がある。
【０００５】
また、人物の頭部を検出する手法も、人が少ない場合には比較的高精度な推定ができるが、人が多くなると頭部検出の精度が低下するという課題がある。
また、フレーム間差分処理により抽出した前景の面積を利用して混雑度を推定する手法は、人物が静止しているときには前景が抽出されず、また背景差分処理により抽出した前景の面積を利用して混雑度を推定する手法は、画面の大部分に人が存在する場合には精度良く前景領域を求めることが困難になるという課題がある。また、カメラの揺れなどに対して脆弱であるという課題がある。また、上記方法では、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）を求める方法は無く、また部分的な混雑状況の把握も困難である．
【０００６】
本発明は、かかる事情に鑑みてなされたものであり、画像を用いた人物の混雑度の推定を容易に且つ精度良く行うことができる混雑推定装置および方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明の混雑推定装置は、各種シーンの映像やカメラからの映像をデジタル化して出力をする画像生成手段と、入力画像を部分領域に分ける領域分割手段と、前記画像生成手段から出力された画像より動き情報を算出する動き情報生成手段と、前記画像生成手段から出力された画像に対して画像のテクスチャ情報を生成するテクスチャ情報生成手段と、個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する基準動き情報生成手段と、個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する基準テクスチャ情報生成手段と、基準動き情報や基準テクスチャ情報を格納する格納手段と、前記動き情報生成手段から出力された動き情報と前記基準動き情報生成手段により生成された基準動き情報とを比較し個々の部分領域において動きがあるかどうかを判定する動き情報判定手段と、前記テクスチャ情報生成手段から出力されたテクスチャ情報と前記基準テクスチャ情報生成手段により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定手段と、前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定手段と、を備えた。
【０００８】
この構成によれば、動き情報判定手段により個々の領域において動きの有無を判定し、テクスチャ情報判定手段により動きが無い場合においても、テクスチャ類似度から人の有無を判定することができ、個々の領域において、移動している領域、滞留している領域、静止している領域、人が存在しない領域など領域の状態を推定することができる。そして、その個々の情報を用いて滞留判定手段により混雑度を判定することができる。
【０００９】
また、上記構成において、前記画像生成手段より得られる画像を入力として人が存在するか否かを動き情報から判定し、人が存在している場合のみ前記基準動き情報生成手段および前記基準テクスチャ情報生成手段に対して更新タイミングを知らせるタイミング生成手段を備えた。
【００１０】
この構成によれば、基準動き情報生成手段および基準テクスチャ情報生成手段に対して基準動き情報と基準テクスチャ情報の更新が更新タイミング毎に行われることで、環境が変化する際にも動きの有無の判定やテクスチャ判定が環境変動に適応し、常に精度の高い判定を行うことができる。
【００１１】
また、上記構成において、前記タイミング生成手段は、車両の進入タイミングを検知して、この進入タイミング毎に前記基準動き情報生成手段と前記基準テクスチャ情報生成手段に対して更新タイミングを知らせる。
【００１２】
この構成によれば、基準動き情報生成手段および基準テクスチャ情報生成手段に対して基準動き情報と基準テクスチャ情報の更新が車両の進入タイミング毎に行われることで、車両の進入前後での人の動きや人のテクスチャを基準にした動きの有無の判定やテクスチャ判定を行うことができる。
【００１３】
また、上記構成において、前記基準動き情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準動き情報のサンプリングを行って基準動き情報の閾値の設定を行い、前記動き情報判定手段は、基準動き情報が前記基準動き情報の閾値を超えた場合には動きありと判定し、前記基準動き情報閾値を超えない場合は、動き無しであると判定する。
【００１４】
この構成によれば、基準動き情報生成手段に対して基準動き情報の更新が更新タイミング毎に行われ、同時に基準動き情報の閾値を更新タイミングでの動き情報を設定することで、更新タイミングでの動きを基準にした動き情報判定を行うことができる。
【００１５】
また、上記構成において、前記テクスチャ情報判定手段は、入力情報に対して周波数変換処理を行い、周波数領域での類似度判定を行う。
【００１６】
この構成によれば、人物の模様やシルエットに基づいた類似度評価を行うことができる。
【００１７】
また、上記構成において、基準テクスチャ情報生成手段は、前記タイミング生成手段により通知されたタイミングで基準テクスチャ情報のサンプリングを行って基準テクスチャ情報の設定を行い、前記テクスチャ情報判定手段は、前記テクスチャ情報生成手段により得られるテクスチャ情報と前記基準テクスチャ情報生成手段より得られる基準テクスチャ情報との類似度を判定し、類似している場合は人が存在すると判定する。
【００１８】
この構成によれば、基準テクスチャ情報生成手段に対して基準テクスチャ情報の更新が更新タイミング毎に行われ、更新タイミングでのテクスチャを基準にしたテクスチャの類似度判定を行うことができる。
【００１９】
また、上記構成において、前記滞留判定手段は、前記動き情報判定手段と前記テクスチャ情報判定手段の各判定結果を入力とし、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域のいずれかの状態を出力する。
【００２０】
この構成によれば、個々の領域の状態として滞留領域、移動領域、ノイズ領域、前景領域を出力することで、混雑判定手段での混雑推定処理を行う際に領域の種別毎に計測することができ、また、全体の混雑度もカウントするだけで計算を行うことができる。
【００２１】
また、上記構成において、前記滞留判定手段から出力される情報を入力とし、入力された各状態を解析して異常混雑であるかどうかを判定する異常判定手段を備えた。
【００２２】
この構成によれば、個々の領域の状態から、撮影環境全体が正常な混雑度なのか、それとも異常な混雑度なのか判別を行うことができる。
【００２３】
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、前記タイミング生成手段により得られる車両の進入タイミング後に滞留領域と移動領域を加算した混雑度指標が予め設定しておいた閾値以上減少しない場合に異常状態であると判定する。
【００２４】
この構成によれば、車両の進入タイミング後の個々の領域の状態をカウントし混雑度指標を算出することにより、正常な混雑状態であるか、あるいは異常な混雑状態であるかの判定を行うことができる。
【００２５】
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域の割合が予め設定をしておいた値よりも超えた場合に異常状態であると判定する。
【００２６】
この構成によれば、常時、個々の領域の状態をカウントし混雑度指標を算出し、滞留領域の割合を導出することで、滞留領域の割合に基づく異常検知を行うことができる。
【００２７】
また、上記構成において、前記異常判定手段は、前記滞留判定手段により出力される個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域をカウントしておき、滞留領域、移動領域の時系列の割合から、滞留開始、滞留解消、通常状態などの人物の流量傾向を判定する。
【００２８】
この構成によれば、常時、個々の領域の状態を時系列の変化量とともにカウントし混雑度指標を算出することで、滞留開始、滞留解消、通常状態などの人物の流量傾向判定を行うことができ、異常混雑に到達する前の事前警告を行うことや、また異常混雑の解消開始の通知を行うことができる。
【発明の効果】
【００２９】
本発明によれば、動き情報の基準移動量を自動設定することで、動いている状態と動いていない状態を判別し、また、動きの有無とテクスチャを用いた類似度判定を用いて個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別し、また、各領域の各状態を用いて混雑度を推定し、さらに、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかの情報を提供できるので、画像を用いた人物の混雑度の推定を容易に且つ精度良く行うことができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００３１】
（実施の形態１）
図１は、本発明の実施の形態１に係る混雑推定装置の概略構成を示すブロック図である。同図において、本実施の形態の混雑推定装置１０Ａは、各種シーンの映像やカメラからの映像をデジタル化して出力をする画像生成部１１と、入力画像を部分領域に分ける領域分割部１２と、画像生成部１１の画像列から動き情報を算出する動き情報生成部１３と、個々の部分領域に対して動きの基準となる基準動き情報を保持・更新する部分領域における基準動き情報生成部１４と、画像生成部１１から出力された画像に対して、画像のテクスチャ情報を生成するテクスチャ情報生成部１５と、個々の部分領域に対して人の有無を判定するための基準テクスチャ情報を保持・更新する部分領域における基準テクスチャ情報生成部１６と、基準動き情報や基準テクスチャ情報を格納する格納部１７と、動き情報生成部１３から出力された動き情報と基準動き情報生成部１４により生成された基準動き情報とを比較し、個々の部分領域において動きがあるかどうかを判定する動き情報判定部１８と、テクスチャ情報生成部１５から出力されたテクスチャ情報と基準テクスチャ情報生成部１６により生成された基準テクスチャ情報とを比較し、個々の部分領域において人と同じテクスチャ情報があるかどうかを判定するテクスチャ情報判定部１９と、動き情報判定部１８とテクスチャ情報判定部１９の各判定結果を受けて、個々の領域に人が存在するか否かを判定する滞留判定部２０とを備えて構成される。
【００３２】
以上のように構成された混雑推定装置１０Ａについて、その動作を図２、図３、図４を用いて説明する。まず、画像生成部１１より得られる画像データを動き情報生成部１３およびテクスチャ情報生成部１５に送る。ここで、図２を用いて画像分割部１２の機能を説明する。領域分割部１２は、まず動き情報生成部１３および基準動き情報生成部１４のための領域分割を行う。領域は対象となるオブジェクトのサイズを基準に決定し、前方および後方の各位置に対して、それぞれ対応となるオブジェクトサイズに合わせた矩形領域その(１)３０、矩形領域その(２)３１を設定する。設定された２つの矩形領域を用いて任意位置での動き処理領域を線形補間により決める。図３に動き処理領域分割例を示す。
【００３３】
次に、決定された動き情報のための領域分割結果を用いて、テクスチャ情報生成部１５および基準テクスチャ情報生成部１６のためのテクスチャ処理領域を決める。テクスチャ用のテクスチャ処理領域の分割は、動き情報のための領域分割結果を複数個まとめた単位を１つのテクスチャ処理領域とする。ここでは、縦２個と横２個の合計４個の動き情報のための動き処理領域結果を１つのテクスチャ処理用の領域とする例を図４に示す。なお、ここでは４個をまとめたが、設定により自由にサイズを変更することも可能である。
【００３４】
次に、動き情報生成部１３、基準動き情報生成部１４、動き情報判定部１８の動作に関して図５を用いて説明する。画像生成部１１により入力される画像は画像バッファ部４０に格納される。そして、オプティカルフロー計算部４１とエッジ抽出部４３にそれぞれ入力される。オプティカルフロー計算部４１は、画像中の特徴点を抽出して、抽出した特徴点が次フレームでどの位置に移動したかという特徴点の対応点を探索する。対応する特徴点と元画像の特徴点を接続したベクトルが動きベクトルとなる。フロー代表方向／サイズ算出部４２では、個々の動き処理領域毎の代表フローと代表サイズを導出する。
【００３５】
個々の動き処理領域の中には複数の動きベクトルを持つが、複数の動きベクトルの平均を代表サイズ、また複数の方向性を持つ動きベクトルがある場合は、頻度が一番多い方向ベクトルをフロー代表方向として導出する。また、方向性を計算する場合、ある一定以上のサイズを持つフローのみで頻度分布を作成し、ノイズのフローを除去する。
【００３６】
フローの代表方向情報（単位：ラジアン）とフローの代表サイズ（単位：ピクセル）は、動き処理領域毎に保持しておき、動ベクトル状態判定部４７に送られる。基準動き情報生成部１４は、基準動ベクトルマップ参照部４５と基準差分領域マップ参照部４６とを備える。基準動ベクトルマップ参照部４５には図６のような基準動ベクトルマップ５０が格納され、それぞれの動き処理領域毎に動きの有無の基準となる閾値を保持している。例えば、領域(１)５１、領域(２)５２、領域(３)５３（図６では、数値を囲む“（  ）”は省略しており、以下も同様）などは“１０”という閾値を保持しており、それよりも大きいサイズのフローであれば動き有りと判定され、小さい場合は動き無しと判定される。同じく領域(８)５４、領域(９)５５などは“９”という閾値を保持しており、個々の動き処理領域は全て閾値を持つ。
【００３７】
図５に戻り、エッジ抽出部４３は、入力された画像のエッジをソーベルフィルタ等の既存のエッジ抽出プログラムを用いて抽出し、エッジフレーム間差分部４４へ送る。エッジフレーム間差分部４４は、過去のエッジフレームと現在入力されたエッジフレームとの差を計算することにより過去フレームと現フレームとの違うピクセルを抽出し、差分領域状態判定部４８へ送る。基準動き情報生成部１４は、基準差分領域マップ参照部４６を保持しており、マップは、個々の動き処理領域のうち何％の領域に動きピクセルが発生すれば動きありと判定するか否かの判定を行うマップを持つ。図７に基準差分領域マップ６０の例を示す。
【００３８】
基準差分領域マップ６０では、領域(１)６１、領域(２)６２、領域(３)６３（図７では、数値を囲む“（  ）”は省略しており、以下も同様）などは処理領域において１０％の動き領域があれば動き領域と判定し、それ以下の場合は動き無しと判定する。領域(８)６４、領域(９)６５などは１５％の動き領域があれば動き領域と判定する。このようにして全ての動き処理領域の判定を差分領域状態判定部４８で行う。動領域状態判定部４９は、動ベクトル状態判定部４７の判定結果と差分領域状態判定部４８の判定結果で双方とも動き領域であると判定された動き処理領域を動き有り領域と判定し、滞留判定部２０（図１参照）へ送る。動ベクトル状態判定部４７の判定結果と差分領域状態判定部４８の判定結果でどちらか一方でも動きが無いと判定された動き処理領域は、動き無し領域として滞留判定部２０へ送る。
【００３９】
次に、テクスチャ情報生成部１５、基準テクスチャ情報生成部１６、テクスチャ情報判定部１９の動作に関して図８、図９を用いて説明する。テクスチャ情報生成部１５は、領域分割部１２により分割されたテクスチャ処理領域毎にテクスチャ特徴量を抽出する。テクスチャ特徴量としてはフーリエ変換を用いて周波数変換処理を行う。図８に入力画像７０の例を示しており、領域(ｔ１)７１、領域(ｔ２)７２、領域(ｔ３)７３、…（図８では、符号と数値を囲む“（  ）”は省略しており、以下も同様）と順番に周波数変換処理を行う。図９にテクスチャ特徴量抽出処理結果の例を示す。領域(ｔ１)７１、領域(ｔ２)７２、領域(ｔ３)７３、…（図９では、符号と数値を囲む“（  ）”は省略しており、以下も同様）を入力として周波数変換処理を行った結果は、テクスチャ特徴量抽出結果８０となり、それぞれ領域ｔ１テクスチャ特徴量８１、領域ｔ２テクスチャ特徴量８２、領域ｔ３テクスチャ特徴量８３、…となる。
【００４０】
基準テクスチャ情報生成部１６は、人が存在するシーン群および人が存在しないシーン群を保持しておき、それぞれの場合において、テクスチャ処理領域単位にテクスチャ特徴量を抽出しておく。図１０は、人が存在するシーン(１)９０（図１０では、数値または符号と数値を囲む“（  ）”は省略しており、以下も同様）を示しており、テクスチャ処理領域９１の個々の領域、領域(ｔ１)９２、…、領域(ｔ１７)９３、…に対して、テクスチャ特徴量の抽出を行い、存在シーン１.領域ｔ１基準テクスチャ特徴量９４、…、存在シーン１.領域ｔ１７基準テクスチャ特徴量９５、…を導出する。同様に、図１１は人が存在しないシーン(１)１００（図１１では、数値または符号と数値を囲む“（  ）”は省略しており、以下も同様）を示しており、個々のテクスチャ処理領域１０１の領域(ｔ１)１０２、…、領域(ｔ１７)１０３、…に対して、テクスチャ特徴量の抽出を行い、非存在シーン１.領域ｔ１基準テクスチャ特徴量１０４、…、非存在シーン１.領域ｔ１７基準テクスチャ特徴量１０５、…を導出する。
【００４１】
テクスチャ情報判定部１９の処理については図１２を用いて説明をする。テクスチャ情報判定部１９は、テクスチャ情報生成部１５により、入力画像７０に対して、個々のテクスチャ処理領域、領域(ｔ１)７１、…（図１２では、数値または符号と数値を囲む“（  ）”は省略しており、以下も同様）毎に領域ｔ１テクスチャ特徴量８１、…を出力する。また、基準テクスチャ情報生成部１６が、各テクスチャ領域に対応した基準テクスチャ特徴量を保持しているため、例えば入力画像の領域(ｔ１)９２および領域(ｔ１)１０２に対応した非存在シーン１．領域ｔ１基準テクスチャ特徴量１０４と存在シーン１．領域ｔ１基準テクスチャ特徴量９４を取り出し、領域ｔ１テクスチャ特徴量８１との類似度計算１０６をそれぞれに対して行う。人が存在しないシーンの領域との類似度が高い場合、テクスチャ情報判定部１９は、人は存在しない領域として判定し、人が存在するシーンの領域との類似度が高い場合、テクスチャ情報判定部１９は人が存在する領域として判定する。類似度計算はＳＡＤ（Sam of Absolute Difference：絶対差分和）で最小となる類似テクスチャを導出してもよいし、正規化相互相関の指標を用いてもよい。
【００４２】
次に、滞留判定部２０の動作に関して図１３を用いて説明する。動き情報判定部動き有り判定１１０と判定された領域で、テクスチャ情報判定部人存在判定１１２と判定された領域は移動領域１１４と判定する。動き情報判定部動き有り判定１１０と判定された領域で、テクスチャ情報判定部人非存在判定１１３と判定された領域はノイズ領域１１５と判定する。動き情報判定部動き無し判定１１１と判定された領域でテクスチャ情報判定部人存在判定１１２と判定された領域は滞留領域１１６と判定する。動き情報判定部動き無し判定１１１と判定された領域でテクスチャ情報判定部人非存在判定１１３と判定された領域は前景領域１１７と判定することで、個々の領域の状態を図１４のように出力可能になる。図１４には移動領域１２０、滞留領域１２１、前景領域１２３、ノイズ領域１２４の各状態が割り当てられる。
【００４３】
以上述べたように、動き情報判定部１８により動きの有無の領域を、テクスチャ情報判定部１９によりテクスチャを用いた類似度判定を用いて、人の存在、非存在の領域を判定し、滞留判定部２０により、個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別することができる。
【００４４】
なお、本実施の形態の混雑推定装置１０Ａのテクスチャ情報生成部１５および基準テクスチャ情報生成部１６は、フーリエ変換による周波数変換でテクスチャ特徴量を抽出したが、本発明はこの例に限定されるものではない。例えば、エッジ情報を利用したり、ガボール特徴量を用いた特徴量抽出でも構わない。
【００４５】
また、本実施の形態の混雑推定装置１０Ａの基準テクスチャ情報生成部１６は、人が存在するシーンおよび人が存在しないシーンを各１パターンの基準テクスチャ生成処理を示したが、本発明はこの例に限定されるものではない。例えば、人が存在するシーンおよび人が存在しないシーンそれぞれ複数枚のシーンを用いて複数の基準テクスチャを用いることも可能であり、多人数のシーン、通常人数のシーン、少人数のシーン、人が存在しないシーンなど複数枚のシーンから基準テクスチャを保持しておき、テクスチャ情報判定部１９により、人の有無の領域の判定に用いてもよい。また、複数シーンをサポートベクタマシン（ＳＶＭ）やブースティングなどの学習方法により学習させることにより、人が存在するシーンの代表基準テクスチャおよび人が存在しないシーンの代表特徴量を用いて、人の有無の領域の判定を行う構成でも構わない。
【００４６】
（実施の形態２）
図１５は、本発明の実施の形態２に係る混雑推定装置の概略構成を示すブロック図である。本実施の形態の混雑推定装置１０Ｂは、実施の形態１の混雑推定装置１０Ａと比較して、基準動き情報生成部１４および基準テクスチャ情報生成部１６へ入力基準情報の更新タイミングを入力するタイミング生成部２１を追加した点が異なる。その他の構成は実施の形態１と同じであるため、詳細な説明を省略する。
【００４７】
図１６、図１７に、タイミング生成部２１において、電車の進入・停止・出発のタイミングで基準動き情報生成部１４および基準テクスチャ情報生成部１６へ更新タイミングを通知する処理について説明する。図１６に示すように、駅のプラットフォームにおけるカメラ１３０の視野に線路が写るように設置する。その線路上に電車が進入してきた場合には、フレーム間差分および背景差分処理等の画像処理技術を用いて電車進入時の線路の変化を検知し、進入タイミングを基準動き情報生成部１４および基準テクスチャ情報生成部１６へ通知する。電車の進入直前は、電車待ちの行列ができるため、人が存在するためのテンプレートとして基準テクスチャ情報判定部１９での基準テクスチャの更新に利用される。次に電車が停止している時は、乗車および降車の人々がいるため、この停車タイミングを基準動き情報生成部１４は基準動き情報の更新に利用する。図１７にこの処理の流れを示す。
【００４８】
車両進入検知ステップＳ１４１により、車両の進入を画像処理により検知し更新タイミング通知ステップＳ１４５へ送信する。車両停止検知ステップＳ１４２は、車両進入検知ステップＳ１４１により進入が検知された後、線路において動きが無くなった時点を車両停止として判断し、更新タイミング通知ステップＳ１４５へ通知する。車両出発検知ステップＳ１４３は車両停止検知ステップＳ１４２において車両の停止が検知された後、再び線路に動きが生じた時点で車両の出発として判定し、更新タイミング通知ステップＳ１４５へと通知する。この処理は処理終了指示があるまで常に車両の進入、停止、出発の検知を行い続ける（ステップＳ１４４）。
【００４９】
図１８に、車両進入タイミングにおける駅プラットフォームの画像列を示す。図１８に示すように、進入タイミングにおいて得られる複数枚のシーンを基準テクスチャ情報生成部１６に送付し、このシーン群から基準テクスチャを生成することにより人が存在する時の基準テクスチャをシーンに適応させていくことができる。また、時間帯毎あるいは曜日毎にこのような基準テクスチャを保持しておくことで、時間帯、曜日などと同期したテクスチャ情報の判定が可能になる。
【００５０】
また、図１９に車両停止タイミングにおける駅プラットフォームの動ベクトル処理抽出処理後の動ベクトル取得結果列の例を示す。図１９に示すように車両停止タイミングにおいて得られる複数枚のシーンを基準動き情報生成部１４に送付し、その時におけるシーン群から個々の動き処理領域の動きの大きさや方向ベクトルを抽出し、その時の動きを基準動き量として用い、個々の動き処理領域に対しての方向ベクトルを獲得することが可能になる。また、時間帯毎，あるいは曜日毎にこのような基準動き情報を保持しておくことで、時間帯、曜日などと同期した動き情報の判定が可能になる。
【００５１】
以上述べたように、タイミング生成部２１により、動き情報の基準移動量や人が存在するテクスチャ情報を、車両の進入、停止、出発のタイミングを用いて自動設定することで、動いている状態と動いていない状態を判別する。また、人物が存在する、あるいは存在しないという判別をすることができるようになる。
【００５２】
なお、本実施の形態の混雑推定装置１０Ｂのタイミング生成部２１は、車両の進入に対して、画像処理技術を用いて行う処理を示したが、本発明はこの例に限定されるものではない。例えば、線路内に検知センサを敷設して、そのセンサの情報から、車両の進入、停止、出発の情報を得てもよい。また、時刻表を用いて、時刻表の時刻と同期して電車の進入タイミングを通知してもよい。
【００５３】
また、タイミング生成部２１は車両の進入、停止、出発のタイミングを用いた例を示したが、本発明はこの例に限定されるものではない。任意の時間間隔毎にタイミング生成部２１から更新タイミングを生成してもよい。
【００５４】
（実施の形態３）
図２０は、本発明の実施の形態３に係る混雑推定装置の概略構成を示すブロック図である。同図において、本実施の形態の混雑推定装置１０Ｃは、実施の形態１の混雑推定装置１０Ａと比較して、基準動き情報生成部１４および基準テクスチャ情報生成部１６へ入力基準情報の更新タイミングを入力するタイミング生成部２１および処理領域の時系列的な割合を解析して異常混雑かどうかを判定する異常判定部２２を追加した点が異なる。その他の構成は、実施の形態１の混雑推定装置１０Ａと同じであるため、詳細な説明を省略する。
【００５５】
図２１に滞留判定部２０から出力される処理領域の領域状態判定結果列１５０を示す。領域状態判定結果列１５０は、ｔ(０)１５１、ｔ(１)１５２、ｔ(２)１５３、…、ｔ(ｎ)１５６（図２１では、数値を囲む“（  ）”は省略しており、以下も同様）の時系列データとして領域判定結果を保持している。また、領域状態判定結果列１５０をグラフにプロットした混雑度指標時系列グラフ１６０を図２２に示す。本グラフは時系列に滞留領域１６３、移動領域１６２、ノイズ領域１６４、合計混雑度１６１をプロットしたものである。合計混雑度１６１は、移動領域１６２の数と滞留領域１６３の数を加算した値を示す。異常混雑判定部２２は、合計混雑度１６１が事前に設定していた閾値を超えた場合に異常状態と判定する。例えば、合計混雑度１６１が８０％を超えた場合に異常混雑度と判定するような閾値を設定していた場合、ｔ(５)１５４、ｔ(３０)１５５のタイミングで異常混雑であると判定し通知を行う。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、滞留領域１６３の割合による異常混雑の判定を行うことも可能である。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、移動領域１６２の割合による異常混雑の判定を行うことも可能である。
【００５６】
次に、図２３に混雑度指標時系列グラフにタイミング生成部２１から得られるｔ１０: 車両進入１６５、ｔ２０: 車両進入１６８のタイミング、ｔ１１: 車両停止１６６、ｔ２１: 車両停止１６９のタイミング、ｔ１２: 車両出発１６７、ｔ２２: 車両出発１７０のタイミングを重畳した混雑度指標時系列グラフを示す。異常判定部２２は、ｔ１０: 車両進入１６５、ｔ２０: 車両進入１６８のタイミングの一定時間後に、合計混雑度１６１が事前に設定していた閾値以上減少しない場合に異常状態であると判定し通知を行う。例えばｔ１０: 車両進入１６５のタイミングから事前に設定している判定期間１７１の範囲において、合計混雑度１６１が６０％以上減少しない場合には、異常混雑として判定し、通知を行う。
【００５７】
図２３の例はｔ１０: 車両進入１６５およびｔ２０: 車両進入１６８のタイミングの判定期間１７１後において、合計混雑度１６１が６０％以下にまで減少しているため、異常混雑とは判定されない。また、車両進入タイミングにおける合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、滞留領域１６３の割合による異常混雑の判定を行うことも可能である。また、合計混雑度１６１の割合で異常混雑の判定を行う例を示したが、移動領域１６２の割合による異常混雑の判定を行うことも可能である。
【００５８】
次に、図２４に滞留判定部２０により判定された各処理領域の状態から、滞留開始、滞留解消、通常状態等の人物の流量傾向を判定する処理について説明する。滞留領域検知ステップＳ１８０は滞留領域が発生した領域を検出する処理を行う。滞留領域近傍探索ステップＳ１８１は、滞留領域が発生した領域を基準に、その領域を包囲する近傍領域に対して滞留領域が新たに発生したか、あるいは滞留領域が消滅したかの判定を行い、その情報を滞留領域連続増加判定ステップＳ１８２および滞留領域連続減少判定ステップＳ１８５へ送る。
【００５９】
滞留領域連続増加判定ステップＳ１８２は、滞留領域の増加が連続的に単調増加しているかどうかを判定し、滞留領域の連続増加が閾値以上かどうかの判定を行い（ステップＳ１８３）、予め設定した閾値以上であれば滞留開始判定通知ステップＳ１８４から滞留状況が増加し異常混雑なる前の事前警告として通知される。同じく、滞留領域連続減少判定ステップＳ１８５は、滞留領域の減少が連続的に単調減少しているかどうかを判定し、滞留領域の連続減少が閾値以上かどうかの判定を行い（ステップＳ１８６）、予め設定した閾値以上であれば滞留解消判定通知ステップＳ１８７から混雑状況が解消されているとして通知される。
【００６０】
図２５は上記処理の例を示したものである。時刻(ｔ-４)１９０、時刻(ｔ-３)１９１(図２５では、符号と数値を囲む“（  ）”は省略しており、以下も同様）は移動領域のみ検出されている。時刻(ｔ-２)１９２の時に滞留領域が発生し、この滞留領域を基準滞留領域１９５として認識する。時刻(ｔ-１)１９３には基準滞留領域１９５の近傍に新規滞留領域が発生し、これらの滞留領域群を基準滞留領域群とする。時刻(ｔ)１９４では基準滞留領域群に対して新たに３つの新規滞留領域が発生し、滞留領域が３つ以上の場合に滞留開始と判定する閾値を事前に設定しておいた場合、この時点で滞留開始１９６として通知する。滞留解消についても同様な処理で実現できる。また、滞留開始判定、滞留解消判定以外のときを通常状態と判定することで通常状態も通知可能である。
【００６１】
以上述べたように、個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を利用して混雑状況の指標（滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかを判定することができる。
【産業上の利用可能性】
【００６２】
本発明は、動き情報の基準移動量を自動設定することで、動いている状態と動いていない状態を判別し、また、動きの有無とテクスチャを用いた類似度判定を用いて個々の領域毎の各種状態、滞留領域、移動領域、ノイズ領域、前景領域を判別し、また、各領域の各状態を用いて混雑度を推定し、さらに、混雑状況の指標（滞留領域、移動領域、通常領域、滞留開始状態、滞留解消状態、通常状態）および異常状態かどうかの情報を提供できるといった効果を有し、異常混雑状態通知を行う装置への適用が可能である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態１に係る混雑推定装置の概略構成を示すブロック図
【図２】図１の混雑推定装置における処理領域の導出方法について説明するための図
【図３】図１の混雑推定装置における処理領域の動き処理領域分割例を示す図
【図４】図１の混雑推定装置における処理領域のテクスチャ処理領域分割例を示す図
【図５】図１の混雑推定装置の動き情報生成部、基準動き情報生成部および動き情報判定部の詳細な構成を示すブロック図
【図６】図５の基準動き情報生成部の基準動ベクトルマップ参照部が保持する基準動ベクトルマップの例を示す図
【図７】図５の基準動き情報生成部の基準差分領域マップ参照部が保持する基準差分領域マップの例を示す図
【図８】図１の混雑推定装置におけるテクスチャ情報判定処理のための入力画像を示す図
【図９】図１の混雑推定装置におけるテクスチャ情報判定処理のための入力画像を変換したテクスチャ特徴抽出処理結果を示す図
【図１０】図１の混雑推定装置におけるテクスチャ情報判定処理のための人が存在するシーンでの基準テクスチャ特徴量の導出処理の流れを示す図
【図１１】図１の混雑推定装置におけるテクスチャ情報判定処理のための人が存在しないシーンでの基準テクスチャ特徴量の導出処理の流れを示す図
【図１２】図１の混雑推定装置におけるテクスチャ情報判定処理のための類似度計算処理動作について説明するための図
【図１３】図１の混雑推定装置における領域の状態判別方法について説明するための図
【図１４】図１の混雑推定装置における領域の状態判別結果の例を示す図
【図１５】本発明の実施の形態２に係る混雑推定装置の概略構成を示すブロック図
【図１６】図１５の混雑推定装置に接続されるカメラ設置の例を示す図
【図１７】図１５の混雑推定装置における電車の進入・停止・出発のタイミング取得処理手順について説明するためのフローチャート
【図１８】車両進入時の駅プラットフォームシーン群を表す図
【図１９】図１５の混雑推定装置における車両停止時の駅プラットフォームの動ベクトル処理結果群を表す図
【図２０】本発明の実施の形態３に係る混雑推定装置の概略構成を示すブロック図
【図２１】図２０の混雑推定装置における領域状態判定結果例を示す図
【図２２】図２０の混雑推定装置における混雑度指標の時系列グラフを示す図
【図２３】図２０の混雑推定装置における電車の進入・停止・出発のタイミングを重畳した混雑度指標時系列グラフを示す図
【図２４】図２０の混雑推定装置における人物の流量傾向を判定する処理のフローチャート
【図２５】図２０の混雑推定装置における人物の流量傾向を判定する処理を説明するための図
【符号の説明】
【００６４】
１０Ａ、１０Ｂ、１０Ｃ  混雑推定装置
１１  画像生成部
１２  領域分割部
１３  動き情報生成部
１４  基準動き情報生成部
１５  テクスチャ情報生成部
１６  基準テクスチャ情報生成部
１７  格納部
１８  動き情報判定部
１９  テクスチャ情報判定部
２０  滞留判定部
２１  タイミング生成部
２２  異常判定部
３０  矩形領域その１
３１  矩形領域その２
４０  画像バッファ部
４１  オプティカルフロー計算部
４２  フロー代表方向／サイズ算出部
４３  エッジ抽出部
４４  エッジフレーム間差分部
４５  基準動ベクトルマップ参照部
４６  基準差分領域マップ参照部
４７  動ベクトル状態判定部
４８  差分領域状態判定部
４９  動領域状態判定部
５０  基準動ベクトルマップ
６０  基準差分領域マップ
７０  入力画像
８０  テクスチャ特徴抽出処理結果
９０  人が存在するシーン１
９１、１０１  テクスチャ処理領域
１００  人が存在しないシーン１
１０６  類似度計算
１１０  動き情報判定部動き有り判定
１１１  動き情報判定部動き無し判定
１１２  テクスチャ情報判定部人存在判定
１１３  テクスチャ情報判定部人非存在判定
１１４、１２０、１６２  移動領域
１１５、１２３、１６４  ノイズ領域
１１６、１２１、１６３  滞留領域
１１７、１２２  前景領域
１３０  カメラ
１６０  混雑度指標時系列グラフ
１９５  基準滞留領域
１９６  滞留開始
【図１】
0004966820.tif 000002
【図２】
0004966820.tif 000003
【図３】
0004966820.tif 000004
【図４】
0004966820.tif 000005
【図５】
0004966820.tif 000006
【図６】
0004966820.tif 000007
【図７】
0004966820.tif 000008
【図８】
0004966820.tif 000009
【図１３】
0004966820.tif 000010
【図１４】
0004966820.tif 000011
【図１５】
0004966820.tif 000012
【図１６】
0004966820.tif 000013
【図１７】
0004966820.tif 000014
【図１８】
0004966820.tif 000015
【図１９】
0004966820.tif 000016
【図２０】
0004966820.tif 000017
【図２１】
0004966820.tif 000018
【図２２】
0004966820.tif 000019
【図２３】
0004966820.tif 000020
【図２４】
0004966820.tif 000021
【図９】
0004966820.tif 000022
【図１０】
0004966820.tif 000023
【図１１】
0004966820.tif 000024
【図１２】
0004966820.tif 000025
【図２５】
0004966820.tif 000026