(57)【要約】【課題】検出ミス、追跡ミス及び照合ミスを防止し、異常事態を判断して監視者に注意を促すことができる監視装置を提供する。【解決手段】監視領域内の画像を撮像して全体画像を生成するカメラ１０１と、全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成部１０２と、移動体画像に基づいて移動物体または群衆の密集の度合いを示す密集度を算出する密集度算出部１０３と、現時刻の密集度と基準密集度とを比較し、それらが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断部１０６と、パン、チルトおよびズーム機能の少なくともいずれかを有する他のカメラ７０１と、異常事態であると判断された場合に、現時刻の密集度が基準密集度と異なる領域を撮像するように他のカメラ７０１を制御するカメラ制御部７０２とを備える。【選択図】図８
2007028680.tif 000002
【特許請求の範囲】
【請求項１】
監視領域内の監視を行う監視装置であって、
監視領域内の画像を撮像して全体画像を生成する撮像手段と、
前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、
前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、
前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断手段と、
パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、
前記状況判断手段により異常事態であると判断された場合に、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段と
を備えることを特徴とする監視装置。
【請求項２】
前記監視装置は、さらに、
前記状況判断手段により判断された現時刻の前記状況を報知する報知手段を備える
ことを特徴とする請求項１記載の監視装置。
【請求項３】
前記移動体画像生成手段は、前記全体画像に対してフレーム間差分処理または背景差分処理を行って前記移動体画像を生成する
ことを特徴とする請求項１記載の監視装置。
【請求項４】
前記密集度算出手段は、前記全体画像から頭部候補領域を検出し、検出した前記頭部候補領域が前記全体画像に対して占める面積に基づいて前記密集度を算出する
ことを特徴とする請求項１記載の監視装置。
【請求項５】
前記密集度算出手段は、前記移動体画像の面積に基づいて前記密集度を算出する
ことを特徴とする請求項１記載の監視装置。
【請求項６】
前記密集度算出手段は、前記移動体画像を１次元情報に変換し、変換した前記１次元情報に基づいて前記密集度を算出する
ことを特徴とする請求項１記載の監視装置。
【請求項７】
前記密集度算出手段は、前記１次元情報の周波数分析を行うことによって前記密集度を算出する
ことを特徴とする請求項６記載の監視装置。
【請求項８】
前記撮像手段は、赤外線カメラであり、
前記密集度算出手段は、前記赤外線カメラの反応領域に基づいて前記密集度を算出する
ことを特徴とする請求項１記載の監視装置。
【請求項９】
監視領域内の監視を行う監視方法であって、
撮像手段によって監視領域内の画像を撮像して全体画像を生成する撮像ステップと、
前記撮像ステップにより生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成ステップと、
前記移動体画像生成ステップにより生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出ステップと、
前記密集度算出ステップにより算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断ステップと、
前記状況判断ステップにより異常事態であると判断された場合に、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段が、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように、前記他の撮像手段を制御する撮像制御ステップと
を含むことを特徴とする監視方法。
【請求項１０】
監視領域内の監視を行うためのプログラムであって、
撮像手段によって監視領域内の画像を撮像して全体画像を生成する撮像ステップと、
前記撮像ステップにより生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成ステップと、
前記移動体画像生成ステップにより生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出ステップと、
前記密集度算出ステップにより算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断ステップと、
前記状況判断ステップにより異常事態であると判断された場合に、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段が、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように、前記他の撮像手段を制御する撮像制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動している人物や車両等の複数の移動物体又は群衆の監視を行う監視装置
に関するものである。
【背景技術】
【０００２】
従来の監視装置として、図１７に示す装置が知られている（特許文献１参照）。図１７に示すように、この従来の監視装置１０は、撮像装置１１、部位位置抽出部１２、形状特徴量抽出部１３、部位位置追尾部１４、動き特徴量計測部１５、比較検索部１６及び表示部１７を具備している。
【０００３】
図１７に示すように、従来の監視装置１０においては、部位位置抽出部１２が人物の部位位置を抽出し、形状特徴量抽出部１３が形状特徴量を抽出し、部位位置追尾部１４が抽出した部位位置を追尾し、動き特徴量計測部１５が動き特徴量を計測している。従来の監視装置１０は、監視領域内の人物の特徴量を自動的に抽出して、データベース化すると共に、特定の不審人物の特徴を有する人物候補を探索し、監視者に注意を促すことにより、不審人物の調査、追跡及び特定を行っている。
【０００４】
また、他の従来の監視装置として、特許文献２に記載された装置がある。この他の従来の監視装置は、撮像装置によって捉えられる被写体の皮膚色及び動きを検出することによって、最も適切な追跡対象体を自動的に選定して追跡することによって顔部分の映像を撮影し、撮影された顔画像を分析することによって個人を認識している。さらに、顔部位の情報から覆面、サングラス及び帽子などを識別することによって、危険人物と判定している。
【０００５】
しかしながら、従来の監視装置においては、人物を検出しデータベースとの照合を行う場合に、現状の技術では特に大量に蓄積されたデータベースとの照合を完全に自動化することが難しい。また、従来の監視装置においては、全体の画像中に複数人の画像が存在する場合又はオクルージョンが生じている場合において、正確に部位位置を特定すること、及び、顔画像を抽出することは難しい。このため、人物を検出及び追跡して大量のデータベースとの照合を完全に自動で行うと、検出ミス、追跡ミス及び照合ミスが起こることの２つの点が懸念されるため、異常事態の判断にも支障をきたす危険性がある。
【特許文献１】特開平１１−３９９１３９号公報
【特許文献２】特開２０００−１６３６００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、かかる点に鑑みてなされたものであり、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、検出ミス、追跡ミス及び照合ミスを防止し、異常事態を判断して監視者に注意を促すことができる監視装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断手段と、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段とを備えることを特徴とする。
【発明の効果】
【０００８】
以上説明したように、本発明に係る監視装置によれば、画像に存在する移動物体又は群衆の部分的な画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度又は移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。
【発明を実施するための最良の形態】
【０００９】
本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを関数近似もしくは周波数変換によりパラメータ化した密集度として算出する密集度算出手段とを備えることを特徴とする。
【００１０】
この構成によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度を算出することができる。
【００１１】
また、前記監視装置は、さらに、前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とに基づいて、現時刻の状況を判断する状況判断手段とを備えることが好ましい。
【００１２】
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
【００１３】
また、前記監視装置は、さらに、前記密集度算出手段により算出される所定日時の前記密集度に基づいて前記基準密集度を算出する基準密集度算出手段と、前記基準密集度算出手段により算出される前記基準密集度を保持するデータベースとを備えることが好ましい。
【００１４】
この構成によれば、通常時の移動物体又は群衆の密集度を算出することが可能である。
また、前記基準密集度算出手段は、前記密集度算出手段により算出される前記密集度に基づいて所定時間ごとに新しい基準密集度を算出し、算出した新しい前記基準密集度で前記データベースの前記基準密集度を更新してもよい。
【００１５】
この構成によれば、所定時間ごとにデータベースの基準密集度を更新するので、異常事態の判断がより正確になる。
【００１６】
また、前記基準密集度算出手段は、季節ごと、時刻ごと、天候ごとまたは曜日ごとの少なくとも１つごとに前記基準密集度を算出して前記データベースに保持させてもよい。
【００１７】
この構成によれば、季節ごと、時刻ごと、天候ごと又は曜日ごとの基準密集度を算出してデータベースに保持させるため、異常事態の判断がより正確になる。
【００１８】
また、前記密集度算出手段および前記基準密集度算出手段は、前記密集度および前記基準密集度を関数近似によりパラメータ化してもよい。
【００１９】
また、前記密集度算出手段および前記基準密集度算出手段は、前記密集度および前記基準密集度を、ガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータとしてパラメータ化してもよい。
【００２０】
この構成によれば、パラメータによって表現することで、ノイズや検出ミスにロバストに異常事態の判定を行うことができる。
【００２１】
また、前記監視装置は、さらに、あらかじめ設定される前記基準密集度を保持するデータベースを備えてもよい。
【００２２】
この構成によれば、基準密集度をあらかじめ設定して保持することで、構成を簡略化することができる。
【００２３】
また、前記状況判断手段は、現時刻の前記密集度と前記基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の前記状況を異常事態であると判断してもよい。
【００２４】
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
【００２５】
また、前記監視装置は、さらに、前記状況判断手段により判断された現時刻の前記状況を報知する報知手段を備えてもよい。
【００２６】
この構成によれば、移動物体又は群衆の密集度が通常時と大きく異なる時に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。
【００２７】
また、前記移動体画像生成手段は、前記全体画像に対してフレーム間差分処理または背景差分処理を行って前記移動体画像を生成してもよい。
【００２８】
この構成によれば、簡単に移動体画像を生成することができる。
また、前記密集度算出手段は、前記全体画像から頭部候補領域を検出し、検出した前記頭部候補領域が前記全体画像に対して占める面積に基づいて前記密集度を算出してもよい。
【００２９】
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記移動体画像の面積に基づいて前記密集度を算出してもよい。
【００３０】
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記移動体画像を１次元情報に変換し、変換した前記１次元情報に基づいて前記密集度を算出してもよい。
【００３１】
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、前記密集度算出手段は、前記１次元情報の周波数分析を行うことによって前記密集度を算出してもよい。
【００３２】
この構成によれば、移動物体又は群衆の密集度の算出がより容易となる。
また、前記撮像手段は、赤外線カメラであり、前記密集度算出手段は、前記赤外線カメラの反応領域に基づいて前記密集度を算出してもよい。
【００３３】
この構成によれば、移動物体又は群衆の密集度の算出が容易となる。
また、本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、前記密集度算出手段により算出される現時刻の前記密集度と、状況判断の基準とする密集度である基準密集度とを比較し、現時刻の前記密集度と前記基準密集度とが所定の閾値以上異なる場合に、現時刻の状況を異常事態であると判断する状況判断手段と、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記密集度が前記基準密集度と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段とを備えることを特徴とする。
【００３４】
この構成によれば、異常事態の判定結果に基づいて異常事態の発生領域を他の撮像手段が撮像することにより詳細な画像を得ることができる。
【００３５】
また、本発明の実施の形態に係る監視装置は、監視領域内の監視を行う監視装置であって、監視領域内の画像を撮像して全体画像を生成する撮像手段と、前記撮像手段により生成される前記全体画像から複数の移動物体または群衆の画像である移動体画像を生成する移動体画像生成手段と、前記移動体画像生成手段により生成される前記移動体画像に基づいて前記移動物体または前記群衆の密集の度合いを示す密集度を算出する密集度算出手段と、前記撮影手段により生成される前記全体画像と前記密集度算出手段により算出される前記密集度とに基づいて前記移動物体または前記群衆の移動方向を算出する移動方向算出手段とを備えることを特徴とする。
【００３６】
この構成によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の移動方向を算出可能である。
【００３７】
また、前記監視装置は、さらに、前記移動方向算出手段により算出される現時刻の前記移動方向と、状況判断の基準とする移動方向である基準移動方向とに基づいて、現時刻の状況を判断する状況判断手段とを備えてもよい。
【００３８】
この構成によれば、移動物体又は群衆の移動方向が通常時と大きく異なる時に異常事態と判断することが可能である。
【００３９】
また、前記監視装置は、さらに、前記移動方向算出手段により算出される所定日時の前記移動方向に基づいて前記基準移動方向を算出する基準移動方向算出手段と、前記基準移動方向算出手段により算出される前記基準移動方向を保持するデータベースとを備えてもよい。
【００４０】
この構成によれば、通常時の移動方向を算出することが可能である。
また、前記基準移動方向算出手段は、前記移動方向算出手段により算出される前記移動方向に基づいて所定時間ごとに新しい基準移動方向を算出し、算出した新しい前記基準移動方向で前記データベースの前記基準移動方向を更新してもよい。
【００４１】
この構成によれば、所定時間ごとにデータベースの基準移動方向を更新するから、異常事態の判断がより正確になる。
【００４２】
また、前記基準移動方向算出手段は、季節ごと、時刻ごと、天候ごとまたは曜日ごとの少なくとも１つごとに前記基準移動方向を算出して前記データベースに保持させてもよい。
【００４３】
この構成によれば、季節ごと、時刻ごと、天候ごと又は曜日ごとの基準移動方向を演算してデータベースに与えてデータベースに保持させるため、異常事態の判断がより正確になる。
【００４４】
また、前記移動方向算出手段および前記基準移動方向算出手段は、前記移動方向および前記基準移動方向を関数近似によりパラメータ化してもよい。
【００４５】
また、前記移動方向算出手段および前記基準移動方向算出手段は、前記移動方向および前記基準移動方向を、ガウス分布の分布数とそれぞれのガウス分布の平均値および分散値とをパラメータとしてパラメータ化してもよい。
【００４６】
この構成によれば、パラメータによって表現することで、ノイズや検出ミスにロバストに異常事態の判定を行うことができる。
【００４７】
また、前記監視装置は、さらに、あらかじめ設定される前記基準移動方向を保持するデータベースを備えてもよい。
【００４８】
この構成によれば、基準移動方向をあらかじめ設定して保持することで、構成を簡略化することができる。
【００４９】
また、前記状況判断手段は、現時刻の前記移動方向と前記基準移動方向とを比較し、現時刻の前記移動方向と前記基準移動方向とが所定の閾値以上異なる場合に、現時刻の前記状況を異常事態であると判断してもよい。
【００５０】
この構成によれば、移動物体又は群衆の移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止することができる。
【００５１】
また、前記監視装置は、さらに、パン、チルトおよびズーム機能の少なくともいずれかを有する他の撮像手段と、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記移動方向が前記基準移動方向と異なる領域を撮像するように前記他の撮像手段を制御する撮像制御手段とを備えてもよい。
【００５２】
この構成によれば、異常事態の判定結果に基づいて異常事態の発生領域を他の撮像手段が撮像することにより詳細な画像を得ることができる。
【００５３】
また、前記撮像制御手段は、前記状況判断手段により異常事態であると判断された場合に、現時刻の前記移動方向が前記基準移動方向と異なる領域、かつ、前記密集度がピーク値を持つ領域を撮像するように前記他の撮像手段を制御してもよい。
【００５４】
この構成によれば、他の撮像手段で異常事態の発生領域をより正確に撮像することができる。
【００５５】
さらに、本発明は、このような監視装置として実現することができるだけでなく、このような監視装置が含む特徴的な手段をステップとして含む監視方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【００５６】
以下、本発明の実施の形態について、図面を参照して説明する。
【００５７】
（実施の形態１）
図１は、本発明の実施の形態１に係る監視装置の構成を示すブロック図である。図１に示すように、本発明の実施の形態１に係る監視装置１００は、移動している人物や車両等の複数の移動物体又は群衆の監視を行う装置であり、カメラ（撮像手段）１０１、移動体画像生成部１０２、密集度算出部１０３、モデル生成部１０４、データベース１０５、状況判断部１０６及び報知部１０７を具備している。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
【００５８】
カメラ１０１は、監視領域内の移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する。移動体画像生成部１０２は、カメラ１０１で撮影された全体画像をフレーム毎に受けて全体画像に対してフレーム間差分処理、又は事前に用意された背景画像との背景差分処理を行う。ここで、移動体画像生成部１０２により差分処理された画像は、移動している車両等の移動物体又は群集の動いている領域が特定された移動体画像となる。この時に、移動体画像生成部１０２は、画像のエッジの抽出が確実に行える場合に、差分処理を行わず入力画像毎にエッジ抽出処理を行ってもよい。以下においては、移動体画像生成部１０２が、フレーム間差分処理又は背景差分処理を行った場合について述べる。
【００５９】
密集度算出部１０３は、移動体画像生成部１０２により差分処理された画像（移動体画像）を１次元情報に変換し、周波数分析を行って、移動物体または群衆の密集の度合いを示す密集度を算出する。
【００６０】
次に、密集度算出部１０３について、図２を用いて詳しく説明する。
密集度算出部１０３は、１次元情報変換部２１０及び周波数処理部２１１を具備している。１次元情報変換部２１０は、移動体画像生成部１０２から出力された２次元画像を１次元情報に変換する。１次元情報変換部２１０の画像変換動作としては、以下の２つの画像変換動作例が挙げられる。
【００６１】
一つの画像変換動作例は、図３に示すように、移動体画像生成部１０２により入力画像（全体画像）３０１が差分処理され、密集度算出部１０３へ入力された差分画像３０２における差分値に基づいて横軸に射影し、ヒストグラム３０３を算出する。これにより、横軸の各値に対する１次元情報であるヒストグラム３０３を得ることができる。この場合、差分領域の面積情報を用いて１次元情報を算出することになる。
【００６２】
他の画像変換動作例は、図４に示すように、入力される差分画像３０２における差分値を「０」又は「１」の値に２値化した２値化画像４０１を生成し、２値化画像４０１に対して画像の最上部から縦軸方向にスキャンを行って最初に検出したオンピクセルの縦軸の最大値である検出縦軸値４０２を残すことによって１次元情報を得る。ここで、オンピクセルとは、２値化した画素で「１」の値を持つピクセルである。
【００６３】
例えば、２値化画像４０１がＸＹ軸で示され、左下を原点とした場合に、Ｘ軸の特定の値において、縦軸であるＹ軸に、複数のオンピクセルが存在し、Ｙ軸の値が、「２００」、「１００」、「５０」である場合は、検出縦軸値４０２として検出されるＹ軸の値は、画像最上部からスキャンして最初に検出したオンピクセルのＹ軸値であるため、「２００」となる。
【００６４】
なお、これらの１次元情報を得るための方法は、上記に限定されるものではなく、群集の密集度を算出可能な１次元情報を得る方法であれば、何でも良い。
【００６５】
ここで、群集の密集度として、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いてもよい。この場合、周波数処理部２１１は不要であるが、本実施の形態では、さらに、ノイズに対するロバスト性を向上させる例として、周波数処理部２１１によって、これらの１次元情報であるヒストグラム３０３と検出縦軸値４０２に対して、周波数処理を行った例について説明する。
【００６６】
１次元情報変換部２１０によって生成された１次元情報であるヒストグラム３０３又は検出縦軸値４０２は、周波数処理部２１１に送られる。周波数処理部２１１は、１次元情報であるヒストグラム３０３又は検出縦軸値４０２に対して１次元フーリエ変換を行う。これによって、１次元情報であるヒストグラム３０３又は検出縦軸値４０２の周波数スペクトラム５０１を図５に示すように算出することが可能である。ここで、１次元情報変換部２１０で処理された１次元情報であるヒストグラム３０３は、図５に示す周波数スペクトラム５０１のハッチング部に示すように高周波成分を含んでいる場合がある。
【００６７】
監視装置１００は、移動物体又は群衆をマクロ的に捉えることが目的であるために、高周波成分はノイズであると判断して、１次元情報であるヒストグラム３０３に対してフーリエ変換を行い、周波数成分を算出し、その中で高周波成分をカットして、逆フーリエ変換を行って逆変換結果５０３を得る。本実施の形態では、逆変換結果５０３を周波数分析処理後１次元情報と呼ぶ。すなわち、監視装置１００は、ローパス処理を行うことによって、マクロ的に移動物体又はその群集を捉えることが可能である。ここでは、必ずしも逆フーリエ変換を行って、画像空間に戻す必要は無く、監視装置１００は、周波数スペクトラム５０１や、音声認識等で用いられるケプストラム５０２を用いることで、周波数分析処理後１次元情報を算出することも可能である。なお、ケプストラム５０２の算出は、監視装置１００は、１次元フーリエ変換を行った後に、対数スペクトルを算出し、再度フーリエ変換を行うことでケプストラム係数を算出し、低次項の成分のみを用いることにより周波数分析処理後１次元情報を算出することも可能である。
【００６８】
ここでは、１次元情報変換部２１０により算出された１次元情報に対し、周波数処理部２１１によりケプストラム係数算出処理などの周波数分析処理を行った周波数分析処理後１次元情報は、移動している複数の移動物体又は群集の密集度として定義される。
【００６９】
もちろん、ヒストグラム３０３およびオンピクセルの縦軸検出値も周波数分析処理後１次元情報と同様な１次元情報であり、移動している複数の移動物体又は群集の密集度として定義することも可能である。
【００７０】
次に、モデル生成部１０４の基準密集度（モデル値）を生成する動作について、説明する。ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる１次元情報である。
【００７１】
基準密集度であるモデルを生成する方法としては、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いることができる。さらに、周波数処理部２１１において、図５に示すように１次元情報であるヒストグラム３０３をローパス処理した逆変換結果５０３を用いる方法と、フーリエスペクトラム又はケプストラム係数を用いる方法とがある。以下、１次元情報をローパスフィルタで処理した逆変換結果５０３を用いる方法について述べる。なお、フーリエスペクトラム又はケプストラム係数を用いたモデルを生成する方法についても、逆変換結果５０３と同じ手法を用いて生成することが可能である。
【００７２】
モデル生成部１０４は、周波数処理部２１１により算出される所定日時の周波数分析処理後１次元情報（密集度）に基づいて移動物体又は群衆の基準密集度（モデル値）を算出する基準密集度算出手段を構成している。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。
【００７３】
モデル生成部１０４は、季節、時刻、天候又は曜日ごとに基準密集度を演算することが可能であり、また、季節及び現時刻の時刻を勘案して複数の基準密集度を用意することもできる。
【００７４】
また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
【００７５】
図６（ａ）、（ｂ）、（ｃ）は、季節、時刻、天候、および曜日を基にモデル化した例を示す図である。図６（ａ）、（ｂ）、（ｃ）に示すように、例えば、現在の季節、時刻、天候、および曜日に応じて、モデル１、モデル２、モデル３…の中からどの基準密集度（モデル値）を用いるかが予め決定される。これにより、より詳細に移動物体又は群集に関するモデル化を行うことが可能となる。なお、季節、時刻、天候、および曜日すべてを基にモデル化する必要はなく、例えば時刻だけを基にモデル化しても構わない。これらの基準密集度（モデル値）は、データベース１０５に保持される。
【００７６】
ここで、周波数分析後１次元情報（密集度）として、逆変換結果５０３を用いた場合の、モデル生成部１０４の基準密集度演算例について説明する。逆変換結果５０３の代わりに、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いても同様の処理が可能である。
【００７７】
逆変換結果５０３は、ｘ軸における各点xiごとに値y(xi)を持つ。ここで各点xiにおける逆変換結果であるy(xi)の時間変化をモデル化することによって、基準密集度（モデル値）を算出する。具体的には、図６（ｄ）のように、y(xi)の時間変化である値に関して、平均値と分散値を求めることによって、ｘ軸における各点xiごとのy(xi)の時間変動をモデル化することが可能である。すなわち、基準密集度（モデル値）は、点xiごとにf(xi)の平均値と分散値を持つことになる。
【００７８】
モデル化により、曜日や日時によって、密集度の変動が大きい場合は、前記分散値が大きな値となる。また、密集度の変動が小さく、人通りが少ない場合においては、前記平均値、前記分散値共に低い値となり、通常時の密集度を時間変動分も考慮してモデル化することが可能である。さらに、逐次的に前記基準密集度として、前記分散値や平均値を更新することも可能である。
【００７９】
また、フーリエスペクトラムやケプストラム係数を用いた場合は、各周波数もしくは各ケプストラム次数におけるスペクトラム値およびケプストラム値の時間変動を用いて、モデル化することが可能である。
【００８０】
例えば、フーリエスペクトラムを用いた場合は、ある周波数fiごとのパワースペクトラム値g(fi)を持つため、g(fi)の時間変動を前述のように平均値と分散値を用いてモデル化することが可能である。
【００８１】
ここで、データベース１０５には、基準密集度（モデル値）として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数の、y(xi)およびg(fi)の時間変動を表現する平均値と分散値を保持する。
【００８２】
なお、モデル生成部１０４は、環境変化によって人通りなどの移動物体の分布が変化した場合にも対応するために、基準密集度（モデル値）を所定時間毎に演算して新しい基準密集度（モデル値）を求めてデータベース１０５に与えて基準密集度（モデル値）を更新してもよい。
【００８３】
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
【００８４】
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。
【００８５】
ここでは、異常事態発生の判断は、入力された画像から１次元情報であるヒストグラム等を生成し、更に、周波数分析処理を行った周波数分析処理後１次元情報を現時刻における密集度として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数におけるy(xi)およびg(fi)を算出する。次に、y(xi)およびg(fi)が、基準密集度（モデル値）の分散値σから決定したＮσ（Ｎ：定数）以上である点xiの数を計算し、その点数が閾値以上であれば、異常事態であると判断することができる。なお、比較方法については、点xiごとに重み係数を乗算しても良い。
【００８６】
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
【００８７】
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
【００８８】
次に、上記のように構成された監視装置１００の動作について説明する。図７は、監視装置１００の動作の流れを示すフローチャートである。ここでは、データベース１０５には、モデル生成部１０４により例えば季節、時刻、天候、および曜日に応じて算出された複数の基準密集度がすでに保持されているとする。
【００８９】
カメラ１０１は、監視領域内の移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する（ステップＳ１０１）。移動体画像生成部１０２は、カメラ１０１で撮影された全体画像をフレーム毎に受けて全体画像に対してフレーム間差分処理、又は事前に用意された背景画像との背景差分処理を行う（ステップＳ１０２）。次に、密集度算出部１０３は、移動体画像生成部１０２により差分処理された画像（移動体画像）を１次元情報に変換し、周波数分析を行って現時刻の密集度を算出する（ステップＳ１０３）。状況判断部１０６は、データベース１０５に保持されている複数の基準密集度の中から、現在の季節、時刻、天候、および曜日に対応する基準密集度を選択する（ステップＳ１０４）。次に、状況判断部１０６は、選択した基準密集度と、密集度算出部１
０３により算出された現時刻の密集度とに基づいて、現時刻の状況を判断する。すなわち、状況判断部１０６は、現時刻の密集度が基準密集度の平均値および分散値σから所定値以上外れているか否かを判断する（ステップＳ１０５）。この判断の結果、所定値以上外れている場合（ステップＳ１０５でＹＥＳ）には、現時刻の状況を異常事態と判断する（ステップＳ１０６）。そして、警報発生部１０７２は、状況判断部１０６からの異常事態との判断結果を受けて警報音又は警報光を発生して監視者に報知する（ステップＳ１０７）。一方、上記判断の結果、所定値以上外れていない場合（ステップＳ１０５でＮＯ）には、現時刻の状況を通常状態と判断する（ステップＳ１０８）。
【００９０】
このように、本発明の実施の形態１によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態１によれば、移動物体又は群衆の密集度の算出が容易となる。
【００９１】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図８は、本発明の実施の形態２に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号を付し、その説明を省略する。
【００９２】
図８に示すように、本発明の実施の形態２に係る監視装置７００は、本発明の実施の形態１の構成に加えて、カメラ７０１及びカメラ制御部７０２を備えている。
【００９３】
カメラ７０１は、パン、チルト及びズームの少なくとも一つの機能を備えている。密集度算出部１０３は、周波数分析処理後１次元情報（密集度）をカメラ制御部７０２に与える。また、状況判断部１０６は、判断結果をカメラ制御部７０２に与える。カメラ制御部７０２について、図９を用いて説明する。図９は、（ａ）通常時の画像例１２０１、（ｂ）異常事態発生時の画像例１２０２、（ｃ）基準密集度の平均値をプロットした例１２０３、（ｄ）異常事態発生時の密集度１２０４を示す図である。なお、実際には、図９（ｃ）に示す基準密集度は各f(xi)が分散値を持っている。ここで、状況判断部１０６が、異常事態が発生していることを判断した場合、カメラ制御部７０２は、密集度算出部１０３からの１次元情報（密集度）が基準密集度と最も異なる領域にカメラ７０１が向くようにカメラ７０１を制御する。この時に、カメラ７０１が撮像する画像は、画像表示部１０７１に与えられ表示される。
【００９４】
例えば、図９（ａ）に示すような通常の状態から人が倒れて図９（ｂ）に示すように異常事態が発生し、状況判断部１０６が、異常事態が発生していると判断した場合、カメラ制御部７０２は、図９（ｄ）に示すような現時刻の密集度１２０４が図９（ｃ）に示すような基準密集度と最も異なる領域にカメラ７０１が向くようにカメラ７０１を制御する。これにより、図９（ｂ）に示す人が倒れている領域をカメラ７０１で撮像することができる。
【００９５】
また、カメラ制御部７０２では、周波数分析処理後１次元情報（密集度）がピーク値を持つ領域にカメラを制御することも可能である。
【００９６】
このように、本発明の実施の形態２によれば、本発明の実施の形態１の効果に加えて、異常事態の判定結果に基づいて異常事態の発生領域をカメラ７０１が撮像することにより詳細な画像を得ることができる。
【００９７】
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して説明する。図１０は、本発明の実施の形態３に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態３においては、本発明の実施の形態１と同じ構成要素には同じ参照符号を付し、その説明を省略する。
【００９８】
図１０に示すように、本発明の実施の形態３に係る監視装置８００は、本発明の実施の形態１の構成に、移動方向算出部８０１を追加し、モデル生成部１０４及び状況判断部１０６の代わりにモデル生成部８０２及び状況判断部８０３を有する。
【００９９】
移動方向算出部８０１は、移動体画像生成部１０２で差分処理を行った画像を受け、かつ、密集度算出部１０３の周波数処理部２１１によりフレーム毎に周波数分析処理を行った周波数分析処理後１次元情報を受ける。
【０１００】
以下、移動方向算出部８０１が、図５に示した周波数処理部２１１でフレーム毎にローパス処理を行った逆変換結果５０３を入力として用いた場合について述べる。
【０１０１】
図１１に示すように、移動方向算出部８０１は、画像領域選択部９０１及び画像照合部９０２を有している。画像領域選択部９０１は、図１２に示すように、周波数分析処理後１次元情報（密集度）である逆変換結果５０３に基づいて、その時刻に撮像された入力画像３０１の領域にローパス処理を行った逆変換結果５０３によって区切ることにより領域選択画像１００１を得る。次に、画像照合部９０２は、領域選択画像１００１を用いて現在の入力画像との照合を行う。この時に、画像照合部９０２は、領域選択画像１００１と現在の入力画像とが最も良く照合するように、領域選択画像１００１を拡大、縮小又は平行移動する。これにより、画像照合部９０２は、領域選択画像１００１と現在の入力画像とが最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータの情報を得る。このパラメータを１次元に並べたものを移動方向と呼ぶ。
【０１０２】
次に、画像照合部９０２は、得られた拡大又は縮小及び平行移動に関するパラメータ値をモデル生成部８０２及び状況判断部８０３に与える。
【０１０３】
モデル生成部８０２は、領域選択画像１００１と現在の入力画像とが最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータを並べた１次元データをデータベース１０５に保持させることも可能である。
【０１０４】
また、実施の形態１で説明したように、時間変動を考慮しても良い。具体的には、画像照合部９０２で得た、２枚の領域選択画像１００１が最も良く照合した時の拡大又は縮小に関するパラメータと縦軸方向及び横軸方向における平行移動パラメータを並べた１次元情報から、さらに、この１次元情報の各要素の時間変動を加味することによって、各要素の平均値と分散値を算出して保持する。ここで、基準移動方向として、データベース１０５に保持する情報は、拡大、縮小、平行移動などに関するパラメータ値を並べた１次元情報か、もしくは、各パラメータ値の平均値と分散値を並べた１次元情報である。
【０１０５】
なお、画像照合部９０２は、拡大、縮小及び平行移動を用いた照合方法以外により画像を照合するようにしてもよい。
【０１０６】
状況判断部８０３は、画像照合部９０２で算出した現時刻のパラメータ値とデータベース１０５により保持された通常時の画像より算出されたパラメータ値（基準移動方向）との照合を行う。ここで、状況判断部８０３は、現時刻における季節、時刻、天候又は曜日などの情報をもとに、データベース１０５に保持しているモデル（基準移動方向）を選択し、密集度算出部１０３から入力された現時刻における入力情報との比較を行う。
【０１０７】
この時、状況判断部８０３は、入力された画像から生成する１次元情報として、通常時の画像から算出するパラメータ値の生成方法と同様に、画像照合のために用いた拡大、縮小及び平行移動に関するパラメータ値を用いる。そして、状況判断部８０３は、現時刻の画像照合のために用いたパラメータ値を表す１次元情報と通常時の画像から算出した１次元情報との内積を計算して内積値を生成し、その内積値が閾値以上であるか否かを判断し判断結果を生成して報知部１０７に与える。この判断結果は、画像照合のために用いたパラメータ値を表す１次元情報と通常時の画像から算出した１次元情報との内積値が閾値以上である場合に異常事態の発生であることを示すものである。例えば、この監視装置８００は、通常時には移動物体及び群集が移動するにも拘わらず、グループ同士の抗争などで移動物体及び群集が移動しないような場合に異常事態と判定することが可能である。
【０１０８】
ここでは、異常事態発生の判断は、１次元情報の内積値に基づいて行われたが、通常時の画像から算出される１次元情報と入力される現時刻の画像から１次元情報との類似度に基づくものでもよい。この時、各要素に重み係数を乗算することも有効である。また、状況判断部８０３は、現時刻の移動方向とデータベース１０５に保持された基準移動方向とを比較して現時刻の移動方向が基準移動方向より所定の閾値以上大きい場合に異常事態であると判断するものである。
【０１０９】
なお、本発明の実施の形態１及び本発明の実施の形態３と組み合わせることも可能である。
【０１１０】
このように、本発明の実施の形態３によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の移動方向が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態３によれば、移動物体又は群衆の移動方向の算出が容易となる。
【０１１１】
（実施の形態４）
次に、本発明の実施の形態４について、図面を参照して説明する。図１３は、本発明の実施の形態４に係る監視装置の構成を示すブロック図である。なお、本発明の実施の形態４においては、本発明の実施の形態３と同じ構成要素には同じ参照符号を付し、その説明を省略する。
【０１１２】
図１３に示すように、本発明の実施の形態４に係る監視装置１１００は、本発明の実施の形態３の構成に加えて、カメラ１１０１及びカメラ制御部１１０２を備えている。
【０１１３】
ここでは、画像を複数の小領域に分割して、その小領域ごとに基準移動方向を算出する例について述べる。それぞれの処理は、小領域ごとに行う。カメラ１１０１は、パン、チルト及びズームの少なくとも一つの機能を備えている。密集度算出部１０３は、周波数分析処理後１次元情報をカメラ制御部１１０２に与える。また、状況判断部８０３は、判断結果をカメラ制御部１１０２に与える。カメラ制御部１１０２について、図１４を用いて説明する。図１４（ａ）は、通常時の画像例１３０１を示す図であり、入力画像を９個の小領域に分割した例を示している。図１４（ｂ）は、通常時の小領域ごとの移動方向例１３０２を示す図である。図１４（ｃ）は、異常事態発生時の画像例１３０３を示す図である。図１４（ｄ）は、異常事態発生時の移動方向例１３０４を示す図である。ここで、状況判断部１０６が、異常事態が発生していることを判断した場合、カメラ制御部１１０２は、異常事態発生時の移動方向例１３０４に示したように移動方向算出部８０１で算出された移動方向が、通常の移動方向（基準移動方向）と最も異なる領域（図１４（ｄ）の例では左下の領域）にカメラ１１０１が向くようにカメラ１１０１を制御する。この時に、カメラ１１０１が撮像する画像は、画像表示部１０７１に与えられ表示される。
【０１１４】
このように、本発明の実施の形態４によれば、本発明の実施の形態３の効果に加えて、異常事態の判定結果に基づいて異常事態の発生領域をカメラ１１０１が撮像することにより詳細な画像を得ることができる。
【０１１５】
なお、本実施の形態では、カメラ制御部１１０２は、移動方向算出部８０１で算出された移動方向が基準移動方向と最も異なる領域にカメラ１１０１が向くようにカメラ１１０１を制御しているが、これに限られるものではない。例えば、カメラ制御部１１０２は、移動方向算出部８０１で算出された移動方向が基準移動方向と所定の閾値以上異なる領域、かつ、１次元情報がピーク値を持つ領域にカメラ１１０１が向くようにカメラ１１０１を制御しても構わない。また、カメラ制御部１１０２は、例えば、移動方向算出部８０１で算出された移動方向が基準移動方向と所定値以上異なる複数の領域に順にカメラ１１０１が向くようにカメラ１１０１を制御しても構わない。
【０１１６】
（実施の形態５）
本実施の形態では、入力された画像から人物の頭部候補領域の面積、人物の占める面積を用いて密集度を算出する形態について述べる。本発明の実施の形態５に係る監視装置の構成は、図１と同様である。
【０１１７】
カメラ１０１は、移動している複数の移動物体又は群衆を含む対象物の画像を撮像して全体画像を生成する。ここでは、カラー画像もしくは赤外画像を用いることが望ましい。移動体画像生成部１０２は、背景差分処理を行っても良い。
【０１１８】
次に、密集度算出部１０３で、頭部の検出を行う場合について述べる。カメラ１０１で撮影された例えば図１５（ａ）に示すような全体画像１６０１から、黒領域（もしくは肌色領域）を抽出して、例えば図１５（ｂ）に示すような検出結果１６０２を得る。次に、頭部に相当する楕円の検出を行うことによって、例えば図１５（ｃ）に示すような楕円検出結果１６０３を得て、画像中に含まれる頭部候補領域の面積を算出する。なお、ここでは、マクロ的に密集度を算出するため、図１５に示す例のように、人物が重なっていた場合等、頭部に相当する楕円の検出が正常に動作しなかった場合においても、動作が破綻しない。また、頭部の数が正確に検出できないような場合においても、正常に動作することが期待できる。
【０１１９】
次に、密集度算出部１０３で、人物の画像中に占める面積を算出する場合について述べる。カメラ１０１は、赤外画像を用いることが望ましい。この場合、密集度算出部１０３で、赤外画像で検出された人物領域が占める画素数を算出する。もちろん、カラー画像で肌色検出等を行った後、人物領域を切り出しても良い。なお、ここでは、頭部候補領域の面積を検出する場合と同様に、人物領域は必ずしも正確に抽出される必要はない。
【０１２０】
ここで、密集度は、頭部候補領域の面積、もしくは人物領域が画像中に占める画素数、割合等で定義することが可能である。
【０１２１】
次に、モデル生成部１０４の基準密集度（モデル値）を生成する動作について、説明する。ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる頭部候補領域の面積もしくは、人物領域が画像中に占める画素数、割合である。
【０１２２】
なお、密集度の一時的な変動に対応するために、基準密集度は、一定時刻分の平均値と分散値を用いても良い。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
【０１２３】
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
【０１２４】
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。一例としては、密集度の値が、基準密集度（モデル値）の分散値σから決定したＮσ（Ｎ：定数）以上外れている場合に異常事態と判定することができる。
【０１２５】
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
【０１２６】
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
【０１２７】
このように、本発明の実施の形態５によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態５によれば、実施の形態１と比較して計算量が少なく、移動物体又は群衆の密集度の算出が容易となる。
【０１２８】
（実施の形態６）
次に、本発明の実施の形態６について説明する。本発明の実施の形態６に係る監視装置の構成は、図１と同様である。
【０１２９】
本実施の形態では、カメラ（撮像手段）１０１、移動体画像生成部１０２、密集度算出部１０３は、実施の形態１と同様であるため、説明は省略する。
【０１３０】
モデル生成部１０４は、基準密集度（モデル値）を生成する場合に単純に算術平均と分散を用いて演算することも可能であるが、ここでは、関数近似を用いて、基準密集度を算出、応用する例について説明する。
【０１３１】
この背景画像作成手法は、画素ごとに複数のガウス分布を用いて確率的に背景画像をモデル化し、逐次に入力される画像を学習する手法である。例えば、木々の揺れ等、常に変動している画素は、変動分を含めて背景とすることができるなどの利点がある。本発明の監視装置１００におけるモデル生成部１０４においては、通常時に入力される１次元情報を、背景と同様に基準となる情報と考えることによって、環境変化にも対応可能なモデルを生成することができる。
【０１３２】
ここで、基準密集度は、通常時の全体画像から作成された移動物体又は群衆の密集度であり、異常事態発生の判断の基準となる１次元情報である。
【０１３３】
基準密集度であるモデルを生成する方法としては、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いることができる。さらに、周波数処理部２１１において、図５に示すように１次元情報であるヒストグラム３０３をローパス処理した逆変換結果５０３を用いる方法と、フーリエスペクトラム又はケプストラム係数を用いる方法とがある。以下、１次元情報をローパスフィルタで処理した逆変換結果５０３を用いる方法について述べる。なお、フーリエスペクトラム又はケプストラム係数を用いたモデルを生成する方法についても、逆変換結果５０３と同じ手法を用いて生成することが可能である。
【０１３４】
モデル生成部１０４は、周波数処理部２１１により算出される所定日時の周波数分析処理後１次元情報（密集度）に基づいて移動物体又は群衆の基準密集度（モデル値）を算出演算する基準密集度算出手段を構成している。モデル生成部１０４は、演算した基準密集度をデータベース１０５に与えて保持させる。
【０１３５】
モデル生成部１０４は、季節、時刻、天候又は曜日ごとに基準密集度を演算することが可能であり、また、季節及び現時刻の時刻を勘案して複数の基準密集度を用意することもできる。
【０１３６】
また、天候によっては、人物等の数は変化すると考えられるために、天候によってそれぞれ基準密集度を用意することが望ましい。さらに、雨天時の屋外であれば、傘をさした人物が存在するために、前記周波数分析処理後１次元情報（密集度）も晴天、曇天時とは異なる。また、同様に、平日と週末といったように、曜日によって、人物等の数は変化すると考えられるために、それぞれ複数の基準密集度を用意することが望ましい。また、これらの基準密集度は、季節、時刻、天候又は曜日に関する情報と対応づけるように複数のものを生成し、監視時には現在の季節、時刻、天候又は曜日に応じてどの基準密集度を用いるかを決定することが可能である。
【０１３７】
ここで、周波数分析後１次元情報（密集度）として、逆変換結果５０３を用いた場合の、モデル生成部１０４の基準密集度演算例について説明する。逆変換結果５０３の代わりに、ヒストグラム３０３およびオンピクセルの縦軸検出値４０２を用いても同様の処理が可能である。
【０１３８】
逆変換結果５０３は、ｘ軸における各点xiごとに値y(xi)を持つ。ここで各点xiにおける逆変換結果であるy(xi)の時間変化をモデル化することによって、基準密集度（モデル値）を算出する。ここでは、Ｃ． Ｓｔａｕｆｆｅｒ，Ｗ．Ｅ．Ｌ．Ｇｒｉｍｓｏｎ：“Ａｄａｐｔｉｖｅ  ｂａｃｋｇｒｏｕｎｄ  ｍｉｘｔｕｒｅ  ｍｏｄｅｌｓ  ｆｏｒ  ｒｅａｌ−ｔｉｍｅ ｔｒａｃｋｉｎｇ，”ＣＶＰＲ'９９，Ｖｏｌ．２，ｐｐ．２４６−２５２における背景画像作成手法を用いた例について説明する。
【０１３９】
ここで、y(xi)の時間変化に対して、例えば図１６に点線で示すような複数のガウス分布を用いてフィッティングする。これにより、y(xi)の時間変化は、ガウス分布の分布数とそれぞれのガウス分布の平均値、分散値を示すパラメータとして表現することができる。
【０１４０】
本実施の形態では、このパラメータセットを基準密集度（モデル値）と呼び、データベース１０５に保持する。
【０１４１】
モデル化により、曜日や日時によって、密集度の変動が大きい場合は、前記分散値が大きな値となる。また、密集度の変動が小さく、人通りが少ない場合においては、前記平均値、前記分散値共に低い値となり、通常時の密集度を時間変動分も考慮してモデル化することが可能である。さらに、複数のガウス分布でモデル化することによって、信号機付近を監視する場合に、信号機の変化によって周期的に変動する密集度をモデル化することも可能である。
【０１４２】
また、フーリエスペクトラムやケプストラム係数を用いた場合は、各周波数もしくは各ケプストラム次数におけるスペクトラム値およびケプストラム値の時間変動を用いて、モデル化することが可能である。
【０１４３】
例えば、フーリエスペクトラムを用いた場合は、ある周波数fiごとのパワースペクトラム値g(fi)を持つため、g(fi)の時間変動をガウス分布の分布数とそれぞれのガウス分布の平均値、分散値を示すパラメータをセットとして表現することができる。
【０１４４】
ここで、データベース１０５には、基準密集度（モデル値）として、前記パラメータセットを保持する。もちろん、時間ごとに前記パラメータセットを更新することも可能である。
【０１４５】
次に、状況判断部１０６について述べる。状況判断部１０６は、現在の季節、時刻、天候又は曜日などの情報を基に、データベース１０５に保持している基準密集度（モデル値）を選択し、選択された基準密集度と密集度算出部１０３から入力された現時刻における密集度（１次元情報）との比較を行って、現時刻における密集度が基準密集度と異なるか否かを判断して判断結果を生成して報知部１０７に与える。
【０１４６】
状況判断部１０６において、現時刻における密集度と基準密集度との比較は、基準密集度（モデル値）の平均値および分散値σからの外れ具合を計算する。
【０１４７】
ここでは、異常事態発生の判断は、入力された画像から１次元情報であるヒストグラム等を生成し、更に、周波数分析処理を行った周波数分析処理後１次元情報から現時刻における密集度として、ｘ軸における各点もしくは、各周波数、各ケプストラム次数におけるy(xi)およびg(fi)を算出する。次に、y(xi)およびg(fi)が、ガウス分布でモデル化された基準密集度（モデル値）から、閾値およびその範囲を設定することによって、異常事態か否かを判定する。
【０１４８】
次に、報知部１０７について述べる。報知部１０７は、画像表示部１０７１及び警報発生部１０７２を具備している。
【０１４９】
画像表示部１０７１は、状況判断部１０６からの判断結果を受けて表示して監視者に報知する。警報発生部１０７２は、状況判断部１０６からの判断結果を受けて判断結果が異常事態の発生を示している時に警報音又は警報光を発生して監視者に報知する。
【０１５０】
なお、モデル生成部１０４は、環境変化によって人通りなどの移動物体の分布が変化した場合にも対応するために、基準密集度（モデル値）を所定時間毎に演算して新しい基準密集度（モデル値）を求めてデータベース１０５に与えて基準密集度（モデル値）を更新してもよい。
【０１５１】
このように、本発明の実施の形態６によれば、全体画像に存在する移動物体又は群衆の画像を個々に検出及び追跡するのではなくマクロ的に捉えることによって、人物の顔などの部位を正確に検出できない場合においても、移動物体又は群衆の密集度が通常時と大きく異なる場合に異常事態と判断することによって検出ミス、追跡ミス及び照合ミスを防止し監視者に注意を促すことができる。また、本発明の実施の形態６によれば、移動物体又は群衆の密集度の算出が容易となり、実施の形態１の効果に加えて、時間変動をより正確にモデル化することができる。
【産業上の利用可能性】
【０１５２】
本発明に係る監視装置は、例えば駅、商店街、道路等において、移動物体又は群衆の異常事態を判断するのに有用である。
【図面の簡単な説明】
【０１５３】
【図１】本発明の実施の形態１に係る監視装置の構成を示すブロック図である。
【図２】本発明の実施の形態１に係る監視装置の密集度算出部の構成を示すブロック図である。
【図３】本発明の実施の形態１に係る監視装置における１次元情報変換を説明するための図である。
【図４】本発明の実施の形態１に係る監視装置における１次元情報変換を説明するための他の図である。
【図５】本発明の実施の形態１に係る監視装置におけるローパス処理を説明するための図である。
【図６】本発明の実施の形態１に係る監視装置におけるモデルの生成を説明するための図である。
【図７】本発明の実施の形態１に係る監視装置の動作の流れを示すフローチャートである。
【図８】本発明の実施の形態２に係る監視装置の構成を示すブロック図である。
【図９】本発明の実施の形態２に係る監視装置のカメラ制御部の動作を説明するための図である。
【図１０】本発明の実施の形態３に係る監視装置の構成を示すブロック図である。
【図１１】本発明の実施の形態３に係る監視装置の移動方向算出部の構成を示すブロック図である。
【図１２】本発明の実施の形態３に係る監視装置の動作を説明するための図である。
【図１３】本発明の実施の形態４に係る監視装置の構成を示すブロック図である。
【図１４】本発明の実施の形態４に係る監視装置のカメラ制御部の動作を説明するための図である。
【図１５】本発明の実施の形態５に係る監視装置における頭部候補領域検出の動作を説明するための図である。
【図１６】本発明の実施の形態６に係る監視装置におけるガウス分布によるモデル化を説明するための図である。
【図１７】従来の監視装置の構成を示すブロック図である。
【符号の説明】
【０１５４】
１００、７００、８００、１１００    監視装置
１０１、７０１、１１０１    カメラ
１０２    移動体画像生成部
１０３    密集度算出部
１０４、８０２    モデル生成部
１０５    データベース
１０６、８０３    状況判断部
１０７    報知部
２１０    １次元情報変換部
２１１    周波数処理部
７０２、１１０２    カメラ制御部
８０１    移動方向算出部
９０１    画像領域選択部
９０２    画像照合部
１０７１    画像表示部
１０７２    警報発生部
【図１】
2007028680.tif 000003
【図２】
2007028680.tif 000004
【図３】
2007028680.tif 000005
【図４】
2007028680.tif 000006
【図５】
2007028680.tif 000007
【図６】
2007028680.tif 000008
【図７】
2007028680.tif 000009
【図８】
2007028680.tif 000010
【図９】
2007028680.tif 000011
【図１０】
2007028680.tif 000012
【図１１】
2007028680.tif 000013
【図１２】
2007028680.tif 000014
【図１３】
2007028680.tif 000015
【図１４】
2007028680.tif 000016
【図１５】
2007028680.tif 000017
【図１６】
2007028680.tif 000018
【図１７】
2007028680.tif 000019