(57)【要約】【課題】監視対象領域の一部に存在する樹木により領域内の環境変化の程度が著しく異なる場合においても、環境変化の程度に基づいて監視対象領域を分割し、分割した領域に対して最適なパラメータを設定することにより、ユーザによるパラメータ設定を簡略化し、また、精度よく検出すべき物体を検出することができる監視システムを提供する。【解決手段】監視装置において、設定するパラメータを決定するためのプレ画像処理を実行して、環境変化の状況を表す２つ以上の情報を収集する。そして、収集した情報に基づいて監視対象領域をセグメンテーションし、分割された各エリアに属性を付加する。そして、各分割エリアは付加された属性に基づいて、最適なパラメータを設定する。【選択図】図４
2013187640.tif 000002
【特許請求の範囲】
【請求項１】
監視対象領域の画像を撮像する撮像装置と、前記撮像された画像を処理し前記監視対象領域内の監視情報を収集する監視装置と、前記撮像された画像あるいは前記監視情報の少なくとも１つを表示する表示装置を有した監視システムにおいて、前記監視装置は、前記撮像された画像の任意の範囲毎に最適なパラメータを自動的に設定するパラメータ設定手段を備え、前記自動的に設定されたパラメータを使用して物体検出を行なうことを特徴とする監視システム。
【請求項２】
請求項１記載の監視システムにおいて、設定するパラメータを取得するために必要な情報を収集し、前記パラメータ設定手段で設定するパラメータを決定するための画像処理を実行するプレ画像処理手段を備えたことを特徴とする監視システム。
【請求項３】
請求項１記載の監視システムにおいて、前記パラメータ設定手段は、環境変化の度合いを収集し、環境変化の状況を表す２つ以上の情報を収集する環境変化取得手段と、前記監視対象領域を複数のエリアに分割するセグメンテーション手段を有し、前記分割されたエリアに対して前記環境変化の度合いから判定された属性を付加することを特徴とする監視システム。
【請求項４】
請求項３記載の監視システムにおいて、前記パラメータ設定手段は、前記セグメンテーション手段で分割されたエリアの属性に最適なパラメータや物体検出手法を設定することを特徴とする監視システム。
【請求項５】
請求項３乃至４記載のいずれかに記載の監視システムにおいて、前記パラメータ設定手段は、前記環境変化取得手段で得られた情報より、任意の範囲毎の局所しきい値を算出することを特徴とする監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象となる領域（監視対象領域）を監視する監視システムに関し、特に、監視対象領域を撮像した映像からセグメンテーションを行なった背景物の属性を判定し、属性毎に最適なパラメータを自動的に設定することができる監視システムに関する。
【背景技術】
【０００２】
監視システムは、例えば、テレビジョンカメラ（ＴＶカメラ）等の撮像装置を用いて、監視対象領域内に侵入する物体を撮像し、撮像した映像から侵入する物体を検出したか否かを判定することによって監視を行う。また、監視システムでは、監視員による有人監視ではなく、監視装置または監視システムが自動的に監視を行う監視システムが従来から検討されている。
監視対象領域内に侵入する物体を自動的に検出する技術としては、例えば、背景差分法と呼ばれる画像処理方法を用いた検出技術が、従来から広く用いられている（例えば、特許文献１または特許文献２参照。）。
【０００３】
差分法の画像処理について、図２及び図３を用いて説明する。図２は、差分法によって輝度値が変化した領域を検出する画像処理手順の一例の概略を説明するための模式図である。また、図３は、差分法を応用した従来の監視システムの典型的な処理手順の一例を示すフローチャートである。
【０００４】
まず、図２を用い、差分法によって撮像装置から監視装置に逐次入力される入力画像について、輝度の変化領域を検出する手順を説明する。
図２において、画像201は、撮像装置から逐次入力される入力画像であり、画像202は、予め作成した検出すべき対象物体が映っていない背景画像である。
差分器205は、この２枚の画像201及び画像202を入力とし、入力された２枚の画像について、画素値（各画素の輝度値）の差分を計算し、差分画像203を得る。次に、二値化器206は、差分画像203の各画素について、しきい値Ｔｈ（実験的に決定する。例えば、Ｔｈ＝２０）でしきい値処理し、しきい値Ｔｈ未満の画素値を“０”とし、しきい値Ｔｈ以上の画素の画素値を“２５５”として、二値化画像204を得る。
これによって差分器205は、入力画像201に映った人型の物体207を差分が生じた領域208（入力画像の輝度の変化領域）として計算する。さらに、二値化器206は、この領域208を画素値“２５５”の画像209として検出する。
なお、図２及び図３においては、各画素の画素値（輝度値）を８ビットで計算している。従って、各画素は、０〜２５５の２５６段階の輝度値でランク分けされている。
【０００５】
次に、図３のフローチャートを用いて、差分法を応用した監視システムの典型的な処理手順を説明する。監視システムにおいて、このような処理は、一般的に、監視装置のＣＰＵ（Central Processing）または画像処理部が監視システム内の機器を制御して実行する。
図３において、初期化処理ステップ301では、差分法による監視システムを実行するために、外部機器、変数、画像メモリ等の初期化を行なう。
画像入力ステップ302では、撮像装置から、例えば、幅640画素、高さ480画素の入力画像（画像201）を得る。
差分処理ステップ303では、画像入力ステップ302で得た入力画像（画像201）と予め作成しておいた基準となる背景画像（画像202）について、画素毎の輝度値の差分を計算し、計算した差分値を当該画素の輝度値とした差分画像（画像203）を得る。
二値化処理ステップ304では、差分処理ステップ303で得られた差分画像（画像203）の画素値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像（画像204）を得る。
【０００６】
次に、ラベリング処理ステップ305では、二値化処理ステップ304で得られた二値化画像（画像204）の中の画素値“２５５”となる画素のかたまり（変化領域（画像209））を検出して各々に番号を付けて（ラベリングして）区別できるようにする。なお、図２では、一例として、画像209（変化領域）を１つだけ検出したとして説明しているが、複数検出されることもある。
物体存在判定ステップ306では、番号付けされた変化領域（画像209）のそれぞれに対して、大きさ、面積、滞在時間、移動距離等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定する。そして、検出条件に合致する場合には、検出すべき物体が存在すると判定して警報・検出情報表示ステップ307に分岐し、検出条件に合致しない場合には、検出すべき物体が存在しないと判定して画像入力ステップ302に分岐する。
警報・検出情報表示ステップ307では、検出すべき物体が存在することを、例えば、監視モニタ、警告灯、警告ブザー等の少なくとも１つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
【０００７】
そして、背景更新ステップ308では、画像入力ステップ302で得た入力画像を用いて背景画像を更新する。
背景画像の更新方法には、例えば、現在の背景画像に現在の入力画像を一定の重み（更新率）をかけて加重平均し、新しい背景画像を逐次作成する方法がある。
また、このような監視システムでは、検出された物体を矩形で囲んだり移動経路を描画した画像や、撮像装置のズームレンズや雲台制御によって検出された物体に注目した画像をモニタなどの表示装置に表示する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００２−２１８４４３号公報
【特許文献２】特開２０００−１０５８３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上述の従来の監視システムにおける差分処理では、画像に対して一様なしきい値Ｔｈを使用して物体検出を実行する。しかし、画像内のすべての領域に対して最適な差分処理を実行して物体検出するための一様なしきい値Ｔｈを設定することが難しいという問題があった。
例えば、複数の樹木が存在するような環境を監視対象領域として物体を検出する場合には、強風で揺れる木の葉やその影を誤検出しないように、しきい値Ｔｈを通常時よりも高め（例えば、Ｔｈ＝５０）に設定して差分処理を実行する。しかし、同じ画像内の樹木が全く影響しない領域でも、同じしきい値が適応されるため、本来検出するべきである侵入物体（人や車）までも変化領域であると判定し難くなってしまい、検出の見逃しの要因となる。
また、上記環境において、霧が発生するなどの要因によってコントラストが低下した場合には、人や車を検出し易くするために、しきい値Ｔｈを通常時よりも低め（例えば、Ｔｈ＝１０）に設定して差分処理を実行する。しかし、例えば、樹木の領域等の誤検出が懸念される領域のしきい値Ｔｈも同様に下がる。このため、風による葉の小さな揺れまでも変化領域であると判定してしまい、誤検出の要因となる。
【００１０】
特許文献１には、監視視野領域（監視対象領域）の照度や時間帯、撮像装置のレンズの絞り等が変わった場合でも、容易に侵入物体を検出するしきい値を設定できる侵入物体検出装置及び侵入物体検出方法が開示されている。
また、特許文献２には、物体検出するために、物体検出のパラメータとして、しきい値及び他のパラメータに基づいて、対象物体以外の動く物体が存在した場合にこの物体を検出対象外として除外することができ正確に対象物体のみを追跡することができる物体認識方法及び物体追跡監視装置が開示されている。
しかし、特許文献１も特許文献２も、画像に対して一様なしきい値Ｔｈを使用して物体検出を実行するものであることについては、上述の従来技術の問題点と同様である。
【００１１】
本発明は、このような従来の事情に鑑み為されたもので、例えば、監視対象領域の一部に樹木の領域等の誤検出が懸念される領域があり、この誤検出が懸念される領域内の環境変化の程度が著しく異なる場合においても、監視対象領域の環境変化の度合いからエリアをセグメンテーションし、セグメント情報より背景物の属性を推定し、セグメントの属性に対応したパラメータを設定することにより、ユーザによるパラメータ設定を簡略化し、また、精度よく検出したい物体を検出することができる監視システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の目的を達成するため、本発明に係る監視システムは、監視対象領域の画像を撮像する撮像装置と、前記撮像された画像を処理し前記監視対象領域内の監視情報を収集する監視装置と、前記撮像された画像あるいは前記監視情報の少なくとも１つを表示する表示装置を有した監視システムにおいて、前記監視装置は、前記撮像された画像の任意の範囲毎に最適なパラメータを自動的に設定するパラメータ設定手段を備え、前記自動的に設定されたパラメータを使用して物体検出を行なうようにしたものである。
【００１３】
さらに、上記本発明に係る監視システムは、設定するパラメータを取得するために必要な情報を収集し、前記パラメータ設定手段で設定するパラメータを決定するための画像処理を実行するプレ画像処理手段を備えたようにしたものである。
【００１４】
さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、環境変化の度合いを収集し、環境変化の状況を表す２つ以上の情報を収集する環境変化取得手段と、前記監視対象領域を複数のエリアに分割するセグメンテーション手段を有し、前記分割されたエリアに対して前記環境変化の度合いから判定された属性を付加するようにしたものである。
【００１５】
さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、前記セグメンテーション手段で分割されたエリアの属性に最適なパラメータや物体検出手法を設定するようにしたものである。
【００１６】
さらに、上記本発明に係る監視システムの前記パラメータ設定手段は、前記環境変化取得手段で得られた情報より、任意の範囲毎の局所しきい値を算出するようにしたものである。
【発明の効果】
【００１７】
本発明によれば、画像内で発生する環境変化を学習し、セグメントの属性に対応したしきい値をはじめとするパラメータを設定する。例えば、環境変化の程度に基づいて監視対象領域を分割し、分割した領域に対して最適なパラメータを設定することによって、ユーザによるパラメータ設定を簡略化することができる。さらに、精度良く物体の検出が行なうことが可能となる。
この結果、監視対象領域の一部に存在する樹木により領域内の環境変化の程度が著しく異なる場合においても、精度よく検出すべき物体を検出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の監視システムの一実施例の構成を示すブロック図である。
【図２】差分法による処理の手順の一例を説明するための模式図である。
【図３】従来の監視システムの典型的な処理手順の一例を説明するためのフローチャートである。
【図４】本発明の監視システムのプレ画像処理の手順の一実施例を説明するためのフローチャートである。
【図５】本発明の監視システムの画像処理の詳細手順の一実施例を説明するためのフローチャートである。
【図６】入力画像の一例を示す図である。
【図７】本発明の監視システムの処理結果の一例を示す図である。
【図８】本発明の監視システムの処理結果の一例を示す図である。
【図９】本発明の監視システムの処理結果の一例を示す図である。
【図１０】本発明の監視システムの処理結果の一例を示す図である。
【図１１】本発明の監視システムの処理結果の一例を示す図である。
【図１２】本発明の監視システムの処理結果の一例を示す図である。
【図１３】本発明の監視システムの処理結果の一例を示す図である。
【図１４】本発明の監視システムの処理結果の一例を示す図である。
【図１５】本発明の監視システムの処理結果の一例を示す図である。
【図１６】本発明の監視システムの処理結果の一例を示す図である。
【図１７】本発明の監視システムの設定ツールに表示された図の一例を示す図である。
【発明を実施するための形態】
【００１９】
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。
しかし、本発明は、以下の実施例に限定されるわけではなく、本発明が属する技術分野において、通常の知識を有する者であれば、本発明の思想と精神に基づいて、本発明を修正若しくは変更できる発明が含まれることは勿論のことである。
なお、各図の説明において、既に説明した図２及び図３を含め、共通な機能を有する構成要素には同一の参照番号を付し、できるだけ説明の重複を避ける。
【００２０】
図１は、本発明の監視システムのハードウエア構成の一実施例を示すブロック図である。図１の監視システムは、撮像装置101、監視装置102、表示装置109、及び映像記録装置111によって構成されている。また、監視装置102は、画像入力Ｉ／Ｆ（Interface）103、ＣＰＵ（Central Processing Unit）または画像処理部（いか、ＣＰＵと称する）104、プログラムメモリ105、画像メモリ106、ワークメモリ107、画像出力Ｉ／Ｆ108、及びデータバス110で構成されている。
図１において、撮像装置101は、監視装置102の画像入力Ｉ／Ｆ103に接続され、表示装置109及び映像記録装置111は、監視装置102の画像出力Ｉ／Ｆ108に接続されている。また、監視装置102において、画像入力Ｉ／Ｆ103、ＣＰＵ104、プログラムメモリ105、画像メモリ106、ワークメモリ107及び画像出力Ｉ／Ｆ108は、データバス110に接続されている。
なお、検出すべき物体が存在することを視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝えるための手段（例えば、図３のフローチャートの警報・検出情報表示ステップ307で説明した監視モニタ、警告灯、警告ブザー等は、省略した。
【００２１】
図１において、撮像装置101は、監視対象領域（撮像視野）を撮像し、撮像した画像を映像信号に変換し、変換した映像信号を画像入力Ｉ／Ｆ103に出力する。画像入力Ｉ／Ｆ103は、入力した映像信号を監視装置102で扱うフォーマット（例えば、幅640画素、高さ480画素）の画像データに変換し、データバス110を介して画像メモリ106に出力する。画像メモリ106は、画像入力Ｉ／Ｆ103から入力された画像データを蓄積する。
ＣＰＵ104は、プログラムメモリ105に保存されている動作プログラムに従って、ワークメモリ107を使って画像メモリ106に蓄積された画像データの解析を行う。
以上の解析の結果、ＣＰＵ104は、撮像装置101の撮像視野（監視対象領域）内の検出物体などの情報を得る。そして、ＣＰＵ104は、物体を検出した時の情報（以下、検出物体情報と称する）をワークメモリ107に保持する。
検出物体情報とは、例えば、検出物体の名称、検出された時刻、物体の存在する領域とその軌跡、「人」や「自動車」などの検出物体の種別などである。なお、検出物体の名称は、例えば、撮像日時や検出総数などを用いて自動的に付加する。
ＣＰＵ104は、データバス110と画像出力Ｉ／Ｆ108を介して、例えば、処理結果画像を、表示装置109に出力する。画像出力Ｉ／Ｆ108は、ＣＰＵ104からの信号を表示装置109が使用できるフォーマット（例えば、NTSC（National Television System Committee）映像信号）に変換して、表示装置109に出力する。表示装置109は、処理結果画像等、ＣＰＵ104から入力された画像を表示する。また、ＣＰＵ104は、データバス110から画像出力Ｉ／Ｆ108を介して映像記録装置111に情報、例えば、処理結果画像や検出物体情報を記録する。
【００２２】
次に、このように構成された監視システムにおいて、物体検出に使用する画像から、画像内の異なる環境変化の度合いを学習し、学習結果より得られた背景物のエリアの属性毎に最適なパラメータを設定する手順と其の処理内容について、図４によって説明する。図４は、本発明の監視システムのプレ画像処理の一実施例を説明するためのフローチャートである。
図４のフローチャートは、監視対象領域を複数のサブ領域に分割（セグメンテーション）し、分割したサブ領域（分割エリア）毎に最適なパラメータを設定するための画像処理の手法や物体検出手法を示している。以降、この画像処理を“プレ画像処理”として説明する。プレ画像処理は、長時間行なうほど学習データが蓄積されるため、処理結果として得られるパラメータの信頼性が向上する。
そして、このプレ画像処理の終了後、本発明の監視システムでは、例えば、図３で説明した通常の監視システムでの物体検出処理を開始する。なお、図３は、背景画像との差分を計算して物体を検出する差分処理（背景差分処理）であるが、その他に、同一領域を撮像した画像であって、撮像時間が異なる画像同士の差分を計算して物体を検出する差分処理（フレーム間差分処理）する方法でも良い。
【００２３】
図４において、初期化処理ステップ401では、差分法による監視システムを実行するために、外部機器、変数、画像メモリ等の初期化を行なう。
画像入力ステップ402では、撮像装置101から、例えば、幅640画素、高さ480画素の入力画像（画像201）を得る。
差分処理ステップ403では、画像入力ステップ402で得た入力画像と予め作成しておいた差分の基準となる背景画像によって、各画素について輝度値の差分を計算する。
次に、最適二値化処理ステップ404では、差分処理ステップ403で得られた差分画像と、各画素に対応したしきい値Ｔｈ_ｐｉｘ（詳細は後述する）を用いて、差分画像の画素値（差分値）がしきい値Ｔｈ_ｐｉｘ（例えば、Ｔｈ_ｐｉｘ＝１００）未満の画素値を“０”とし、差分画像の画素値（差分値）がしきい値Ｔｈ_ｐｉｘ以上の画素の画素値を“２５５”として二値化画像を得る。
【００２４】
環境変化抽出処理ステップ405では、二値化画像の作成を行なう。作成された二値化画像は、最適二値化処理ステップ404で使用するしきい値Ｔｈ_ｐｉｘを計算するために使用する。本ステップ405の二値化処理の内容は、全画素で一様なしきい値Ｔｈを使用して二値化処理するもので、既存の二値化処理ステップ304と同様の処理であるので、あらためて説明しない。このように、１枚の画像全体に対して一律のしきい値Ｔｈを用いることで、環監視対象領域内の環境変化が大きい範囲が、白画素として現れる二値化画像を取得するものである。
即ち、環境変化抽出処理ステップ405では、差分処理ステップ403で得られた差分画像の画素値（差分値）が所定のしきい値Ｔｈ（例えば、Ｔｈ＝２０）未満の画素値を“０”、しきい値Ｔｈ以上の画素の画素値を“２５５”として二値化画像を得る。例えば、１画素の画素値を８ビットで計算する。即ち、１画素が、０から２５５までの値を持つ。本ステップ405で作成した二値化画像を環境変化画像と称して、以降の説明を行なう。
【００２５】
ラベリング処理ステップ406では、最適二値化処理ステップ404で得られた二値化画像の中の画素値“２５５”となる画素のかたまり（変化領域）を検出して各々に番号を付けて区別できるようにする。
物体存在判定ステップ407では、番号付けされた変化領域のそれぞれに対して、大きさ、面積（サイズ）、速度（移動速度）、検出位置、移動距離、移動範囲等の検出条件に基づいて、当該変化領域が検出条件に合致するか否かを判定する。検出条件に合致する場合には、検出すべき物体が存在するとして警報・検出情報表示ステップ408に分岐し、検出条件に合致しない場合には、検出すべき物体が存在しないとして環境変化取得処理ステップ409に分岐する。なお、変化領域が検出条件に合致するか否かは、例えば、特許文献２等に記載されているように、周知の技術（画像処理の手法や物体検出手法）で判定する。
警報・検出情報表示ステップ408では、検出すべき物体が存在することを、例えば監視モニタ、警告灯、警告ブザー等の少なくとも１つ以上の手段を用いて視覚、聴覚、嗅覚、触覚、味覚等の刺激として監視員に伝える。
【００２６】
環境変化取得処理ステップ409では、ステップ408までで得られた処理結果を使って、監視対象領域の環境変化を収集する。ここで、環境変化取得処理ステップ409の詳細について、図５〜図１０を用いて説明する。
図５は、本発明の監視システムの画像処理の詳細手順の一実施例を説明するためのフローチャートである。また、図６は、入力画像の一例を示す図であり、撮像装置101が監視対象領域を撮像して得た画像である。また、図７、及び図８は、本発明の一実施例の監視システムによる処理の途中の結果の一実施例を説明するための図である。そして、図１０は、本発明の一実施例の監視システムによる処理の結果の一実施例を説明するための図である。
図５の環境変化取得処理ステップ409の詳細手順のフローチャートについて、図６の入力画像を例にして、その処理結果を、図７〜図１０を参照して説明する。
図６は、監視対象領域（ある工場の出入門口付近）を撮像装置101で撮像して取得した入力画像600である。入力画像600には、建物（守衛所）601、歩道602、芝生604及び605、車道606、樹木607及び608、車両609が映っている。なお、車両609は、車道606を移動して、現在の位置に停車しているタクシーである。
【００２７】
変化強度収集ステップ501は、環境変化抽出処理ステップ405で得られた環境変化画像から環境変化の度合いを収集するステップである。例えば、監視対象領域内において樹木の揺れや水面のゆらぎ等が発生したときに、二値化処理を行なうと、揺れのある画素がしきい値を超えた画素値の画素になる。その結果、二値化画像（環境変化画像）には、揺れのある画素が白画素（画素値が“２５５”である画素）として現れ、揺れの無い画素が黒画素（画素値が“０”である画素）として現れる。変化強度収集ステップ501では、この二値化画像の白画素を環境変化のある領域と判定し、白画素を１処理あたりの環境変化の変化量として取り扱う。
本ステップ501では、白画素の有無を判定するための二値化画像として、環境変化抽出処理ステップ405で得られた環境変化画像を使用し、最適二値化処理ステップ404で得られる二値化画像を用いない。
この理由は、最適二値化処理ステップ404で得られる二値化画像では、しきい値Ｔｈ_ｐｉｘが、画素毎に最適な値（局所しき値）となっているからである。例えば、環境変化の発生し易い樹木の領域では、局所しきい値Ｔｈ_ｐｉｘが他の領域よりも高い値に設定される。このため、樹木が風に揺れても検出されないようになっている。従って、最適二値化処理ステップ404で得られる二値化画像では、樹木が揺れた時に、白画素として現れる頻度が低下してしまい、正確な環境変化が収集できなくなるからである。
【００２８】
従って、環境変化抽出処理ステップ405で得られた環境変化画像は、変化強度収集ステップ501で使用するために保持しておく。また、二値化画像から収集する環境変化の変化量を長時間蓄積するための変数（以下、環境強度変数KHとする）を予め準備しておく。環境強度変数KHは、二値化画像の各画素に対する値を保持する必要があるため、例えば、KH［640］［480］のような配列で準備しておくと処理を実行し易い。なお、ここで、［640］は、入力画像の横方向の画素数、［480］は入力画像の高さ方向の画素数である。
まず、二値化画像の全ての画素について白画素であるか判定を行なう。そして、白画素が存在した場合、この画素を環境変化のある画素と判定して、該当する画素に対応付けされた環境強度変数KH（例えば、KH［i］［j］）に１を加算することで環境変化の変化量を保持させる。この変化強度収集ステップ501を、同一の監視対象領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行することによって、環境変化のある画素と無い画素は、環境強度変数KHの値の大小で判定することができる。
図７は、変化強度収集ステップ501において、環境強度変数KH［640］［480］を求め、それを画像として表示したものである。図７は、６５５３５フレームを使った投票画像（ＥＷ曇風）をＳＱＲＴした画像（σ平均値を使用）である。
図７のように、例えば常に樹木が揺れているなど連続的に環境変化のある画素では、毎フレーム１加算されることによって環境強度変数KHが非常に大きな値なる。逆に、曇天の道路（車道エリア701、歩道エリア702）など環境変化の殆どない画素では、長時間経過しても１加算されることが少ないため環境強度変数KHが限りなく０に近い値となる。
また、車609も、樹木の揺れと同様に、環境変化のある画像としてカウントされてしまい、車609の車影709が薄らと見えている。
一方、図８は、ステップ406までで判明している物体の領域内では、白画素をカウントしないようにした改良版で、ＥＷ日照変化曇りＰＴｃ６・ＴＯｂｊ（マージ付）を除いた二値化画像の累積（４０００フレーム）である。図８では、車609の車影は見えない。
【００２９】
セグメンテーション情報収集ステップ502は、画像の特徴を用いて監視対象領域を分割するための情報を収集するステップである。セグメンテーション情報収集ステップ502では、例えば、入力画像を用いてソーベルフィルタやラプラシアンフィルタ等を使ってエッジ検出処理を実行する。そして、ステップ502では、得られたエッジ画像を用いて監視対象領域を分割するための情報（以下、この情報をエリア分割線と称する）を収集する。
エッジ画像は、例えば、二値化画像と同様に、しきい値を設けて白画素または黒画素で表した画像である。エッジ画像では、白画素をエッジ部分の画素としたときに、その情報を蓄積することでエリア分割線の信頼度を上げる。このため、変化強度収集ステップ501と同様に、エッジ画素を長時間蓄積するための変数（以下、セグメンテーション変数と称する）を予め準備しておく。
セグメンテーション変数も、エッジ画像の各画素に対する値を保持する必要があるため、例えば、SG［640］［480］のような配列で準備しておくと処理を実行し易い。
セグメンテーション情報収集ステップ502では、エッジ画像中の白画素をエッジ画素と判定して、該当する画素（エッジ画素）に対応付けされたセグメンテーション変数（例えば、SG［i］［j］）に１を加算することでエッジ位置を保持する。
このセグメンテーション情報収集ステップ502を、同一領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行することによって、エッジの有無はセグメンテーション変数の値の大小で判定することができる。ここで、セグメンテーション変数を画像として表示した一例を、図９に示す。図９の画像900は、例えば、建物の輪郭など環境変化の下においても不変なエッジ画素では、毎フレーム１加算されることによってセグメンテーション変数が非常に大きな値なる。逆に、建物の影など日照変化等で発生する輪郭は一時的なものであるため、長時間で見ると加算された回数はそれ程多くなく、セグメンテーション変数上ではエッジ画素と判定されないレベルの値となる。
【００３０】
次に、物体侵入エリア情報収集ステップ503は、物体存在判定ステップ407で得られた検出すべき物体の情報から物体の侵入する位置情報を収集するステップである。物体侵入エリア情報収集ステップ503では、検出すべき物体の位置（例えば、検出された物体の外接矩形の足元の座標）を物体侵入エリアとする場合に、その情報を蓄積することで情報の信頼度を上げる。このため、ステップ503では、変化強度収集ステップ501と同様に、検出すべき物体の範囲を長時間蓄積するための変数（以下、物体エリア変数とする）を予め準備しておく。
物体エリア変数も、物体の存在する位置を保持する必要があるため、例えば、OBJ［640］［480］のような配列で準備しておくと処理を実行し易い。検出すべき物体の位置を物体侵入エリアと判定して、該当する画素に対応付けされた物体エリア変数（例えば、OBJ［i］［j］）に１を加算することで物体の位置を保持する。
この物体侵入エリア収集ステップ503を、同一領域を撮像した画像であって、撮像時間が異なる複数の入力画像について繰り返し実行する。この結果、１つの物体が通行した経路が、軌跡のようなラインとして記録され、かつ、画像1000として表示可能となり、物体の存在するエリアであるか否かを物体エリア変数の値の大小で判定することができる（図１０参照。）。
【００３１】
例えば、歩道など人が頻繁に通るエリアでは、物体が通行する都度加算される。これによって、このエリアの物体エリア変数は非常に大きな値なる。逆に、樹木の集合している場所など人の通行が殆どないエリアでは、長時間カウントしても加算される回数は少ないため、このようなエリアの物体エリア変数は０に近い値となり普段人が通過しないエリアであると判定できる。
また、人、車など種別毎にエリア情報を収集する場合は、種別毎に物体エリア変数を用意して、物体の種別に対する物体エリア変数に加算していく。
【００３２】
次に、環境変化収集判定ステップ410では、パラメータ設定において十分な環境データが収集できたかを判定する。判定方法としては、例えば“プレ画像処理を開始してから２４時間以上経過したか”などと収集時間で指定するでも良いし、“環境変化取得処理ステップ409を百万回以上実行したか”などと実行回数を判定条件にしても良い。判定条件が達成された場合には、データが十分に集まったと判定してセグメンテーションステップ412に分岐し、未達である場合はデータ量が不足していると判定して背景更新ステップ411に分岐する。
【００３３】
セグメンテーションステップ412は、環境変化取得処理ステップ409で収集された環境強度変数、セグメンテーション変数、物体エリア変数を用いて、環境変化の度合いからエリアをセグメンテーションし、また３つの変数より分割された各エリアの属性を決定するステップである。
セグメンテーションステップ412では、まず、セグメンテーション変数を用いて、監視対象領域のセグメンテーションを実行する。この時、セグメンテーション変数に対して任意のしきい値を設けて、しきい値以上のセグメンテーション変数の画素をエッジ位置に設定する。例えば、図９で得られたセグメンテーション変数の画像900を用いることにより、図１１の画像1100ように、いくつかのエリアに分割することができる。以降これらの分割されたエリアを、分割エリアと称する。また、図１１の画像1100をセグメント図と称して説明を行なう。
【００３４】
次に、物体エリア情報を用いて、上記分割エリアに対して、物体が侵入するエリアか物体が侵入しないエリアかを判定する。例えば、上記分割エリアと、物体エリア変数を照合した時に、物体エリア変数がある一定数以上含まれている分割エリアを物体侵入エリア、それ以外の分割エリアを背景エリアと設定する。また例えば、物体エリア変数を画像1000として表示した図１０と、セグメント図である図１１の画像1100を重ね合わせると、図１２のような画像1200が得られる。なお、分割エリア毎に物体エリア変数の合計を算出して、合計値がある一定以上の値となる場合のみ物体侵入エリアとして設定するようにしても良い。
図１２の画像1200を用いて判定された分割エリアの結果によって色分けした例を図１３に示す。図１３の画像1300中で、車道エリア1301及び歩道エリア1302の２つの分割エリアは物体侵入エリア、芝生エリア1304、建物エリア1306、樹木エリア1307、1308の分割エリアは背景エリアを示す。
【００３５】
次に、環境強度変数を用いて、分割エリア毎に動的背景エリアか静的背景エリアかを判定する。例えば、上記図１３の分割エリアと、環境強度変数を照合した時に、環境強度変数が所定の数以上含まれている分割エリアを動的背景エリアと設定する。例えば、図１３の分割エリアの結果と図８の環境強度変数を画像800として表示した図の例を重ね合わせると、図１４のような画像1400が得られる。なお、分割エリア毎に環境強度変数の合計を算出して、合計値がある一定以上の値となる分割エリアのみを動的背景エリアとして設定するようにしても良い。図１４を用いて判定された分割エリアの一例を図１５に示す。図１５の画像1500中で、芝生エリア1504、樹木エリア1507及び樹木エリア1508の分割エリアは動的背景エリア、車道エリア1501、歩道エリア1502及び建物エリア1506の分割エリアは静的背景エリアを示す。
【００３６】
次に、図１３及び図１５のように各処理で得られた分割エリアの情報をまとめる。
物体侵入エリアと動的背景エリアを優先して、各分割エリアの属性を決定する。その結果、属性を区分した画像1600の一例を図１６に示す。本結果では分割エリアは３属性に分けられ、図１６では、車道1601及び歩道1602の分割エリアは物体侵入エリアとなり、歩道1604、樹木1607及び樹木1608の分割エリアは動的背景エリアとなり、建物1606の分割エリアは静的背景エリアとなる。
【００３７】
パラメータ設定ステップ413は、セグメンテーションステップ412で得られた分割エリアとその属性を用いて、パラメータを設定するステップである。
例えば、属性が物体侵入エリアの分割エリアは自動的に物体を検知するべき“検知エリア”とし、属性が動体背景エリアの分割エリアは自動的に検知処理を実行しない“マスクエリア”として、パラメータを設定する。
【００３８】
図１７は、パラメータを設定するためのソフトウェア（図示せず）に表示されたパラメータ設定用画像の一例である。このように表示した画像1700中には、“検知エリア”が白画素のエリア（車道1701のエリア、歩道1702のエリア）として自動的に表示され、“マスクエリア”が黒画素のエリア（芝生1704のエリア、建物エリア1706、樹木エリア1707、樹木エリア1708）として自動的に表示される。
これに対して、ユーザが、自動的に作成された各マスクに対して、検知の必要性に応じて“検知エリア”や“マスクエリア”の範囲を自由に変更できるようにしても良い。また、ユーザが、分割エリアの属性によって、画像処理の手法や物体検出手法を変更するようにしても良い。
例えば、物体侵入エリアと判定された分割エリアでは、検出すべき物体の見逃しが無いように、サイズや移動速度で即時判定できるような認識処理を行なうようなに画像処理の手法や物体検出手法としても良い。さらに、動的背景エリアと判定された分割エリアでは、誤検出が無いように、移動距離や移動範囲で十分に判定するような認識処理を行なうように画像処理の手法や物体検出手法としても良い。
【００３９】
次に、環境変化取得処理ステップ409で収集された環境強度変数を用いて、各画素に対して最適なしきい値を設定する。ここで、設定するしきい値の初期値をＴｈ＝２０として説明する。また、環境変化取得処理ステップ409で収集された環境強度変数は、画素毎に算出した値をそのまま使用しても良いが、画素値の斑を考慮する場合、環境強度変数をメディアンフィルタや最大値フィルタなどのスムージング処理を行なうことによって、ある一定の範囲を同じ背景物として扱うなどの対策を行なっても良い。
【００４０】
次に、しきい値の初期値Ｔｈに、環境変化取得処理ステップ409で作成した環境強度変数を用いて環境変化を考慮した重み付けをして、最適なしきい値Ｔｈ_ｐｉｘを算出する。算出される最適なしきい値Ｔｈ_ｐｉｘは、画素毎に最適なしきい値（局所しきい値）が算出される。
まず、環境強度変数からしきい値Ｔｈに重み付けする値を算出する。重み付けする値は、環境強度変数が大きく環境変化が頻繁に発生する画素に対しては大きな値に、環境強度変数が小さく環境変化が殆ど発生しない画素に対しては小さな値となる。また、重み付けする値を係数Kとして説明する。係数Kは、各画素に対応した値をそれぞれ保持する必要があるため、例えばK［640］［480］のような配列で準備しておくと処理を実行し易い。
【００４１】
各画素に対して行なう係数Kの算出方法について説明する。例えば、予め、環境強度変数の値に対して係数Kを決定する数式、例えば環境強度変数が０の画素に対しては係数K＝０.３となり、255の場合は係数K＝５と算出するような数式を準備しておく。
この数式に基づいて、画素毎に係数Kを算出するようにしても良い。また、予め、全ての環境強度変数において高い値を持つ上位２０％の環境強度変数に対して係数K＝５、低い値を持つ下位５０％の環境強度変数に対して係数K＝０.３にするなどの条件を指定しておき、画素毎に係数Kを決定するような方法でも良い。これらの算出方法によって、各画素に対する係数Kの値が決定する。
【００４２】
次に、重み付けの係数Kを用いたしきい値Ｔｈ_ｐｉｘの算出方法について説明する。しきい値Ｔｈ_ｐｉｘも係数Kと同様に各画素に対応した値をそれぞれ保持する必要がある。このため、例えば、Ｔｈ_ｐｉｘ［640］［480］のような配列で準備しておくと処理を実行し易い。しきい値Ｔｈ_ｐｉｘは、（式１）により求められる。
Ｔｈ_ｐｉｘ［i］［j］＝Ｔｈ×K［i］［j］・・・  （式１）
従って、得られたしきい値Ｔｈ_ｐｉｘは各画素で値が異なり、例えば、木の揺れが発生する樹木の領域の画素はＴｈ_ｐｉｘ＝１００、一定量車が通過する道路の領域の画素はＴｈ_ｐｉｘ＝２０、人や車の侵入が全く無いアスファルト舗装された空地の領域の画素はＴｈ_ｐｉｘ＝６のようになる。なお、式（１）で得られたＴｈ_ｐｉｘは、分割されたエリア内でも任意の範囲毎に異なる値となる。このしきい値Ｔｈ_ｐｉｘを局所しきい値と称する。なお、任意の範囲には、１画素からなる範囲も含まれる。
決定した局所しきい値Ｔｈ_ｐｉｘは、プレ画像処理終了後の画像処理のしきい値としてそのまま用いても良いし、また、画像処理でも同様に局所しきい値更新ステップを設けて局所しきい値Ｔｈ_ｐｉｘを更新し続けることで、最新情報を用いた局所しきい値を用いるようにしても良い。
【００４３】
上述の実施例によれば、画像内で発生する環境変化を学習し、セグメントの属性に対応したしきい値をはじめ、種々の画像処理に用いるパラメータを自動的に設定することによって、ユーザによるパラメータ設定を簡略化し、また、精度良く物体の検出が行なうことが可能となる。
【符号の説明】
【００４４】
101：撮像装置、  102：監視装置、  103：画像入力Ｉ／Ｆ、  104：ＣＰＵ、  105：プログラムメモリ、  106：画像メモリ、  107：ワークメモリ、  108：画像出力Ｉ／Ｆ、  109：表示装置、  110：データバス、  111：映像記録装置、  201〜204：画像、  205：差分器、  206：二値化器、  207：物体、  208：領域、  209：画像、  600、700、800、900、1000、1100、1200、1300、1400、1500、1600、1700：画像、  601：車道、  602：歩道、  604：芝生、  606：建物、  607、608：樹木、  609：車両、  709：車影、  701、801、901、1101、1201、1301、1401、1501、1601、1701：車道エリア、  702、802、902、1102、1202、1302、1402、1502、1602、1702：歩道エリア、  704、804、904、1104、1204、1304、1404、1504、1604、1704：芝生エリア、  706、806、906、1106、1206、1306、1406、1506、1606、1706：建物エリア、  707、807、907、1107、1207、1307、1407、1507、1607、1707、708、808、908、1108、1208、1308、1408、1508、1608、1708：樹木エリア、  909、1709：車両エリア。
【図１】
2013187640.tif 000003
【図２】
2013187640.tif 000004
【図３】
2013187640.tif 000005
【図４】
2013187640.tif 000006
【図５】
2013187640.tif 000007
【図６】
2013187640.tif 000008
【図７】
2013187640.tif 000009
【図８】
2013187640.tif 000010
【図９】
2013187640.tif 000011
【図１０】
2013187640.tif 000012
【図１１】
2013187640.tif 000013
【図１２】
2013187640.tif 000014
【図１３】
2013187640.tif 000015
【図１４】
2013187640.tif 000016
【図１５】
2013187640.tif 000017
【図１６】
2013187640.tif 000018
【図１７】
2013187640.tif 000019