(57)【要約】【課題】事故車の落荷などの路面の滞留物の存在を小さな計算負荷で発見する道路監視システムを提供する。【解決手段】設定された時間内の、固定された監視カメラ１００により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段２００と、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段３００と、前記高周波成分評価処理手段３００により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段４００とを備える。【選択図】図１
2010141755.tif 000002
【特許請求の範囲】
【請求項１】
固定された撮影手段により道路の状況を監視する道路監視システムにおいて、
設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、
前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段と、
前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段とを備えたことを特徴とする道路監視システム。
【請求項２】
前記高周波成分評価処理手段は、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴とする請求項１に記載の道路監視システム。
【請求項３】
前記高周波成分評価処理手段は、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、
前記異常判定手段は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴とする請求項２に記載の道路監視システム。
【請求項４】
固定された撮影手段により道路の状況を監視する道路監視方法において、
フレーム間平均処理手段が、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、
高周波成分評価処理手段が、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理ステップと、
異常判定手段が、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定ステップとを備えたことを特徴とする道路監視方法。
【請求項５】
前記高周波成分評価処理ステップは、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴とする請求項４に記載の道路監視方法。
【請求項６】
前記高周波成分評価処理ステップは、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、
前記異常判定ステップは、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴とする請求項５に記載の道路監視方法。
【請求項７】
コンピュータに請求項４ないし６のいずれか１項に記載の各手順を実行させる道路監視プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交通の危険となる道路上の滞留物を発見するのに適した道路監視システム、道路監視方法および道路監視プログラムに関する。
【背景技術】
【０００２】
コンピュータビジョンの応用分野として、道路・交通状況の監視は重要テーマの一つであり、数多くの研究が行われている。一般的には、道路上、道路脇に設置されたカメラの動画映像を基に、車両などがない背景画像との差分画像や、時系列的な画像の差分画像など用いた画像処理により車両を識別し、その動きを追跡・解析することで、渋滞の認識や事故の発生などの異常検出などを行っている。
【０００３】
高速道路監視への導入など、実用化も進みつつあるが、一般に動画の解析は静止画ベースの解析と比較して計算負荷が高い上に、さらに、画面上の中での車両の重なった場合（完全に隠れてしまう場合も含む）の個々の車両の識別・追跡など、認識を難しくする要因が多く存在し、その課題をクリアするために更に大きな計算負荷を要する結果となっている。
【０００４】
尚、従来、異常交通事象の検出システムについては例えば非特許文献１に記載のものが提案され、車両追跡法については例えば非特許文献２に記載のものが提案されている。
【非特許文献１】上條俊介，原田将弘，坂内正夫，“統計モデルと意味階層の結合による交通映像異常事象検出システム”，電子情報通信学会論文誌  Ａ  Ｖｏｌ．Ｊ８８−Ａ，Ｎｏ．２  ｐｐ．１５２−１６３，２００５．
【非特許文献２】安倍満，小沢慎治，“拘束付きグラフ分割を用いたオクルージョンに強い車両追跡”，電子情報通信学会論文誌  Ａ  Ｖｏｌ．Ｊ９０−Ａ，Ｎｏ．１２  ｐｐ．９４８−９５９，２００７．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
道路・交通状況などの遠隔監視のニーズは高く、光ファイバの普及などの通信環境の整備に合わせて監視カメラの設置は増加傾向にあり、今後はさらに加速化される見込みである。本格的に多地点の監視を行うためには、認識精度の向上と同時に、小規模の計算機で、より多くの地点の監視が行えるような計算負荷の低い処理方式が求められる。
【０００６】
本発明は、このような課題を鑑みて行われたものであり、円滑な交通を妨げ、渋滞やさらなる事故の要因ともなるために道路・交通監視における重要な監視事項の一つである、事故車の落荷などの路面の滞留物の存在を小さな計算負荷で発見する道路監視システム、道路監視方法および道路監視プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明における道路監視システム、道路監視方法および道路監視プログラムでは、瞬間毎の画像ではなく、直近一定時間の映像（フレーム）を平均化したフレーム間平均映像をフレーム毎に周波数解析し、高周波成分の量の時系列的な推移より、道路上の滞留物の存在を認識することを特徴とする。具体的には、一定時間の画像を重ねて平均化すると、走行車両などの動いているものは不明瞭になるが、道路上に滞留しているものは、静止しているために平均化した画像の中でも明瞭に写し出されることに着目し、一定時間のフレーム間平均映像のフレーム毎の高周波成分量の時間的な推移を計算し、有意な増大が見られた場合に、滞留物の存在と判定することを特徴とする。
【０００８】
すなわち、請求項１に記載の道路監視システムは、固定された撮影手段により道路の状況を監視する道路監視システムにおいて、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理手段と、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段と、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段とを備えたことを特徴としている。
【０００９】
また請求項２に記載の道路監視システムは、請求項１において、前記高周波成分評価処理手段は、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴としている。
【００１０】
また請求項３に記載の道路監視システムは、請求項２において、前記高周波成分評価処理手段は、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、前記異常判定手段は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴としている。
【００１１】
また、請求項４に記載の道路監視方法は、固定された撮影手段により道路の状況を監視する道路監視方法において、フレーム間平均処理手段が、設定された時間内の前記撮影手段により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得るフレーム間平均処理ステップと、高周波成分評価処理手段が、前記フレーム間平均処理手段により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理ステップと、異常判定手段が、前記高周波成分評価処理手段により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定ステップとを備えたことを特徴としている。
【００１２】
また請求項５に記載の道路監視方法は、請求項４において、前記高周波成分評価処理ステップは、前記撮影手段により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行うことを特徴としている。
【００１３】
また請求項６に記載の道路監視方法は、請求項５において、前記高周波成分評価処理ステップは、前記設定した監視領域を複数に分割し、該分割した領域毎に前記高周波成分評価処理を行い、前記異常判定ステップは、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断することを特徴としている。
【００１４】
また、請求項７に記載の道路監視プログラムは、コンピュータに請求項４ないし６のいずれか１項に記載の各手順を実行させる道路監視プログラムである。
【発明の効果】
【００１５】
（１）請求項１〜７に記載の発明によれば、特に、個々の自動車の挙動の追跡をする必要がないため、円滑な交通を妨げ、渋滞やさらなる事故の要因ともなるために道路・交通監視における重要な監視事項の一つである、事故車や落荷などの路面の滞留物の存在を、小さな計算負荷で発見することが可能となる。動かないものを発見するというシンプルな手法であるため、滞留物が生じる原因推定などの高度な認識は行えないが、大きなトラックによる遮蔽、虫や鳥の飛来などの通常の映像監視で課題とされる外乱に対してロバスト性が高いことも、本発明の利点である。
（２）また請求項２、５に記載の発明によれば、監視対象の道路外の領域でおきた事象の影響を排除することができ、これによって道路上の滞留物の検知精度が向上する。
（３）また請求項３、６に記載の発明によれば、分割した領域内に発生した滞留物の検知精度を上げることができるとともに、画面のどの部分に滞留物が発生したのかを判定することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。図１は本発明の道路監視システムの一実施形態例の構成を示すブロック図である。
【００１７】
図１において、１００は監視対象の道路を撮影する、固定された監視カメラ（撮影手段）である。２００は、監視カメラ１００により取得された監視映像に対して、直近のあらかじめ設定された時間（フレーム）で逐次、フレーム画像の画素毎の画像信号を平均化するフレーム間平均処理を施してフレーム間平均映像を得るフレーム間平均処理手段である。
【００１８】
３００は、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う高周波成分評価処理手段である。
【００１９】
４００は、前記高周波成分評価処理手段３００により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する異常判定手段である。
【００２０】
前記フレーム間平均処理手段２００、高周波成分評価処理手段３００および異常判定手段４００の各機能は、例えばコンピュータによって達成される。
【００２１】
前記フレーム間平均処理手段２００の詳細は図２のように構成されている。図２において、ｎフレームの平均処理を行う場合には、監視カメラ１００から入力される映像の各画素の画像信号に対して、ｎフレーム分の時間遅れ映像を時間遅れ映像作成部２１０-１〜２１０-（ｎ−１）によって各々作成し、それを除算部２２０-０〜２２０-（ｎ−１）によって各々ｎで除し、加算部２３０-１〜２３０-ｎ−１によって足し合わせることで、元の監視映像からフレーム間平均映像が作成できる。
【００２２】
なお、図２では連続したｎフレーム全てに対して平均処理を行っているが、本発明におけるフレーム間平均処理は、必ずしも全フレームである必要はなく、例えば、２フレームに１枚の形で平均処理を行うことによっても効果が得られる。
【００２３】
高周波成分評価処理手段３００以降については、図３のフレーム間平均処理の適用例を用いて説明する。図３は、スムーズな交通状態の際の生映像（ａ）およびフレーム間平均映像（ｂ）と、事故車両が存在する状態の生映像（ｃ）およびフレーム間平均映像（ｄ）とを示している。
【００２４】
図３において、平均処理が十分に長い時間（フレーム）であれば、通常の交通状態の映像（ａ）に対するフレーム間平均映像（ｂ）のように、個々の車両は全く見えなくなる。一般の映像による交通監視などにおいては、一時的に画面の大きな部分を占めるトラックが走行した場合の遮蔽などが課題となるが、本発明においては、仮にトラックが走行しても、平均処理の効果により、その影響は無視できる。このことは、本発明の手法の特徴であり、メリットである。
【００２５】
ここで、図３（ｃ）のように事故により動けなくなった車両が存在する場合を考える。同様に、フレーム間処理を施すと、事故車以外は図３（ａ）の正常な交通状態の場合と同様に見えなくなる（図３（ｂ））が、事故車は動きがほとんどないために、平均処理を行っても明瞭に映し出される（図３（ｄ））。
【００２６】
一般に、明瞭に映し出されたもの、特にエッジなどが存在する場合には、その画像の高周波成分が増大する。図１の高周波成分評価処理手段３００は、この特性に着目して、フレーム間平均映像を、フレーム毎に周波数解析を行い、その高周波成分の量を評価し、その値が基準以上に達することをもって事故車両などの滞留物を発見するものである。
【００２７】
図４は高周波成分評価処理の一例を説明するものである。図４（ａ）はフレーム間平均処理手段２００により得られたフレーム間平均映像のパワースペクトル密度例である。中心が低周波、周辺部が高周波成分を表し、色が白いところほど、当該周波数成分のパワーが強いことを表す。事故車などの滞留物により高周波成分が増すとは、周辺部の周波数成分のパワーが増大するということである。
【００２８】
従って、図４（ｂ）のように、高周波成分に積算領域を設定し、その領域のパワーの総和を求めると、その値は、滞留物が生じた場合に増加する。図４（ｃ）は図４（ａ）のパワースペクトル密度に対する、図４（ｂ）の積算領域のパワーの総和の時間推移例（高周波成分評価処理手段３００の処理結果例）である。事故車などにより滞留物が監視領域上に発生すると、積算領域パワー総和が著しく増大する。そこで異常判定手段４００において、通常の変動範囲より高いレベルに閾値を設定しておけば、積算領域パワー総和の著しい増大、すなわち事故車などの滞留物の発生を検知することができる。
【００２９】
ところで、道路上では、事故車、積載物の落下、駐車など、本発明が検知する滞留物が生じる場面は限られるが、一般のシーンでは、同様の視覚的な変化を起こす現象には様々なものがある。つまり道路と道路外が混在した場合には、本発明手法による道路上の滞留物の検知の精度が低下してしまう可能性がある。通常、固定カメラによる監視では、画面の中の道路領域は固定されていることを鑑みると、フレーム間平均処理をした後の高周波成分評価処理を行う領域（監視領域)を図５のように予め指定することにより、道路外の領域におきた事象の影響を排除することができ、結果として道路上の滞留物の検知精度向上が図られる。
【００３０】
また、前記監視領域に占める滞留物の大きさが大きいほど、図４（ｃ）の積算領域パワー総和の値の変化が顕著になる。そこで例えば図６のように監視領域を複数の監視ブロックに分割し、ブロック毎に高周波成分評価処理を行うことで、監視領域に対する滞留物の大きさを相対的にあげることができる。すなわち、当該ブロック内に発生した滞留物の検知精度が上げられるとともに、大まかな場所の特定まで可能となる。図７はその実施例の構成を示している。
【００３１】
図７において図１と同一部分は同一符号をもって示している。図７において、３００-１〜３００-ｍは、ｍ個に分割された監視ブロック１〜ｍ毎に高周波成分評価処理を行う高周波成分評価処理手段であり、４００-１〜４００-ｍは、前記分割された監視ブロック１〜ｍ毎に高周波成分評価処理された高周波成分量（図４（ｃ）の積算領域パワー総和）が閾値以上増加したか否かを各々判定する異常判定手段であり、４００は、異常判定手段４００-１〜４００-ｍの判定結果をとりまとめて、画面のどの部分に滞留物が発生したかを判定する異常判定手段である。
【００３２】
フレーム間平均処理手段２００におけるフレーム間平均処理は全画面で共通のため、監視カメラ１００より送られた監視映像からフレーム間平均映像が作成されるまでは一元的に処理を行う。その後の高周波成分評価処理と異常判定については、監視ブロック１〜ｍ毎に並行して実施し（本実施例では監視ブロックの総数をｍとしている）、これらの結果を異常判定手段４００によりとりまとめることで、画面のどの部分に滞留物が発生したのか判定することが可能となる。
【００３３】
次に本発明の道路監視方法の実施形態例を説明する。本実施形態例では、図１〜図７で述べた道路監視システムにおける各処理を実行するものである。
【００３４】
すなわち、
ステップＳ１；  フレーム間平均処理手段２００が、設定された時間内の監視カメラ１００により撮影された監視映像に対して、フレーム画像の画素毎の画像信号を平均化してフレーム間平均映像を得る。
【００３５】
ステップＳ２；  高周波成分評価処理手段３００が、前記フレーム間平均処理手段２００により得られたフレーム間平均映像に対して、フレーム毎に周波数を解析し、高周波成分量の時間的な推移を求める高周波成分評価処理を行う。
【００３６】
ステップＳ３；  異常判定手段４００が、前記高周波成分評価処理手段３００により求められた高周波成分量の時間的な推移に基づいて、高周波成分が所定値以上増加したか否かを判定し、増加した場合に道路上に事故や落荷による滞留物が存在すると判断する。
【００３７】
また、他の実施例として、前記ステップＳ２は、前記監視カメラ１００により撮影された監視映像の画面の中で、監視対象となる道路の路面が占める領域を監視領域として設定し、当該設定された監視領域に限定して前記高周波成分評価処理を行う。
【００３８】
また、他の実施例として、前記ステップＳ２は、前記設定した監視領域を複数に分割し、該分割した領域（図７の監視ブロック１〜ｍ）毎に前記高周波成分評価処理を行い、前記ステップＳ３は、前記分割した領域毎に前記高周波成分が所定値以上増加したか否かの判定を行い（図７の異常判定手段４００-１〜４００-ｍ）、増加したと判定された領域で撮影されている箇所に前記滞留物が存在すると判断する（図７の異常判定手段４００）。
【００３９】
また、本実施形態の道路監視システムにおける各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の道路監視方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標）  Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ  ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【図面の簡単な説明】
【００４０】
【図１】本発明の一実施形態例の構成を示すブロック図。
【図２】本発明の一実施形態例におけるフレーム間平均処理手段の詳細を示す構成図。
【図３】本発明の一実施形態例におけるフレーム間平均処理の適用例を示す説明図。
【図４】本発明の一実施形態例における高周波成分評価処理のようすを示す説明図。
【図５】本発明の他の実施形態例における監視領域の指定例を示す説明図。
【図６】本発明の他の実施形態例における監視領域の分割例を示す説明図。
【図７】本発明の他の実施形態例を示すブロック図。
【符号の説明】
【００４１】
１００…監視カメラ、２００…フレーム間平均処理手段、３００，３００-１〜３００-ｍ…高周波成分評価処理手段、４００，４００-１〜４００-ｍ…異常判定手段。
【図１】
2010141755.tif 000003
【図２】
2010141755.tif 000004
【図７】
2010141755.tif 000005
【図３】
2010141755.tif 000006
【図４】
2010141755.tif 000007
【図５】
2010141755.tif 000008
【図６】
2010141755.tif 000009