(57)【要約】【課題】  車両が撮影画像の画面端に停止しているような場合であっても、停止状態を適切に検出することが可能な停止低速車両検出装置及び方法を提供する。【解決手段】  背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４により、入力される撮影画像に基づき車両等の検出用の背景画像、特徴画像、特徴コードを作成する。車両認識部３０は、車両候補矩形検出部３１において特徴コード等を基に車両候補矩形を生成して車両の認識を行い、車両追跡部３２において検出車両の追跡を行う。車両視野外停止検出部３３は、車両候補矩形が撮影画像の画面端に接している場合に、車両候補矩形の特徴点として底辺の中心点や矩形領域の中心点の位置を算出してこの点を中心に予め設定した縦横長の探索矩形を作成し、車両候補矩形の特徴点が探索矩形内に予め設定した時間以上存在する場合に視野外での車両の停止状態や低速状態を検出する。【選択図】  図３
2006243933.tif 000002
【特許請求の範囲】
【請求項１】
道路上の車両を撮影した撮影画像を入力する画像入力手段と、
前記撮影画像において車両の位置を示す車両候補矩形を検出し、車両認識を行う車両認識手段と、
前記車両候補矩形における特徴点または所定領域の情報を抽出し、この車両候補矩形に関する情報に基づいて車両の停止状態または低速状態を検出する車両停止検出手段と、
前記車両停止検出手段の検出結果を用いて停止低速事象を認識する停止低速事象認識手段と
を備える停止低速車両検出装置。
【請求項２】
請求項１に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形における特徴点の位置を算出してこの点を中心に予め設定した縦横長の探索矩形を作成し、前記車両候補矩形の特徴点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出する停止低速車両検出装置。
【請求項３】
請求項２に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記特徴点として、前記車両候補矩形の底辺の中心点を算出して探索矩形を作成し、前記車両候補矩形の底辺の中心点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出する停止低速車両検出装置。
【請求項４】
請求項２に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記特徴点として、前記車両候補矩形の縦横辺の領域の中心による車両候補矩形の中心点を算出して探索矩形を作成し、前記車両候補矩形の中心点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出する停止低速車両検出装置。
【請求項５】
請求項２から４のいずれかに記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記探索矩形の一部が撮影画像の画面端より外側にある場合は画面端までを探索矩形として設定する停止低速車両検出装置。
【請求項６】
請求項２から５のいずれかに記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形に基づいて前記探索領域を作成して車両の停止を検出する停止低速車両検出装置。
【請求項７】
請求項６に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成する停止低速車両検出装置。
【請求項８】
請求項２から７のいずれかに記載の停止低速車両検出装置であって、
前記車両停止検出手段は、
前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接していない場合は、前記車両候補矩形における特徴点及び前記探索矩形の情報を破棄し、
前記車両候補矩形が撮影画像の画面端に接していて前記探索矩形が作成されており、かつ前記車両候補矩形の特徴点が前記探索領域内に存在しない場合は、既に作成されている前記探索矩形を破棄して新たな車両候補矩形の特徴点を用いて前記探索矩形を再度作成するとともに、現在までの車両候補矩形の特徴点の探索矩形内における存在時間をリセットする停止低速車両検出装置。
【請求項９】
請求項１に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形内の画像データを記録し、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を判定し、類似状態が予め設定した時間以上継続する場合に視野外の車両の停止を検出する停止低速車両検出装置。
【請求項１０】
請求項９に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を、平均明度差によって判定する停止低速車両検出装置。
【請求項１１】
請求項９に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を、相関係数によって判定する停止低速車両検出装置。
【請求項１２】
請求項１０または１１に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度の判定において、前記画像データとして画像データの微分データを用いる停止低速車両検出装置。
【請求項１３】
請求項９から１２のいずれかに記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形における画像データを記録して車両の停止を検出する停止低速車両検出装置。
【請求項１４】
請求項１３に記載の停止低速車両検出装置であって、
前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成する停止低速車両検出装置。
【請求項１５】
請求項９から１４のいずれかに記載の停止低速車両検出装置であって、
前記車両停止検出手段は、
前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接していない場合は、前記記録された車両候補矩形における画像データを破棄し、
前記車両候補矩形が撮影画像の画面端に接していて前記画像データが記憶されており、かつ前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとが類似していない場合は、既に記録されている前記画像データを破棄して新たな車両候補矩形における画像データを記録するとともに、現在までの記録済みの画像データと現画像の画像データとの類似状態の継続時間をリセットする停止低速車両検出装置。
【請求項１６】
道路上の車両を撮影した撮影画像を入力する画像入力ステップと、
前記撮影画像において車両の位置を示す車両候補矩形を検出し、車両認識を行う車両認識ステップと、
前記車両候補矩形における特徴点または所定領域の情報を抽出し、この車両候補矩形に関する情報に基づいて車両の停止状態または低速状態を検出する車両停止検出ステップと、
前記車両停止検出ステップの検出結果を用いて停止低速事象を認識する停止低速事象認識ステップと
を有する停止低速車両検出方法。
【請求項１７】
請求項１６に記載の停止低速車両検出方法であって、
前記車両停止検出ステップにおいて、前記車両認識ステップにより検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形における特徴点の位置を算出してこの点を中心に予め設定した縦横長の探索矩形を作成し、前記車両候補矩形の特徴点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出する停止低速車両検出方法。
【請求項１８】
請求項１６に記載の停止低速車両検出方法であって、
前記車両停止検出ステップにおいて、前記車両認識ステップにより検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形内の画像データを記録し、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を判定し、類似状態が予め設定した時間以上継続する場合に視野外の車両の停止を検出する停止低速車両検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路上の撮影画像に基づいて処理を行い、故障等で停止又は低速状態となった車両を検出する停止低速車両検出装置及び方法に関する。
【背景技術】
【０００２】
従来より、高速道路上や一般道路上を走行する車両の映像を監視カメラにより撮影し、車両の映像を管制室の映像表示器に表示し、監視者が目で確認することにより、道路交通状態を監視するシステムが広く採用されている。また、監視カメラの映像を分析して突発事象を自動的に検出し、突発事象の発生を表示すると共に、入力映像を突発事象発生地点の現場映像に切り替えて表示するようにした突発事象検出装置が提案されている（特許文献１参照）。
【０００３】
また、道路上の車両を撮影した画像から車両を検出する技術が種々提案されており、例えば特許文献２には、車両のヘッドライトを抽出して判断することにより、夜間における車種を高い精度で判別することが可能な車種判別装置及び方法が開示されている。道路上の撮影画像から車体部分を抽出するための画像処理技術としては、道路等の背景画像と現在の画像との差分をとって車両の特徴を抽出する背景差分法、前フレームの画像と現在のフレームの画像との差分をとって車両の特徴を抽出するフレーム差分法などが考えられる。
【０００４】
上記のように道路上の撮影画像から車両を検出し、撮影画像内の検出車両を追跡することによって、車両の速度を算出したり、故障等で停止している車両を検出したりなど、道路上の対象エリアの交通状況を把握することが可能である。しかしながら、従来では、撮影画像において検出車両が画面端にある場合は、車尾や車頭が検出できず、車両の追跡ができないため、検出車両が停止していてもその停止状態を正確に検出することができないという課題があった。
【０００５】
【特許文献１】特開平５−２５０５９５号公報
【特許文献２】特開平１１−３５３５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、上記事情に鑑みてなされたもので、車両が撮影画像の画面端に停止しているような場合であっても、停止状態を適切に検出することが可能な停止低速車両検出装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の停止低速車両検出装置は、道路上の車両を撮影した撮影画像を入力する画像入力手段と、前記撮影画像において車両の位置を示す車両候補矩形を検出し、車両認識を行う車両認識手段と、前記車両候補矩形における特徴点または所定領域の情報を抽出し、この車両候補矩形に関する情報に基づいて車両の停止状態または低速状態を検出する車両停止検出手段と、前記車両停止検出手段の検出結果を用いて停止低速事象を認識する停止低速事象認識手段とを備えるものである。
【０００８】
これにより、車両候補矩形における特徴点または所定領域の情報に基づいて車両の停止状態などを検出することによって、車両が撮影画像の画面端に停止していて車両追跡が行えないような場合であっても、停止状態を適切に検出することが可能となる。
【０００９】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形における特徴点の位置を算出してこの点を中心に予め設定した縦横長の探索矩形を作成し、前記車両候補矩形の特徴点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出するものとする。
【００１０】
これにより、車両候補矩形における特徴点とこの特徴点に関連して作成した探索矩形とを用いて、特徴点が探索矩形内に所定時間以上存在する場合に車両の停止を検出することによって、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形を検出できればこの特徴点の動きによって停止状態を容易かつ適切に検出することが可能となる。
【００１１】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記特徴点として、前記車両候補矩形の底辺の中心点を算出して探索矩形を作成し、前記車両候補矩形の底辺の中心点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出するものとする。
【００１２】
これにより、車両候補矩形の底辺の中心点とこの中心点を中心に作成した所定縦横長の探索矩形とを用いて、車両候補矩形の底辺の中心点が探索矩形内に所定時間以上存在する場合に車両の停止を検出することによって、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形の底辺が安定して検出できればその中心点の動きによって停止状態を容易かつ適切に検出することが可能となる。また、撮影画像上で車両が隣接車両と結合して検出されやすい状況においては、上記手段がより有効であり、正確な停止状態の検出ができる。
【００１３】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記特徴点として、前記車両候補矩形の縦横辺の領域の中心による車両候補矩形の中心点を算出して探索矩形を作成し、前記車両候補矩形の中心点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出するものとする。
【００１４】
これにより、車両候補矩形の縦横辺の領域の中心点とこの中心点を中心に作成した所定縦横長の探索矩形とを用いて、車両候補矩形の中心点が探索矩形内に所定時間以上存在する場合に車両の停止を検出することによって、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形が安定して検出できればその中心点の動きによって停止状態を容易かつ適切に検出することが可能となる。また、上記手段では車両進行時には動きを認識できるので、より正確な停止状態や低速状態の検出ができる。
【００１５】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記探索矩形の一部が撮影画像の画面端より外側にある場合は画面端までを探索矩形として設定するものとする。
【００１６】
これにより、探索矩形が撮影画像の画面から外れた場合に探索矩形をより適切に設定でき、車両が撮影画像の画面端に停止しているような視野外の停止状態を適切に検出することができる。
【００１７】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形に基づいて前記探索領域を作成して車両の停止を検出するものとする。
【００１８】
これにより、車両候補矩形を検出する際、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、上記手段により安定して車両候補矩形を作成でき、この車両候補矩形に基づいて車両の停止状態を適切に検出できる。
【００１９】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成するものとする。
【００２０】
これにより、連続した複数の車両候補矩形から新たな車両候補矩形を作成する際に、適切な車両候補矩形の作成が可能となる。
【００２１】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接していない場合は、前記車両候補矩形における特徴点及び前記探索矩形の情報を破棄し、前記車両候補矩形が撮影画像の画面端に接していて前記探索矩形が作成されており、かつ前記車両候補矩形の特徴点が前記探索領域内に存在しない場合は、既に作成されている前記探索矩形を破棄して新たな車両候補矩形の特徴点を用いて前記探索矩形を再度作成するとともに、現在までの車両候補矩形の特徴点の探索矩形内における存在時間をリセットするものとする。
【００２２】
これにより、探索矩形から車両候補矩形の特徴点が外れた場合に、既存の探索矩形の破棄、新たな探索矩形の作成、探索矩形内の存在時間のリセットを行うことで、以降は適切な停止状態の検出が可能となる。
【００２３】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形内の画像データを記録し、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を判定し、類似状態が予め設定した時間以上継続する場合に視野外の車両の停止を検出するものとする。
【００２４】
これにより、車両候補矩形内の画像データを用いて、記録してある車両候補矩形内の同一領域の画像データと現画像の画像データとの類似度を判定することによって、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形を検出できればこの特徴点の動きによって停止状態を容易かつ適切に検出することが可能となる。また、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、適切に停止状態を検出できる。
【００２５】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を、平均明度差によって判定するものとする。
【００２６】
これにより、同一領域の平均明度差によって画像データの類似度を容易に判定でき、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形が検出できればその画像データの類似度によって停止状態を容易かつ適切に検出することが可能となる。
【００２７】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を、相関係数によって判定するものとする。
【００２８】
これにより、同一領域の相関係数によって画像データの類似度を容易に判定でき、車両が撮影画像の画面端に停止しているような場合であっても、車両候補矩形が検出できればその画像データの類似度によって停止状態を容易かつ適切に検出することが可能となる。
【００２９】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度の判定において、前記画像データとして画像データの微分データを用いるものとする。
【００３０】
これにより、画像データの類似度の判定に微分データを用いることによって、環境変化への対応力が向上するため、より正確な停止状態や低速状態の検出が可能となる。
【００３１】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形における画像データを記録して車両の停止を検出するものとする。
【００３２】
これにより、車両候補矩形を検出する際、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、上記手段により安定して車両候補矩形を作成でき、この車両候補矩形に基づいて車両の停止状態を適切に検出できる。
【００３３】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合に、直近のＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成するものとする。
【００３４】
これにより、連続した複数の車両候補矩形から新たな車両候補矩形を作成する際に、適切な車両候補矩形の作成が可能となる。
【００３５】
また、本発明は、上記の停止低速車両検出装置であって、前記車両停止検出手段は、前記車両認識手段により検出された車両候補矩形が撮影画像の画面端に接していない場合は、前記記録された車両候補矩形における画像データを破棄し、前記車両候補矩形が撮影画像の画面端に接していて前記画像データが記憶されており、かつ前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとが類似していない場合は、既に記録されている前記画像データを破棄して新たな車両候補矩形における画像データを記録するとともに、現在までの記録済みの画像データと現画像の画像データとの類似状態の継続時間をリセットするものとする。
【００３６】
これにより、車両候補矩形内の画像データの類似度が低下した場合に、既存の画像データの破棄、新たな画像データの記録、類似状態の継続時間のリセットを行うことで、以降は適切な停止状態の検出が可能となる。
【００３７】
本発明の停止低速車両検出方法は、道路上の車両を撮影した撮影画像を入力する画像入力ステップと、前記撮影画像において車両の位置を示す車両候補矩形を検出し、車両認識を行う車両認識ステップと、前記車両候補矩形における特徴点または所定領域の情報を抽出し、この車両候補矩形に関する情報に基づいて車両の停止状態または低速状態を検出する車両停止検出ステップと、前記車両停止検出ステップの検出結果を用いて停止低速事象を認識する停止低速事象認識ステップとを有するものである。
【００３８】
また、本発明は、上記の停止低速車両検出方法であって、前記車両停止検出ステップにおいて、前記車両認識ステップにより検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形における特徴点の位置を算出してこの点を中心に予め設定した縦横長の探索矩形を作成し、前記車両候補矩形の特徴点が前記探索矩形内に予め設定した時間以上存在する場合に視野外の車両の停止を検出するものとする。
【００３９】
また、本発明は、上記の停止低速車両検出方法であって、前記車両停止検出ステップにおいて、前記車両認識ステップにより検出された車両候補矩形が撮影画像の画面端に接している場合に、前記車両候補矩形内の画像データを記録し、前記車両候補矩形内の同一領域における記録済みの画像データと現画像の画像データとの類似度を判定し、類似状態が予め設定した時間以上継続する場合に視野外の車両の停止を検出するものとする。
【発明の効果】
【００４０】
本発明によれば、車両が撮影画像の画面端に停止しているような場合であっても、停止状態を適切に検出することが可能な停止低速車両検出装置及び方法を提供できる。
【発明を実施するための最良の形態】
【００４１】
本実施形態では、トンネル内などにカメラを設置して走行する車両を後方から撮影し、撮影画像から車両の特徴抽出、車両認識等を行い、故障等で停止又は低速状態となった停止低速車両の検出を可能とした道路監視システムにおける構成例を示す。
【００４２】
図１は本発明の実施形態に係る道路監視システムの構成を示す図である。道路監視システムは、撮影部として、道路１１におけるトンネル内などの道路脇の所定位置ごとに設けられた複数のカメラ１２を備えている。このカメラ１２は、道路１１上を走行する車両１３を後方から撮影し、撮影画像信号を出力するようになっている。また、道路監視システムは、画像処理部１４と、事象判定部１５とを備えている。画像処理部１４は、カメラ１２で撮影された撮影画像に基づき、車両の検出、車両速度の算出、落下物の検出などを行う。事象判定部１５は、画像処理部１４の出力に基づき、渋滞検出や突発事象の検出など、対象道路上の事象判定を行う。
【００４３】
本実施形態では、車両を後方から撮影することで、車両のヘッドライトによるハレーション、スミア等を防止している。この後方からの撮影画像を基に車両を抽出し、車幅、車長、車尾位置を検出する。そして、検出した車両の追跡等を行い、追跡が不能な場合は後述する処理を行うことにより、停止低速車両の検出を行う。
【００４４】
図２は本実施形態の画像処理部１４及び事象判定部１５における全体の処理手順を示すフローチャートである。画像処理部１４は、まず初期データとして、背景画像データ及び背景微分画像データを作成する（ステップＳ１）。ここで、電源投入後またはリセット後に、例えば０．１秒ごとにカメラ１２から取り込んだ撮影画像データの３００回分（３０秒分の画像）を平均し、背景画像とする。また、背景画像データの微分処理を行って背景微分画像を作成する。さらに、夜と昼とで道路上の照明の明るさ等が異なるため、背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに設定する。
【００４５】
次に、カメラ１２から取り込んだ撮影画像データから画像解析に使用する画像データを作成する（ステップＳ２）。ここでは、カメラ１２から入力されるＮＴＳＣ信号による映像信号を、垂直方向２４０ライン、水平方向３２０画素、輝度を２５６階調とし、フレームごとにＡＤ変換（アナログ−デジタル変換）して３２０画素×２４０画素の画像データを作成する。このとき、偶数フィールドのみをＡＤ変換することで、１／３０sec ごとに１枚の画像データを作成する。そして、以降の画像解析には、現在画像、ΔＴ前画像、２ΔＴ前画像（ここではΔＴ＝１００ｍｓとする）の３つの画像データを使用する。
【００４６】
そして、作成した画像データに対して、特徴抽出演算、二値化処理等の画像前処理を行い、車両の特徴を抽出した特徴画像を作成する（ステップＳ３）。特徴抽出演算においては、背景差分方式、微分背景差分方式、フレーム差分方式、微分フレーム差分方式などの特徴抽出方式を用いてそれぞれ特徴抽出を行った差分画像を作成し、特徴画像を作成する。なおここでは、後処理の処理速度を速めるために、例えば特徴抽出等の処理を行って特徴画像を作成した後、この３２０画素×２４０画素の画像データを８０画素×６０画素に圧縮して特徴抽出圧縮画像を作成するようにする。また、画像解析用に作成した画像データから３２０画素×２４０画素のライト抽出用画像を作成する。
【００４７】
続いて、特徴抽出圧縮画像及びライト抽出用画像を用いて画像解析を行い、車両等を抽出する（ステップＳ４）。このとき、特徴抽出圧縮画像を用いて車体解析を行い、車尾、車長、車幅を決定する。また、ライト抽出用画像を用いてライト解析を行い、車両のライトを検出して車尾を決定する。これらの車体解析による矩形の車体検出とライト解析による車尾検出の結果から車両位置を決定する。さらに、特徴抽出圧縮画像を用いて落下物解析を行い、落下物の位置、縦横寸法を決定する。
【００４８】
その後、検出した車両の位置データを走行軌跡データに追加または新規作成し、本処理のサイクルごとに検出された車両の位置データを走行軌跡データに追加していくことで、車両追跡を行う（ステップＳ５）。また、検出した個々の車両の移動速度を算出する。
【００４９】
また、前記車両追跡とは異なる方法で撮影画像における車群の速度を算出する（ステップＳ６）。ここでは、画像全体の輝度値の移動量から車両全体を一つの塊の車群として捉え、この車群の移動速度を算出する。この車群速度は渋滞時の渋滞判定等に用いることができる。
【００５０】
次に、事象判定部１５は、前述の車両追跡、車群速度算出、落下物検出等の結果から、「停止」「低速」「渋滞」「落下物」などの事象が発生したかどうかを判定する（ステップＳ７）。
【００５１】
そして、画像処理部１４は、次の処理のサイクルにおける画像処理のために、背景画像データ及び背景微分画像データを最新の背景画像に更新する（ステップＳ８）。また、新たな背景画像に基づいて夜モードまたは昼モードの判定を行い、現在時点に対応するモードに更新する。その後、ステップＳ２に戻り、ステップＳ２〜Ｓ８の処理サイクルを所定間隔（ここでは１００ｍｓ）ごとに繰り返す。
【００５２】
次に、本実施形態の特徴的要素である停止低速車両の検出処理について詳しく説明する。図３は本実施形態の画像処理部１４及び事象判定部１５において車両認識及び停止低速車両検出を行う機能構成を示すブロック図である。
【００５３】
画像処理部１４は、カメラ１２で撮影した画像データを入力する画像入力部２１、入力画像データから背景画像を作成する背景画像作成部２２、入力画像及び背景画像を用いて背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行って特徴画像を作成する特徴画像作成部２３、特徴画像を基に車両候補矩形を算出するための各画素の特徴を示す特徴コードを作成する特徴コード作成部２４、画像データを格納する画像格納部２５、特徴コードを格納する特徴コード格納部２９、車両認識の処理を行う車両認識部３０を備える。事象判定部１５は、画像処理部１４で認識した車両が撮影画像の視野外で停止していることを検出する車両視野外停止検出部３３、撮影画像中の車両が停止状態または低速状態にあることを認識する停止低速事象認識部３４を備える。
【００５４】
画像格納部２５は、現画像を格納する現画像格納部２６、背景画像を格納する背景画像格納部２７、特徴画像を格納する特徴画像格納部２８を有する。車両認識部３０は、現画像及び算出した特徴コードより車両候補矩形を検出する車両候補矩形検出部３１、車両候補矩形を用いて検出車両の追跡を行う車両追跡部３２を有する。画像格納部２５、特徴コード格納部２９は、メモリ等によって構成される。背景画像作成部２２、特徴画像作成部２３、特徴コード作成部２４、車両認識部３０、車両視野外停止検出部３３、停止低速事象認識部３４は、各処理を行うプロセッサ等によって構成される。
【００５５】
現画像格納部２６は、画像入力部２１より入力された現在画像データを格納する。入力される画像データには、２５６階調の濃淡画像などを用いる。背景画像作成部２２は、過去の現在画像データを用いて背景のみの背景画像を作成し、背景画像格納部２７に格納する。特徴画像作成部２３は、現画像格納部２６に格納された現在画像データと背景画像格納部２７に格納された背景画像データとを用いて、背景差分、微分背景差分、フレーム差分、微分フレーム差分等の処理を行い、撮影画像中の車両を検出するための特徴画像を作成し、特徴画像格納部２８に格納する。
【００５６】
特徴コード作成部２４は、特徴画像を基に車両候補矩形を算出するための各画素の特徴を示す特徴コードを作成し、特徴コード格納部２９に格納する。特徴コードは、特徴画像において各画素ごとに０，１，２，…，９などのコードを割り当てたものである。例えば、背景と同一で差分処理によってデータ無しとなった部分は０、ノイズ等と思われる捨てデータは１、車両として有効な有効データのうち、車幅より小さい部分は２、車幅より大きい部分は３、車両候補となる部分は６、車体として認識される部分は８、車尾として認識される部分は９などとして、車両の位置を判別可能にしたデータである。
【００５７】
車両候補矩形検出部３１は、現画像格納部２６に格納された現在画像データと特徴コード格納部２９に格納された特徴コードとを用いて、車両候補矩形を算出する。車両追跡部３２は、上記処理により時系列に得られる車両候補矩形を用いて、検出車両の位置をトレースして走行軌跡を算出したり、検出車両の移動速度を算出することによって車両追跡を行う。
【００５８】
車両視野外停止検出部３３は、車両候補矩形検出部３１で算出した車両候補矩形を用いて、検出車両の一部が撮影画像の画面よりはみ出している場合に、停止しているかどうかを判断し、視野外停止状態を検出する。停止低速事象認識部３４は、車両追跡部３２の追跡結果による検出車両の移動速度、及び車両視野外停止検出部３３による視野外停止状態の検出結果に基づいて、検出車両が停止状態または低速状態にあることを認識する。この停止低速事象の認識結果や車両速度の検出結果を用いて、道路上の交通状況の監視を行い、故障車両の対応などに活用できる。
【００５９】
以下に、車両視野外停止検出部３３における視野外停止状態の検出処理について詳細に説明する。ここでは、第１の実施形態と第２の実施形態の２つの処理例を示す。
【００６０】
図４は本発明の第１の実施形態に係る視野外停止状態の検出処理手順を示すフローチャートである。
【００６１】
車両候補矩形検出部３１において車両候補矩形の検出が完了すると（ステップＳ１１）、車両視野外停止検出部３３は、検出された車両候補矩形が撮影画像の画面端にあるかどうかを判断する（ステップＳ１２）。車両候補矩形が画面端にある場合は、視野外停止状態判定用の探索矩形が作成済みであるかどうかを判断し（ステップＳ１３）、探索矩形が作成されていない場合は探索矩形の作成を行う（ステップＳ１４）。
【００６２】
探索矩形の設定方法として、２つの例を示す。図５は第１の実施形態における撮影画像上での車両候補矩形と探索矩形の設定例を示す図である。第１の方法は、図５（Ａ）に示すように、撮影画像５０の検出車両５１に対応する車両候補矩形５２が画面端にかかっている場合、車両候補矩形５１の底辺の中心（Ｘ，０）において、所定の縦横長（ｘ，ｙ）の探索矩形５３を設定する。すなわち、車両候補矩形の底辺中心（Ｘ，０）±所定オフセット量（ｘ／２，ｙ／２）となる（Ｘ±ｘ／２，０±ｙ／２）の探索矩形５３を設定する。
【００６３】
第２の方法は，図５（Ｂ）に示すように、撮影画像５０の検出車両５１に対応する車両候補矩形５２が画面端にかかっている場合、車両候補矩形５１の矩形領域の中心（Ｘ，Ｙ）において、所定の縦横長（ｘ，ｙ）の探索矩形５３を設定する。すなわち、車両候補矩形の矩形領域中心（Ｘ，Ｙ）±所定オフセット量（ｘ／２，ｙ／２）となる（Ｘ±ｘ／２，Ｙ±ｙ／２）の探索矩形５３を設定する。
【００６４】
探索矩形の作成後、この探索矩形が撮影画像の画面内にあるかどうかを判断し（ステップＳ１５）、探索矩形の一部が画面外にある場合は、画面端までを探索矩形として再設定する（ステップＳ１６）。上記第１の方法の場合は、探索矩形の下側が画面外になるので、画面端までを探索矩形とする。また、ステップＳ１３で探索矩形が作成済みの場合は、車両候補矩形の底辺または矩形領域の中心点が探索矩形内にあるかどうかを判断し（ステップＳ１７）、車両候補矩形の底辺または矩形領域の中心点が探索矩形より外にある場合は探索矩形の再作成を行う（ステップＳ１４）。そして、ステップＳ１５、Ｓ１６の処理を上記と同様に行う。
【００６５】
一方、ステップＳ１７で車両候補矩形の底辺または矩形領域の中心点が探索矩形内にある場合は、この中心点が探索矩形内に存在する継続時間をカウントする（ステップＳ１８）。そして、探索矩形内存在時間がＴ時間（例えば、５秒）経過したかを判断し（ステップＳ１９）、Ｔ時間経過した場合は、視野外停止状態を検出する（ステップＳ２０）。
【００６６】
また、車両候補矩形が移動するなどして、ステップＳ１２で車両候補矩形が画面端にない場合は、探索矩形が記録済みであるかを判断し（ステップＳ２１）、記録済みである場合は設定された探索矩形を廃棄する（ステップＳ２２）。
【００６７】
なお、車両候補矩形検出部３１において検出された車両候補矩形が、連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合には、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形に基づいて探索領域を作成して車両の停止を検出するようにしてもよい。このとき、例えばＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成すればよい。
【００６８】
上記のように、第１の実施形態の手順により、検出車両の車両候補矩形が撮影画像の画面端にある場合に、検出車両が撮影画像の視野外で停止または低速状態にあることを認識することが可能である。車両が撮影画像の外にはみ出て停止した場合など、検出車両の車両候補矩形が撮影画像の画面端に位置し、検出車両の一部が撮影画像の枠より外にある場合は、車頭や車尾が検出できず、車両追跡部３２による車両追跡や車速検出ができないため、撮影画像の視野外における車両の停止状態を正常に検出できない場合がある。これに対し、本実施形態では、検出車両の一部が撮影画像の視野外にあるような場合であっても、車両候補矩形を検出できれば停止状態を確実に検出することができる。
【００６９】
また、撮影画像上で車両が隣接車両と結合して検出されやすい状況においては、車両候補矩形の底辺の中心点を用いる方法が有効であり、正確な停止状態の検出が可能となる。一方、車両候補矩形の矩形領域の中心点を用いる方法では、車両進行時に動きを認識できるので、より綿密な停止状態や低速状態の判定が可能となる。
【００７０】
また、車両候補矩形を検出する際、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、複数の車両候補矩形から新たな車両候補矩形を作成することで、安定した車両候補矩形の作成ができ、この車両候補矩形に基づいて車両の停止状態を適切に判定できる。
【００７１】
図６は本発明の第２の実施形態に係る視野外停止状態の検出処理手順を示すフローチャートである。
【００７２】
車両候補矩形検出部３１において車両候補矩形の検出が完了すると（ステップＳ３１）、車両視野外停止検出部３３は、検出された車両候補矩形が撮影画像の画面端にあるかどうかを判断する（ステップＳ３２）。車両候補矩形が画面端にある場合は、視野外停止状態判定のための車両候補矩形における画像データが記録済みであるかどうかを判断し（ステップＳ３３）、画像データが記録されていない場合は車両候補矩形内の画像データの記録を行う（ステップＳ３４）。
【００７３】
一方、視野外停止状態判定用の画像データが記録済みの場合は、車両候補矩形における現在画像と記録済画像との類似度を算出する（ステップＳ３５）。現在画像と記録済画像との類似度の算出方法として、２つの例を示す。第１の方法は、２つの画像の平均明度差を算出し、類似度の値とするものである。第２の方法は、２つの画像の相関係数を算出し、類似度の値とするものである。なお、これらの第１及び第２の方法において、画像データを微分した微分画像データを用いて、微分画像の平均明度差や相関係数を算出してもよい。
【００７４】
そして、前記類似度の算出結果に基づき、現在画像と記録済画像とで類似性があるかどうかを判断し（ステップＳ３６）、類似性が無い場合は、車両候補矩形内の画像データの再記録を行う（ステップＳ３４）。一方、現在画像と記録済画像とに類似性がある場合は、この車両候補矩形内の画像データの類似状態が継続する時間をカウントする（ステップＳ３７）。そして、類似状態継続時間がＴ時間（例えば、５秒）経過したかを判断し（ステップＳ３８）、Ｔ時間経過した場合は、視野外停止状態を検出する（ステップＳ３９）。
【００７５】
また、車両候補矩形が移動するなどして、ステップＳ３２で車両候補矩形が画面端にない場合は、車両候補矩形内の画像データが記録済みであるかを判断し（ステップＳ４０）、記録済みである場合は記録された車両候補矩形内の画像データを廃棄する（ステップＳ４１）。
【００７６】
なお、車両候補矩形検出部３１において検出された車両候補矩形が、連続してＮ回（Ｎは正の整数）撮影画像の画面端に接している場合には、直近のＮ個の車両候補矩形を用いて新たな車両候補矩形を作成し、この車両候補矩形内の画像データを記録して車両の停止を検出するようにしてもよい。このとき、例えばＮ個の車両候補矩形を重ね合わせ、その全てに包含される矩形を新たな車両候補矩形として作成すればよい。
【００７７】
上記のように、第２の実施形態の手順により、検出車両の車両候補矩形が撮影画像の画面端にある場合に、検出車両が撮影画像の視野外で停止または低速状態にあることを認識することが可能である。車両が撮影画像の外にはみ出て停止した場合など、検出車両の車両候補矩形が撮影画像の画面端に位置し、検出車両の一部が撮影画像の枠より外にある場合は、車頭や車尾が検出できず、車両追跡部３２による車両追跡や車速検出ができないため、撮影画像の視野外における車両の停止状態を正常に検出できない場合がある。これに対し、本実施形態では、検出車両の一部が撮影画像の視野外にあるような場合であっても、車両候補矩形を検出できれば停止状態を確実に検出することができる。
【００７８】
第２の実施形態では、第１の実施形態に比べて演算量が多くなり、ある程度のハードウェア資源が必要になるが、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、画像データの類似度の判定によって適切に停止状態を判定できる。また、平均明度差を用いる方法では、最も容易に類似度を算出できる。一方、相関係数を用いる方法では、環境変化への対応力が向上する。さらに、微分データの平均明度差や相関係数を用いる方法では、上記方法より演算量が多くなるものの、環境変化への対応力をさらに優れたものにすることができる。
【００７９】
また、車両候補矩形を検出する際、隣接車線の車両の影響等によって車両候補矩形が不安定な場合であっても、複数の車両候補矩形から新たな車両候補矩形を作成することで、安定した車両候補矩形の作成ができ、この車両候補矩形に基づいて車両の停止状態を適切に判定できる。
【産業上の利用可能性】
【００８０】
本発明は、車両が撮影画像の画面端に停止しているような場合であっても、停止状態を適切に検出することが可能となる効果を有し、道路上の撮影画像に基づいて処理を行い、故障等で停止又は低速状態となった車両を検出する停止低速車両検出装置及び方法等に有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施形態に係る道路監視システムの構成を示す図
【図２】本実施形態の画像処理部及び事象判定部における全体の処理手順を示すフローチャート
【図３】本実施形態の画像処理部及び事象判定部において車両認識及び停止低速車両検出を行う機能構成を示すブロック図
【図４】本発明の第１の実施形態に係る視野外停止状態の検出処理手順を示すフローチャート
【図５】第１の実施形態における撮影画像上での車両候補矩形と探索矩形の設定例を示す図
【図６】本発明の第２の実施形態に係る視野外停止状態の検出処理手順を示すフローチャート
【符号の説明】
【００８２】
１１  道路
１２  カメラ
１３  車両
１４  画像処理部
１５  事象判定部
２１  画像入力部
２２  背景画像作成部
２３  特徴画像作成部
２４  特徴コード作成部
２５  画像格納部
２６  現画像格納部
２７  背景画像格納部
２８  特徴画像格納部
２９  特徴コード格納部
３０  車両認識部
３１  車両候補矩形検出部
３２  車両追跡部
３３  車両視野外停止検出部
３４  停止低速事象認識部
【図１】
2006243933.tif 000003
【図２】
2006243933.tif 000004
【図３】
2006243933.tif 000005
【図４】
2006243933.tif 000006
【図５】
2006243933.tif 000007
【図６】
2006243933.tif 000008