(57)【特許請求の範囲】
【請求項１】
記憶手段に格納された、交差点における時系列画像を処理して、異常事象を検出する方法において、
（ａ）該交差点の画像上で車輌又は歩行者が通ると予測される全ての経路のデータを予め設定しておき、
（ｂ）各車輌の位置及び速度ベクトルを求め、
（ｃ）該車輌が停止しているか否かを判別し、
（ｄ）該経路のデータと該車輌の位置とに基づき、該車輌がどの経路上にあるかを判別し、
（ｅ）該ステップ（ｃ）で肯定判定された場合に、該ステップ（ｄ）の経路について、該車輌が該経路内で最も先頭側に位置する停止車輌であるか否かを判定し、
（ｆ）該ステップ（ｅ）で最も先頭側に位置する停止車輌であると判定した場合には、該経路内で該停止車輌の前方側に車輌が存在するか否かを判定し、
（ｇ）該ステップ（ｆ）で前方側に車輌が存在しないと判定した場合には、他の経路の車輌又は交通信号との関係で該車輌の停止が正常事象であるか否かを判定し、
（ｈ）いずれかの正常事象であると判定できなかった場合には、該車輌の停止が異常事象であると判定する、
ステップを有することを特徴とする、画像処理による交差点での異常事象検出方法。
【請求項２】
該ステップ（ｇ）において、該車輌の経路と交差する歩行者経路の交通信号が、進行信号であるか否か又は設定時間内に進行信号に変わるか否かを判定し、これらのいずれかを肯定判定した場合には、正常事象であると判定する、
ことを特徴とする請求項１に記載の、画像処理による交差点での異常事象検出方法。
【請求項３】
該ステップ（ｇ）において、該車輌の経路と交差する経路についても該ステップ（ｇ）へ進んだ場合には、正常事象であると判定する、
ことを特徴とする請求項１又は２に記載の、画像処理による交差点での異常事象検出方法。
【請求項４】
該ステップ（ｄ）では、該車輌の過去の経路も記憶しておき、
（ｉ）該ステップ（ｃ）で停止していると判定した場合には、該停止車輌から設定範囲内に、該停止車輌の経路から他の経路に経路を変更した車輌が存在すれば、異常事象と判定する、
ステップをさらに有することを特徴とする請求項１乃至３のいずれか１つに記載の、画像処理による交差点での異常事象検出方法。
【請求項５】
（ｊ）車輌経路の、歩行者経路の手前の領域に存在する車輌速度の平均値を求め、該平均値のステップ変化に基づいて、交通信号機の信号の状態変化を認識する、
ステップをさらに有し、
該ステップ（ｇ）において、該歩行者経路の交通信号として該信号の状態変化を用いる
ことを特徴とする請求項２に記載の、画像処理による交差点での異常事象検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点での時系列画像を処理して画像中の移動物体を追跡し、異常事象の有無を判定する方法に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
下記特許文献１には、車両が混んでくるとテレビカメラで撮影した画像は重なってくるため、ミクロに台数、速度を計測することができなくなることから、マクロに車が多い、少ない、速度が速い、遅いといった計測により渋滞度を計測し、渋滞度を平面的にプロットし、渋滞度が周囲の状況に比べ大きく変化している箇所の近傍には何らかの異常が発生していると判断することが記載されている。また、ある部分だけ走行ラインがずれている場合に異常と判断することが記載されている。
【０００４】
しかしながら、マクロ的、統計的手法であるため、これを交差点のような複雑な領域に適用すると、渋滞度が平均化されて、異常事象が検出できなくなる。さらに、該特許文献には、具体的にどのようにマクロ的、統計的手法を実施するのかについて、開示されていない。
【特許文献１】特開平６−７６１９５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、上記問題点に鑑み、交差点を複数の移動物体経路の組み合わせとして取り扱うことにより単純化して、異常事象の有無を判定することが可能な、画像処理による交差点での異常事象検出方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第１態様では、記憶手段に格納された、交差点における時系列画像を処理して、異常事象を検出する方法において、
（ａ）該交差点の画像上で車輌又は歩行者が通ると予測される全ての経路のデータを予め設定しておき、
（ｂ）各車輌の位置及び速度ベクトルを求め、
（ｃ）該車輌が停止しているか否かを判別し、
（ｄ）該経路のデータと該車輌の位置とに基づき、該車輌がどの経路上にあるかを判別し、
（ｇ）該ステップ（ｃ）で停止していると判定した場合には、他の経路の車輌又は交通信号との関係で該車輌の停止が正常事象であるか否かを判定し、
（ｈ）いずれかの正常事象であると判定できなかった場合には、該車輌の停止が異常事象であると判定する、
ステップを有する。
【０００７】
本発明による、画像処理による交差点での異常事象検出方法の第２態様では、第１態様において、該ステップ（ｄ）と該ステップ（ｇ）との間において、
（ｅ）該ステップ（ｃ）で肯定判定された場合に、該ステップ（ｄ）の経路について、該車輌が該経路内で最も先頭側に位置する停止車輌であるか否かを判定し、
（ｆ）該ステップ（ｅ）で最も先頭側に位置する停止車輌であると判定した場合には、該経路内で該停止車輌の前方側に車輌が存在するか否かを判定する、
ステップをさらに有し、該ステップ（ｆ）で前方側に車輌が存在しないと判定した場合に該ステップ（ｇ）へ進む。
【０００８】
本発明による、画像処理による交差点での異常事象検出方法の第３態様では、第１態様において、
該ステップ（ｂ）で求めた車輌位置の時系列である軌跡の集合を該記憶手段に格納しておき、
該ステップ（ａ）では、該集合に基づいて、該全ての経路を求める。
【０００９】
本発明による、画像処理による交差点での異常事象検出方法の第４態様では、第１乃至３態様のいずれか１つにおいて、
該ステップ（ｇ）において、該車輌の経路と交差する歩行者経路の交通信号が、進行信号であるか否か又は設定時間内に進行信号に変わるか否かを判定し、これらのいずれかを肯定判定した場合には、正常事象であると判定する。
【００１０】
本発明による、画像処理による交差点での異常事象検出方法の第５態様では、第２態様において、
該ステップ（ｇ）において、該車輌の経路と交差する経路についても該ステップ（ｇ）へ進んだ場合には、異常事象でないと判定する。
【００１１】
本発明による、画像処理による交差点での異常事象検出方法の第６態様では、第１乃至５態様のいずれか１つにおいて、該ステップ（ｄ）では、該車輌の過去の経路も記憶しておき、
（ｉ）該ステップ（ｃ）で停止していると判定した場合には、該停止車輌から設定範囲内に、該停止車輌の経路から他の経路に経路を変更した車輌が存在すれば、異常事象と判定する、
ステップをさらに有する。
【００１２】
本発明による、画像処理による交差点での異常事象検出方法の第７態様では、第４態様において、
（ｊ）車輌経路の、歩行者経路の手前の領域に存在する車輌速度の平均値を求め、該平均値のステップ変化に基づいて、交通信号機の信号の状態変化を認識する、
ステップをさらに有し、
該ステップ（ｇ）において、該歩行者経路の交通信号として該信号の状態変化を用いる。
【発明の効果】
【００１３】
上記第１態様の構成によれば、
（ａ）交差点の画像上で車輌又は歩行者が通ると予測される全ての経路のデータを予め設定しておき、
（ｂ）各車輌の位置及び速度ベクトルを求め、
（ｃ）該車輌が停止しているか否かを判別し、
（ｄ）該経路のデータと該車輌の位置とに基づき、該車輌がどの経路上にあるかを判別し、
（ｇ）該ステップ（ｃ）で停止していると判定した場合には、他の経路の車輌又は交通信号との関係で該車輌の停止が正常事象であるか否かを判定し、
（ｈ）いずれかの正常事象であると判定できなかった場合には、該車輌の停止が異常事象であると判定するので、交差点での複雑な事象が単純化されて、処理が簡単になり、交差点での異常事象の有無を比較的容易に判定することが可能になるという効果を奏する。
【００１４】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【実施例１】
【００１５】
以下、図面を参照して本発明の実施例１を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【００１６】
図１は、ビデオカメラ（例えばＩＴＶカメラ）ビデオカメラ１０で撮像された画像を処理して移動物体を追跡する、本発明の実施例１の異常事象検出装置２０の概略機能ブロック図である。
【００１７】
この異常事象検出装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
【００１８】
ビデオカメラ１０で撮影された時系列画像は、例えばフレーム画像３０フレーム／秒のレートでサンプリングされて、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００１９】
本発明は、画像メモリ２１に格納された画像データをブロック２３〜２９によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２０】
また、画像メモリ２１に格納された画像（原画像）を直接、ブロック２３〜２９で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（変換画像）を、ブロック２３〜２９で処理する構成であってもよい。以下、「画像」とは原画像又は変換画像を意味する。
【００２１】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２２】
ＩＤ生成／消滅部２３には、図２に示す如くフレーム画像３０内に配置される入口スリット３１Ａ、３１Ｂ及び出口スリット３２Ａ、３２Ｂの領域データが、予め設定されている。図２は、フレーム画像３０に、これらスリットと、点線で示すブロックの境界線とが重ね合わされている。１ブロックは例えば８×８画素である。
【００２３】
前記スリットの設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。図２ではスリットの奥行が２ブロック幅であるが、１ブロック幅の整数倍であればよい。
【００２４】
ＩＤ生成／消滅部２３は、画像メモリ２１から入口スリット３１Ａ及び３１Ｂ内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が閾値以上であるかどうかにより判定する。
【００２５】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００２６】
ＩＤの付与は、記憶部オブジェクトマップ記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグを含み、ＩＤが付与されていることを示している場合にはさらにＩＤ及びブロックの動きベクトル（ＭＶ）を含む。この情報は配列Ｍ（ｉ，ｊ，ｎ）で表すことができる。ここに（ｉ，ｊ）は第ｉ行第ｊ列のブロックを示し、ｎ＝０、ｎ＝１及びｎ＝２はそれぞれＭがフラグ、ＩＤ及びＭＶであることを示す。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００２７】
入口スリット３１Ａ又は入口スリット３１Ｂを通過したクラスタに対しては、移動物体追跡部２５により、例えば上記特許文献１に記載の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、上記特許文献１に記載のように、評価関数を用いて同時に決定することもできる。ＩＤ及びＭＶの更新は、記憶部オブジェクトマップ記憶部２４内のオブジェクトマップに対して行われる。
【００２８】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット３２Ａ又は出口スリット３２Ｂ内まで行われる。
【００２９】
ＩＤ生成／消滅部２３はさらに、記憶部オブジェクトマップ記憶部２４内のオブジェクトマップに基づき出口スリット３２Ａ及び３２Ｂ内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３０】
図４は、時刻ｔ０でのＩＤのオブジェクトマップに、理解を容易にするため図２中の画像上移動物体３３及び３４を重ね合わせ、さらにこれらのクラスタ３３Ｃ及び３４Ｃの境界を太線で示したものである。
【００３１】
図１のクラスタ内接矩形決定部２６は、後述の処理を簡単化するため、図５に示す如く、３５上において、ＩＤ毎のクラスタ３３Ｃ及び３４Ｃが内接する矩形３３Ｄ及び３４Ｄを決定する。図５では、クラスタ３４Ｃと矩形３４Ｄとは同一である。
【００３２】
次に、ＩＤ毎のクラスタの代表点及び計測点の求め方について説明する。
【００３３】
フレーム画像３０上において、時刻ｔ０で図２に示す位置にいた移動物体３３及び３４がそれぞれ、図４に示す位置に移動したとする。図７に示すように、移動物体３３とビデオカメラ１０との間の距離が異なることと、ビデオカメラ１０から路面への直線と路面とのなす角度が移動物体３３の位置により異なることから、実物の長さに対する画像上の長さ（縮小率）が画像上の位置により異なる。ビデオカメラ１０の撮像面の画像は、ビデオカメラ１０の光軸に垂直な面投影面ＳＣ上への実物の投影像に比例しているので、この縮小率は、投影面ＳＣ上のδＳとこれに対応した路面上のδＲとの比μ＝δＳ／δＲに比例している。この比例定数を１、すなわち縮小率をμとする。画像上の軌跡の各微小線分に、その位置のμを乗じたものが、実軌跡の線分に対応する。
【００３４】
一方、移動物体の代表点をその領域の幾何学的重心として求めると、移動物体毎にその高さが異なる。このため、移動物体の速度をこの代表点に基づいて計測すると、誤差が生ずる原因となる。移動物体のカメラ側端、例えば、移動物体がビデオカメラ１０から遠ざかる方向へ移動する場合には移動物体後端、逆方向へ移動する場合には移動物体前端が、路面に最も近く、かつ、ビデオカメラ１０から見える位置となり、これを計測点とすれば、速度計測誤差を小さくすることができる。
【００３５】
しかしながら、カメラアングルを低くして移動物体に対する視野を広くしたり、車輌が渋滞したりした場合には、画像上で複数の移動物体がその進行方向に重なって、この計測点が隠蔽されるという問題が生ずる。また、リアルタイム処理を高速に行うためにモノクロ濃淡画像を使うと、移動物体とその影を含んだものが移動物体と認識されて、計測点が安定せず、その誤差が比較的大きくなる。
【００３６】
そこで、本実施例１では、以下のようにしてこの問題を解決している。
【００３７】
ＩＤ生成／消滅部２３は、図２及び図４において、クラスタ３３Ｃの後端３３Ｃ１が入口スリット３１Ａの後端３１Ａ１を完全に通過したと判定すると、これを初期値決定部２７に通知する。この時点をｔ０とする。
【００３８】
初期値決定部２７は、これに応答して、時刻ｔ０でのオブジェクトマップ３５に基づいて、移動物体領域の代表点を求める。例えば図４に示すオブジェクトマップ３５において、クラスタ３３Ｃの幾何学的重心位置を、移動物体３３の代表点として求める。クラスタ３３ＣのＩＤが付与されたブロックは、ブロック２６で求めた矩形内のブロックを走査することにより、短時間で見つけることができる。
【００３９】
ここで、時刻ｔにおける移動物体３３の代表点を代表点ＲＰ（ｔ）、代表点から計測点までのオフセットベクトルをオフセットベクトルオフセットベクトル、代表点の動きベクトル（代表動きベクトル）を代表動きベクトル代表動きベクトルと表記する。図８（Ａ）及び（Ｂ）はそれぞれ、時刻ｔ０及びｔｋでのこれらを示す。また、第ｉ行第ｊ列のブロックの縮小率をμ（ｉ，ｊ）と表記する。
【００４０】
一方、図１の動きベクトル平均値算出部２８は、動きベクトルＭＶのオブジェクトマップにおいて、各移動物体領域に含まれるすべてのブロックの動きベクトルＭＶの平均値を、代表動きベクトル代表動きベクトルとして求める。
【００４１】
初期値決定部２７はさらに、動きベクトル平均値算出部２８から代表動きベクトルＲＭＶ（ｔ０）を取得し、図８（Ａ）において、代表点ＲＰ（ｔ０）を始点とする代表動きベクトルＲＭＶ（ｔ０）が通る直線上を、ビデオカメラ１０に接近する方向へフレーム画像３０上で走査し、クラスタ３３Ｃ内の最も外側のエッジ位置を、初期計測点ＭＰ（ｔ０）として求める。
【００４２】
図１の代表点追跡部２９は、初期値決定部２７で求められた代表点ＲＰ（ｔ０）に、動きベクトル平均値算出部２８で順次求められる代表動きベクトルを累積加算することにより、代表点の軌跡代表点ＲＰ（ｔ）を求める。図９は、移動物体３３が直線移動する場合の時間（フレーム番号）ｔ０〜ｔ５における代表点の位置を示す。
【００４３】
このようにして求めた代表点の軌跡は、ブロック量子化誤差の影響を受けないので、安定したものとなる。また、画像上で移動物体の一部が他の移動物体に隠蔽されても、これにより、代表点が殆どずれない（平均化対象の動きベクトルが少なくなることにより少しずれる）ので、代表点の軌跡をより正確に求めることが可能となる。さらに、例えば時刻ｔ０でのみクラスタ３３Ｃ内についてカラー画像を処理することにより、影が移動物体と判定されている場合にこれをクラスタ３３Ｃから除去して、代表点ＲＰ（ｔ０）及び代表動きベクトルＲＭＶ（ｔ０）を求めるようにすれば、その後はモノクロ画像のみを処理することにより、影の影響を受けずに代表点ＲＰ（ｔ）を正確かつ高速に求めることが可能となる。
【００４４】
図１に戻って、縮小率マップ２Ａは、記憶部と処理部とを備え、記憶部には上述の縮小率のマップ（配列）μが格納されており、処理部は初期代表点ＲＰ（ｔ０）及び代表点追跡部２９で求められた代表点ＲＰ（ｔ）に応答して、代表点が属するブロックの座標（ｉ，ｊ）を求め、その縮小率μ（ｉ，ｊ）を計測点追跡部２Ｂに供給する。
【００４５】
計測点追跡部２Ｂは、代表点追跡部２９で求められた代表点ＲＰ（ｔ）を始点とするオフセットベクトルＯＦＶ（ｔ）＝−｜オフセットベクトルＯＦＶ（ｔ０）｜・μ（ｉ，ｊ）／μ（ｉ０，ｊ０）・代表動きベクトルＲＭＶ（ｔ）／｜代表動きベクトルＲＭＶ（ｔ）｜を求める。但し、ビデオカメラ１０側へ接近する移動物体については、この符号が逆になる。
【００４６】
すなわち、初期値決定部２７で求められたオフセットベクトルＯＦＶ（ｔ０）の絶対値をμ（ｉ，ｊ）／μ（ｉ０，ｊ０）倍にしたものをオフセットベクトルオフセットベクトルの長さとする。ここに、（ｉ，ｊ）及び（ｉ０，ｊ０）はそれぞれ、時刻ｔ０及びｔでの代表点が属するブロック座標である。また、動きベクトル平均値算出部２８で求められた代表動きベクトルＲＭＶ（ｔ）が通る直線のカメラ側、図７の場合は移動物体後端側を、オフセットベクトルの向きとして求める。
【００４７】
このようにして求められたオフセットベクトルＯＦＶ（ｔ）の先端を連ねたものが、計測点ＭＰ（ｔ）の軌跡となる。図９は、移動物体３３が直線移動する場合の計測点ＭＰ（ｔ）の軌跡も示す。
【００４８】
図１０は、移動物体３３が右折する場合に、上述のようにして求められる代表点と計測点の軌跡を示す。
【００４９】
このようにして計測点を求めることにより、計測点が画像上で他の移動物体により隠蔽されても、正確に求めることが可能となる。
【００５０】
本実施例１の特徴は、図１中のブロック２Ｃ〜２Ｉと、これらとブロック２９及び２Ｂとの関係にあり、以下これを詳述する。
【００５１】
速度計測部２Ｃは、計測点追跡部２Ｂで求められた各計測点ＭＰについて、計測点ＭＰが含まれるブロック及びその周りのブロックの動きベクトルの平均値を求め、これをμで除することにより、この車速Ｖを求める。計測点ＭＰが他の移動物体により隠蔽されている場合には、平均化の範囲を広げることにより、車速Ｖを求める。
【００５２】
一方、異常判別処理を行う前に、経路決定・記憶部２Ｄにより図１１に示す処理を行う。以下、括弧内は図中のステップ識別符号である。
【００５３】
（Ｓ０）オブジェクトマップ記憶部２４の内容を外部記憶装置に蓄積した過去の時系列オブジェクトマップに基づいて、入口スリットと出口スリットの組で区別される経路として、クラスタ通過領域を求める。入口スリットに入る前については、入口スリットから時間を遡って移動物体を追跡することによりクラスタ通過領域を求める。例えば図４のクラスタ３３Ｃが通過した、図６に示すような領域を求める。すなわち、クラスタ通過ブロックに１を加算する。このような処理を繰り返し、その経路の各横断線に沿ったカウント列について、閾値で２値化することにより、車両経路を求める。
【００５４】
図１３において、道路Ａから交差点に進入して直進し、右折し、左折するそれぞれの車両経路ＡＳ、ＡＲ及びＡＬを上記のようにして求める。道路Ｂ〜Ｄについても同様であり、これらを重ね合わせたものは、図１５に示す如くなる。また、道路Ａ〜Ｄでの歩行者経路ＡＷ、ＢＷ、ＣＷ及びＤＷを求める。さらに、これら経路のうち、歩行者経路ＡＷ、ＢＷ、ＣＷ及びＤＷのそれぞれに対し車輌が停止信号で停止する領域ＡＣ、ＢＣ、ＣＣ及びＤＣ（ドット領域）を後述の信号判定用として求める。
【００５５】
（Ｓ１）求めた経路を図１の表示装置ＯＵＴに表示させる。
【００５６】
（Ｓ２）経路及び領域の修正要否のダイアログボックスを表示させ、ユーザによる入力装置ＩＮからの選択を待つ。ユーザが修正要を選択した場合には、入力装置ＩＮからの指示に基づいてこれを修正し、ステップＳ１へ戻って修正後のものを表示させる。ユーザが修正不要を選択した場合には、ステップＳ４へ進む。
【００５７】
（Ｓ４）決定された車両経路及び信号判定用領域のデータを記憶部に格納する。
【００５８】
図１４は、全ての経路を重ね合わせたものであり、複雑になる。しかし、本実施例では、図１５に示すように、４方向から交差点へ進入しそれぞれ３つに分岐する１２本の車輌経路と、４つの歩行者経路とに分け、各車輌経路毎に同様の処理を行うので、処理が簡単になる。
【００５９】
ここで、車両の停止が異常事象であるか否かを判定するために、交通信号が必要となる。しかし、ビデオカメラ１０の設置箇所及び角度によっては、交通信号機が視野外になって、画像処理により信号状態を判定できなかったり、異常事象検出装置２０へ信号機の情報を有線又は無線で供給するとコスト高になる場合がある。
【００６０】
そこで、信号判定部２Ｅは、図１３の領域ＡＣとＣＣに含まれる車両の代表速度の平均値を求め、同様に領域ＢＣとＤＣに含まれる車両の代表速度の平均値を求める。図１７はこれら平均値のタイムチャートを示す。平均化により、信号無視の車速の影響が殆どなくなるとともに、注意信号がステップ変化の両側に分けられる。信号判定部２Ｅは、このオンとオフの信号周期及び変化基準点を検出して記憶しておき、ステップ変化量が閾値以下になった場合には、すなわち交通量が少なくなって、交通流から交通信号の変化を検出できなくなった場合には、記憶した信号周期及び変化基準点に基づいて信号の変化を推定する。次にステップ変化量が閾値を超えた場合には、その波形に基づいて交通信号の状態を判定するとともに、信号周期及び変化基準点を更新する。
【００６１】
所属経路判定部２Ｆは、移動物体のＩＤ毎にそれがどの経路に属するかを決定するものであり、クラスタ内接矩形決定部２６で決定された各矩形について、その中の同一ＩＤが付与された領域（クラスタ）をオブジェクトマップ記憶部２４から取得し、各経路について、このクラスタが設定％以上、例えば８０％以上、経路内に含まれていれば、該クラスタが該経路に属していると判定し、この経路の識別符号ＦＰを移動物体ＩＤと対応付ける。図１６は、ＩＤ＝１〜６の移動物体のそれぞれが属性として経路識別符号ＦＰを持つことをイメージで示している。経路の重ね合わさった部分に居る移動物体にはそれぞれの識別符号ＦＰの値が対応付けられている。
【００６２】
移動物体毎特徴量記憶部２Ｇは、移動物体ＩＤ毎にその特徴量をテーブルとして記憶したものである。このテーブルは、構造体を定義しさらにその配列を定義し、配列の添字を移動物体ＩＤとすることにより表現することができる。テーブルの項目（構造体の変数）は、クラスタ内接矩形決定部２６、代表点追跡部２９、速度計測部２Ｃ及び所属経路判定部２Ｆで求められた内接矩形の対角点座標、代表点の座標、速度ベクトル及び所属経路識別符号ＦＰを含んでいる。
【００６３】
次に、異常判別部２Ｈでの処理を説明する。
【００６４】
ここで、交差点で衝突事故が生じた場合、その車両はその後停止し、その先方の経路内の車両は通過して存在せず、後方の車両が通路を妨げられて停止し又は事故車を迂回（経路を変更）して進むと考えられる。交差点で車輌が故障した場合も同様である。一方、信号待ちで車輌が停止したり、直進車と右折車がデッドロック状態で停止している場合もある。
【００６５】
そこで、事故や故障などの異常事象ではない正常事象であるか否かを全て調べ、どの正常事象にも該当しない場合には、異常事象であると判定する。
【００６６】
まず、各経路について、停止車があれば、その前方にも停止車があるか否かを調べ、経路内先頭の停止車の前方に車両が存在しないか否かを判定する。この処理は、次のように簡単化することができる。すなわち、移動物体毎特徴量記憶部２Ｇを参照して、経路と無関係に停止車（速度が設定値以下で停止と見なせるものを含んでもよい。）が存在するか否かを調べ、存在する場合には、１つの経路に複数存在するか否かを調べ、複数存在する場合には経路内先頭の停止車がどれであるかを決定し、その経路内の前方に車両が存在しないことを確認する。
【００６７】
異常判別部２Ｈは、時刻ｔでサンプリングしたフレーム画像に関し、図１２に示すような処理を、移動物体毎特徴量記憶部２Ｇにより得られた移動物体特徴量と、経路決定・記憶部２Ｄにより得られた経路と、信号判定部２Ｅにより得られた交通信号状態に基づき行う。
【００６８】
以下では、時刻ｔのＩＤオブジェクトマップにおいて、移動物体ＩＤが１からｉｍａｘまで付与されているとする。また、交差点に経路が１２本あり、それらが番号１〜１２で識別されるとする。
【００６９】
（Ｓ１０）移動物体ＩＤの変数ｉに初期値１を代入し、経路ｊ内の先頭停止車輌ＩＤを示すＳＴ（ｊ）、ｊ＝１〜１２を０に初期化する。
【００７０】
（Ｓ１１）ｉがｉｍａｘでなければステップＳ１２へ進み、そうでなければステップＳ１７へ進む。
【００７１】
（Ｓ１２）移動物体毎特徴量記憶部２Ｇを参照して、ＩＤ＝ｉの車両が停止しているか否かを判定し、停止していればステップＳ１３へ進み、そうでなければステップＳ１６へ進む。
【００７２】
（Ｓ１３）移動物体毎特徴量記憶部２Ｇを参照して、ＩＤ＝ｉの車両が属する経路ｊを取得する。どの経路にも属さない場合は経路０である。ＳＴ（ｊ）＝０であれば、すなわち経路ｊで最初に見つけた停止車であればステップＳ１５へ進み、２回目以降に見つけた停止車であればステップＳ１４へ進む。
【００７３】
（Ｓ１４）経路ｊ上でＩＤ＝ｉとＩＤ＝ＳＴ（ｊ）の車輌のどちらが先行しているかを、移動物体毎特徴量記憶部２Ｇに格納されている代表点座標と経路決定・記憶部２Ｄに格納されている経路とに基づいて判定する。例えば、経路の中央線を予め求めておき、代表点座標を該中央線へ垂直に投影し、該中央線に沿ってどちらが先行しているかを判定する。また、ＩＤオブジェクトマップ上で、経路と直交する方向に副走査しながら経路方向に主走査し、どちらのＩＤが後で見つかるかにより先後を判定してもよい。
【００７４】
ＩＤ＝ｉの車輌がＩＤ＝ＳＴ（ｊ）の車輌よりも先行していれば、ステップＳ１５へ進み、この逆であればステップＳ１６へ進む。
【００７５】
（Ｓ１５）ＳＴ（ｊ）にｉを代入する。
【００７６】
（Ｓ１６）ｉを１だけインクリメントし、ステップＳ１１へ戻る。
【００７７】
このような処理により、時刻ｔのフレーム画像上の経路毎の先頭停止車輌を見つけることができる。
【００７８】
（Ｓ１７）経路変数ｊに初期値１を代入する。
【００７９】
（Ｓ１８）ｊ＜１３であればステップＳ１９へ進み、そうでなければ図１２の処理を終了する。
【００８０】
（Ｓ１９）ＳＴ（ｊ）＝０、すなわち停止車が経路ｊに存在しなければステップＳ２０へ進み、そうでなければステップＳ２１へ進む。
【００８１】
（Ｓ２０）ｊを１だけインクリメントし、ステップＳ１８へ戻る。
【００８２】
（Ｓ２１）経路ｊにおいて、ＩＤ＝ＳＴ（ｊ）の停止車輌の前方に車両が存在するか否かを調べ、存在しなければステップＳ２２へ進み、存在すればステップＳ１８へ戻る。例えば、ＩＤオブジェクトマップ上で、経路と直交する方向に副走査しながら経路方向に主走査し、ＩＤが見つからなければ存在しないと判定する。このステップＳ２１の処理を行う理由は、直列に停止している車両群が、前方から順に発進する場合を、異常事象と判定しないようにするためである。
【００８３】
（Ｓ２２）ＩＤ＝ＳＴ（ｊ）の車輌の停止が、考えられる正常事象に該当するか否かを調べる。
【００８４】
例えば、経路ｊと交差する横断歩道が該車輌の前にあれば、信号判定部２Ｅの情報に基づいて、この横断歩道の交通信号が進行信号であるかまたは設定時間内に進行信号に変わると予測できるか否かを判定し、肯定判定した場合には、異常事情でないと判定してステップＳ１８へ戻る。
【００８５】
また、経路ｊと交差する経路（互いに交差する右折経路と直進経路）について、停止車輌が存在するか否かを調べる。存在する場合、両代表点間の距離が設定値以内であれば、デッドロック状態であって異常事情でないと判定してステップＳ１８へ戻る。
【００８６】
（Ｓ２３）事故又は故障などの異常事象であると判定し、これを異常記憶・報知部２Ｉに通知する。
【００８７】
異常記憶・報知部２Ｉはこれに応答して、異常と判定された時点の前後の複数フレームの画像、異常判定時刻、異常と判定された移動物体の該複数フレームに関する上記特徴量のデータを、外部記憶装置に格納するとともに、通信媒体を介して交通センターへ送信する。
【００８８】
なお、例えば図１６に示すＩＤ＝６の移動物体はＦＰ＝１、２及び３であるので、図１２のステップＳ１３〜Ｓ１５はｊ＝１，２，３のそれぞれについて処理を行うことになる。しかし、いずれか１つのみついて行ってもよい。この場合、経路１〜３は重なり部分がないとみなすことになる（例えば、直進経路の長さは変わらないが右折経路及び左折経路は重なり部分がないのでその分だけ短くなる）。
【００８９】
また、移動物体の過去の所属経路又は経路変更有無も移動物体の特徴量として移動物体毎特徴量記憶部２Ｇに格納しておき、ステップＳ１２とステップＳ１３との間又はステップＳ２２とステップＳ２３との間において、当該停止車輌から設定範囲内に、該停止車輌の経路から他の経路に経路を変更した車輌が存在すれば、事故又は故障の異常事象であると判定する構成であってもよい。或いは、経路を変更した移動物体をカウントし、設定時間内に該カウントが設定値を超えたとき、事故又は故障の異常事象であると判定する構成であってもよい。
【００９０】
本実施例１によれば、交差点を、車輌が通る複数の経路に分けて単純化し、他の経路も考慮して車輌停止が正常事象であるか否かを判定し、どの正常事象にも該当しない場合に異常事象と判定するので、交差点での複雑な事象を比較的簡単に解析でき、交差点での異常事象自動検出装置の実用化に寄与するところが大きい。
【００９１】
なお、本発明には外にも種々の変形例が含まれる。
【００９２】
例えば、信号判定部２Ｅを用いる代わりに、交通信号機の信号を受信し、交通センターからインターネットを介して該交通信号機の信号情報を取得し、又は、信号機の画像を処理して信号情報を取得する構成であってもよいことは勿論である。
【００９３】
また、車輌代表点の動きベクトルを車速として用いてもよい。
【００９４】
さらに、経路はユーザが予め設定する構成であってもよい。
【００９５】
また、車輌の経路を車輌代表点の経路とし、代表点の停止を車輌の停止として取り扱う構成であってもよい。この場合、代表点は、幾何学的重心であってもよい。
【００９６】
経路内の車輌の進行順にＩＤをリンクしたリスト構造を用いて、車輌の先行を容易に判定できるようにしてもよい。
【００９７】
また、上記実施例では、クラスタ内の全ての動きベクトルの平均値を初期代表動きベクトルとして求めたが、移動物体の領域に含まれる複数ブロックの動きベクトルの平均値であればよく、代表点付近のブロック、例えば代表点が属するブロックとその周囲の８個のブロックの動きベクトルの平均値であってもよい。
【００９８】
さらに、上記実施例では、初期代表点として求める移動物体の領域の幾何学的重心として、クラスタの幾何学的重心を求めたが、該クラスタに対応するフレーム画像上の移動物体の領域の幾何学的重心を求めてもよい。
【００９９】
また、上記実施例では、初期代表点を始点とする初期オフセットベクトルの終点をフレーム画像上で求めたが、ブロックサイズは比較的小さいので、オブジェクトマップ上の端部ブロック内の点又はその近傍の点を初期オフセットベクトルの終点として求めてもよい。
【０１００】
さらに、例えば図３において、ビデオカメラから遠方の入口スリット３１Ｂ側で初期代表点及び計測点を求めるよりも近くの出口スリット３２Ｂ側でこれらを求めた方が精度が高くなるので、出口スリット３２Ｂ側でこれらを求め、特開２００４−２０７７８６号公報に記載のように時間を遡って移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。また、入口スリットや出口スリットの替わりにラインを用い、ライン通過等のラインとの関係でＩＤの付与／消滅を行ってもよい。
【０１０１】
また、初期値決定部２７での処理開始時点は、設定したラインが移動物体（クラスタ）と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
【０１０２】
さらに、上記実施例では代表点での縮小率を求める場合を説明したが、これは近似的なものであり、例えば、上記実施例のようにして計測点を求めた後に、計測点と代表点との間、例えば中央点が属するブロックの縮小率を求め、これを初期オフセット長さに乗じてオフセットベクトルの絶対値を決定することで、計測点の精度を向上させてもよい。このような処理を複数回又は該絶対値が収束するまで繰り返してもよい。この近似の程度は、カメラの配置高さ、ズーム倍率、カメラアングル等にも依存する。
【図面の簡単な説明】
【０１０３】
【図１】本発明の実施例１の異常事象検出装置の概略機能ブロック図である。
【図２】入口及び出口のスリットとブロック境界線とを時刻ｔ０のフレーム画像に重ね合わせた説明図である。
【図３】入口及び出口のスリットとブロック境界線とを他の時刻でのフレーム画像に重ね合わせた説明図である。
【図４】時刻ｔ０での移動物体ＩＤのオブジェクトマップに、理解を容易にするため図２中の移動物体を重ね合わせ、さらにこれらのクラスタの境界を太線で示したＩＤオブジェクトマップ説明図である。
【図５】クラスタ内接矩形説明図である。
【図６】経路を自動的に求める方法を示す説明図である。
【図７】実長さに対する画像上の長さの比である縮小率と、計測誤差が生ずる原因とを説明する図である。
【図８】（Ａ）及び（Ｂ）はそれぞれ時刻ｔ０及びｔｋでの代表点ＲＰ、代表動きベクトルＲＭＶ及びオフセットベクトルＯＦＶを示す図である。
【図９】移動物体が直線移動する場合の、時刻ｔをパラメータとする代表点の軌跡ＲＰ（ｔ）及び計測点の軌跡ＭＰ（ｔ）の説明図である。
【図１０】移動物体が右折する場合の代表点及び計測点の軌跡説明図である。
【図１１】経路決定処理を示すフローチャートである。
【図１２】異常判別処理を示すフローチャートである。
【図１３】交差点での経路の一部の説明図である。
【図１４】交差点での経路を全て重ね合わせた経路説明図である。。
【図１５】交差点での全ての経路を複数のレイヤーに分けて示す経路説明図である。
【図１６】ＩＤ＝１〜６の移動物体のそれぞれが属性として経路識別符号ＦＰを持つことをイメージで示す図である。
【図１７】車輌速度平均値を交通信号状態と対応させて示すタイムチャートである。
【符号の説明】
【０１０４】
１０  ビデオカメラ
２０  異常事象検出装置
２１  画像メモリ
２２  背景画像生成部
２３  ＩＤ生成／消滅部
２４  オブジェクトマップ記憶部
２５  移動物体追跡部
２６  クラスタ内接矩形決定部
２７  初期値決定部
２８  動きベクトル平均値算出部
２９  代表点追跡部
２Ａ  縮小率マップ
２Ｂ  計測点追跡部
２Ｃ  速度計測部
２Ｄ  経路決定・記憶部
２Ｅ  信号判定部
２Ｆ  所属経路判定部
２Ｇ  移動物体毎特徴量記憶部
２Ｈ  異常判別部
２Ｉ  異常記憶・報知部
３０  フレーム画像
３１Ａ、３１Ｂ  入口スリット
３２Ｂ、３２Ａ  出口スリット
３３、３４  移動物体
３３Ｃ、３４Ｃ  クラスタ
ＩＮ  入力装置
ＯＵＴ  表示装置
ＲＰ  代表点
ＲＭＶ  代表動きベクトル
ＯＦＶ  オフセットベクトル
ＭＰ  計測点
ＳＣ  投影面
【図１】
0004783898.tif 000002
【図２】
0004783898.tif 000003
【図３】
0004783898.tif 000004
【図４】
0004783898.tif 000005
【図５】
0004783898.tif 000006
【図６】
0004783898.tif 000007
【図７】
0004783898.tif 000008
【図８】
0004783898.tif 000009
【図９】
0004783898.tif 000010
【図１０】
0004783898.tif 000011
【図１１】
0004783898.tif 000012
【図１２】
0004783898.tif 000013
【図１３】
0004783898.tif 000014
【図１４】
0004783898.tif 000015
【図１５】
0004783898.tif 000016
【図１６】
0004783898.tif 000017
【図１７】
0004783898.tif 000018