(57)【特許請求の範囲】
【請求項１】
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸方向と直角な第２軸と平行であり、
ステップ（ｅ）では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第２軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第１軸に沿った画素濃度が閾値以上となるピークをエッジとしてカウントし、該第２軸に沿ったエッジ数の数列の階差の絶対値の最大値を求め、該最大値に対応した該第２軸上の２計測点の間の、該第１軸と平行なブロック境界線を通る直線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割方法。
【請求項２】
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸方向と直角な第２軸と平行であり、
ステップ（ｅ）では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第２軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第１軸に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離最大値を求め、該第２軸に沿った該最大値の数列の階差の絶対値の最大値に対応した該第２軸上の２計測点の間の、該第１軸と平行なブロック境界線を通る直線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割方法。
【請求項３】
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸と平行であり、
ステップ（ｅ）では、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第１軸方向と直角な第２軸上の該クラスタ領域の中央点を通り該第１軸と平行な直線に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離の数列のそれぞれの数値が、該記憶手段に予め格納されている参照範囲の数列の対応する参照範囲に含まれていれば、該数列の一端に対応する端のエッジを通り該第１軸と直角な直線に最も近いブロック境界線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割方法。
【請求項４】
ステップ（ｃ）のエッジ間距離は、フレーム画像上のエッジ間隔をその位置に応じて幾何学的に定まる縮尺率で除した値であることを特徴とする請求項３に記載の画像上重畳移動物体分割方法。
【請求項５】
記憶手段と、データ処理手段とを備え、該データ処理手段は、
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸方向と直角な第２軸と平行であり、
該データ処理手段はステップ（ｅ）において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第２軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第１軸に沿った画素濃度が閾値以上となるピークをエッジとしてカウントし、該第２軸に沿ったエッジ数の数列の階差の絶対値の最大値を求め、該最大値に対応した該第２軸上の２計測点の間の、該第１軸と平行なブロック境界線を通る直線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割装置。
【請求項６】
記憶手段と、データ処理手段とを備え、該データ処理手段は、
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸方向と直角な第２軸と平行であり、
該データ処理手段はステップ（ｅ）において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第２軸に沿った、該クラスタ領域内の両端部を除く所定ピッチの各計測点について、該第１軸に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離最大値を求め、該第２軸に沿った該最大値の数列の階差の絶対値の最大値に対応した該第２軸上の２計測点の間の、該第１軸と平行なブロック境界線を通る直線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割装置。
【請求項７】
記憶手段と、データ処理手段とを備え、該データ処理手段は、
（ａ）記憶手段に格納された時系列画像の各フレーム画像を複数画素の矩形ブロックに分割し、ブロック単位での背景画像の対応ブロックとの比較に基づき移動物体のブロックであるか否かを判定し、
（ｂ）隣り合う移動物体のブロックに同一の移動物体ＩＤを付与して移動物体ＩＤ分布のマップを該記憶手段内に作成し、
（ｃ）該マップ上の同一移動物体ＩＤの領域であるクラスタが内接する矩形の１辺の長さを計測し、
（ｄ）該１辺の長さが第１設定値を超えているか否かを判定し、
（ｅ）ステップ（ｄ）で肯定判定した場合には、該マップ上の同一移動物体ＩＤの領域であるクラスタが複数の移動物体に対応しているとみなして該マップ上で該クラスタをそれぞれの移動物体に対応する領域に分割し、
（ｆ）該クラスタ内の分割された領域の一方側の各ブロックに新たな移動物体ＩＤを付与する、
ステップを有する画像上重畳移動物体分割方法であって、各フレーム画像はエッジ強調画像であり、フレーム画像上のクラスタ進行方向が直交座標の第１軸方向に等しくなるように該直交座標がフレーム画像上で予め定められており、該１辺は該第１軸と平行であり、
該データ処理手段はステップ（ｅ）において、該クラスタに対応するフレーム画像上の領域であるクラスタ領域がフレーム画像の辺から離れている条件の下で、該第１軸方向と直角な第２軸上の該クラスタ領域の中央点を通り該第１軸と平行な直線に沿った画素濃度が閾値以上となるピークをエッジとして検出し、エッジ間距離の数列のそれぞれの数値が、該記憶手段に予め格納されている参照範囲の数列の対応する参照範囲に含まれていれば、該数列の一端に対応する端のエッジを通り該第１軸と直角な直線に最も近いブロック境界線で該分割を行う、
ことを特徴とする画像上重畳移動物体分割装置。
【請求項８】
ステップ（ｃ）のエッジ間距離は、フレーム画像上のエッジ間隔をその位置に応じて幾何学的に定まる縮尺率で除した値であることを特徴とする請求項７に記載の画像上重畳移動物体分割装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記憶手段に格納された時系列画像上の重畳移動物体を画像処理により分割する画像上重畳移動物体分割方法及び装置に係り、特に道路上の車輌が画像上で重なり合って移動している場合に好適な画像上重畳移動物体分割方法及び装置に関する。
【背景技術】
【０００２】
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。
【０００３】
画像上の移動物体を追跡する方法として、例えば４８０×６４０画素のフレーム画像を８×８画素のブロックに分割して６０×８０ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻ｔ−１とｔのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号（ＩＤ）及び動きベクトル（ＭＶ）を求める方法がある（例えば下記特許文献１）。これにより、同一移動物体と認められるブロックには同一ＩＤが付与される。
【０００４】
また、２つの移動物体が画像上で重なり合って１つのクラスタを形成していても、ある時点でそれらの間に速度差が所定値以上あれば、これに基づいてクラスタを分割し、上記時空相関に基づいて時間を進め又は遡ることにより、相対速度が殆ど無くても、正又は負の時間軸方向に存在する移動物体を分割して認識することができる。
【特許文献１】特開２００４−２０７７８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、移動物体がフレーム内に現れてからフレーム外に消失するまでの間に、画像上で重なり合った移動物体間の相対速度が殆どゼロであれば、両移動物体を分割して認識することができない。
【０００６】
本発明の目的は、このような問題点に鑑み、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能な画像上重畳移動物体分割方法及び装置を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の第１態様では、記憶手段に格納された時系列画像上の移動物体を画像処理により認識して追跡する画像上移動物体追跡方法において、
（ａ）１つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、
（ｂ）肯定判定した場合には、クラスタ内のエッジの分布を調べ、
（ｃ）該分布に基づいて該クラスタを複数の移動物体領域に分割する、
ステップを有する。
【０００８】
本発明による画像上移動物体追跡方法の第２態様では、第１態様において、
該画像上移動物体追跡方法は、サンプリング時刻ｔ１のフレーム画像と、該サンプリング時刻ｔ１と隣り合うサンプリング時刻ｔ２のフレーム画像との相関関係と、該サンプリング時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻ｔ２のフレーム画像に含まれる移動物体を識別するものであり、
該ステップ（ｃ）により分割された複数の移動物体領域を、該サンプリング時刻ｔ１のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる。
【０００９】
本発明による画像上移動物体追跡方法の第３態様では、第２態様において、
画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にＩＤを付与するための領域又は線を予め設定しておき、
該クラスタが該領域又は線と所定の関係にあるか否かを判定し、
該所定の関係にあると判定した場合に、該ステップ（ａ）へ進む。
【００１０】
本発明による画像上移動物体追跡方法の第４態様では、第１乃至３態様のいずれか１つにおいて、
該ステップ（ａ）の該クラスタサイズは、該クラスタの略進路方向と略直角な略横断方向の長さであり、
該ステップ（ｂ）では、該クラスタ内において、該略進路方向と略直角な移動物体略横断方向の複数の位置の各々につき、該略進路方向に沿ってエッジをカウントし、
該ステップ（ｃ）では、該略横断方向に隣り合う位置についてのカウントの差に基づき、該略横断方向に隣り合う位置の間における略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割する。
【００１１】
本発明による画像上移動物体追跡方法の第５態様では、第１乃至４態様のいずれか１つにおいて、
該ステップ（ａ）の該クラスタサイズは、該略進路方向の長さであり、
該ステップ（ｂ）では、該クラスタ内において、該略進路方向に沿ったエッジの間隔を計測し、該間隔の位置における画像縮小率に比例した値で該間隔を除して実間隔を求め、
該ステップ（ｃ）では、一連の該実間隔の数列パターンの一部を参照数列パターンと比較し、両者が一致していると判定した場合には、該一部の一端に対応したエッジに基づいて、該略横断方向の線に沿って該クラスタを複数の移動物体領域に分割する。
【発明の効果】
【００１２】
上記第１態様の構成によれば、１つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、肯定判定した場合には、クラスタ内のエッジの分布を調べ、該分布に基づいて該クラスタを複数の移動物体領域に分割するので、画像上で複数の移動物体が重なり合い、これらの間の相対速度が殆どゼロであっても、重なり合った移動物体を分割して認識することができるという効果を奏する。
【００１３】
上記第２態様の構成によれば、サンプリング時刻ｔ１のフレーム画像と、該サンプリング時刻ｔ１と隣り合うサンプリング時刻ｔ２のフレーム画像との相関関係と、該サンプリング時刻ｔ１のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻ｔ２のフレーム画像に含まれる移動物体を識別するので、該ステップ（ｃ）により分割された複数の移動物体領域を、該サンプリング時刻ｔ１のフレーム画像に含まれる移動物体の識別結果の一部として取り入れることにより、任意の１つのクラスタについて該分割を１回行うだけで、移動物体間の相対速度によらずその後も分割を維持することができる。
【００１４】
上記第３態様の構成によれば、画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にＩＤを付与するための領域又は線を予め設定しておき、該クラスタが該領域又は線と所定の関係にあるか否かを判定し、該所定の関係にあると判定した場合に、該ステップ（ａ）へ進むので、該関係が成立した後は、移動物体が重なっていても継続して該分割を維持することが可能となる。
【００１５】
上記第４態様の構成によれば、比較的簡単な処理で、略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。
【００１６】
上記第５態様の構成によれば、比較的簡単な処理で、略横断方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。
【００１７】
本発明の他の目的、構成及び効果は以下の説明から明らかになる。
【実施例１】
【００１８】
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。
【００１９】
図１は、ビデオカメラ（例えばＩＴＶカメラ）１０で撮像された画像を処理して移動物体を追跡する、本発明の実施例１の画像上移動物体追跡装置２０の概略機能ブロック図である。
【００２０】
この装置２０のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
【００２１】
ビデオカメラ１０で撮影された時系列画像は、例えば３０フレーム／秒のレートで、画像メモリ２１に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
【００２２】
本発明は、画像メモリ２１に格納された画像データを構成要素２３〜２６によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
【００２３】
また、画像メモリ２１に格納された画像（原画像）を直接、構成要素２３〜２６で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は２次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの（エッジが強調された変換画像）を、ブロック２３〜２７で処理する構成であってもよい。但し、原画像を処理する場合には、ブロック２６において該変換を行い、変換画像に対して後述の処理を行う。以下、「画像」とは原画像又は変換画像を意味する。
【００２４】
背景画像生成部２２は、記憶部と処理部とを備え、処理部は、画像メモリ２１をアクセスし、例えば過去１分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値（モード）をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
【００２５】
ＩＤ生成／消滅部２３には、図３に示す如く、フレーム画像３０内に配置される移動物体入り口スリット３１Ａ、３１Ｂ及び移動物体出口スリット３２Ａ、３２Ｂの領域を示すデータが、予め設定されている。これらスリットの境界は、後述のブロックの境界に一致している（図３ではスリット間の境界を示すために、一部の辺をブロックの境界からわざと外して示している）。
【００２６】
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置ＩＮと、設定を確認する表示装置ＯＵＴと、ＩＤ生成／消滅部２３に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
【００２７】
図３中のメッシュはブロックの境界線であり、１ブロックは例えば８×８画素である。スリット３１Ａ、３２Ａ、３１Ｂ及び３２Ｂの移動物体通過方向の幅は、１ブロック幅の整数倍であればよい。
【００２８】
ＩＤ生成／消滅部２３は、画像メモリ２１から入り口スリット３１Ａ及び３１Ｂ内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
【００２９】
ＩＤ生成／消滅部２３は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号（ＩＤ）を付与する。ＩＤ生成／消滅部２３は、ＩＤ付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のＩＤを付与する。このＩＤ付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、ＩＤが付与されたブロックの塊をクラスタと称する。
【００３０】
ＩＤの付与は、記憶部２４内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合６０×８０ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、ＩＤが付与されているかどうかを示すフラグと、ＩＤが付与されていることを示している場合にはＩＤ及びブロックの動きベクトル（ＭＶ）を含む。この情報は配列Ｍ（ｉ，ｊ，ｎ）で表すことができる。ここに（ｉ，ｊ）は第ｉ行第ｊ列のブロックを示し、ｎ＝０、ｎ＝１及びｎ＝２はそれぞれＭがフラグ、ＩＤ及びＭＶであることを示す。なお、該フラグを用いずに、ＩＤ＝０のときＩＤが付与されていないと判定してもよい。また、ＩＤの最上位ビットをフラグとしてもよい。ブロックマッチングでＭＶが求まらないブロックのＭＶは例えば、その回りの同一ＩＤのブロックのＭＶの平均値に等しくする。
【００３１】
入り口スリット３１Ａ又は３１Ｂを通過したクラスタに対しては、移動物体追跡部２５により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻ｔ−１（フレーム番号）でのＭＶに基づいて時刻ｔでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するＩＤの付与及び移動と反対方向側のブロックに対するＩＤの消滅が行われて、時刻ｔでのクラスタが決定される。また、時刻ｔ−１とｔのフレーム画像間のブロックマッチングにより、時刻ｔでＩＤが付与されているブロックのＭＶが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻ｔ−１でのＭＶに基づいて定められる。各ブロックのＩＤとＭＶは、評価関数を用いて同時に決定することもできる（例えば上記特許文献１）。ＩＤ及びＭＶの更新は、記憶部２４内のオブジェクトマップに対して行われる。
【００３２】
移動物体追跡部２５による追跡処理は、各クラスタについて出口スリット内まで行われる。
【００３３】
ＩＤ生成／消滅部２３はさらに、記憶部２４内のオブジェクトマップに基づき出口スリット３２Ａ及び３２Ｂ内のブロックにＩＤが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのＩＤを消滅させる。
【００３４】
図４は、ＩＤのオブジェクトマップ３３に、理解を容易にするため図３中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示したものである。
【００３５】
本実施例１の特徴は、ＩＤ生成／消滅部２３とクラスタ分割線決定部２６との関係と、クラスタ分割線決定部２６による処理と、クラスタ分割線決定部２６と移動物体追跡部２５との関係とにあり、以下にこれらを詳説する。
【００３６】
まず、図３に示すように、略進路方向をＹ方向、これと直角な方向をＸ方向とする。なお、以下の説明から明らかなように、道路に対するビデオカメラ１０の配置と向きによっては、Ｙ方向を略進路方向とし、Ｘ方向を画像上で該Ｙ方向と略直角な方向としてもよい。
【００３７】
ＩＤ生成／消滅部２３は、図３及び図４において、クラスタ３４の後端３４１が入口スリット３１Ａの後端３１Ａ１を完全に通過したと判定すると、これをクラスタ分割線決定部２６に通知する。
【００３８】
クラスタ分割線決定部２６はこれに応答して、図２に示す処理を開始する。以下、括弧内は図２中のステップ識別符号である。
【００３９】
（Ｓ０）クラスタ３４が内接する矩形のＸ方向及びＹ方向の長さＮＷ及びＮＬをそれぞれ、クラスタ３４のＸ方向及びＹ方向の長さとして計測する。ＮＷ及びＮＬの単位はブロックの一辺の長さであり、ＩＤオブジェクトマップ３３上でクラスタ３４のＸ方向及びＹ方向のブロックをカウントしそれぞれの最大値を求めることにより、ＮＷ及びＮＬを計測することができる。
【００４０】
（Ｓ１）ＮＷが、予め設定された値ＮＷ０より大きければステップＳ２へ進み、そうでなければステップＳ３へ進む。図４はＮＷ＞ＮＷ０の場合を示す。
【００４１】
（Ｓ２）後述のようにクラスタ３４の領域内の画像のエッジ分布（エッジの個数又は最大間隔の変化）に基づいて、Ｙ方向の分割線を決定し、その情報を移動物体追跡部２５へ与える。移動物体追跡部２５はこれに応答して、クラスタ３４を分割する。
【００４２】
（Ｓ３）ＮＬが、予め設定された値ＮＬ０より大きければステップＳ４へ進み、そうでなければこのクラスタ３４に対する処理を終了する。図９はＮＬ＞ＮＬ０の場合を示す。
【００４３】
（Ｓ４）後述のようにクラスタ３４の領域内画像のエッジ分布（参照数列に対する一連のエッジ間隔の数列）に基づいてＸ方向の分割線を決定し、その情報を移動物体追跡部２５へ与える。移動物体追跡部２５はこれに応答して、クラスタ３４を分割する
このようにして分割されＩＤが付与された各ブロックは、移動物体追跡部２５により上述の時空間相関に基づいて追跡される。従って、本実施例によれば、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能となる。
【００４４】
次に、図５（Ａ）を参照して、上記ステップＳ２での処理を説明する。
【００４５】
フレーム画像３０内の、クラスタ３４に対応した領域の上記エッジ強調画像について、Ｘ方向の各ブロックの中間点につき、Ｙ方向に走査しながらエッジをカウントする。但し、クラスタ３４内におけるＸ方向両サイドのブロック中間点については、Ｙ方向に走査せず、図５（Ａ）ではＸ＝４．５、５．５、６．５及び６．５の各々についてＹ方向に走査する。エッジは、図７に示すように、エッジが強調された濃淡画像のピークに対応しており、閾値ＴＨよりも大きいピークの数をエッジの数として求める。図５（Ａ）中の上部の数字は、Ｙ方向の線に沿ったエッジの数を示している。図５（Ａ）ではエッジカウントが６，３，５，５となる。
【００４６】
このエッジカウント列において、隣り合うカウントの差が最大となるＸの値４．５と５．５の間の整数値（ブロック境界に対応する値）ＸＢ＝５を、クラスタ分割線情報として移動物体追跡部２５へ供給する。移動物体追跡部２５はこれに応答して、図５（Ｂ）に示すように、クラスタ３４を分割する。すなわち、移動物体追跡部２５は、クラスタ３４内の、分割線Ｘ＝ＸＢの一方側の各ブロックに、新たなＩＤを付与する。
【００４７】
なお、分割線候補が２以上あり、且つ、分割線候補間の距離が設定値以内であれば、予め定めたルールに従ってそのうちの１つを分割線として選択する。
【００４８】
また、Ｙ方向に沿ってエッジをカウントする代わりに、図６に示す如く、上記の各Ｘの値について、エッジのＹ方向間隔の最大値をクラスタ３４内で求め、その数列（図６では６，１４，２０，２０）において、隣り合う値の差が最大となるＸの値４．５と５．５の間の整数値ＸＢ＝５を求め、その後は上記同様にして分割線を決定してもよい。
【００４９】
次に、図８〜１２を参照して、上記ステップＳ４での処理を説明する。
【００５０】
図８に示すように、フレーム画像３０Ａ上で移動物体が進路方向（略Ｙ方向）に重なる場合には、図９に示すようなＩＤオブジェクトマップ３３Ａ内のクラスタ３４Ａに対応する、図８のフレーム画像３０Ａ内の領域について、進路の幅の中央線又は略中央線（図１０では直線Ｘ＝６）に沿って、エッジの間隔（図７のピーク間距離又はピークで区切られた閾値直線ＴＨの線分の長さ）を計測する。図８ではブロックサイズが比較的大きいので、エッジ間隔を画素単位で計測する。
【００５１】
Ｙ方向位置により縮尺率が異なり、フレーム画像３０Ａ内で移動物体がＹ方向に重なっている場合にはこれを無視できないので、次に、画像上のエッジ間隔を縮尺率で除することにより、実間隔に変換する。この縮尺率は、ビデオカメラ１０の高さと光軸の俯角とフレーム画像３０Ａ内の位置とに基づいて幾何学的に算出することができる。図１０の右側の数列は、実エッジ間隔を示す。
【００５２】
クラスタ分割線決定部２６は、参照パターン記憶部を備え、これには、図１１に示すような車両の実エッジ間隔のパターンが格納されている。各参照パターンの一連のエッジ間隔の各々には範囲がある。例えば、パターン１はエッジ間隔列Ｌ１〜Ｌ４であり、Ｌ１＝７〜９、Ｌ２＝２０〜２５、Ｌ３＝６〜１０、Ｌ４＝５〜１０である。
【００５３】
各参照パターン（ｎ個の数列）を、図１０（Ａ）に示す実エッジ間隔列８，２３，８，６，３，７、５，１０，７の先頭からｎ個の数列と比較し、参照パターンと一致する（参照パターンに含まれる）か否かを調べる。一致する場合には、その実パターンが１つの移動物体に対応していると判定し、その最後のエッジ間隔に対応する端のエッジを画像上分割線と決定し、この分割線に最も近いブロック境界のＹの値ＹＢを求め、Ｙ＝ＹＢをクラスタ分割線と決定する。
【００５４】
図１０（Ａ）の場合、先頭からの数列８，２３，８，６がパターン１と一致するので、エッジ間隔６と、次のエッジ間隔３との間のエッジを、画像上分割線と決定する。
【００５５】
次に、実パターンの残りの数列について同様に、参照パターンと一致するか否かを調べる。但し、実パターンの残りの数列の先頭の数値については、移動物体間の重なりによるエッジ間隔減少を考慮し、参照パターンのそれより小さい場合には一致するとみなす。図１０（Ａ）の場合、数列３，７、５，１０，７は、図１１の参照パターン２と一致すると判定される。さらに残りの数列はないので、クラスタ３４Ａに対するクラスタ分割線決定部２６の処理は終了する。
【００５６】
クラスタ分割線決定部２６は、このようにして求めたクラスタ決定線の情報を移動物体追跡部２５に与える。移動物体追跡部２５はこれに応答して、クラスタ３４Ａ内の、分割線Ｙ＝ＹＢの一方側の各ブロックに、新たなＩＤを付与する。
【００５７】
なお、図１２に示すように、フレーム画像上で多数の移動物体が進路方向に重なっている場合、Ｙ方向ではなく、矢印で示す進路方向に走査してエッジ間隔を計測する。
【００５８】
図１に戻って、代表点追跡部２７は、オブジェクトマップ記憶部２４に格納された時刻ｔのオブジェクトマップに基づいて、時刻ｔにおける各移動物体（クラスタ又は分割されたクラスタ）の代表点の座標、例えば幾何学的重心を求める。
【００５９】
なお、本発明には外にも種々の変形例が含まれる。
【００６０】
例えば、上記実施例ではクラスタ内のエッジの分布を調べ、その結果に基づいてクラスタを分割する場合を説明したが、例えば図３において、クラスタを車線区分線３５に対応した線（ブロック境界に対応する線）に基づいて複数の移動物体領域に分割し、他の構成については上記実施例と同様に処理する構成であってもよい。
【００６１】
また、クラスタが車線区分線３５の両側に跨っている場合、又は、隣り合う車線の一方及び他方の中央線上のブロックをクラスタが含む場合、クラスタの横断方向長さ計測値が設定値以上であると判定してもよい。
【００６２】
さらに、例えば図３において、ビデオカメラ１０から遠方の入口スリット３１Ｂ側でクラスタを分割するよりも近くの出口スリット３２Ｂ側でクラスタを分割した方が精度が高くなるので、出口スリット３２Ｂ側でクラスタを分割し、上記特許文献１に記載のように時間を遡って、分割後の移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。
【００６３】
また、代表点追跡部２７での処理開始時点は、設定したラインが移動物体（クラスタ）と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
【００６４】
また、本発明の画像上移動物体追跡装置は、移動物体追跡機能を備えていればよく、例えば移動物体追跡結果に基づいて事故等を検出する装置も本発明に含まれることは勿論である。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施例１の画像上移動物体追跡装置の概略機能ブロック図である。
【図２】図１中のクラスタ分割線決定部での処理を示す概略フローチャートである。
【図３】略進路方向の線でクラスタを分割する処理の開始時点に対応したフレーム画像をブロック境界に対応する線とともに示す図である。
【図４】移動物体ＩＤのオブジェクトマップに、図３中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示した図であって、図２のステップＳ０の説明図ある。
【図５】（Ａ）は図２のステップＳ２の説明図であり、（Ｂ）はこのステップＳ２の処理終了に応答して図１中の移動物体追跡部で行われる処理の説明図である。
【図６】図５（Ａ）の方法の変形例を示す説明図である。
【図７】図５（Ａ）でのエッジカウントを説明するグラフである。
【図８】略横断方向の線でクラスタを分割する処理の開始時点に対応したフレーム画像をブロック境界線とともに示す図である。
【図９】移動物体ＩＤのオブジェクトマップに、図８中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示した図であって、図２のステップＳ０の説明図ある。
【図１０】（Ａ）は図２のステップＳ４の説明図であり、（Ｂ）はこのステップＳ４の処理終了に応答して図１中の移動物体追跡部で行われる処理の説明図である。
【図１１】図２のステップＳ４で用いられるエッジ間隔列の参照パターンテーブル説明図である。
【図１２】画像上で多数の移動物体が進路方向に重なっている場合にエッジ間隔を計測するための走査方向説明図である。
【符号の説明】
【００６６】
１０  ビデオカメラ
２０  画像上移動物体追跡装置
２１  画像メモリ
２２  背景画像生成部
２３  ＩＤ生成／消滅部
２４  オブジェクトマップ記憶部
２５  移動物体追跡部
２６  クラスタ分割線決定部
２７  代表点追跡部
ＩＮ  入力装置
ＯＵＴ  表示装置
３０、３０Ａ  フレーム画像
３１Ａ、３１Ｂ  入口スリット
３１Ａ１、３４１  後端
３２Ａ、３２Ｂ  出口スリット
３３、３３Ａ  ＩＤオブジェクトマップ
３４、３４Ａ  クラスタ
【図１】
0004714872.tif 000002
【図２】
0004714872.tif 000003
【図３】
0004714872.tif 000004
【図４】
0004714872.tif 000005
【図５】
0004714872.tif 000006
【図６】
0004714872.tif 000007
【図７】
0004714872.tif 000008
【図８】
0004714872.tif 000009
【図９】
0004714872.tif 000010
【図１０】
0004714872.tif 000011
【図１１】
0004714872.tif 000012
【図１２】
0004714872.tif 000013