(57)【特許請求の範囲】
【請求項１】
複数の撮像手段を移動体の通過経路に向けて配備し、各撮像手段からの画像データを取り込んで、前記通過経路上の移動体の速度を計測する方法であって、
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の３次元座標を算出するとともに、
少なくともいずれか１個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各３次元座標を用いて各物点の移動速度を計測し、
各物点の３次元座標と移動速度とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識することを特徴とする移動体の速度計測方法。
【請求項２】
複数の撮像手段を移動体の通過経路に向けて配備し、各撮像手段からの画像データを取り込んで、前記通過経路上の移動体の速度を計測する方法であって、
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の３次元座標を算出するとともに、
少なくともいずれか１個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各３次元座標を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定し、
各物点の３次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度および進行方向を認識することを特徴とする移動体の速度計測方法。
【請求項３】
所定の通過経路を通過する移動体上に、複数の撮像手段を、それぞれその移動体より外側の所定方向に向けて配備し、各撮像手段からの画像データを取り込んで、前記移動体の速度を計測する方法であって、
各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の３次元座標を算出するとともに、
少なくともいずれか１個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各３次元座標を用いて各物点の移動速度を計測し、
各物点の３次元座標と移動速度とを用いて、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識することを特徴とする移動体の速度計測方法。
【請求項４】
移動体の通過経路に向けて配備された複数の撮像手段と、
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の２次元座標を用いて、これら特徴点の表す物点の３次元座標を算出する３次元座標算出手段と、
少なくともいずれか１つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第２の対応づけ手段と、
第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、
各物点の３次元座標と前記移動速度の算出値とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備して成る速度計測装置。
【請求項５】
移動体の通過経路に向けて配備された複数の撮像手段と、
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の２次元座標を用いて、これら特徴点の表す物点の３次元座標を算出する３次元座標算出手段と、
少なくともいずれか１つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第２の対応づけ手段と、
第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定する移動ベクトル特定手段と、
各物点の３次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備して成る速度計測装置。
【請求項６】
所定の通過経路上を移動する移動体に、それぞれこの移動体より外側の所定方向に向けて取り付けられる複数の撮像手段と、
各撮像手段からの画像を入力するための画像入力手段と、
前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、
同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から前記物体の同じ物点を表す特徴点を対応づけする対応づけ手段と、
前記対応づけ手段により対応づけられた各特徴点の２次元座標を用いて、これら特徴点の表す物点の３次元座標を算出する３次元座標算出手段と、
少なくともいずれか１つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第２の対応づけ手段と、
第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、
各物点の３次元座標と前記移動速度の算出値とを用いて、各物点を同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する速度認識手段とを具備して成る速度計測装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
この発明は、所定の通過経路を通過する移動体の速度を、画像処理の手法を用いて計測する技術に関連するもので、特に、複数の撮像手段を用いた３次元計測処理により移動体の空間位置の変化を追跡して、速度計測を行う技術に関する。
【０００２】
【従来の技術】
道路の交通流を計測するための装置として、出願人は、先般、３次元認識およびパターンマッチングの手法を用いて、道路上における車輌の位置を認識し、その位置の変化により、車輌の速度や通過台数などを認識する方法を提案した（特開平９−３３２３２号）。この方法では、複数台のテレビカメラにより道路上の観測位置を撮像し、各カメラからの画像上で抽出された車輌の特徴点を画像間で対応づけて３次元計測処理を実施した後、この３次元計測結果を道路に沿う仮想平面上に投影し、さらにこの投影部分に対し複数種の２次元モデルを用いたマッチング処理を行って、各車輌の位置を認識する。さらに各画像取り込み時毎に認識された車輌位置を時間軸上で対応づけることにより、各車輌の動きが追跡され、速度計測が行われる。
【０００３】
【発明が解決しようとする課題】
この時間軸上での車輌位置の対応づけは、具体的には、前記マッチング処理により検出された車輌位置について、一段階前に得られた検出位置の中で最も近い位置にあり、かつその距離が所定のしきい値内にある検出位置に対応づけるというものである。しかしながらこの方法では、マッチング処理による車種の認識結果を考慮せずに、時間軸上における各車輌検出位置間の距離のみを用いて対応づけを行っているため、対応づけを誤る可能性があり、速度の計測値の精度が悪くなるという問題が生じている。
【０００４】
この発明は上記問題点に着目してなされたもので、所定の時間間隔を隔てて得られた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の示す各３次元座標を用いて、移動体の動きを正しくとらえることにより、その移動速度を精度良く計測することを技術課題とする。
【０００５】
【課題を解決するための手段】
請求項１，２の各発明は、複数の撮像手段を移動体の通過経路に向けて配備し、各撮像手段からの画像データを取り込んで、前記通過経路上の移動体の速度を計測する方法に関する。
【０００６】
請求項１の発明にかかる速度計測方法は、各撮像手段より同じタイミングで取り込まれた各画像間で、移動体の同じ物点を表す特徴点を対応づけて、前記物点の３次元座標を算出するとともに、少なくともいずれか１個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で前記移動体の同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の示す各３次元座標を用いて前記移動体の速度を計測する。さらに、各物点の３次元座標と移動速度とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する。
【０００７】
請求項２の発明にかかる速度計測方法では、請求項１の発明と同様の３次元の算出処理や時間軸上での特徴点の対応づけ処理を行った後、前記移動速度に代えて空間内における各物点の移動ベクトルを特定する。そして各物点の３次元座標と特定された移動ベクトルとを用いて、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度および進行方向を認識する。
【０００８】
請求項３の発明は、所定の通過経路を通過する移動体上に、複数の撮像手段を、それぞれその移動体より外側の所定方向に向けて配備し、各撮像手段からの画像データを取り込んで、前記移動体の速度を計測する方法であって、各撮像手段より同じタイミングで取り込まれた各画像間で同じ物点を表す特徴点同士を対応づけて、各物点の３次元座標を算出するとともに、少なくともいずれか１個の撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけした後、これら時間軸上で対応する特徴点の各３次元座標を用いて各物点の速度を計測する。さらに、各物点の３次元座標と移動速度とを用いて、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する。
【０００９】
請求項４の発明にかかる速度計測装置は、請求項１の方法を実施するための装置であって、移動体の通過経路に向けて配備された複数の撮像手段と、各撮像手段からの画像を入力するための画像入力手段と、前記画像入力手段より画像が入力される都度、各入力画像上の移動体を表す特徴点を抽出する特徴点抽出手段と、同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から同じ物点を表す特徴点を対応づけする対応づけ手段と、前記対応づけ手段により対応づけられた各特徴点の２次元座標を用いて、これら特徴点の表す物点の３次元座標を算出する３次元座標算出手段と、少なくともいずれか１つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第２の対応づけ手段と、第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、前記移動体の速度を算出する速度算出手段と、各物点の３次元座標と前記移動速度の算出値とを用いて、各物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けして、前記通過経路上の各移動体の速度を認識する速度認識手段とを具備している。
【００１０】
請求項５の発明の装置は、請求項４の速度算出手段に代えて、第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定する移動ベクトル特定手段を具備する。そして速度認識手段は、各物点を、所定の距離範囲内の空間を同じ速度で同じ方向に移動するもの毎にグループ分けして、通過経路上の各移動体の速度を認識するように構成される。
【００１１】
請求項６の発明では、請求項３の方法を実施するための装置として、所定の通過経路上を移動する移動体に、それぞれこの移動体より外側の所定方向に向けて取り付けられる複数の撮像手段と、各撮像手段からの画像を入力するための画像入力手段と、前記画像入力手段より画像が入力される都度、各入力画像上の特徴点を抽出する特徴点抽出手段と、同じタイミングで入力された各画像間で、前記特徴点抽出手段により抽出された各特徴点の中から前記物体の同じ物点を表す特徴点を対応づけする対応づけ手段と、前記対応づけ手段により対応づけられた各特徴点の２次元座標を用いて、これら特徴点の表す物点の３次元座標を算出する３次元座標算出手段と、少なくともいずれか１つの撮像手段について、所定の時間間隔をおいて取り込まれた画像間で同じ物点を表す特徴点を対応づけする第２の対応づけ手段と、第２の対応づけ手段により時間軸上で対応づけられた特徴点の各３次元座標の算出値を用いて、各物点の移動速度を算出する速度算出手段と、各物点の３次元座標と前記移動速度の算出値とを用いて、各物点を同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識する速度認識手段とを具備する装置を構成する。
【００１２】
【作用】
請求項１および４の発明では、各撮像手段から画像を取り込む都度、これら画像上に共通に表れる物点の３次元座標が算出される。同時に、同じ撮像手段に所定の時間間隔をおいて得られた画像上で、同じ物点を表す特徴点が対応づけられ、これら対応づけられた各特徴点の示す３次元座標により、各物点の移動速度が算出される。そしてこれら物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けすることにより、通過経路上の移動体の速度を認識することができる。
同じ移動体上の物点は、所定の距離範囲内の空間を同じ速度で移動するはずであるから、この発明によれば、通過経路上に複数の移動体が存在しても、各移動体を精度良く切り分けて、その移動速度を正確に計測することができる。
【００１３】
請求項２および５の発明では、時間軸上で対応づけられた各特徴点の示す３次元座標を用いて、物点毎に、空間内におけるその物点の移動ベクトルを特定した後、各物点を、所定の距離範囲内の空間を同じ方向に同じ速度で移動するもの毎にグループ分けし、各移動体の移動速度および進行方向を認識するようにしたから、通過経路が複数方向に分岐するような地点においても、各移動体を精度良く切り分けて、それぞれの移動速度を認識することが可能となる。
【００１４】
請求項３および６の発明において、移動体側に配備された複数の撮像手段により移動体の外側の所定方向を撮像した場合、各画像には、移動経路近傍の静止物体や移動経路の境界ラインなど、空間内の位置が不動の物点にかかる特徴点が多数含まれると考えられる。また、これら静止物体にかかる物点は、移動体から見て同じ速度で移動するから、各物点を移動速度に基づきグループ分けすると、静止物体に対応するグループが最も構成点の多いグループになると考えることができる。
【００１５】
よって、各画像を用いた３次元座標の算出処理や、時間軸上での物点の対応づけ処理を経て、各物点の移動速度を算出し、各物点を、同じ速度で移動するもの毎にグループ分けし、最も構成点の多いグループの速度を前記移動体の速度として認識することにより、移動体の速度を精度良く計測することができる。
【００１６】
【実施例】
図１は、この発明の一実施例にかかる車輌速度計測装置の設置例を示す。
この車輌速度計測装置は、道路ＲＤの近傍にＦ字形状の支柱３を配備して、この支柱２に２台のカメラ１ａ，１ｂと制御装置２とを取り付けて構成されるもので、各カメラ１ａ，１ｂにより道路ＲＤを上方より撮像して得られた画像を制御装置２に取り込んで、道路ＲＤの各車道毎に通過車輌の速度計測を行って、管理センターなどの外部にその計測結果を出力する。
【００１７】
前記支柱３は、その横桟を道路上に突出されて配備されている。各カメラ１ａ，１ｂは、焦点距離を同じくするレンズを有しており、支柱２の各横桟間に固定配備された支持部材５により、道路１上方の所定位置に、光軸を斜め下方向に向けて縦並びに取り付けられている。なおこの実施例では、後記する対応づけ処理や３次元計測処理を簡単に行うために、各カメラ１ａ，１ｂの光軸が道路の方向に向けて平行になり、かつ各撮像面が同一平面上に位置するように、それぞれの取り付け位置を調整している。
一方、制御装置２は、保守，点検などの必要から支柱２の基部付近に取り付けられる。
【００１８】
なおこの実施例では、２台のカメラ１ａ，１ｂにより道路ＲＤを撮像しているが、これに限らず、３台以上のカメラを用いてもよい。またカメラ１ａ，１ｂの配置は縦並びに限らず横並びにしても良い。またカメラ１ａ，１ｂを取り付ける支柱も上記のＦ字型支柱３に限らず、既存の電信柱や照明柱などを改良して用いてもよい。
【００１９】
図２は、上記の車輌速度計測装置の構成を示す。
前記制御装置２は、２個のＡ／Ｄ変換部６ａ，６ｂ，画像メモリ７，メモリ８，装置全体を制御するＣＰＵ９のほか、エッジ抽出部１０，対応づけ処理部１１，３次元計測部１２，車輌認識部１３，追跡処理部１４，速度計測部１５の各処理部を、画像・データバス１６を介して相互に接続して成る。
【００２０】
前記Ａ／Ｄ変換部６ａ，６ｂは、それぞれカメラ１ａ，１ｂからのアナログ量の画像信号をディジタル量の濃淡画像信号に変換する。エッジ抽出部１０は、これらディジタル変換後の入力画像上で、車輌などの物体の輪郭を示すエッジ構成点を抽出し、各エッジ構成点を黒画素とする２値のエッジ画像を生成する。これら入力画像やエッジ画像は、それぞれ画像メモリ７内の個別の記憶エリア内に格納される。
【００２１】
対応づけ処理部１１は、前記各エッジ画像上のエッジ構成点（以下これを「特徴点」という）について、各画像上で空間内の同じ物点を表す特徴点同士を対応づけする。３次元計測部１２は、対応づけられた特徴点の組毎に、各２次元座標を三角測量の原理にあてはめて、各特徴点の表す物点の３次元座標を算出する。
【００２２】
前記特徴点の対応づけ処理、および３次元座標の計測処理は、後記するように、観測領域内に新たに出現した車輌を示す特徴点に対して行われる。車輌認識部１３は、これら３次元座標を用いて各車輌の位置を個別に認識し、追跡処理部１４は、以後の画像取り込み毎に、この認識された車輌の位置の変化を追跡する。各段階における車輌位置の認識結果は、車輌の先頭を表す物点など、所定の代表点の３次元座標により表されるもので、速度計測部１５は、この車輌位置の変化を用いて各車輌の速度を算出し、その算出結果を、図示しない伝送部を介して外部へと出力する。
【００２３】
つぎにこの制御装置２における詳細な処理手順について、順を追って説明する。
各カメラ１ａ，１ｂは、図示しないタイミング制御部により、撮像動作が同期するように制御されており、各フレーム毎の画像データは、Ａ／Ｄ変換部６ａ，６ｂによりディジタル変換された後、画像メモリ７に格納される。
【００２４】
エッジ抽出部１０は、各カメラ１ａ，１ｂからの入力画像上にラプラシアンフィルタなどのエッジ抽出用フィルタを走査して、ゼロクロッシング点を抽出する。さらにエッジ抽出部１０は、前記ゼロクロッシング点の座標を算出して、この座標位置の画素を黒画素，他の画素を白画素とした２値のエッジ画像を生成する。
【００２５】
図３（１）（２）は、前記カメラ１ａ，１ｂから入力された画像の具体例であって、それぞれ道路上の車線，車輌，車輌の影などの画像を含む画像データが生成されている。
【００２６】
図４（１）（２）は、前記図３（１）（２）に示した各入力画像ＩＵ，ＩＬについて、それぞれエッジ抽出処理を施して得られたエッジ画像ＥＵ，ＥＬを示すもので、それぞれ車輌や車輌の影の輪郭に相当するエッジ成分が抽出されている。
【００２７】
上記のエッジ抽出処理が完了すると、以下、今回の入力画像ＩＵ，ＩＬ上に新たに出現した車輌の初期位置を認識する処理、および過去の処理により既に認識されている車輌の移動位置を認識する処理が実施される。
【００２８】
まず新たな車輌の認識処理について説明する。この認識処理の対象となる特徴点は、各車線の車輌の進行方向に基づき定められる。車輌認識部１３は、各画像ＩＵ，ＩＬに対し、図５に示すように、それぞれカメラ１ａ，１ｂの視野が重なる領域内に入った直後の車輌が現れる位置に、所定大きさの検出エリアｒＵ１，ｒＵ２，ｒＬ１，ｒＬ２を定め、各検出エリアｒＵ１，ｒＵ２，ｒＬ１，ｒＬ２毎に、それぞれエリア内で抽出された各特徴点について、各画像間で空間内の同じ物点を表す特徴点同士を特定し、両者を対応づけする。
【００２９】
この対応づけ処理は、具体的には、いずれか一方のエッジ画像（ここでは上側のカメラ１ａに対応するエッジ画像ＥＵとする）上の前記検出エリアｒＵ１，ｒＵ２内にある所定の特徴点について、他方のエッジ画像ＥＬ上での対応点を抽出するもので、図６（１）〜（４）には、この対応づけ処理の具体的な方法が示されている。
【００３０】
図示例は、検出エリアｒＵ１内の特徴点Ｐに対応する特徴点Ｑを特定するもので、まず対応づけ処理部１１は、エッジ画像ＥＬ上に、前記特徴点ＰにかかるエピポーララインＬを設定し、検出エリアｒＬ１内においてこのエピポーララインＬ上に位置する各特徴点Ｑ１〜Ｑ５を、特徴点Ｐの対応候補点として抽出する。
なおこの場合、カメラ１ａ，１ｂは、前記したように縦並びに配備されているので、エピポーララインＬはｘ軸に垂直になり、対応候補点を容易に抽出することができる。
【００３１】
つぎに対応づけ処理部１１は、前記エッジ画像ＥＵに対応する入力画像ＩＵ上の点Ｐの位置（ｘ，ｙＵ）に、この点Ｐを中心点とする所定の大きさのウィンドウＷＵを設定する。また前記エッジ画像ＥＬに対応する第２の入力画像ＩＬの前記対応候補点Ｑ１〜Ｑ５の位置にも、それぞれ、その点Ｑ１〜Ｑ５を中心点とし、前記ウィンドウＷＵと同じ大きさを有するウィンドウＷ１〜Ｗ５を設定する。
【００３２】
各ウィンドウが設定されると、対応づけ処理部１１は、入力画像ＩＬ上の各ウィンドウＷ１〜Ｗ５についてそれぞれつぎの（１）式を実行し、各ウィンドウと前記ウィンドウＷＵとの画像データの相違度ＤＦを算出する。
なお、次式において、ｇＵ（ｘ，ｙ）はウィンドウＷＵ内の所定の画素の輝度値を、ｇＬ（ｘ，ｙ）はウィンドウＷＬ（Ｌ＝１〜５）内の所定の画素の輝度値を、SZはウィンドウのサイズを、それぞれ示す。またｉ，ｊは、０〜SZの範囲内で変動して、各ウィンドウ内の着目画素を特定するための変数である。
【００３３】
【数１】
0003629935.tif 000002
【００３４】
対応づけ処理部１１は、各ウィンドウＷ１〜Ｗ５について求められたウィンドウＷＵとの相違度ＤＦを比較し、相違度が最も小さくなるウィンドウをウィンドウＷＵに対応するものとして判別する。そしてそのウィンドウの中心点ＱＬ（図示例の場合Ｌ＝２）を前記特徴点Ｐの対応点として決定する。
【００３５】
なお上記の相違度の代わりに、各ウィンドウＷ１〜Ｗ５毎にウィンドウＷＵとの間の正規化相互相関演算を行い、最も高い相関値が得られたウィンドウをウィンドウＷＵに対応するものと判別するようにしてもよい。
【００３６】
上記の対応づけ処理が、抽出されたすべての特徴点について行われると、３次元計測部１２は、対応する各特徴点Ｐ，Ｑ毎に、これら特徴点の２次元座標を三角測量の原理にあてはめて、対応する物点の３次元座標を算出する。
【００３７】
図７は、上記の三角測量の原理を示す。
図中Ｒは、道路上の車輌１６の所定の構成点を示すもので、各カメラ１ａ，１ｂの撮像面ＧＵ，ＧＬ上にこの点Ｒの物点像Ｐ，Ｑが現れている。
なお図中、ＣＵはカメラ１ａの焦点を、ＣＬはカメラ３ｂの焦点を、それぞれ示す。
【００３８】
上記の物点像Ｐ，Ｑが前記エッジ画像ＥＵ，ＥＬ間の対応する特徴点として現れるもので、各点上に対応する３次元座標は物点Ｒの空間位置に相当する。したがってこの対象物の代表的な物点について、その物点の画像上の結像位置を特定し、これら結像位置の２次元座標を用いて各物点の３次元座標を算出することにより、対象物の立体形状や空間位置を把握することができる。
【００３９】
図８（１）は、前記各カメラ１ａ，１ｂの位置関係により決定される空間座標系（以下これを「ステレオ座標系」という）を示し、図８（２）は、実際の空間における各物点の位置を表すための空間座標系と上記ステレオ座標系との位置関係を示す。
【００４０】
図８（１）中、ＸＵＹＵＺＵ，ＸＬＹＬＺＬで表される各空間座標系は、それぞれ各カメラ１ａ，１ｂのカメラ座標系を示し、これらカメラ座標系の原点ＣＵ，ＣＬ（前記焦点の位置）を結ぶ基線の中心点Ｏ′を原点としてステレオ座標系が設定される。なお前記したように、各カメラ１ａ，１ｂは光軸を平行に配置されているから、各カメラ座標系およびステレオ座標系の各軸ＸＵＹＵＺＵ，ＸＬＹＬＺＬ，Ｘ′Ｙ′Ｚ′は、互いに平行の位置関係にある。
【００４１】
各撮像面ＧＵ，ＧＬ上における２次元座標は、それぞれ対応するカメラ座標系のＺＵ，ＺＬ軸との交点位置を原点ｏＵ，ｏＬとし、撮像面の水平方向にｘＵ，ｘＬ軸が、垂直方向にｙＵ，ｙＬ軸が定められている。また実際の空間位置を表す座標系は、図８（２）に示すように、カメラ座標系の原点Ｏ′から路面上に下ろした垂線の足を原点Ｏとし、道路の幅方向をＸ軸，長さ方向をＺ軸，高さ方向をＹ軸として、定められる。
【００４２】
このような座標系の設定において、前記対応づけられた各特徴点Ｐ，Ｑの２次元座標を（ｘ，ｙＵ），（ｘ，ｙＬ），各カメラ３ａ，３ｂの俯角をθ，各カメラ座標系の原点ＣＵ，ＣＬ間の距離をＢ，原点Ｏ，Ｏ′間の距離をＨとすると、各特徴点Ｐ，Ｑにより表される物点Ｒの３次元座標（Ｘ，Ｙ，Ｚ）は、つぎの（２）〜（４）式により算出される。
【００４３】
【数２】
0003629935.tif 000003
【００４４】
【数３】
0003629935.tif 000004
【００４５】
【数４】
0003629935.tif 000005
【００４６】
このようにして、前記検出エリアｒＵ１，ｒＵ２，ｒＬ１，ｒＬ２内で抽出されたすべての特徴点に対応する３次元座標が算出されると、車輌認識部１３は、各検出エリアｒＵ１，ｒＵ２，ｒＬ１，ｒＬ２毎に、算出された各３次元座標をクラスタリング処理して、各座標を車輌毎にグループ化する。そしてこのグループの中から車輌の先頭位置を示す座標を抽出し、その抽出位置をもって車輌位置とする。この車輌位置として抽出された物点の３次元座標は、メモリ８内に格納され、以後、画像入力毎に、その時点での車輌の移動位置を示す３次元座標が順次蓄積されて、車輌の軌跡データが生成される。
【００４７】
なお車輌の認識処理は、クラスタリング処理に限らず、前述した特開平９−３３２３２号公報に記載のように、各３次元座標を、それぞれ道路の長さ方向（すなわちＺ軸方向）に沿う仮想垂直平面上に投影し、その投影結果を車輌の２次元モデルと照合する方法を用いてもよい。
【００４８】
つぎに既に過去の処理により認識されている車輌について、その移動位置を追跡して速度を算出する処理を説明する。
いまある時点で、車輌の初期位置または移動位置が認識されると、いずれか一方の入力画像（ここではカメラ３ａにより得られた入力画像ＩＵとする）において、認識された車輌の位置に対応する特徴点（すなわち車輌の先頭位置を示す特徴点）の座標、およびこの特徴点を中心とする所定大きさの画像領域内の画像データ（以下これを「特徴画像Ｍ」という）が切り出され、追跡処理用のデータとしてメモリ８内に格納される。そして所定時間Ｔ経過後に、つぎの画像が入力されると、追跡処理部１４は、この時点でのカメラ１ａからの入力画像ＩＵＴ上で、前記１フレーム前に認識された車輌の移動位置を特定した後、この特定された２次元上の車輌位置を３次元座標に変換する。
【００４９】
図９は、入力画像ＵＴ上において車輌の移動位置を特定するための具体的な方法を示す。この入力画像ＩＵＴは、前記図３（１）の入力画像ＩＵの入力から所定時間経過後に得られた画像であって、図中の点Ａは、前記図３（１）の入力画像ＩＵ上で車輌位置として特定された位置を示す。追跡処理部１４は、この点Ａの座標位置を基準に所定大きさの走査領域１７を設定した後、その走査領域内に前記特徴画像Ｍを走査して、各走査位置毎に前記対応づけ処理と同様の（１）式を実行する。この結果、相違度ＤＦが最も小さくなる走査位置において特徴画像Ｍの中心点に対応する点Ａ′が、車輌の移動位置として認識される。
【００５０】
入力画像ＩＵＴ上において車輌の移動位置を示す点Ａ′が特定されると、つぎに追跡処理部１４は、この点Ａ′の２次元座標（ｘＴ，ｙＴ）を（５）〜（７）式にあてはめて、前記点Ａ′に対応する物点の３次元座標、すなわち空間内における車輌の移動位置（ＸＴ，ＹＴ，ＺＴ）を算出し、これをメモリ８内の軌跡データに追加する。
【００５１】
なおこの（５）〜（７）式は、車輌が移動しても、空間内における車輌の高さデータは変動しない点に着目してなされるもので、（５）（７）式のαｘ，αｙは、それぞれ、入力画像上のｘ，ｙの各軸方向における１画素分の長さを示す。また各式中のＹ０は、該当車輌の画像が検出エリアに入った時点、すなわちこの車輌の３次元計測が認識可能となった時点で得られた車輌初期位置のＹ座標値である。この方法によれば、前記点Ａ′について、他方のカメラ１ｂからの入力画像ＩＬ上での対応点を抽出することなく、３次元計測処理を実施することができるので、制御装置２の処理負担が削減される。したがって処理速度の遅い安価なシステム構成であっても、車輌速度の計測処理を高速化することが可能となる。
【００５２】
【数５】
0003629935.tif 000006
【００５３】
【数６】
0003629935.tif 000007
【００５４】
【数７】
0003629935.tif 000008
【００５５】
以下同様にして、画像入力の都度、カメラ１ａからの入力画像を用いて、車輌の新たな移動位置が認識されるもので、速度計測部１５は、各車輌毎に、１段階前の車輌位置（ＸＴ−１，ＹＴ−１，ＺＴ−１）と今回求められた車輌位置（ＸＴ，ＹＴ，ＺＴ）とを、つぎの（８）式にあてはめて、車輌の速度Ｓを算出する。
【００５６】
【数８】
0003629935.tif 000009
【００５７】
このように、入力画像上の車輌位置を時間軸上で正しく対応づけすることにより、対応づけられた各点の示す３次元座標をもって実際の空間における車輌の動きを正しくとらえることができるので、各車輌の速度を精度良く算出することができる。
【００５８】
なおここでは説明を簡単にするために、車輌位置として、車輌の先頭位置を示す１特徴点を抽出し、この先頭位置の変化により速度を算出しているが、認識精度を向上させるには、車輌のフロント部など所定の特徴形状を表す複数個の特徴点を認識対象とした方が良い。この場合、一方のカメラ１ａからの毎時の入力画像を用いて認識対象の各特徴点の位置を時間軸上で追跡し、その移動位置を３次元座標に変換して各特徴点毎の速度を算出した後、算出された各速度の平均値などをもって車輌の移動速度とすることになる。
【００５９】
また上記の方法では、まず３次元計測が可能な領域内に入った直後の車輌を認識して、その車輌の空間内の車輌位置を特定した後、順次同一車輌の移動位置を追跡するようにしているが、これに代えて、空間内を同じ速度で移動する物点を同一車輌として認識し、その共通の速度をもって車輌の移動速度とすることも可能である。
【００６０】
すなわち画像入力毎に、各入力画像ＩＵ，ＩＬ上のすべての特徴点について、前記した画像間の対応づけ処理を行った後、対応する特徴点の組毎に３次元座標値を求めておく。ついで一方の入力画像ＩＵ上で、１フレーム前の入力画像上の各特徴点と今回の入力画像上の特徴点とを対応づけし、これら時間軸上で対応する特徴点の組毎に、それぞれの３次元座標の算出値を前記（８）式にあてはめて、空間内を移動する各物点の速度を算出する。この後、各物点を、それぞれの３次元座標と移動速度とを用いて、所定距離範囲内にありかつ所定の誤差範囲内の速度で移動する物点毎にグループ分けすることにより、各車輌の物点を切り分けて認識できるのである。
【００６１】
なおこのように画像上の各物点の速度を求める場合にも、各入力画像上に新たに出現した物点についてのみ、各入力画像間で特徴点を対応づけした後、その結果を前記（２）〜（４）にあてはめて３次元座標を算出し、その後は、一方の画像上で特徴点の位置を追跡して、その追跡結果を前記（５）〜（７）式にあてはめることにより３次元座標を算出するようにすれば、速度計測処理を高速化することができる。
【００６２】
また上記の移動速度に代えて、各物点毎に、その３次元座標の推移から空間内における移動ベクトルを特定するようにしてもよい。この場合、各物点は、各移動ベクトルの方向および長さを比較することにより、所定距離範囲内にあり、かつ空間内を同じ方向に同じ速度で移動する物点毎に切り分けて認識される。これにより交差点など、車輌の移動方向が複数方向に分岐する地点でも、各車輌の進行方向と移動速度とを、精度良く計測することができる。
なお前記したように、車輌上の各物点の高さは、移動に関わらず常に一定であるから、前記移動ベクトルの比較は、Ｘ軸方向とＺ軸方向においてのみ行えばよい。
【００６３】
つぎに、車輌速度計測装置の他の例を説明する。
この速度計測装置は一車輌に取り付けられて、その車輌や前方車輌の速度を算出するためのものである。
【００６４】
図１０は、速度計測装置の設置例を示すもので、車輌１９の前面位置に、２台のカメラ２０ａ，２０ｂが収容されたカメラボックス２１が取り付けられるとともに、車体内部にこれらカメラからの画像を処理して速度計測を実施するための制御装置２２が配備される。なお図中、２５は、計測結果などを送信するためのアンテナである。
【００６５】
各カメラ２０ａ，２０ｂは、前記実施例と同様、光軸を平行かつ撮像面をカメラボックス２１外の同一平面上に位置させた状態で、カメラボックス２１内に固定配備されており、車輌走行中に同一タイミングで動作して、車輌１９の前方位置の画像データを生成する。
【００６６】
図１１は、いずれか一方のカメラからの入力画像を示すもので、車輌の前方位置にある静止物体２４や、前方車輌の画像２３が現れている。
制御装置２２は、このような画像上で、静止物体２４や車輌２３を表す特徴点を抽出し、これら特徴点の座標により前記した実施例と同様の３次元計測処理や速度計測処理を実施して、空間内の各物点毎に自車輌から見た移動速度を算出する。
【００６７】
上記のように、道路上を走行する車輌から前方位置を撮像して、その画像上のエッジを抽出すると、図１２に示すように、前記静止物体２４や道路の境界ラインなど、空間内の位置が不動の物点にかかる特徴点が、多数、抽出される。また前記車輌よりこれら静止物体の特徴点を観測して得られた移動速度は、自車輌の移動速度に相当するものと考えられる。
【００６８】
制御装置２２は、上記原理に基づき、前記抽出された各物点をその速度に応じてクラスタリングし、最も構成点の多いクラスタの速度を、静止物体の移動速度、すなわち自車輌の速度として認識する。またその他のクラスタに分類された特徴点は、空間内の位置データに基づいてさらにグループ化され、各グループ毎の速度により、自車輌の前方にある車輌の各速度が切り分けて認識される。なおこの前方車輌の速度は、自車輌に対する相対速度として算出されるものであって、実際の速度が自車輌より遅い場合は負の値をとり、自車輌より速い速度の場合は正の値をとる。
【００６９】
このような方法により、前方車輌の速度を精度良く計測することが可能となるので、車間距離や衝突の危険度の認識を正確に行うことができ、高速道路における車輌の走行速度の自動制御などに有効な速度計測装置を提供することができる。
【００７０】
なお上記の各実施例は、いずれも車輌を計測対象としたが、この発明は、これに限らず、セキュリティシステムにおける人間の移動速度や、工場の製造ラインや物流システムにおける物体の移動速度を計測する際にも、適用することができる。
【００７１】
【発明の効果】
請求項１，４の発明では、３次元座標の算出値を時間軸上で対応づけて物点毎の移動速度を求めた後、これら物点を、所定の距離範囲内の空間を同じ速度で移動するもの毎にグループ分けすることにより、通過経路上の移動体の速度を認識するので、通過経路上に複数の移動体が存在しても、各移動体を精度良く切り分けて、その移動速度を正確に計測することができる。
【００７２】
請求項２および５の発明では、各物点に対し、前記移動速度に代えて空間内における移動ベクトルを特定した後、各物点を、所定の距離範囲内の空間を同じ方向に同じ速度で移動する物点毎にグループ分けし、各移動体の移動速度および進行方向を認識するようにしたから、通過経路が複数方向に分岐するような地点においても、各移動体を精度良く切り分けて、それぞれの移動速度を認識することが可能となる。
【００７３】
請求項３および６の発明では、移動体側に配備された複数の撮像手段により移動体の外側の所定方向を撮像し、３次元計測処理や時間軸上での３次元座標の対応づけ処理を経て物点毎の移動速度を求めた後、移動速度に基づくグループ分けにより静止物体に対応する物点のグループを抽出して、そのグループの移動速度を移動体の速度として認識するから、移動体の速度を精度良く計測することができる。
【図面の簡単な説明】
【図１】この発明の一実施例にかかる車輌速度計測装置の設置例を示す斜視図である。
【図２】図１の車輌速度計測装置の構成を示すブロック図である。
【図３】入力画像の一例を示す説明図である。
【図４】図３の各入力画像より生成されたエッジ画像を示す説明図である。
【図５】検出エリアの設定例を示す説明図である。
【図６】各画像間における特徴点の対応づけ処理の具体例を示す説明図である。
【図７】三角測量の原理を示す説明図である。
【図８】３次元計測処理にかかる各座標系の位置関係を示す説明図である。
【図９】入力画像上で車輌の移動位置を抽出する方法を示す説明図である。
【図１０】第２の車輌速度計測装置の設置状態を示す斜視図である。
【図１１】図１０の車輌速度計測装置における入力画像の例を示す説明図である。
【図１２】図１１の入力画像から生成されたエッジ画像を示す説明図である。
【符号の説明】
１ａ，１ｂ，２０ａ，２０ｂ  カメラ
２，２２  制御装置
１０  エッジ抽出部
１１  対応づけ処理部
１２  ３次元計測部
１３  車輌認識部
１４  追跡処理部
１５  速度算出部
【図１】
0003629935.tif 000010
【図２】
0003629935.tif 000011
【図３】
0003629935.tif 000012
【図４】
0003629935.tif 000013
【図５】
0003629935.tif 000014
【図６】
0003629935.tif 000015
【図７】
0003629935.tif 000016
【図８】
0003629935.tif 000017
【図９】
0003629935.tif 000018
【図１０】
0003629935.tif 000019
【図１１】
0003629935.tif 000020
【図１２】
0003629935.tif 000021