(57)【要約】  【課題】撮像画像上における移動物と静止物とを確実に区別する。  【解決手段】追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部５０は、撮像間隔Δｔの間に、追跡可能領域が画像上を移動する移動量を検出する。距離指標値算出部７０は、追跡可能領域に写っている物体までの距離Ｌを算出し、高さ指標値算出部８０は、追跡可能領域に写っている物体の実空間上の高さＨを算出する。移動領域検出部９０は、距離Ｌ、高さＨ、および、自車移動量検出部６０によって検出された所定時間Δｔの間の車両の移動距離に基づいて、追跡可能領域がΔｔの間に画像上のｙ方向を移動する距離Δｙを算出し、このΔｙと、画像上の座標値から求まる追跡可能領域のｙ方向の移動量Δｙとの差に基づいて、追跡可能領域が移動物領域であるか静止物領域であるかを判定する。  【選択図】図１
2006065445.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、
前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段により第１のタイミングにて撮像された第１の画像、および、前記第１のタイミングから所定時間経過した第２のタイミングにて撮像された第２の画像に基づいて、前記追跡可能領域検出手段により検出された追跡可能領域が撮像画像上を移動する移動量を検出する追跡可能領域移動量検出手段と、
前記所定時間に自車両が移動する距離を検出する自車移動量検出手段と、
前記自車移動量検出手段により検出された自車移動量と、前記追跡可能領域移動量検出手段により検出された移動量とに基づいて、前記撮像手段から前記追跡可能領域に写っている物体までの距離を算出する距離算出手段と、
前記距離算出手段により算出された距離と、前記追跡可能領域の撮像画像上における垂直方向の位置とに基づいて、前記追跡可能領域に写っている物体の実空間上の高さを算出する高さ算出手段と、
少なくとも前記自車移動量検出手段により検出された自車移動量、前記距離算出手段により算出された距離、および、前記高さ算出手段により算出された高さに基づいて、車両が前記所定時間の間に移動した際の、撮像画像上における前記追跡可能領域の垂直方向の移動量を算出する垂直方向移動量算出手段と、
前記追跡可能領域移動量検出手段により検出された撮像画像上の移動量のうちの垂直方向の移動量と、前記垂直方向移動量算出手段により算出された垂直方向移動量との差に基づいて、前記追跡可能領域に移動物が写っているか否かを判定する判定手段とを備えることを特徴とする移動体検出装置。
【請求項２】
請求項１に記載の移動体検出装置において、
前記判定手段は、前記追跡可能領域移動量検出手段により検出された撮像画像上の移動量のうちの垂直方向の移動量と、前記垂直方向移動量算出手段により算出された垂直方向移動量との差が所定のしきい値以上の場合に、前記追跡可能領域に移動物が写っていると判定することを特徴とする移動体検出装置。
【請求項３】
請求項１に記載の移動体検出装置において、
前記判定手段は、前記追跡可能領域移動量検出手段により検出された撮像画像上の移動量のうちの垂直方向の移動量と、前記垂直方向移動量算出手段により算出された垂直方向移動量との差を異なる撮像画像を用いて複数回演算し、複数演算された差の絶対値の総和が所定のしきい値以上の場合に、前記追跡可能領域に移動物が写っていると判定することを特徴とする移動体検出装置。
【請求項４】
請求項１〜３のいずれかに記載の移動体検出装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像に基づいて、移動体を検出する移動体検出装置に関する。
【背景技術】
【０００２】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている（特許文献１参照）。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【０００３】
【特許文献１】特開平２０００−１１３２０１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件（車幅および車高に係わる基準条件）に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができず、車両を検出することができない可能性があるという問題があった。
【課題を解決するための手段】
【０００５】
本発明による移動体検出装置は、複数の領域に区分された撮像画像において、移動体を追跡可能な追跡可能領域を検出し、追跡可能領域に写っている物体までの距離、高さ、および、所定時間に車両が移動する距離に基づいて、車両が所定時間の間に移動した際に、撮像画像上を追跡可能領域が移動する移動量のうち、垂直方向の移動量を算出する。このようにして算出した垂直方向の移動量と、撮像画像に基づいて検出される追跡可能領域の垂直方向の移動量との差に基づいて、追跡可能領域に移動物が写っているか否かを判定することを特徴とする。
【発明の効果】
【０００６】
本発明による移動体検出装置によれば、撮像画像上における移動物と静止物とを確実に区別することができる。
【発明を実施するための最良の形態】
【０００７】
図１は、一実施の形態における移動体検出装置の構成を示す図である。一実施の形態における移動体検出装置は、車両に搭載されて使用されるものであって、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、追跡領域情報記憶部４０と、局所領域追跡部５０と、自車移動量検出部６０と、距離指標値算出部７０と、高さ指標値算出部８０と、移動領域検出部９０とを備える。
【０００８】
撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。
【０００９】
追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向（白線が伸びている方向）に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【００１０】
追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【００１１】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。
【００１２】
追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。追跡可能領域検出部３０により、追跡可能領域と判断された領域は、その領域の位置、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部４０に記憶される。以下では、追跡領域情報記憶部４０に記憶された画像パターンを基準パターンと呼ぶ。
【００１３】
局所領域追跡部５０は、撮像部１０により撮像された新たな画像が画像記憶部２０に入力されると、異なるタイミングにて撮像された２つの画像に基づいて、追跡可能領域検出部３０により検出された追跡可能領域の移動先および移動量を検出する。移動先および移動量の検出方法について説明する。
【００１４】
追跡可能領域の周囲に、移動先を検出するための探索領域を設け、その探索領域内で基準パターン位置を１画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、１画素単位で移動させる（ずらす）ので、移動先の位置も１画素単位でしか得られないが、周囲の領域に対する複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向ｘ、垂直方向ｙの各方向成分として表される。図４は、各追跡可能領域の移動成分を矢印で表した図である。
【００１５】
局所領域追跡部５０により求められた移動先の位置および移動量は、識別番号ごとに追跡領域情報記憶部４０に記憶される。従って、追跡領域情報記憶部４０には、追跡可能領域ごとに、識別番号、現在の座標、移動ベクトル、および、基準パターンが記憶される。ただし、新規画像との相関値がしきい値ｔｈ３未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向ｘ、垂直方向ｙの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。
【００１６】
自車移動量検出部６０は、以下の方法により、撮像間隔Δｔの間の自車両の移動量を検出する。まず、撮像間隔Δｔの間の車輪の回転数を計測し、この回転数とタイヤの外周長との積を演算する。なお、車輪の回転数を計測するセンサへのトリガ位置を車輪の１周に等角度に複数設定しておけば、１回転以下の分解能により回転数を計測することができる。
【００１７】
距離指標値算出部７０は、追跡可能領域に写っている追跡対象の位置を算出する。具体的には、撮像部１０のレンズの中心から、追跡可能領域に写っている追跡対象までの距離Ｌを算出する。図５（ａ）は、撮像部１０から追跡対象までの距離Ｌを算出する方法について説明するための図であり、撮像間隔Δｔの前後における撮像部１０および追跡対象を上から見下ろした図である。図５（ａ）に示すように、撮像間隔Δｔの間に自車両はΔＬだけ移動したものとする。ここで、撮像部１０のレンズの焦点距離をｆ、自車両が移動する前の追跡対象の画像上のｘ座標をｘ１、自車両が移動した後の追跡対象のｘ座標をｘ２、追跡対象の画像上のｘ方向の移動量をΔｘ（＝ｘ２−ｘ１）とすると、距離Ｌは次式（１）にて表される。なお、撮像画像における水平方向の軸をｘ軸、垂直方向の軸をｙ軸とする。
Ｌ＝ｆ＋ΔＬ×ｘ１／Δｘ              （１）
【００１８】
図５（ｂ）は、撮像間隔Δｔの前後における撮像部１０および追跡対象を横から見た図である。高さ指標値算出部８０は、追跡対象の路面からの高さＨを算出する。ここで、路面から撮像部１０の光軸までの高さをｈ１、追跡対象の高さを基準とした時の撮像部１０の光軸までの高さをｈ２、自車両が移動する前の追跡対象の画像上のｙ座標をｙ１、時間Δｔが経過する間に自車両が移動した後の追跡対象のｙ座標をｙ２とすると、高さＨは次式（２）により表される。
Ｈ＝ｈ１−ｈ２
＝ｈ１−ｙ２×Ｌ／ｆ                  （２）
【００１９】
移動領域検出部９０は、追跡可能領域に写っている物体が静止物であるか、移動物であるか、すなわち、追跡可能領域が静止物領域であるか移動物領域であるかを判定する。図５（ｂ）の関係から、画像上のｙ方向の移動量をΔｙとすると、Δｙは、次式（３）にて表される。
Δｙ＝ｆ×ΔＬ×（ｈ１−Ｈ）／（Ｌ×（Ｌ＋ΔＬ））          （３）
【００２０】
式（３）において、追跡対象までの距離Ｌは式（１）から算出され、追跡対象の高さＨは、式（２）から算出される。また、ｈ１およびΔＬの値は、予め求めておくことができるので、式（１），（２）および、ｈ１，ΔＬの値を用いて、式（３）より、追跡対象の画像上のｙ方向の移動量Δｙを算出することができる。
【００２１】
追跡可能領域が静止物領域の場合、式（１）より求められる距離Ｌ、および、式（２）より求められる高さＨは、実際の距離および高さと一致するため、これらの値を用いて式（３）より求められるΔｙと、局所領域追跡部５０によって、画像上の座標値から求められるｙ方向の移動量Δｙ（＝ｙ２−ｙ１）とは一致する。しかし、追跡可能領域が移動物領域の場合には、式（１）より求められる距離Ｌ、および、式（２）より求められる高さＨは、実際の距離および高さとは異なる値となるため、式（３）より求められるΔｙと、局所領域追跡部５０によって求められる画像上のｙ方向の移動量Δｙとは一致しない。
【００２２】
図６は、追跡対象までの距離Ｌと、式（３）から求められるｙ方向の移動量Δｙとの関係を示す図である。対象物の高さが一定の場合、対象までの距離Ｌと、画像上におけるｙ方向の移動量Δｙとは一定の関係式（式（３）参照）で表されるため、距離Ｌと画像上におけるｙ方向の移動量Δｙとの関係は、図６に示すような曲線で表すことができる。ここで、追跡可能領域が静止物領域の場合には、距離Ｌとｙ方向の移動量Δｙとの関係を示す点は、図６に示す曲線上、または、曲線の近辺に存在する。しかし、追跡可能領域が移動物領域の場合には、距離Ｌとｙ方向の移動量Δｙとの関係を示す点は、図６に示す曲線から離れた位置に存在する。
【００２３】
従って、移動領域検出部９０は、式（３）から求められるｙ方向の移動量Δｙと、局所領域追跡部５０によって、画像上の座標値から求められるｙ方向の移動量Δｙとの差を求め、この差の大小に基づいて、追跡可能領域が静止物領域であるか、移動物領域であるかを判定する。ただし、上述した差を１回計算しただけでは、静止物領域か移動物領域かを正確に判断しにくいため、上述した差を所定回数だけ計算し、その絶対値の和が所定のしきい値より大きい場合には、移動物領域と判定し、所定のしきい値以下の場合には、静止物領域と判定する。
【００２４】
図７は、移動物領域および静止物領域を対象として、式（３）から求められるｙ方向の移動量Δｙと、局所領域追跡部５０によって求められるｙ方向の移動量Δｙとの差を複数回にわたって求め、その差の絶対値の和の推移を示す図である。図７に示すように、移動物領域を対象として演算を行った場合、演算回数ｎ回で、上述した差の絶対値の合計値が所定のしきい値を越える。従って、所定回数ｍ（ｍ＞ｎ）回だけ、式（３）から求められるｙ方向の移動量Δｙと、局所領域追跡部５０によって求められるｙ方向の移動量Δｙとの差を演算し、その絶対値の合計値と、所定のしきい値とを比較すれば、追跡可能領域が静止物領域であるか、移動物領域であるかを判定することができる。
【００２５】
図８は、移動領域検出部９０によって移動物領域と静止物領域とに分類された結果を示す図である。図８では、移動物領域に対して網掛け処理を施して、静止物領域と区別している。
【００２６】
図９は、一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部４０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０により撮像された画像を画像記憶部２０に記憶して、ステップＳ３０に進む。
【００２７】
ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、局所領域追跡部５０によって、追跡可能領域が撮像間隔Δｔの間に移動する画像上の移動先および移動量を検出する。追跡可能領域の移動先および移動量の検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動先および移動量を検出すると、ステップＳ５０に進む。
【００２８】
ステップＳ５０では、距離指標値算出部７０によって、撮像部１０のレンズの中心から追跡対象までの距離Ｌを算出する。距離Ｌの算出方法は上述したので、詳しい説明は省略する。ステップＳ５０に続くステップＳ６０では、高さ指標値算出部８０によって、追跡対象の路面からの高さＨを算出する。高さＨの算出方法は上述したので、詳しい説明は省略する。追跡対象の高さＨを算出すると、ステップＳ７０に進む。
【００２９】
ステップＳ７０では、移動領域検出部９０によって、ステップＳ３０で検出した追跡可能領域が静止物領域であるか、移動物領域であるかを判定する。この判定方法についても上述したので、詳しい説明は省略する。以後、撮像間隔Δｔの周期で、ステップＳ２０以降の処理が繰り返し行われる。
【００３０】
なお、移動領域検出部９０によって、追跡可能領域が静止物領域であるか、移動物領域であるかの判断が行われると、例えば、静止物と判断された建物と自車両との距離や方向などの位置関係を求めたり、移動物と判断された他車両と自車両との間の距離を計測したりすることができる。
【００３１】
一実施の形態における移動体領域検出装置による移動体領域の検出方法についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。局所領域追跡部５０は、Δｔの撮像間隔で撮像部１０により撮像された少なくとも２枚の画像に基づいて、追跡可能領域の画像上の移動量を検出する。距離指標値算出部７０は、予め求めた撮像部１０のレンズの焦点距離ｆおよび撮像間隔Δｔの間に自車両が移動する距離ΔＬと、局所領域追跡部５０によって検出される追跡可能領域のｘ方向の移動量Δｘとに基づいて、上式（１）より、追跡対象までの距離Ｌを算出する。高さ指標値算出部８０は、撮像部１０の光軸の高さｈ１、レンズの焦点距離ｆ、式（１）により算出された距離Ｌ、および、追跡可能領域のｙ座標値に基づいて、式（２）より、追跡対象までの高さＨを算出する。移動領域検出部９０は、式（１）により算出された距離Ｌ、および、式（２）により算出された高さＨを用いて、式（３）より、追跡可能領域がΔｔの間に画像上のｙ方向を移動する距離Δｙを算出し、このΔｙと、局所領域追跡部５０によって、画像上の座標値に基づいて算出されるｙ方向の移動量Δｙとの差に基づいて、追跡可能領域が移動物領域であるか静止物領域であるかを判定する。
【００３２】
一実施の形態における移動体領域検出装置によれば、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、撮像画像に基づいて、移動体を検出することができる。画像中のエッジ成分の特徴に基づいて移動体を検出する従来の装置では、移動体を構成するエッジと類似するエッジを有する建物などが画像中に存在する場合には、その建物を移動体として誤検出する可能性がある。しかし、一実施の形態における移動体領域検出装置では、画像中に建物などが存在する場合でも、移動体が写っている領域を確実に移動体領域として検出することができる。
【００３３】
本発明は、上述した一実施の形態に限定されることはない。例えば、移動領域検出部９０は、式（３）から求められるｙ方向の移動量Δｙと、局所領域追跡部５０によって、画像上の座標値から求められるｙ方向の移動量Δｙとの差を複数回求め、その差の絶対値の和が所定のしきい値より大きい場合には、移動物領域と判定したが、上述した差を１回だけ演算し、その差の絶対値が所定の判定しきい値より大きい場合に、移動物領域と判定してもよい。ただし、上述したように、差を複数回演算して、差の絶対値の和と所定のしきい値とを比較することにより、静止物領域と、移動物領域との判定精度を向上させることができる。
【００３４】
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮影手段を、追跡可能領域検出部３０が領域区分手段および追跡可能領域検出手段を、局所領域追跡部５０が追跡可能領域移動量検出手段を、自車移動量検出部６０が自車移動量検出手段を、距離指標値算出部７０が距離算出手段を、高さ指標値算出部８０が高さ算出手段を、移動領域検出部９０が判定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【００３５】
【図１】一実施の形態における移動体検出装置の構成を示す図
【図２】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した複数の領域を示す図
【図３】図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図４】各追跡可能領域の移動成分を矢印で表した図
【図５】図５（ａ）は、撮像間隔Δｔの前後における撮像部および追跡対象を上から見下ろした図であり、図５（ｂ）は、撮像間隔Δｔの前後における撮像部および追跡対象を横から見た図
【図６】ある高さにおける追跡対象までの距離Ｌと、画像上における追跡対象のｙ方向の移動量Δｙとの関係を示す図
【図７】移動物領域および静止物領域を対象として、演算によって求められるｙ方向の移動量Δｙと、画像上の２点の座標値の差から求められるｙ方向の移動量Δｙとの差を複数回にわたって求め、その差の絶対値の和の推移を示す図
【図８】移動領域検出部によって移動物領域と静止物領域とに分類された結果を示す図
【図９】一実施の形態における移動体検出装置によって行われる処理手順を示すフローチャート
【符号の説明】
【００３６】
１０…撮像部
２０…画像記憶部
３０…追跡可能領域検出部
４０…追跡領域情報記憶部
５０…局所領域追跡部
６０…自車移動量検出部
７０…距離指標値算出部
８０…高さ指標値算出部
９０…移動領域検出部
【図１】
2006065445.tif 000003
【図２】
2006065445.tif 000004
【図３】
2006065445.tif 000005
【図４】
2006065445.tif 000006
【図５】
2006065445.tif 000007
【図６】
2006065445.tif 000008
【図７】
2006065445.tif 000009
【図８】
2006065445.tif 000010
【図９】
2006065445.tif 000011