(57)【要約】【課題】移動体の種類や移動体の位置関係に関わらずに、撮像画像内において移動体が写っている領域を検出する。【解決手段】追跡可能領域検出部３０は、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。画像移動量検出部４０は、所定時間の間隔で撮像された少なくとも２枚の画像に基づいて、追跡可能領域の画像上の移動量を検出する。対象位置算出部６０は、追跡可能領域の移動量と、自車移動量計測部５０により計測される所定時間における車両移動量とに基づいて、追跡可能領域内の追跡対象の実空間上の位置を算出する。領域分類部７０は、算出された追跡対象の位置と車両移動量とに基づいて、追跡可能領域が静止物領域か移動体領域かを判定する。【選択図】図１
2004362334.tif 000002
【特許請求の範囲】
【請求項１】
車両に設置されて車両の周囲を撮像する撮像手段と、
前記撮像手段により撮像された画像を複数の領域に区分する領域区分手段と、前記領域区分手段により区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する追跡可能領域検出手段と、
前記撮像手段が所定時間の間隔で撮像した２枚の画像に基づいて、前記追跡可能領域検出手段により検出された追跡可能領域が前記所定時間の間に画像上を移動した量を検出する画像移動量検出手段と、
前記撮像手段を搭載した車両が前記所定時間に移動した距離を検出する車両移動量検出手段と、
前記画像移動量検出手段により検出された画像移動量と、前記車両移動量検出手段により検出された車両移動量とに基づいて、前記追跡可能領域内の追跡対象の実空間上の位置を算出する対象位置算出手段と、
前記対象位置算出手段により算出された追跡対象の位置と、前記車両移動量検出手段により検出された車両移動量とに基づいて、前記追跡可能領域が静止物が写っている静止物領域か、移動体が写っている移動体領域かを判定する領域判定手段とを備えることを特徴とする移動体領域検出装置。
【請求項２】
請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、前記撮像手段から前記追跡可能領域内の追跡対象までの車両直進方向における距離を算出し、
前記領域判定手段は、前記対象位置算出手段により算出された前記追跡対象までの距離の一定時間ごとの変化量と、前記車両移動量の一定時間ごとの変化量との和を複数算出し、算出した複数の和の分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。
【請求項３】
請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、前記撮像手段から前記追跡可能領域内の追跡対象までの車両直進方向と垂直な方向における距離（以下、横方向距離と呼ぶ）を所定時間ごとに算出し、
前記領域判定手段は、前記対象位置算出手段により所定時間ごとに算出された横方向距離の分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。
【請求項４】
請求項１に記載の移動体領域検出装置において、
前記対象位置算出手段は、路面から前記追跡可能領域内の追跡対象までの高さを所定時間ごとに算出し、
前記領域判定手段は、前記対象位置算出手段により所定時間ごとに算出された追跡対象までの高さの分散値が所定のしきい値以下であれば、前記追跡可能領域が静止物領域であると判定し、前記分散値が所定のしきい値より大きければ移動体領域であると判定することを特徴とする移動体領域検出装置。
【請求項５】
請求項１〜４のいずれかに記載の移動体領域検出装置において、
前記画像移動量検出手段は、前記追跡可能領域の水平方向の移動量と垂直方向の移動量とを検出し、
前記対象位置算出手段は、前記画像移動量検出手段により検出された水平方向および垂直方向の移動量のうち、移動量が大きい方の移動量を用いて前記追跡可能領域内の追跡対象の実空間上の位置を算出することを特徴とする移動体領域検出装置。
【請求項６】
請求項１〜５のいずれかに記載の移動体領域検出装置において、
前記追跡可能領域検出手段は、複数の方向に濃淡変化を有する領域を前記追跡可能領域として検出することを特徴とする移動体領域検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像手段により撮像した画像内において、移動体が撮像されている領域を検出する移動体領域検出装置に関する。
【０００２】
【従来の技術】
車両に搭載したカメラにより撮像された画像に基づいて、移動体を検出する装置が知られている（特許文献１参照）。この従来の検出装置では、撮像画像中の水平エッジ成分および垂直エッジ成分を抽出し、抽出したエッジ成分に基づいて、車両の両側端部を表す垂直エッジ成分を検出している。
【０００３】
【特許文献１】
特開平２０００−１１３２０１号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、従来の検出装置は、画像中の垂直エッジ成分の中から車両を表す条件（車幅および車高に係わる基準条件）に基づいて車両の両側端部を表す垂直エッジ成分を検出しているので、車両の種類や車両との位置関係が変わると車両を表す条件も変わってしまうために、車両の両側端部を表すエッジ成分を検出することができないという問題があった。
【０００５】
本発明は、移動体の種類や移動体の位置関係に関わらずに、移動体が撮像されている領域を検出する移動体領域検出装置を提供する。
【０００６】
【課題を解決するための手段】
本発明による移動体領域検出装置は、まず、撮像された画像を複数の領域に区分し、区分された各領域のうち、移動体を追跡可能な追跡可能領域を検出する。そして、所定時間の間隔で撮像された２枚の画像に基づいて検出される追跡可能領域の画像上の移動量と、所定時間における車両移動量とに基づいて、追跡可能領域内の追跡対象の実空間上の位置を算出し、算出した追跡対象の位置と車両移動量とに基づいて、追跡可能領域が静止物領域か移動体領域かを判定することを特徴とする。
【０００７】
【発明の効果】
本発明による移動体領域検出装置によれば、移動体の種類や移動体の位置関係に関わらずに、撮像画像内において移動体が写っている領域を検出することができる。
【０００８】
【発明の実施の形態】
−第１の実施の形態−
図１は、本発明による移動体領域検出装置の第１の実施の形態の構成を示す図である。第１の実施の形態における移動体領域検出装置は、撮像部１０と、画像記憶部２０と、追跡可能領域検出部３０と、画像移動量検出部４０と、自車両移動量計測部５０と、対象位置算出部６０と、領域分類部７０と、追跡領域情報記憶部８０とを備える。
【０００９】
撮像部１０は、例えば、ビデオカメラであり、車両前方を一定時間間隔にて撮像する。カメラの左右方向の光軸は、車両の直進方向と一致させ、上下方向の光軸は、水平となるようにカメラを設置する。撮像部１０により撮像された画像は、画像記憶部２０に記憶される。
【００１０】
追跡可能領域検出部３０は、撮像部１０により撮像され、画像記憶部２０に記憶されている画像に基づいて、移動体の追跡が可能な領域を検出する。画像上において、道路上の白線のように一様な濃淡変化を持つ領域では、その濃淡の方向と垂直な方向に対象（移動体）が移動しても、対象の移動量を検出することはできない。従って、対象を追跡可能な領域は、複数の方向に濃淡変化を有する領域となる。このような領域の検出方法について説明する。
【００１１】
追跡可能領域検出部３０は、画像記憶部２０に記憶されている画像を読み出し、縦方向および横方向のエッジを検出するためのフィルタをかけ、エッジの縦、横の成分の大きさ（ｄＩ／ｄｘ，ｄＩ／ｄｙ：Ｉは画素値）をそれぞれ求める。次に、検出されたエッジに含まれるノイズ成分を除去するために、求めた縦、横のエッジ成分の大きさの２乗和がしきい値ｔｈ１以上の画素を抽出し、抽出した画素について、エッジの縦方向成分と横方向成分の大きさの比を求めることにより、濃度勾配方向を求める。
【００１２】
次に、ノイズが除去された後のエッジが示されている画像を縦方向および横方向に等間隔に格子状に分割する。図２は、上述した方法により、撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した領域を示す図である。この分割された各領域ごとに、エッジの縦方向成分と横方向成分の大きさの比の分散値を求める。この場合、分割された矩形領域内のエッジ勾配方向が一方向しかなければ、分散値は小さくなり、複数方向のエッジ勾配を持つ場合には、分散値は大きくなる。従って、求めた分散値が所定のしきい値ｔｈ２より小さければ、エッジ勾配方向は一方向である可能性が高く、濃度勾配と垂直な方向に移動する物体を検出することは難しいと判断する。一方、求めた分散値が所定のしきい値ｔｈ２以上であれば、複数方向のエッジ勾配を有しており、移動体がいずれの方向に移動しても追跡可能と判断できる。追跡可能領域検出部３０は、求めた分散値が所定のしきい値ｔｈ２以上の領域を追跡可能領域と判断する。図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を図３に示す。
【００１３】
追跡可能領域検出部３０により、追跡可能領域と判断された領域は、その領域の始点位置（右上隅）、画像サイズ、および、原画像の画像パターンを、各矩形領域ごとに割り振られている識別番号に対応させて追跡領域情報記憶部８０に記憶される。以下では、追跡領域情報記憶部８０に記憶された画像パターンを基準パターンと呼ぶ。
【００１４】
画像移動量検出部４０は、撮像部１０により撮像された新たな画像が画像記憶部２０に入力されると、追跡可能領域検出部３０により検出された追跡可能領域の画像上の移動量を検出する。移動量の検出方法について説明する。
【００１５】
追跡可能領域の周囲に、移動量を検出するための探索領域を設け、その探索領域内で基準パターン位置を１画素ずつずらしながら、新規画像との相関値を演算する。この場合、演算した相関値がしきい値ｔｈ３以上であり、かつ、最大となる領域が追跡可能領域の移動先として検出される。基準パターン位置は、１画素単位で移動させる（ずらす）ので、相関値も１画素単位でしか得られないが、複数の相関値を用いて補間演算を行うことにより、相関値が最大となる位置（移動先）を１画素以下の精度で求めることができる。求めた移動先に基づいて算出される追跡可能領域の移動量は、水平方向ｘ、垂直方向ｙの各方向成分として表される。図４は、各追跡可能領域の移動成分を矢印で表した図である。
【００１６】
画像移動量検出部４０により求められた移動先の位置および移動量は、追跡領域情報記憶部８０に記憶される。ただし、新規画像との相関値がしきい値ｔｈ３未満の場合には、画像中の同一の部位が移動したと判断することはできないので、対象となっている追跡可能領域に関する情報を初期化する。また、追跡可能領域の始点座標が水平方向ｘ、垂直方向ｙの一定範囲から外れた場合にも、その追跡可能領域に関する情報を初期化する。これは、画像上における静止物や自車両の移動方向と異なる方向に移動する移動体は、自車両の移動に伴って消失点から周辺方向に移動していくので、時間の経過とともに撮像範囲の外に出るからである。初期化された追跡可能領域に関しては、移動体領域であるか否かの判断は行われない。
【００１７】
追跡可能領域検出部３０は、撮像部１０によって時間Δｔの間隔にて撮像される画像に基づいて、新たな追跡可能領域を検出する。新たに検出された追跡可能領域が、画像移動量検出部４０で追跡している領域と異なる領域であれば、上述したように、始点位置、画像サイズ、画像パターンを追跡領域情報記憶部８０に記憶する。新たに検出された追跡可能領域が画像移動量検出部４０で追跡している領域と異なる領域であるか否かの判定は、追跡領域情報記憶部８０に記憶されている追跡可能領域の始点位置およびサイズに基づいて行う。
【００１８】
自車移動量計測部５０は、以下の方法により、撮像間隔Δｔの間の自車両の移動量を計測する。すなわち、撮像間隔Δｔの間の車輪の回転数を計測し、この回転数とタイヤの外周長との積を演算する。なお、車輪の回転数を計測するセンサへのトリガ位置を車輪の１周に等角度に複数設定しておけば、１回転以下の分解能により回転数を計測することができる。
【００１９】
対象位置算出部６０は、追跡可能領域に写っている追跡対象の位置を算出する。具体的には、撮像間隔Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から、追跡可能領域に写っている追跡対象までの距離Ｌを算出する。図５は、追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部１０を横から見た図である。図５に示すように、撮像間隔Δｔの間に自車両はΔＬだけ移動したものとする。ここで、撮像部１０のレンズの焦点距離をｆ、自車両が移動する前の追跡対象の画像上のｙ座標をｙ１、自車両が移動した後の追跡対象のｙ座標をｙ２、追跡対象の画像上のｙ方向の移動量をΔｙ（＝ｙ２−ｙ１）とすると、距離Ｌは次式（１）にて表される。
Ｌ＝ｆ＋ΔＬ×ｙ１／Δｙ      …（１）
【００２０】
図６は、追跡対象および撮像部１０を上方から見た図である。図６のように、ｘ方向（水平方向）においても、ｙ方向と同じ関係が成り立つので、距離Ｌは、追跡対象の画像上のｘ方向の移動量Δｘを用いて、次式（２）のように表すことができる。
Ｌ＝ｆ＋ΔＬ×ｘ１／Δｘ      …（２）
ただし、ｘ１は自車両が移動する前の追跡対象の画像上のｘ座標であり、自車両が移動した後の追跡対象のｘ座標をｘ２とすると、Δｘ＝ｘ２−ｘ１となる。
【００２１】
ここで、追跡対象の移動量が小さい時には、上式（１）または（２）を用いて算出される距離Ｌの誤差が大きくなる。従って、対象位置算出部６０は、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｙの方が大きければ式（１）を用い、Δｘの方が大きければ式（２）を用いて、距離Ｌを算出する。
【００２２】
領域分類部７０は、追跡している領域が静止物が写っている静止物領域か、移動体が写っている移動体領域かの判定を行う。図７は、時間と共に変化する、式（１）または式（２）により算出される距離Ｌの大きさを示す図である。図７には、追跡領域が静止物領域ａ（図３参照）である場合の距離Ｌの変化と、追跡対象が移動体領域ｂ（図３参照）である場合の距離Ｌの変化をそれぞれ示している。図７に示すように、追跡対象が静止物の場合には、自車両が移動することにより、自車両と追跡対象との間の距離Ｌは短くなっていく。
【００２３】
図８は、距離Ｌの一定時間ごとの変化量と、一定時間ごとの自車両の移動量を示す図である。上述したように、追跡対象が静止物の場合には、追跡対象までの距離Ｌは、徐々に小さくなっていくので、一定時間ごとの移動量は負の値となる。この一定時間ごとの移動量は、図８に示すように、一定時間ごとの自車両の移動量の大きさと符号は反対であるが、その絶対値はほぼ等しくなる。従って、両者の和は、図９に示すように０に近い値となる。
【００２４】
一方、追跡対象が移動体の場合には、一定時間ごとの追跡対象の移動量と、自車両の移動量との関係に相関関係はなく、図９に示すように、両者の和は０に近い値とはならない。
【００２５】
図１０は、一定時間ごとの追跡対象の移動変化量（距離Ｌの変化量）と、一定時間ごとの自車両の移動量との和（図９参照）の一定時間ごとの分散値を表した図である。上述したように、追跡対象が静止物の場合の移動量の和は０に近い値となるので、分散値の大きさも０に近い値となる。一方、追跡対象が移動体の場合には、静止物の場合に比べて、分散値は大きくなる。
【００２６】
領域分類部７０は、一定時間ごとの追跡対象の移動変化量と、一定時間ごとの自車両の移動量との和の分散値が所定のしきい値ｔｈ４以下であれば、追跡対象が静止物であると判定し、しきい値ｔｈ４より大きくなることがあれば、移動体であると判定する。この判定は、追跡領域情報記憶部８０に記憶されている全ての追跡可能領域に対して行われる。各追跡可能領域に対して、移動体領域であるか、静止物領域であるかの判定が行われた結果を図１１に示す。図１１において、ハッチングされた領域が移動体領域であり、ハッチングされていない領域が静止物領域である。
【００２７】
追跡領域情報記憶部８０には、上述した始点位置、画像サイズなどの情報の他に、追跡を開始してからの情報更新回数、静止物領域か移動体領域かの判定結果などが記憶される。なお、初期状態では、識別番号以外の情報はクリア（０）の状態であり、追跡可能領域検出部３０によって追跡可能領域が検出されると、識別番号順に各種情報が記憶されていく。
【００２８】
図１２は、第１の実施の形態における移動体領域検出装置によって行われる処理手順を示すフローチャートである。ステップＳ１０から始まる処理は、図示しないイグニッションスイッチがオンされることにより始まる。ステップＳ１０では、追跡領域情報記憶部８０に記憶されている追跡領域情報を初期化して、ステップＳ２０に進む。ステップＳ２０では、撮像部１０により撮像された画像を画像記憶部２０に記憶して、ステップＳ３０に進む。
【００２９】
ステップＳ３０では、追跡可能領域検出部３０によって、画像記憶部２０に記憶されている画像に基づいて、追跡可能領域を検出する。追跡可能領域の検出方法は上述したので、詳しい説明は省略する。追跡可能領域を検出するとステップＳ４０に進む。ステップＳ４０では、画像移動量検出部４０によって、追跡可能領域が撮像間隔Δｔの間に移動する画像上の移動量を検出する。移動量の検出方法は上述したので、詳しい説明は省略する。追跡可能領域の移動量を検出すると、ステップＳ５０に進む。
【００３０】
ステップＳ５０では、対象位置算出部６０により、時間Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から追跡対象までの距離Ｌを算出する。距離Ｌの算出方法は上述したので、詳しい説明は省略する。ステップＳ５０に続くステップＳ６０では、領域分類部７０により、追跡対象となっている追跡可能領域が静止物領域であるか、移動体領域であるかを判定する。この判定方法についても上述したので、詳しい説明は省略する。ステップＳ７０において、追跡対象となっている追跡可能領域が静止物領域であるか、移動体領域であるかの判定を行うと、ステップＳ２０に戻る。以後、撮像間隔Δｔの周期で、ステップＳ２０以降の処理が繰り返し行われる。
【００３１】
第１の実施の形態における移動体領域検出装置による移動体領域の検出方法についてまとめておく。追跡可能領域検出部３０は、撮像部１０により撮像された画像を複数の領域に区分し、各領域ごとに、移動体を追跡可能な追跡可能領域を検出する。画像移動量検出部４０は、Δｔの撮像間隔で撮像部１０により撮像された少なくとも２枚の画像に基づいて、追跡可能領域の画像上の移動量を検出する。対象位置算出部６０は、画像移動量検出部４０により検出された追跡可能領域の移動量と、自車移動量計測部５０により計測された自車移動量とに基づいて、追跡可能領域内の追跡対象までの車両移動方向における距離Ｌを算出する（式（１），（２）参照）。領域分類部７０は、追跡対象までの距離Ｌの一定時間ごとの変化量と、自車両の一定時間ごとの移動量との和を複数算出し、算出した複数の和の分散値が所定のしきい値ｔｈ４以下であれば、追跡可能領域が静止物領域であると判定する。一方、算出した分散値がしきい値ｔｈ４より大きくなることがあれば、追跡可能領域が移動体領域であると判定する。
【００３２】
第１の実施の形態における移動体領域検出装置によれば、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。画像中のエッジ成分の特徴に基づいて移動体を検出する従来の装置では、移動体を構成するエッジと類似するエッジを有する建物などが画像中に存在する場合には、その建物を移動体として誤検出する可能性がある。しかし、第１の実施の形態における移動体領域検出装置では、画像中に建物などが存在する場合でも、移動体が写っている領域を確実に移動体領域として検出することができる。
【００３３】
−第２の実施の形態−
第１の実施の形態における移動体領域検出装置では、撮像間隔Δｔの間に自車両が移動した後の撮像部１０のレンズの中心から、自車両の移動方向における追跡対象までの距離Ｌを算出することにより、移動体領域と静止物領域とを分類した。第２の実施の形態における移動体領域検出装置では、撮像部１０の光軸から、追跡対象までの横方向距離Ｗ（図６参照）を算出することにより、移動体領域を検出する。なお、ここでの横方向とは、自車両が直進する方向と垂直な方向を意味している。
【００３４】
なお、第２の実施の形態における移動体領域検出装置の構成は、図１に示す第１の実施の形態における移動体領域検出装置の構成と同じである。ただし、対象位置算出部および領域分類部で行われる処理内容は、後述するように、第１の実施の形態における対象位置算出部６０および領域分類部７０で行われる処理内容と異なる。従って、第２の実施の形態における対象位置算出部および領域分類部を、便宜上それぞれ、対象位置算出部６０ａ、領域分類部７０ａと呼ぶことにする。
【００３５】
撮像部１０の光軸から、追跡対象までの横方向距離Ｗは、自車両が移動する前の追跡対象の画像上のｘ座標をｘ１、時間Δｔの間に自車両が移動した後の追跡対象のｘ座標をｘ２、画像上のｘ方向の移動量をΔｘ（＝ｘ２−ｘ１）とすると、次式（３）にて表される。この横方向距離Ｗは、対象位置算出部６０ａにより算出される。
Ｗ＝ΔＬ×ｘ１×ｘ２／Δｘ          …（３）
【００３６】
また、上述した式（１），（２）の関係と同様に、追跡対象の画像上のｙ方向の移動量Δｙを用いると、次式（４）のように表すことができる。
Ｗ＝ΔＬ×ｙ１×ｘ２／Δｙ          …（４）
この場合も、対象位置算出部６０ａは、追跡対象までの距離Ｌを算出した時と同様の理由により、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｘの方が大きければ式（３）を用い、Δｙの方が大きければ式（４）を用いて、横方向距離Ｗを算出する。
【００３７】
追跡対象が静止物の場合には、式（３）または式（４）により算出される横方向距離Ｗはほぼ一定である。しかし、追跡対象が移動体の場合には、追跡対象が移動することにより、図５または図６に示すような、撮像部１０と追跡対象との幾何学的関係が保たれないので、横方向距離Ｗは一定値にはならず変動する。従って、所定時間Δｔごとの横方向距離Ｗの分散値を算出すると、追跡対象が静止物の場合には、分散値の値は０に近い値となり、追跡対象が移動体の場合の分散値の値は、静止物の場合と比べると大きい値となる。
【００３８】
従って、第２の実施の形態における移動体領域検出装置の領域分類部７０ａは、所定時間Δｔごとの横方向距離Ｗの分散値と所定のしきい値ｔｈ５とを比較することにより、追跡領域が静止物領域か移動体領域かを判定することができる。すなわち、横方向距離Ｗの分散値がしきい値ｔｈ５以下であれば、追跡領域は静止物領域であると判定し、しきい値ｔｈ５より大きくなることがあれば、移動体領域であると判定する。
【００３９】
第２の実施の形態における移動体領域検出装置においても、第１の実施の形態における移動体領域検出装置と同様に、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。
【００４０】
−第３の実施の形態−
第１および第２の実施の形態における移動体領域検出装置は、移動体領域を検出するために、撮像部１０のレンズの中心から、自車両の移動方向における追跡対象までの距離Ｌ、および、撮像部１０の光軸から追跡対象までの横方向距離Ｗをそれぞれ算出した。第３の実施の形態における移動体領域検出装置は、路面から追跡対象までの高さＨを算出することにより、移動体領域を検出する。
【００４１】
なお、第３の実施の形態における移動体領域検出装置の構成は、図１に示す第１の実施の形態における移動体領域検出装置の構成と同じである。ただし、対象位置算出部および領域分類部で行われる処理内容は、後述するように、第１の実施の形態における対象位置算出部６０および領域分類部７０で行われる処理内容と異なる。従って、第３の実施の形態における対象位置算出部および領域分類部を、便宜上それぞれ、対象位置算出部６０ｂ、領域分類部７０ｂと呼ぶことにする。
【００４２】
図１３は、追跡対象までの高さＨを算出する方法について説明するための図であり、追跡対象および撮像部１０を横から見た図である。路面から撮像部１０の光軸までの高さをｈ１、自車両が移動する前の追跡対象の画像上のｙ座標をｙ１、時間Δｔが経過する間に自車両が移動した後の追跡対象のｙ座標をｙ２、画像上のｙ方向の移動量をΔｙ（＝ｙ２−ｙ１）とすると、高さＨは次式（５）により表される。この追跡対象までの高さＨは、対象位置算出部６０ｂにより算出される。
Ｈ＝ｈ１−ｈ２
＝ｈ１−（Ｌ／ｆ−１）×ｙ２          …（５ａ）
＝ｈ１−ΔＬ×ｙ１×ｙ２／Δｙ        …（５）
【００４３】
図１４は、追跡対象および撮像部１０を上方から見た図である。図１４のように、ｘ方向においても、ｙ方向と同じ関係が成り立つので、式（５ａ）中の距離Ｌは、追跡対象の画像上のｘ方向の移動量Δｘを用いて表すことができる。従って、高さＨは、次式（６）のように表すことができる。
Ｈ＝ｈ１−ΔＬ×ｘ１×ｙ２／Δｘ        …（６）
【００４４】
対象位置算出部６０ｂは、追跡対象までの距離Ｌを算出した時と同様の理由により、追跡領域の移動量成分（Δｘ，Δｙ）のうち、Δｙの方が大きければ式（５）を用い、Δｘの方が大きければ式（６）を用いて、高さＨを算出する。
【００４５】
追跡対象が静止物の場合には、式（５）または式（６）により算出される高さＨはほぼ一定である。しかし、追跡対象が移動体の場合には、追跡対象が移動することにより、図１３または図１４に示すような、撮像部１０と追跡対象との幾何学的関係が保たれないので、高さＨは一定値にはならず変動する。追跡対象が静止物である領域ａの高さＨの時系列変化と、追跡対象が移動体である領域ｂの高さＨの時系列変化とを図１５に示す。
【００４６】
従って、所定時間Δｔごとの高さＨの分散値を算出すると、追跡対象が静止物の場合には、分散値の値は０に近い値となり、追跡対象が移動体の場合の分散値の値は、静止物の場合と比べると大きい値となる。追跡対象が静止物である領域ａの高さＨの分散値と、追跡対象が移動体である領域ｂの高さＨの分散値とをそれぞれ図１６に示す。
【００４７】
第３の実施の形態における移動体領域検出装置の領域分類部７０ｂは、所定時間Δｔごとの高さＨの分散値と所定のしきい値ｔｈ６とを比較することにより、追跡領域が静止物領域か移動体領域かを判定することができる。すなわち、高さＨの分散値がしきい値ｔｈ６以下であれば、追跡領域は静止物領域であると判定し、しきい値ｔｈ６より大きくなることがあれば、移動体領域であると判定する。具体的には、所定時間Δｔごとに算出した分散値としきい値ｔｈ６とを比較し、分散値がしきい値ｔｈ６を超えた時に、その追跡領域は移動体領域であると判定する。図１６に示す例では、時刻ｔ１において、追跡領域ｂが移動体領域であると判定される。
【００４８】
第３の実施の形態における移動体領域検出装置によれば、第１および第２の実施の形態における移動体領域検出装置と同様に、移動体の種類や、移動体と撮像部１０との位置関係に関わらず、移動体領域を検出することができる。
【００４９】
本発明は、上述した各実施の形態に限定されることはない。例えば、上述した実施の形態では、撮像部１０を用いて車両の前方を撮像し、車両前方に存在する移動体を検出する例について説明した。しかし、車両後方を撮像して、車両後方に存在する移動体を検出することもできる。
【００５０】
なお、上述した各実施の形態では、撮像画像において、移動体が写っている領域と、静止物が写っている領域とを分類するものとして説明したが、換言すれば、移動体を検出していると言える。従って、第１〜第３の実施の形態における移動体領域検出装置は、撮像された画像に基づいて、移動体を検出することができる。
【００５１】
特許請求の範囲の構成要素と第１〜第３の実施の形態の構成要素との対応関係は次の通りである。すなわち、撮像部１０が撮像手段を、追跡可能領域検出部３０が領域区分手段および追跡可能領域検出手段を、画像移動量検出部４０が画像移動量検出手段を、自車移動量計測部５０が車両移動量検出手段を、対象位置算出部６０が対象位置算出手段を、領域分類部７０が領域判定手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
【図面の簡単な説明】
【図１】本発明による移動体領域検出装置の第１の実施の形態の構成を示す図
【図２】撮像画像からエッジを検出した画像に対して、縦方向および横方向に格子状に分割した様子を示す図
【図３】図２の撮像画像に基づいて、追跡可能領域と判断された矩形領域を示す図
【図４】各追跡可能領域の移動成分を矢印で表した図
【図５】追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部を横から見た図
【図６】追跡対象までの距離Ｌを算出する方法について説明するための図であり、追跡対象および撮像部を上方から見た図
【図７】時間と共に変化する距離Ｌの大きさを示す図
【図８】追跡対象までの距離Ｌの一定時間ごとの移動量を示す図
【図９】一定時間ごとの追跡対象の移動量と、一定時間ごとの自車両の移動量との和を示す図
【図１０】一定時間ごとの追跡対象の移動量と、一定時間ごとの自車両の移動量との和の分散値を示す図
【図１１】各追跡可能領域に対して、移動体領域であるか、静止物領域であるかの判定が行われた結果を示す図
【図１２】第１の実施の形態における移動体領域検出装置によって行われる処理手順を示すフローチャート
【図１３】追跡対象までの高さＨを算出する方法について説明するための図であり、追跡対象および撮像部を横から見た図
【図１４】追跡対象および撮像部を上方から見た図
【図１５】追跡対象が静止物である領域ａの高さＨの変動と、追跡対象が移動体である領域ｂの高さＨの変動とを示す図
【図１６】追跡対象が静止物である領域ａの高さＨの分散値と、追跡対象が移動体である領域ｂの高さＨの分散値とを示す図
【符号の説明】
１０…撮像部、２０…画像記憶部、３０…追跡可能領域検出部、４０…画像移動量検出部、５０…自車移動量計測部、６０…対象位置算出部、７０…領域分類部、８０…追跡領域情報記憶部
【図１】
2004362334.tif 000003
【図２】
2004362334.tif 000004
【図３】
2004362334.tif 000005
【図４】
2004362334.tif 000006
【図５】
2004362334.tif 000007
【図６】
2004362334.tif 000008
【図７】
2004362334.tif 000009
【図８】
2004362334.tif 000010
【図９】
2004362334.tif 000011
【図１０】
2004362334.tif 000012
【図１１】
2004362334.tif 000013
【図１２】
2004362334.tif 000014
【図１３】
2004362334.tif 000015
【図１４】
2004362334.tif 000016
【図１５】
2004362334.tif 000017
【図１６】
2004362334.tif 000018