(57)【特許請求の範囲】
【請求項１】
車両に搭載された対象物認識装置であって、
対象物の画像を撮像する撮像装置と、
前記撮像装置によって今回得られた前記画像に撮像される前記対象物および対象物位置検出手段によって検出された該対象物の位置に基づいて、該対象物の外形を認識する第１の対象物認識手段と、
前回のサイクルにおいて認識された対象物の外形に基づいて、前記撮像装置によって今回得られた前記画像上に処理領域を設定し、該設定された処理領域において、前記対象物の外形を認識する第２の対象物認識手段と、
前回までの少なくとも２つのサイクルにおける前記第１または第２の対象物認識手段による対象物の認識結果の比較に基づいて、信頼性を判定する信頼性判定手段と、を備え、
各サイクルにおいて、前記対象物の外形は、前記第１の対象物認識手段および前記第２の対象物認識手段のいずれか一方によって認識され、前記信頼性判定手段によって信頼性が高いと判定されたならば、前記第２の対象物認識手段によって前記対象物の外形を認識し、前記信頼性判定手段によって信頼性が高いと判定されなければ、前記第１の対象物認識手段によって前記対象物の外形を認識する、
対象物認識装置。
【請求項２】
前記信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物が、ほぼ同じ位置またはほぼ同じ大きさを示したならば、信頼性が高いと判定する請求項１に記載の対象物認識装置。
【請求項３】
前記信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物の時間あたりの位置の変化が所定値以下ならば、ほぼ同じ位置を示すと判定する請求項２に記載の対象物認識装置。
【請求項４】
前記信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物の外形の単位時間あたりの大きさの変化が所定値以下ならば、ほぼ同じ大きさを示すと判定する請求項２に記載の対象物認識装置。
【請求項５】
撮像装置によって撮像された対象物の画像および対象物位置検出手段によって検出された対象物の位置に基づいて、該対象物の外形を認識する第１の対象物認識手段と、
前回までの少なくとも２つのサイクルにおける対象物の認識結果の比較に基づいて、信頼性を判定する信頼性判定手段と、
前記信頼性判定手段によって信頼性が高いと判定されたならば、前回のサイクルにおいて認識された対象物の外形に基づいて、前記撮像装置によって今回得られた画像上に処理領域を設定する処理領域設定手段と、
前記設定された処理領域内において、前記対象物の外形を認識する第２の対象物認識手段とを備え、
前記信頼性判定手段は、第１の対象物認識手段からの認識結果または第２の対象物認識手段の認識結果に基づいて信頼性を判定し、
さらに、
前記第２の対象物認識手段によって得られた対象物の外形に基づいて、該対象物の方向を算出する方向算出手段と、
前記算出された対象物の方向と、前記対象物位置検出手段によって今回検出された対象物の位置との差が予め決められたしきい値より大きければ、該対象物は認識不可能と判定する対象物判定手段と、を備える、
対象物認識装置。
【請求項６】
前記予め決められたしきい値が、認識すべき対象物に設置された一対のリフレクタの間隔に対応する請求項５に記載の対象物認識装置。
【請求項７】
前記予め決められたしきい値が、認識すべき対象物の幅に対応する請求項５に記載の対象物認識装置。
【請求項８】
撮像装置によって撮像された対象物の画像および対象物位置検出手段によって検出された対象物の位置に基づいて、該対象物の外形を認識する第１の対象物認識手段と、
前回までの少なくとも２つのサイクルにおける対象物の認識結果の比較に基づいて、信頼性を判定する信頼性判定手段と、
前記信頼性判定手段によって信頼性が高いと判定されたならば、前回のサイクルにおいて認識された対象物の外形に基づいて、前記撮像装置によって今回得られた画像上に処理領域を設定する処理領域設定手段と、
前記設定された処理領域内において、前記対象物の外形を認識する第２の対象物認識手段とを備え、
前記信頼性判定手段は、第１の対象物認識手段からの認識結果または第２の対象物認識手段の認識結果に基づいて信頼性を判定し、
前記第２の対象物認識手段は、
前回のサイクルにおいて認識された対象物の外形に含まれる画像を、参照画像として切り出す参照画像生成手段と、
前記参照画像および前記処理領域内の画像を比較し、該参照画像が該処理領域内の画像に最も良く適合する位置を求める画像比較手段と、
前記処理領域内に含まれる画素の輝度値に基づいて、該処理領域からエッジを抽出するエッジ抽出手段と、
前記処理領域内の前記求められた最も良く適合する位置に、前記参照画像に対応する外形を投影し、前記抽出されたエッジのうち、該外形に最も良く適合するエッジを選択するエッジ選択手段と、
前記選択されたエッジに基づいて、前記対象物の外形を認識する外形認識手段と、を備える対象物認識装置。
【請求項９】
前記第１の対象物認識手段は、
前記対象物位置検出手段によって検出された位置、および予め決められた認識すべき対象物の大きさに基づいて、前記撮像装置により得られた画像上に第１の処理領域を設定する第１の処理領域設定手段と、
前記第１の処理領域に含まれる画素の輝度値に基づいて、該第１の処理領域からエッジを抽出する第１のエッジ抽出手段と、
前記第１のエッジ抽出手段によって抽出されたエッジから、前記対象物の外形を表すエッジを選択し、該選択されたエッジに基づいて対象物の外形を認識する第１の外形認識手段と、
を備える請求項１から請求項８のいずれかに記載の対象物認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、自車の前方にある対象物を認識する対象物認識装置に関し、特に、自車の前方を走行する先行車を認識する対象物認識装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車の前方にある物体の距離、方位および外形などを判断し、これに応じて自車を適切に制御する装置が提案されている。前方にある対象物の情報を取得する方法として、たとえば特開平６−２９３２３６号公報には、レーザレーダによって実現される障害物検出手段と、ＣＣＤカメラ等によって実現されるイメージ・センサとを備える走行環境監視装置が開示されている。この装置によると、障害物に対する相対距離および方位がレーザレーダによって検出され、自車前方の画像がイメージ・センサによって取得される。イメージ・センサによって取得された２次元画像から、レーザレーダによって検出された方位に基づいて障害物が存在する領域を特定し、該特定された領域から障害物を抽出する。
【０００３】
【発明が解決しようとする課題】
また、同一出願人による特願平１１−３１４３３０、特願平１１−３１４３３１および特願平１１−３１４３３２には、たとえばレーダ装置によって実現される対象物位置特定手段およびＣＣＤカメラ等によって実現される撮像手段を備える対象物認識装置が提案されている。この装置によると、レーダ装置によって自車前方にある対象物の位置が特定され、撮像手段によって自車前方の画像が取得される。特定された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、取得された画像に処理領域が設定される。その後、この設定された処理領域において、対象物が認識される。図２９の（ａ）は、対象物位置特定手段によって特定された対象物の位置４１０、および上記のようにして設定された処理領域４２０の例を示す。
【０００４】
しかしながら、対象物の位置をレーダ装置によって検出する場合、いくつかの問題点がある。レーザレーダを用いて先行車（対象物）を検出する場合、先行車に付属する左右一対のリフレクタからの反射波を受光することにより、先行車の位置を検出する。したがって、何らかの理由によりリフレクタの一方を検出することができなかった場合（たとえば、リフレクタの一方が破損していた場合等）、結果として検出された先行車の方位にばらつきが生じる。図２９の（ｂ）は、先行車の左側のリフレクタのみからの反射波を受光したことにより、先行車４００の位置４３０がずれて検出された様子を示している。先行車の位置がずれて検出されたので、先行車４００を囲むように適切に処理領域４４０を設定することができない。したがって、このような処理領域においては、先行車を正確に認識することができない。
【０００５】
また、ミリ波レーダを用いて先行車を検出する場合、レーザレーダと異なり、先行車のあらゆる位置からミリ波が反射してくるので、やはり結果として検出される対象物の位置にばらつきが生じる。
【０００６】
これらのことを回避するため、処理領域を大きめに設定すると、図２９の（ｃ）に示されるように、設定された処理領域内４６０に、認識すべき対象物である先行車４００とは異なる対象物（他の車線を走行する先行車、背景など）４７０が含まれることがある。このような場合も、設定された処理領域において正確に対象物を認識することができない。
【０００７】
したがって、レーダ装置によって検出される対象物の位置にばらつきが生じても、処理領域を適切に設定して、対象物を正確に認識し続けることができる対象物認識装置が必要とされている。
【０００８】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の対象物認識装置は、撮像装置によって撮像された対象物の画像および対象物検出手段によって検出された対象物の位置に基づいて、該対象物の外形を認識する第１の対象物認識手段と、前回までの少なくとも２つのサイクルにおける対象物の認識結果の比較に基づいて、信頼性を判定する信頼性判定手段と、信頼性判定手段によって信頼性が高いと判定されたならば、前回のサイクルにおいて認識された対象物の外形に基づいて、撮像装置によって今回得られた画像上に処理領域を設定する処理領域設定手段と、設定された処理領域内において、対象物の外形を認識する第２の対象物認識手段とを備え、信頼性判定手段は、第１の対象物認識手段からの認識結果または第２の対象物認識手段の認識結果に基づいて信頼性を判定するという構成をとる。
【０００９】
請求項１の発明によると、対象物検出手段によって検出される対象物の位置情報を使用することなく、前回の認識結果に基づいて、今回撮像された画像における対象物を認識することができるので、対象物位置検出手段によって検出された対象物の位置が適切でない場合が生じても、それに影響されることなく対象物を認識し続けることができる。また、前回認識された対象物の外形に基づいて設定された処理領域において対象物を認識するので、処理の負荷を軽減することができ、効率よく正確に対象物の外形を認識することができる。
【００１０】
請求項２の発明は、請求項１の発明の対象物認識装置において、信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物が、ほぼ同じ位置またはほぼ同じ大きさを示したならば、信頼性が高いと判定するという構成をとる。
【００１１】
請求項２の発明によると、前回以前の所定数の連続したサイクルで認識された対象物の位置または大きさに基づいて信頼性を判定するので、信頼性が高いと判定されれば、前回の認識結果に基づいて、今回撮像された画像から対象物を正確に認識することができる。
【００１２】
請求項３の発明は、請求項２の発明の対象物認識装置において、信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物の時間あたりの位置の変化が所定値以下ならば、ほぼ同じ位置を示すと判定するという構成をとる。
【００１３】
請求項３の発明によると、時間あたりの位置の変化に基づいて、前回までの所定数の連続したサイクルで認識された対象物がほぼ同じ位置を示すかどうか判断するので、ほぼ同じ位置を示すと判断されたならば、それらの対象物は同一物体を表すということがほぼ保証され、よって前回の認識結果に基づいて今回撮像された画像から対象物を正確に認識することができる。
【００１４】
請求項４の発明は、請求項２の発明の対象物認識装置において、信頼性判定手段は、前記前回までの所定数の連続したサイクルで認識された対象物の外形の単位時間あたりの大きさの変化が所定値以下ならば、ほぼ同じ大きさを示すと判定するという構成をとる。
【００１５】
請求項４の発明によると、時間あたりの大きさの変化に基づいて、前回までの所定数の連続したサイクルで認識された対象物がほぼ同じ大きさを示すかどうか判断するので、ほぼ同じ位置を示すと判断されたならば、それらの対象物は同一物体を表すということがほぼ保証され、よって前回の認識結果に基づいて今回撮像された画像から対象物を正確に認識することができる。
【００１６】
請求項５の発明は、請求項１から請求項４のいずれかの発明の対象物認識装置において、第２の対象物認識手段によって得られた対象物の外形に基づいて、該対象物の方向を算出する方向算出手段と、前記算出された対象物の方向と、前記対象物位置検出手段によって今回検出された対象物の位置との差が予め決められたしきい値より大きければ、該対象物は認識不能と判定する対象物判定手段と、を備えるという構成をとる。
【００１７】
請求項５の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が予め決められたしきい値より大きければ、今回のサイクルにおいては対象物を認識不能と判定するので、対象物認識装置の信頼性を高めることができる。
【００１８】
請求項６の発明は、請求項５の発明の対象物認識装置において、予め決められたしきい値が、認識すべき対象物に設置された一対のリフレクタの間隔に対応するという構成をとる。
【００１９】
請求項６の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が、一対のリフレクタの間隔に対応するしきい値より大きければ、今回のサイクルにおいての対象物認識は不能と判定するので、たとえば先行車のような対象物の認識精度を高めることができる。
【００２０】
請求項７の発明は、請求項５の発明の対象物認識装置において、前記予め決められたしきい値が、認識すべき対象物の幅に対応するという構成をとる。
【００２１】
請求項７の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が、対象物の幅に対応するしきい値より大きければ、今回のサイクルにおいての対象物認識は不能と判定するので、たとえば先行車のような対象物の認識精度を高めることができる。
【００２２】
請求項８の発明は、請求項１から請求項７のいずれかの発明の対象物認識装置において、第２の対象物認識手段は、前回のサイクルにおいて認識された対象物の外形に含まれる画像を、参照画像として切り出す参照画像生成手段と、参照画像および前記処理領域内の画像を比較し、該参照画像が該処理領域内の画像に最も良く適合する位置を求める画像比較手段と、前記処理領域内に含まれる画素の輝度値に基づいて、該処理領域からエッジを抽出するエッジ抽出手段と、前記処理領域内の前記求められた最も良く適合する位置に、前記参照画像に対応する外形を投影し、前記抽出されたエッジのうち、該外形に最も良く適合するエッジを選択するエッジ選択手段と、前記選択されたエッジに基づいて、前記対象物の外形を認識する外形認識手段と、を備えるという構成をとる。
【００２３】
請求項８の発明によると、前回認識された対象物の画像および外形情報を使用して今回のサイクルの対象物を認識するので、対象物位置検出手段によって検出された対象物の位置情報を使用しなくても、正確に対象物を認識することができる。
【００２４】
請求項９の発明は、請求項１から請求項８のいずれかの発明の対象物認識装置において、前記第１の対象物認識手段は、対象物位置検出手段によって検出された位置、および予め決められた認識すべき対象物の大きさに基づいて、撮像装置により得られた画像上に第１の処理領域を設定する第１の処理領域設定手段と、第１の処理領域に含まれる画素の輝度値に基づいて、該第１の処理領域からエッジを抽出する第１のエッジ抽出手段と、前記第１のエッジ抽出手段によって抽出されたエッジから、前記対象物の外形を表すエッジを選択し、該選択されたエッジに基づいて対象物の外形を認識する第１の外形認識手段と、を備えるという構成をとる。
【００２５】
請求項９の発明によると、撮像装置１によって取得された画像および対象物位置検出手段によって検出された対象物の位置に基づいて対象物が認識されるので、たとえば信頼性が低いと判定された時のように前回の対象物の認識結果を使用することができないときは、該第１の対象物認識手段によって対象物を認識することができる。
【００２６】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の対象物認識装置の全体的なブロック図である。この実施例においては、認識すべき対象物を先行車と仮定する。
【００２７】
図１の撮像装置１は、自車の前方を画像として撮像する装置である。撮像装置１は典型的には２次元のＣＣＤであり、２次元に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズの前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物を照射し、対象物から反射する赤外線を感知するようにするのがよい。撮像装置１により撮像された画像はアナログ・デジタル変換器（図示せず）を介してデジタルデータに変換され、画像記憶部２に格納される。
【００２８】
対象物位置検出部３は、典型的にはレーザレーダまたはミリ波レーダであり、レーザまたはミリ波を対象物に照射し、対象物からの反射波を受信して、自車から対象物までの距離および自車に対する対象物の相対的な方位を測定する。レーダは、単一ビームを自車前方のある角度の範囲にわたって走査するスキャン型レーダを用いることができ、または複数ビームを自車前方のある角度の範囲にわたって照射する複数ビーム型のレーダを用いてもよい。レーダからのビームがカバーする角度の範囲は、認識すべき対象物が撮像装置１により撮像される可能性のある範囲に合わせて設定される。したがって、この実施例では、レーダの検知エリアは少なくとも自車が走行する自車線領域をカバーするよう設定される。または、１サイクル前に撮像装置１により撮像され、検出された先行車の位置情報に基づいて、先行車に確実にビームを照射させるよう、レーダのビームの方位を随時変向させるようにしてもよい。検出された先行車の距離Ｄおよび方位θは、図１の対象物位置記憶部４に記憶される。
【００２９】
他の実施例によると、対象物位置検出部３は、一対の光学式撮像装置（たとえば、ＣＣＤカメラ）を用いて実現されることができる。この場合、距離の計測は、既知の技術である三角計測法によって実現される。さらに他の実施例では、対象物位置検出部３を、レーダ装置および一対の撮像装置を併用して実現することができる。たとえば、一対の撮像装置により撮像された画像による距離および方位の計測が困難な状況（トンネルなど薄暗い場所を走行していて先行車の撮像が不安定となるような状況）ではレーダによって計測する。
【００３０】
信頼性判定部５は、前回までの複数のサイクルで認識された対象物の情報を対象物情報記憶部１３から抽出し、該抽出された対象物の位置または大きさに基づいて、信頼性を判定する。具体的には、前回までの複数のサイクルで認識された対象物のそれぞれが、ほぼ同じ位置を示すか、またはほぼ同じ大きさを示すかどうか判断する。ほぼ同じ位置またはほぼ同じ大きさを示すならば信頼性が高いと判定し、それ以外の場合は信頼性が低いと判定する。
【００３１】
この発明に従う対象物認識装置は２つの処理フローを有しており、信頼性判定部５の判定結果に従って、１つのサイクルにつきどちらかの処理フローが実行される。これらの処理フローは、所定のサイクル（たとえば、１００ミリ秒）で繰り返し実行される。信頼性判定部５によって信頼性が低いと判定された場合、第１の処理フローが実行される。第１の処理フローは、第１の処理領域設定部６および第１の対象物認識部７によって実現される。一方、信頼性判定部５によって信頼性が高いと判定された場合、第２の処理フローが実行される。第２の処理フローは、第２の処理領域設定部８〜参照画像生成部１２によって実現される。
【００３２】
第１の処理領域設定部６は、対象物位置記憶部４に記憶された対象物の位置および予め決められた認識すべき対象物の大きさに基づいて、画像記憶部２に記憶された撮像画像内に第１の処理領域を設定する。予め決められた認識すべき対象物の大きさは、認識すべき対象物全体を囲むよう予め設定され、第１の処理領域設定部６に保持されている。第１の対象物認識部７は、第１の処理領域設定部６によって設定された第１の処理領域からエッジを抽出し、該抽出されたエッジに基づいて先行車の外形を認識する。先行車の外形を四角形で認識することができるので、外形情報は、四角形の上下左右端（または下左右端でもよい）の座標によって表される。こうして認識された先行車の上下左右端の位置は対象物情報記憶部１３に記憶される。
【００３３】
第２の処理領域設定部８は、前回のサイクルにおいて認識された先行車の外形情報に基づいて、撮像装置１によって今回撮像された画像内に第２の処理領域を設定する。第２の対象物認識部９は、第２の処理領域からエッジを抽出し、その後、該抽出されたエッジと、前回のサイクルにおいて参照画像生成部１２によって生成された参照画像とに基づいて、先行車の外形を認識する。こうして、第２の対象物認識部９は、対象物位置検出部３によって検出される対象物の位置情報を使用することなく、対象物を認識することができる。
【００３４】
対象物方向算出部１０は、第２の対象物認識部９によって認識された先行車の外形から、先行車が存在する方向を算出する。対象物判定部１１は、対象物位置検出部３によって今回検出された対象物の位置と、対象物方向算出部１０によって算出された対象物の方向とを比較することにより、対象物方向算出部１０によって算出された対象物方向が的確かどうか判定する。的確と判定されたならば、的確と判定された対象物の外形で囲まれた画像領域が、参照画像生成部１２によって参照画像（テンプレート）として切り出される。切り出された参照画像は、第２の対象物認識部９によって認識された先行車の外形情報と共に対象物情報記憶部１３に記憶される。一方、不的確と判定されたならば、第２の対象物認識部９よって認識された対象物の外形情報を対象物情報記憶部１３に記憶することなく破棄し、認識不能フラグをたてる。
【００３５】
対象物情報出力部１５は、対象物情報記憶部１３に記憶された外形情報を車両走行制御部１６に出力する。また、対象物情報出力部１５は、信頼性判定部５による判定結果を車両走行制御部１６に出力することもできる。車両走行制御部１６は、受け取った先行車の外形情報および／または判定結果に基づいて、自車の走行制御を実行する。たとえば、先行車までの距離が適切であるよう制御したり、先行車との車間距離がある所定値以下になった場合に運転者に音声やアラームで警告を発したり、自車のエンジンを制御して強制的に減速させたりなどの制御をすることができる。
【００３６】
以下、図１に示されるそれぞれの機能を、図を参照して詳細に説明する。
【００３７】
第１の処理領域の設定
図２は、前方を走行する先行車４０を撮像した画像、および該画像内に設定された第１の処理領域３０の例である。図に示されるように、ｘおよびｙ軸が、撮像した画像上に定められる。第１の処理領域３０は、座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）によって設定される。
【００３８】
図３は、第１の処理領域設定部６（図１）によって実行される、処理領域３０を設定する方法を示す図である。ここで、図３の（ａ）は、処理領域３０を特定するｘ座標Ｘa1およびＸa2を求める方法を示し、図３の（ｂ）は、処理領域を特定するｙ座標Ｙa1およびＹa2を求める方法を示す。
【００３９】
自車に搭載された撮像装置１は、自車の前方を走行する先行車４０を撮像する。ｆは、撮像装置１に備えられたレンズ２９の焦点距離であり、レンズの特性により定まる値である。ＷおよびＨは、予め決められた先行車の幅および高さであり、たとえばＷは２メートル、Ｈは２．５メートルのように設定することができる。Ｄおよびθは、対象物位置記憶部４に記憶された、先行車の自車からの距離および自車に対する相対的な方位を示す。ｈは、道路から撮像装置１のレンズ２９の中心までの高さを示し、撮像装置１の自車内の位置により定まる。
【００４０】
処理領域３０は、これらのパラメータＷ、Ｈ、ｈを用い、対象物位置記憶部４に記憶されたＤおよびθを抽出することにより、以下の式によって求められる。
【００４１】
【数１】
Ｘa1＝（Ｄ×tanθ − (Ｗ／２)） × （ｆ／Ｄ）          式(１)
Ｘa2＝（Ｄ×tanθ ＋ (Ｗ／２)） × （ｆ／Ｄ）          式(２)
Ｙa1＝（Ｈ−ｈ） × （ｆ／Ｄ）                         式(３)
Ｙa2＝−（ｈ × （ｆ／Ｄ））                           式(４)
【００４２】
こうして、座標（Ｘa1、Ｙa1）および（Ｘa2,Ｙa2）により、撮像された画像内に処理領域３０が設定される。
【００４３】
他の実施例では、自車のピッチングを考慮して、以下のように、Ｙa1およびＹa2にピッチング余裕分αを加えるようにしてもよい。図４は、以下の式によって設定された、ピッチングを考慮した場合の処理領域３０の例を示す。
【００４４】
【数２】
Ｙa1＝（Ｈ−ｈ） × （ｆ／Ｄ）＋α                     式(５)
Ｙa2＝−（ｈ × （ｆ／Ｄ）＋α）                       式(６)
【００４５】
第１の対象物の認識
図５は、第１の対象物認識部７（図１）の詳細な機能ブロック図を示す。第１の対象物認識部７は、第１の処理領域３０から、水平および垂直エッジをそれぞれ抽出する水平および垂直エッジ抽出部２１および２４、抽出された水平および垂直エッジが対象物を示しているかどうかを判定する水平および垂直エッジ判定部２２および２５、対象物を示していると判定された水平および垂直エッジに基づいて対象物の外形を認識する第１の外形認識部２７を備える。
【００４６】
水平および垂直エッジの抽出
水平および垂直エッジは基本的に同じ方法で抽出されるので、ここでは水平エッジの抽出について説明する。
【００４７】
図６は、水平エッジ抽出部２１により実行される、エッジを抽出するフローチャートを示す。ステップ６１において、第１の処理領域３０内を、図７の（ａ）に示される水平エッジ用フィルタで走査し、処理領域３０内のそれぞれの画素の輝度値に対して以下の式（７）の計算を施す。なお、この実施例で使用する輝度値は、２５６の階調（真黒「０」から真白「２５５」の間）を持つデジタルデータとして表される。
【００４８】
水平エッジ用フィルタは、水平方向のエッジを強調するよう値が定められているので、以下の計算を実行することにより水平方向に輝度差のあるエッジ部分が強調される。
【００４９】
【数３】
0004340000.tif 000002
【００５０】
ここで、ｘおよびｙは、処理領域３０内の画素の位置を特定する座標を示す。Ｇ(x,y)は、撮像されてデジタルデータに変換されたときの座標(x,y)にある画素の輝度値を示し、Ｐ(x,y)は、フィルタリング処理を行った後の座標(x,y)にある画素の輝度値を示す。水平エッジ用フィルタのそれぞれの要素には、計算の都合上、図７の（ｂ）のように座標が付されており、Ｆ(i,j)は、図７の（ａ）に示す水平エッジ用フィルタの座標(i,j)にあるフィルタ要素の値を示す。
【００５１】
他の実施例では、式（７）の代わりに、以下の式（８）のように単純に垂直方向に隣あった画素間で輝度値の引き算を行う微分処理によりフィルタリング処理を行うことができる。ここで、ｎは任意の整数であり、たとえばｎ＝１である。
【００５２】
【数４】
Ｐ(x,y)＝Ｇ(x,y-n)−Ｇ(x,y+n)            式(８)
【００５３】
次に、ステップ６３において、フィルタリング処理が行われたそれぞれの画素の輝度値Ｐに基づいて、図８に示されるような輝度ヒストグラムを算出する。図８の輝度ヒストグラムにおいて、横軸は輝度値を示し、右にいくほど高い輝度値を示す。縦軸は、それぞれの輝度値に対応する画素数を示す。
【００５４】
このヒストグラムに基づいて、低輝度側の画素数と高輝度側の画素数が所定の割合となるところの輝度値を２値化しきい値として設定する（ステップ６５）。たとえば、処理領域３０の全画素数に対し、先行車を表すエッジを構成する画素数の割合を予めある程度推定し、ある輝度値以上でその割合に対応する値をヒストグラムから求めて２値化しきい値とすることができる。この２値化しきい値を使用し、たとえば高輝度側を「１」、低輝度側を「０」として、第１の処理領域３０内のそれぞれの画素を２値化する（ステップ６７）。こうして２値化された画素のうち、値「１」を持つ画素をエッジ点と呼ぶ。２値化しきい値の設定には既知の様々な方法がある。ここで用いる方法はその一例であり、他の方法を用いてもよい。
【００５５】
図９を参照して、２値化によって得られた値「１」を持つ画素すなわちエッジ点を抽出し、エッジ点が連続していれば１つのまとまった水平エッジとしてグループ化する方法を説明する。図９の（ａ）のＴ１〜Ｔ３はテンプレートにおける位置を示す。図９の（ｂ）のＶ１〜Ｖ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素の値（１またはゼロ）をそれぞれ示す。図９の（ｃ）のＬ１〜Ｌ３は、あるエッジ点にＴ２が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ３の位置にそれぞれ対応する画素に付与されたラベルを示す。
【００５６】
図９の（ｄ）の表は、あるエッジ点にＴ２が合うようテンプレートが置かれたときの、Ｔ２の位置に対応するエッジ点にどのようなラベルＬ２が付与されるかを示したものである。たとえば、Ｔ１〜Ｔ３の位置に対応する画素の値Ｖ１〜Ｖ３が条件４を満たせば、Ｔ２に対応するエッジ点のラベルＬ２には、Ｔ１に対応する画素のラベルＬ１と同じラベルが付与される。なお、条件１が満たされた時に付与されるラベル「Ｌ」は、まだ使用されていない新たなラベルを示す。図９の（ｅ）に示すように、テンプレートのＴ２が第１の処理領域３０内のエッジ点に順次置かれるよう処理領域３０を走査し、エッジ点にラベルＬ２を付与していく。
【００５７】
図１０は、ラベル付与処理を具体的に説明するための図である。図１０の（ａ）は、２値化された画素（値ゼロは単なる「・」で示されている）を示す画像の一部の例である。値１をもつエッジ点にテンプレートのＴ２が合うようテンプレートが置かれ、上記のようにラベル付与処理を行うと、図１０の（ｂ）に示すように連続したエッジ点に同じラベルが付与される。
【００５８】
図９の（ｄ）の条件５を満たす場合には、テンプレートのＴ１およびＴ３にそれぞれ対応するラベルを連結し、テンプレートＴ３に対応するラベルをテンプレートＴ１に対応するラベルで置き換える。たとえば、図１０の（ｂ）のエッジ点９１と９２、およびエッジ点９２と９３は図９の（ｄ）の条件５を満たすので、ラベルＤおよびＥをもつエッジ点のすべてが、ラベルＣに付与しなおされる（図１０の（ｃ））。このラベルを連結する処理は、処理領域３０内のすべてのエッジ点を走査してラベルを付与した後に行ってもよい。ラベルを連結することにより、連続するエッジ点はもれなく同じラベルが付与された１つのエッジ群となる。図１０の（ｃ）には、ラベルＡ、ＢおよびＣの３つのエッジ群（すなわち、３つの水平エッジ）が示されている。
【００５９】
垂直エッジ抽出部２４は、図６のステップ６１のフィルタリング処理で、水平エッジ用フィルタの代わりに図１１に示す垂直エッジ用フィルタを使用することをのぞき、水平エッジと同様の手法で第１の処理領域３０から垂直エッジを抽出する。
【００６０】
水平および垂直エッジの判定
図１２は、水平エッジ判定部２２により実行される、抽出された水平エッジを判定する方法を説明するための図である。エッジ判定は、先行車が画像に表されたときの特徴に基づいて行われる。具体的には、
１）第１の処理領域３０の境界線上の画素を含むエッジは、先行車以外のものを示すエッジと判定する。
２）抽出された水平エッジの直線性を調べ、直線性の悪いエッジは、先行車以外のものを示すエッジと判定する。
３）抽出された水平エッジの傾きを調べ、傾きが大きいエッジは先行車以外のものを示すエッジと判定する。
【００６１】
図１２の（ａ）は撮像された画像を示し、先行車４０の手前に路面標識３１が、向こう側に山の稜線３２が、サイドに白線３３が写し出されている。路面標識３１は、第１の処理領域３０を横切るようにして広がっている。図１２の（ｂ）は、水平エッジ抽出部２１により図１２の（ａ）の画像に対して抽出された水平エッジの２値化画像を示す。この２値化画像には、先行車４０を示すエッジだけでなく路面標識３１を示すエッジ４１および４２、山の稜線３２の一部を示すエッジ４３〜４５、および白線３３を示すエッジ４６および４７が抽出されている。
【００６２】
第１の処理領域３０は、前述したように先行車を囲むよう設定されているので、処理領域を横切る水平エッジ４１および４２は先行車以外のものを示すと判定する。具体的にいうと、処理領域３０は、前述したように座標（Ｘa1,Ｙa1）および（Ｘa2,Ｙa2）で特定されるので、水平エッジを構成する画素（すなわちエッジ点）のｘ座標値を調べ、Ｘa1またはＸa2を持つエッジ点があるならば、その水平エッジは先行車以外のものを示すと判定する。
【００６３】
さらに、先行車を表す水平エッジは水平方向に曲線を描くことはないので、このような直線性の悪いエッジ４３〜４５は、先行車以外のものを示すと判定する。具体的にいうと、抽出された水平エッジを構成するエッジ点のそれぞれのｙ座標値の分散を算出し、ｙ座標が、予め決められた所定値以上にわたって分散するならば、その水平エッジは先行車以外のものを示すと判定する。
【００６４】
さらに、先行車を表す水平エッジは水平方向に大きな傾きを持つことはないので、このような傾きの大きいエッジ４６および４７は、先行車以外のものを示すと判定する。具体的にいうと、水平エッジを構成するエッジ点のｘおよびｙ座標を用いて最小二乗法による直線近似を行い、その直線の傾きを調べ、傾きが予め決められた所定値以上であるならば、その水平エッジは先行車以外のものを示すと判定する。図１２の（ｃ）は、先行車以外のものを示すと判定されたエッジ４１〜４７を除外した後の水平エッジを示す２値化画像である。
【００６５】
上記の１）〜３）の判定条件は、そのうちのいずれかを使用して判定してもよく、またはいくつかを併用して判定してもよい。さらに、上記の判定条件は、認識すべき対象物が何であるかに依存して、たとえば対象物の大きさ、形状、輪郭などの対象物の特徴に応じて変えることができる。
【００６６】
垂直エッジ判定部２５は、水平エッジ判定部２２によるものと同様の手法で、垂直エッジ抽出部２４により抽出されたエッジが、先行車を示すかどうか判定する。
【００６７】
第１の外形認識
図１３は、第１の外形認識部２７によって実行される、対象物の外形を認識するフローチャートである。最初に、先行車の水平エッジを示すと判定された水平エッジのヒストグラム、および先行車の垂直エッジを示すと判定された垂直エッジのヒストグラムを算出する（ステップ７１および７３）。算出された水平エッジのヒストグラムから先行車の上下端を判定し（７５）、算出された垂直エッジのヒストグラムから先行車の左右端を判定する（７７）。
【００６８】
図１４は、図１３のフローチャートで示される外形認識方法の具体的な処理手順に示す図である。図１４の（ａ）は、先行車４０が撮像された画像を示し、該画像内には、第１の処理領域３０が設定されている。図１４の（ｂ）は、先行車４０を表すと判定された水平エッジを表す２値画像であり、図１４の（ｃ）は、先行車４０を表すと判定された垂直エッジを表す２値画像である。図１４の（ｄ）は、図１４の（ａ）に対応し、第１の処理領域３０内の水平エッジのそれぞれのｙ座標に対応するエッジ点の数を示すヒストグラムである。図１４の（ｅ）は、図１４の（ｃ）に対応し、第１の処理領域３０内の垂直エッジのそれぞれのｘ座標に対応するエッジ点の数を表すヒストグラムである。
【００６９】
図１４の（ｄ）の水平エッジヒストグラムに基づいて先行車の上下端を特定する。具体的にいうと、所定値Ｐ１以上のエッジ点を有し、かつもっとも処理領域３０の上下の境界線に近い水平エッジに対応するｙ座標値をそれぞれ先行車の上下端とする。上端はＹ１により特定され、下端はＹ２により特定される。同様に、図１４の（ｅ）のヒストグラムに基づいて対象物の左右端を特定する。具体的にいうと、所定値Ｐ２以上のエッジ点を有し、かつもっとも処理領域３０の左右の境界線に近い垂直エッジに対応するｘ座標値をそれぞれ先行車の左右端とする。左端はＸ１により特定され、右端はＸ２により特定される。こうして、図１４の（ｆ）に示すように、先行車４０の上下左右端が特定され、先行車の外形１００が認識される。なお、対象物の上下左右端を、他の任意の条件に従って特定するようにしてもよい。
【００７０】
以上、第１の処理フローによる対象物認識方法を説明してきた。しかしながら、他の実施形態では、第１の処理フロー、すなわち撮像された画像および対象物位置検出手段によって検出された対象物位置に基づいて対象物を認識する処理を、他の任意の方法を使用して実現することができる。
【００７１】
第２の処理領域設定
図１５は、第２の処理領域設定部８（図１）によって実行される第２の処理領域の設定方法を説明するための図である。第２の処理領域１３０は、前回認識された対象物の外形情報に基づいて、今回撮像された画像内に設定される。図１５の（ａ）は、前回撮像された画像を示しており、ここで、点線で描かれた四角形１０１は、前回認識された先行車の外形情報１０１を表している。
【００７２】
前回の外形情報を示す四角形１０１の上下左右に相対移動量ｖ１〜ｖ４をそれぞれ加え、該相対移動量ｖ１〜ｖ４が加えられた大きさの四角形１３０を、第２の処理領域として、今回撮像された画像内に設定する。こうして設定された第２の処理領域１３０を、図１５の（ｂ）の実線で描かれた四角形で示す。
【００７３】
相対移動量は、前回の先行車の画像上の大きさと、今回の先行車の画像上の予測された大きさとの差に相当する。先行車は、自車から遠のくにつれて画像内には小さく表され、自車に近づくにつれて画像内には大きく表される。したがって、上記の差は、先行車の相対速度に依存して変化する。たとえば、前回の先行車の相対速度が＋３．６ｋｍ／ｈ（正の場合、先行車の速度が自車の速度よりも速いとする）であり、かつサイクル間の時間間隔が１００ミリ秒であるとき、今回の先行車の位置は、前回に比べて０．１メートル自車に近づくと予測することができる。
【００７４】
ここで、図３および式（１）〜（４）を再び参照すると、先行車の距離Ｄおよび方位θに基づいて、処理領域を特定する座標を簡単に求めることができた。したがって、前回のサイクルで検出された先行車の距離および方位をＤ1およびθ1とし、今回の先行車の予測される距離および方位をそれぞれＤ2およびθ2とすると、第２の処理領域は、以下の式から求められる。
【００７５】
【数５】
Ｄ2＝Ｄ1−（相対速度×サイクル間の時間間隔）
tanθ2＝Ｄ1・tanθ1／Ｄ2
Ｘb1＝（Ｄ2×tanθ2 − (Ｗ／２)） × （ｆ／Ｄ2）          式(９)
Ｘb2＝（Ｄ2×tanθ2 ＋ (Ｗ／２)） × （ｆ／Ｄ2）         式(１０)
Ｙb1＝（Ｈ−ｈ） × （ｆ／Ｄ2）                         式(１１)
Ｙb2＝−（ｈ × （ｆ／Ｄ2））                           式(１２)
【００７６】
こうして、座標（Ｘb1、Ｙb1）および（Ｘb2,Ｙb2）によって、第２の処理領域１３０が設定される。
【００７７】
なお、図４を参照して説明したのと同様に、第２の処理領域１３０を求める際に、ヨーレートのような自車の挙動を表すパラメータや、カーブでの先行車の動きを考慮に入れるようにしてもよい。
【００７８】
第１の処理フローのように対象物位置検出手段によって検出された位置から処理領域を設定するのではなく、第２の処理フローでは、前回認識された対象物に基づいて処理領域が設定される。したがって、たとえ今回のサイクルにおいて対象物位置検出手段によって検出された対象物位置が何らかの原因でずれてしまった場合が生じても、そのことに影響されることなく対象物を第２の処理領域から認識することができる。
【００７９】
第２の対象物認識
図１６は、第２の対象物認識部９（図１）の詳細な機能ブロック図を示す。画像比較部８２は、後述する参照画像生成部１２によって生成された参照画像と、第２の処理領域設定部８によって設定された第２の処理領域内の画像とを比較し、最も良くマッチングした位置を記憶する。「最も良くマッチングした位置」は、参照画像内に撮像されている対象物と、第２の処理領域内に撮像されている対象物とが最も良く重なり合う位置を示す。
【００８０】
エッジ抽出部８３は、第２の処理領域から、水平および垂直エッジを抽出する。エッジ選択部８４は、第２の処理領域内の上記「最も良くマッチングした位置」に、参照画像の外形を投影し、上記抽出されたエッジのうち、該投影された外形情報に最も適合するエッジを選択する。第２の外形認識部８５は、エッジ選択部８４によって選択されたエッジに基づいて、今回のサイクルにおいて撮像された対象物の外形を認識する。
【００８１】
図１７および図１８は、第２の対象物認識方法の具体的な処理手順を示す図である。図１７の（ａ）は、前回の画像データから生成された参照画像１０５を示す。参照画像１０５には先行車が撮像されている。前回のサイクルで対象物が認識不能であった場合には、所定期間内の直近のサイクルで認識された対象物の画像データを用いるようにしてもよい。
【００８２】
一方、図１７の（ｂ）は、撮像装置によって今回のサイクルで撮像された画像データを示し、この画像内には、第２の処理領域１３０が設定されている。前述したように、第２の処理領域１３０は、座標（Ｘb1,Ｙb1）および（Ｘb2,Ｙb2）で表される。
【００８３】
次に、第２の処理領域が設定された今回の画像データに、参照画像を重ね合わせて、両者をマッチングする（図１７の（ｃ））。具体的にいうと、最初に、参照画像１０５の左上端を、第２の処理領域の左上端の座標（Ｘb1,Ｙb1）に一致するよう置き、その後、参照画像１０５を、第２の処理領域１３０内を右方向に１画素ずつシフトさせる。第２の処理領域１３０の右端までシフトさせたならば、参照画像１０５を１画素だけ下方向にずらし、同様に第２の処理領域１３０の左端から右端に向けて１画素ずつシフトさせる。
【００８４】
シフトさせるたびに、参照画像１０５と、第２の処理領域１３０内の画像との輝度値の差分値の和を求める。たとえば、参照画像１０５を構成する画素のそれぞれの輝度値と、参照画像１０５を構成する画素と重なり合う第２の処理領域１３０内の画像を構成する画素のそれぞれの輝度値との差分値（絶対値で算出される）の和を求める。こうして、参照画像１０５を、第２の処理領域１３０内をくまなくシフトさせた後、算出された輝度値の差分値の和が最も小さい位置を、最も良くマッチングした位置として記憶する。マッチング位置を、Ｘm1、Ｘm2、Ｙm1、およびＹm2で表す。図１７の（ｄ）は、参照画像１０５が、この「最も良くマッチングした位置」に置かれた様子を示す。
【００８５】
参照画像に含まれる先行車と、第２の処理領域に含まれる先行車とがちょうど重なり合った時、両者はほぼ同じ輝度値を持つので、輝度値の差分値の和が最小になる。したがって、上記のように、参照画像および第２の処理領域内の画像の輝度値を比較することにより、第２の処理領域のどの位置に先行車が撮像されているかを求めることができる。
【００８６】
今回のサイクルにおいて、第２の処理領域に前回認識された先行車が実際には撮像されていなかったり、または前回認識された先行車が第２の処理領域に収まっていないような場合、上記「最も良くマッチングした位置」を求めても、実際にはマッチングしたとはいえない。したがって、この実施例では、最小となる輝度値の差分値の和が所定値以上ならば、前回認識された対象物の外形の位置（左右上下端の座標Ｘ３、Ｘ４、Ｙ３およびＹ４で特定される）を、「最も良くマッチングした位置」と設定し、以降の処理を進める。他の実施例では、最小となる輝度値の差分値の和が所定値以上ならば、今回のサイクルにおいて対象物を認識することは不可能と判定することができる。この場合、代わりに第１の処理フローによって認識処理を継続することもできるし、または今回のサイクルの認識処理を中止することもできる。
【００８７】
次に、図１７の（ｄ）の今回の画像データに設定された第２の処理領域１３０から、水平および垂直エッジを抽出する。これらのエッジは、図５に示される水平および垂直エッジ抽出部２１および２４によって実行される方法と同じ方法で抽出される。また、水平および垂直エッジ判定部２２および２５によって実行される方法と同じ方法で、抽出されたエッジを判定するようのが好ましい。こうして、図１８の（ａ）に示されるように、エッジを表す２値画像が生成される。
【００８８】
その後、図１８の（ｂ）に示されるように、エッジを表す２値化画像内の上記「最も良くマッチングした位置」に、前回認識された対象物の外形１０１（これは、参照画像１０５の画像領域を囲む外形に対応する）を投影する。２値化画像上のエッジのうち、この投影された外形１０１に最も適合するエッジを選択する。たとえば、Ｘm1に最も近い垂直エッジを左端エッジとして選択し、Ｘm2に最も近い垂直エッジを右端エッジとして選択し、Ｙｍ１に最も近い水平エッジを上端エッジとして選択し、Ｙｍ２に最も近い水平エッジを下端エッジとして選択する。このとき、エッジの長さが所定値よりも大きければ選択する、というような他の条件を付加して選択するようにしてもよい。
【００８９】
図１８の（ｃ）は、上記のようにして選択された上下左右端のエッジを示す。左端エッジに対応するＸ座標はＸ１であり、右端エッジに対応するＸ座標はＸ２であり、上端エッジに対応するＹ座標はＹ１であり、下端エッジに対応するＹ座標はＹ２である。これらのエッジに基づいて、図１８の（ｄ）に示されるように、今回のサイクルにおける対象物の外形１００が認識される。外形情報１００は、Ｘ１、Ｘ２、Ｙ１およびＹ２で表される。
【００９０】
このように、第２の処理領域内に先行車が撮像されている可能性が最も高い位置に、前回認識された対象物の外形情報が投影され、該投影された外形情報に最も良く適合するエッジが選択されるので、今回撮像された画像における対象物の外形を正確かつ効率良く求めることができる。
【００９１】
対象物方向算出
図１９は、対象物方向算出部１０（図１）によって対象物の方向を算出する方法を示す図である。第２の対象物認識部９によって得られた外形１００は、前述したように、左右上下端の座標Ｘ１、Ｘ２、Ｙ１およびＹ２で表される。したがって、対象物の方向１０２は、左右端の中心位置に対応する点を求めることによって算出される。具体的には、対象物方向１０２は、（Ｘ２＋Ｘ１）／２によって特定される。
【００９２】
対象物判定
図２０は、対象物判定部１１（図１）によって実行される、算出された対象物方向が的確かどうかを判定する方法を示す図である。算出された対象物方向１０２と、今回のサイクルにおいて対象物位置検出部３（図１）によって検出された対象物位置１０３とを比較する。両者の差が所定のしきい値以内ならば、算出された対象物方向は的確と判定し、両者の差が所定のしきい値を超えたならば、算出された対象物の方向は不的確と判定する。
【００９３】
所定のしきい値は、先行車の左右のリフレクタの間隔または先行車の車幅に相当する値に設定されるのが好ましい。特に、対象物位置検出部３がレーザレーダによって実現される場合には前者に、対象物位置検出部３がミリ波レーダによって実現される場合には、後者に設定されるのが好ましい。これは、リフレクタ間の間隔または車幅以上に対象物の位置がずれると、この対象物が、認識すべき先行車とは異なる他の対象物である可能性が生じるからである。図２０の例では、両者の差が所定のしきい値（車幅Ｗ）以下なので、算出された対象物方向は的確であると判定される。
【００９４】
算出された対象物の方向が不的確と判定されたならば、今回のサイクルにおいての対象物認識は不能と判定する。この場合、今回のサイクルにおいて求められた対象物の外形情報は、対象物情報記憶部１３に記憶されることなく破棄され、今回のサイクルに対応する認識不能フラグには値１がセットされる。
【００９５】
参照画像の生成
図２１は、参照画像を生成する方法を説明するための図である。対象物判定部１１によって対象物の方向が的確と判定されたならば、該的確と判定された対象物について参照画像を生成する。図２１の（ａ）は、方向が的確と判定された対象物が撮像された画像データを示す。図２１の（ａ）の画像データから、認識された対象物の外形情報（Ｘ１、Ｘ２、Ｙ１およびＹ３）で囲まれた画像領域を切り出し、これを参照画像とする。したがって、参照画像１０５には先行車が撮像されている。この参照画像１０５を、図２１の（ｂ）に示す。参照画像１０５は対象物情報記憶部１３に記憶され、前述したように、次のサイクルにおける第２の対象物認識処理で使用される。
【００９６】
信頼性の判定
信頼性の判定は、前回までの複数のサイクルにおいて得られた対象物の位置または大きさに基づいて、信頼性を判定する。前回までの複数のサイクルにおいて得られた対象物がほぼ同じ位置を示すならば、信頼性は高いと判定される。または、前回までの複数のサイクルにおいて得られた対象物がほぼ同じ大きさを示すならば、信頼性は高いと判定される。それ以外の場合、たとえば前回までの複数のサイクルにおいて得られた対象物がほぼ同じ位置を示さず、かつほぼ同じ大きさを示さない場合、信頼性は低いと判定される。
【００９７】
図２２を参照して、対象物の位置に基づいて信頼性を判定する方法を説明する。図２２は、前回および前々回のサイクルにおいて得られた外形１２１および１２２をそれぞれ示す。外形１２１の左右端の中心１２３および外形１２２の左右端の中心１２４は、水平方向にｃ１および垂直方向にｃ２だけずれている。水平方向の差ｃ１が所定値以下で、かつ垂直方向の差ｃ２が所定値以下ならば、外形情報１２１および１２２は、ほぼ同じ位置を示すと判定される。
【００９８】
水平方向の差については、所定値は、たとえば１サイクルあたりの対象物の水平方向における位置の想定される変化量（たとえば、１メートル）に基づいて設定されるのが好ましい。１サイクルにおける先行車の水平方向の位置の変化量が所定値以下ならば、先行車はほぼ同じ水平位置を示すと判定する。
【００９９】
この実施例における所定値１メートルは、１サイクルあたりの先行車の水平方向における位置が変化する範囲についての実証データに基づいて設定されている。しかしながら、この所定値を、他の適切な値に設定することができ、たとえば他の実証データに基づく値を設定することができる。
【０１００】
水平方向の差ｃ１が所定値以下かどうかを判断する際、該所定値は画素数に換算される。所定値に対応する画素数は、先行車の自車からの距離に依存して変化する。したがって、図２３に示されるようなマップを参照して、所定値を画素数に換算する。図に示される曲線１４０は、所定値を１メートルとした時の、距離と画素数の対応関係を示す。たとえば、先行車との距離が６０メートルの時、所定値１メートルは画素数５個に対応する。したがって、前回の対象物の外形１２２に対応する距離（対象物位置検出部によって前回のサイクルで検出された）が６０メートルならば、水平方向の差ｃ１が画素数５個以下かどうか判断する。５個以下ならば、前回の外形１２１と前々回の外形１２２は、水平方向についてほぼ同じ位置を示すと判定される。
【０１０１】
他の実施例によると、図２２の（ｂ）に示されるように、外形１２１および１２２のそれぞれの左端の位置の差Ｌ１が所定値以下であり、かつそれぞれの右端の位置の差Ｒ１が該所定値以下の場合に、水平方向についてほぼ同じ位置を示すと判定することができる。
【０１０２】
垂直方向の差については、所定値は、たとえば１サイクルあたりの対象物の垂直方向における位置の想定される変化量（たとえば、５画素）に基づいて設定されるのが好ましい。１サイクルにおける先行車の垂直方向における位置の変化量が所定値以下ならば、先行車はほぼ同じ垂直位置を示すと判定する。
【０１０３】
垂直方向についての所定値は、ピッチングなどの自車の挙動を考慮して設定されるのが好ましい。上記の所定値の５画素は、自車がピッチングした場合に、先行車の外形の下端位置が、約５個の画素に相当する範囲内で変化するという実証データに基づいて定められた値である。
【０１０４】
先行車の距離に依存して、先行車の画像上の位置も変化する。したがって、先行車の相対速度が変化したとき、たとえ自車にピッチング等が生じなくても、先行車の画像上の垂直方向の位置に変化が生じる。しかし、この実施例のように１サイクルを１００ミリ秒という短い時間に設定すると、１サイクルの間に５画素分に相当する距離だけ先行車が近づく（または遠のく）ことは考えられない（先行車の外形の下端の位置が１サイクル中に５画素変化したということは、ある実施例の場合、１サイクル中に先行車の距離が約６０メートルから約５５メートルになった場合に相当する）。したがって、垂直方向の所定値は、自車の挙動のみを考慮して、画素単位で指定することができる。
【０１０５】
次に、図２４を参照して、対象物の大きさに基づいて信頼性を判定する方法を説明する。図２４は、図２２と同じ外形情報、すなわち前回および前々回のサイクルにおいて得られた外形１２１および１２２を示す。外形１２１は幅ｗ１および高さｈ１を有し、外形１２２は、幅ｗ２および高さｈ２を有する。
【０１０６】
外形１２１および１２２の幅の差｜ｗ１−ｗ２｜が所定値以下であり、かつ外形１２１および１２２の高さの差｜ｈ１−ｈ２｜が所定値以下ならば、両者の外形情報はほぼ同じ大きさを示すと判定される。これらの所定値は、たとえば画素の数（たとえば、２個）で設定することができる。
【０１０７】
これらの所定値は、想定される相対速度における先行車の画像上の大きさの変化に基づいて設定されるのが好ましい。上記の所定値の２画素というのは、１サイクル（１００ミリ秒）あたりの先行車の画像上の幅および高さが変化する範囲についての実証データに基づいて設定されている。
【０１０８】
しかし、大きさについての上記所定値は、他の異なる値を設定することができ、たとえば他の実証データに基づいて他の所定値を使用することができる。または、図２５に示されるような、相対速度ごとに、先行車との距離と所定値との対応関係を示すマップを予め記憶しておき、このマップを参照して、その時の相対速度および距離から動的に所定値を求めるようにしてもよい。たとえば、距離が３６メートルにあるとき、幅についての所定値は２画素、高さについての所定値は３画素、と求められる。
【０１０９】
信頼性を判定する方法
図２６は、信頼性を判定する方法の具体的な例を示す。この実施例では、外形情報が、前回以前の３つのサイクルで連続して同じ位置または同じ大きさを示した場合に信頼性が高いと判定し、それ以外の場合は信頼性が低いと判定する。信頼性が高いと判定されたならば、前回認識された対象物に基づいて対象物を認識する第２の処理フローを実施し、信頼性が低いと判定されたならば、今回撮像された画像および検出された対象物の位置に基づいて対象物を認識する第１の処理フローを実施する。カウンタは、認識された対象物がほぼ同じ位置または同じ大きさを連続して示したサイクルの数をカウントする。したがって、カウンタ値が＋３以上の値を示すとき、信頼性が高いという判定が行われる。
【０１１０】
図２６の第１サイクルで示されるように、対象物認識装置が起動されたときは、以前のサイクルにおける対象物の認識結果がまだ取得されていないので、第１の処理フローを実行し、第１の外形情報を算出する。位置または大きさの判定は行われず、カウンタはゼロのままであり、よって信頼性は低いと判定される。
【０１１１】
信頼性が低いと判定されたので、第２サイクルでは第１の処理フローが実行される。第２および第１の外形情報がほぼ同じ位置または大きさを示したので、カウンタはインクリメントされ、＋１となる。同様に第３サイクルにおいても第１の処理フローが実行される。第３および第２の外形情報がほぼ同じ位置または大きさを示したので、カウンタはインクリメントされ、＋２となる。第４サイクルにおいても同様に第１の処理フローが実行され、第４および第３の外形情報がほぼ同じ位置または大きさを示したので、カウンタはインクリメントされ、＋３となる。カウンタが＋３に到達したので、信頼性は高いと判定される。
【０１１２】
信頼性が高いと判定されたので、第５サイクルにおいては第２の処理フローが実行される。第５および第４の外形情報がほぼ同じ位置または大きさを示したので、カウンタはインクリメントされ、＋４となる。カウンタが＋３以上を示しているので、信頼性は高いと判定される。
【０１１３】
信頼性が高いと判定されたので、第６サイクルにおいても第２の処理フローが実行される。第６および第５の外形情報が比較され、両者が、異なる位置または大きさを示したとする。その場合、カウンタはリセットされ、よって信頼性は低いと判定される。
【０１１４】
信頼性が低いと判定されたので、第７サイクルにおいては第１の処理フローが実行される。第７および第６の外形情報がほぼ同じ位置および同じ大きさを示したので、カウンタはインクリメントされ、＋１となる。カウンタは＋３より小さい値を示すので、信頼性は低いと判定される。
【０１１５】
このようにして、認識された外形情報が、連続して所定回数、ほぼ同じ位置またはほぼ同じ大きさを示した場合に信頼性が高いと判定され、それ以外の場合（対象物認識装置の起動時、ほぼ同じ位置または大きさを示すと判定されなかった場合、またはカウンタが所定値に到達していない場合）には信頼性が低いと判定される。
【０１１６】
他の実施例においては、認識された対象物が、所定期間の間に所定回数（すなわち、必ずしも連続する必要はない）、ほぼ同じ位置または同じ大きさを示した場合に、信頼性が高いと判定するようにしてもよい。また、ほぼ同じ位置およびほぼ同じ大きさという両方の条件を満たした場合にのみ、信頼性が高いと判定するようにしてもよい。この場合は、さらに信頼性を向上させることができる。さらに、上記のように前回および前々回の２つのサイクルの対象物の外形を比較する代わりに、３つまたはそれ以上のサイクルの対象物の外形の位置または大きさを比較するようにしてもよい。
【０１１７】
図２７は、図２６を参照して説明したやり方で信頼性を判定するフローチャートである。ステップ２０１において、対象物認識装置が起動時かどうか判断され、起動時ならば、第１の処理フローが実施される（２０２）。起動時でなければ、前回のサイクルの認識不能フラグが１かどうか判断する（２０３）。認識不能フラグが１にセットされていれば、対象物判定部１１（図１）によって対象物を認識することが不可能と判定されたことを示すので、前回のサイクルにおける外形情報は存在しない。したがって、ステップ２０４に進み、カウンタをリセットする。
【０１１８】
前回のサイクルの認識不能フラグが１でなければ、前回のサイクルにおいて外形情報が認識されたことを示すので、前々回および前回のサイクルで認識された外形情報がほぼ同じ位置または大きさを示すかどうか判断するルーチンを実行する（２０５）。ステップ２０５のルーチンにおいて位置または大きさがほぼ同じと判断されたならば（２０６）、カウンタをインクリメントし（２０７）、同じと判断されなかったならば、カウンタをリセットして（２０４）第１の処理フローを実行する（２０２）。ステップ２０７においてカウンタをインクリメントした結果、カウンタが所定値に達したならば（２０８）、信頼性は高いと判定され（２０９）、よって第２の処理フローを実行する（２１０）。ステップ２０８において、カウンタが所定値に達していなければ、信頼性は低いと判定され（２１１）、第１の処理フローを実行する（２１２）。
【０１１９】
図２８は、図２７のステップ２０５で実行される、前々回および前回のサイクルで認識された対象物がほぼ同じ位置または大きさを示すかどうか判断するルーチンのフローチャートである。ステップ２２１において、前々回および前回のサイクルで認識された対象物の外形の水平方向の位置の差が所定値以下かどうか判断する。水平方向の差が所定値より大きければ、同じ位置を示していないことはわかったので、次の大きさ判定処理を実行するためにステップ２２３に進む。水平方向の位置の差が所定値以下ならば、垂直方向の位置の差が所定値以下かどうか判断する（２２２）。垂直方向の位置の差が所定値以下ならば、両者の外形がほぼ同じ位置を示すと判定され（２２５）、垂直方向の位置の差が所定値より大きければ、大きさ判定処理を実行するためにステップ２２３に進む。
【０１２０】
ステップ２２３において、前々回および前回のサイクルで認識された対象物の外形の幅の差が所定値以下かどうか判断する。幅の差が所定値以下ならば、ステップ２２４に進み、高さの差が所定値以下かどうか判断する。高さの差も所定値以下ならば、両者の外形がほぼ大きさを示すと判定される（２２６）。ステップ２２３において幅の差が所定値より大きいとき、またはステップ２２４において高さの差が所定値より大きいとき、両者の外形情報は異なる位置および大きさを示していると判定される（２２７）。
【０１２１】
図１に示した画像記憶部２、対象物位置記憶部４、信頼性判定部５、第１の処理領域設定部６、第１の対象物認識部７、第２の処理領域設定部８、第２の対象物認識部９、対象物方向算出部１０、対象物判定部１１、対象物情報記憶部１３、および対象物情報出力部１５は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ（ＲＯＭ）、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。画像記憶部２、対象物位置記憶部４、対象物情報記憶部１３は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【０１２２】
また、この発明の対象物認識装置をエンジンの電子制御ユニット（ＥＣＵ）、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して対象物認識装置からの出力を車両の全体的な制御に利用することができる。
【０１２３】
【発明の効果】
請求項１の発明によると、対象物検出手段によって検出される対象物の位置情報を使用することなく、前回の認識結果に基づいて、今回撮像された画像における対象物を認識することができるので、対象物位置検出手段によって検出された対象物の位置が適切でない場合が生じても、それに影響されることなく対象物を認識し続けることができる。また、前回認識された対象物の外形に基づいて設定された処理領域において対象物を認識するので、処理の負荷を軽減することができ、効率よく正確に対象物の外形を認識することができる。
【０１２４】
請求項２の発明によると、前回以前の所定数の連続したサイクルで認識された対象物の位置または大きさに基づいて信頼性を判定するので、信頼性が高いと判定されれば、前回の認識結果に基づいて、今回撮像された画像から対象物を正確に認識することができる。
【０１２５】
請求項３の発明によると、時間あたりの位置の変化に基づいて、前回までの所定数の連続したサイクルで認識された対象物がほぼ同じ位置を示すかどうか判断するので、ほぼ同じ位置を示すと判断されたならば、それらの対象物は同一物体を表すということがほぼ保証され、よって前回の認識結果に基づいて今回撮像された画像から対象物を正確に認識することができる。
【０１２６】
請求項４の発明によると、時間あたりの大きさの変化に基づいて、前回までの所定数の連続したサイクルで認識された対象物がほぼ同じ大きさを示すかどうか判断するので、ほぼ同じ位置を示すと判断されたならば、それらの対象物は同一物体を表すということがほぼ保証され、よって前回の認識結果に基づいて今回撮像された画像から対象物を正確に認識することができる。
【０１２７】
請求項５の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が予め決められたしきい値より大きければ、今回のサイクルにおいては対象物を認識不能と判定するので、対象物認識装置の信頼性を高めることができる。
【０１２８】
請求項６の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が、一対のリフレクタの間隔に対応するしきい値より大きければ、今回のサイクルにおいての対象物認識は不能と判定するので、たとえば先行車のような対象物の認識精度を高めることができる。
【０１２９】
請求項７の発明によると、算出された対象物の方向と、実際に検出された対象物の位置との差が、対象物の幅に対応するしきい値より大きければ、今回のサイクルにおいての対象物認識は不能と判定するので、たとえば先行車のような対象物の認識精度を高めることができる。
【０１３０】
請求項８の発明によると、前回認識された対象物の画像および外形情報を使用して今回のサイクルの対象物を認識するので、対象物位置検出手段によって検出された対象物の位置情報を使用しなくても、正確に対象物を認識することができる。
【０１３１】
請求項９の発明によると、撮像装置１によって取得された画像および対象物位置検出手段によって検出された対象物の位置に基づいて対象物が認識されるので、たとえば信頼性が低いと判定された時のように前回の対象物の認識結果を使用することができないときは、該第１の対象物認識手段によって対象物を認識することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の対象物認識装置の全体の構成を示すブロック図。
【図２】この発明の一実施例の第１の処理領域を示す図。
【図３】この発明の一実施例の第１の処理領域の設定方法を説明するための図。
【図４】この発明の一実施例の、ピッチング余裕分を加えた第１の処理領域の他の例を示す図。
【図５】この発明の一実施例の第１の対象物認識部の機能ブロック図。
【図６】この発明の一実施例のエッジ抽出方法を示すフローチャート。
【図７】この発明の一実施例の、（ａ）水平エッジ抽出用フィルタおよびフィルタ要素の座標を示す図。
【図８】この発明の一実施例のフィルタ画像の輝度ヒストグラムを示す図。
【図９】この発明の一実施例の、エッジをグループ化するための（ａ）〜（ｃ）テンプレート、（ｄ）エッジ点にラベルを付与する条件および（ｅ）テンプレートの走査を示す図。
【図１０】この発明の一実施例の、エッジをグループ化するためにエッジ点にラベルを付与する方法を具体的に示す図。
【図１１】この発明の一実施例の垂直エッジ用フィルタを示す図。
【図１２】この発明の一実施例の、抽出された水平エッジが、認識すべき対象物を表すか否かを判断する方法を説明するための図。
【図１３】この発明の一実施例の、第１の対象物の外形を認識する方法のフローチャート。
【図１４】この発明の一実施例における、第１の対象物の外形を認識する方法を具体的に示す図。
【図１５】この発明の一実施例における第２の処理領域の設定方法を説明するための図。
【図１６】この発明の一実施例における第２の対象物認識部の機能ブロック図。
【図１７】この発明の一実施例における第２の対象物の外形を認識する方法を具体的に示す図。
【図１８】図１７の続きであって、この発明の一実施例における第２の対象物の外形を認識する方法を具体的に示す図。
【図１９】この発明の一実施例における対象物の方向を算出する方法を示す図。
【図２０】この発明の一実施例における対象物を判定する方法を示す図。
【図２１】この発明の一実施例における参照画像を生成する方法を示す図。
【図２２】この発明の一実施例における、２つの対象物の外形がほぼ同じ位置を示すかどうかを判定する方法を示す図。
【図２３】この発明の一実施例における、外形が同じ位置を示すかどうか判定する際に使用されることのできる所定値（画素数）と距離との対応関係を示すマップ。
【図２４】この発明の一実施例における、２つの対象物の外形がほぼ同じ大きさを示すかどうかを判定する方法を示す図。
【図２５】この発明の一実施例における、外形が同じ大きさを示すかどうか判定する際に使用されることのできる、所定の相対速度における距離と画素数との対応関係を示すマップ。
【図２６】この発明の一実施例における信頼性を判定する方法を具体的に示す図。
【図２７】この発明の一実施例における信頼性を判定する方法のフローチャート。
【図２８】この発明の一実施例における、複数の対象物の外形がほぼ同じ位置または大きさを示すかどうか判断する方法のフローチャート。
【図２９】（ａ）提案されている方法に従って設定された処理領域の例、および（ｂ）（ｃ）適切に設定されることができなかった処理領域の例を示す図。
【符号の説明】
１    撮像装置                    ３    対象物位置検出部
５    信頼性判定部
６    第１の処理領域設定部        ７    第１の対象物認識部
８    第２の処理領域設定部        ９    第２の対象物認識部
１０  対象物方向算出部          １１    対象物判定部
【図１】
0004340000.tif 000003
【図２】
0004340000.tif 000004
【図３】
0004340000.tif 000005
【図４】
0004340000.tif 000006
【図５】
0004340000.tif 000007
【図６】
0004340000.tif 000008
【図７】
0004340000.tif 000009
【図８】
0004340000.tif 000010
【図９】
0004340000.tif 000011
【図１０】
0004340000.tif 000012
【図１１】
0004340000.tif 000013
【図１２】
0004340000.tif 000014
【図１３】
0004340000.tif 000015
【図１４】
0004340000.tif 000016
【図１５】
0004340000.tif 000017
【図１６】
0004340000.tif 000018
【図１７】
0004340000.tif 000019
【図１８】
0004340000.tif 000020
【図１９】
0004340000.tif 000021
【図２０】
0004340000.tif 000022
【図２１】
0004340000.tif 000023
【図２２】
0004340000.tif 000024
【図２３】
0004340000.tif 000025
【図２４】
0004340000.tif 000026
【図２５】
0004340000.tif 000027
【図２６】
0004340000.tif 000028
【図２７】
0004340000.tif 000029
【図２８】
0004340000.tif 000030
【図２９】
0004340000.tif 000031