(57)【要約】【課題】常に有効な注意領域を設定し、自車両と衝突する可能性のある様々な障害物を検出することが可能な、物体検出装置１０を提供する。【解決手段】自車両周辺の時系列画像を取得する画像取得手段１２と、取得した画像に基づいて該画像内に存在する物体の移動ベクトルを抽出する移動ベクトル抽出手段１６と、自車両の進行方向をあらわすＦＯＥを算出する消失点算出手段１８と、算出されたＦＯＥに基づいて画像内に注意領域を設定する注意領域設定手段１４と、設定された注意領域内で自車両と接触可能性のある障害物を判定する障害物判定手段２２とを備え、注意領域設定手段１４は、複数の注意領域を設定し、障害物判定手段２２は、移動ベクトルのＦＯＥに対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて、該障害物を判定する。【選択図】図１
2008257378.tif 000002
【特許請求の範囲】
【請求項１】
自車両周辺の時系列画像を取得する画像取得手段と、
前記画像に基づいて該画像内に存在する物体の移動ベクトルを抽出する移動ベクトル抽出手段と、
前記自車両の進行方向をあらわす消失点を算出する消失点算出手段と、
前記消失点に基づいて前記画像内に注意領域を設定する注意領域設定手段と、
前記注意領域内で前記自車両と接触可能性のある障害物を判定する障害物判定手段と、を備えた物体検出装置において、
前記注意領域設定手段は、複数の注意領域を設定し、
前記障害物判定手段は、前記移動ベクトルの前記消失点に対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて該障害物を判定することを特徴とする物体検出装置。
【請求項２】
前記注意領域設定手段は、前記画像内の前記消失点を中心として第１の前記注意領域を設定し、
前記障害物判定手段は、前記移動ベクトルが前記第１の注意領域内に存在し、かつ前記消失点に向かう場合に、前記物体を前記障害物であると判定することを特徴とする請求項１に記載の物体検出装置。
【請求項３】
前記注意領域設定手段は、前記画像内の前記消失点を中心として第１の前記注意領域を設定し、
前記障害物判定手段は、前記移動ベクトルが前記第１の注意領域内に存在し、かつ前記消失点から離れる方向に向かう場合に、前記物体を前記障害物であると判定することを特徴とする請求項１または請求項２に記載の物体検出装置。
【請求項４】
前記注意領域設定手段は、前記画像内の右下端および左下端の少なくとも一方に第２の前記注意領域を設定し、
前記障害物判定手段は、前記移動ベクトルが前記第２の注意領域内に存在し、かつ前記消失点に向かう場合に、前記物体を前記障害物であると判定することを特徴とする請求項１から請求項３の何れかに記載の物体検出装置。
【請求項５】
前記注意領域設定手段は、前記移動ベクトルの位置と方向に基づいて前記注意領域の大きさを設定することを特徴とする請求項１から請求項４の何れかに記載の物体検出装置。
【請求項６】
前記物体が持つ前記移動ベクトルの内で、複数の前記移動ベクトルとの相関値が所定値未満の前記移動ベクトルを除去するノイズ除去手段を備えることを特徴とする請求項１から請求項５の何れかに記載の物体検出装置。
【請求項７】
前記移動ベクトル抽出手段は、前記移動ベクトルを抽出する際の前記画像の取得間隔を前記物体の速度に基づいて調整することを特徴とする請求項１から請求項６の何れかに記載の物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体検出装置に関するものである。
【背景技術】
【０００２】
自動車にカメラを搭載し、そのカメラで周囲の道路環境を撮影し、撮影した画像を解析することで、自車前方の障害物を検出する装置が提案されている。
例えば、特許文献１に記載された技術では、自車両の進行先の撮像画像を１台のカメラから取得し、この撮像画像中に実空間上に仮想的に固定された検出領域を設定する。そして設定された検出領域におけるオプティカルフローを算出し、そのオプティカルフローに基づいて飛出し物体を検出する。
【０００３】
撮像画像が読み込まれると、初めに道路の境界部分を示すレーンマーク（白線）を撮像画像から抽出する。このレーンマークは、ソベルフィルタと呼ばれる画像フィルタを用いて撮像画像から縦方向のエッジを抽出し、そのエッジに対してハフ変換と呼ばれる処理を行って直線形状を求めることにより、撮像画像から抽出することができる。撮像画像からレーンマークが抽出されたら、次に撮像画像から物体を検出するための検出領域を撮像画像中に設定する。このとき、抽出されたレーンマークの位置に基づいて各検出領域の設定位置を決めることとし、レーンマークに沿って検出領域を所定間隔ごとに並べることで、自車両が走行している道路に沿って検出領域が所定間隔ごとに設定されるようにする。さらにこのとき、所定の横間隔ごとに２つの検出領域を横に並べる。外側・内側と道路に沿って２列のすだれ状の検出領域が設定される。
【０００４】
上記の検出領域の設定で外側に設定した領域を検出領域，内側に設定した領域を判定領域とする。検出領域と判定領域においてそれぞれに算出されたオプティカルフローに基づき、その物体の実空間上における移動速度を、検出領域と判定領域の両方についてそれぞれ算出する。この移動速度を比較し、その差が所定値以下であれば、検出された物体を飛出し物体として検出する。これによって、道路方向に移動している物体を全て飛出し物体として検出してしまい、道路から離れた位置の物体までも誤って検出することを防ぐことが可能となる。
【特許文献１】特開２００３−２８１７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来の技術においては、レーンマークを利用して検出領域及び判定領域を設定しているため、レーンマークが抽出することができなかった場合に領域を設定することができなくなってしまうという問題を含んでいる。すなわち、白線がない山道や、白線が途切れている交差点の中、カーブ走行時といった場面で、飛出してくる移動物体を抽出することが不可能である。また、従来技術では横方向からの飛出し物体のみを対象とし、対向物体及び追越し物体を検出することができない。
【０００６】
そこで本発明は、常に有効な注意領域を設定し、自車両と衝突する可能性のある様々な障害物を検出することが可能な、物体検出装置の提供を課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、請求項１に係る発明は、自車両周辺の時系列画像を取得する画像取得手段（例えば、実施形態における画像取得手段１２）と、前記画像に基づいて該画像内に存在する物体の移動ベクトルを抽出する移動ベクトル抽出手段（例えば、実施形態における移動ベクトル抽出手段１６）と、前記自車両の進行方向をあらわす消失点を算出する消失点算出手段（例えば、実施形態における消失点算出手段１８）と、前記消失点に基づいて前記画像内に注意領域を設定する注意領域設定手段（例えば、実施形態における注意領域設定手段１４）と、前記注意領域内で前記自車両と接触可能性のある障害物を判定する障害物判定手段（例えば、実施形態における障害物判定手段２２）と、を備えた物体検出装置（例えば、実施形態における物体検出装置１０）において、前記注意領域設定手段は、複数の注意領域を設定し、前記障害物判定手段は、前記移動ベクトルの前記消失点に対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて該障害物を判定することを特徴とする。
【０００８】
請求項２に係る発明は、前記注意領域設定手段は、前記画像内の前記消失点を中心として第１の前記注意領域（例えば、実施形態における注意領域１）を設定し、前記障害物判定手段は、前記移動ベクトルが前記第１の注意領域内に存在し、かつ前記消失点に向かう場合に、前記物体を前記障害物（例えば、実施形態における飛出し車両）であると判定することを特徴とする。
【０００９】
請求項３に係る発明は、前記注意領域設定手段は、前記画像内の前記消失点を中心として第１の前記注意領域を設定し、前記障害物判定手段は、前記移動ベクトルが前記第１の注意領域内に存在し、かつ前記消失点から離れる方向に向かう場合に、前記物体を前記障害物（例えば、実施形態における対向車両）であると判定することを特徴とする。
【００１０】
請求項４に係る発明は、前記注意領域設定手段は、前記画像内の右下端および左下端の少なくとも一方に第２の前記注意領域（例えば、実施形態における注意領域２）を設定し、前記障害物判定手段は、前記移動ベクトルが前記第２の注意領域内に存在し、かつ前記消失点に向かう場合に、前記物体を前記障害物（例えば、実施形態における追越し車両）であると判定することを特徴とする。
【００１１】
請求項５に係る発明は、前記注意領域設定手段は、前記移動ベクトルの位置と方向に基づいて前記注意領域の大きさを設定することを特徴とする。
【００１２】
請求項６に係る発明は、前記物体が持つ前記移動ベクトルの内で、複数の前記移動ベクトルとの相関値が所定値未満の前記移動ベクトルを除去するノイズ除去手段を備えることを特徴とする。
【００１３】
請求項７に係る発明は、前記移動ベクトル抽出手段は、前記移動ベクトルを抽出する際の前記画像の取得間隔を前記物体の速度に基づいて調整することを特徴とする。
【発明の効果】
【００１４】
請求項１に係る発明によれば、レーンマーク等を利用することなく、消失点に基づいて画像内に注意領域を設定するので、常に有効な注意領域を設定することができる。また、移動ベクトルの消失点に対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて障害物を判定するので、自車両と衝突する可能性のある様々な障害物を的確に検出することができる。
【００１５】
飛出し車両は消失点の近傍に出現し、その移動ベクトルは消失点に近づく方向に向かうので、請求項２に係る発明によれば、飛出し車両を精度良く検出することができる。
【００１６】
対向車両は消失点の近傍に出現し、その移動ベクトルは消失点から離れる方向に向かうので、請求項３に係る発明によれば、対向車両を精度良く検出することができる。
【００１７】
追越し車両は画像内の右下端または左下端に出現し、その移動ベクトルは消失点に近づく方向に向かうので、請求項４に係る発明によれば、追越し車両を精度良く検出することができる。
【００１８】
請求項５に係る発明によれば、検出した障害物の移動ベクトルに基づいて注意領域を設定するので、継続して障害物を検出することが可能な注意領域を設定することができる。
【００１９】
請求項６に係る発明によれば、障害物を精度良く検出することができる。
【００２０】
請求項７に係る発明によれば、画像の取得間隔を調整することで、低速度で移動する物体の移動ベクトルを確実に抽出することができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施形態につき図面を参照して説明する。
図１は、本実施形態に係る物体検出装置のブロック図である。本実施形態に係る物体検出装置１０は、自車両周辺の時系列画像を取得する画像取得手段（撮像手段）１２と、前記画像に基づいて該画像内に存在する物体の移動ベクトルを抽出する移動ベクトル抽出手段１６と、前記自車両の進行方向をあらわす消失点を算出する消失点算出手段１８と、前記消失点に基づいて前記画像内に注意領域を設定する注意領域設定手段１４と、前記注意領域内で前記自車両と接触可能性のある相手車両（障害物）３０を判定する障害物判定手段２２と、相手車両の存在を報知する報知手段２４とを備えるものである。なお移動ベクトル抽出手段１６、消失点算出手段１８、注意領域設定手段１４および障害物判定手段２２は、自車両に搭載されたコンピュータ２０に構築されている。
【００２２】
（画像取得手段）
画像取得手段１２は、自車両周辺の時系列画像を取得するものであり、具体的には１台のＣＣＤカメラやＣＭＯＳ等で構成されている。なおステレオ視を利用するため２台のカメラで物体検出装置を構成する場合と比較して、本実施形態では１台のカメラで物体検出装置を構成することができるので、車両コストを低減することができる。この画像取得手段１２は、自車両前方の画像を撮影するため、車室内のバックミラー付近などに固定されている。画像取得手段１２によって撮影された画像は、メモリ（不図示）に記録されるとともに、移動ベクトル抽出手段１６等に出力される。
【００２３】
（移動ベクトル抽出手段）
移動ベクトル抽出手段１６は、画像内に存在する物体の移動ベクトルを、画像のピクセルごとに抽出するものである。
図２は、移動ベクトルの説明図である。一般に、動画から物体の動きを抽出する手法の一つとして、オプティカルフローが知られている。オプティカルフローは物体３０の移動ベクトル３２であり、時間的に連続する２つの画像Ｖ０，Ｖ１間において、同一物体の輝度変化は小さいという仮定の下で、同程度の輝度をもつ点の移動量から算出される。
【００２４】
いま、時刻ｔにおける画像上の点Ｐ（ｘ，ｙ）の輝度値をＥ（ｘ，ｙ，ｔ）とする。時刻ｔからｔ＋Δｔまでの間に、Ｐが（Δｘ，Δｙ）だけ移動し、輝度値が変化しないと仮定すると、数式１が成り立つ。
【００２５】
【数１】
2008257378.tif 000003
数式１の右辺をテイラー展開して、２次以降の項は微小値であるため無視すると、数式２が得られる。
【００２６】
【数２】
2008257378.tif 000004
数式２の両辺をΔｔで割ると、数式３が得られる。
【００２７】
【数３】
2008257378.tif 000005
この数式３を、以下の数式４を用いて書き直すと、数式５が得られる。
【００２８】
【数４】
2008257378.tif 000006
【００２９】
【数５】
2008257378.tif 000007
この数式５を満たす（ｕ，ｖ）が、オプティカルフローである。
しかし、求める変数が（ｕ，ｖ）の２つであるのに対して、関係式が数式５の１つなので、これのみではオプティカルフローを求めることはできない。そこで、オプティカルフロー（ｕ，ｖ）の算出にあたり、数式５のほかに、「オプティカルフローは滑らかに変化する」という条件を付け加える。オプティカルフロー（ｕ，ｖ）の変化量は、次の数式６で表される。
【００３０】
【数６】
2008257378.tif 000008
数式５および数式６より、次の数式７を立てる。
【００３１】
【数７】
2008257378.tif 000009
この数式７を最小化する（ｕ，ｖ）が、求めるオプティカルフローである。この数式７は、一般的な変分法を用いて解くことができる。
【００３２】
図１に示す移動ベクトル抽出手段１６は、移動ベクトルを抽出する際の画像の取得間隔を調整しうるようになっていることが望ましい。
図３は、移動ベクトルの代替算出方法の説明図である。低速度で移動している車両は、連続する画像間での移動量が小さい。そのため、現在（時刻ｔ）の画像Ｖ０とその直前（時刻ｔ−Δｔ）の画像Ｖ-1との間で、オプティカルフローを抽出するのが困難である。そこで、オプティカルフローを抽出する際の画像の取得間隔を長くし、現在（時刻ｔ）の画像Ｖ０と時刻ｔ−ｎΔｔの画像Ｖ-nとの間でオプティカルフローを抽出する。このように画像の取得間隔を車両の速度に基づいて調整することにより、低速度で移動している車両でも、画像間での移動量が大きくなるため、オプティカルフロー３２を確実に抽出することができる。このように抽出したオプティカルフローを１／ｎ倍すれば、連続する画像間で抽出したオプティカルフローと同様に取り扱うことができる。なお本実施形態ではｎ＝２としている。
【００３３】
（ノイズ除去手段）
図１に示す移動ベクトル抽出手段１６は、ノイズ除去手段（不図示）を備えていることが望ましい。ノイズ除去手段は、物体が持つ移動ベクトルの内で複数の移動ベクトルとの相関値が所定値未満の移動ベクトルを除去するものである。
図４は、移動ベクトルのノイズ除去の説明図である。上記のように求めた移動ベクトル３２には、ノイズ（雑音成分）３２ｎが含まれている可能性がある。このノイズ３２ｎは周囲の移動ベクトル３２との相関が小さいことを利用して、次の手法でノイズ３２ｎを除去することが可能である。
【００３４】
一般的に、同一物体における局所領域のオプティカルフロー３２は、向きおよび大きさが類似する性質をもつ（相関が大きい）。これに対してノイズ３２ｎは、周囲の移動ベクトルと向きおよび大きさが異なる（相関が小さい）。そこで、始点座標が（xa0，ya0）、終点座標が（xa1，ya1）の、数式８に示す任意のflowAを考える。
【００３５】
【数８】
2008257378.tif 000010
このflowAの周囲Ｎ×Ｎピクセルに存在するｎ個のflowXkと、flowAとの平均相関値cor_aveを、数式９により算出する。
【００３６】
【数９】
2008257378.tif 000011
なお本実施形態では、Ｎ＝５およびｎ＞１に設定した。
この平均相関値cor_aveが、閾値Threshold_Noise以下であるか、数式１０により判断する。
【００３７】
【数１０】
2008257378.tif 000012
なお本実施形態では、Threshold_Noise＝０．８に設定した。数式１０を満たす場合にはflowAをノイズであるとみなす。このようにノイズとみなされたflowAを移動ベクトルから除去することにより、障害物を精度良く検出することができる。
【００３８】
（消失点算出手段）
図１に示す消失点算出手段１８は、自車両の進行方向をあらわす消失点を算出するものである。
図５は、消失点算出方法の説明図である。本実施形態において消失点は、自車の進行によって生じる周囲の静止物体９２のオプティカルフロー９３から求める。一般に、自車が前方に進行する場合、周囲の静止物体９２のオプティカルフロー９３は、画像の消失点（Focus of Expansion；以下「ＦＯＥ」という。）９０から湧き出すように発生する。そのため、複数のオプティカルフロー９３の湧き出し点としてＦＯＥ９０を算出することができる。
【００３９】
ただし、ＦＯＥは自車の進行方向によって変化するため、画像毎にＦＯＥを算出する必要があり、計算コストが増大するという問題がある。そこで、次の手法によりＦＯＥの座標を推定する。時刻ｔ＋ΔｔにおけるＦＯＥ座標（foe_x(t+Δt)，foe_y(t+Δt)）は、時刻ｔにおけるＦＯＥ座標（foe_x(t)，foe_y(t)）を用いて、数式１１で表すことができる。
【００４０】
【数１１】
2008257378.tif 000013
数式１１のΔｘおよびΔｙは、時間Δtの経過による自車進行方向の変化量であり、自車速度および操舵角から求めることができる。
図６は、ＦＯＥ座標の変化量テーブルの説明図である。このテーブルには、横軸に自車速度をとり、縦軸に操舵角をとって、予め計算や実測によって求めた自車進行方向の変化量が記載されている。
【００４１】
このように、時刻ｔにおけるＦＯＥ座標（foe_x(t)，foe_y(t)）に、図６で求めたΔｘおよびΔｙを繰り返し加算することにより、その後のＦＯＥ座標を簡単に推定することができる。これに伴って、画像毎に複数のオプティカルフローの湧き出し点としてＦＯＥを算出する必要がなくなり、計算コストを低減することができる。
【００４２】
（注意領域設定手段）
図１に示す注意領域設定手段は、自車両と衝突する可能性がある障害物を検出すべき注意領域を設定するものである。
図７は、注意領域の説明図である。本実施形態では、検出対象である障害物を、飛出し車両、対向車両および追越し車両の三種類とする。そのうち飛出し車両および対向車両は、自車両の進行方向の近傍に出現する。そこで、ＦＯＥを中心に四角形の注意領域１を設定する。また追越し車両は、自車両の両脇に出現する。そこで、画像の左下端に四角形の注意領域２Ｌを設定し、右下端に四角形の注意領域２Ｒを設定する。
【００４３】
注意領域１は、ＦＯＥを中心とする四角形に設定し、その大きさの初期値は幅Ｗ１０、高さＨ１０に設定する。本実施形態では、６４０×４８０ピクセルの画像に対して、幅Ｗ１０＝３００ピクセル、高さＨ１０＝２００ピクセルに設定する。
【００４４】
図８は、画像内における障害物の大きさの説明図である。注意領域１において飛出し車両３０を検出した場合には、追跡監視のためその後の画像からも同じ飛出し車両３０を検出する必要がある。ところが、自車の進行に伴って、画像内での飛出し車両３０の大きさは拡大する。この場合、注意領域１の大きさが初期値のままでは、飛出し車両３０を検出できなくなる可能性がある。
【００４５】
そこで、以下の手法により注意領域１の大きさを拡大する。注意領域１内で検出された飛出し車両３０の移動ベクトルのうち、その始点がＸ方向においてＦＯＥから最も離れているもの（移動ベクトル３４の始点３４ｓ）に注目する。時系列画像において、始点３４ｓの位置は徐々にＸ方向外側に移動する。そこで、この始点３４ｓが含まれるように注意領域１の大きさを設定すれば、飛出し車両３０を常に検出することができる。
【００４６】
図９は、注意領域の拡大操作の説明図である。移動ベクトル３４の始点３４ｓのＸ座標をｘs1とし、ＦＯＥのＸ座標をｘfoeとすれば、新たな注意領域１の幅（暫定値）Ｗ１´は数式１２で表される。
【００４７】
【数１２】
2008257378.tif 000014
ただし、新たな注意領域１の幅Ｗ１が初期値Ｗ１０より小さくなるのは適当でない。そこで、数式１３の規則に従って、新たな注意領域１の幅Ｗ１を決定する。
【００４８】
【数１３】
2008257378.tif 000015
【００４９】
同様に、注意領域１内で検出された飛出し車両３０の移動ベクトルのうち、その始点がＹ方向においてＦＯＥから最も離れているもの（移動ベクトル３５の始点３５ｓ）に注目する。始点３５ｓのＹ座標をｙs1とし、ＦＯＥのＹ座標をｙfoeとすれば、新たな注意領域１の高さ（暫定値）Ｈ１´は数式１４で表される。
【００５０】
【数１４】
2008257378.tif 000016
ただし、新たな注意領域１の高さＨ１が初期値Ｈ１０より小さくならないように、数式１５の規則に従って新たな注意領域１の高さＨ１を決定する。
【００５１】
【数１５】
2008257378.tif 000017
【００５２】
図７に戻り、注意領域２Ｌおよび注意領域２Ｒは、画像の左下隅および右下隅における四角形に設定し、その大きさの初期値は幅Ｗ２０、高さＨ２０に設定する。なお注意領域２Ｌの大きさの初期値と注意領域２Ｒの大きさの初期値とを異なる値に設定してもよい。
【００５３】
図１０は、注意領域２Ｒの拡大操作の説明図である。注意領域２Ｒにおいて追越し車両３１を検出した場合には、追跡監視のためその後の画像からも同じ追越し車両３１を検出する必要がある。ところが追越し車両３１は、時間の経過とともに自車両の進行方向に接近する。この場合、注意領域２Ｒの大きさが初期値のままでは、追越し車両３１を検出できなくなる可能性がある。
【００５４】
そこで、以下の手法により注意領域２Ｒの大きさを拡大する。注意領域２内で検出された追越し車両３１の移動ベクトルのうち、最もＦＯＥに近い移動ベクトル３６に注目する。時系列画像において、移動ベクトル３６の終点３６ｅの位置は徐々にＦＯＥに接近する。そこで、この終点３６ｅが含まれるように注意領域２Ｒの大きさを設定すれば、追越し車両３１を常に検出することができる。
【００５５】
具体的には、移動ベクトル３６の終点３６ｅの座標を（ｘe1，ｙe1）とし、注意領域２Ｒの右端のＸ座標をｘrとすれば、新たな注意領域２Ｒの幅（暫定値）Ｗ２Ｒ´は数式１６で表される。
【００５６】
【数１６】
2008257378.tif 000018
ただし、注意領域２Ｒの幅Ｗ２Ｒが初期値Ｗ２０より小さくなるのは適当でない。そこで、数式１７の規則に従って、新たな注意領域２Ｒの幅Ｗ２Ｒを決定する。
【００５７】
【数１７】
2008257378.tif 000019
【００５８】
同様に、新たな注意領域２Ｒの高さ（暫定値）Ｈ２Ｒ´は数式１８で表される。
【００５９】
【数１８】
2008257378.tif 000020
ただし、注意領域２Ｒの高さＨ２Ｒが初期値Ｈ２０より小さくなるのは適当でない。そこで、数式１９の規則に従って、新たな注意領域２Ｒの高さＨ２Ｒを決定する。
【００６０】
【数１９】
2008257378.tif 000021
なお注意領域２Ｌの大きさについても、上述した注意領域２Ｒと同様に設定する。
【００６１】
（障害物判定手段）
図１に示す障害物判定手段は、注意領域の中から自車両と接触の可能性のある障害物を判定するものである。本実施形態では、注意領域内の移動ベクトルが、ＦＯＥとの位置関係で規定された障害物（飛出し車両、対向車両および追越し車両）の判別条件を満たすか否かを判断する。判別条件を満たす場合には、その移動ベクトルが占める画像領域に障害物が存在すると判断する。これには、最初に車両候補の移動ベクトルを抽出し，次にそれらに対して各種車両の判別をおこなう。
【００６２】
最初に、注意領域の中から障害物候補となる移動ベクトルを抽出する。具体的には、各移動ベクトルの始点（ｘｓ、ｙｓ）および終点（ｘｅ，ｙｅ）と、ＦＯＥ（ｘfoe，ｙfoe）との位置関係に着目し、以下の条件を満たす移動ベクトルを障害物候補として抽出する。
【００６３】
対向車両の候補となるのは、注意領域１内でＦＯＥから離れる移動ベクトルである。具体的には、数式２０を満たす移動ベクトルが対向車両の候補となる。
【００６４】
【数２０】
2008257378.tif 000022
【００６５】
追越し車両の候補となるのは、注意領域２Ｌまたは注意領域２Ｒ内で、ＦＯＥに向かう移動ベクトルである。具体的には、数式２１を満たす移動ベクトルが対向車両の候補となる。
【００６６】
【数２１】
2008257378.tif 000023
【００６７】
飛出し車両の候補となるのは、注意領域１内で側方からＦＯＥに向かう移動ベクトルである。具体的には、数式２２を満たす移動ベクトルが飛出し車両の候補となる。
【００６８】
【数２２】
2008257378.tif 000024
【００６９】
次に、障害物の候補になった複数の移動ベクトルにつき、以下の３条件が成立する画像内の領域を、障害物の存在領域として判断する。
障害物の移動ベクトルは、局所領域に密集しているはずである。そこで条件１として、複数の移動ベクトルのうち隣接する二つの移動ベクトルの始点間の平均距離dist_aveがしきい値dist_ave_Threshold以下であるか、数式２３により判断する。
【００７０】
【数２３】
2008257378.tif 000025
本実施形態では、dist_ave_Threshold＝２０ピクセルとする。
【００７１】
また条件２として、条件１が成立する領域において、移動ベクトルの総数n_FlowNumがn_FlowNum_Threshold以上であるか、数式２４により判断する。
【００７２】
【数２４】
2008257378.tif 000026
本実施形態では、n_FlowNum_Threshold＝５とする。
【００７３】
また障害物の移動ベクトルは、向きおよび大きさが類似する性質をもつ（相関が大きい）。そこで条件３として、条件１が成立する領域において、全移動ベクトル間の平均相関値n_Correlationが、しきい値n_Correlation_Threshold以上であるか、数式２５により判断する。
【００７４】
【数２５】
2008257378.tif 000027
本実施形態では、n_Correlation_Threshold＝０．８とする。
以上により、画像から障害物が検出されるようになっている。
【００７５】
（報知手段）
図１に示す報知手段２４は、自車両の運転者に対して障害物の存在を報知するものである。具体的な報知手段２４として、ディスプレイ装置等が車室内のインスツルメンタル・パネル付近に配置されている。
その報知手段２４には、画像取得手段１２により撮影された画像、および障害物判定手段２２により検出された障害物の情報が入力される。報知手段２４は、画像取得手段１２により撮影された画像を表示し、画像内に障害物が存在する場合にはその外周に沿った多角形の枠体等を表示する。例えば、障害物の幅および高さを２辺とする長方形の枠体を表示する。なお枠体と同時に、障害物の移動ベクトルに相当する矢印を表示してもよい。また、障害物の危険度に応じて報知形態を変化させてもよい。さらに、運転者の運転習熟度に応じて表示形態を選択してもよい。
【００７６】
（物体検出方法）
次に、前記物体検出装置を用いた物体検出方法につき、図１に加え、図１１ないし１４を用いて説明する。
図１１ないし１４は、本実施形態に係る物体検出方法のフローチャートである。まず画像取得手段１２が、自車両周囲の現在時刻Ｔの画像を取得し（Ｓ１０）、メモリに記録するとともに、移動ベクトル抽出手段に出力する。
【００７７】
次に移動ベクトル抽出手段１６が、画像内に存在する物体の移動ベクトルを抽出する。具体的には、まずΔｔ時刻前の画像をメモリから読込み（Ｓ１２）、さらにｎΔｔ時刻前の画像もメモリから読込む（Ｓ１４）。そして、これらの画像からオプティカルフローを算出し、移動ベクトルを抽出する（Ｓ５０）。
図１２は、移動ベクトル抽出サブルーチンのフローチャートである。まず、現在時刻の画像とΔｔ時刻前の画像からオプティカルフローを算出する（Ｓ５２）。次に、現在時刻の画像とｎΔｔ時刻前の画像から、低速車両のオプティカルフローを算出する（Ｓ５４）。なお、Ｓ５２およびＳ５４のオプティカルフローの平均値を算出して、移動ベクトルを抽出してもよい。また、Ｓ５２またはＳ５４のいずれかのオプティカルフローを、そのまま移動ベクトルとして抽出してもよい。また、Ｓ５２においてオプティカルフローの算出に成功した場合には、Ｓ５４を省略することも可能である。最後に、移動ベクトルのノイズ（雑音成分）を除去する（Ｓ５６）。
【００７８】
次に消失点算出手段１８が、自車進行方向をあらわす消失点を推定する（Ｓ６０）。
図１３は、自車進行方向推定サブルーチンのフローチャートである。まず自車両の走行速度を取得し（Ｓ６２）、操舵角を取得する（Ｓ６４）。次に、取得した自車速度および操舵角を、図６に示すＦＯＥ座標の変化量テーブルに当てはめる。これにより取得したＦＯＥ座標の変化量を、前回推定したＦＯＥ座標に加算することにより、現在のＦＯＥの位置を推定する（Ｓ６６）。
【００７９】
次に注意領域設定手段１４が、画像内に注意領域を設定する（Ｓ７０）。
図１４は、注意領域設定サブルーチンのフローチャートである。ここでは、すでに初期値が設定されている注意領域の大きさの再設定を行う。まず、注意領域１内の移動ベクトルのうち、その始点がＦＯＥから最も遠いものを、Ｘ方向およびＹ方向についてそれぞれ抽出する（Ｓ７２）。そして、注意領域１の拡大要否を判別する（Ｓ７３）。具体的には、Ｓ７２で抽出した移動ベクトルの始点座標を数式１２および１４に代入して、暫定的な注意領域１の幅Ｗ１´および高さＨ１´を算出する。次に数式１３および１５により、暫定値が初期値より大きいか判断する。判断がＹＥＳの場合はＳ７４に進み、注意領域１の幅Ｗ１および高さＨ１を前記暫定値に拡大設定する。判断がＮＯの場合は、注意領域１の幅Ｗ１および高さＨ１を初期値のまま維持して、Ｓ７６に進む。
【００８０】
次にＳ７６において、注意領域２Ｒ内の移動ベクトルのうち、その終点がＦＯＥに最も近いものを抽出する（Ｓ７６）。そして、注意領域２Ｒの拡大要否を判別する（Ｓ７７）。具体的には、Ｓ７６で抽出した移動ベクトルの終点座標を数式１６に代入して、暫定的な注意領域２Ｒの幅Ｗ２Ｒ´および高さＨ２Ｒ´を算出する。次に数式１７により、暫定値が初期値より大きいか判断する。判断がＹＥＳの場合はＳ７８に進み、注意領域２Ｒの幅Ｗ２Ｒおよび高さＨ２Ｒを前記暫定値に拡大設定する。判断がＮＯの場合は、注意領域２Ｒの幅Ｗ２Ｒおよび高さＨ２Ｒを初期値のまま維持して、Ｓ８０に進む。
【００８１】
次にＳ８０において、注意領域２Ｌ内の移動ベクトルのうち、その終点がＦＯＥに最も近いものを抽出する（Ｓ８０）。そして、注意領域２Ｌの拡大要否を判別する（Ｓ８１）。具体的には、Ｓ８０で抽出した移動ベクトルの終点座標を用いて、暫定的な注意領域２Ｌの幅Ｗ２Ｌ´および高さＨ２Ｌ´を算出する。次に、暫定値が初期値より大きいか判断する。判断がＹＥＳの場合はＳ８２に進み、注意領域２Ｌの幅Ｗ２Ｌおよび高さＨ２Ｌを前記暫定値に拡大設定する。判断がＮＯの場合は、注意領域２Ｌの幅Ｗ２Ｌおよび高さＨ２Ｌを初期値のまま維持する。
【００８２】
次に障害物判定手段２２が、設定された注意領域内の移動ベクトルから、自車両との接触可能性のある障害物を判定する。図１１に示すように、まず飛出し車両候補を抽出する（Ｓ２０）。具体的には、注意領域１内でＦＯＥに向かう（数式２２を満たす）移動ベクトルが存在するか判断する。判断がＹＥＳの場合には、Ｓ２１に進んで飛出し車両を検出する。具体的には、数式２３、２４および２５を満たす複数の移動ベクトルの存在領域を、飛出し車両と判定する。判断がＮＯの場合には、飛出し車両が存在しないと判定し、Ｓ２３に進む。
【００８３】
次にＳ２３において、対向車両候補を抽出する（Ｓ２３）。具体的には、注意領域１内でＦＯＥから離れる（数式２０を満たす）移動ベクトルが存在するか判断する。判断がＹＥＳの場合には、Ｓ２４に進んで対向車両を検出する。具体的には、数式２３、２４および２５を満たす複数の移動ベクトルの存在領域を、対向車両と判定する。判断がＮＯの場合には、対向車両が存在しないと判定し、Ｓ２６に進む。
【００８４】
次にＳ２６において、追越し車両候補を抽出する（Ｓ２６）。具体的には、注意領域２Ｌまたは注意領域２Ｒ内でＦＯＥに向かう（数式２１を満たす）移動ベクトルが存在するか判断する。判断がＹＥＳの場合には、Ｓ２７に進んで追越し車両を検出する。具体的には、数式２３、２４および２５を満たす複数の移動ベクトルの存在領域を、追越し車両と判定する。判断がＮＯの場合には、追越し車両が存在しないと判定し、処理を終了する。
【００８５】
そして、飛出し車両、対向車両および追越し車両の少なくともいずれかが検出された場合には、報知手段２４が自車両の運転者に対して障害物の存在を報知する。
以上により、自車両と衝突する可能性がある物体が検出される。
【００８６】
以上に詳述したように、本実施形態に係る物体検出装置１０は、自車両周辺の時系列画像を取得する画像取得手段１２と、取得した画像に基づいて該画像内に存在する物体の移動ベクトルを抽出する移動ベクトル抽出手段１６と、自車両の進行方向をあらわすＦＯＥを算出する消失点算出手段１８と、算出されたＦＯＥに基づいて画像内に注意領域を設定する注意領域設定手段１４と、設定された注意領域内で自車両と接触可能性のある障害物を判定する障害物判定手段２２とを備え、注意領域設定手段１４は、複数の注意領域を設定し、障害物判定手段２２は、移動ベクトルのＦＯＥに対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて該障害物を判定する構成とした。
【００８７】
この構成によれば、レーンマーク等を利用することなく、ＦＯＥに基づいて画像内に注意領域を設定するので、常に有効な注意領域を設定することができる。また、移動ベクトルのＦＯＥに対する向きおよび該移動ベクトルが何れの注意領域に存在するかに基づいて障害物を判定するので、自車両と衝突する可能性のある様々な障害物を的確に検出することができる。また注意領域内で障害物を判定するので、重要な障害物を効率よく判定することが可能になり、計算コストを削減することができる。
【００８８】
また注意領域設定手段１４は、画像内のＦＯＥを中心として注意領域１を設定し、障害物判定手段２２は、移動ベクトルが注意領域１内に存在し、かつＦＯＥに向かう場合に、物体を飛出し車両であると判定する構成とした。飛出し車両はＦＯＥの近傍に出現し、その移動ベクトルはＦＯＥに近づく方向に向かうので、上記構成により飛出し車両を精度良く検出することができる。
【００８９】
また注意領域設定手段１４は、画像内のＦＯＥを中心として注意領域１を設定し、障害物判定手段２２は、移動ベクトルが注意領域１内に存在し、かつＦＯＥから離れる方向に向かう場合に、物体を対向車両であると判定する構成とした。対向車両はＦＯＥの近傍に出現し、その移動ベクトルはＦＯＥから離れる方向に向かうので、上記構成により対向車両を精度良く検出することができる。
【００９０】
また注意領域設定手段１４は、画像内の右下端および左下端の少なくとも一方に注意領域２Ｒおよび注意領域２Ｌを設定し、障害物判定手段２２は、移動ベクトルが注意領域２Ｒまたは注意領域２Ｌ内に存在し、かつＦＯＥに向かう場合に、物体を追越し車両であると判定する構成とした。追越し車両は画像内の右下端または左下端に出現し、その移動ベクトルはＦＯＥに近づく方向に向かうので、上記構成により追越し車両を精度良く検出することができる。
【００９１】
なお、この発明は前述した実施例に限られるものではない。
例えば、上記実施形態では飛出し車両、対向車両および追越し車両を検出したが、自車両と衝突する可能性のある上記以外の車両を検出することも可能である。また上記実施形態では車両を検出したが、自動二輪車や自転車、歩行者等の移動物体を検出することも可能である。また、上記実施形態では報知手段としてディスプレイ装置を採用したが、それ以外の警報音出力装置等を採用することも可能である。
【図面の簡単な説明】
【００９２】
【図１】実施形態に係る物体検出装置のブロック図である。
【図２】移動ベクトルの説明図である。
【図３】移動ベクトルの代替算出方法の説明図である。
【図４】移動ベクトルのノイズ除去の説明図である。
【図５】消失点算出方法の説明図である。
【図６】ＦＯＥ座標の変化量テーブルの説明図である。
【図７】注意領域の説明図である。
【図８】画像内における障害物の大きさの説明図である。
【図９】注意領域１の拡大操作の説明図である。
【図１０】注意領域２Ｒの拡大操作の説明図である。
【図１１】実施形態に係る物体検出方法のフローチャートである。
【図１２】移動ベクトル抽出サブルーチンのフローチャートである。
【図１３】自車進行方向推定サブルーチンのフローチャートである。
【図１４】注意領域設定サブルーチンのフローチャートである。
【符号の説明】
【００９３】
１…注意領域（第１注意領域）  ２Ｌ，２Ｒ…注意領域（第２注意領域）  １０…物体検出装置  １２…画像取得手段  １４…注意領域設定手段  １６…移動ベクトル抽出手段  １８…消失点算出手段  ２２…障害物判定手段  ２４…報知手段
【図１】
2008257378.tif 000028
【図２】
2008257378.tif 000029
【図３】
2008257378.tif 000030
【図４】
2008257378.tif 000031
【図５】
2008257378.tif 000032
【図６】
2008257378.tif 000033
【図７】
2008257378.tif 000034
【図８】
2008257378.tif 000035
【図９】
2008257378.tif 000036
【図１０】
2008257378.tif 000037
【図１１】
2008257378.tif 000038
【図１２】
2008257378.tif 000039
【図１３】
2008257378.tif 000040
【図１４】
2008257378.tif 000041