(57)【特許請求の範囲】
【請求項１】
２つのカメラを有する画像取得手段と、
ミリ波レーダと、
前記画像取得手段の前記２つのカメラから取得した画像の全範囲にわたって縦エッジを抽出し、抽出された前記縦エッジについてパワーの強いものから順にピークを抽出し、当該縦エッジの各々の抽出位置を第１の角度位置として保存し、また一方で、前記ミリ波レーダにより特定エリア内のスキャンを行って得られた結果から、前記特定エリア内でパワーの強いものをターゲットとして認識し、前記ターゲットとして認識された位置を第２の角度位置として保存し、前記第１の角度位置と前記第２の角度位置との共通部分を抽出し、前記共通部分にある複数のピークの視差を求め、前記視差に基づいて前記ターゲットまでの距離値を算出し、物体検出のための画像処理を実行する処理手段とを具備することを特徴とする物体検出装置。
【請求項２】
前記処理手段は、前記特定エリア内のスキャンを行って得られた結果から、前記パワーが所定レベル以上であるとして検出された検索エリアに対応する角度範囲を前記第２の角度位置として保存する請求項１に記載の物体検出装置。
【請求項３】
前記処理手段は、前記特定エリア内のスキャンを行って得られた結果から、前記パワーが所定レベル範囲であるとして検出された検索エリアに対応する角度範囲を前記第２の角度位置として保存する請求項１に記載の物体検出装置。
【請求項４】
前記処理手段は、前記特定エリア内のスキャンを行って得られた結果から、前記パワーのレベルが複数個のピークにおける谷として検出された検索エリアに対応する角度範囲を前記第２の角度位置として保存する請求項１に記載の物体検出装置。
【請求項５】
前記処理手段は、前記特定エリア内のスキャンを行って得られた結果から、前記パワーが所定レベル以上であるとして検出された検索エリアと、前記パワーが所定レベル範囲であるとして検出された検索エリアと、前記パワーのレベルが複数個のピークにおける谷として検出された検索エリアとに対応する角度範囲を前記第２の角度位置として保存する請求項１に記載の物体検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、物体検出装置に関する。本発明の物体検出装置は、例えば、自動車に搭載され、先行車両、障害物等を検出することにより、ドライバによる自動車の走行を支援する装置として使用される。
【０００２】
【従来の技術】
従来の物体検出装置は、ミリ波レーダでのターゲット検出結果と、画像処理でのターゲット検出結果との双方の結果を用いてデータの信頼性を検討し、最適な結果を導き出すような融合アルゴリズムを構築していた。
図１に、従来の物体検出装置の構成を示す。
【０００３】
物体検出装置は、ミリ波レーダ１と、左カメラ２と、右カメラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ４は、画像処理用マイコン１１と融合処理用マイコン１２から構成される。
画像処理用マイコン１１は、各カメラ２，３からの画像を画像処理して物体の検出を行う。具体的には、左右カメラ２，３から取得した画像からエッジを抽出し、その結果得られた左右のエッジ抽出位置から視差を計算して、距離値を算出する。画像処理用マイコン１１の処理について図を用いて説明する。
【０００４】
図２は画像の１例を示す。当該車両の前方には、先行車両６が１台あり、路面にライン７が描かれ、路肩にガードレール８が存在している。図３は、図２の画像を処理して、縦エッジを計算した結果を示し、図４は、図３の結果を処理して、ピークの強い順にエッジを抽出した結果を示し、短い線分が抽出されたエッジである。画像処理用マイコン１１は、左右のカメラ２，３からそれぞれ図４のエッジを抽出し、視差によりターゲットまでの距離を計算する。
【０００５】
ミリ波レーダ１における処理方法は、特定エリア内をミリ波によりスキャンし、出力パワーの強い部分をターゲットとして認識する。図５は、ミリ波レーダ１から出力されたパワー強度と横位置（角度）の関係を示したもので、ターゲットが存在する部分のパワー強度は高くなり、ターゲットが存在しない部分は低くなる。
【０００６】
融合処理用マイコン１２は、ミリ波レーダ１の検出結果と、画像処理用マイコン１１の検出結果とを相互的に判断してターゲットの有無を判定し先行車両などの物体の存在確認、距離等の計算を行う。
【０００７】
【発明が解決しようとする課題】
上記従来の物体検出装置では、ミリ波レーダ及び、画像処理の双方の弱点を克服することは難しく、ミリ波レーダ及び画像処理のそれぞれから得られた結果以上の最適な結果を導き出すことができない。また、従来のミリ波レーダ１及び画像処理マイコン１１に必要な処理時間に単純に融合処理用マイコン１２における融合アルゴリズム分を加える形になるため、処理時間がかかり、最適な形態とは言えなかった。
【０００８】
本発明は、ミリ波レーダと画像処理を使用した物体検出装置において、ミリ波レーダと画像処理の欠点を相互に補いながら、処理時間を短縮することを目的とするものである。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものである。本発明の物体検出装置は、ミリ波レーダと、画像取得手段と、ミリ波レーダから出力されるパワーに基づいて画像認識エリアを特定し、画像取得手段から取得した画像について、前記特定された画像認識エリアに限定して、画像処理を実行する処理手段とから構成される。
【００１０】
ミリ波レーダは、障害物、車両などの対象物を検知すると、所定のパワーを出力する。このパワーを検出したエリアに限定して画像処理を行うことで、ミリ波レーダと画像処理の双方の弱点を克服した物体検出が可能となる。また、画像処理の処理時間が短縮される。さらに、画像処理の場合は路面文字などを対象物として誤認識することがあるが、ミリ波レーダではこれを検出しないので、ミリ波レーダが物体を検出したエリアに限定して画像処理を行うことにより、路面文字などの実態のないものを誤検出することが防止できる。
【００１１】
本発明の物体検出装置の別の態様は、ミリ波レーダと、画像取得手段と、前記画像取得手段よりの画像からエッジを抽出し、抽出したエッジの位置が、前記ミリ波レーダの検出結果より抽出したパワーに基づいて、所定のエリア内に存在するかどうかを判断し、存在したエッジのみを有効なエッジとする処理手段とから構成される。
【００１２】
この構成によれば、画像から抽出したエッジであっても、ミリ波レーダが物体として検知したターゲットでなければ無視をするので、路面文字などを誤検出することを防止でき、ミリ波レーダと画像処理の双方の弱点を克服した物体検出が可能となる。
【００１３】
【発明の実施の形態】
以下本発明の物体検出装置を車両の走行支援装置に適用した実施形態について図を用いて説明する。
図６は、走行支援装置の回路構成を示す。
走行支援装置は、ミリ波レーダ１と、左カメラ２と右カメラ３と、画像処理用のＥＣＵ４から構成される。ＥＣＵ４は、画像処理用及び融合処理用を兼用したマイコン５から構成される。なお、画像処理において視差による測距を行うために左右２台のカメラ２，３を設けているが、視差による測距を行わない場合は、カメラは１台のみとすることができる。
【００１４】
次に、マイコン５の処理について説明をする。
（実施形態１−１）
図７は、マイコン５の処理を示すフローチャートである。なお、車両の前方の状況が前述の図２に示すとおりであるとする。
図７において、ステップＳ１で、ミリ波レーダ１により、特定エリア内をスキャンする。図８は、スキャンの結果、ミリ波レーダ１から得られた結果を示す。図８の横軸は、スキャンしたエリアの横位置（角度）を示し、縦軸は、パワー強度〔ｄＢ〕を示す。前方に先行車両６があると、図示のように、先行車両６に対応する横位置におけるパワー強度は大きいものとなる。
【００１５】
ステップＳ２で、パワーが強い（Ｐ〔ｄＢ〕以上）ものをターゲットとして認識し、そのターゲットが存在する角度範囲（Ｘ０〜Ｘ１）を検索エリアとして保存する。ここでターゲットとして検出されるのは、図２では先行車両６だけであり、ライン７のような路面上に平面的に描かれたものではパワーは検出されない。
【００１６】
ステップＳ３で、左右カメラ２，３から取得した画像について、ステップＳ２で得た角度範囲（Ｘ０〜Ｘ１）内を検索エリアとして限定する。
ステップＳ４で、限定された検索エリア内で、縦エッジを抽出する。なお、この縦エッジの抽出処理は、当該技術分野において良く知られていることであるので、処理の内容の説明は省略する。
【００１７】
ステップＳ５で、パワーの強いもののみを抽出する。
ここで、前述の図３は、カメラ２，３から得た画像全体に渡って縦エッジを抽出した場合の結果を示す図である。これに対し、本例では、画像全体ではなく、検索エリアのみについて縦エッジを抽出し、パワーの強いもののみを抽出する。その結果は図９に示すとおりとなり、短い線分が抽出されたエッジである。
【００１８】
このように、限定した検索エリア内のみで縦エッジの抽出を行うことにより、画像全体について縦エッジを抽出する場合に比べて、処理時間を短縮することができる。また、図８の検索エリアから外れたライン７などについては、エッジ抽出が行われないので、路面文字などをターゲットとして誤検出することがない。ステップＳ６で、左右画像におけるピークを対応付けし、ステップＳ７で、対応付けしたピークの視差を計算し、先行車両６までの距離を得る。なお、ステップＳ６、Ｓ７の処理は、当該技術分野において良く知られていることであるので、処理の内容の説明は省略する。
【００１９】
以上説明した例によれば、画像処理によりエッジ抽出を行う上で、検索エリアを限定することにより、処理時間の短縮が可能となる。また、路面文字などの障害物はミリ波レーダではパワーに反映されないため、障害物、先行車両などの対象物のみを検知できる。
（実施形態１−２）
図７のステップＳ２における検索エリアの検出は、種々の変形が可能である。
【００２０】
図１０は、ステップＳ２の異なる検索エリアの抽出方法を示す。図１１は、そのエッジ抽出の結果を示す。
図１０において、ミリ波レーダ１から得たパワー強度のＰ０〜Ｐ１〔ｄＢ〕の範囲をパワー強度の所定レベル範囲とし、そのレベル範囲の横位置Ｘ０〜Ｘ１，Ｘ２〜Ｘ３を検索エリアとして抽出する。図１０のパワー強度の強い部分は、ターゲットを検出しているものであるから、パワー強度が急激に変化するＰ０〜Ｐ１〔ｄＢ〕の範囲は、ターゲットのエッジ位置となる。したがって、本例によれば、エッジが抽出される可能性が高い位置を更に限定することができるので、図１１に示すように、ターゲットのエッジのみを抽出することができ、処理時間を更に短縮できる。
【００２１】
（実施形態１−３）
図１２は、図７のステップＳ２の更に異なる検索エリアの抽出方法を示す。図１３は、本例における前方の状況を示す。
ミリ波レーダ１から得たパワー強度の分布は、図１２のように複数の山に分かれる場合がある。これは、図１３に示すように、前方に２つの先行車両６，９が存在した場合等に見られる。このようにパワーの分布が２山に分かれた場合、谷の部分（パワー強度Ｐ１〔ｄＢ〕以下の部分）の横位置Ｘ０〜Ｘ１を検索エリアとして抽出する。
【００２２】
（実施形態１−４）
実際に高速道路などを走行した場合、前方に車両が単一で存在する可能性は極めて低く、複数台存在する場合がほとんどである。
したがって、ミリ波レーダからの出力結果としては、様々なパターンが存在し、一意的には決定できない。そこで、図７のステップＳ２として、上述の実施形態１−１から１−３で説明した全ての検索エリアの合計を検索エリアとすることで、実際の走行に対応できるようにすることができる。
【００２３】
（実施形態２−１）
図１４は、マイコン５の第２の処理を示すフローチャートである。
ステップＳ１１で、ミリ波レーダ１により、特定エリア内をスキャンする。図１５は、スキャンの結果、ミリ波レーダ１から得た結果を示す。ここでは、車両の前方の状況が前述の図２に示すとおりであるとする。
【００２４】
ステップＳ１２で、パワーの強いものをターゲットとして認識して、図１５のパワー強度のピークに対応して角度（Ｘ０）を抽出し保存する。
ステップＳ１３，１４で、画像の濃度変化から検索エリアを抽出する。図１６は、カメラ２，３から得た画像の濃度変化を示す。この濃度変化は、カメラ２，３から得た画像について、ある水平方向のライン（Ｘ座標）上の濃度を示す。
【００２５】
ステップＳ１３で、この濃度変化について、ピークに対応するＸ０座標を中心に、左右対称となるエリアを検索し、対称とならなくなった位置Ｘ１，Ｘ２を保存する。物体が車両などである場合、その画像濃度は中心から左右対称となり、車両より外側になると、路面などが画像として検出されるので、左右対称とはならなくなる。したがって、左右対称とならなくなった位置Ｘ１，Ｘ２の近辺に物体のエリアがある可能性が高い。なお、左右対称を判断する際には、同一物体であっても実際には１００％対称とはならないので、ある程度の許容範囲を持たせて判断をする。
【００２６】
ステップＳ１４で、位置Ｘ１，Ｘ２を中心として、前後数座標のエリア（Ｘ３〜Ｘ４，Ｘ５〜Ｘ６）を検索エリアとして保存する。このように、位置Ｘ１，Ｘ２の近辺のエリアを特定することにより、物体のエッジがこの検索エリア内に存在することとなる。
以後のステップ、即ち、この検索エリアを使用するステップＳ４〜７の処理は、前述の図７のフローチャートと同様である。本例においても、画像処理に要する時間を短縮し、路面文字などを物体と誤検出することが防止できる。
【００２７】
（実施形態２−２）
上記ステップＳ１３，１４における画像処理による検索エリアの抽出は、画像の濃度変化の代わりに、濃度投影値を用いても抽出することができる。
図１７は、画像の濃度投影値を利用した検索エリアの抽出方法を示す。この濃度投影値は、カメラ２，３から得た画像について、垂直方向（縦位置）に画素濃度を合計して得るものである。本例でも、上述の実施形態２−１と同様にして検索エリアＸ３〜Ｘ４，Ｘ５〜Ｘ６を得る。
【００２８】
（実施形態３−１）
図１８は、図６のマイコン５の第３の処理を示すフローチャートである。
ステップＳ２１で、カメラ２，３から画像を取得する。
ステップＳ２２で、画像処理により縦エッジを抽出する。この画像処理では、画像の全範囲に渡って縦エッジを抽出するので、得られた結果は、前述の図３に示すようになる。
【００２９】
ステップＳ２３で、得られた縦エッジについてパワーの強いものから順にピーク抽出を行う。得られた結果は、前述の図４に示すようになる。そして、各エッジの抽出位置を角度位置Ｘn として保存する。
ステップＳ２４で、ミリ波レーダ１により、特定エリア内をスキャンする。
ステップＳ２５で、スキャンの結果得られた結果から角度位置Ｙn を抽出して保存する。この角度位置Ｙn は、前述の実施形態１及び実施形態２で検索エリアとして抽出したものと同様であり、図８、図１０、図１２に示す方法のいずれか、又は、その組み合わせを使用することができる。
【００３０】
ステップＳ２６で、角度位置Ｘn とＹｎの共通部分を抽出する。
ステップＳ２７で、抽出した共通の角度位置にあるターゲットについて視差を求め、距離値に換算して物体を検出する。
本例においては、画像処理に要する時間は短縮されないが、路面文字などの障害物に対する誤測距を除去することが可能である。
【００３１】
【発明の効果】
本発明によれば、ミリ波レーダと画像処理を使用した物体検出装置において、ミリ波レーダと画像処理の欠点を相互に補いながら、処理時間を短縮することができる。
【図面の簡単な説明】
【図１】従来の物体検出装置の構成を示す図。
【図２】物体検出装置の前方の状況を示す画像を示す図。
【図３】図１の装置の画像処理により計算されたエッジを示す図。
【図４】図３の結果から抽出されたエッジを示す図。
【図５】図１のミリ波レーダから出力された結果を示す図。
【図６】本発明を適用した走行支援装置の構成を示す図。
【図７】図６のマイコンの処理を示すフローチャート。
【図８】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する方法を示す図。
【図９】図７の処理により抽出されたエッジを示す図。
【図１０】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する第２の方法を示す図。
【図１１】図１０に示す方法で抽出されたエッジを示す図。
【図１２】図６のミリ波レーダにより得られたパワー強度から検索エリアを決定する第３の方法を示す図。
【図１３】前方に先行車両が複数ある状況の画像を示す図。
【図１４】図６のマイコンの第２の処理を示すフローチャート。
【図１５】図１４の処理におけるパワー強度を示す図。
【図１６】図１４の処理における検索エリアを決定する方法を示す図（その１）。
【図１７】図１２の処理における検索エリアを決定する方法を示す図（その２）。
【図１８】図６のマイコンの第３の処理を示すフローチャート（実施形態３）。
【符号の説明】
１…ミリ波レーダ
２…左カメラ
３…右カメラ
４…ＥＣＵ
５…マイコン
６…先行車両
７…ライン
８…ガードレール
９…第２の先行車両
１１…画像処理用マイコン
１２…融合処理用マイコン
【図１】
0004308405.tif 000002
【図２】
0004308405.tif 000003
【図３】
0004308405.tif 000004
【図４】
0004308405.tif 000005
【図５】
0004308405.tif 000006
【図６】
0004308405.tif 000007
【図７】
0004308405.tif 000008
【図８】
0004308405.tif 000009
【図９】
0004308405.tif 000010
【図１０】
0004308405.tif 000011
【図１１】
0004308405.tif 000012
【図１２】
0004308405.tif 000013
【図１３】
0004308405.tif 000014
【図１４】
0004308405.tif 000015
【図１５】
0004308405.tif 000016
【図１６】
0004308405.tif 000017
【図１７】
0004308405.tif 000018
【図１８】
0004308405.tif 000019