(57)【特許請求の範囲】
【請求項１】
一対のカメラで自車両の周囲の環境を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像および前記比較画像に基づいて、または前記基準画像および前記比較画像に対して所定の前処理が施されて形成された２つの画像に基づいて、ステレオマッチング処理により第１視差または第１距離を算出し、前記基準画像の各画素ブロックに算出した前記各第１視差または前記各第１距離を割り当てた第１距離画像を形成する第１ステレオマッチング手段と、
前記基準画像および前記比較画像に対して前記前処理とは異なる所定の前処理が施されて形成された２つの画像に基づいて、ステレオマッチング処理により第２視差または第２距離を算出し、前記基準画像の各画素ブロックに算出した前記各第２視差または前記各第２距離を割り当てた第２距離画像を形成する第２ステレオマッチング手段と、
前記第１距離画像および前記第２距離画像に基づいてそれぞれ前記基準画像中に撮像された物体を検出する検出手段と、
前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果のいずれを採用するかの選択を行う選択手段と、
を備えることを特徴とする車両用環境認識装置。
【請求項２】
前記選択手段は、前記検出手段が前記基準画像中に検出した前記物体のうち特定の物体を基準として前記選択を行うことを特徴とする請求項１に記載の車両用環境認識装置。
【請求項３】
前記選択手段は、前回の物体検出時に選択した前記検出結果に基づいて算出される前記物体の横幅と比較して、今回検出された当該物体の横幅が所定の第１閾値以上に狭くなっている場合には当該検出結果を棄却することを特徴とする請求項１または請求項２に記載の車両用環境認識装置。
【請求項４】
前記選択手段は、前回の物体検出時に選択した前記検出結果に基づいて算出される前記物体の自車両との距離と比較して、今回検出された当該物体の自車両との距離が所定の第２閾値以上に変化している場合には当該検出結果を棄却することを特徴とする請求項１から請求項３のいずれか一項に記載の車両用環境認識装置。
【請求項５】
前記選択手段は、前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果のうち、一方の検出結果において物体が検出されている前記基準画像上の位置に他方の検出結果では物体が検出されていない場合に、当該一方の検出結果における当該物体の距離画像上の検出位置に所定の第３閾値以上の個数の視差または距離のデータが存在しない場合には、両方の検出結果をともに棄却することを特徴とする請求項１から請求項４のいずれか一項に記載の車両用環境認識装置。
【請求項６】
前記第１ステレオマッチング手段は、前記基準画像および前記比較画像に基づいて前記ステレオマッチング処理を行って前記第１距離画像を形成し、
前記第２ステレオマッチング手段は、前記所定の前処理として前記基準画像および前記比較画像に対してエッジ検出処理が施されて形成された２つの画像に基づいて前記ステレオマッチング処理を行って前記第２距離画像を形成することを特徴とする請求項１から請求項５のいずれか一項に記載の車両用環境認識装置。
【請求項７】
前記選択手段は、前記第１距離画像に基づいて算出される前記物体の自車両との距離が、前記第２距離画像に基づいて算出される当該物体の自車両との距離より小さい場合において、当該物体の前記第１距離画像上の検出位置における視差または距離のデータの個数が所定の第４閾値未満であり、かつ、当該物体の前記第２距離画像上の検出位置における視差または距離のデータの個数が所定の第５閾値より多い場合には、前記第１距離画像に基づく前記物体の検出結果を棄却することを特徴とする請求項６に記載の車両用環境認識装置。
【請求項８】
前記選択手段は、前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果とがともに棄却されなかった場合に、前記物体の前記第１距離画像上の検出位置における視差または距離のデータの個数および前記第２距離画像上の検出位置における視差または距離のデータの個数のうちの少ない方の検出結果を棄却することを特徴とする請求項３から請求項７のいずれか一項に記載の車両用環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用環境認識装置に係り、特に、車両に搭載されたステレオ撮像手段で撮像された２つの画像に対するステレオマッチング処理により周囲の環境を認識する車両用環境認識装置に関する。
【背景技術】
【０００２】
ステレオカメラを用いて物体までの距離を測定する手法としては、左右同じ高さに取り付けられた一対のカメラで撮像された一対の撮像画像を用いて、一対の撮像画像のうち、基準となる一方の撮像画像（以下、基準画像ＴOという。）と他方の撮像画像（以下、比較画像ＴCという。）とを比較して、同じ物体が撮像されている各画像中の各位置の差、すなわち視差を算出し、その視差に基づいて物体までの距離を算出する手法が一般的である。そして、基準画像と比較画像で同じ物体が撮像されている位置を特定する手法としては、通常、ステレオマッチング処理が行われる（例えば特許文献１等参照）。
【０００３】
ステレオマッチング処理では、図１７に示すように、基準画像ＴOを例えば３×３画素や４×４画素等の所定の画素数の小領域（以下、画素ブロックＰＢOという。）に分割し、各画素ブロックＰＢOごとに、比較画像ＴC中で当該画素ブロックＰＢOに対応する上下方向の位置にエピポーララインＥＰＬを設定し、画素ブロックＰＢOの輝度パターンと、当該エピポーララインＥＰＬ上に存在する画素ブロックＰＢOと同形の画素ブロックＰＢCの輝度パターンとを比較する。
【０００４】
その際、例えば、基準画像ＴOの画素ブロックＰＢO中の各画素の輝度値をｐ１s,tとし、比較画像ＴCの画素ブロックＰＢC中の各画素の輝度値をｐ２s,tとした場合、輝度パターンの差異として下記（１）式のＳＡＤ（Sum of Absolute Difference）値を算出する。
【０００５】
【数１】
0004956452.tif 000002
【０００６】
なお、上記（１）式では、画素ブロックＰＢOや画素ブロックＰＢCが例えば３×３画素の領域として設定される場合には１≦ｓ≦３、１≦ｔ≦３の範囲、例えば４×４画素の領域として設定される場合には１≦ｓ≦４、１≦ｔ≦４の範囲の全画素について、差の絶対値の総和が算出される。
【０００７】
そして、上記（１）式に従って算出されるＳＡＤ値であって、予め設定された閾値以下の値となるＳＡＤ値のうち、最小のＳＡＤ値を与える画素ブロックＰＢCが、画素ブロックＰＢOに撮像されている物体と同じ物体が撮像されている比較画像上の画素ブロックとして特定される。また、このステレオマッチング処理の結果を用いて、比較画像ＴC上に特定された画素ブロックＰＢCと元の基準画像ＴOの画素ブロックＰＢOとの視差ｄｐが算出され、その視差ｄｐに基づいて三角測量の原理によりその画素ブロックＰＢOに撮像されている物体までの距離Ｚが算出される。
【特許文献１】特開平５−１１４０９９号公報
【特許文献２】特開２００１−４３３７７号公報
【特許文献３】特開２００３−２５５４３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、例えば図１８（Ａ）、（Ｂ）にそれぞれ一部分が例示される基準画像ＴOおよび比較画像ＴCは、車両に搭載したステレオカメラにより逆光時に自車両の前方を走行する先行車両を撮像したものである。この場合、基準画像ＴOを撮像する側のカメラには逆光が入射されて基準画像ＴOが全体的に白っぽく撮像されており、比較画像ＴCでは、逆光が何らかの物体（この場合は図示しないビル）で遮られて比較画像ＴCを撮像する側のカメラには逆光が入射しておらず、比較画像ＴCは全体的に暗く撮像されている。
【０００９】
このように、一対のカメラの明るさのバランスが崩れると、上記（１）式中の基準画像ＴOの画素ブロックＰＢO中の各画素の輝度値ｐ１s,tと比較画像ＴCの画素ブロックＰＢC中の各画素の輝度値ｐ２s,tとの差が大きくなるため、（１）式に従って算出されるＳＡＤ値が大きな値になり、前述した閾値以下の値とならない場合がある。このような場合、基準画像ＴOの画素ブロックＰＢOに対応する画素ブロックＰＢCが比較画像ＴC上に特定できなくなる。
【００１０】
そのため、基準画像ＴOの各画素ブロックＰＢOに、算出された視差ｄｐを割り当てて形成されるデータ画像（以下、距離画像ＴZという。）は、図１９に示すようになり、先行車両についてほとんど視差ｄｐの情報が得られなくなる。なお、図１９の距離画像ＴZでは、ＳＡＤ値が閾値以下にならず視差ｄｐが算出されない画素ブロックが白く表示されている。
【００１１】
このようにステレオマッチング処理により例えば先行車両について有効な視差ｄｐの情報や視差ｄｐに基づいて算出される例えば先行車両までの距離Ｚの情報が得られないと、すなわちこの場合は先行車両を見失い検出できない（ロストする）と、先行車両に対する自動追従制御等を有効に行うことができなくなる。
【００１２】
この点について、特許文献２や特許文献３では、撮像画像が異常であるか否かを判定し、或いは撮像画像が異常である場合には先行車両等の認識制御を一時的に中断する技術が提案されているが、そのような状況において先行車両等の認識をいかに継続するかについては述べられていない。
【００１３】
認識対象が先行車両である場合に、先行車両を見失うと、最悪の場合、先行車両が存在しないと自動的に判断して先行車両に追突してしまう虞れがある。本発明では、認識対象を先行車両に特定するものではないが、上記のようにステレオカメラを構成する一対のカメラの明るさのバランスが崩れた場合でも、画像処理により自車両の周囲の環境を有効に認識し得る技術の開発が望まれている。
【００１４】
本発明は、このような事情に鑑みてなされたものであり、一対のカメラの明るさのバランスが崩れるような環境下においても有効にステレオマッチング処理を行って自車両の周囲の環境を認識することが可能な車両用環境認識装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
前記の問題を解決するために、第１の発明は、車両用環境認識装置において、
一対のカメラで自車両の周囲の環境を同時に撮像して基準画像と比較画像とを出力するステレオ撮像手段と、
前記基準画像および前記比較画像に基づいて、または前記基準画像および前記比較画像に対して所定の前処理が施されて形成された２つの画像に基づいて、ステレオマッチング処理により第１視差または第１距離を算出し、前記基準画像の各画素ブロックに算出した前記各第１視差または前記各第１距離を割り当てた第１距離画像を形成する第１ステレオマッチング手段と、
前記基準画像および前記比較画像に対して前記前処理とは異なる所定の前処理が施されて形成された２つの画像に基づいて、ステレオマッチング処理により第２視差または第２距離を算出し、前記基準画像の各画素ブロックに算出した前記各第２視差または前記各第２距離を割り当てた第２距離画像を形成する第２ステレオマッチング手段と、
前記第１距離画像および前記第２距離画像に基づいてそれぞれ前記基準画像中に撮像された物体を検出する検出手段と、
前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果のいずれを採用するかの選択を行う選択手段と、
を備えることを特徴とする。
【００１６】
第２の発明は、第１の発明の車両用環境認識装置において、前記選択手段は、前記検出手段が前記基準画像中に検出した前記物体のうち特定の物体を基準として前記選択を行うことを特徴とする。
【００１７】
第３の発明は、第１または第２の発明の車両用環境認識装置において、前記選択手段は、前回の物体検出時に選択した前記検出結果に基づいて算出される前記物体の横幅と比較して、今回検出された当該物体の横幅が所定の第１閾値以上に狭くなっている場合には当該検出結果を棄却することを特徴とする。
【００１８】
第４の発明は、第１から第３のいずれかの発明の車両用環境認識装置において、前記選択手段は、前回の物体検出時に選択した前記検出結果に基づいて算出される前記物体の自車両との距離と比較して、今回検出された当該物体の自車両との距離が所定の第２閾値以上に変化している場合には当該検出結果を棄却することを特徴とする。
【００１９】
第５の発明は、第１から第４のいずれかの発明の車両用環境認識装置において、前記選択手段は、前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果のうち、一方の検出結果において物体が検出されている前記基準画像上の位置に他方の検出結果では物体が検出されていない場合に、当該一方の検出結果における当該物体の距離画像上の検出位置に所定の第３閾値以上の個数の視差または距離のデータが存在しない場合には、両方の検出結果をともに棄却することを特徴とする。
【００２０】
第６の発明は、第１から第５のいずれかの発明の車両用環境認識装置において、
前記第１ステレオマッチング手段は、前記基準画像および前記比較画像に基づいて前記ステレオマッチング処理を行って前記第１距離画像を形成し、
前記第２ステレオマッチング手段は、前記所定の前処理として前記基準画像および前記比較画像に対してエッジ検出処理が施されて形成された２つの画像に基づいて前記ステレオマッチング処理を行って前記第２距離画像を形成することを特徴とする。
【００２１】
第７の発明は、第６の発明の車両用環境認識装置において、前記選択手段は、前記第１距離画像に基づいて算出される前記物体の自車両との距離が、前記第２距離画像に基づいて算出される当該物体の自車両との距離より小さい場合において、当該物体の前記第１距離画像上の検出位置における視差または距離のデータの個数が所定の第４閾値未満であり、かつ、当該物体の前記第２距離画像上の検出位置における視差または距離のデータの個数が所定の第５閾値より多い場合には、前記第１距離画像に基づく前記物体の検出結果を棄却することを特徴とする。
【００２２】
第８の発明は、第３から第７のいずれかの発明の車両用環境認識装置において、前記選択手段は、前記第１距離画像に基づく前記物体の検出結果と前記第２距離画像に基づく前記物体の検出結果とがともに棄却されなかった場合に、前記物体の前記第１距離画像上の検出位置における視差または距離のデータの個数および前記第２距離画像上の検出位置における視差または距離のデータの個数のうちの少ない方の検出結果を棄却することを特徴とする。
【発明の効果】
【００２３】
第１の発明によれば、基準画像中に撮像された物体を検出して自車両の周囲の環境を認識する際に、基準画像と比較画像に基づいて、または基準画像および比較画像に対して所定の前処理が施されて形成された２つの画像に基づいて、ステレオマッチング処理により第１距離画像を形成する系と、基準画像と比較画像に前記前処理とは異なる所定の前処理が施されて形成された２つの画像に基づいてステレオマッチング処理により第２距離画像を形成する系との２系統のステレオマッチング手段を設けて、異なる系統で形成された第１、第２距離画像に基づいてそれぞれ先行車両等の物体検出を行い、選択手段でそのうちの良好な検出結果を選択するように構成した。
【００２４】
そのため、例えば図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCを用いた場合に、一対のカメラの明るさのバランスが崩れていて先行車両等の物体を検出できないような環境下においても、別の前処理を施して別系統のステレオマッチング手段で有効にステレオマッチング処理を行って得られた距離画像を用いて物体を的確に検出して自車両の周囲の環境を的確に認識することが可能となる。
【００２５】
また、そのため、例えば一対のカメラの一方にのみ逆光が差し込むような環境内においても、先行車両等を見失うことなく（ロストすることなく）、検出し続けることが可能となり、例えば先行車両に対する自動追従制御等を有効に機能させることが可能となる。
【００２６】
第２の発明によれば、前記発明の効果に加え、検出手段が基準画像ＴO中に検出した物体のうち、例えば先行車両のような特定の物体を基準として選択を行うことで、特定の物体を見失うことなく的確に検出することが可能となる。
【００２７】
第３の発明によれば、前記発明の効果に加え、前記条件を満たし、それまで検出されていた物体の横幅よりもさらに横幅が狭く検出された場合にその検出結果を棄却することで、信頼性が低い検出結果に依存せずに物体を検出することが可能となり、本発明に係る車両用環境認識装置のステレオマッチング処理やそれにより検出された物体の情報の信頼性を向上させることが可能となる。
【００２８】
第４の発明によれば、前記条件を満たし、それまで検出されていた物体の自車両との距離との変動が著しい距離に当該物体が検出された場合にその検出結果を棄却することで、信頼性が低い検出結果に依存せずに物体を検出することが可能となり、本発明に係る車両用環境認識装置のステレオマッチング処理やそれにより検出された物体の情報の信頼性を向上させることが可能となり、前記各発明の効果が適切に発揮される。
【００２９】
第５の発明によれば、前記条件を満たし、一方の検出結果において物体が検出されている基準画像上の位置に他方の検出結果では物体が検出されていない場合に、当該一方の検出結果における当該物体の距離画像上の検出位置に存在する有効な視差等のデータの個数が少ない場合には、このような状況で当該一方の検出結果でたとえ物体が検出されても、検出された物体の情報の信頼性が乏しいと考えられる。そのため、そのような場合には、信頼性に乏しい検出結果を出力するよりも、両方の検出結果をともに棄却することで、本発明に係る車両用環境認識装置のステレオマッチング処理やそれにより検出された物体の情報の信頼性を向上させることが可能となり、前記各発明の効果が適切に発揮される。
【００３０】
第６の発明によれば、第１ステレオマッチング手段では基準画像と比較画像に基づき、第２ステレオマッチング手段ではエッジ検出処理が施された基準画像と比較画像に基づいてステレオマッチング処理を行って第１、第２距離画像を形成することで、例えば図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCを用いた場合に、一対のカメラの明るさのバランスが崩れていて先行車両等の物体を検出できないような環境下においても物体を的確に検出して自車両の周囲の環境を的確に認識することが可能となり、前記各発明の効果が的確に発揮される。
【００３１】
第７の発明によれば、前記条件を満たした場合に、基準画像と比較画像に基づいて形成された第１距離画像に基づく物体の検出結果を棄却することで、基準画像と比較画像に基づいて形成された第１距離画像に基づく物体の検出結果が誤検出であることを確認した上で棄却して、信頼性が低い検出結果に依存せずに物体を検出することが可能となり、本発明に係る車両用環境認識装置のステレオマッチング処理やそれにより検出された物体の情報の信頼性を向上させることが可能となり、前記各発明の効果が適切に発揮される。
【００３２】
第８の発明によれば、上記の各条件がクリアされ、第１距離画像に基づく物体の検出結果と第２距離画像に基づく物体の検出結果とがともに棄却されなかった場合に、有効なデータ数が少ない検出結果を棄却し、有効なデータ数が多い検出結果を採用して物体の検出結果とすることで、本発明に係る車両用環境認識装置のステレオマッチング処理やそれにより検出された物体の情報の有効性を向上させ、また、その信頼性を向上させることが可能となり、前記各発明の効果が適切に発揮される。
【発明を実施するための最良の形態】
【００３３】
以下、本発明に係る車両用環境認識装置の実施の形態について、図面を参照して説明する。
【００３４】
なお、以下では、車両用環境認識装置により先行車両を認識する場合について説明するが、認識対象は先行車両には限定されず、他の車両や歩行者、障害物等、或いはそれらすべてを認識対象とするように構成することも可能である。
【００３５】
本実施形態に係る車両用環境認識装置１は、図１に示すように、ステレオ撮像手段２、変換手段３、認識手段１０等で構成されている。また、車両用環境認識装置１は、２系統の画像処理手段６ａ、６ｂを備えている。
【００３６】
なお、ステレオ撮像手段２や変換手段３、画像補正部４、画像データメモリ５、第１、第２ステレオマッチング手段７ａ、７ｂと第１、第２距離データメモリ８ａ、８ｂを備える第１、第２画像処理手段６ａ、６ｂの構成は本願出願人により先に提出された特開平５−１１４０９９号公報、特開平５−２６５５４７号公報、特開平６−２６６８２８号公報、特開平１０−２８３４６１号公報、特開平１０−２８３４７７号公報、特開２００６−７２４９５号公報等に詳述されており、詳細な説明はそれらの公報に委ねる。以下、簡単に説明する。
【００３７】
ステレオ撮像手段２は、本実施形態では、互いに同期が取られたＣＣＤやＣＭＯＳセンサ等のイメージセンサがそれぞれ内蔵され例えばフロントガラスの車内側に車幅方向すなわち左右方向に所定の間隔をあけて取り付けられた一対のメインカメラ２ａおよびサブカメラ２ｂからなるステレオカメラが用いられている。
【００３８】
メインカメラ２ａおよびサブカメラ２ｂは、道路面から同じ高さに取り付けられており、所定のサンプリング周期で同時に自車両の周囲の環境を撮像して撮像画像の情報を出力するように構成されている。そして、運転者に近い側に配置されたメインカメラ２ａは図２に例示される基準画像ＴOの画像データを出力し、運転者から遠い側に配置されたサブカメラ２ｂは図示を省略する比較画像ＴCの画像データを出力するようになっている。
【００３９】
メインカメラ２ａとサブカメラ２ｂから出力された画像データは、変換手段３であるＡ／Ｄコンバータ３ａ、３ｂでアナログ画像からそれぞれ画素ごとに例えば２５６階調のグレースケール等の所定の輝度階調の輝度を有するデジタル画像にそれぞれ変換され、画像補正部４で、ずれやノイズの除去等の画像補正が行われるようになっている。そして、画像補正等が行われた各画像データは、画像データメモリ５に送信されて格納されるとともに、第１画像処理手段６ａおよび第２画像処理手段６ｂに送信されるようになっている。
【００４０】
画像処理手段６ａは、イメージプロセッサ等からなる第１ステレオマッチング手段７ａと第１距離データメモリ８ａとを備えている。
【００４１】
なお、本実施形態では、第１画像処理手段６ａでは、基準画像ＴOや比較画像ＴCに前処理を施さず、基準画像ＴOや比較画像ＴCに対して直接ステレオマッチング処理を行う場合について説明する。しかし、後述する第２画像処理手段６ｂの場合と同様に、第１画像処理手段６ａにおいても基準画像ＴOや比較画像ＴCに対して前処理が施されて形成された２つの画像に対してステレオマッチング処理を行うように構成することも可能である。その場合、第１画像処理手段６ａと第２画像処理手段６ｂには互いに異なる前処理の手法で前処理された２つの画像がそれぞれ入力される。
【００４２】
第１ステレオマッチング手段７ａでは、図１７に示した手法でステレオマッチング処理が行われるようになっている。具体的には、第１ステレオマッチング手段７ａは、基準画像ＴO上に例えば３×３画素や４×４画素等の所定の画素数の画素ブロックＰＢOを設定し、画素ブロックＰＢOに対応する比較画像ＴCの上下方向の位置にエピポーララインＥＰＬを設定し、エピポーララインＥＰＬ上を例えば左から右に向かって１画素分ずつシフトさせながら比較画像ＴCの各画素ブロックＰＢCを探索し、上記（１）式に従ってＳＡＤ値を算出して、ＳＡＤ値が閾値以下で、かつ最小の画素ブロックＰＢCを特定するようになっている。
【００４３】
本実施形態では、このようにＳＡＤ値を用いるように構成されているが、この他にも、例えば画素ブロックＰＢO中の各画素の輝度値ｐ１s,tと画素ブロックＰＢC中の各画素の輝度値ｐ２s,tとの差の二乗和に基づいてステレオマッチング処理を行うように構成することも可能である。また、画素ブロックＰＢOと画素ブロックＰＢCとの輝度パターンの差異を適切に算出できるものであれば他の計算式に従って算出される差異に基づいてステレオマッチング処理を行うように構成することも可能である。
【００４４】
第１ステレオマッチング手段７ａは、さらに、ステレオマッチング処理により特定した画素ブロックＰＢCの比較画像ＴC上の位置と元の基準画像ＴO上の画素ブロックＰＢOの位置から第１視差ｄｐ１を算出する。そして、以上の処理を基準画像ＴO上の全画素ブロックＰＢOについて行って、画素ブロックＰＢOごとに第１視差ｄｐ１を算出するようになっている。
【００４５】
基準画像ＴOの各画素ブロックＰＢOに、算出された第１視差ｄｐ１を割り当てると、例えば図３に例示するように、各画素ブロックＰＢOに第１視差ｄｐ１が割り当てられた第１距離画像ＴZ１が形成される。第１ステレオマッチング手段７ａは、このようにして、ステレオマッチング処理により第１視差ｄｐ１を算出し、第１距離画像ＴZ１を形成するようになっている。
【００４６】
なお、一対のメインカメラ２ａとサブカメラ２ｂの中央真下の道路面上の点を原点とし、自車両の車幅方向（左右方向）をＸ軸方向、車高方向（高さ方向）をＹ軸方向、車長方向（前後方向）をＺ軸方向とした場合の実空間上の点（Ｘ１，Ｙ１，Ｚ１）と、上記の第１視差ｄｐ１、第１距離画像ＴZ１上の点（ｉ１，ｊ１）とは、三角測量の原理に基づき下記（２）〜（４）式で表される座標変換により一意に対応づけられる。
Ｘ１＝ＣＤ／２＋Ｚ１×ＰＷ×（ｉ１−ＩＶ）    …（２）
Ｙ１＝ＣＨ＋Ｚ１×ＰＷ×（ｊ１−ＪＶ）    …（３）
Ｚ１＝ＣＤ／（ＰＷ×（ｄｐ１−ＤＰ））    …（４）
【００４７】
上記各式において、ＣＤは一対のカメラの間隔、ＰＷは１画素当たりの視野角、ＣＨは一対のカメラの取り付け高さ、ＩＶおよびＪＶは自車両正面の無限遠点の第１距離画像ＴZ１上のｉ座標およびｊ座標、ＤＰは消失点視差を表す。
【００４８】
このように、第１視差ｄｐ１と第１距離Ｚ１とは一意に対応づけられるものであるため、第１ステレオマッチング手段７ａにおいて、算出した第１視差ｄｐ１を上記（４）式に従って第１距離Ｚ１に変換し、基準画像ＴOの各画素ブロックＰＢOに、変換した第１距離Ｚ１を割り当てて第１距離画像ＴZ１を形成するように構成することも可能である。
【００４９】
第１ステレオマッチング手段７ａは、上記のようにして形成した第１距離画像ＴZ１の情報を第１距離データメモリ８ａに送信して格納させるようになっている。
【００５０】
なお、この第１ステレオマッチング手段７ａでは、メインカメラ２ａとサブカメラ２ｂで前述した図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCが撮像されるシーンでは、図１９に示したような第１距離画像ＴZ１が形成される。
【００５１】
一方、第２画像処理手段６ｂには、前処理手段９（図１参照）で基準画像ＴOと比較画像ＴCに対してそれぞれ所定の前処理が施されて形成された２つの画像が入力されるようになっている。
【００５２】
本実施形態では、前処理手段９では、所定の前処理として基準画像ＴOと比較画像ＴCに対してエッジ検出処理を行って基準エッジ画像と比較エッジ画像を形成するようになっている。
【００５３】
本実施形態では、画像補正部４からずれやノイズの除去等の画像補正が行われた基準画像ＴOや比較画像ＴCの各画素の輝度値ｐ１i,j、ｐ２i,jのデータが基準画像ＴOや比較画像ＴCの水平ライン、すなわち１画素幅のエピポーララインごとに順々に出力されて、前処理手段９にそれぞれ入力されてくるようになっている。なお、輝度値ｐ１i,j、ｐ２i,jは基準画像ＴOや比較画像ＴC上の座標（ｉ，ｊ）における画素の輝度値を表す。
【００５４】
前処理手段９は、基準画像ＴOや比較画像ＴCの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,j、ｐ２i,jのデータに対して、１次編微分オペレータ（−１／０／＋１）（正確には１次編微分オペレータ（−０．５／０／＋０．５）の２倍の値のオペレータ）のフィルタをかけてエッジ検出処理を行うようになっている。
【００５５】
すなわち、前処理手段９は、基準画像ＴOの水平ラインごとに入力されてくる各画素の輝度値ｐ１i,jのデータに対して下記（５）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ３i,jを座標（ｉ，ｊ）における画素の輝度値とする基準エッジ画像ＴＥOを形成する。
ｐ３i,j＝−ｐ１i-1,j＋ｐ１i+1,j    …（５）
【００５６】
また、前処理手段９は、比較画像ＴCの水平ラインごとに入力されてくる各画素の輝度値ｐ２i,jのデータに対して下記（６）式に示すエッジ検出処理を行って、算出されるエッジ値ｐ４i,jを座標（ｉ，ｊ）における画素の輝度値とする比較エッジ画像ＴＥCを形成するようになっている。
ｐ４i,j＝−ｐ２i-1,j＋ｐ２i+1,j    …（６）
【００５７】
なお、メインカメラ２ａとサブカメラ２ｂで前述した図１８（Ａ）、（Ｂ）に示したような基準画像ＴOと比較画像ＴCが撮像されるシーンでは、この前処理手段９のエッジ検出処理により、図４（Ａ）、（Ｂ）に示すような基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCが得られる。
【００５８】
前処理手段９は、このようにして輝度値（エッジ値）ｐ３i,j、ｐ４i,jを有する各画素からなる基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとをそれぞれ形成して、第２画像処理手段６ｂに送信するようになっている。
【００５９】
第２画像処理手段６ｂは、上記の第１画像処理手段６ａと同様に構成されており、第２画像処理手段６ｂの第２ステレオマッチング手段７ｂにおいても、図１７に示した手法でステレオマッチング処理が行われるようになっている。ただし、ステレオマッチング処理の対象は基準エッジ画像ＴＥOと比較エッジ画像ＴＥCである。
【００６０】
そして、第２ステレオマッチング手段７ｂは、第１ステレオマッチング手段７ａと同様にして基準エッジ画像ＴＥO上の画素ブロックごとに第２視差ｄｐ２を算出し、基準エッジ画像ＴＥOの各画素ブロックに、算出した第２視差ｄｐ２を割り当てて第２距離画像ＴZ２を形成するようになっている。
【００６１】
なお、基準エッジ画像ＴＥOの各画素ブロックは、第１ステレオマッチング手段７ａにおける基準画像ＴO上の各画素ブロックＰＢOと同じ画素位置に設定されるため、第２距離画像ＴZ２は、基準画像ＴOの各画素ブロックＰＢOに算出した各第２視差ｄｐ２を割り当てて形成されると表現することも可能である。
【００６２】
また、図４（Ａ）、（Ｂ）に示した基準エッジ画像ＴＥOと比較エッジ画像ＴＥCから図５に示すような第２距離画像ＴZ２が形成される。
【００６３】
さらに、上記と同様に原点やＸ軸方向、Ｙ軸方向、Ｚ軸方向を設定し、第２視差ｄｐ２から算出される実空間上の点の座標を（Ｘ２，Ｙ２，Ｚ２）とした場合、それと第２視差ｄｐ２、第２距離画像ＴZ２上の点（ｉ２，ｊ２）とは、三角測量の原理に基づき下記（７）〜（９）式で表される座標変換により一意に対応づけられる。なお、式中のＣＤ等は上記と同様である。
Ｘ２＝ＣＤ／２＋Ｚ２×ＰＷ×（ｉ２−ＩＶ）    …（７）
Ｙ２＝ＣＨ＋Ｚ２×ＰＷ×（ｊ２−ＪＶ）    …（８）
Ｚ２＝ＣＤ／（ＰＷ×（ｄｐ２−ＤＰ））    …（９）
【００６４】
また、第２視差ｄｐ２と第２距離Ｚ２とが一意に対応づけられるものであるため、第２ステレオマッチング手段７ｂにおいて、算出した第２視差ｄｐ２を上記（９）式に従って第２距離Ｚ２に変換し、基準エッジ画像ＴＥO（基準画像ＴO）の各画素ブロックＰＢOに、変換した第２距離Ｚ２を割り当てて第２距離画像ＴZ２を形成するように構成することも可能である。
【００６５】
第２ステレオマッチング手段７ｂは、上記のようにして形成した第２距離画像ＴZ２の情報を第２距離データメモリ８ｂに送信して格納させるようになっている。
【００６６】
認識手段１０（図１参照）は、図示しないＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたマイクロコンピュータより構成されている。また、認識手段１０には、車速センサやヨーレートセンサ、ステアリングホイールの舵角を測定する舵角センサ等のセンサ類Ｑが接続されている。なお、ヨーレートセンサの代わりに自車両の車速等からヨーレートを推定する装置等を用いることも可能である。
【００６７】
認識手段１０は、検出手段１１と、選択手段１２とを備えており、さらに図示しないメモリを備えている。
【００６８】
検出手段１１は、前述した第１距離画像ＴZ１と第２距離画像ＴZ２に基づいてそれぞれ基準画像ＴO中に撮像された物体を検出するようになっている。本実施形態では、検出手段１１は、本願出願人により先に提出された特開平１０−２８３４６１号公報等に記載された車外監視装置等をベースに構成されている。詳細な説明はそれらの公報に委ねる。以下、簡単にその構成について説明する。
【００６９】
なお、検出手段１１では、第１距離画像ＴZ１に基づく物体検出も第２距離画像ＴZ２に基づく物体検出も同じ処理のしかたで処理されるようになっている。従って、以下では、第１距離画像ＴZ１や第２距離画像ＴZ２として、図３に例示したような距離画像ＴZが得られたものと仮定して、第１距離画像ＴZ１と第２距離画像ＴZ２の場合をまとめて説明する。
【００７０】
検出手段１１は、距離画像ＴZを第１距離データメモリ８ａと第２距離データメモリ８ｂから読み出して、まず、図６に示すように距離画像ＴZを所定の画素幅で縦方向に延びる短冊状の区分Ｄｎに分割する。そして、各区分Ｄｎごとに図７に示すようなヒストグラムＨｎを作成し、各区分Ｄｎに属する各視差ｄｐ（第１視差ｄｐ１、第２視差ｄｐ２）を当該視差ｄｐが属する区分ＤｎのヒストグラムＨｎに投票する。そして、度数Ｆｎが最大の階級の階級値をその区分Ｄｎにおける物体の視差ｄｐｎとする。これを第１距離画像ＴZ１と第２距離画像ＴZ２の全区分Ｄｎについてそれぞれ行うようになっている。
【００７１】
検出手段１１は、続いて、各区分Ｄｎごとに得られた視差ｄｐｎを上記（４）式や（９）式のｄｐ１やｄｐ２に代入して、視差ｄｐｎに対応する各区分Ｄｎごとの実空間上の距離Ｚｎ（第１距離Ｚ１、第２距離Ｚ２）を算出して、図８に示すように実空間上にプロットし、図９に示すようにプロットされた各点間の距離や方向性に基づいて互いに隣接する各点をそれぞれグループＧ１、Ｇ２、Ｇ３、…にまとめてグループ化するようになっている。
【００７２】
本実施形態では、検出手段１１は、図１０に示すように各グループに属する各点をそれぞれ直線近似し、それぞれのグループ内の各点が自車両Ａの車幅方向すなわちＸ軸方向に略平行に並ぶグループには“物体”Ｏとラベルし、各点が自車両Ａの車長方向すなわちＺ軸方向に略平行に並ぶグループには“側壁”Ｓとラベルして分類するようになっている。また、同一の物体の“物体”と“側壁”の交点とみなすことができる箇所にコーナー点としてＣをラベルするようになっている。
【００７３】
そして、検出手段１１は、図１０の例では、［側壁Ｓ１］、［物体Ｏ１］、［側壁Ｓ２］、［物体Ｏ２とコーナー点Ｃと側壁Ｓ３］、［側壁Ｓ４］、［物体Ｏ３］、［物体Ｏ４］、［側壁Ｓ５とコーナー点Ｃと物体Ｏ５］、［物体Ｏ６］、［側壁Ｓ６］をそれぞれ１つの物体として検出するようになっている。なお、上記のように便宜上ラベルとして“物体”と“側壁”とが用いられるが、“側壁”も物体として検出される。
【００７４】
また、検出手段１１は、このようにして検出した各物体を図１１に示すように基準画像ＴO上で矩形状の枠線で包囲するようにして検出するようになっている。検出手段１１は、このようにして基準画像ＴO中に撮像された各物体を検出して、自車両Ａの周囲の環境を認識するようになっている。
【００７５】
また、検出手段１１は、上記の処理を第１距離画像ＴZ１と第２距離画像ＴZ２についてそれぞれ行うようになっている。そのため、基準画像ＴO中に撮像された物体の検出結果が、第１距離画像ＴZ１に基づくものと第２距離画像ＴZ２に基づくものの２通り得られる。
【００７６】
本実施形態では、さらに、検出手段１１は、検出した物体の中から先行車両を検出するようになっている。
【００７７】
具体的には、検出手段１１は、まず、図１２に示すように自車両Ａの挙動に基づいて自車両Ａが今後進行するであろう軌跡を走行軌跡Ｌestとして推定し、その走行軌跡Ｌestを中心とする自車両Ａの車幅分の領域を自車両Ａの進行路Ｒestとして算出するようになっている。
【００７８】
自車両Ａの走行軌跡Ｌestは、センサ類Ｑから送信されてくる自車両Ａの車速Ｖやヨーレートγ、ステアリングホイールの舵角δ等の情報に基づいて下記（１０）式または下記（１１）、（１２）式に従って算出される自車両Ａの旋回曲率Ｃuaに基づいて算出することができる。なお、下記の各式におけるＲｅは旋回半径、Ａsfは車両のスタビリティファクタ、Ｌwbはホイールベースである。
Ｃua＝γ／Ｖ    …（１０）
Ｒｅ＝（１＋Ａsf・Ｖ２）・（Ｌwb／δ）    …（１１）
Ｃua＝１／Ｒｅ    …（１２）
【００７９】
そして、検出手段１１は、自車両Ａの進行路Ｒest上に存在する物体の中で自車両Ａに最も近接する物体を自車両Ａの前方を走行する先行車両Ｖahとして検出するようになっている。例えば図１１や図１２では、車両Ｏ３が先行車両Ｖahとして検出される。また、検出手段１１は、検出した先行車両Ｖahについて実空間上にプロットされた各点に基づいて先行車両Ｖahの実空間上の横幅を算出するようになっている。
【００８０】
また、検出手段１１は、上記の先行車両Ｖahの検出処理を第１距離画像ＴZ１と第２距離画像ＴZ２についてそれぞれ行うようになっている。そのため、本実施形態では、先行車両Ｖahの検出結果が、第１距離画像ＴZ１に基づくものと第２距離画像ＴZ２に基づくものの２通り得られる。
【００８１】
なお、検出手段１１は、検出した先行車両Ｖahが自車両の前方から離脱してさらにその前方の車両が新たに先行車両となったり、自車両と先行車両との間に他の車両が割り込んできて当該他の車両が新たな先行車両となることによる先行車両の交替を検出できるようになっている。
【００８２】
選択手段１２は、上記のように検出手段１１により検出された第１距離画像ＴZ１に基づく物体の検出結果と第２距離画像ＴZ２に基づく物体の検出結果のいずれの結果を採用するかを選択するようになっている。
【００８３】
また、選択手段１２は、検出手段１１が基準画像ＴO中に検出した各物体のうち、特定の物体を基準として選択を行うようになっており、本実施形態では、先行車両Ｖahを基準とするように構成されている。なお、基準とする物体は、先行車両Ｖah以外の車両や他の物体とすることも可能である。
【００８４】
本実施形態では、選択手段１２は、後述する４つの条件に従って、第１距離画像ＴZ１に基づく物体の検出結果と第２距離画像ＴZ２に基づく物体の検出結果のいずれか或いは両方を棄却し、両方の検出結果がともに棄却されずに残った場合には、後述する第５条件に従っていずれを採用するかの選択を行うようになっており、後で詳しく説明する。
【００８５】
なお、本実施形態では、選択手段１２は、前回のサンプリング周期で選択した検出結果における先行車両と今回のサンプリング周期で選択した検出結果における先行車両とが同一の物体である確率を算出するなどして、整合性を保ちながら先行車両Ｖahを追跡するようになっている。
【００８６】
選択手段１２は、上記のようにして選択した検出結果における各物体や先行車両Ｖahの情報をそれぞれメモリに保存するとともに、必要に応じて車両用環境認識装置１の外部に出力するようになっている。
【００８７】
次に、本実施形態に係る車両用環境認識装置１の作用について説明する。
【００８８】
車両用環境認識装置１の認識手段１０の検出手段１１は、上記のように、ステレオ撮像手段２で撮像された基準画像ＴOと比較画像ＴCに対して第１ステレオマッチング手段７ａでステレオマッチング処理を施して形成された第１距離画像ＴZ１に基づいて、基準画像ＴO中に撮像された先行車両Ｖahを含む物体を検出する。この場合に検出された先行車両Ｖahを先行車両Ｖah１と表す。
【００８９】
また、検出手段１１は、ステレオ撮像手段２で撮像された基準画像ＴOと比較画像ＴCに対して前処理手段９でエッジ検出処理を施して形成された基準エッジ画像ＴＥOと比較エッジ画像ＴＥCとに対して、第２ステレオマッチング手段７ｂでステレオマッチング処理を施して形成された第２距離画像ＴZ２に基づいて、基準画像ＴO中に撮像された先行車両Ｖahを含む物体を検出する。この場合に検出された先行車両Ｖahを先行車両Ｖah２と表す。
【００９０】
通常の撮像環境、すなわち晴天時や曇天時、或いは雨天時や夜間等であっても、図２に示した基準画像ＴOのように基準画像ＴOや比較画像ＴCに物体が撮像される通常の状態においては、検出手段１１により、第１距離画像ＴZ１や第２距離画像ＴZ２に基づいて図１１に示したように基準画像ＴO中に先行車両Ｖahや他の物体を的確に検出することができる。
【００９１】
しかし、前述したように、メインカメラ２ａとサブカメラ２ｂの一方には逆光が入射し、他方には逆光が入射しないような撮像環境では、メインカメラ２ａとサブカメラ２ｂの明るさのバランスが崩れて、例えば図１８（Ａ）、（Ｂ）に示したように基準画像ＴOや比較画像ＴCに全体的な輝度の差が生じる。
【００９２】
そして、このような基準画像ＴOと比較画像ＴCを用いて第１ステレオマッチング手段７ａでステレオマッチング処理を行うと、前述した（１）式に従って算出されるＳＡＤ値が大きな値になり閾値以下の値とならない。そのため、図１９に示したようなほとんど視差ｄｐのデータがない第１距離画像ＴZ１が形成されるが、検出手段１１は、このような第１距離画像ＴZ１に基づいた場合、先行車両Ｖah（Ｖah１）を検出することができない。
【００９３】
一方、図１８（Ａ）、（Ｂ）に示したように基準画像ＴOや比較画像ＴCに対して前処理手段９（図１参照）で基準画像ＴOと比較画像ＴCに対してエッジ検出処理を施すと、図４（Ａ）、（Ｂ）に示すような基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCが得られる。そして、このような基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを用いて第２ステレオマッチング手段７ｂでステレオマッチング処理を行うと、図５に示したような先行車両Ｖahのエッジ部分を的確に抽出した第２距離画像ＴZ２が形成される。検出手段１１は、このような第２距離画像ＴZ２に基づけば、先行車両Ｖah（Ｖah２）を的確に検出することができる。
【００９４】
このように、基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを用いたステレオマッチング処理は、逆光等の影響でメインカメラ２ａとサブカメラ２ｂの明るさのバランスが崩れた場合でも有効に先行車両Ｖah等の特定の対象物を検出することを可能にするものであるが、一方で、下記のような問題点を有している。
【００９５】
すなわち、（ａ）エッジ検出処理を行うことで基準画像ＴOや比較画像ＴCのノイズ成分が増幅される。そのため、例えば夜間にステレオ撮像手段２のゲインを上昇させたような場合には基準画像ＴOや比較画像ＴCのノイズ成分が増加するが、それらがエッジ検出処理により増幅されるため、ステレオマッチング処理におけるミスマッチングを大量に発生させる場合がある。
【００９６】
（ｂ）エッジ検出処理で得られる情報は、基準画像ＴOや比較画像ＴC中の画素の輝度値と、同一画像中の隣接する画素或いはさらにそれに隣接する画素の輝度値との差の情報であるため、例えば０〜２５５の輝度階調における輝度値の差が２０であった場合、輝度値１００が１２０になった差２０であるのか、輝度値２３０が２５０になった差２０であるのかが分からなくなる。すなわち、各画像における輝度値のオフセット量の情報が失われてしまう。また、１画素幅或いは２画素幅の輝度値の変化しか見ていないため、周波数成分のうちの低周波数側の成分の情報も失われてしまう。
【００９７】
そのため、ミスマッチングを生じ易くなるとともに、図１３に示すように、先行車両Ｖahの陰になる等して自車両Ａからの見え方がメインカメラ２ａとサブカメラ２ｂとで異なる領域Ｓで特にミスマッチングを生じ易い。
【００９８】
（ｃ）上記のように情報量が減るため、構造や模様等に乏しい壁やアスファルトの道路面等に対して、有効な情報が得られ難い。
【００９９】
基準エッジ画像ＴＥOと比較エッジ画像ＴＥCを用いたステレオマッチング処理には、このような問題点があるため、常時、第２距離画像ＴZ２のみを用いて先行車両Ｖah等の検出を行うことは避けた方がよい。また、前述したように、通常の撮像環境においては、基準画像ＴOと比較画像ＴCに基づいてステレオマッチング処理により形成される第１距離画像ＴZ１を用いれば、十分かつ的確に先行車両Ｖah等の検出を行うことが可能である。
【０１００】
本実施形態では、上記のような第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出の長所と短所とを踏まえた上で、選択手段１２において、下記の４つの条件に従って、第１距離画像ＴZ１に基づく物体の検出結果と第２距離画像ＴZ２に基づく物体の検出結果のいずれか或いは両方を棄却し、両方の検出結果がともに棄却されずに残った場合には、第５条件に従っていずれを採用するかの選択を行うようになっている。
【０１０１】
［第１条件］
［１］前回の物体検出時に選択した検出結果に基づいて算出される物体（本実施形態では先行車両Ｖah）の横幅と比較して、今回検出された物体の横幅が所定の第１閾値ＴＨ１以上に狭くなっている場合には、当該検出結果を棄却する。
【０１０２】
すなわち、選択手段１２は、前回の物体検出時で例えば第１距離画像ＴZ１に基づく物体の検出結果を選択した場合には、検出手段１１が検出した先行車両Ｖah１の実空間上の横幅Ｗoldをメモリに記憶しておく。
【０１０３】
そして、今回の物体検出時に、検出手段１１が第１距離画像ＴZ１に基づいて検出した先行車両Ｖah１の実空間上の横幅Ｗ１が、前回の横幅Ｗoldよりも第１閾値ＴＨ１以上に狭くなっている場合、すなわち、
Ｗold−Ｗ１≧ＴＨ１    …（１３）
を満たす場合には、今回の物体検出時における第１距離画像ＴZ１に基づく物体の検出結果を棄却する。このような場合には、第１距離画像ＴZ１に基づく物体の検出結果の信頼性が乏しいためである。
【０１０４】
また、同様に、選択手段１２は、今回の物体検出時に検出手段１１が第２距離画像ＴZ２に基づいて検出した先行車両Ｖah２の実空間上の横幅Ｗ２が、前回の横幅Ｗoldよりも第１閾値ＴＨ１以上に狭くなっている場合、すなわち、
Ｗold−Ｗ２≧ＴＨ１    …（１４）
を満たす場合には、今回の物体検出時における第２距離画像ＴZ２に基づく物体の検出結果を棄却する。このような場合には、第２距離画像ＴZ２に基づく物体の検出結果の信頼性が乏しいためである。
【０１０５】
この場合、第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出がともに棄却される場合、一方のみが棄却される場合、または両者がともに棄却されずに残る場合があり得る。
【０１０６】
［第２条件］
［２］前回の物体検出時に選択した検出結果に基づいて算出される物体の自車両Ａとの距離と比較して、今回検出された当該物体の自車両Ａとの距離が所定の第２閾値ＴＨ２以上に変化している場合には当該検出結果を棄却する。
【０１０７】
すなわち、選択手段１２は、前回の物体検出時で例えば第１距離画像ＴZ１に基づく物体の検出結果を選択した場合には、検出手段１１が検出した先行車両Ｖah１の自車両Ａとの第１距離Ｚ１を前回の距離Ｚoldとしてメモリに記憶しておく。
【０１０８】
そして、今回の物体検出時に、検出手段１１が第１距離画像ＴZ１に基づいて検出した先行車両Ｖah１の自車両Ａとの第１距離Ｚ１が、前回の距離Ｚoldよりも第２閾値ＴＨ２以上に変化している場合、すなわち、
｜Ｚold−Ｚ１｜≧ＴＨ２    …（１５）
を満たす場合には、今回の物体検出時における第１距離画像ＴZ１に基づく物体の検出結果を棄却する。このような場合には、第１距離画像ＴZ１に基づく物体の検出結果の信頼性が乏しいためである。
【０１０９】
また、同様に、選択手段１２は、今回の物体検出時に検出手段１１が第２距離画像ＴZ２に基づいて検出した先行車両Ｖah２の自車両Ａとの第２距離Ｚ２が、前回の距離Ｚoldよりも第２閾値ＴＨ２以上に変化している場合、すなわち、
｜Ｚold−Ｚ２｜≧ＴＨ２    …（１６）
を満たす場合には、今回の物体検出時における第２距離画像ＴZ２に基づく物体の検出結果を棄却する。このような場合には、第２距離画像ＴZ２に基づく物体の検出結果の信頼性が乏しいためである。
【０１１０】
この場合も、第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出がともに棄却される場合、一方のみが棄却される場合、または両者がともに棄却されずに残る場合があり得る。
【０１１１】
［第３条件］
［３］第１距離画像ＴZ１に基づく物体の検出結果と第２距離画像ＴZ２に基づく物体の検出結果のうち、一方の検出結果において物体が検出されている基準画像ＴO上の位置に他方の検出結果では物体が検出されていない場合に、当該一方の検出結果における当該物体の距離画像上の検出位置に所定の第３閾値ＴＨ３以上の個数の視差ｄｐまたは距離Ｚのデータが存在しない場合には、両方の検出結果をともに棄却する。
【０１１２】
すなわち、今回の物体検出時に、例えば基準エッジ画像ＴＥOと比較エッジ画像ＴＥCに基づく物体検出で図５に示したような第２距離画像ＴZ２が得られ、図１８（Ａ）に示した基準画像ＴO上に、図１４に示すように先行車両Ｖah２が検出されたとする。また、基準画像ＴOと比較画像ＴCに基づく物体検出で図１９に示したような第１距離画像ＴZ１が得られ、図１４に示した基準画像ＴO上の先行車両Ｖah２が検出された位置には先行車両Ｖah１が検出されなかったとする。
【０１１３】
この場合、選択手段１２は、図１５に示すように、第２距離画像ＴZ２上に図１４に示した先行車両Ｖah２の検出位置（枠線）をあてはめて、その中に有効なデータとして存在する第２視差ｄｐ２の個数（第２距離画像ＴZ２を有効な第２距離Ｚ２を割り当てて形成した場合には第２距離Ｚ２の個数）をカウントする。
【０１１４】
そして、有効な第２視差ｄｐ２（第２距離Ｚ２）の個数が所定の第３閾値ＴＨ３以上存在すれば、第１距離画像ＴZ１に基づく物体の検出結果のみが棄却され、第２距離画像ＴZ２に基づく物体の検出結果は残る。また、有効な第２視差ｄｐ２（第２距離Ｚ２）の個数が所定の第３閾値ＴＨ３未満であれば、第１距離画像ＴZ１に基づく物体の検出結果と第２距離画像ＴZ２に基づく物体の検出結果の両方が、ともに棄却される。
【０１１５】
これは、一方の検出結果において物体（先行車両Ｖah）が検出されない状況において、他方の検出結果でたとえ物体が検出されても、検出のもととなる距離画像ＴZにおける視差ｄｐや距離Ｚの有効なデータが少なければ、検出された物体の情報の信頼性が乏しいと考えられるためである。
【０１１６】
［第４条件］
［４］第１距離画像ＴZ１が基準画像ＴOおよび比較画像ＴCに基づいて形成されたものであり、第２距離画像ＴZ２が基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCに基づいて形成されたものである場合であって、第１距離画像ＴZ１に基づいて算出される物体の自車両Ａとの距離Ｚが、第２距離画像ＴZ２に基づいて算出される物体の自車両Ａとの距離Ｚより小さい場合において、当該物体の第１距離画像ＴZ１上の検出位置における視差ｄｐまたは第１距離のデータの個数が所定の第４閾値ＴＨ４未満であり、かつ、当該物体の第２距離画像ＴZ２上の検出位置における視差ｄｐまたは距離Ｚのデータの個数が所定の第５閾値ＴＨ５より多い場合には、第１距離画像ＴZ１に基づく物体の検出結果を棄却する。
【０１１７】
これは、第１距離画像ＴZ１が基準画像ＴOおよび比較画像ＴCに基づいて形成されたものであり、第２距離画像ＴZ２が基準エッジ画像ＴＥOおよび比較エッジ画像ＴＥCに基づいて形成されたものである場合に、まれに生じる現象であるが、図１６（Ａ）、（Ｂ）に示すように、第２距離画像ＴZ２に基づいて検出される先行車両Ｖah２（図１６（Ｂ）参照）よりも、第１距離画像ＴZ１に基づいて検出される先行車両Ｖah１（図１６（Ａ）参照）の方が原点Ｏにある図示しない自車両Ａに近い位置に検出される場合がある。
【０１１８】
この場合、選択手段１２は、図１５に示した場合と同様に、第２距離画像ＴZ２上に先行車両Ｖah２の検出位置（枠線）をあてはめてその中に有効なデータとして存在する第２視差ｄｐ２の個数（第２距離画像ＴZ２を有効な第２距離Ｚ２を割り当てて形成した場合には第２距離Ｚ２の個数）をカウントし、有効な第２視差ｄｐ２の個数が所定の第５閾値ＴＨ５より多いか否かを判断する。有効な第２視差ｄｐ２の個数が所定の第５閾値ＴＨ５以下であれば、第５条件は適用されず、第１距離画像ＴZ１に基づく物体の検出結果は棄却されない。
【０１１９】
また、有効な第２視差ｄｐ２の個数が所定の第５閾値ＴＨ５より多い場合、選択手段１２は、続いて、同様にして第１距離画像ＴZ１上に先行車両Ｖah１の検出位置をあてはめてその中に有効なデータとして存在する第１視差ｄｐ１の個数（第１距離画像ＴZ１を有効な第１距離Ｚ１を割り当てて形成した場合には第１距離Ｚ１の個数）をカウントし、有効な第１視差ｄｐ１の個数が所定の第４閾値ＴＨ４未満であるか否かを判断する。有効な第１視差ｄｐ１の個数が所定の第１閾値ＴＨ４より多ければ、第５条件は適用されず、第１距離画像ＴZ１に基づく物体の検出結果は棄却されない。
【０１２０】
これは、第４条件を満たすような検出結果である場合に、第１距離画像ＴZ１に基づく物体の検出結果が仮に正しいとすると、自車両Ａに近い位置に先行車両Ｖah等の物体が存在するのにそれより遠い位置にその物体のエッジが検出されるのは矛盾であり、有効な第１視差ｄｐ１のデータの個数が少ない第１距離画像ＴZ１に基づく物体の検出結果を正しいとすることが誤りであると考えられるためである。
【０１２１】
［第５条件］
［５］上記の第１条件から第４条件によっても第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出のいずれも棄却されなかった場合には、物体の第１距離画像ＴZ１上の検出位置における視差ｄｐまたは距離Ｚのデータの個数と、第２距離画像ＴZ２上の検出位置における視差ｄｐまたは距離Ｚのデータの個数のうち、少ない方の検出結果を棄却する。
【０１２２】
これは、上記第１条件から第４条件を第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出がいずれもクリアした場合には、距離画像ＴZ上に先行車両Ｖahの検出位置をあてはめた中の有効な視差ｄｐのデータの個数（距離画像ＴZを有効な距離Ｚを割り当てて形成した場合には距離Ｚの個数）が多い方を採用し、少ない方を棄却することを意味している。
【０１２３】
なお、第５条件の代わりに、例えば、第１距離画像ＴZ１を用いた物体検出と第２距離画像ＴZ２を用いた物体検出が上記の第１条件から第４条件をクリアした場合には、第１距離画像ＴZ１を用いた物体検出を優先して採用する、すなわち第２距離画像ＴZ２を用いた物体検出を棄却するように構成することも可能である。
【０１２４】
以上のように、本実施形態に係る車両用環境認識装置１によれば、基準画像ＴO中に撮像された物体を検出して自車両Ａの周囲の環境を認識する際に、例えば基準画像ＴOと比較画像ＴCに基づいてステレオマッチング処理により第１距離画像ＴZ１を形成する系と、基準画像ＴOと比較画像ＴCにエッジ検出処理等の前処理が施されて形成された２つの画像に基づいてステレオマッチング処理により第２距離画像ＴZ２を形成する系との２系統のステレオマッチング手段（第１、第２ステレオマッチング手段７ａ、７ｂ）を設けて、異なる系統で形成された第１、第２距離画像ＴZ１、ＴZ２に基づいてそれぞれ先行車両Ｖah等の物体検出を行い、選択手段１２でそのうちの良好な検出結果を選択するように構成した。
【０１２５】
そのため、例えば図１８（Ａ）、（Ｂ）に示した基準画像ＴOと比較画像ＴCを用いた場合に、一対のカメラ２ａ、２ｂの明るさのバランスが崩れていて先行車両Ｖah等の物体を検出できないような環境下においても、別の前処理を施して別系統のステレオマッチング手段で有効にステレオマッチング処理を行って得られた距離画像ＴZを用いて物体を的確に検出して自車両の周囲の環境を的確に認識することが可能となる。
【０１２６】
また、そのため、例えば一対のカメラ２ａ、２ｂの一方にのみ逆光が差し込むような環境内においても、先行車両Ｖahを見失うことなく（ロストすることなく）、検出し続けることが可能となり、先行車両Ｖahに対する自動追従制御等を有効に機能させることが可能となる。
【０１２７】
さらに、異なる系統で形成された第１、第２距離画像ＴZ１、ＴZ２のいずれに基づく検出結果を採用するかを選択する際に、上記の第１条件から第５条件をクリアしたものを採用するように構成することにより、本実施形態に係る車両用環境認識装置１のステレオマッチング処理やそれにより検出された物体の情報の信頼性を向上させることが可能となる。
【０１２８】
なお、本実施形態においては、第１ステレオマッチング手段７ａで前処理が施されていないいわば生の基準画像ＴOと比較画像ＴCに対してステレオマッチング処理を行う場合について説明したが、第１ステレオマッチング手段７ａに入力する画像を、基準画像ＴOと比較画像ＴCに対して前処理が施されて形成された２つの画像とすることも可能である。その際、基準画像ＴOと比較画像ＴCに対する前処理は、第１ステレオマッチング手段７ａと第２ステレオマッチング手段７ｂとで互いに異なる前処理とされることが必要である。
【図面の簡単な説明】
【０１２９】
【図１】本実施形態に係る車両用環境認識装置の構成を示すブロック図である。
【図２】基準画像の一例を示す図である。
【図３】図２の基準画像等に基づいて形成された第１距離画像を示す図である。
【図４】（Ａ）図１８（Ａ）の基準画像から得られる基準エッジ画像を示す写真であり、（Ｂ）図１８（Ｂ）の比較画像から得られる比較エッジ画像を示す写真である。
【図５】図４（Ａ）、（Ｂ）の基準エッジ画像と比較エッジ画像から形成される第２距離画像を示す写真である。
【図６】距離画像を分割する短冊状の区分を説明する図である。
【図７】図６の各区分ごとに作成されるヒストグラムを説明する図である。
【図８】区分ごとの距離を実空間上にプロットした各点を表す図である。
【図９】図８の各点がグループ化されて形成される各グループを表す図である。
【図１０】図９の各グループの各点を直線近似して検出された物体の例を表す図である。
【図１１】基準画像上に枠線で包囲されて検出された各物体を表す図である。
【図１２】実空間上の自車両の走行軌跡、進行路および先行車両を示す図である。
【図１３】実空間上で先行車両の陰になる領域を示す図である。
【図１４】図１８（Ａ）の基準画像上に検出された先行車両を包囲する枠線を示す写真である。
【図１５】図１４の枠線を図５の第２距離画像にあてはめた写真である。
【図１６】（Ａ）原点に近い位置に検出された先行車両を示す図であり、（Ｂ）（Ａ）よりも遠い位置に検出された先行車両を示す図である。
【図１７】ステレオマッチング処理の手法を説明する図である。
【図１８】（Ａ）基準画像の一例を示す写真であり、（Ｂ）（Ａ）の基準画像より全体的に暗く撮像された比較画像を示す写真である。
【図１９】図１８（Ａ）、（Ｂ）の基準画像と比較画像にステレオマッチング処理を行って得られる距離画像を示す写真である。
【符号の説明】
【０１３０】
１  車両用環境認識装置
２  ステレオ撮像手段
２ａ、２ｂ  一対のカメラ（メインカメラ、サブカメラ）
７ａ  第１ステレオマッチング手段
７ｂ  第２ステレオマッチング手段
１１  検出手段
１２  選択手段
Ａ  自車両
ｄｐ  視差
ｄｐ１  第１視差
ｄｐ２  第２視差
ＰＢO  画素ブロック
ＴO  基準画像
ＴC  比較画像
ＴＥO、ＴＥC  前処理が施された２つの画像（基準エッジ画像、比較エッジ画像）
ＴＨ１  第１閾値
ＴＨ２  第２閾値
ＴＨ３  第３閾値
ＴＨ４  第４閾値
ＴＨ５  第５閾値
ＴZ１  第１距離画像
ＴZ２  第２距離画像
Ｖah  特定の物体（先行車両）
Ｗ  物体の横幅
Ｚ  距離
Ｚ１  第１距離
Ｚ２  第２距離
【図１】
0004956452.tif 000003
【図２】
0004956452.tif 000004
【図３】
0004956452.tif 000005
【図６】
0004956452.tif 000006
【図７】
0004956452.tif 000007
【図８】
0004956452.tif 000008
【図９】
0004956452.tif 000009
【図１０】
0004956452.tif 000010
【図１１】
0004956452.tif 000011
【図１２】
0004956452.tif 000012
【図１３】
0004956452.tif 000013
【図１６】
0004956452.tif 000014
【図１７】
0004956452.tif 000015
【図４】
0004956452.tif 000016
【図５】
0004956452.tif 000017
【図１４】
0004956452.tif 000018
【図１５】
0004956452.tif 000019
【図１８】
0004956452.tif 000020
【図１９】
0004956452.tif 000021