(57)【要約】【課題】ステレオマッチングを行う場合でも広いダイナミックレンジで特定物を特定する。【解決手段】車外環境認識装置は、コンピュータが、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像２１４を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像２２４を生成する第２距離画像生成部と、第１距離画像の任意のブロック、および、任意のブロックに対応する第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像２３４を生成する合成画像生成部、として機能する。【選択図】図９
2019168821.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、
前記複数の撮像装置において前記第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、
前記複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、
前記複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、
前記第１距離画像の任意のブロック、および、前記任意のブロックに対応する前記第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、
として機能する車外環境認識装置。
【請求項２】
前記ブロックが視差を有する場合、前記ブロックに視差が無い場合と比べ、前記距離の信頼度が高い請求項１に記載の車外環境認識装置。
【請求項３】
前記ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、前記ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、前記距離の信頼度が高い請求項１または２に記載の車外環境認識装置。
【請求項４】
前記ブロックの輝度差累積が所定値以上である場合、前記ブロックの輝度差累積が所定値未満である場合と比べ、前記距離の信頼度が高い請求項１から３のいずれか１項に記載の車外環境認識装置。
【請求項５】
前記ブロックの輝度差累積が高い方が前記距離の信頼度が高い請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記合成画像生成部は、前記ブロックの輝度差累積が同値の場合、前記第２距離画像のブロックを抽出する請求項１から５のいずれか１項に記載の車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３３４９０６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記のような衝突回避制御やクルーズコントロールを実現するためには、車両前方の車外環境を、露光を調整することで適切に取得し、自車両の進行方向に存在する立体物が先行車両等の特定物であるか否か特定しなければならない。しかし、いくら露光を調整したとしても、撮像装置で取得された画像においては、日向が白飛びしたり、日陰が黒つぶれしたりして、一部の画像が適切に特定できない場合がある。
【０００５】
このように明るい画像と暗い画像のどちらの階調も有効に取得するため、より広いダイナミックレンジを表現可能なＨＤＲ（High Dynamic Range）合成を採用することができる。しかし、撮像装置が一つ（単眼）の場合には、ＨＤＲ合成が有効に機能するが、複数の撮像装置（複眼）を要するステレオマッチングにおいて、複数の撮像装置それぞれで独立してＨＤＲ合成を実行すると、却ってミスマッチ率が高くなる場合がある。
【０００６】
例えば、ダイナミックレンジを一旦広げて（例えば２５６→１０２４）、圧縮する（例えば、１０２４→２５６）際に、ノイズ特性に基づきそれぞれの画像で個別に階調を調整してしまうと、左右の画像の同期がとれず、同一の立体物の部位同士がマッチングしなくなってしまう。
【０００７】
本発明は、このような課題に鑑み、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能な車外環境認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、位置を異にする複数の撮像装置において所定の第１露光時間で撮像した複数の第１輝度画像を取得する第１輝度画像取得部と、複数の撮像装置において第１露光時間より短い第２露光時間で撮像した複数の第２輝度画像を取得する第２輝度画像取得部と、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成部と、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成部と、第１距離画像の任意のブロック、および、任意のブロックに対応する第２距離画像のブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成部、として機能する。
【０００９】
ブロックが視差を有する場合、ブロックに視差が無い場合と比べ、距離の信頼度が高いとしてもよい。
【００１０】
ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、距離の信頼度が高いとしてもよい。
【００１１】
ブロックの輝度差累積が所定値以上である場合、ブロックの輝度差累積が所定値未満である場合と比べ、距離の信頼度が高いとしてもよい。
【００１２】
ブロックの輝度差累積が高い方が距離の信頼度が高いとしてもよい。
【００１３】
合成画像生成部は、ブロックの輝度差累積が同値の場合、第２距離画像のブロックを抽出するとしてもよい。
【発明の効果】
【００１４】
本発明によれば、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】車外環境認識システムの接続関係を示したブロック図である。
【図２】露光時間と画像との関係を示した説明図である。
【図３】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図４】車外環境認識処理の流れを示すフローチャートである。
【図５】第１輝度画像を示した説明図である。
【図６】第２輝度画像を示した説明図である。
【図７】第１距離画像の生成態様を示した説明図である。
【図８】第２距離画像の生成態様を示した説明図である。
【図９】合成画像の生成態様を示した説明図である。
【図１０】距離有無判定処理の流れを示したフローチャートである。
【図１１】信頼度が高いブロックを抽出する条件を示した説明図である。
【図１２】輝度差累積判定処理の流れを示したフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００１８】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。
【００１９】
また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、所謂パターンマッチングを用いて、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を有する距離画像を生成する。かかるパターンマッチングおよび距離画像については、後程、詳述する。
【００２０】
また、車外環境認識装置１２０は、輝度画像に基づく輝度値（カラー値）、および、距離画像に基づいて算出された、自車両１との相対距離を含む実空間における三次元空間の位置情報を用いて、まず路面を特定し、特定した路面上に位置し、カラー値が等しく三次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１の前方の検出領域における立体物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。
【００２１】
また、車外環境認識装置１２０は、このように特定物を特定すると、特定物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。なお、上記相対距離は、距離画像におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで求められる。ここで、ステレオ法は、三角測量法を用いることで、立体物の視差からその立体物の撮像装置１１０に対する相対距離を導出する方法である。このように、二次元の視差情報から三次元の位置情報を得る手法をステレオマッチングということもある。
【００２２】
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。
【００２３】
上述したように、車外環境認識システム１００では、２つの撮像装置１１０それぞれから輝度画像に基づき、ステレオマッチングを行うことで先行車両等の立体物の三次元位置を特定している。しかし、撮像装置１１０で撮像された画像によっては、日向が白飛びしたり、日陰が黒つぶれしたりして、一部の画像を取得できず、そこに位置するはずの立体物を適切に特定できない場合がある。
【００２４】
図２は、露光時間と画像との関係を示した説明図である。例えば、走行中、トンネルに入った場合、露光時間を長く設定することで、図２（ａ）のように、トンネル内の領域２００における道路や立体物を適切に取得できる。しかし、トンネルの出口より先の領域２０２では日光が強く白飛びしている。そうすると、図２（ａ）の領域２０２の情報を得ることができない。
【００２５】
ここで、図２（ａ）の領域２０２の情報を得るべく、露光時間を短く設定すると、図２（ｂ）のように、トンネルの出口より先の領域２０２における道路や立体物を適切に取得できる。一方で、図２（ａ）では取得できていたトンネル内の領域２００が黒つぶれして情報を得ることができなくなる。
【００２６】
このように明るい画像と暗い画像のどちらの階調も有効に取得するため、より広いダイナミックレンジを表現可能なＨＤＲ合成を採用することができる。しかし、複数の撮像装置１１０を要するステレオマッチングにおいて、複数の撮像装置１１０それぞれで独立してＨＤＲ合成を実行すると、却ってミスマッチ率が高くなる場合がある。そこで、本実施形態では、撮像態様を改良し、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定する。
【００２７】
（車外環境認識装置１２０）
図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。
【００２８】
Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。
【００２９】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、第１輝度画像取得部１６０、第２輝度画像取得部１６２、第１距離画像生成部１６４、第２距離画像生成部１６６、合成画像生成部１６８、立体物特定部１７０としても機能する。以下、本実施形態に特徴的な、距離画像（合成画像）の生成処理について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。
【００３０】
（車外環境認識処理）
図４は、車外環境認識処理の流れを示すフローチャートである。車外環境認識処理では、第１輝度画像取得部１６０により、２つの撮像装置１１０において所定の第１露光時間で撮像した２つの第１輝度画像を取得する第１輝度画像取得処理（Ｓ２００）が実行され、第２輝度画像取得部１６２により、２つの撮像装置１１０において第１露光時間より短い第２露光時間で撮像した２つの第２輝度画像を取得する第２輝度画像取得処理（Ｓ２０２）が実行される。
【００３１】
次に、第１距離画像生成部１６４により、複数の第１輝度画像をパターンマッチングして第１距離画像を生成する第１距離画像生成処理（Ｓ２０４）が実行され、第２距離画像生成部１６６により、複数の第２輝度画像をパターンマッチングして第２距離画像を生成する第２距離画像生成処理（Ｓ２０６）が実行される。
【００３２】
続いて、合成画像生成部１６８により、第１距離画像の任意のブロック、および、この任意のブロックに対応する第２距離画像のブロックの２つのブロックのうち、距離の信頼度が高いブロックを抽出して合成画像を生成する合成画像生成処理（Ｓ２０８）が実行される。そして、立体物特定部１７０により、合成画像に基づいて立体物を特定する立体物特定処理（Ｓ２１０）が実行される。以下、各処理を詳述する。
【００３３】
（第１輝度画像取得処理Ｓ２００）
第１輝度画像取得部１６０は、２つの撮像装置１１０それぞれの露光時間（撮像素子がレンズを通して光に晒される時間）を、車外環境の比較的暗い部分（例えば、日陰）が黒つぶれすることなく、そのエッジを取得することができる所定の第１露光時間（長露光時間）に設定し、撮像された２つの第１輝度画像を取得する。
【００３４】
図５は、第１輝度画像を示した説明図である。図５（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第１輝度画像２１０であり、図５（ｂ）は、右側に配置された撮像装置１１０で取得された第１輝度画像２１２である。ここでは、比較的長い露光時間で撮像しているので、トンネルの出口より先の領域２０２では日光が強く白飛びしているものの、トンネル内の領域２００の画像は適切に取得されている。
【００３５】
（第２輝度画像取得処理Ｓ２０２）
第２輝度画像取得部１６２は、２つの撮像装置１１０それぞれの露光時間を、車外環境の比較的明るい部分（例えば、日向）が白飛びすることなく、そのエッジを取得することができる所定の第２露光時間（短露光時間）に設定し、撮像された複数の第２輝度画像を取得する。かかる第２露光時間は、露出を抑えるため、第１露光時間より短い。また、第１輝度画像取得部１６０と第２輝度画像取得部１６２との撮像間隔は、画像間の同時性を担保するため、極短時間であることが望ましい。
【００３６】
図６は、第２輝度画像を示した説明図である。図６（ａ）は、略水平方向に離隔して配置された撮像装置１１０のうち、左側に配置された撮像装置１１０で取得された第２輝度画像２２０であり、図６（ｂ）は、右側に配置された撮像装置１１０で取得された第２輝度画像２２２である。ここでは、比較的短い露光時間で撮像しているので、トンネル内の領域２００が黒つぶれしているものの、トンネルの出口より先の領域２０２の画像は適切に取得される。
【００３７】
（第１距離画像生成処理Ｓ２０４）
第１距離画像生成部１６４は、第１輝度画像取得部１６０が取得した２つの第１輝度画像２１０、２１２を用い、パターンマッチングによって視差情報を有する１の第１距離画像を生成する。
【００３８】
図７は、第１距離画像の生成態様を示した説明図である。第１距離画像生成部１６４は、例えば、図７（ａ）に示された第１輝度画像２１０と、図７（ｂ）に示された第１輝度画像２１２とのパターンマッチングを行う。
【００３９】
具体的に、２つの第１輝度画像２１０、２１２のうち、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索し（パターンマッチング）、視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画像横方向を示し、垂直は、撮像した画像の画像縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。
【００４０】
車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。こうして、図７（ｃ）のような第１距離画像２１４が生成される。
【００４１】
ここでは、図７（ａ）、図７（ｂ）に示した第１輝度画像２１０、２１２においてトンネル内の領域２００の画像が適切に取得されているので、図７（ｃ）の第１距離画像２１４においても、トンネル内の領域２００の視差情報が適切に導出される。ただし、第１輝度画像２１０、２１２においてトンネルの出口より先の領域２０２の画像は白飛びしているので、その領域２０２のパターンマッチングでは距離の信頼度が低くなる。
【００４２】
（第２距離画像生成処理Ｓ２０６）
第２距離画像生成部１６６は、第２輝度画像取得部１６２が取得した２つの第２輝度画像を用い、パターンマッチングによって視差情報を有する１の第２距離画像を生成する。
【００４３】
図８は、第２距離画像の生成態様を示した説明図である。第２距離画像生成部１６６は、例えば、図８（ａ）に示された第２輝度画像２２０と、図８（ｂ）に示された第２輝度画像２２２のパターンマッチングを行う。そうすると、図８（ｃ）のような第２距離画像２２４が生成される。
【００４４】
ここでは、図８（ａ）、図８（ｂ）に示した第２輝度画像２２０、２２２においてトンネルの出口より先の領域２０２の画像が適切に取得されているので、図８（ｃ）の第２距離画像２２４においても、トンネル内の領域２００の視差情報が適切に導出される。なお、第２輝度画像２２０、２２２においてトンネル内の領域２００の画像は黒つぶれしているので、その領域２００のパターンマッチングでは距離の信頼度が低くなる。
【００４５】
（合成画像生成処理Ｓ２０８）
合成画像生成部１６８は、第１距離画像２１４および第２距離画像２２４を用い、第１距離画像２１４の任意のブロック、および、この任意のブロックに対応する第２距離画像２２４のブロックの２つのブロックのうち、距離の信頼度が高いブロックを抽出して１の合成画像を生成する。
【００４６】
図９は、合成画像の生成態様を示した説明図であり、図１０は、距離有無判定処理の流れを示したフローチャートであり、図１１は、信頼度が高いブロックを抽出する条件を示した説明図であり、図１２は、輝度差累積判定処理の流れを示したフローチャートである。
【００４７】
合成画像生成部１６８は、例えば、図９（ａ）に示された第１距離画像２１４から任意のブロック２３０を抽出する。次に、合成画像生成部１６８は、図９（ｂ）に示された第２距離画像２２４から、第１距離画像２１４の任意のブロック２３０に対応する（画像中で同一の位置にある）ブロック２３２を抽出する。かかる２つのブロック２３０、２３２それぞれについて、以下の３つのパラメータの信頼度を判定し、全てのパラメータについて信頼度が高いと判定されれば、そのブロックを「距離有り」と特定する。なお、パラメータの信頼度の条件を１つでも満たしていなければ、「距離無し」と判定する。
【００４８】
ここでは、まず、ブロックが視差を有する場合、ブロックに視差が無い場合と比べ、距離の信頼度が高いと判定する。したがって、図１０に示すように、合成画像生成部１６８は、抽出した２つのブロック２３０、２３２の一方に対し、ブロックが視差を有するか否か判定する（Ｓ３００）。その結果、合成画像生成部１６８は、抽出したブロックが視差を有する場合（Ｓ３００におけるＹＥＳ）、次のパラメータを判定し、視差が無い場合（Ｓ３００におけるＮＯ）、次のパラメータを判定することなく、「距離無し」と判定する（Ｓ３０２）。
【００４９】
次に、ブロックとの距離が距離閾値以下であるブロック数が所定数以上である場合、ブロックとの距離が距離閾値以下であるブロック数が所定数未満である場合と比べ、距離の信頼度が高いと判定する。したがって、合成画像生成部１６８は、まず、ブロックと、水平距離ｘ、（道路表面からの）高さｙおよび相対距離ｚが所定の距離閾値以下であるブロック同士をグループ化する（Ｓ３０４）。そして、合成画像生成部１６８は、グループ化したブロック群のブロック数（面積）が所定数以上であるか否か判定する（Ｓ３０６）。その結果、合成画像生成部１６８は、ブロック数が所定数以上であれば（Ｓ３０６におけるＹＥＳ）、次のパラメータを判定し、ブロック数が所定数未満であれば（Ｓ３０６におけるＮＯ）、次のパラメータを判定することなく、「距離無し」と判定する（Ｓ３０２）。
【００５０】
続いて、ブロックの輝度差累積（ＤＣＤＸ）が所定値以上である場合、ブロックの輝度差累積が所定値未満である場合と比べ、距離の信頼度が高いと判定する。したがって、合成画像生成部１６８は、まず、ブロックの輝度差累積を計算する（Ｓ３０８）。かかる輝度差累積は、水平方向（ｘ方向）の輝度差を累積したものであり、以下のようにして求めることができる。例えば、ブロックが、水平４画素×垂直４画素の１６画素であるとする。まず、輝度差累積は０に設定される。そして、１６画素全てについて、左右いずれか一方の画素（例えば、右の画素）との輝度の差分を求め、その値が、所定の輝度閾値以上であれば、輝度差累積に１ポイントを加える。したがって、輝度差累積の値は、ブロックの画素数が上限となり、０〜１６ポイントで表される。そして、ポイントが高ければ高いほど、輝度差が大きい、すなわち、エッジが強いと判断される。
【００５１】
次に、合成画像生成部１６８は、輝度差累積が所定値（例えば１）以上であるか否か判定する（Ｓ３１０）。その結果、合成画像生成部１６８は、抽出したブロックの輝度差累積が所定値以上であれば（Ｓ３１０におけるＹＥＳ）、「距離有り」と判定し（Ｓ３１２）、輝度差累積が所定値未満であれば（Ｓ３１０におけるＮＯ）、「距離無し」と判定する（Ｓ３０２）。
【００５２】
続いて、合成画像生成部１６８は、このような距離有無判定処理を、抽出した２つのブロック２３０、２３２のいずれに対しても行ったか否か判定する（Ｓ３１４）。その結果、距離有無判定処理をいずれに対しても行っていれば（Ｓ３１４におけるＹＥＳ）、合成画像生成部１６８は、距離有無判定を終了し、まだ、一方に対して行っていなければ（Ｓ３１４におけるＮＯ）、合成画像生成部１６８は、他方のブロックに対し、ステップＳ３００から処理を繰り返す。
【００５３】
このように、抽出した２つのブロック２３０、２３２について距離有無判定が終了すると、合成画像生成部１６８は、図１１のマトリクスに従って、抽出した２つのブロック２３０、２３２のうち、信頼度が高い一方のブロックを抽出する。
【００５４】
具体的に、合成画像生成部１６８は、図１１（ｂ）、図１１（ｃ）に示すように、２つのブロック２３０、２３２について、一方のブロックが「距離有り」の判定であり、他方のブロックが「距離無し」であれば、「距離有り」のブロックの方が、「距離無し」のブロックより距離の信頼度が高いとして、「距離有り」の判定を受けたブロックを抽出する。また、合成画像生成部１６８は、図１１（ｄ）に示すように、いずれのブロックも「距離無し」の判定であれば、いずれのブロックも抽出せず、そのブロックを距離情報なしと設定する。
【００５５】
また、合成画像生成部１６８は、図１１（ａ）に示すように、いずれのブロックも「距離有り」の判定であれば、輝度差累積に基づき、図１２に示す輝度差累積判定処理を行う。まず、合成画像生成部１６８は、「距離有り」と判定された２つのブロックの輝度差累積を参照し、輝度差累積の値が同値であるか否か判定し（Ｓ３５０）、輝度差累積の値が同値でなければ（Ｓ３５０におけるＮＯ）、輝度差累積が高いブロックの方が、輝度差累積が低いブロックより距離の信頼度が高いとして、輝度差累積の値が大きいブロックを抽出する（Ｓ３５２）。
【００５６】
また、輝度差累積の値が同値であれば（Ｓ３５０におけるＹＥＳ）、露光時間が短い第２距離画像２２４のブロックを優先して抽出する（Ｓ３５４）。ここで、輝度差累積が同値である場合に、第２距離画像２２４を強制的に抽出する理由は、露光時間は長ければ長いほど、不要な光が拡散したり、ノイズとして取得されるとともに、長時間の車両の移動により、画像がぶれやすいからである。
【００５７】
なお、ここでは、輝度差累積の値が同値であれば、第２距離画像２２４のブロックを抽出する例を挙げて説明したが、かかる場合に限らず、２つのブロックが「距離有り」と判定されれば、輝度差累積の値に限らず、第２距離画像２２４のブロックを抽出するとしてもよい。
【００５８】
このようにして、合成画像生成部１６８は、例えば、図９（ａ）の第１距離画像２１４のブロック２３０と、図９（ｂ）の第２距離画像２２４のブロック２３２とを比較し、一方のブロック（例えば、ここではブロック２３０）を抽出する。こうして、図９（ｃ）の合成画像２３４が生成される。
【００５９】
次に、合成画像生成部１６８は、合成画像２３４における検出領域内のブロック毎の視差情報を、上述したステレオ法を用いて、水平距離ｘ、高さｙおよび相対距離ｚを含む三次元の位置情報に変換する。
【００６０】
ここで、視差情報が、合成画像２３４における各ブロックの視差を示すのに対し、三次元の位置情報は、実空間における各ブロックの相対距離の情報を示す。また、視差情報が画素単位ではなくブロック単位、即ち複数の画素単位で導出されている場合、その視差情報はブロックに属する全ての画素の視差情報とみなして、画素単位の計算を実行することができる。かかる三次元の位置情報への変換については、特開２０１３−１０９３９１号公報等、既存の技術を参照できるので、ここでは、その詳細な説明を省略する。
【００６１】
（立体物特定処理Ｓ２１０）
立体物特定部１７０は、合成画像生成部１６８が生成した合成画像２３４に基づいて立体物を特定する。具体的に、立体物特定部１７０は、まず、合成画像２３４中の視差情報に基づき、水平距離ｘ、高さｙおよび相対距離ｚが所定の距離閾値以下である場合に、そのブロック同士をグループ化して立体物とする。そして、グループ化した立体物がいずれの特定物に対応するか特定する。例えば、立体物特定部１７０は、立体物が、車両らしい大きさ、形状、相対速度であり、かつ、後方の所定の位置にブレーキランプやハイマウントストップランプ等の発光源が確認された場合、その立体物を先行車両と特定する。
【００６２】
以上、説明したように、本実施形態では、露光時間を異にして複数（ここでは２）の距離画像の組み合わせを撮像し、露光時間毎にパターンマッチングを行って距離画像を生成し、その後、距離の信頼度に基づいて、複数の距離画像を合成し、１の合成画像を生成している。したがって、ステレオマッチングを行う場合でも広いダイナミックレンジで立体物を特定することが可能となる。
【００６３】
また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００６４】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００６５】
例えば、上述した実施形態では、第１露光時間と第２露光時間の２つの異なる露光時間で撮像する例を挙げて説明したが、かかる場合に限らず、３つ以上の露光時間それぞれに対して２つの輝度画像を生成し、それらをパターンマッチングして３つ以上の距離画像を生成し、その後、距離の信頼度に応じて、複数の距離画像を合成するとしてもよい。かかる構成により、露光時間を細分化することができ、より精度の高い距離画像（合成画像）を実現することが可能となる。
【００６６】
なお、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００６７】
本発明は、自車両の進行方向に存在する立体物を特定する車外環境認識装置に利用することができる。
【符号の説明】
【００６８】
１  自車両
１１０  撮像装置
１２０  車外環境認識装置
１６０  第１輝度画像取得部
１６２  第２輝度画像取得部
１６４  第１距離画像生成部
１６６  第２距離画像生成部
１６８  合成画像生成部
１７０  立体物特定部
２１４  第１距離画像
２２４  第２距離画像
２３４  合成画像
【図１】
2019168821.tif 000003
【図２】
2019168821.tif 000004
【図３】
2019168821.tif 000005
【図４】
2019168821.tif 000006
【図５】
2019168821.tif 000007
【図６】
2019168821.tif 000008
【図７】
2019168821.tif 000009
【図８】
2019168821.tif 000010
【図９】
2019168821.tif 000011
【図１０】
2019168821.tif 000012
【図１１】
2019168821.tif 000013
【図１２】
2019168821.tif 000014