(57)【要約】【課題】車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出する。【解決手段】車両の車幅方向に配置したステレオカメラＳＴ１の画像を第１ステレオ画像処理部３Ａで処理して水平方向の視差を算出し、距離画像を生成する。また、車高方向に配置したステレオカメラＳＴ２，ＳＴ３の画像を、それぞれ、第２ステレオ画像処理部３Ｂ，３Ｃで処理して垂直方向の視差を算出し、距離画像を生成する。そして、画像統合部４でステレオカメラＳＴ１，ＳＴ２，ＳＴ３の各距離画像を統合して車両の前方のみならず前方の左右に存在する複数の対象物の距離情報を取得し、走行環境を認識する。走行制御装置５０は、統合画像情報から認識される走行環境に基づいて走行制御を実施する。【選択図】図１
2020051942.tif 000002
【特許請求の範囲】
【請求項１】
車両の外部環境を撮像した車外画像に基づいて車両の走行環境を認識する車両の走行環境認識装置であって、
車両の車幅方向に配置した第１カメラと第２カメラとにより構成される第１ステレオカメラと、
前記第１ステレオカメラの前記第１カメラと、前記第１カメラに対して車高方向に配置した第３カメラとにより構成される第２ステレオカメラと、
前記第１ステレオカメラの前記第２カメラと、前記第２カメラに対して車高方向に配置した第４カメラとにより構成される第３ステレオカメラと、
前記第１ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第１ステレオ画像処理部と、
前記第２ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第２ステレオ画像処理部と、
前記第３ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第３ステレオ画像処理部と、
前記第１ステレオ画像処理部の画像処理情報と前記第２ステレオ画像処理部の画像処理情報と前記第３ステレオ画像処理部の画像処理情報とを統合して前記走行環境を認識する画像統合部と
を備えることを特徴とする車両の走行環境検出装置。
【請求項２】
前記画像統合部は、前記第１ステレオ画像処理部の画像処理情報を主として、前記第１ステレオ画像処理部の画像処理情報に距離情報の欠損がある場合に、前記第２ステレオ画像処理部或いは前記第３ステレオ画像処理部の画像処理情報を用いて前記欠損を補完することを特徴とする請求項１に記載の車両の走行環境検出装置。
【請求項３】
前記第２ステレオ画像処理部は、前記第１ステレオ画像処理部で距離情報を算出した対象物とは異なる対象物の距離情報を算出し、
第３ステレオ画像処理部は、前記第１ステレオ画像処理部で距離情報を算出した対象物及び前記第２ステレオ画像処理部で距離情報を算出した対象物とは異なる対象物の距離情報を算出することを特徴とする請求項１又は２に記載の車両の走行環境検出装置。
【請求項４】
前記第２ステレオ画像処理部及び前記第３ステレオ画像処理部は、前記車幅方向の画像特徴量の変化が所定の閾値よりも小さい対象物の距離情報を算出することを特徴とする請求項１〜３の何れか一項に記載の車両の走行環境検出装置。
【請求項５】
前記第１カメラと前記第２カメラと前記第３カメラと前記第４カメラとの少なくとも一つに異常が発生した場合、正常なカメラを組み合わせて構成されるステレオカメラのステレオ画像或いは正常な１つのカメラの単眼画像を処理して前記画像統合部に出力する異常時画像処理部を更に備えることを特徴とする請求項１〜４の何れか一項に記載の車両の走行環境検出装置。
【請求項６】
前記画像統合部で認識した前記走行環境に基づいて、加減速及び操舵を含む走行制御を実施する走行制御装置を備えることを特徴とする車両の走行制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の外部環境をステレオカメラで撮像した画像に基づいて車両の走行環境を認識する車両の走行環境検出装置及び走行制御システムに関する。
【背景技術】
【０００２】
自動車等の車両においては、カメラで前方の車外風景を撮像して画像処理により走行環境を認識し、前方障害物に対する衝突回避や、先行車に対する追従制御、ふらつき及び車線逸脱に対する警報制御や操舵制御等のドライバに対する各種支援制御が実用化され、またドライバの運転操作を必要としない自動運転の技術が実用化されつつある。
【０００３】
特に、特許文献１に開示されているように、ステレオカメラを用いた画像認識技術では、対象物までの距離情報を算出して対象物を三次元的に認識することができ、車両の自動運転を含む高度な運転支援が可能となる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−１９２１９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１においては、車両に近距離用と遠距離用との２組のステレオカメラを搭載し、進行方向の広範囲に渡る対象物を検出可能としている。しかしながら、特許文献１の技術では、車両前方の左右に存在する複数の対象物、例えば、自車両前方の先行車両の側方を走行する２輪車や自転車、路側の歩行者等に対して、カメラの死角を考慮すると必ずしも十分とは言えない。
【０００６】
特に、車両の左右に配置した２台のカメラから構成されるステレオカメラでは、物体の陰に隠れる等して一方のカメラの画像には写っていても他方のカメラの画像に写っていない領域、所謂オクルージョン領域が出現し、部分的に距離情報を算出できない場合がある。このオクルージョンの問題は、単にカメラの視野を広角化するだけでは解決することはできず、距離情報の部分的な欠損が発生すると、円滑な走行制御が困難となる。
【０００７】
本発明は上記事情に鑑みてなされたもので、車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出することのできる車両の走行環境検出装置及び走行制御システムを提供することを目的としている。
【課題を解決するための手段】
【０００８】
本発明の一態様による車両の走行環境検出装置は、車両の外部環境を撮像した車外画像に基づいて車両の走行環境を認識する車両の走行環境認識装置であって、車両の車幅方向に配置した第１カメラと第２カメラとにより構成される第１ステレオカメラと、前記第１ステレオカメラの前記第１カメラと、前記第１カメラに対して車高方向に配置した第３カメラとにより構成される第２ステレオカメラと、前記第１ステレオカメラの前記第２カメラと、前記第２カメラに対して車高方向に配置した第４カメラとにより構成される第３ステレオカメラと、前記第１ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第１ステレオ画像処理部と、前記第２ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第２ステレオ画像処理部と、前記第３ステレオカメラで撮像した画像をステレオ画像処理して距離情報を算出する第３ステレオ画像処理部と、前記第１ステレオ画像処理部の画像処理情報と前記第２ステレオ画像処理部の画像処理情報と前記第３ステレオ画像処理部の画像処理情報とを統合して前記走行環境を認識する画像統合部とを備える。
【０００９】
本発明の一態様による車両の走行制御システムは、前記態様による車両の走行環境検出装置における前記画像統合部で認識した前記走行環境に基づいて、加減速及び操舵を含む走行制御を実施する走行制御装置を備える。
【発明の効果】
【００１０】
本発明によれば、車両の前方のみならず前方の左右に存在する対象物も的確に検出して走行制御に必要な距離情報を算出することができる。
【図面の簡単な説明】
【００１１】
【図１】車両の走行制御システムを示す構成図
【図２】車載の複数組のステレオカメラの配置を示す説明図
【図３】ステレオカメラによる測距の説明図
【図４】ステレカメラのオクルージョン領域を示す説明図
【図５】各ステレオカメラ毎の検出領域を示す説明図
【図６】先行車追従走行中の各ステレオカメラの検出対象を示す説明図
【図７】走行制御システムの動作を示すフローチャート
【発明を実施するための形態】
【００１２】
以下、図面を参照して本発明の実施の形態を説明する。図１において、符号１００は、車両Ｃ（図２参照）の走行制御システムを示し、車両Ｃの走行環境を検出する走行環境検出装置１０と、走行環境検出装置１０からの情報に基づく運転支援や自動運転を含む走行制御を実施する走行制御装置５０とを主要部として構成されている。走行環境検出装置１０は、同一の対象物を異なる視点から撮像するステレオカメラで撮像した車両Ｃの車外風景の画像を処理して対象物までの距離を算出し、算出した距離に基づいて認識される対象物の大きさや形状等の情報を走行制御装置５０に出力する。
【００１３】
車両Ｃには、複数組のステレオカメラが搭載され、本実施の形態においては、主として検出対象とする領域が異なる３組のステレオカメラＳＴ１，ＳＴ２，ＳＴ３が搭載されている。各ステレオカメラＳＴ１，ＳＴ２，ＳＴ３は、それぞれ、ＣＣＤやＣＭＯＳ等の撮像素子を有してシャッタ速度を同期可能な２台のカメラによって構成される２眼画像のステレオカメラであり、互いの光軸を平行にして所定の基線長で固定され、例えば車室内上部のフロントウィンドウ内側に設置されている。
【００１４】
具体的には、図２に示すように、車両Ｃに４台の第１カメラ１ａ，第２カメラ１ｂ，第３カメラ１ｃ，第４カメラ１ｄを搭載し、この４台の第１カメラ１ａ，第２カメラ１ｂ，第３カメラ１ｃ，第４カメラ１ｄのうちの２台のカメラを組み合わせて通常の状態で使用する３組のステレオカメラ、すなわち第１ステレオカメラＳＴ１，第２ステレオカメラＳＴ２，第３ステレオカメラＳＴ３を構成している。尚、以下では、第１カメラ１ａ，第２カメラ１ｂ，第３カメラ１ｃ，第４カメラ１ｄは、単に、カメラ１ａ，１ｂ，１ｃ，１ｄと記載し、第１ステレオカメラＳＴ１，第２ステレオカメラＳＴ２，第２ステレオカメラＳＴ３は、単に、ステレカメラＳＴ２，ＳＴ３と記載する。
【００１５】
ステレオカメラＳＴ１は、２台のカメラ１ａ，１ｂを車両Ｃの車幅方向に配置して車両前方の主要範囲を検出範囲とするメインのステレオカメラである。また、ステレカメラＳＴ２，ＳＴ３は、ステレオカメラＳＴ１のカメラ１ａ，１ｂに対して、カメラ１ｃ，１ｄを車両Ｃの高さ方向に配置して構成され、ステレオカメラＳＴ１の未検出領域を補うためのサブのステレオカメラである。尚、後述するように、４台のカメラのうち、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３以外の組み合わせは、１台のカメラ単独の単眼画像を含めて異常発生時の緊急用として用いられる。
【００１６】
詳細には、ステレオカメラＳＴ１は、車両Ｃの車幅方向（横方向）を水平方向として基線長Ｌ１で配置された焦点距離ｆのカメラ１ａ，１ｂによって構成されている。本実施の形態においては、カメラ１ａ，１ｂは、互いの光軸を平行にして撮像面を一致させ、更に、互いの撮像面の横軸方向（水平走査線方向）を一致させた（互いに回転していない）配置となるように機械的及び電気的に調整されている。
【００１７】
また、ステレオカメラＳＴ２は、車両Ｃの高さ方向（縦方向）を垂直方向として、ステレオカメラＳＴ１の一方のカメラ１ａと、カメラ１ａの下方に垂直方向に配置されたカメラ１ｃとによって構成されている。本実施の形態においては、カメラ１ｃは、カメラ１ａと同じ焦点距離ｆで互いの光軸を平行にして撮像面を一致させ、更に、互いの撮像面の縦軸方向（垂直走査線方向）を一致させた（互いに回転していない）配置となるように機械的及び電気的に調整されている。
【００１８】
同様に、ステレオカメラＳＴ３は、車両Ｃの高さ方向を垂直方向として、ステレオカメラＳＴ１の他方のカメラ１ｂと、カメラ１ｂの下方に垂直方向に配置された焦点距離ｆのカメラ１ｄとにより構成されている。本実施の形態においては、カメラ１ｂ，１ｄは、カメラ１ａ，１ｃと同様の関係で配置され、カメラ１ａ，１ｃの基線長と、カメラ１ｂ，１ｄの基線長とは、同じ基線長Ｌ２となるように配置されている。尚、カメラ１ｃとカメラ１ｄとの光軸間隔は、カメラ１ａとカメラ１ｂとの基線長Ｌ１と同じ間隔となる。
【００１９】
このような４台のカメラ１ａ，１ｂ，１ｃ，１ｄは、ドライバの視野の妨げとならないよう、例えば車室内上部のフロントウィンドウ内側のピラー付近に設置されている。各カメラ１ａ，１ｂ，１ｃ，１ｄは、各カメラ同士がステー等を介して固定或いはウィンドウ端部のピラーやルーフ前端の車体部材にステー等を介して固定されている。
【００２０】
走行環境検出装置１０は、各カメラ１ａ，１ｂ，１ｃ，１ｄに対応して、画像検出部２Ａ，２Ｂ，２Ｃ，２Ｄ、第１ステレオ画像処理部３Ａ、第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃ、異常時画像処理部３Ｄ、画像統合部４を備えている。走行制御装置５０は、画像統合部４からの情報に基づく走行環境に応じて、最適な走行制御を実施する。
【００２１】
画像検出部２Ａ，２Ｂ，２Ｃ，２Ｄは、カメラに対する前処理及び各種補正処理を行ってステレオ画像処理の元画像を検出する。この元画像は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とするi-j座標系で表現され、一方をステレオ画像処理の際の基準画像、他方を比較画像として、入力画像メモリの所定のアドレスに、一対のカメラ画像（デジタル画像）が記憶される。
【００２２】
画像検出部２Ａ，２Ｂ，２Ｃ，２Ｄにおける処理は、処理対象とするカメラの画像が異なる他は、基本的に同様の処理である。すなわち、画像検出部２Ａは、ステレオカメラＳＴ１（カメラ１ａ，１ｂ）の画像を処理し、画像検出部２Ｂは、ステレオカメラＳＴ２（カメラ１ａ，１ｃ）の画像を処理し、画像検出部２Ｃは、ステレオカメラＳＴ３（カメラ１ｂ，１ｄ）の画像を処理する。また、画像検出部２Ｄは、異常発生時にステレオカメラとして正常に使用可能なカメラの画像を処理する。
【００２３】
カメラに対する前処理としては、例えば、カメラの電子シャッタ制御、アンプのゲイン・オフセットの制御及び調整、ルックアップテーブル（ＬＵＴ）によるγ補正等を含む輝度補正やシェーディング補正等がある。また、カメラの画像に対する補正処理としては、画像処理座標の設定、画像サイズ調整、メモリアドレス制御等における各種パラメータを設定するパラメータ設定、一対の撮像画像に対応してレンズ歪を含む光学的な位置ズレを補正するためのアフィン補正、ノイズ除去処理等を行うフィルタ補正等がある。
【００２４】
第１ステレオ画像処理部３Ａは、ステレオカメラＳＴ１（カメラ１ａ，１ｂ）の一対の画像に対してステレオマッチング処理を行い、対象物までの距離を算出する。周知のように、ステレオ法による距離計測では、図３に示すようにステレオカメラＳＴ１で撮像した基準画像に対する比較画像の対応点のズレ量（視差）をｄ（ｄ＝比較画像側の画素ズレ量ｄｐL＋基準画像側の画素ズレ量ｄｐR）、基準画像を撮像する基準カメラと比較画像を撮像する比較カメラとの光軸間隔（基線長）をＬ、レンズの焦点距離をｆとすると、レンズ中心から対象物Ｐまでの距離Ｚは、以下に示すように、三角測量の原理による（１）式の関係から導かれる（２）式により求めることができる。
Ｚ：Ｌ＝ｆ：ｄｐ…（１）
Ｚ＝Ｌ×ｆ／ｄｐ…（２）
【００２５】
第１ステレオ画像処理部３Ａは、ステレオマッチング処理により基準画像と比較画像との対応位置の画素ずれ量（視差）を求め、距離データを有する距離画像を生成する。ステレオマッチング処理としては、例えば周知の領域探索法を用いて基準画像と比較画像との相関度を評価し、その評価関数として、基準画像の小領域（メインブロック）と比較画像の小領域（サブブロック）との差分（絶対値）の総和ＳＡＤ（SAD:Sum of Absolute Difference）を演算する。
【００２６】
ＳＡＤによる評価関数の値は、画像平面上の位置を、水平方向をｉ座標、垂直方向をｊ座標とする直交座標で定義し、互いの相関度を探索するブロックを、ｉ×ｊ（ｉ＝０〜ｎ，ｊ＝０〜ｎ）の探索ブロックとするとき、以下の（３）式に示すように、基準画像のメインブロックＭ(i,j)と比較画像のサブブロックＳ(i,j)とのＳＡＤ値を、ｉ軸（エピポーラライン）上を所定のシフト値ずつずらしながら演算することにより算出される。
ＳＡＤ＝Σ│Ｍ(i,j)−Ｓ(i,j)│  …（３）
【００２７】
そして、評価関数ＳＡＤが最小となる位置がメインブロックとサブブロックとの相関度が最も高い対応位置（一致点）として求められ、一致点におけるメインブロックとサブブロックとの１画素単位のずれ量（水平走査方向のメインブロックの位置とサブブロックの位置との差）が１画素単位の分解能を有する視差（ピクセル視差）を与える。このブロック毎に算出された視差の集合は、距離画像を形成する距離データとして保存される。
【００２８】
尚、ピクセル値としては、一般的に、各画素の輝度値を用いることが多い。また、ピクセル視差に基づく距離情報は、対象物までの距離が大きくなるにつれて分解能が低下するため、必要に応じて１画素単位以下の分解能のサブピクセルレベルでの視差を求める処理を行う。
【００２９】
この場合、様々に変化する走行環境下においては、主として使用するステレオカメラＳＴ１で前方を撮像する場合、物体の陰に隠れる等してカメラ１ａ，１ｂの一方のカメラの画像には写っていても他方のカメラの画像に写っていないオクルージョン領域が出現する場合がある。このオクルージョン領域が出現すると、一方の画像の或る点に対応する点が他方の画像に存在せず、ミスマッチングが発生して視差を検出できないといった事態が生じる。
【００３０】
例えば、図４に示すように、自車両Ｃの前方を走行する先行車両Ｃ１をステレオカメラＳＴ１で撮像した場合、先行車両Ｃ１が自車両Ｃに比較的近い位置にあると、一方のカメラ１ｂの撮像視野の側端の領域が先行車両Ｃ１の後部で遮蔽されて陰となる領域Ｒocが発生し、先行車両Ｃ１の側方を走行する２輪車Ｃ２を検出できない。このとき、ステレカメラＳＴ１のもう一方のカメラ１ａでは２輪車Ｃ２を捉えており、２輪車Ｃ２を特定可能であるが、結果的にステレオカメラＳＴ１としては２輪車Ｃ２の距離を算出することはできない。
【００３１】
これに対して、第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃは、それぞれ、ステレオカメラＳＴ２（カメラ１ａ，１ｃ）の一対の画像に生じる垂直方向の視差、ステレオカメラＳＴ３（カメラ１ｂ，１ｄ）の一対の画像に生じる垂直方向の視差を算出し、ステレオカメラＳＴ１でオクルージョン領域となる可能性のある左右側方の領域に存在する対象物の距離を算出可能とする。第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃにおけるステレオ画像処理は、第１ステレオカメラ画像処理部３Ａに対して、処理対象とする画像及び視差探索方向が異なる他は、基本的に同様である。
【００３２】
第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃは、ステレオカメラＳＴ１の視野内であっても、ガードレール、建物や塀のコンクリート壁、舗装道路の路面等のように、横方向に形状や色彩（輝度）的な画像特徴量の変化が所定の閾値よりも小さく、対応点のミスマッチングが生じやすい状況においても、縦方向のステレオカメラＳＴ２，ＳＴ３を用いて対応点を探索することにより、ミスマッチングを低減することができる。
【００３３】
異常時画像処理部３Ｄは、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３の何れかに正常にステレオマッチングができない画像異常が発生した場合、正常なカメラを組み合わせたステレオ画像、或いは単独のカメラによる単眼画像を用いて対象物の距離を算出する。例えば、車幅方向のメインのステレオカメラＳＴ１に画像異常が発生した場合、ステレオカメラＳＴ１の下方のカメラ１ｃ，１ｄを組み合わせてステレオカメラＳＴ１を代替えする緊急用のステレオカメラとして用い、ステレオ画像処理を行う。
【００３４】
この場合、ステレオカメラＳＴ１のカメラ１ａが異常であり、カメラ１ｂは正常である場合には、車幅方向のカメラ１ｃ，１ｄによるステレオカメラと、車高方向のサブのステレオカメラＳＴ３とを用いてステレオ画像処理を行う。カメラ１ａの異常によって使用不可となるサブのステレオカメラＳＴ２の機能は、単眼のカメラ１ｃによって補うことが可能である。
【００３５】
逆に、ステレオカメラＳＴ１のカメラ１ｂが異常であり、カメラ１ａは正常である場合には、カメラ１ｃ，１ｄによるステレオカメラと、サブのステレオカメラＳＴ２とを用いてステレオ画像処理を行う。カメラ１ｂの異常によって使用不可となるサブのステレオカメラＳＴ３の機能は、単眼のカメラ１ｄで補うことが可能である。
【００３６】
単眼のカメラ１ｃ又はカメラ１ｄによる対象物の距離は、単眼画像処理の周知の技術を用いて算出することができる。例えば、画像のエッジ抽出やパターンマッチング、画像のオプティカルフロー等により、単眼画像上で対象物の領域を抽出し、カメラの設置位置や角度から画像上の各画素がどの距離の位置に対応するかを表す距離変換テーブルを用いて、画像上の領域の位置を実空間上の位置に変換する。
【００３７】
また、車高方向のステレオカメラＳＴ２，ＳＴ３の双方に異常が発生し、異常のカメラが互いに上下逆となるような場合には、車幅方向に対して斜め方向の２台のカメラ（カメラ１ａとカメラ１ｄ、又はカメラ１ｂとカメラ１ｃ）を用いたステレオカメラ、更には３台のカメラによる多眼ステレオカメラを構成することにより、異常発生時にも対象物の視差を算出することが可能となる。但し、ステレオ画像処理の演算負荷が増加し、また対象物の検出範囲が狭くなるため、ステレオカメラとしての採用は限定的となる。
【００３８】
画像統合部４は、第１ステレオ画像処理部３Ａ、第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃからの画像処理情報を統合して統合画像を生成し、走行環境を認識する。また、画像統合部４は、異常発生時、正常な画像処理情報に対して、異常時画像処理部３Ｄからの画像処理情報を併合して走行制御装置５０に出力する。
【００３９】
画像処理情報の統合は、主として、第１ステレオ画像処理部３Ａ、第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃの各距離画像を統合する処理となる。画像統合部４は、統合した距離画像上の点を、自車両の車幅方向すなわち左右方向をＸ軸、車高方向をＹ軸、車長方向すなわち距離方向をＺ軸とする実空間上の点に座標変換し、自車両の前方を走行する先行車両や障害物等の対象物を３次元的に認識し、距離情報を用いて対象物の大きさを検出する。対象物の大きさは、同一対象物の等距離にある部位間の水平方向の距離として検出し、例えば、先行車両のブレーキランプ間の距離や左右端の間の距離を先行車両の大きさとして検出し、白線の太さ（幅）を白線の大きさとして検出する。
【００４０】
この場合、距離画像の統合は、第１ステレオ画像処理部３Ａの距離画像をメインとして、第２ステレオ画像処理部３Ｂ及び第３ステレオ画像処理部３Ｃの距離画像を併合することにより検出エリアを拡大する処理となる。その際、画像統合部４は、第１ステレオ画像処理部３Ａ、第２ステレオ画像処理部３Ｂ、第３ステレオ画像処理部３Ｃに対して、それぞれの視差探索の範囲を指示し、演算負荷の低減を図りながら検出エリアを拡大する。
【００４１】
すなわち、画像統合部４は、図５に示すように、メインのステレオカメラＳＴ１による対象物の検出領域Ｒｍ1に対して、サブのステレオカメラＳＴ２，ＳＴ３の検出領域を本来の大きさから縮小して視差検出方向とは直交する車幅方向の外側の検出領域Ｒｍ2，Ｒｍ3を設定し、視差探索の範囲を指示する。これらの検出領域Ｒｍ2，Ｒｍ3は、メインのステレオカメラＳＴ１の検出領域Ｒｍ1内で左右側方に発生する可能性のあるオクルージョン領域や、道路状況等の走行環境等を考慮して設定され、検出領域Ｒｍ1の両側に所定の領域Ｒｏｖだけオーバーラップさせて配置される。
【００４２】
これにより、例えば、図６に示すように、自車両Ｃが片側２車線の道路ＲＤを走行中、前方の先行車両Ｃ１、道路の白線Ｌｗ等は、通常の横方向配置のステレオカメラＳＴ１の画像を処理して検出することができる。また、路側の輝度変化の小さい側壁Ｗ、先行車両Ｃ１の側方を走行する２輪車Ｃ２、隣車線の先行車両Ｃ３等の通常のステレオカメラＳＴ１の画像からは検出困難な対象物は、それぞれ、縦方向配置のステレカメラＳＴ２，ＳＴ３の画像を処理して検出することができる。これにより、対象物の検出エリアを、自車両の走行車線を含めて隣接車線や路側側に拡大することができる。
【００４３】
この場合、渋滞時に自車両Ｃと先行車両Ｃ１との車間距離が小さくなると、通常のステレオカメラＳＴ１のみでは、先行車両Ｃ２によって前方の白線Ｌｗが遮蔽されてしまうため、従来では、先行車両に対する追従走行となる。この先行車両に対する追従走行では、先行車両Ｃ２の走行軌跡に沿った走行となり、自車両の挙動が先行車両の挙動に左右されやすくなる。
【００４４】
これに対して、本実施の形態では、横方向配置のステレオカメラＳＴ１の両側に配置された縦方向のステレオカメラＳＴ２，ＳＴ３により、ステレオカメラＳＴ１で検出できない左右の白線Ｌｗを検出することが可能となる。これにより、先行車両Ｃ１に接近する低速の渋滞走行時にも、車線に沿った走行が可能となり、先行車両Ｃ１の挙動に左右されない安定した走行が可能となる。
【００４５】
尚、ステレオカメラＳＴ２に対する第２ステレオ画像処理部３Ｂ、ステレオカメラＳＴ３に対する第３ステレオ画像処理部３Ｃから画像処理情報は、ステレオカメラＳＴ１に対する第１ステレオ画像処理部３Ａの距離画像にオクルージョンによる欠損部分が発生した場合にのみ併合するようにしても良い。画像統合部４は、オクルージョンによる距離情報の欠損を、例えば探索ブロック毎に算出される視差を比較して同一ブロックへのマッチングを判断する等して検出し、距離情報が欠損する部分に該当する第２ステレオ画像処理部３Ｂ或いは第３ステレオ画像処理部３Ｂの画像処理情報を用いて、欠損した距離情報を補完する。
【００４６】
以上の走行環境検出装置１０に対して、走行環境検出装置１０からの情報に基づいて走行制御を行う走行制御装置５０は、車両の車幅方向に配置したステレオカメラＳＴ１、及びステレオカメラＳＴ１と一部を共有して縦方向に配置した両側部のステレオカメラＳＴ２，ＳＴ３の画像処理情報に基づいて、自車両の走行車線を含めて前方のみならず隣接車線や路側に存在する広範囲の対象物の大きさや距離を把握し、加減速及び操舵を含む走行制御を実施する。
【００４７】
例えば、走行制御装置５０は、走行環境検出装置１０で認識した走行環境の認識情報に基づいて自車両の追従走行の対象となる目標点の軌跡を算出し、この目標点の軌跡を目標経路として設定車速で走行するよう制御する。追従走行の対象となる目標点は、例えば、自車両の走行位置を車線中央に維持する制御（車線維持制御）では、車線区画線としての左右の白線の道路幅方向の中央位置、自車両前方の先行車両に追従走行する制御（先行車追従制御）では先行車両の車幅方向の中央位置に設定される。
【００４８】
走行制御装置５０は、このような目標点の軌跡を算出して目標経路を設定し、この目標経路に沿って設定車速で走行するよう、図示しないエンジン、変速機、ブレーキによる加減速制御を実行すると共に、操舵装置を介した操舵制御を実行し、自車両の車幅方向の中心位置が目標経路上の目標点に一致するように、現在の操舵角を制御する。
【００４９】
尚、走行制御装置５０による走行制御においては、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３による画像認識情報に加えて、ＧＮＳＳ(Global Navigation Satellite System)衛星等の複数の航法衛星からの信号に基づく自車位置の測位情報、道路形状や道路間の接続関係等の静的な情報とインフラ通信によって収集される交通情報等の動的な情報とを複数の階層で保持する多次元マップ（ダイナミックマップ）等の地図情報等が使用される。
【００５０】
次に、ステレオカメラＳＴ１〜ＳＴ３を用いた走行制御システム１００の動作について、図７に示すフローチャートを用いて説明する。尚、図７のフローチャートは、ステレオカメラＳＴ１〜ＳＴ３を構成する４台のカメラの何れかを使用する場合の動作を示し、４台のカメラ全てに異常が発生した場合には、走行制御を停止してドライバの操作による手動運転モードに移行させる。
【００５１】
走行制御システム１００は、先ず、最初のステップＳ１で、走行環境検出装置１０において、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３で撮像したステレオ画像を検出する。次に、ステップＳ２へ進み、走行環境検出装置１０は、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３の各ステレオ画像に対してステレオマッチングを行い、各ステレオ画像の対応点を探索して対象物の距離情報を有する距離画像を生成する。
【００５２】
次にステップＳ３へ進み、走行環境検出装置１０は、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３の各ステレオ画像にステレオマッチングを正常に実行できない画像異常が生じているか否かを調べる。その結果、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３のステレオ画像が全て正常である場合には、ステップＳ３からステップＳ４へ進み、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３のステレオ画像の何れかに異常が生じている場合、ステップＳ３からステップＳ６へ進む。
【００５３】
ステレオカメラＳＴ１，ＳＴ２，ＳＴ３のステレオ画像が全て正常である場合、走行環境検出装置１０は、ステップＳ４において、ステレオカメラＳＴ１，ＳＴ２，ＳＴ３のステレオ画像から生成した距離画像を統合し、統合画像から認識した走行環境情報を走行環境検出装置１０に送信する。続くステップＳ５では、走行制御装置５０は、統合画像情報から認識される走行環境に基づいて走行制御を実施する。
【００５４】
一方、ステップＳ３において、画像異常がある場合、走行環境検出装置１０は、ステップＳ６で正常なカメラを用いてステレオカメラの構成の可否を調べる。正常なカメラでステレオカメラを構成可の場合、例えばステレオカメラＳＴ１に画像異常が発生し、ステレオカメラＳＴ１の下方のカメラ１ｃ，１ｄを組み合わせてステレオカメラＳＴ１を代替えするステレオカメラを構成することができる場合、ステップＳ７で、異常なカメラを除いて他の組み合わせでステレオカメラを構成し、ステレオ画像処理を実施する。
【００５５】
一方、ステップＳ６において、正常なカメラが１台のみ、或いは正常なカメラを通常の水平方向或いは垂直方向の視差を検出するステレオカメラとしては使用できず、ステレオカメラを構成不可とする場合には、走行環境検出装置１０は、ステップＳ８で、単眼のカメラ画像を用いて画像処理を行い、その単眼画像情報から認識した走行環境情報を走行環境検出装置１０に送信する。単眼画像の画像処理では、画像のエッジ抽出、パターンマッチング、オプティカルフロー等から距離を算出することが可能であり、走行制御装置５０は、単眼画像情報から認識される走行環境に基づいて走行制御を実施する。
【００５６】
このように本実施の形態においては、車両の車幅方向に配置したステレオカメラＳＴ１による水平方向の視差に基づく距離情報と、車両の車高方向に配置した左右のステレオカメラＳＴ２，ＳＴ３による垂直方向の視差に基づく距離情報とを統合して走行環境を認識するため、横方向配置のステレオカメラＳＴ１でカメラの死角等による距離情報の欠損が発生しても、縦方向配置のステレカメラＳＴ２，ＳＴ３で距離情報を補完することが可能になると共に、横方向の認識エリアを拡大することができる。これにより、車両の前方のみならず側方に存在する複数の対象物も的確に検出して走行制御に必要な距離情報を算出することができ、最適な走行制御を行うことが可能となる。
【符号の説明】
【００５７】
ＳＴ１  第１ステレオカメラ
ＳＴ２  第２ステレオカメラ
ＳＴ３  第３ステレオカメラ
１ａ  第１カメラ
１ｂ  第２カメラ
１ｃ  第３カメラ
１ｄ  第４カメラ
２Ａ，２Ｂ，２Ｃ，２Ｄ  画像検出部
３Ａ  第１ステレオ画像処理部
３Ｂ  第２ステレオ画像処理部
３Ｃ  第３ステレオ画像処理部
３Ｄ  異常時画像処理部
４  画像統合部
１０  走行環境検出装置
５０  走行制御装置
１００  走行制御システム
【図１】
2020051942.tif 000003
【図２】
2020051942.tif 000004
【図３】
2020051942.tif 000005
【図４】
2020051942.tif 000006
【図５】
2020051942.tif 000007
【図６】
2020051942.tif 000008
【図７】
2020051942.tif 000009