(57)【要約】【課題】カメラ画像を処理して車両の走行環境を認識する際に、カメラの撮影条件が明るい環境から暗い環境に急激に変化しても認識の遅れを回避する。【解決手段】認識コントローラにトンネル認識部２２ａと露光調整部２２ｂとを備え、トンネル認識部２２ａでステレオカメラの撮像画像から自車両前方のトンネルを認識したとき、自車両からトンネル入口までの距離を記憶する。トンネル認識部２２ａからの認識結果が露光調整部２２ｂに送られると、露光調整部２２ｂは、自車両からトンネル入口までの距離に基づいて決定されるタイミングでステレオカメラのシャッタ速度を切り換え、トンネル進入直後の撮像画像の露光量を適正化して認識の遅れを回避する。【選択図】図２
2012073927.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、
上記ステレオカメラの撮像画像から自車両の前方に存在するトンネル状の構造物を認識し、認識したトンネル状の構造物と自車両との距離を記憶する認識部と、
自車両から上記トンネル状の構造物までの距離に基づいて決定されるタイミングで、上記ステレオカメラによる撮像画像の露光量が上記トンネル状の構造物内で適正となるよう調整する露光調整部と
を備えたことを特徴とする運転支援装置。
【請求項２】
上記露光調整部は、自車両から上記トンネル状の構造物までの距離と自車両の車速とから自車両が上記トンネル状の構造物内に進入するまでの時間を算出し、この時間が設定時間となるタイミングで上記ステレオカメラによる撮像画像の露光量を調整することを特徴とする請求項１記載の運転支援装置。
【請求項３】
上記露光調整部は、自車両から上記トンネル状の構造物までの距離が設定距離となるタイミングで上記ステレオカメラによる撮像画像の露光量を調整することを特徴とする請求項１記載の運転支援装置。
【請求項４】
上記露光調整部は、上記ステレオカメラのシャッタ速度が予め設定されたシャッタ速度となるよう調整することを特徴とする請求項１〜３の何れかに記載の運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に搭載したステレオカメラで撮像した画像をステレオ処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置に関する。
【背景技術】
【０００２】
近年、車両の運転支援装置として、車載のステレオカメラや単眼カメラにより前方の走行環境を撮像して画像認識処理し、前方障害物に対して警報制御を行う技術や、認識した走行環境から先行車を検出し、先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。
【０００３】
このようなカメラ画像を用いた車両の運転支援では、車両の走行環境が様々に変化するため、カメラのダイナミックレンジが不足すると画像の明部の飽和（白とび）や暗部の黒潰れが発生し、画像認識が困難となる虞がある。
【０００４】
このため、例えば、特許文献１には、予め段階的に設定されたカメラのシャッタースピード又はレンズ絞りを周期的に変化させながら撮像し、撮像された複数の画像の中から被写体が適切に写っている画像を選択することで、明部から暗部までの諧調差の大きい被写体を撮影可能とする技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平９−２６６５４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されているような従来の技術では、コントラストが良好な領域を合成する等して認識を行うため、車両がトンネルに進入した場合等のようにカメラの撮影条件が明るい環境から暗い環境に急激に変化したときには、認識の遅れが生じることは避けられない。
【０００７】
本発明は上記事情に鑑みてなされたもので、カメラ画像を処理して車両の走行環境を認識する際に、カメラの撮影条件が明るい環境から暗い環境に急激に変化しても、認識の遅れを回避することのできる運転支援装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明による運転支援装置は、車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、上記ステレオカメラの撮像画像から自車両の前方に存在するトンネル状の構造物を認識し、認識したトンネル状の構造物と自車両との距離を記憶する認識部と、自車両から上記トンネル状の構造物までの距離に基づいて決定されるタイミングで、上記ステレオカメラによる撮像画像の露光量が上記トンネル状の構造物内で適正となるよう調整する露光調整部とを備えたことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、カメラ画像を処理して車両の走行環境を認識する際に、カメラの撮像条件が明るい環境から暗い環境に急激に変化しても認識の遅れを回避することができる。
【図面の簡単な説明】
【００１０】
【図１】運転支援装置の全体構成図
【図２】シャッタ速度制御に係る機能ブロック図
【図３】トンネル認識の説明図
【図４】シャッタ速度切換制御のフローチャート
【発明を実施するための形態】
【００１１】
以下、図面を参照して本発明の実施の形態を説明する。  
図１に示す運転支援装置１は、図示しない自動車等の車両に搭載されて外部の走行環境を認識し、ドライバに対する各種運転支援を行うものである。この運転支援装置１による運転支援制御としては、例えば、危険性を予測して衝突を回避若しくは衝突被害を軽減するためのプリクラッシュブレーキ制御、全車速域における追従機能付きのクルーズ制御、自車両の車線内でのふらつきや車線からの逸脱を監視してドライバに警報する警報制御等がある。
【００１２】
運転支援装置１は、３次元の画像認識による走行環境認識及び運転支援制御を行うステレオカメラユニット２を中心として構成され、ステレオカメラユニット２に、ＣＡＮ等からなる通信バス１０を介して、各種制御ユニットが接続されている。通信バス１０に接続される制御ユニットは、エンジン制御用のエンジンコントローラ３、変速機制御用のトランスミッションコントローラ４、車体挙動制御用のビークルダイナミクスコントローラ（ＶＤＣ）５、マルチファンクションディスプレイ（ＭＦＤ）等からなるメータの表示制御を行うメータ制御ユニット６等である。
【００１３】
ステレオカメラユニット２は、２台のカメラからなるステレオカメラ２０を走行環境の認識センサとして備えている。ステレオカメラ２０は、例えばＣＣＤやＣＭＯＳ等の撮像素子を有する１組の（左右の）カメラ２０ａ，２０ｂで構成されており、シャッタースピード可変で互いに同期した２台のカメラ２０ａ，２０ｂを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定し、対象物を異なる視点から撮像する。
【００１４】
このようなステレオカメラ２０を備えるステレオカメラユニット２は、ステレオカメラ２０と、ステレオカメラ２０で撮像した一対のステレオ画像を処理して３次元の距離情報を高速に算出する画像処理エンジン２１と、ステレオカメラ２０からの元画像と３次元距離情報とを用いて道路の白線や先行車、路上の障害物等の物体認識処理を行う認識コントローラ２２と、認識結果に基づいて運転支援のための各制御を統括する制御コントローラ２３とを一体化したユニットとして構成され、車室内上部のフロントウィンドウ内側に設置されている。
【００１５】
画像処理エンジン２１は、ステレオカメラ２０で撮像した自車両外部の周辺環境のステレオ画像対から対応する位置のズレ量をブロックマッチング等によって算出し、このズレ量に基づく距離画像を距離情報として生成する。また、画像処理エンジン２１は、各カメラ２０ａ，２０ｂのシャッタ速度制御、両カメラ間の幾何学的及び光学的ズレ補正や輝度バランス補正等を行う機能も担っており、ステレオカメラ２０で撮像した画像が、例えば１フレーム／０．１秒の割合（テレビ画像で３枚に１枚の割合）で処理される。
【００１６】
画像処理エンジン２１と認識コントローラ２２とは、内部バス２ａを介して相互に接続されている。認識コントローラ２２は、画像処理エンジン２１からの距離情報に対して、所定の閾値内にあるデータをグループ化するグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。
【００１７】
認識した各データは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。
【００１８】
更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。
【００１９】
制御コントローラ２３には、認識コントローラ２２から白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等が入力される。また、制御コントローラ２３には、通信バス１０を介して自車両の車速やヨーレート等の車両情報が入力され、これらの情報に基づいて、プリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御等のドライバに対する運転支援制御を指令する。
【００２０】
ここで、ステレオカメラ２０による撮像画像は、トンネルや道路の上空を覆う橋状の構造物等の周囲と明るさが異なる条件下で撮像される場合がある。このようなトンネル状の構造物（以下では、代表して「トンネル」と記載）内に自車両が進入した場合、適正なシャッタ速度に制御されるまでに若干の遅れが生じ、認識の応答遅れが懸念される。
【００２１】
すなわち、ステレオカメラ２０のシャッタ速度は、オートアイリス下で画像の各領域毎に適正シャッタ速度を格納したマップを用いて画像処理エンジン２１によって制御されており、撮像した画像の各領域の輝度平均値等をパラメータとして得られる領域毎のマップ値を総計してシャッタ速度が決定される。従って、トンネル内に進入してからシャッタ速度が変更されるまでに時間を要し、認識遅れが生じる虞がある。
【００２２】
このため、認識コントローラ２２は、図２に示すように、ステレオカメラの撮像画像から自車両前方のトンネルを認識（検出）するトンネル認識部２２ａと、トンネル認識部２２ａからの認識結果を受けて、ステレオカメラ２０のシャッタ速度を切り換えて撮像画像の露光量を調整する露光調整部２２ｂとを備えている。このトンネル認識部２２ａ及び露光調整部２２ｂの機能により、認識コントローラ２２は、自車両前方にトンネルの存在を認識した場合、トンネル進入前にステレオカメラ２０のシャッタ速度を切り換え、トンネル進入直後の撮像画像の露光量を適正化して認識の遅れを回避する。
【００２３】
トンネル認識部２２ａにおけるトンネルの認識は、本実施の形態においては、画像内の輝度分布及び距離データによる認識を基本として行う。すなわち、トンネル入口を撮像した元画像及び距離画像からは、画像の左右両側部より中央部分の輝度が低く、且つ画像の左右両側部より中央部分の距離が遠いという特徴が得られる。従って、トンネル認識部２２ａは、上記の特徴を検出した場合にトンネル入口である可能性が高いと判断し、予めメモリに記憶してあるトンネル入口の画像パターンとの照合、走行路の路面の輝度との比較等を適宜併用して最終的な判断を行う。
【００２４】
具体的には、図３に示すように、画像中の左右の領域ＧＬ，ＧＲに同一距離の壁状物体を検出した場合、これらの左右の壁状物体の間の中央部分の領域ＧＯの輝度を調べる。そして、この中央部分の領域ＧＯの輝度が左右の領域ＧＬ，ＧＲの壁状物体の輝度よりも相対的に低い場合、トンネルの入口である可能性が高いと判断し、輝度が相対的に高い場合には、ビルの谷間等のような環境下にいると判断する。
【００２５】
更に、予め保有するトンネル入口画像とのパターン照合、走行路の路面輝度との比較等を行い、パターンが一致する条件、路面輝度との差が閾値以上である条件の少なくとも一方を満足するとき、最終的にトンネル入口であると判断する。そして、自車両からトンネル入口までの距離を求め、自車両の進行に対応した時系列的なデータとしてメモリに記憶する。
【００２６】
尚、環境条件によっては、画像中の輝度分布及び距離データによる認識、パターン照合にとる認識、路面輝度による認識のうち、何れか１つによってトンネルを認識することも可能である。
【００２７】
露光調整部２２ｂは、トンネル認識部２２ａによって進行方向に存在するトンネルが認識されたとき、自車両からトンネル入口までの距離を用いて決定されるトンネル進入前のタイミングで、ステレオカメラ２０のシャッタ速度を通常の値からトンネル内で適正露光となる値となるよう画像処理エンジン２１にシャッタ速度の調整値を送信する。このシャッタ速度の調整は、以下の（Ａ）或いは（Ｂ）を閾値とするタイミングで行う。
【００２８】
（Ａ）トンネル入口までの設定距離
自車両からトンネル入口までの距離が予め設定した距離以下になったとき、ステレオカメラ２０のシャッタ速度を通常の値からトンネル内で適正露光となる値となるよう調整する。  
（Ｂ）トンネル進入前の設定時間
自車両からトンネル入口までの距離と自車両の車速とからトンネル内に進入するまでの時間を算出し、この時間が設定時間以下になったとき、ステレオカメラ２０のシャッタ速度を通常の値からトンネル内で適正露光となる値となるよう調整する。
【００２９】
（Ａ）のタイミングは、設定距離を一定値とする場合、（Ｂ）のタイミングに比較して、トンネル進入までの処理フレーム数が車速によって異なる。従って、距離閾値の設定如何にもよるが、車速に応じて設定距離を可変することで、（Ｂ）と同等にすることができる。以下では、（Ｂ）の設定時間によるタイミングでシャッタ速度を調整するものとして説明する。
【００３０】
シャッタ速度の調整値は、現在のシャッタ速度を、予め保有するトンネル用のシャッタ速度に切り換えるための指示値であり、例えば、ステレオカメラ２０のシャッタ速度が１／４０００，１／２０００，１／１０００，１／５００，１／２５０，１／１２５，１／５０の７段階である場合、シャッタ速度の調整値は、０をシャッタ速度変更無しの基準値として、１段階ずつシャッタ速度を切り換えるように、±１，±２，…といった値に設定されている。トンネル用のシャッタ速度は、各地域のトンネルを調査して求めた代表的なトンネル内の明るさとステレオカメラ２０のダイナミックレンジとを考慮して設定された値であり、予めシステム内に保存されている。
【００３１】
また、シャッタ速度の切り換えタイミングとなる設定時間は、システムの処理能力等に応じて一定値とすることも可能であるが、環境条件や走行条件に応じて可変するようにしても良い。このとき、以下の（１）〜（３）に示すように、切り換えタイミングを適宜選択することができる。  
（１）現在のシャッタ速度をトンネル用のシャッタ速度に一度に切り換える。  
（２）自車両がトンネルに進入するまで、現在のシャッタ速度をトンネル用のシャッタ速度に向けて徐々に切り換える。  
（３）自車両がトンネルに進入するまで、現在のシャッタ速度とトンネル用のシャッタ速度とを所定フレーム毎に切り換える。
【００３２】
尚、（３）のシャッタ速度切り換えでは、トンネル進入までの間、シャッタ速度の異なる画像からコントラストが良好な領域を抽出し、抽出した領域を合成する等して走行環境の認識処理を行うことが可能である。
【００３３】
トンネル進入後は、画像処理エンジン２１による制御で適正なシャッタ速度になるまで、調整値によって切り換えられたトンネル用のシャッタ速度が維持される。この場合、照明されたトンネル内では明るさが一定に保たれるため、トンネルの長さにもよるがトンネル用のシャッタ速度を維持することも可能である。
【００３４】
尚、本実施の形態においては、露光量調整としてシャッタ速度を切り換えるが、カメラのアイリス値、撮像素子からの信号を増幅するアンプのゲインを変更して露光量を調整するようにしても良い。但し、アイリス値を変更する場合には、応答性を考慮してシャッタ速度を切り換えるタイミングよりも早期に切り換える必要があるため、調整マップを用いて徐々に切り換える。また、このシャッタ速度の切り換え、アイリス値やゲインの変更は、夜間走行時に適用することも可能である。
【００３５】
次に、認識コントローラ２２によるシャッタ速度切換制御について、図４に示すフローチャートを用いて説明する。
【００３６】
このシャッタ速度切換制御では、先ず、最初のステップＳ１において、ステレオカメラ２０の撮像画像を処理する画像処理エンジン２１からの情報に基づいて認識処理を行い、自車両前方にトンネルが存在するか否かを調べる。その結果、トンネルが認識されない場合には本処理を抜け、画像処理エンジン２１による通常のシャッタ速度制御とする。
【００３７】
一方、ステップＳ１においてトンネルが認識された場合には、ステップＳ１からステップＳ２へ進み、自車両とトンネル入口までの距離を取得する。次に、ステップＳ３でトンネル入口までの距離と自車両の車速とから自車両がトンネルに進入するまでの時間Ｔを求め、ステップＳ４でこの時間Ｔが設定時間Ｔset以下になったか否かを調べる。
【００３８】
その結果、Ｔ＞ＴsetであるときにはステップＳ４から本処理を抜け、Ｔ≦Ｔsetになったとき、ステップＳ４からステップＳ５へ進んで、シャッタ速度の調整値を画像処理エンジン２１に送信し、ステレオカメラ２０のシャッタ速度をトンネル進入直後に適正露光が得られるシャッタ速度に切り換える。
【００３９】
このように、本実施の形態においては、ステレオカメラ２０を用いた画像認識による運転支援を行う際、ステレオカメラの撮像画像から認識したトンネル状の構造物と自車両との距離を記憶する。そして、この距離に基づいて決定されるタイミングでステレオカメラによる撮像画像の露光量がトンネル状の構造物内で適正となるよう調整するため、トンネル進入直後の撮像画像の露光量を適正化して認識の遅れを回避することができる。
【符号の説明】
【００４０】
１  運転支援装置
２  ステレオカメラユニット
２０  ステレオカメラ
２１  画像処理エンジン
２２  認識コントローラ
２２ａ  トンネル認識部
２２ｂ  露光調整部
【図１】
2012073927.tif 000003
【図２】
2012073927.tif 000004
【図３】
2012073927.tif 000005
【図４】
2012073927.tif 000006
【手続補正書】
【提出日】平成23年2月24日(2011.2.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
上記目的を達成するため、本発明による運転支援装置は、車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、上記ステレオカメラの撮像画像から自車両の前方に存在するトンネル状の構造物を認識し、認識したトンネル状の構造物と自車両との距離を記憶する認識部と、自車両から上記トンネル状の構造物までの距離に基づいて決定されるタイミングで、上記ステレオカメラのシャッタ速度を、上記ステレオカメラによる撮像画像の露光量が上記トンネル状の構造物内で適正となるシャッタ速度に向けて段階的に切り換える露光調整部とを備えたことを特徴とする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
車両に搭載したステレオカメラで撮像した画像を処理して走行環境を認識し、ドライバに対する運転支援を行う運転支援装置において、
上記ステレオカメラの撮像画像から自車両の前方に存在するトンネル状の構造物を認識し、認識したトンネル状の構造物と自車両との距離を記憶する認識部と、
自車両から上記トンネル状の構造物までの距離に基づいて決定されるタイミングで、上記ステレオカメラのシャッタ速度を、上記ステレオカメラによる撮像画像の露光量が上記トンネル状の構造物内で適正となるシャッタ速度に向けて段階的に切り換える露光調整部と
を備えたことを特徴とする運転支援装置。
【請求項２】
上記露光調整部は、自車両から上記トンネル状の構造物までの距離と自車両の車速とから自車両が上記トンネル状の構造物内に進入するまでの時間を算出し、この時間が設定時間となるタイミングで上記シャッタ速度の切り換えを開始することを特徴とする請求項１記載の運転支援装置。
【請求項３】
上記露光調整部は、自車両から上記トンネル状の構造物までの距離が車速に応じて設定される距離となるタイミングで上記シャッタ速度の切り換えを開始することを特徴とする請求項１記載の運転支援装置。