(57)【要約】【課題】早期に精度よく発光源を特定する。【解決手段】車外環境認識装置１２０は、撮像装置１１０により連続的に撮像された画像それぞれについて、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部１６４と、特定された車両領域に対する、発光源の候補を発光源候補として特定する発光源候補特定部１６６と、車両領域における発光源候補の所定期間での移動量を導出する移動量導出部１６８と、発光源候補特定部１６６により特定された発光源候補のうち、移動量が所定の移動量閾値以上である発光源候補を除外する発光源候補除外部１７０と、発光源候補特定部１６６により特定された発光源候補のうち、発光源候補除外部１７０により除外されていない発光源候補について、点灯状態のランプであるかを判定するランプ判定部１７４とを備える。【選択図】図２
2017016194.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
撮像装置により連続的に撮像された画像それぞれについて、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部と、
特定された前記車両領域に対する、発光源の候補を発光源候補として特定する発光源候補特定部と、
前記車両領域における前記発光源候補の所定期間での移動量を導出する移動量導出部と、
前記発光源候補特定部により特定された前記発光源候補のうち、前記移動量が所定の移動量閾値以上である発光源候補を除外する発光源候補除外部と、
前記発光源候補特定部により特定された前記発光源候補のうち、前記発光源候補除外部により除外されていない発光源候補について、点灯状態のランプであるかを判定するランプ判定部として機能することを特徴とする車外環境認識装置。
【請求項２】
前記移動量導出部は、
前記発光源候補の幾何学的な重心位置の移動量を導出することを特徴とする請求項１に記載の車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、先行車両における点灯状態のブレーキランプを特定する車外環境認識装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する先行車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を所定の距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、先行車両のブレーキランプ（ランプ）の点灯有無（ブレーキの操作状態）等を認識し、先行車両の減速動作を推測するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。
【０００３】
このような先行車両のブレーキランプの点灯有無を検出する技術として、撮像装置により撮像された画像から特定された発光源の大きさに対する閾値を、車外環境の明るさに応じて変更してブレーキランプの点灯有無を判定する技術（例えば、特許文献２）が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３３４９０６０号公報
【特許文献２】特開２０１３−１０９３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば先行車両のブレーキランプカバーやリヤウインドウ等に太陽光が反射すると、太陽光を反射した領域が発光源の輝度の条件を満たす場合がある。このような場合に、上述した特許文献２の技術では、発光源の輝度に関する条件が変更されないため、太陽光が反射した領域を発光源として特定してしまい、その発光源を点灯状態のブレーキランプであると誤判定するおそれがあった。
【０００６】
一方、特定した先行車両の発光源を一定の時間にわたって継続的に検出し、検出した発光源の輝度変化に基づいて、ブレーキランプの点灯有無を判定することも考えられる。しかしながら、この方法では、先行車両を特定した直後など、情報が十分に蓄積されていない間は、ブレーキランプの点灯有無の判定を行うことは困難である。
【０００７】
本発明は、このような課題に鑑み、早期に精度よく点灯状態のランプを特定することが可能な車外環境認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置により連続的に撮像された画像それぞれについて、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部と、特定された前記車両領域に対する、発光源の候補を発光源候補として特定する発光源候補特定部と、前記車両領域における前記発光源候補の所定期間での移動量を導出する移動量導出部と、前記発光源候補特定部により特定された前記発光源候補のうち、前記移動量が所定の移動量閾値以上である発光源候補を除外する発光源候補除外部と、前記発光源候補特定部により特定された前記発光源候補のうち、前記発光源候補除外部により除外されていない発光源候補について、点灯状態のランプであるかを判定するランプ判定部として機能する。
【０００９】
また、前記移動量導出部は、前記発光源候補の幾何学的な重心位置の移動量を導出するとよい。
【発明の効果】
【００１０】
本発明によれば、早期に精度よく発光源を特定することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図３】カラー画像と距離画像を説明するための説明図である。
【図４】車両特定部の処理を説明するための説明図である。
【図５】車両特定部の処理を説明するための説明図である。
【図６】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図７】カラー閾値を示す説明図である。
【図８】発光源候補除外処理を説明する図である。
【図９】自車両と先行車両との相対距離と画素数の関係を示した説明図である。
【図１０】車外環境認識処理を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１３】
近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の立体物を特定し、特定された立体物との衝突を回避したり、先行車両との車間距離を所定の距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。
【００１４】
かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する立体物と、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する立体物との衝突を回避したり、立体物が車両（先行車両）であった場合、その先行車両との相対距離を所定の距離に保つように制御する。また、先行車両のブレーキランプの点灯有無等を認識し、先行車両の減速動作を推測する処理を組み込むことで、より円滑なクルーズコントロールを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。
【００１５】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００１６】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。
【００１７】
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域を撮像した画像データを、例えば１／２０秒のフレーム毎（２０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０により生成された画像データから認識する特定物には、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含まれる。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。
【００１８】
さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な第２画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない立体物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。
【００１９】
例えば、撮像装置１１０は、周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成する。また、撮像装置１１０は、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成してもよい。さらに、撮像装置１１０は、１つのキャパシタの電荷のチャージ中に、時間を異ならせて画像を２回読み出し、露光態様の異なる２つの画像を並行して生成してもよい。また、撮像装置１１０は、露光態様を異ならせた２セットの撮像装置により構成され（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成してもよい。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。
【００２０】
車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差（角度差）を導き出し、視差に基づいて導出される視差情報（後述する３次元の位置情報に相当）を画像データに対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。
【００２１】
また、車外環境認識装置１２０は、カラー画像に基づくカラー値、および、距離画像に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１前方の検出領域における立体物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの位置や点灯有無を把握する。このような処理により、ブレーキランプの点灯による当該車両の減速を迅速に把握し、衝突回避制御やＡＣＣに利用することが可能となる。
【００２２】
車外環境認識装置１２０は、立体物を先行車両として特定すると、その先行車両を追跡しつつ、先行車両の相対速度や先行車両との相対距離等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。
【００２３】
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。
【００２４】
以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、先行車両の特定手順と、先行車両における点灯状態のブレーキランプの判定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
【００２５】
（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、記憶部１５２と、中央制御部１５４とを含んで構成される。
【００２６】
Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。記憶部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像、距離画像）を一時的に保持する。
【００２７】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成されたコンピュータでなり、システムバス１５６を通じて、Ｉ／Ｆ部１５０、記憶部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、位置情報導出部１６２、車両特定部１６４、発光源候補特定部１６６、移動量導出部１６８、発光源候補除外部１７０、面積変換部１７２、ランプ判定部１７４として機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、車両特定処理、発光源候補特定処理、発光源候補除外処理、ランプ判定処理といった順に詳細な動作を説明する。
【００２８】
（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データ（第１画像および第２画像）を取得し、第１画像の一方から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の第１画像から検索する、所謂パターンマッチングを用いて視差を導き出す。また、画像処理部１６０は、第２画像に対してもパターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像したカラー画像の画面横方向を示し、「垂直」は、撮像したカラー画像の画面縦方向を示す。
【００２９】
このパターンマッチングとしては、２つの画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。
【００３０】
ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差に基づいて導出される視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。
【００３１】
位置情報導出部１６２は、画像処理部１６０により導出された検出領域２１４内のブロック毎（立体部位毎）の視差に基づいて、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む３次元の位置情報を導出する。ここで、ステレオ法は、三角測量法を用いることで、立体部位の視差からその立体部位の撮像装置１１０に対する相対距離を導出する方法である。このとき、位置情報導出部１６２は、立体部位との相対距離と、立体部位と同相対距離にある道路表面上の点から立体部位までの距離画像２１２上の距離とに基づいて、立体部位の道路表面からの高さを導出する。なお、このようにして導出された視差情報（３次元の位置情報）を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。
【００３２】
図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０から立体部位毎の視差を求め、位置情報導出部１６２は、視差に基づいて立体部位毎の３次元の位置情報を導出し、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各立体部位には、その立体部位の視差情報が関連付けられている。ここでは、説明の便宜上、視差情報が導出された立体部位を黒のドットで表している。本実施形態では、このようなカラー画像２１０と距離画像２１２とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像２１０、第１画像に基づく距離画像２１２、第２画像に基づくカラー画像２１０、第２画像に基づく距離画像２１２が用いられる。
【００３３】
（車両特定処理）
図４および図５は、車両特定部１６４の処理を説明するための説明図である。車両特定部１６４は、まず、第１画像に基づく距離画像２１２の検出領域２１４を、水平方向に対して複数の分割領域２１６に分割する。すると、分割領域２１６は図４（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。
【００３４】
続いて、車両特定部１６４は、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図４（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図４（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図４（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図４（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３５】
次に、車両特定部１６４は、隣接する分割領域２１６同士を比較し、図５に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４は、道路表面より上方に位置する立体物を特定することができる。
【００３６】
続いて、車両特定部１６４は、分割領域群２２２内における、相対距離が代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離の差分、高さの差分および相対距離の差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である立体物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離の差分、高さの差分および相対距離の差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００３７】
また、ここでは、水平距離の差分、高さの差分および相対距離の差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離の差分、高さの差分および相対距離の差分の二乗平均√（（水平距離の差分）２＋（高さの差分）２＋（相対距離の差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００３８】
次に、車両特定部１６４は、グループ化した立体物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その立体物２２４を特定物「車両」として決定する。例えば、車両特定部１６４は、グループ化された立体物２２４が道路上に位置する場合、その立体物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その立体物２２４を特定物「車両」と特定する。また、車両特定部１６４は、特定物「車両」と特定された立体物２２４が画面上占有する矩形の領域を車両領域として特定する。
【００３９】
こうして、車外環境認識装置１２０では、第１画像としての距離画像２１２から、１または複数の立体物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域２１４内の任意の立体物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。このような先行車両の特定や先行車両の挙動をさらに迅速に把握するため、以下では、車両領域に位置する発光源候補の中から点灯状態のブレーキランプを判定する。
【００４０】
（発光源候補特定処理）
ところで、第２画像は、例えば、特定の発光源（ここでは、点灯状態のブレーキランプ）を判別可能な第２露光態様で撮像した画像である。ここで、ブレーキランプのように自発光するものは、太陽や街灯の明るさ（外部環境）に拘わらず、高いカラー値を取得することができる。特に、ブレーキランプの点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、ブレーキランプに相当する画素のみを容易に抽出することが可能である。
【００４１】
図６は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図６（ａ）は、第１露光態様による第１画像に基づくカラー画像２１０を示し、特に、図６（ａ）の左図ではテールランプが点灯しており、図６（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図６（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプが消灯状態でかつテールランプが点灯状態である時のテールランプ位置２３０のカラー値と、ブレーキランプが点灯状態でかつテールランプが点灯状態である時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。
【００４２】
図６（ｂ）は、第２露光態様による第２画像に基づくカラー画像２１０を示し、特に、図６（ｂ）の左図ではテールランプが点灯しており、図６（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図６（ｂ）を参照して理解できるように、テールランプが点灯状態でもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプが点灯状態である時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。
【００４３】
かかる第２露光態様では、ブレーキランプのカラー値のＲ成分が、撮像素子においてサチレーションするかしないかといった境界に相当する露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。そうすると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出することができる。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。
【００４４】
具体的に、夜間の走行時に先行車両が存在する場合に、点灯状態のブレーキランプがカラー範囲（Ｒ）「２００以上」となるように第２露光状態が設定されていると、点灯状態のテールランプが、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度で、第２画像に基づくカラー画像２１０に表示される。これに対して、点灯状態のブレーキランプは、例えば、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」で第２画像に表示される。こうして発光源候補特定部１６６は、第２画像に基づくカラー画像２１０を通じて、点灯状態のブレーキランプを特定することが可能となる。以下では、第２画像に基づくカラー画像２１０から、点灯状態のブレーキランプを含む発光源の候補を発光源候補として特定する発光源候補特定処理について説明する。
【００４５】
図７は、カラー閾値を示す説明図である。本実施形態では、例えば、図７に示すように、第２画像に基づくカラー画像２１０から点灯状態のブレーキランプを特定するためのカラー閾値として、「黄色（Ｙ）」、「赤色（Ｒ）」、「赤色と比較して少し暗い赤色（ＷＲ１）」、「さらに暗い赤色（ＷＲ２）」、「一番暗い赤色（ＷＲ３）」の５段階が設けられている。ここでは、第２露光態様における標準的なシャッター速度を１７ｍｓｅｃとしている。また、本実施形態では、このような複数のカラー閾値を直接用いず、複数のカラー閾値に基づく複数のカラー条件を採用する。ここで、複数のカラー条件として、「黄色」（以下、単に「第１カラー条件」という）、「黄色」＋「赤色」（以下、単に「第２カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」（以下、単に「第３カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」＋「さらに暗い赤色」（以下、単に「第４カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」＋「さらに暗い赤色」＋「一番暗い赤色」（以下、単に「第５カラー条件」という）の５段階が設けられている。このように、各条件を、各カラー閾値とそれより強度（明度）が高い他のカラー閾値との和とした理由は、所定のカラー閾値より強度が高い領域を適切に求めるためである。
【００４６】
発光源候補特定部１６６は、第２画像に基づくカラー画像２１０から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する。そして、少なくとも「一番暗い赤色」のカラー値である画素は点灯状態のブレーキランプが撮像されたものである可能性があるため、発光源候補特定部１６６は、カラー値が第５カラー条件を満たす画素、つまり、「一番暗い赤色」のカラー値以上である画素を特定する。なお、検出領域２１４が例えば雨天や曇天であった場合、発光源候補特定部１６６は、本来のカラー値を取得できるようにホワイトバランスを調整してから取得してもよい。
【００４７】
発光源候補特定部１６６は、特定した、第５カラー条件を満たす画素同士の水平距離の差分、高さの差分および相対距離の差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１の発光源候補としてグループ化する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に存在するブレーキランプの一方として個々に認識することが可能となる。
【００４８】
そして、発光源候補特定部１６６は、第１画像に基づいて特定された車両領域と、特定した発光源候補とを、それぞれの画像に基づく距離画像２１２が示す視差情報に基づいて対応付ける。
【００４９】
また、発光源候補特定部１６６は、第１画像および第２画像が取得される度に、前回取得された第２画像における発光源候補と、今回取得された第２画像における発光源候補とが車両領域において所定範囲内にある場合、同一の発光源候補として対応付ける。このようにすることで、発光源候補特定部１６６は、発光源候補が特定されると、その発光源候補を追跡することができる。
【００５０】
（発光源候補除外処理）
しかしながら、日照条件（外部環境）によっては、ブレーキランプカバーやリヤウインドウに太陽光が反射することで、第２画像において太陽光が反射した領域のカラー値が高くなり、太陽光が反射した領域が発光源候補として誤検出されるおそれがある。特に、ブレーキランプカバーや、赤色の車体の車両においては、太陽光が反射すると、太陽光が反射した領域の赤色のカラー値（Ｒ）が高くなり、ブレーキランプが点灯している場合と同様のカラー値になることがある。このような場合には、ブレーキランプが点灯していないのに、太陽光が反射したブレーキランプカバーや赤色の車体の一部で、ブレーキランプが点灯していると誤判定してしまうおそれがある。
【００５１】
ここで、第２画像において、点灯状態のブレーキランプは車両領域に対して常に同じ位置関係にあるが、太陽光の反射によりカラー値が高くなっている箇所は、太陽と、先行車両および自車両１との位置関係によって変化する。
【００５２】
そこで、移動量導出部１６８は、発光源候補特定部１６６により特定された車両領域内に位置する発光源候補について、発光源候補特定部１６６により対応付けられた１０フレーム分の第２画像における移動量（車両領域の決められた位置からの相対的な移動量）を導出する。より具体的には、移動量導出部１６８は、発光源候補が特定された最初の第２画像、および、その１０フレーム後の第２画像について、車両領域における左下隅を原点として発光源候補の幾何学的な重心位置を導出する。そして、移動量導出部１６８は、先行車両および発光源候補が特定された最初の第２画像における発光源候補の重心位置から、１０フレーム後の第２画像における発光源候補の重心位置までの距離を移動量として導出する。なお、移動量導出部１６８は、前回のフレームにおける発光源候補に対応する発光源候補が特定されると、前回のフレームからの移動量を導出していき、それらを累積することで、１０フレーム分の第２画像における移動量を導出するようにしてもよい。
【００５３】
そして、発光源候補除外部１７０は、移動量導出部１６８により導出された発光源候補の移動量が、所定の移動量閾値（例えば、５０ｃｍ）以上である場合に、太陽光の反射により赤色のカラー値が高くなった領域であるとして、後述するランプ判定処理での発光源候補から除外する。なお、ここで、一度除外された発光源候補は、それ以降のフレームにおいて対応する発光源候補として特定されても、ランプ判定処理での発光源候補から除外され続ける。
【００５４】
図８は、発光源候補除外処理を説明する図である。一例として、図８（ａ）に示すように、車両領域２４０内に３つの発光源候補２４２ａ、２４２ｂ、２４２ｃが特定されたとする。そして、図８（ｂ）に示すように、発光源候補２４２ａが時間の経過とともに（１０フレーム間で）移動し、１０フレーム間で発光源候補２４２ａの移動量が移動量閾値よりも移動したとする。このような場合、図８（ｃ）に示すように、発光源候補除外部１７０は、発光源候補２４２ａを発光源候補から除外する。
【００５５】
そして、以下で説明するランプ判定処理において、車両領域内に位置する発光源候補から、除外された発光源候補を除いた発光源候補について、点灯状態のブレーキランプであるか否かを判定する。つまり、１０フレームに亘って移動量が移動量閾値未満であった発光源候補について、点灯状態のブレーキランプであるか否かを判定する。
【００５６】
（ランプ判定処理）
ところで、自車両１と先行車両との相対距離が長いと、カラー条件を満たす発光源候補が小さくなり、その画素数も少なくなる。これに対し、先行車両との相対距離が短いと、カラー条件を満たす発光源候補が大きくなり、その画素数が多くなる。したがって、ブレーキランプが点灯状態を維持していても、先行車両との相対距離の変化に応じてカラー条件を満たす画素数が変動する。例えば、ブレーキランプが点灯状態であるにも拘わらず、先行車両との位置関係によりカラー条件を満たす画素数が異なると、本来はブレーキランプが点灯状態にあり、カラー条件を満たす画素が存在しても、相対距離が長すぎて、その数が閾値に満たない結果が生じうる。そこで、本実施形態では、先行車両との相対距離に基づいて画素数を実際の面積に変換する。
【００５７】
図９は、自車両１と先行車両との相対距離と画素数の関係を示した説明図である。図９では、横軸に相対距離を示し、縦軸に所定の大きさの立体物が占有する画素数が示されている。図９を参照して理解できるように、同一の立体物（同一の面積）であっても、相対距離が長くなるほど、画素数が小さくなる。かかる推移は、関数で近似でき、相対距離０地点から図９における相対距離ａ地点までは、相対距離に比例し、ａ地点以降は、相対距離の３／２乗に比例する。通常、画像における立体物の大きさは、その相対距離に単純に比例するが、発光源の場合、発光の影響を受けて見た目上の発光範囲が広がる。よって、図９のように、相対距離と画素数との関係が非線形になる。
【００５８】
したがって、面積変換部１７２は、先行車両との相対距離に基づいて設定されているカラー条件を満たす画素数を計数し、図９の逆関数により（図９の画素数で除算し）、カラー条件を満たした画素数を面積に変換する。具体的には、面積変換部１７２は、相対距離が０〜４０ｍ未満であれば第２カラー条件を満たす画素数を計数し、相対距離が４０〜６０ｍ未満であれば第３カラー条件を満たす画素数を計数し、相対距離が６０〜８０ｍ未満であれば第４カラー条件を満たす画素数を計数し、相対距離が８０ｍ以上であれば第５カラー条件を満たす画素数を計数する。
【００５９】
そして、面積変換部１７２は、図９の逆関数により（図９の画素数で除算し）、計数した画素数を面積に変換する。こうして、立体物の大きさの変動が少なくなり、後述するランプ判定部１７４は、変換された面積と点灯判定閾値とを比較することで、点灯状態のブレーキランプを高精度に判定することが可能となる。
【００６０】
ランプ判定部１７４は、発光源候補の面積が所定の点灯判定閾値以上である場合には、点灯状態のブレーキランプであると仮判定する。そして、ランプ判定部１７４は、点灯状態のブレーキランプであると仮判定された発光源候補が、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、ランプ判定部１７４は、１対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。そして、ランプ判定部１７４は、上記条件を満たした１対の発光源候補を点灯状態のブレーキランプであると判定する。このように、発光源候補が車両の適切な位置に対応している場合にのみブレーキランプとして特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源候補をブレーキランプと誤認識するのを防止することができる。
【００６１】
このように、ランプ判定部１７４は、点灯状態のブレーキランプを判定すると、当該ブレーキランプと、上述した第１露光態様による第１画像によって特定した「車両」とを対応付ける。
【００６２】
以上のように、車外環境認識装置１２０は、発光源候補のうち、所定期間（１０フレームに相当する期間）での移動量が移動量閾値以上である発光源候補を除外し、除外されていない発光源候補について、点灯状態のブレーキランプであるかを判定するようにした。これにより、ブレーキランプカバーや赤色の車体に太陽光が反射して赤色のカラー値が高くなっている発光源候補を、点灯状態のブレーキランプを判定する際の候補から除外することができ、精度よく点灯状態のブレーキランプを判定することができる。また、例えば１０フレームといった短い期間において点灯状態のブレーキランプを判定することができる。
【００６３】
（車外環境認識処理の流れ）
次に、中央制御部１５４が実行する、上記した画像処理、車両特定処理、発光源候補特定処理、発光源候補除外処理、ランプ判定処理を含む車外環境認識処理の流れについて説明する。なお、車外環境認識処理は、第１画像および第２画像が取得される度に割り込みによって実行される。
【００６４】
図１０は、車外環境認識処理の流れを示すフローチャートである。図１０に示すように、まず、画像処理部１６０は、撮像装置１１０から、第１露光態様で撮像された第１画像と、第２露光態様で撮像された第２画像とを取得する（Ｓ３００）。そして、画像処理部１６０は、取得した画像から視差を導出し、位置情報導出部１６２は、導出された視差に基づいて立体部位毎の３次元の位置情報を導出する（Ｓ３０２）。続いて、車両特定部１６４は、３次元の位置情報に基づいてグループ化された立体物から車両、車両領域を特定するとともに、先行車両との相対位置（相対距離）を特定する（Ｓ３０４）。
【００６５】
そして、発光源候補特定部１６６は、第２画像を構成する画素のカラー値が第５カラー条件を満たす画素のグループを発光源候補として特定する（Ｓ３０６）。続いて、発光源候補特定部１６６は、特定された発光源候補を、前回フレームにおける発光源候補と対応付けることで、その発光源候補を追跡する（Ｓ３０８）。
【００６６】
その後、移動量導出部１６８は、未判定の発光源候補の１つを選択し（Ｓ３１０）、選択した発光源候補が１０フレームに亘って特定されたかを判定し（Ｓ３１２）、選択した発光源候補が１０フレームに亘って特定されていなければ（Ｓ３１２におけるＮＯ）、Ｓ３２２の処理に移る。
【００６７】
一方、選択した１の発光源候補が１０フレームに亘って特定されていれば（Ｓ３１２におけるＹＥＳ）、移動量導出部１６８は、発光源候補の移動量を導出する（Ｓ３１４）。発光源候補除外部１７０は、導出された発光源候補の移動量が移動量閾値以上であるかを判定し（Ｓ３１６）、発光源候補の移動量が移動量閾値以上であれば（Ｓ３１６におけるＹＥＳ）、下記のランプ判定処理（Ｓ３２４〜Ｓ３３２）の対象から除外する（Ｓ３１８）。一方、発光源候補除外部１７０は、発光源候補の移動量が移動量閾値以上でなければ（Ｓ３１６におけるＮＯ）、下記のランプ判定処理（Ｓ３２４〜Ｓ３３２）の対象（ランプ判定対象）の発光源候補に決定する（Ｓ３２０）。
【００６８】
Ｓ３１８またはＳ３２０を実行した後、移動量導出部１６８は、未判定の発光源候補があるか否かを判定する（Ｓ３２２）。そして、未判定の発光源候補があれば（Ｓ３２２におけるＹＥＳ）、Ｓ３１０の処理に戻る。一方、未判定の発光源候補がなければ（Ｓ３２２におけるＮＯ）、Ｓ３２４の処理に移る。なお、移動量導出部１６８は、Ｓ３１８において、ランプ判定処理（Ｓ３２４〜Ｓ３３２）の対象から除外した発光源候補に対応する発光源候補がＳ３０６において特定されても、Ｓ３１０〜Ｓ３２２の処理を実行することなく、ランプ判定処理（Ｓ３２４〜Ｓ３３２）の対象から除外する。
【００６９】
面積変換部１７２は、Ｓ３１８において除外されていない、つまり、ランプ判定対象の発光源候補の中から、未判定の発光源候補の１つを選択し（Ｓ３２４）、面積変換部１７２は、相対距離に応じたカラー条件（第２カラー条件〜第５カラー条件のいずれか）を満たす画素数を計数し、先行車両との相対距離に基づいて画素数を面積に変換する（Ｓ３２６）。続いて、ランプ判定部１７４は、変換した面積と点灯判定閾値とを比較することで、点灯状態のブレーキランプか否かを仮判定する（Ｓ３２８）。
【００７０】
その後、ランプ判定部１７４は、ランプ判定対象の発光源候補の中で未判定の発光源候補があるか否かを判定し（Ｓ３３０）、未判定の発光源候補があれば（Ｓ３３０におけるＹＥＳ）、Ｓ３２４の処理に戻る。一方、未判定の発光源候補がなければ（Ｓ３３０におけるＮＯ）、ランプ判定部１７４は、点灯状態のブレーキランプとして仮判定した発光源候補が位置、大きさ等の条件を満たせば、その発光源候補を点灯状態のブレーキランプと判定し（Ｓ３３２）、車外環境認識処理を終了する。
【００７１】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００７２】
なお、上記の実施形態においては、発光源候補について、相対距離に応じたカラー条件を満たす画素数を計数し、先行車両との相対距離に基づいて画素数を面積に変換し、変換した面積と点灯判定閾値とを比較することで、点灯状態のランプを判定するようにした。しかしながら、これに限らず、発光源候補について、所定のカラー条件を満たす画素数または画素面積と点灯判定閾値とを比較することで、点灯状態のランプを判定するようにしてもよい。
【００７３】
また、上記の実施形態においては、点灯状態のブレーキランプと仮判定した発光源候補に対して位置、大きさ等の条件を満たすかを判定し、条件を満たす発光源候補を点灯状態のブレーキランプと判定した。しかしながら、これに限らず、点灯状態のブレーキランプと仮判定した発光源候補を、そのまま点灯状態のブレーキランプと判定してもよい。
【００７４】
また、上記の実施形態においては、点灯状態のブレーキランプを判定するようにしたが、これに限らず、他の点灯状態のランプを判定するようにしてもよい。
【００７５】
また、上記の実施形態においては、中央制御部１５４として、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成されるようにした。しかしながら、これに限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、１または複数の中央処理装置、ＦＰＧＡ、ＡＳＩＣにより構成されるようにしてもよい。
【００７６】
また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＮＶＲＡＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００７７】
また、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００７８】
本発明は、先行車両における点灯状態のブレーキランプを特定する車外環境認識装置に利用することができる。
【符号の説明】
【００７９】
１１０  撮像装置
１２０  車外環境認識装置
１６４  車両特定部
１６６  発光源候補特定部
１６８  移動量導出部
１７０  発光源候補除外部
１７４  ランプ判定部
【図１】
2017016194.tif 000003
【図２】
2017016194.tif 000004
【図３】
2017016194.tif 000005
【図４】
2017016194.tif 000006
【図５】
2017016194.tif 000007
【図６】
2017016194.tif 000008
【図７】
2017016194.tif 000009
【図８】
2017016194.tif 000010
【図９】
2017016194.tif 000011
【図１０】
2017016194.tif 000012