(57)【特許請求の範囲】
【請求項１】
コンピュータが、
撮像装置により撮像された画像について、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部と、
特定された前記車両領域における、発光源の候補を発光源候補として特定する発光源候補特定部と、
特定された前記車両領域における、前記発光源を覆うカバーを特定するカバー特定部と、
特定された前記発光源候補の画素数または画素面積と、前記カバー特定部により特定された前記カバーの画素数または画素面積に応じた点灯判定閾値とに基づいて、該発光源候補が点灯状態のランプであるか否かを判定するランプ判定部として機能することを特徴とする車外環境認識装置。
【請求項２】
前記コンピュータは、
特定された前記カバーの画素数を計数し、計数した画素数を先行車両との相対距離に基づいて該カバーの面積に変換するカバー面積変換部と、
特定された前記発光源候補の画素数を計数し、計数した画素数を先行車両との相対距離に基づいて該発光源候補の面積に変換する発光源候補面積変換部としてさらに機能し、
前記ランプ判定部は、
前記発光源候補の面積が、前記カバーの面積に応じた点灯判定閾値以上である場合に、該発光源候補が点灯状態のランプであると判定することを特徴とする請求項１に記載の車外環境認識装置。
【請求項３】
前記発光源候補面積変換部および前記カバー面積変換部は、所定の強度のカラー条件を満たした画素数を計数し、
前記発光源候補面積変換部が画素数を計数する際に用いられるカラー条件は、前記カバー面積変換部が画素数を計数する際に用いられるカラー条件より高い強度であることを特徴とする請求項２に記載の車外環境認識装置。
【請求項４】
前記点灯判定閾値は、
前記カバーの面積に比例して大きくなることを特徴とする請求項２または３に記載の車外環境認識装置。
【請求項５】
前記コンピュータは、
前記撮像装置により撮像される外部環境を判定する環境判定部としてさらに機能し、
前記点灯判定閾値は、
前記環境判定部により判定された外部環境に応じて、異なる値が設定されることを特徴とする請求項１から４のいずれか１項に記載の車外環境認識装置。
【請求項６】
前記環境判定部は、
前記外部環境として晴または晴以外であるかを判定し、
前記点灯判定閾値は、
前記外部環境が晴である場合の方が、該外部環境が晴以外である場合よりも大きな値に設定されることを特徴とする請求項５に記載の車外環境認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、先行車両における点灯状態のブレーキランプを特定する車外環境認識装置に関する。
【背景技術】
【０００２】
従来、自車両の前方に位置する先行車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を所定の距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。ここで、先行車両のブレーキランプ（ランプ）の点灯有無（ブレーキの操作状態）等を認識し、先行車両の減速動作を推測するといった処理を組み込むことができれば、より円滑なクルーズコントロールが可能となる。
【０００３】
このような先行車両のブレーキランプの点灯有無を検出する技術として、撮像装置により撮像された画像から特定された発光源の大きさに対する閾値を、車外環境の明るさに応じて変更してブレーキランプの点灯有無を判定する技術（例えば、特許文献２）が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３３４９０６０号公報
【特許文献２】特開２０１３−１０９３９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、例えば先行車両のブレーキランプカバーやリヤウインドウ等に太陽光が反射すると、太陽光を反射した領域が発光源の輝度の条件を満たす場合がある。このような場合に、上述した特許文献２の技術では、発光源の輝度に関する条件が変更されないため、太陽光が反射した領域を発光源として特定してしまい、その発光源を点灯状態のブレーキランプであると誤判定するおそれがあった。
【０００６】
一方、特定した先行車両の発光源を一定の時間にわたって継続的に検出し、検出した発光源の輝度変化に基づいて、ブレーキランプの点灯有無を判定することも考えられる。しかしながら、この方法では、先行車両を特定した直後など、情報が十分に蓄積されていない間は、ブレーキランプの点灯有無の判定を行うことは困難である。
【０００７】
本発明は、このような課題に鑑み、早期に精度よく点灯状態のランプを特定することが可能な車外環境認識装置を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明の車外環境認識装置は、コンピュータが、撮像装置により撮像された画像について、先行車両、および、該先行車両が占有する車両領域を特定する車両特定部と、特定された前記車両領域における、発光源の候補を発光源候補として特定する発光源候補特定部と、特定された前記車両領域における、前記発光源を覆うカバーを特定するカバー特定部と、特定された前記発光源候補の画素数または画素面積と、前記カバー特定部により特定された前記カバーの画素数または画素面積に応じた点灯判定閾値とに基づいて、該発光源候補が点灯状態のランプであるか否かを判定するランプ判定部として機能する。
【０００９】
また、前記コンピュータは、特定された前記カバーの画素数を計数し、計数した画素数を先行車両との相対距離に基づいて該カバーの面積に変換するカバー面積変換部と、特定された前記発光源候補の画素数を計数し、計数した画素数を先行車両との相対距離に基づいて該発光源候補の面積に変換する発光源候補面積変換部としてさらに機能し、前記ランプ判定部は、前記発光源候補の面積が、前記カバーの面積に応じた点灯判定閾値以上である場合に、該発光源候補が点灯状態のランプであると判定するとよい。
【００１０】
また、前記発光源候補面積変換部および前記カバー面積変換部は、所定の強度のカラー条件を満たした画素数を計数し、前記発光源候補面積変換部が画素数を計数する際に用いられるカラー条件は、前記カバー面積変換部が画素数を計数する際に用いられるカラー条件より高い強度であるとよい。
【００１１】
また、前記点灯判定閾値は、前記カバーの面積に比例して大きくなるとよい。
【００１２】
また、前記コンピュータは、前記撮像装置により撮像される外部環境を判定する環境判定部としてさらに機能し、前記点灯判定閾値は、前記環境判定部により判定された外部環境に応じて、異なる値が設定されるとよい。
【００１３】
また、前記環境判定部は、前記外部環境として晴または晴以外であるかを判定し、前記点灯判定閾値は、前記外部環境が晴である場合の方が、該外部環境が晴以外である場合よりも大きな値に設定されるとよい。
【発明の効果】
【００１４】
本発明によれば、早期に精度よく発光源を特定することが可能となる。
【図面の簡単な説明】
【００１５】
【図１】環境認識システムの接続関係を示したブロック図である。
【図２】車外環境認識装置の概略的な機能を示した機能ブロック図である。
【図３】カラー画像と距離画像を説明するための説明図である。
【図４】車両特定部の処理を説明するための説明図である。
【図５】車両特定部の処理を説明するための説明図である。
【図６】第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。
【図７】カラー閾値を示す説明図である。
【図８】自車両と先行車両との相対距離と画素数の関係を示した説明図である。
【図９】ブレーキランプカバーの面積に対する点灯判定閾値を示した説明図である。
【図１０】車外環境認識処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。
【００１７】
近年では、車両に搭載した車載カメラによって自車両の前方の道路環境を撮像し、撮像した画像内における色情報や位置情報に基づいて先行車両等の立体物を特定し、特定された立体物との衝突を回避したり、先行車両との車間距離を所定の距離に保つ（ＡＣＣ：Adaptive Cruise Control）、所謂衝突防止機能を搭載した車両が普及しつつある。
【００１８】
かかるＡＣＣや衝突防止機能では、例えば、自車両前方に位置する立体物と、自車両との相対距離を導出し、かかる相対距離に基づいて、自車両の前方に位置する立体物との衝突を回避したり、立体物が車両（先行車両）であった場合、その先行車両との相対距離を所定の距離に保つように制御する。また、先行車両のブレーキランプの点灯有無等を認識し、先行車両の減速動作を推測する処理を組み込むことで、より円滑なクルーズコントロールを実現することが可能となる。以下、このような目的を達成するための環境認識システムを説明し、その具体的な構成要素である車外環境認識装置を詳述する。
【００１９】
（環境認識システム１００）
図１は、環境認識システム１００の接続関係を示したブロック図である。環境認識システム１００は、自車両１内に設けられた、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。
【００２０】
撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方を撮像し、カラー値で表されるカラー画像を生成することができる。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（ＵＶ）からなる、または、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなる数値群である。
【００２１】
また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域を撮像した画像データを、例えば１／２０秒のフレーム毎（２０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０により生成された画像データから認識する特定物には、車両、歩行者、信号機、道路（進行路）、ガードレール、建物といった独立して存在する立体物のみならず、ブレーキランプ、ハイマウントストップランプ、テールランプ、ウィンカー、信号機の各点灯部分等、立体物の一部として特定できる物も含まれる。以下の実施形態における各機能部は、このような画像データの更新を契機としてフレーム毎に各処理を遂行する。
【００２２】
さらに、本実施形態において、撮像装置１１０は、車外環境の明るさ（照度計の計測結果等）に応じた露光時間や絞りを示す第１露光態様で検出領域を撮像し、第１画像を生成する。また、撮像装置１１０は、ブレーキランプ等、特定の発光源が自発光しているか否かを判別可能な第２画像を生成する。その方法としては、ダイナミックレンジが広い撮像素子を用い、発光していない立体物が黒く潰れず、発光源が白とびしないように撮像してもよいし、第１露光態様とは露光態様（露光時間、絞り）が異なる第２露光態様で検出領域を撮像し、第２画像を生成してもよい。例えば、昼間であれば、明るい車外環境に応じた第１露光態様の露光時間より第２露光態様の露光時間を短くして、または、絞りを強くして第２画像を生成する。本実施形態において、第１画像および第２画像はそれぞれカラー画像および距離画像として用いられる。また、上記第１露光態様と第２露光態様とは、以下のようにして実現される。
【００２３】
例えば、撮像装置１１０は、周期的な撮像タイミングを時分割し、第１露光態様による撮像と第２露光態様による撮像とを交互に行うことで、第１画像と第２画像とを順次生成する。また、撮像装置１１０は、画素毎に２つのキャパシタが設けられ、その２つのキャパシタに並行して電荷をチャージできる撮像素子において、一度の露光でチャージする時間を異ならせて露光態様の異なる２つの画像を並行して生成してもよい。さらに、撮像装置１１０は、１つのキャパシタの電荷のチャージ中に、時間を異ならせて画像を２回読み出し、露光態様の異なる２つの画像を並行して生成してもよい。また、撮像装置１１０は、露光態様を異ならせた２セットの撮像装置により構成され（ここでは、２つの撮像装置１１０×２セット）、２セットの撮像装置１１０からそれぞれ画像を生成してもよい。露光態様を支配する露光時間は、例えば１〜６０ｍｓｅｃの範囲で適切に制御される。
【００２４】
車外環境認識装置１２０は、２つの撮像装置１１０それぞれから画像データを取得し、所謂パターンマッチングを用いて視差（角度差）を導き出し、視差に基づいて導出される視差情報（後述する３次元の位置情報に相当）を画像データに対応付けて距離画像を生成する。カラー画像および距離画像については後ほど詳述する。
【００２５】
また、車外環境認識装置１２０は、カラー画像に基づくカラー値、および、距離画像に基づく自車両１との相対距離を含む実空間における３次元の位置情報を用い、カラー値が等しく３次元の位置情報が近いブロック同士を立体物としてグループ化して、自車両１前方の検出領域における立体物がいずれの特定物（例えば、先行車両）に対応するかを特定する。例えば、相対距離等によって先行車両を特定し、さらに、カラー値によってその先行車両のブレーキランプの位置や点灯有無を把握する。このような処理により、ブレーキランプの点灯による当該車両の減速を迅速に把握し、衝突回避制御やＡＣＣに利用することが可能となる。
【００２６】
車外環境認識装置１２０は、立体物を先行車両として特定すると、その先行車両を追跡しつつ、先行車両の相対速度や先行車両との相対距離等を導出し、先行車両と自車両１とが衝突する可能性が高いか否かの判定を行う。ここで、衝突の可能性が高いと判定した場合、車外環境認識装置１２０は、その旨、運転者の前方に設置されたディスプレイ１２２を通じて運転者に警告表示（報知）を行うとともに、車両制御装置１３０に対して、その旨を示す情報を出力する。
【００２７】
車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転者の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、駆動機構１４４、制動機構１４６を制御する。
【００２８】
以下、車外環境認識装置１２０の構成について詳述する。ここでは、本実施形態に特徴的な、先行車両の特定手順と、先行車両における点灯状態のブレーキランプの特定手順について詳細に説明し、本実施形態の特徴と無関係の構成については説明を省略する。
【００２９】
（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、記憶部１５２と、中央制御部１５４とを含んで構成される。
【００３０】
Ｉ／Ｆ部１５０は、撮像装置１１０や車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。記憶部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持し、また、撮像装置１１０から受信した画像データ（第１画像および第２画像に基づくカラー画像、距離画像）を一時的に保持する。
【００３１】
中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成されたコンピュータでなり、システムバス１５６を通じて、Ｉ／Ｆ部１５０、記憶部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像処理部１６０、位置情報導出部１６２、車両特定部１６４、発光源候補特定部１６６、発光源候補面積変換部１６８、カバー特定部１７０、カバー面積変換部１７２、環境判定部１７４、ランプ判定部１７６として機能する。以下、このような機能部について大凡の目的を踏まえ、画像処理、車両特定処理、発光源候補特定処理、面積変換処理、カバー面積導出処理、ランプ判定処理といった順に詳細な動作を説明する。
【００３２】
（画像処理）
画像処理部１６０は、２つの撮像装置１１０それぞれから画像データ（第１画像および第２画像）を取得し、第１画像の一方から任意に抽出したブロック（例えば水平４画素×垂直４画素の配列）に対応するブロックを他方の第１画像から検索する、所謂パターンマッチングを用いて視差を導き出す。また、画像処理部１６０は、第２画像に対してもパターンマッチングを用いて視差を導き出す。ここで、「水平」は、撮像したカラー画像の画面横方向を示し、「垂直」は、撮像したカラー画像の画面縦方向を示す。
【００３３】
このパターンマッチングとしては、２つの画像間において、任意の画像位置を示すブロック単位で輝度（Ｙ色差信号）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。画像処理部１６０は、このようなブロック単位の視差導出処理を検出領域（例えば水平６００画素×垂直１８０画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを水平４画素×垂直４画素としているが、ブロック内の画素数は任意に設定することができる。
【００３４】
ただし、画像処理部１６０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような立体物の一部であるかを認識できない。したがって、視差に基づいて導出される視差情報は、立体物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。
【００３５】
位置情報導出部１６２は、画像処理部１６０により導出された検出領域２１４内のブロック毎（立体部位毎）の視差に基づいて、所謂ステレオ法を用いて、水平距離、高さおよび相対距離を含む３次元の位置情報を導出する。ここで、ステレオ法は、三角測量法を用いることで、立体部位の視差からその立体部位の撮像装置１１０に対する相対距離を導出する方法である。このとき、位置情報導出部１６２は、立体部位との相対距離と、立体部位と同相対距離にある道路表面上の点から立体部位までの距離画像２１２上の距離とに基づいて、立体部位の道路表面からの高さを導出する。なお、このようにして導出された視差情報（３次元の位置情報）を画像データに対応付けた画像を、上述したカラー画像と区別して距離画像という。
【００３６】
図３は、カラー画像２１０と距離画像２１２を説明するための説明図である。例えば、２つの撮像装置１１０を通じ、検出領域２１４について図３（ａ）のようなカラー画像（画像データ）２１０が生成されたとする。ただし、ここでは、理解を容易にするため、２つのカラー画像２１０の一方のみを模式的に示している。本実施形態において、画像処理部１６０は、このようなカラー画像２１０から立体部位毎の視差を求め、位置情報導出部１６２は、視差に基づいて立体部位毎の３次元の位置情報を導出し、図３（ｂ）のような距離画像２１２を形成する。距離画像２１２における各立体部位には、その立体部位の視差情報が関連付けられている。ここでは、説明の便宜上、視差情報が導出された立体部位を黒のドットで表している。本実施形態では、このようなカラー画像２１０と距離画像２１２とを第１画像および第２画像それぞれに基づいて生成している。したがって、本実施形態では、第１画像に基づくカラー画像２１０、第１画像に基づく距離画像２１２、第２画像に基づくカラー画像２１０、第２画像に基づく距離画像２１２が用いられる。
【００３７】
（車両特定処理）
図４および図５は、車両特定部１６４の処理を説明するための説明図である。車両特定部１６４は、まず、第１画像に基づく距離画像２１２の検出領域２１４を、水平方向に対して複数の分割領域２１６に分割する。すると、分割領域２１６は図４（ａ）のような短冊形状になる。このような短冊形状の分割領域２１６は、本来、例えば、水平幅４画素のものが１５０列配列してなるが、ここでは、説明の便宜上、検出領域２１４を１６等分したもので説明する。
【００３８】
続いて、車両特定部１６４は、分割領域２１６毎に、位置情報に基づき、道路表面より上方に位置する全てのブロックを対象に、複数に区分した所定距離それぞれに含まれる相対距離を積算してヒストグラム（図４（ｂ）中、横長の四角（バー）で示す）を生成する。すると、図４（ｂ）のような距離分布２１８が得られる。ここで、縦方向は、区分した所定距離（距離区分）を、横方向は、距離区分それぞれに相対距離が含まれるブロックの個数（度数）を示している。ただし、図４（ｂ）は計算を行う上での仮想的な画面であり、実際には視覚的な画面の生成を伴わない。そして、車両特定部１６４は、このようにして導出された距離分布２１８を参照し、ピークに相当する相対距離である代表距離（図４（ｂ）中、黒で塗りつぶした四角で示す）２２０を特定する。ここで、ピークに相当するとは、ピーク値またはピーク近傍で任意の条件を満たす値をいう。
【００３９】
次に、車両特定部１６４は、隣接する分割領域２１６同士を比較し、図５に示すように、代表距離２２０が近接する（例えば、１ｍ以下に位置する）分割領域２１６をグループ化して１または複数の分割領域群２２２を生成する。このとき、３以上の分割領域２１６で代表距離２２０が近接していた場合にも、連続する全ての分割領域２１６を分割領域群２２２として纏める。かかるグループ化によって、車両特定部１６４は、道路表面より上方に位置する立体物を特定することができる。
【００４０】
続いて、車両特定部１６４は、分割領域群２２２内における、相対距離が代表距離２２０に相当するブロックを基点として、そのブロックと、水平距離の差分、高さの差分および相対距離の差分が予め定められた範囲（例えば０．１ｍ）内にあるブロックとを、同一の特定物に対応すると仮定してグループ化する。こうして、仮想的なブロック群である立体物２２４が生成される。上記の範囲は実空間上の距離で表され、製造者や搭乗者によって任意の値に設定することができる。また、車両特定部１６４は、グループ化により新たに追加されたブロックに関しても、そのブロックを基点として、水平距離の差分、高さの差分および相対距離の差分が所定範囲内にあるブロックをさらにグループ化する。結果的に、同一の特定物と仮定可能なブロック全てがグループ化されることとなる。
【００４１】
また、ここでは、水平距離の差分、高さの差分および相対距離の差分をそれぞれ独立して判定し、全てが所定範囲に含まれる場合のみ同一のグループとしているが、他の計算によることもできる。例えば、水平距離の差分、高さの差分および相対距離の差分の二乗平均√（（水平距離の差分）２＋（高さの差分）２＋（相対距離の差分）２）が所定範囲に含まれる場合に同一のグループとしてもよい。かかる計算により、ブロック同士の実空間上の正確な距離を導出することができるので、グループ化精度を高めることができる。
【００４２】
次に、車両特定部１６４は、グループ化した立体物２２４が、予め定められた車両に相当する所定の条件を満たしていれば、その立体物２２４を特定物「車両」として決定する。例えば、車両特定部１６４は、グループ化された立体物２２４が道路上に位置する場合、その立体物２２４全体の大きさが、特定物「車両」の大きさに相当するか否かを判定し、特定物「車両」の大きさに相当すると判定されれば、その立体物２２４を特定物「車両」と特定する。また、車両特定部１６４は、特定物「車両」と特定された立体物２２４が画面上占有する矩形の領域を車両領域として特定する。
【００４３】
こうして、車外環境認識装置１２０では、第１画像としての距離画像２１２から、１または複数の立体物２２４を、特定物、例えば、車両（先行車両）として抽出することができ、その情報を様々な制御に用いることが可能となる。例えば、検出領域２１４内の任意の立体物２２４が車両であると特定されると、特定した車両（先行車両）を追跡し、相対距離や相対加速度を検出して、先行車両との衝突を回避したり、先行車両との車間距離を安全な距離に保つように制御することができる。このような先行車両の特定や先行車両の挙動をさらに迅速に把握するため、以下では、車両領域に位置する発光源候補の中から点灯状態のブレーキランプを判定する。
【００４４】
（発光源候補特定処理）
ところで、第２画像は、例えば、特定の発光源（ここでは、点灯状態のブレーキランプ）を判別可能な第２露光態様で撮像した画像である。ここで、ブレーキランプのように自発光するものは、太陽や街灯の明るさ（車外環境）に拘わらず、高いカラー値を取得することができる。特に、ブレーキランプの点灯時の明るさは法規で概ね規定されているので、所定の明るさしか露光できない露光態様（例えば、短時間の露光）で撮像することで、ブレーキランプに相当する画素のみを容易に抽出することが可能である。
【００４５】
図６は、第１露光態様による撮像と第２露光態様による撮像との違いを説明するための説明図である。図６（ａ）は、第１露光態様による第１画像に基づくカラー画像２１０を示し、特に、図６（ａ）の左図ではテールランプが点灯しており、図６（ａ）の右図ではテールランプに加えブレーキランプが点灯している。図６（ａ）を参照して理解できるように、車外環境の明るさに応じた第１露光態様では、ブレーキランプが消灯状態でかつテールランプが点灯状態である時のテールランプ位置２３０のカラー値と、ブレーキランプが点灯状態でかつテールランプが点灯状態である時のブレーキランプ位置２３２とでカラー値の差がほとんど生じない。これは、露光時間の長い第１露光態様では、テールランプもブレーキランプもＲＧＢ成分全てのカラー値がサチレーションしてしまうことに起因する。
【００４６】
図６（ｂ）は、第２露光態様による第２画像に基づくカラー画像２１０を示し、特に、図６（ｂ）の左図ではテールランプが点灯しており、図６（ｂ）の右図ではテールランプに加えブレーキランプが点灯している。第２露光態様は、ブレーキランプが点灯しているときのカラー値のみを取得可能に設定されている。したがって、図６（ｂ）を参照して理解できるように、テールランプが点灯状態でもテールランプ位置２３０では、その明るさに準じるカラー値をほとんど取得できず、ブレーキランプが点灯状態である時のブレーキランプ位置２３２では、明確に高いカラー値を取得できている。
【００４７】
かかる第２露光態様では、ブレーキランプのカラー値のＲ成分が、撮像素子においてサチレーションするかしないかといった境界に相当する露光時間に設定することが望ましい。撮像装置１１０は、通常、ダイナミックレンジが人間より大幅に狭いので、夕方くらいの明度の低さで第１露光態様により撮像すると、車外環境に対して相対的にブレーキランプのカラー値が高くなる。そうすると、Ｒ成分のみならず、Ｒ成分とオーバーラップしてＧ成分やＢ成分も最大値（例えばカラー値が２５５）にサチレーションし、画素が白くなってしまう。そこで、第２露光態様を、ブレーキランプ点灯時にＲ成分がサチレーションするかしないかといった程度の露光時間とすることで、外部の環境に拘わらず、Ｇ成分やＢ成分のカラー値への影響を抑制しつつ、Ｒ成分のみを最大値で抽出することができる。こうして、例えば、テールランプとのカラー値差を最大限確保することが可能となる。
【００４８】
具体的に、夜間の走行時に先行車両が存在する場合に、点灯状態のブレーキランプがカラー範囲（Ｒ）「２００以上」となるように第２露光状態が設定されていると、点灯状態のテールランプが、例えば、カラー範囲（Ｒ）「５０」、カラー範囲（Ｇ）「５０」、カラー範囲（Ｂ）「５０」程度で、第２画像に基づくカラー画像２１０に表示される。これに対して、点灯状態のブレーキランプは、例えば、カラー範囲（Ｒ）「２００以上」、カラー範囲（Ｇ）「５０以下」、カラー範囲（Ｂ）「５０以下」で第２画像に表示される。こうして発光源候補特定部１６６は、第２画像に基づくカラー画像２１０を通じて、点灯状態のブレーキランプを特定することが可能となる。以下では、第２画像に基づくカラー画像２１０から、点灯状態のブレーキランプを含む発光源の候補を発光源候補として特定する発光源候補特定処理について説明する。
【００４９】
図７は、カラー閾値を示す説明図である。本実施形態では、例えば、図７に示すように、第２画像に基づくカラー画像２１０から点灯状態のブレーキランプを特定するためのカラー閾値として、「黄色（Ｙ）」、「赤色（Ｒ）」、「赤色と比較して少し暗い赤色（ＷＲ１）」、「さらに暗い赤色（ＷＲ２）」、「一番暗い赤色（ＷＲ３）」の５段階が設けられている。ここでは、第２露光態様における標準的なシャッター速度を１７ｍｓｅｃとしている。また、本実施形態では、このような複数のカラー閾値を直接用いず、複数のカラー閾値に基づく複数のカラー条件を採用する。ここで、複数のカラー条件として、「黄色」（以下、単に「第１カラー条件」という）、「黄色」＋「赤色」（以下、単に「第２カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」（以下、単に「第３カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」＋「さらに暗い赤色」（以下、単に「第４カラー条件」という）、「黄色」＋「赤色」＋「赤色と比較して少し暗い赤色」＋「さらに暗い赤色」＋「一番暗い赤色」（以下、単に「第５カラー条件」という）の５段階が設けられている。このように、各条件を、各カラー閾値とそれより強度（明度）が高い他のカラー閾値との和とした理由は、所定のカラー閾値より強度が高い領域を適切に求めるためである。
【００５０】
発光源候補特定部１６６は、第２画像に基づくカラー画像２１０から、画素単位で３つの色相（Ｒ、Ｇ、Ｂ）のカラー値を取得する。そして、少なくとも「さらに暗い赤色」のカラー値である画素は点灯状態のブレーキランプが撮像されたものである可能性があるため、発光源候補特定部１６６は、カラー値が第４カラー条件を満たす画素、つまり、「さらに暗い赤色」のカラー値以上である画素を特定する。
【００５１】
発光源候補特定部１６６は、特定した、第４カラー条件を満たす画素同士の水平距離の差分、高さの差分および相対距離の差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１の発光源候補としてグループ化する。こうして、ブレーキランプを構成する画素が複数に跨がっていても、また、車両の左右のブレーキランプがそれぞれ複数のランプで構成されている場合であっても、それを左右に存在するブレーキランプの一方として個々に認識することが可能となる。
【００５２】
そして、発光源候補特定部１６６は、第１画像に基づいて特定された車両領域と、特定した発光源候補とを、それぞれの画像に基づく距離画像２１２が示す視差情報に基づいて対応付ける。
【００５３】
（面積変換処理）
ところで、自車両１と先行車両との相対距離が長いと、カラー条件を満たす発光源候補が小さくなり、その画素数も少なくなる。これに対し、先行車両との相対距離が短いと、カラー条件を満たす発光源候補が大きくなり、その画素数が多くなる。したがって、ブレーキランプが点灯状態を維持していても、先行車両との相対距離の変化に応じてカラー条件を満たす画素数が変動する。例えば、ブレーキランプが点灯状態であるにも拘わらず、先行車両との位置関係によりカラー条件を満たす画素数が異なると、本来はブレーキランプが点灯状態にあり、カラー条件を満たす画素が存在しても、相対距離が長すぎて、その数が閾値に満たない結果が生じうる。そこで、本実施形態では、先行車両との相対距離に基づいて画素数を実際の面積に変換する。
【００５４】
図８は、自車両１と先行車両との相対距離と画素数の関係を示した説明図である。図８では、横軸に相対距離を示し、縦軸に所定の大きさの立体物が占有する画素数が示されている。図８を参照して理解できるように、同一の立体物（同一の面積）であっても、相対距離が長くなるほど、画素数が小さくなる。かかる推移は、関数で近似でき、相対距離０地点から図８における相対距離ａ地点までは、相対距離に比例し、ａ地点以降は、相対距離の３／２乗に比例する。通常、画像における立体物の大きさは、その相対距離に単純に比例するが、発光源の場合、発光の影響を受けて見た目上の発光範囲が広がる。よって、図８のように、相対距離と画素数の関係が非線形になる。
【００５５】
したがって、発光源候補面積変換部１６８は、先行車両との相対距離に基づいて設定されている、第５カラー条件よりも高い強度のカラー条件（第２カラー条件〜第４カラー条件）を満たす発光源候補の画素数を計数し、図８の逆関数により（図８の画素数で除算し）、カラー条件を満たした画素数を面積に変換する。具体的には、発光源候補面積変換部１６８は、相対距離が０ｍ以上〜４０ｍ未満であれば第２カラー条件を満たす発光源候補の画素数を計数し、相対距離が４０ｍ以上〜６０ｍ未満であれば第３カラー条件を満たす発光源候補の画素数を計数し、相対距離が６０ｍ以上であれば第４カラー条件を満たす発光源候補の画素数を計数する。
【００５６】
そして、発光源候補面積変換部１６８は、図８の逆関数により（図８の画素数で除算し）、計数した画素数を面積に変換する。こうして、立体物の大きさの変動が少なくなり、後述するランプ判定部１７６は、変換された発光源候補の面積と点灯判定閾値とを比較することで、点灯状態のブレーキランプを高精度に判定することが可能となる。
【００５７】
（カバー面積導出処理）
しかしながら、例えば晴れた日中では、ブレーキランプを覆うブレーキランプカバーやリヤウインドウに太陽光が反射することで、第２画像において太陽光が反射した領域のカラー値が高くなり、発光源候補として誤検出されるおそれがある。特に、赤色のブレーキランプカバーに太陽光が反射した場合には、赤色のカラー値（Ｒ）が高くなり、ブレーキランプが点灯している場合に近いカラー値になることがある。
【００５８】
ここで、ブレーキランプが点灯している場合、および、ブレーキランプカバーに太陽光が反射している場合のどちらの場合であっても、ブレーキランプカバーが大きくなるに連れて発光源候補の面積も大きくなる。
【００５９】
また、日中であっても曇りや雨の場合、および、夜間の場合（以下、これらをまとめて晴以外とも呼ぶ）には、ブレーキランプカバーに太陽光が反射しない、もしくは、反射する光量が少ない。そのため、晴以外の場合には、日中であって晴の場合（以下では単に晴とも呼ぶ）に比べて、ブレーキランプが点灯している場合、および、太陽光が反射している場合のどちらの場合であっても、発光源候補の面積は小さくなる。
【００６０】
このように、日照条件（外部環境）およびブレーキランプカバーの大きさによって、ブレーキランプが点灯している場合、および、太陽光が反射している場合の発光源候補の面積が異なる。そのため、発光源候補面積変換部１６８で変換された発光源候補の面積と、固定の点灯判定閾値とを比較するだけでは精度よく発光源を特定することが困難である。
【００６１】
そこで、少なくとも「一番暗い赤色」のカラー値である画素は、太陽光が反射したブレーキランプカバーが撮像されたものである可能性があるため、カバー特定部１７０は、カラー値が第５カラー条件を満たす画素、つまり、「一番暗い赤色」のカラー値以上である画素を特定する。そして、カバー特定部１７０は、特定した、第５カラー条件を満たす画素同士の水平距離の差分、高さの差分および相対距離の差分が所定範囲（例えば０．１ｍ）内にある場合、その複数の画素を１つのブレーキランプカバー候補としてグループ化する。そして、カバー特定部１７０は、ブレーキランプカバー候補が、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、カバー特定部１７０は、１対のブレーキランプカバー候補の組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。そして、カバー特定部１７０は、上記条件を満たした１対のブレーキランプカバー候補をブレーキランプカバーであると特定する。
【００６２】
カバー面積変換部１７２は、特定したブレーキランプカバーの画素数を面積に変換する。具体的には、カバー面積変換部１７２は、特定したブレーキランプカバーの画素数を計数し、図８の逆関数により（図８の画素数で除算し）、計数した画素数を面積に変換する。
【００６３】
環境判定部１７４は、第１画像に基づいて特定された車両領域全体の輝度の平均値を導出し、導出した平均値が所定の平均値閾値以上の場合には、外部環境が晴であると判定し、導出した平均値が所定の平均値閾値未満の場合には、外部環境が晴以外であると判定する。
【００６４】
（ランプ判定処理）
図９は、ブレーキランプカバーの面積に対する点灯判定閾値を示した説明図である。図９に示すように、点灯判定閾値を決定するための点灯判定閾値曲線は、外部環境が晴である場合と、外部環境が晴以外である場合とで２つ設けられている。以下では、外部環境が晴である場合の点灯判定閾値曲線を晴用点灯判定閾値曲線と呼び、外部環境が晴以外である場合の点灯判定閾値曲線を晴以外用点灯判定閾値曲線と呼ぶ。
【００６５】
点灯判定閾値曲線（晴用点灯判定閾値曲線、晴以外用点灯判定閾値曲線）は、外部環境に拘らず、ブレーキランプカバーの面積の大きさに比例して大きな値に設定されている。また、晴用点灯判定閾値曲線は、晴以外用点灯判定閾値曲線よりも、ブレーキランプカバーの面積が同一の場合に高い値に設定されている。そして、これらの点灯判定閾値曲線は、ブレーキランプカバーの面積に対応付けられた点灯判定閾値マップとしてＲＯＭに予め記憶されている。
【００６６】
なお、晴用点灯判定閾値曲線は、図９に示すように、外部環境が晴である場合に、点灯状態のブレーキランプに対応する発光源候補の面積（図中、点灯状態（晴））と、点灯状態のブレーキランプ以外に対応する発光源候補の面積（例えば、太陽光が反射した領域の面積、図中では、非点灯状態（晴）とする）とを区別し得るように、予め実験により決定されている。同様に、晴以外用点灯判定閾値曲線は、外部環境が晴以外である場合に、点灯状態のブレーキランプに対応する発光源候補の面積（図中、点灯状態（晴以外））と、点灯状態のブレーキランプ以外に対応する発光源候補の面積（図中、非点灯状態（晴以外））とを区別し得るように、予め実験により決定されている。
【００６７】
ランプ判定部１７６は、環境判定部１７４により判定された外部環境に基づいて、晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線のどちらかを決定し、決定した晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線と、ブレーキランプカバーの面積とに基づいて、点灯判定閾値マップを参照して、１つの点灯判定閾値を決定する。
【００６８】
そして、ランプ判定部１７６は、発光源候補の面積が決定した１つの点灯判定閾値以上である場合には、点灯状態のブレーキランプであると仮判定する。ランプ判定部１７６は、点灯状態のブレーキランプであると仮判定された発光源候補が、それ単体で高さ範囲「０．３〜２．０ｍ」、水平距離の幅範囲「０．０５〜０．２ｍ」、垂直距離の幅範囲「０．０５〜０．２ｍ」の条件を満たすか判定する。さらに、ランプ判定部１７６は、１対のブレーキランプの組み合わせが、水平距離の差分「１．４〜１．９ｍ」、垂直距離の差分「０．３ｍ以下」、面積比「５０〜２００％」の条件を満たすか否かを判定する。そして、ランプ判定部１７６は、上記条件を満たした１対の発光源候補を点灯状態のブレーキランプであると判定する。このように、発光源候補が車両の適切な位置に対応している場合にのみブレーキランプとして特定する構成により、リアフォグランプなど、同等の明るさで一灯だけで点灯している発光源候補をブレーキランプと誤認識するのを防止することができる。
【００６９】
このように、ランプ判定部１７６は、点灯状態のブレーキランプを判定すると、当該ブレーキランプと、上述した第１露光態様による第１画像によって特定した「車両」とを対応付ける。
【００７０】
以上のように、車外環境認識装置１２０では、ブレーキランプカバーの面積に応じて、発光源候補の面積と比較する点灯判定閾値を変更すること、つまり、ブレーキランプカバーの面積が大きくなるに連れて点灯判定閾値を大きく設定することで、固定の点灯判定閾値と比較する場合と比べて、精度よく点灯状態のブレーキランプを判定することができる。
【００７１】
また、車外環境認識装置１２０では、車外環境に応じて、晴用点灯判定閾値曲線および晴以外用点灯判定閾値曲線といった異なる点灯判定閾値を用いることで、さらに精度よく点灯状態のブレーキランプを判定することができる。
【００７２】
さらに、車外環境認識装置１２０は、先行車両を特定してから継続的にブレーキランプの輝度変化を検出する必要がなく、一度の処理によって、早期に点灯状態のランプを判定することができる。
【００７３】
（車外環境認識処理の流れ）
次に、中央制御部１５４が実行する、上記した画像処理、車両特定処理、発光源候補特定処理、面積変換処理、カバー面積導出処理、ランプ判定処理を含む車外環境認識処理の流れについて説明する。なお、車外環境認識処理は、第１画像および第２画像が取得される度に割り込みで実行される。
【００７４】
図１０は、車外環境認識処理の流れを示すフローチャートである。図１０に示すように、まず、画像処理部１６０は、撮像装置１１０から、第１露光態様で撮像された第１画像と、第２露光態様で撮像された第２画像とを取得する（Ｓ３００）。そして、画像処理部１６０は、取得した画像から視差を導出し、位置情報導出部１６２は、導出された視差に基づいて立体部位毎の３次元の位置情報を導出する（Ｓ３０２）。続いて、車両特定部１６４は、３次元の位置情報に基づいてグループ化された立体物から車両、車両領域を特定するとともに、先行車両との相対位置（相対距離）を特定する（Ｓ３０４）。
【００７５】
そして、発光源候補特定部１６６は、第２画像を構成する画素のカラー値が第４カラー条件を満たす画素のグループを発光源候補として特定する（Ｓ３０６）。続いて、カバー特定部１７０は、第２画像を構成する画素のカラー値が第５カラー条件を満たす画素のグループをブレーキランプカバー候補として特定し、特定したブレーキランプカバー候補が位置、大きさ等の条件を満たせば、ブレーキランプカバーと特定する（Ｓ３０８）。その後、カバー面積変換部１７２は、ブレーキランプカバーの画素数を計数し、先行車両との相対距離に基づいて画素数を面積に変換する（Ｓ３１０）。
【００７６】
続いて、環境判定部１７４は、第１画像に基づいて特定された車両領域全体の輝度の平均値を導出し、導出した平均値に基づいて外部環境を判定する（Ｓ３１２）。その後、ランプ判定部１７６は、判定された外部環境に基づいて、晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線のどちらかを決定する（Ｓ３１４）。そして、ランプ判定部１７６は、決定した晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線、および、ブレーキランプカバーの面積に基づいて、１つの点灯判定閾値を決定する（Ｓ３１６）。
【００７７】
その後、発光源候補面積変換部１６８は、未判定の発光源候補の１つを選択し（Ｓ３１８）、相対距離に応じたカラー条件（第２カラー条件〜第４カラー条件のいずれか）を満たす画素数を計数し、先行車両との相対距離に基づいて画素数を面積に変換する（Ｓ３２０）。続いて、ランプ判定部１７６は、変換した面積が点灯判定閾値以上であるかによって、点灯状態のブレーキランプか否かを仮判定する（Ｓ３２２）。
【００７８】
その後、ランプ判定部１７６は、未判定の発光源候補があるか否かを判定し（Ｓ３２４）、未判定の発光源があれば（Ｓ３２４におけるＹＥＳ）、Ｓ３１８の処理に戻る。一方、未判定の発光源がなければ（Ｓ３２４におけるＮＯ）、ランプ判定部１７６は、点灯状態のブレーキランプとして仮判定した発光源候補が位置、大きさ等の条件を満たせば、その発光源候補を点灯状態のブレーキランプと判定し（Ｓ３２６）、車外環境認識処理を終了する。
【００７９】
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【００８０】
なお、上記の実施形態においては、ランプ判定部１７６が、発光源候補面積変換部１６８により変換された発光源候補の面積と点灯判定閾値とを比較することで、点灯状態のランプを判定するようにした。しかしながら、これに限らず、ランプ判定部１７６は、発光源候補の画素数または画素面積と点灯判定閾値とを比較することで、点灯状態のランプであるか否かを判定するようにしてもよい。つまり、発光源候補の画素数または画素面積を、面積に変換することなく、点灯判定閾値と比較するようにしてもよい。なお、この場合、点灯判定閾値は、ブレーキランプの画素数または画素面積に応じた値とすればよい。
【００８１】
また、上記の実施形態においては、発光源候補面積変換部１６８が、先行車両との相対距離に基づいて設定されているカラー条件を満たす発光源候補の画素数を計数し、計数した画素数を発光源候補の面積に変換するようにした。しかしながら、これに限らず、発光源候補面積変換部１６８は、発光源候補特定部１６６により特定された発光源候補の画素数を、先行車両との相対距離に基づいて設定されているカラー条件に限定されずに計数し、計数した画素数を発光源候補の面積に変換するようにしてもよい。
【００８２】
また、上記の実施形態においては、点灯状態のブレーキランプと仮判定した発光源候補に対して位置、大きさ等の条件を満たすかを判定し、条件を満たす発光源候補を点灯状態のブレーキランプと判定した。しかしながら、これに限らず、点灯状態のブレーキランプと仮判定した発光源候補を、そのまま点灯状態のブレーキランプと判定してもよい。
【００８３】
また、上記の実施形態においては、点灯状態のブレーキランプを判定するようにしたが、これに限らず、他の点灯状態のランプを判定するようにしてもよい。
【００８４】
また、上記の実施形態においては、中央制御部１５４として、中央処理装置（ＣＰＵ）、ＲＯＭ、ＲＡＭ等を含む半導体集積回路で構成されるようにした。しかしながら、これに限らず、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）等の集積回路で構成されるようにしてもよい。また、１または複数の中央処理装置、ＦＰＧＡ、ＡＳＩＣにより構成されるようにしてもよい。
【００８５】
また、上記の実施形態においては、外部環境に応じて、晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線のどちらかを決定し、決定した晴用点灯判定閾値曲線または晴以外用点灯判定閾値曲線と、ブレーキランプカバーとの面積とに基づいて１の点灯判定閾値を決定するようにした。しかしながら、これに限らず、外部環境に拘らず、ブレーキランプカバーとの面積に比例した変動の点灯判定閾値と、ブレーキランプカバーとの面積とに基づいて１つの点灯判定閾値を決定するようにしてもよい。
【００８６】
また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＤＲＡＭ、ＳＲＡＭ、ＲＯＭ、ＮＶＲＡＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。
【００８７】
また、本明細書の車外環境認識処理の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。
【産業上の利用可能性】
【００８８】
本発明は、先行車両における点灯状態のブレーキランプを特定する車外環境認識装置に利用することができる。
【符号の説明】
【００８９】
１２０  車外環境認識装置
１６４  車両特定部
１６６  発光源候補特定部
１６８  発光源候補面積変換部
１７０  カバー特定部
１７２  カバー面積変換部
１７４  環境判定部
１７６  ランプ判定部
【要約】
【課題】早期に精度よく発光源を特定する。
【解決手段】車外環境認識装置１２０は、撮像装置１１０により撮像された画像について、先行車両、および、先行車両が占有する車両領域を特定する車両特定部１６４と、特定された車両領域における、発光源の候補を発光源候補として特定する発光源候補特定部１６６と、特定された前記車両領域における、発光源を覆うカバーを特定するカバー特定部１７０と、特定された発光源候補の画素数または画素面積と、カバーの画素数または画素面積に応じた点灯判定閾値とに基づいて、該発光源候補が点灯状態のランプであるか否かを判定するランプ判定部１７６とを備える。
【選択図】図２【図１】
0006034923.tif 000002
【図２】
0006034923.tif 000003
【図３】
0006034923.tif 000004
【図４】
0006034923.tif 000005
【図５】
0006034923.tif 000006
【図６】
0006034923.tif 000007
【図７】
0006034923.tif 000008
【図８】
0006034923.tif 000009
【図９】
0006034923.tif 000010
【図１０】
0006034923.tif 000011