(57)【要約】【課題】夜間やトンネル内等の暗い環境において、経年劣化が進んだ道路標識の種別，内容を確実に認識する。【解決手段】可視光領域および近赤外領域に感度を有する撮像部１０で撮像された車両５の進行方向前方の画像の内部の輝度分布に基づいて、道路標識存在判定部２０が、道路標識９２が写っているか否かを判定する。判定の結果、道路標識９２が写っていないと判定されたときは、撮像条件変更部１３が、近赤外光照射部８０から撮像部１０の撮像範囲内に照射する近赤外光の光量、または撮像部１０の撮像パラメータを変更して再度画像を撮像し、道路標識存在判定部２０における判定を繰り返し行う。一方、道路標識９２が写っていると判定されたときは道路標識内容認識部６０において、撮像された道路標識９２の種別，内容を認識する。【選択図】図２
2016196233.tif 000002
【特許請求の範囲】
【請求項１】
可視光領域および近赤外領域に感度を有して、車両の進行方向前方の画像を撮像する撮像部と、
前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、
前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、
前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、
前記道路標識の種別，内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする車両用道路標識認識装置。
【請求項２】
前記撮像パラメータは、シャッタ速度，絞り値，ゲインのうち少なくとも一つであることを特徴とする請求項１に記載の車両用道路標識認識装置。
【請求項３】
前記撮像条件変更部は、前記道路標識存在判定部が判定した道路標識を示す領域の平均画素値が所定値となるように、前記光量、および前記撮像パラメータのうち少なくとも一方を変更することを特徴とする請求項１または請求項２に記載の車両用道路標識認識装置。
【請求項４】
前記撮像条件変更部は、前記撮像部の撮像範囲内に最大光量の近赤外光を照射した状態で撮像された画像の中の、道路標識を示す領域の平均画素値が所定値よりも大きいときは、近赤外光の光量の抑制または前記撮像パラメータを撮像される画像が暗くなる方向に調整して、
前記平均画素値が所定値よりも小さいときは、前記撮像パラメータを撮像される画像が明るくなる方向に調整することを特徴とする請求項３に記載の車両用道路標識認識装置。
【請求項５】
前記車両の前方に道路標識が存在する可能性があるか否かを判定する道路標識存在可能性判定部を有することを特徴とする請求項１から請求項４のいずれか１項に記載の車両用道路標識認識装置。
【請求項６】
前記道路標識存在可能性判定部は、前記車両に記憶された道路標識の設置位置を示す情報に基づいて、前記車両の前方に道路標識が存在する可能性があるか否かを判定することを特徴とする請求項５に記載の車両用道路標識認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、走行中の車両から、道路標識の種別，内容を認識する車両用道路標識認識装置に関する。
【背景技術】
【０００２】
従来、このような車両用道路標識認識装置として、車載カメラで道路標識を撮像して、その種別，内容を認識するものが知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１６３７１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載された車両用道路標識認識装置は、道路標識の設置後の経過年数にかかわらず、同じ認識アルゴリズムを適用して道路標識の認識を行っていた。しかしながら、同じ内容を表す道路標識であっても、経年劣化によって退色が進んだ道路標識では、道路標識の反射率が低下することによって、撮像した画像が暗くなってしまう虞があった。
【０００５】
例えば、「（社）全国道路標識・標示業協会  愛知県協会、あんしん道あいち  第１４号、２０１０年７月１日発行、Ｐ．１４−１５」には、経年劣化した道路標識と新品の道路標識の輝度を同じ条件で比較すると、新品の道路標識が３１cd/m2であるのに対して、経年劣化した道路標識では２．６cd/m2と、約１／１２に減少してしまうことが記載されている。
【０００６】
したがって、特に夜間やトンネル等の暗い道路環境において、道路標識を、設置後の経過年数にかかわらず、全く同じ画像認識方法で安定して認識するのは困難であった。特に、前述したように、経年劣化による反射率の低下量が大きいため、昼間の明るい環境であれば、しきい値の調整によって認識することが可能であるが、夜間等の暗い環境にあっては、単にしきい値を調整しただけでは道路標識を安定して検出するのが困難であった。そのため、設置後の経過年数によらずに、安定して動作する認識アルゴリズムの実現が望まれていた。
【０００７】
本発明は、上記課題に鑑みてなされたもので、経年劣化によって退色が進んだ道路標識であっても、特に夜間やトンネル等の周囲が暗い環境において、安定して認識することができる車両用道路標識認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る車両用道路標識認識装置は、可視光領域および近赤外領域に感度を有して、車両の進行方向前方の画像を撮像する撮像部と、前記撮像部の撮像範囲内に照射する近赤外光の光量を制御する近赤外光照射光量制御部と、前記画像の内部の輝度分布に基づいて、前記画像の中に道路標識が写っているか否かを判定する道路標識存在判定部と、前記輝度分布に応じて、前記光量、および前記撮像部の撮像パラメータのうち少なくとも一方を変更する撮像条件変更部と、前記道路標識の種別，内容を認識する道路標識内容認識部と、を有して、前記道路標識存在判定部で道路標識が写っていると判定されたときには、前記道路標識内容認識部で道路標識の内容を認識して、前記道路標識存在判定部で道路標識が写っていると判定されないときは、前記撮像条件変更部において変更された撮像条件にて再度画像を撮像して、前記判定を繰り返して行うことを特徴とする。
【発明の効果】
【０００９】
本発明に係る車両用道路標識認識装置は、車両の進行方向前方に向けて、近赤外光照射光量制御部によって制御された光量の近赤外光を照射して、可視光領域および近赤外領域に感度を有する撮像部で車両の進行方向前方の画像を撮像する。そして、道路標識存在判定部が、画像の内部の輝度分布に基づいて道路標識が写っているか否かを判定する。判定の結果、道路標識が写っていないと判定されたときは、撮像条件変更部が、照射する近赤外光の光量、および撮像部の撮像パラメータのうち少なくとも一方を変更して再度画像を撮像し、道路標識存在判定部における判定を繰り返して行う。一方、道路標識が写っていると判定されたときは、道路標識内容認識部において、道路標識の種別，内容を認識する。したがって、設置後の年数経過に伴う劣化によって、道路標識の輝度が低下した場合であっても、撮像条件変更部が、道路標識に照射する近赤外光の光量および撮像パラメータの少なくとも一方を変更することにより、認識可能なコントラストを有する画像を撮像することができるため、特に夜間やトンネル等の暗い環境において、経年劣化による退色が進んだ道路標識の種別，内容を安定して認識することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態である車両用道路標識認識装置のハードウェア構成を示すブロック図である。
【図２】本発明の一実施形態である車両用道路標識認識装置の機能構成を示す機能ブロック図である。
【図３】撮像条件の調整方法の例を示す図である。
【図４】道路標識存在判定部の詳細な機能構成を示す機能ブロック図である。
【図５Ａ】撮像された近赤外画像の一例を示す図である。
【図５Ｂ】図５Ａの画像の中から道路標識の候補領域を検出した結果について説明する図である。
【図６】道路標識内容認識部の詳細な機能構成を示す機能ブロック図である。
【図７】調整済近赤外映像信号と調整済カラー映像信号の１例を示す図である。
【図８】実施例１で行われる処理の全体の流れを示すフローチャートである。
【図９】図８に示した標識設置年数確認処理の詳細な流れを示すフローチャートである。
【図１０】図８に示した標識内容認識処理の詳細な流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明に係る車両用道路標識認識装置の具体的な実施形態について、図面を参照して説明する。
【実施例１】
【００１２】
本実施例は、本発明を、車両に搭載されて、進行方向前方にある道路標識（交通標識や行先案内板など）の種別，内容を認識する車両用道路標識認識装置に適用したものである。
【００１３】
まず、図１を用いて、本発明の一実施形態である車両用道路標識認識装置のハードウェア構成について説明する。
（車両用道路標識認識装置のハードウェア構成の説明）
【００１４】
図１は、本実施例に係る車両用道路標識認識装置１００を車両５に実装した様子を示すブロック図である。
【００１５】
車両用道路標識認識装置１００は、図１に示すように、近赤外カメラ１０ａと、カラーカメラ１０ｂと、ＥＣＵ２０ａと、カーナビゲーションシステム７０ａと、近赤外ライト８０ａと、液晶ディスプレイ９０ａと、からなる。
【００１６】
近赤外カメラ１０ａは、近赤外領域（例えば、８００〜９５０ｎｍ付近）に感度を有し、近赤外画像ｎＩＲ（ｘ，ｙ）を撮像する。近赤外カメラ１０ａは、レンズ１１ａと、撮像素子１２ａと、信号処理調整用ＩＣ１３ａと、からなる。
【００１７】
レンズ１１ａは、近赤外光を所定の屈折力で屈折させて、撮像素子１２ａ上に結像させる。
【００１８】
撮像素子１２ａは、結像された近赤外光を近赤外画像に変換する、ＣＣＤやＣＭＯＳ等で構成された光電変換素子である。撮像素子１２ａからは、電気信号に変換された近赤外映像信号１４ａが出力される。なお、図１には図示していないが、撮像素子１２ａの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域（波長６５０〜８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタが装着されている。
【００１９】
信号処理調整用ＩＣ１３ａは、近赤外映像信号１４ａのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済近赤外映像信号１６ａとして出力される。なお、信号処理調整用ＩＣ１３ａから撮像素子１２ａとレンズ１１ａに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号１５ａが出力される。
【００２０】
カラーカメラ１０ｂは、可視光領域（３８０〜８００ｎｍ付近）に感度を有し、カラー画像Ｃ（ｘ，ｙ）を撮像する。カラーカメラ１０ｂは、レンズ１１ｂと、撮像素子１２ｂと、信号処理調整用ＩＣ１３ｂと、からなる。
【００２１】
レンズ１１ｂは、可視光を所定の屈折力で屈折させて、撮像素子１２ｂに結像させる。
【００２２】
撮像素子１２ｂは、結像された可視光をカラー画像に変換する、ＣＣＤやＣＭＯＳ等で構成された光電変換素子である。撮像素子１２ｂからは、電気信号に変換されたカラー映像信号１４ｂが出力される。なお、図１には図示しないが、撮像素子１２ｂの前面には、可視光および近赤外光のみを透過して、可視光と近赤外光の間の領域（波長６５０〜８００ｎｍ）、および波長９５０ｎｍ以上の赤外光をカットするＩＲカットフィルタが装着されている。
【００２３】
信号処理調整用ＩＣ１３ｂは、カラー映像信号１４ｂのゲインを調整して所定の映像信号に変換する。変換された信号は、調整済カラー映像信号１６ｂとして出力される。なお、信号処理調整用ＩＣ１３ｂから撮像素子１２ｂとレンズ１１ｂに対して、絞りとシャッター速度を調整して露光量を設定する撮像パラメータ調整信号１５ｂが出力される。
【００２４】
なお、近赤外カメラ１０ａとカラーカメラ１０ｂは、車両５のフロントガラス（ウインドシールド）の裏面側、例えばルームミラーの裏側付近に、車両５の前方を向けて、互いに近接した状態で、２台のカメラの光軸が平行になるように設置される。すなわち、２台のカメラは、ほぼ等しい観測範囲を画像化するように設置される。
【００２５】
ＥＣＵ（Electronic Control Unit）２０ａは、例えばマイクロコンピュータで構成されて、近赤外カメラ１０ａ，カラーカメラ１０ｂの撮像パラメータを設定するとともに、設定された撮像パラメータで撮像された調整済近赤外映像信号１６ａと、設定された撮像パラメータで撮像された調整済カラー映像信号１６ｂを、それぞれ画像処理して道路標識の検出を行う。さらに、検出された道路標識の種別，内容を認識する。なお、画像処理を高速に実行するために、ＥＣＵ２０ａとして画像処理専用のプロセッサを用いてもよい。
【００２６】
また、ＥＣＵ２０ａは、近赤外ライト８０ａに対して、近赤外光の照射光量を設定する近赤外光光量設定信号２４ａを出力する。
【００２７】
さらに、ＥＣＵ２０ａは、近赤外カメラ１０ａに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号２２ａを出力する。また、カラーカメラ１０ｂに対して、撮像パラメータの調整を指示する撮像パラメータ調整指示信号２２ｂを出力する。
【００２８】
カーナビゲーションシステム７０ａは、車両５に車載されて、走行中の現在位置を特定するとともに、進行方向前方の道路標識の存在を示す標識存在指示信号７１ａを出力する。なお、道路標識の設置位置は、予め、カーナビゲーションシステム７０ａが有する地図データベースに記憶されているものとする。
【００２９】
近赤外ライト８０ａは、例えば、車両５のヘッドライトの近傍に設置された近赤外投光器からなる。なお、近赤外ライト８０ａは、車両５のヘッドライトと兼用にしてもよい。
【００３０】
近赤外ライト８０ａは、昼夜を問わず、車両５の進行方向を照明するとともに、ＥＣＵ２０ａから出力される近赤外光光量設定信号２４ａによって指示された量の近赤外光を、近赤外カメラ１０ａの撮像範囲の内部に向けて照射する。なお、近赤外ライト８０ａは、通電する電流値を調整することによって、または、近赤外ライト８０ａの光源の前面に装着した赤外カットフィルタを回転またはスライドさせて移動することにより、照射する近赤外光の光量を調整する。また、近赤外ライト８０ａは、ＥＣＵ２０ａに対して、近赤外ライト８０ａが点灯状態にあるか否かを示す照明点消灯信号８１ａを出力する。この照明点消灯信号８１ａは、近赤外ライト８０ａの点灯状態を確認するために利用される。
【００３１】
液晶ディスプレイ９０ａは、ＥＣＵ２０ａから出力される、認識された道路標識の種別，内容を示す標識認識信号２５ａを受けて、認識された道路標識の種別，内容を画面に表示して運転者に伝達する。
【００３２】
なお、図１ではＥＣＵ２０ａを近赤外カメラ１０ａ，カラーカメラ１０ｂから独立させた構成としたが、ＥＣＵ２０ａは、近赤外カメラ１０ａおよびカラーカメラ１０ｂに内蔵させた構成、すなわち、カメラとＥＣＵを一体化させた構成としてもよい。
【００３３】
次に、図２を用いて、車両用道路標識認識装置１００の機能構成について説明する。
（車両用道路標識認識装置の機能構成の説明）
【００３４】
図２は、本発明の一実施形態である車両用道路標識認識装置１００の機能構成を示す機能ブロック図である。
【００３５】
車両用道路標識認識装置１００は、図２に示すように、撮像部１０と、道路標識存在判定部２０と、近赤外光照射光量制御部４０と、道路標識内容認識部６０と、道路標識存在可能性判定部７０と、近赤外光照射部８０と、表示部９０と、を有する。
【００３６】
撮像部１０は、光学系１１と、受光部１２と、撮像条件変更部１３と、からなり、図１に示した、近赤外カメラ１０ａとカラーカメラ１０ｂと、から構成される。
【００３７】
光学系１１は、図１に示したレンズ１１ａ，１１ｂで構成されて、受光部１２は、図１に示した撮像素子１２ａ，１２ｂで構成されている。
【００３８】
また、撮像条件変更部１３は、図１に示した信号処理調整用ＩＣ１３ａ，１３ｂで構成されて、撮像時の露出，ゲインを変更する。
【００３９】
道路標識存在判定部２０は、後述する道路標識存在可能性判定部７０の出力（標識存在指示信号７１ａ）に基づいて、撮像部１０で撮像された画像の中に道路標識が写っているか否かを判定する。
【００４０】
近赤外光照射光量制御部４０は、近赤外光照射部８０に対して、撮像部１０の撮像範囲内に照射する近赤外光の光量の制御を指示する。
【００４１】
道路標識内容認識部６０は、撮像された画像に写っている道路標識の種別，内容を認識する。
【００４２】
道路標識存在判定部２０と、近赤外光照射光量制御部４０と、道路標識内容認識部６０は、図１に示したＥＣＵ２０ａで構成される。
【００４３】
道路標識存在可能性判定部７０は、図１に示したカーナビゲーションシステム７０ａで構成されて、車両５が走行している現在位置を地図データベースと照合し、進行方向前方に道路標識があるか否かを予測する。そして、進行方向前方に道路標識があると判定されたときは、標識存在指示信号７１ａを出力する。なお、カーナビゲーションシステム７０ａの代わりに無線通信を用いて、道路の路側帯に設けた通信スポットから車両５に対して道路標識の存在場所を提供するようにしてもよい。
【００４４】
近赤外光照射部８０は、図１に示した近赤外ライト８０ａからなり、車両５の進行方向前方を近赤外照明するとともに、照射される近赤外光の光量を可変にすることができる。
【００４５】
表示部９０は、図１に示した液晶ディスプレイ９０ａからなり、認識された道路標識を表示して運転者の注意を喚起する。
【００４６】
次に、車両用道路標識認識装置１００の具体的な作用について説明する。
（車両用道路標識認識装置の作用の説明）
【００４７】
車両用道路標識認識装置１００は、昼夜を問わず、車両５の前方に向かって近赤外光を照射し、その反射光を図１に示した近赤外カメラ１０ａで撮像して、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かを判定する。そして、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていると判定されたときに、近赤外画像ｎＩＲ（ｘ，ｙ）と同時にカラーカメラ１０ｂで撮像されたカラー画像Ｃ（ｘ，ｙ）の中から道路標識を検出してその種別，内容を認識する。
【００４８】
前述したように、道路標識は経年劣化によって反射光の強度が減少する。したがって、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識の候補となる領域が観測されないときは、近赤外ライト８０ａ（図１）を制御して照射する近赤外光の光量を増加させる。このとき、近赤外光は不可視であるため、近赤外光の光量を増加させても対向車の乗員を幻惑することはない。
【００４９】
なお、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かは、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中から、エッジで囲まれた閉領域を探索して、見つかった閉領域の平均画素値Ａに基づいて、道路標識であるか否かを判定する。詳細は後述する。
【００５０】
一方、近赤外光の光量を変化させても道路標識が写っていると判定されないときは、図１の信号処理調整用ＩＣ１３ａ，１３ｂ（撮像条件変更部１３（図２））を調整して、撮像素子１２ａ，１２ｂ（受光部１２（図２））の露出，ゲインを変更し、近赤外カメラ１０ａとカラーカメラ１０ｂで再び撮像を行う。そして、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かの判定を繰り返す。
【００５１】
このとき、できるだけ少ない手数で適正な撮像条件を発見するために、照射する近赤外光の光量と撮像素子１２ａ，１２ｂの露出，ゲインの変更順序を考慮する必要がある。
【００５２】
例えば、まず最初に、近赤外光が最も多く照射されて、なおかつ撮像素子１２ａに最大の露光量が与えられる状態とする。この状態において、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていないと判定されたときは、道路標識は存在しないと判定する。
【００５３】
一方、この状態で近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っていると判定されたときは、道路標識に対応する領域の中の画素値を平均化して平均画素値Ａを算出する。この平均画素値Ａが、予め設定した範囲（例えば６０１（近赤外画像ｎＩＲ（ｘ，ｙ）を１０ビットで量子化した場合の画素値））を下回るときは、撮像された近赤外画像ｎＩＲ（ｘ，ｙ）のコントラストが不足していると判断して、撮像素子１２ａの露出，ゲインを、画像が明るくなる方向に調整して再び近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を撮像し、Ａｔｈ-δ＜Ａ≦Ａｔｈ＋δとなるようにする。ここで、しきい値Ａｔｈと余裕代δは、平均画素値Ａの適正範囲を表す値であって、予め所定の値が設定されるものとする。前記した例の場合、Ａｔｈ＝６５０，δ＝５０である。
【００５４】
これに対して、平均画素値Ａが、所定値（例えば７００）を上回るときは、撮像素子１２ａの露出，ゲインを、画像が暗くなる方向に調整して再び近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を撮像し、Ａｔｈ-δ＜Ａ≦Ａｔｈ＋δとなるようにする。
【００５５】
なお、撮像素子１２ａの露出，ゲインの調整は、具体的には図３に示す方法によって行う。すなわち、近赤外光の照射光量は３段階（１，２，３。３が最も光量が多い。）、撮像部のゲインは１０段階（±５。＋５がゲイン最大，−５がゲイン最小。）にそれぞれ変更可能とされて、平均画素値Ａに基づいて、近赤外光の照射光量と撮像部のゲインを任意の組み合わせで設定することができる。
【００５６】
図３は、近赤外光の照射光量と撮像部のゲインの変更方法の１例として、近赤外光を最大光量で照射した際に、標識を表す領域の平均画素値Ａが左欄に示す値であったとき、その値に応じた近赤外線照射量と撮像部のゲインの調整量を示している。なお、図３は、近赤外光の照射光量および撮像部のゲインの調整量をそれぞれ示すものであって、両方を同時に調整することを示しているわけではない。例えば、平均画素値Ａが１０２３であったとき（状態１）は、撮像部のゲインをそのときの設定値に固定したまま、近赤外光の照射光量を「１」にするか、もしくは、近赤外光の照射光量をそのときの設定値に固定したまま、撮像部のゲインを「−５」に設定することを示している。
【００５７】
図３に示す設定を行って再度近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）の撮像を行い、状態６、すなわち平均画素値Ａが５０１〜６００の範囲内になったとき、調整が完了して、適正なコントラストで道路標識が撮像されたものと判断する。
【００５８】
ここで、近赤外光の照射光量の調整は、前述したように、近赤外ライト８０ａ（図１）に通電する電流値の調整によって行う。
【００５９】
また、撮像部のゲインの調整は、撮像部１０の露光量の変更、または、撮像された映像信号のゲインの変更によって行う。
【００６０】
このうち、露光量の変更は、光学系１１の絞りの変更、または、シャッタ速度の変更によって達成される。具体的には、光学系１１（レンズ１１ａ，１１ｂ（図２））の絞りを絞り込む（Ｆ値を大きくする）と露光量が減少して、絞りを開ける（Ｆ値を小さくする）と露光量が増加する。さらに、シャッタ速度を速くすると露光量が減少して、シャッタ速度を遅くすると露光量が増加する。実際には、絞りとシャッタ速度の組み合わせを変更することによって露光量の調整を行う。
【００６１】
映像信号（近赤外映像信号１４ａ，カラー映像信号１４ｂ（図２））のゲインの変更は、撮像条件変更部１３（信号処理調整用ＩＣ１３ａ，１３ｂ（図２））において行われる。具体的には、近赤外映像信号１４ａ，カラー映像信号１４ｂに対して乗算される倍率を変更することによって、映像信号の明暗が調整される。
【００６２】
なお、ここで乗算される倍率は固定倍率であってもよいし、ガンマ特性のように、入力される映像信号に対して非線形に変化する倍率であってもよい。特に、ガンマ特性を調整することによって、人間の見た目に近い、より自然な輝度階調特性を得ることができる。
【００６３】
照射する近赤外光の光量と、撮像素子１２ｂの露出・ゲインと、の組み合わせを変更すことによって、近赤外画像ｎＩＲ（ｘ，ｙ）において道路標識が適正な明るさで撮像されたときは、同じ撮像条件で、カラーカメラ１０ｂで同時に撮像されたカラー画像Ｃ（ｘ，ｙ）と近赤外画像ｎＩＲ（ｘ，ｙ）の道路標識に該当する領域を合成した合成映像信号を生成して、道路標識内容認識部６０が、合成映像信号に対して道路標識の種別，内容の認識を行う。道路標識の種別，内容の認識方法としては多くの手法が提案されており、そのいずれの方法を用いて行っても構わない。例えば、認識対象となる道路標識の図柄を予めテンプレートとして用意しておき、合成映像信号に対してテンプレートマッチングを行うことによって、道路標識の種別，内容を認識することができる。詳しくは後述する。
【００６４】
認識された道路標識の種別，内容は、液晶ディスプレイ９０ａ（表示部９０（図２））に表示されて、車両５の運転者に注意を促す。または、認識された道路標識の内容、例えば制限速度情報に基づいて、車両５の車速が極端に高いときは車両５を減速させて、道路標識に規定された運転状態を遵守させるような車両制御を行ってもよい。
【００６５】
以下、近赤外画像ｎＩＲ（ｘ，ｙ）の中に道路標識が写っているか否かを判定して、道路標識が写っていないときには撮像条件を調整して適正な明るさの画像を撮像する標識設置年数確認処理の内容について、図４，図５Ａ，図５Ｂを用いて説明する。
（標識設置年数確認処理の説明）
【００６６】
図４は、道路標識存在判定部２０の詳細な機能構成を示す機能ブロック図である。図５Ａは、実際に撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の一例を示す図である。図５Ｂは、図５Ａの近赤外画像ｎＩＲ（ｘ，ｙ）の中から、道路標識の候補領域を検出した結果を示す図である。
【００６７】
図４に示すように、道路標識存在判定部２０は、エッジ検出部３０と、閉領域抽出部３１と、画素数計測部３２と、画素値積算部３３と、平均画素値算出部３４と、道路標識判定部３５と、撮像条件設定部３６と、からなる。
【００６８】
エッジ検出部３０は、近赤外画像ｎＩＲ（ｘ，ｙ）に対してエッジ検出を行い、隣接画素間で画素値の差が大きい画素をエッジ構成点として検出する。なお、エッジ検出の方法は問わない。
【００６９】
閉領域抽出部３１は、検出されたエッジ構成点で囲まれた閉領域を抽出する。具体的には、検出されたエッジ構成点で構成された領域にラベル付けを行い、周囲を同じラベル値の画素によって囲まれた領域を探すことによって、閉領域を抽出する。
【００７０】
画素数計測部３２は、閉領域抽出部３１で検出された閉領域を構成する画素数の合計値を計測する。
【００７１】
画素値積算部３３は、画素数計測部３２で画素数を計測する際に、当該画素の画素値を積算する。
【００７２】
平均画素値算出部３４は、画素値積算部３３で積算された画素値の積算値を、画素数計測部３２で計測された画素数で除して、平均画素値Ａを算出する。
【００７３】
道路標識判定部３５は、平均画素値算出部３４で算出された平均画素値Ａが、所定範囲の値であるか否かを判定する。例えば、前述した例では、平均画素値Ａが６００よりも大きく７００以下であるとき、道路標識が適正な明るさで撮像されたものと判定する。
【００７４】
撮像条件設定部３６は、道路標識判定部３５において、道路標識が適正な明るさで撮像されていないと判定されたときに、近赤外光の照射光量の設定、または撮像部１０（近赤外カメラ１０ａ，カラーカメラ１０ｂ）の撮像パラメータの設定を変更する。
【００７５】
図５Ａに、近赤外画像ｎＩＲ（ｘ，ｙ）の一例を示す。図５Ａからわかるように、車両５から進行方向前方を撮像した近赤外画像ｎＩＲ（ｘ，ｙ）の中には、道路境界線９６を含む道路と、路肩に設置された道路標識９２が写っている。
【００７６】
このようにして撮像された近赤外画像ｎＩＲ（ｘ，ｙ）に対して、エッジ検出と閉領域の抽出を行うと、図５Ｂに示すように、道路標識９２の領域が抽出される。画素数計測部３２と画素値積算部３３では、このようにして抽出された閉領域に外接する外接領域９４の中で閉領域を構成している画素を探し、その総数と画素値の総和をそれぞれ算出する。そして、算出された画素の総数と画素値の総和から、平均画素値Ａが算出される。
【００７７】
なお、図５Ａには道路標識が１つしか写っていないが、近赤外画像ｎＩＲ（ｘ，ｙ）の中に複数の道路標識が写っている場合もある。そして、それら複数の道路標識は、それぞれ、設置されてからの経過年数が異なっている場合がある。したがって、道路標識の存在判定と撮像パラメータの設定は、それぞれの道路標識候補領域に対して行う必要がある。
【００７８】
すなわち、複数の道路標識がすべて同じ明るさで撮像される保証はないため、撮像パラメータの設定の変更は、個々の道路標識に対して繰り返し行われる。すなわち、ある道路標識９２が適正な明るさで撮像されたときは、その道路標識９２に外接する外接領域９４を除外した近赤外画像ｎＩＲ（ｘ，ｙ）に対して、別の道路標識に対する明るさの判定を行う。
【００７９】
ここで、近赤外画像ｎＩＲ（ｘ，ｙ）に対してエッジ検出処理と閉領域抽出処理を行うと、道路領域からも閉領域が検出される可能性がある。このように道路領域から検出された閉領域は、その後の処理においてノイズとなるため、近赤外画像ｎＩＲ（ｘ，ｙ）に対して、まず最初に道路領域を検出する処理を行い、検出された道路領域以外の領域に対して、エッジ検出処理と閉領域抽出処理を行ってもよい。このような処理方法を採ることによって、ノイズの影響をできるだけ減らすことができる。
【００８０】
なお、前述した、道路標識の撮像状態を判定する処理は、エッジ検出部３０でエッジ検出を行い、エッジに囲まれた閉領域を抽出する代わりに、近赤外画像ｎＩＲ（ｘ，ｙ）を所定のしきい値で２値化処理して道路標識９２の候補領域を検出しても同様の結果を得ることができる。
【００８１】
次に、道路標識内容認識部６０で行う標識内容認識処理の内容について、図６を用いて説明する。
（標識内容認識処理の説明）
【００８２】
図６は、道路標識内容認識部６０の詳細な機能構成を示す機能ブロック図である。図６に示すように、道路標識内容認識部６０は、映像合成部６２と、道路標識データベース６４と、テンプレートマッチング部６６と、からなる。
【００８３】
映像合成部６２は、道路標識存在判定部２０が、道路標識が適正な明るさで撮像されていると判定したときに、図１に示した近赤外カメラ１０ａ（撮像部１０）から得られた調整済近赤外映像信号１６ａと、カラーカメラ１０ｂ（撮像部１０）から得られた調整済カラー映像信号１６ｂと、を合成して１つの合成映像信号とする。具体的には、図７に示す調整済近赤外映像信号１６ａと、調整済カラー映像信号１６ｂを、以下のようにして合成する。
【００８４】
図７に示す調整済近赤外映像信号１６ａの画素Ｐ１と、調整済カラー映像信号１６ｂの画素Ｐ２を合成する際、合成の対象となる画素Ｐ２には、ベイヤー配列された緑フィルタの出力が格納されているため、まず、画素Ｐ２における赤色成分と青色成分の大きさを補間処理によって算出する必要がある。
【００８５】
この補間処理はカラー画像を撮像する際に一般的に行われている処理であり、例えば、画素Ｐ２に隣接する画素値を用いて線形補間が行われる。すなわち、画素Ｐ２における赤色成分Ｒは（式１）で推定され、画素Ｐ２における青色成分Ｂは（式２）で推定される。
Ｒ＝（Ｒ１＋Ｒ２）／２                          （式１）
Ｂ＝（Ｂ１＋Ｂ２）／２                          （式２）
【００８６】
ここに、調整済近赤外映像信号１６ａの画素Ｐ１に格納された近赤外成分Ｃ５が合成されるため、画素Ｐ２における合成映像信号の赤色成分Ｒ０，緑色成分Ｇ０，青色成分Ｂ０は、それぞれ、（式３）〜（式５）で表される。
Ｒ０＝Ｃ５＋（Ｒ１＋Ｒ２）／２                      （式３）
Ｇ０＝Ｃ５＋Ｇ３                                （式４）
Ｂ０＝Ｃ５＋（Ｂ１＋Ｂ２）／２                      （式５）
【００８７】
この合成処理によって、調整済カラー映像信号１６ｂのみでは輝度が低下していた道路標識の領域に調整済近赤外映像信号１６ａの成分が加算されるため、より明るく明瞭な道路標識の画像を得ることができる。なお、（式１），（式２）に示した信号の補間方法、および（式３）〜（式５）に示した映像信号の合成方法は、あくまで１例であって、これらに限定されるものではなく、その他の方法で補間、合成してもよい。
【００８８】
なお、調整済近赤外映像信号１６ａと調整済カラー映像信号１６ｂを合成する際、それぞれの映像信号に写る道路標識９２の位置には、車両５から道路標識９２までの距離に応じた量の視差が発生する（車両５から道路標識９２までの距離が近いほど、大きい視差が発生する）。したがって、合成処理を行う際には、同じ座標値の画素同士を合成するのではなく、調整済近赤外映像信号１６ａの中から検出した道路標識９２と対応する領域を調整済カラー映像信号１６ｂの中から探索して、対応がとれた領域同士で合成処理を行う。
【００８９】
道路標識データベース６４には、認識対象となる道路標識の寸法，形状，色彩、および標識の意味が、それぞれ記憶されている。なお記憶しているデータ形式は問わない。
【００９０】
テンプレートマッチング部６６は、映像合成部６２で合成された映像信号と、道路標識データベース６４に記憶された内容と、のマッチング処理を行う。具体的には、道路標識データベース６４に記憶されたテンプレートを、映像合成部６２において合成された合成映像信号の上に重ね合わせた状態で走査し、各位置においてマッチング度（類似度）を求めて、合成映像信号の中から、テンプレートに類似した領域を探す。
【００９１】
なお、用意されたテンプレートの大きさや向きと、合成映像信号の中に写る道路標識の大きさや向きと、は異なるのが一般的であるため、マッチング処理を効率的に行うために、テンプレートを、スケールや観測方向の変化に対応可能な特徴量を用いて表現する方法が用いられる。
【００９２】
例えば、向きや大きさが異なる複数のテンプレートを用意して、それぞれのテンプレートを用いてテンプレートマッチングを行うのも１つの方法である。また、回転やスケール変更に対して強いＳＩＦＴ（Scale-Invariant Feature Transform）特徴量を用いて表現されたテンプレートを利用してテンプレートマッチングを行う例もあり、これらの方法を用いることによって、効率的に道路標識の認識を行うことができる。
【００９３】
次に、以上説明した実施例１の処理全体の流れについて、図８のフローチャートを用いて説明する。
（実施例１の処理全体の流れの説明）
【００９４】
（ステップＳ１０）ライトスイッチがＯＮになってヘッドライトが点灯しているか否かを判定する。ライトスイッチがＯＮであるときはステップＳ１２に進み、ライトスイッチがＯＦＦであるときはステップＳ１４に進む。
【００９５】
（ステップＳ１２）車両５の前方に道路標識が存在するか否かを判定する。道路標識が存在すると判定されたときはステップＳ１６に進み、道路標識が存在しないと判定されたときはステップＳ１０に戻る。
【００９６】
（ステップＳ１４）車両５は昼間の状態にあると判断して、昼間の状態に対応した道路標識認識処理を行う。なお、昼間の明るい状態における道路標識認識処理は、本発明の対象外であるため説明は省略するが、近赤外カメラ１０ａは利用せずに、カラーカメラ１０ｂで撮像したカラー画像Ｃ（ｘ，ｙ）のみを用い、標識の領域を切り出すしきい値の調整等を行うことによって標識の認識を行う。
【００９７】
（ステップＳ１６）標識設置年数確認処理を行う。この処理の詳細な流れは後述する。
【００９８】
（ステップＳ１８）標識内容認識処理を行う。この処理の詳細な流れは後述する。
【００９９】
（ステップＳ２０）道路標識の認識結果を出力して車両５の運転者に報知する。なお、ここで、道路標識の認識結果を利用して車両の制御を行うことも可能である。
【０１００】
（ステップＳ２２）車両５のイグニッションがＯＦＦか否かを判定する。イグニッションがＯＦＦであるときは図８の処理を終了し、イグニッションがＯＦＦであるときは、ステップＳ１０に戻る。なお、ここで、車両５の車速を検出して、車速が０であるときに図８の処理を終了し、車速が０でないときにステップＳ１０に戻るようにしてもよい。
【０１０１】
次に、図８に示した標識設置年数確認処理（Ｓ１６）の詳細な流れについて、図９のフローチャートを用いて説明する。
（標識設置年数確認処理の流れの説明）
【０１０２】
（ステップＳ３０）近赤外ライト８０ａ（図１）から近赤外光を最大光量で照射する。
【０１０３】
（ステップＳ３２）近赤外ライト８０ａの照射にあわせて、近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）を同時に撮像する。
【０１０４】
（ステップＳ３４）近赤外画像ｎＩＲ（ｘ，ｙ）からエッジを検出する。
【０１０５】
（ステップＳ３６）検出されたエッジに囲まれた閉領域を抽出する。
【０１０６】
（ステップＳ３８）抽出された閉領域を構成する画素数を測定する。
【０１０７】
（ステップＳ４０）抽出された閉領域を構成する画素の画素値を積算する。
【０１０８】
（ステップＳ４２）閉領域を構成する画素の平均画素値Ａを算出する。
【０１０９】
（ステップＳ４４）平均画素値Ａが、所定の範囲内の値であるか否かを判定する。所定の範囲内の値であるときはステップＳ４６に進み、それ以外のときは、ステップＳ４８に進む。
【０１１０】
（ステップＳ４６）抽出された全ての閉領域を処理したか否かを判定する。全ての閉領域を処理したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ３８に戻る。
【０１１１】
（ステップＳ４８）近赤外ライト８０ａから照射する近赤外光の光量、または近赤外カメラ１０ａ、およびカラーカメラ１０ｂの撮像パラメータの設定を調整する。
【０１１２】
（ステップＳ５０）ステップＳ４８で調整した設定は、調整可能範囲内か否かを判定する。調整可能範囲内であるときはステップＳ３２に戻り、それ以外のときはステップＳ５２に進む。
【０１１３】
（ステップＳ５２）対象としている閉領域は道路標識ではないと判断して、ステップＳ４６に進む。
【０１１４】
次に、図８に示した標識内容認識処理（Ｓ１８）の詳細な流れについて、図１０のフローチャートを用いて説明する。
（標識内容認識処理の流れの説明）
【０１１５】
（ステップＳ６０）近赤外画像ｎＩＲ（ｘ，ｙ）とカラー画像Ｃ（ｘ，ｙ）の間で、道路標識の視差を算出する。
【０１１６】
（ステップＳ６２）ステップＳ６０で算出した視差に基づいて、近赤外画像ｎＩＲ（ｘ，ｙ）に写った道路標識の領域とカラー画像Ｃ（ｘ，ｙ）に写った道路標識の領域を合成する。
【０１１７】
（ステップＳ６４）ステップＳ６２で合成した合成映像と道路標識データベース６４（図６）に記憶されたテンプレートとの間でテンプレートマッチングを行い、道路標識の内容を認識する。
【０１１８】
（ステップＳ６６）画像内の全ての道路標識を認識したか否かを判定する。全ての道路標識を認識したときはメインルーチン（図８）に戻り、それ以外のときは、ステップＳ６０に戻って、別の道路標識の認識を行う。
【０１１９】
以上説明したように、このように構成された本発明に係る車両用道路標識認識装置１００によれば、可視光領域および近赤外領域に感度を有する撮像部１０で撮像された車両５の進行方向前方の画像の内部の輝度分布に基づいて、道路標識存在判定部２０が、道路標識９２が写っているか否かを判定する。判定の結果、道路標識９２が写っていないと判定されたときは、撮像条件変更部１３が、近赤外光照射部８０から撮像部１０の撮像範囲内に照射する近赤外光の光量、または撮像部１０の撮像パラメータを変更して再度画像を撮像し、道路標識存在判定部２０における判定を繰り返し行う。一方、道路標識９２が写っていると判定されたときは道路標識内容認識部６０において、撮像された道路標識９２の種別，内容を認識するため、道路標識９２に、設置後の年数経過による劣化が発生して反射率が低下した場合であっても、撮像条件変更部１３が、道路標識９２に照射する近赤外光の光量の変更、または撮像部１０の撮像パラメータの変更を行うことによって、認識可能なコントラストを有する道路標識９２の画像を撮像することができるため、経年劣化による退色が進んだ道路標識９２の種別，内容を安定して認識することができる。
【０１２０】
また、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像パラメータは、シャッタ速度，絞り値，ゲインのうち少なくとも一つであるため、道路標識９２を含む画像の撮像条件を容易に変更して、異なる明るさの画像を容易に撮像することができる。
【０１２１】
そして、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像条件変更部１３は、道路標識存在判定部２０が判定した道路標識を示す領域の平均画素値Ａが所定値（Ａｔｈ±δ）の範囲内となるように、近赤外光照射部８０から照射する近赤外光の光量、および撮像パラメータのうち少なくとも一方を変更するため、道路標識９２が認識しやすい明るさで写っている画像を効率的に撮像することができる。
【０１２２】
さらに、このように構成された本発明に係る車両用道路標識認識装置１００によれば、撮像条件変更部１３は、撮像部１０の撮像範囲内に、照射可能な最大光量の近赤外光を照射した状態で撮像された近赤外画像ｎＩＲ（ｘ，ｙ）の中の、道路標識９２を示す領域の平均画素値Ａが所定値（Ａｔｈ＋δ）よりも大きいときは、近赤外光の光量の抑制、または撮像パラメータを撮像される画像が暗くなる方向に調整する。また、平均画素値Ａが所定値（Ａｔｈ−δ）よりも小さいときは、撮像パラメータを撮像される画像が明るくなる方向に調整する。したがって、道路標識９２が適正な明るさで写った近赤外画像ｎＩＲ（ｘ，ｙ）を、容易かつ確実に撮像することができる。
【０１２３】
また、このように構成された本発明に係る車両用道路標識認識装置１００によれば、車両５の前方に道路標識９２が存在する可能性があるか否かを判定する道路標識存在可能性判定部７０を有するため、道路標識存在可能性判定部７０の出力に基づいて、必要なときのみ道路標識の認識を行うことができる。したがって、道路標識認識の効率化を図ることができる。
【０１２４】
そして、このように構成された本発明に係る車両用道路標識認識装置１００によれば、道路標識存在可能性判定部７０は、車両５に搭載されたカーナビゲーションシステム７０ａに記憶された情報に基づいて、近赤外画像ｎＩＲ（ｘ，ｙ）の中に、道路標識９２が存在すると考えられる領域を設定するため、走行中の車両５から道路標識９２を効率よく検出することができる。
【０１２５】
以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎないものであるため、本発明は実施例の構成にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
【０１２６】
例えば、実施例１は、近赤外カメラ１０ａとカラーカメラ１０ｂの２台のカメラを用いた構成で説明したが、これは、赤色成分Ｒ，緑色成分Ｇ，青色成分Ｂ，近赤外成分Ｃをそれぞれ検出可能な撮像素子を有する１台のカメラを用いて実現することも可能である。
【符号の説明】
【０１２７】
５・・・・・車両
１０・・・・撮像部
１１・・・・光学系
１２・・・・受光部
１３・・・・撮像条件変更部
２０・・・・道路標識存在判定部
４０・・・・近赤外光照射光量制御部
６０・・・・道路標識内容認識部
７０・・・・道路標識存在可能性判定部
８０・・・・近赤外光照射部
９０・・・・表示部
１００・・・車両用道路標識認識装置
【図１】
2016196233.tif 000003
【図２】
2016196233.tif 000004
【図３】
2016196233.tif 000005
【図４】
2016196233.tif 000006
【図５Ａ】
2016196233.tif 000007
【図５Ｂ】
2016196233.tif 000008
【図６】
2016196233.tif 000009
【図７】
2016196233.tif 000010
【図８】
2016196233.tif 000011
【図９】
2016196233.tif 000012
【図１０】
2016196233.tif 000013