(57)【要約】【課題】車両に搭載可能であって、コスト低減、処理負担の軽減、処理時間の短縮が可能であり、赤信号から青信号への変化の時点を検出することができる車両運転支援装置を提供すること。【解決手段】車両運転支援装置１は、自車両の前方を撮像して各画素に対応する輝度値を有する画像を出力するカメラ１０と、所定の時間間隔で撮像された第１および第２の画像を格納する画像格納部１２と、これら第１および第２の画像の差分を演算して差分画像を生成する差分画像生成部２０と、差分画像の中から輝度値が変化する特定領域を抽出するとともにこの特定領域に対応する特徴量を抽出する領域・特徴抽出部３０と、抽出された特徴量に基づいて点灯状態が赤から青に変化した信号機があるか否かを判定する信号変化判定部４０とを備える。【選択図】図１
2015153312.tif 000002
【特許請求の範囲】
【請求項１】
自車両の前方を撮像して各画素に対応する輝度値を有する画像を出力する撮像手段と、
前記撮像手段によって所定の時間間隔で撮像された第１および第２の画像を格納する画像格納手段と、
前記画像格納手段から前記第１および第２の画像を読み出し、これらの画像の差分を演算して差分画像を生成する差分画像生成手段と、
前記差分画像生成手段によって生成された前記差分画像の中から、輝度値が変化する特定領域を抽出するとともに、この特定領域に対応する特徴量を抽出する領域・特徴抽出手段と、
前記領域・特徴抽出手段によって抽出された特徴量に基づいて、点灯状態が赤から青に変化した信号機があるか否かを判定する信号変化判定手段と、
を備えることを特徴とする車両運転支援装置。
【請求項２】
請求項１において、
信号変化判定手段によって点灯状態が赤から青に変化した信号機がある旨の判定がなされたときに車両の運転者に対して所定の通知を行う通知手段をさらに備えることを特徴とする車両運転支援装置。
【請求項３】
請求項１または２において、
前記特定領域は、円形形状を有することを特徴とする車両運転支援装置。
【請求項４】
請求項１〜３のいずれか一項において、
前記領域・特徴抽出手段によって抽出される前記特徴量には、前記特定領域の大きさ、位置、輝度が変化する向きが含まれることを特徴とする車両運転支援装置。
【請求項５】
請求項４において、
前記信号変化判定手段は、前記特徴量に基づいて、２つの前記特定領域の大きさが一致し、これら２つの前記特定領域が左右あるいは上下に並んでおり、右側あるいは上側の前記領域の輝度が変化する向きが輝度の減少を示すとともに左側あるいは下側の前記特定領域の輝度が変化する向きが輝度の増加を示す場合に、点灯状態が赤から青に変化した信号機がある旨の判定を行うことを特徴とする車両運転支援装置。
【請求項６】
請求項１〜５のいずれかは、
前記第１および第２の画像のそれぞれは、連続した撮像によって得られた複数の画像の輝度値を平均化することにより生成されることを特徴とする車両運転支援装置。
【請求項７】
請求項１〜６のいずれか一項において、
自車両が停車中か否かを判定する停車判定手段をさらに備え、
前記停車判定手段によって自車両が停車中であることが判定されたときに、前記差分画像生成手段、前記領域・特徴抽出手段、前記信号変化判定手段による動作が行われることを特徴とする車両運転支援装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交差点等で停車時に赤信号から青信号への変化時に所定の通知を行う車両運転支援装置に関する。
【背景技術】
【０００２】
従来から、信号機の色と円形度から点灯色を認識するようにした信号機認識装置（例えば、特許文献１参照。）や、固定カメラで消灯時の輝度値を記憶しておいて信号機の点灯、消灯を判別するようにした信号識別装置（例えば、特許文献２参照。）が知られている。これらを用いることにより、信号機のある交差点等で停車した後、信号機が赤から青に変わったタイミングを認識することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２４４９４６号公報
【特許文献２】特開２０００−３５３２９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した特許文献１に開示された信号機認識装置では、輝度情報に基づいて点灯色を識別しているため、カラーカメラとＲＧＢ３色分の画像メモリが必要になって部品コストが増大するとともに、処理の負担が重くなるという問題があった。
【０００５】
また、上述した特許文献２に開示された信号識別装置では、信号機の点灯部分全体を撮影した画像から信号機１周期分（約１５０秒）の輝度値を取り込む必要があり、道路を走行中の車両に搭載されたカメラで撮影した画像を用いる場合を想定すると、信号待ちの時間を利用して短時間で処理することができないという問題があった。
【０００６】
本発明は、このような点に鑑みて創作されたものであり、その目的は、車両に搭載可能であって、コスト低減、処理負担の軽減、処理時間の短縮が可能であり、赤信号から青信号への変化の時点を検出することができる車両運転支援装置を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の車両運転支援装置は、自車両の前方を撮像して各画素に対応する輝度値を有する画像を出力する撮像手段と、撮像手段によって所定の時間間隔で撮像された第１および第２の画像を格納する画像格納手段と、画像格納手段から第１および第２の画像を読み出し、これらの画像の差分を演算して差分画像を生成する差分画像生成手段と、差分画像生成手段によって生成された差分画像の中から、輝度値が変化する特定領域を抽出するとともに、この特定領域に対応する特徴量を抽出する領域・特徴抽出手段と、領域・特徴抽出手段によって抽出された特徴量に基づいて、点灯状態が赤から青に変化した信号機があるか否かを判定する信号変化判定手段とを備えている。
【０００８】
カラー画像ではなく輝度値を有する画像を用いて信号機の点灯状態が赤から青に変化したことを検出することができるため、撮像素子数が少なく処理能力が低い制御部を備えた安価なカメラを用いることができるとともに、得られた画像を用いて処理を行う際の処理負担の軽減および処理時間の短縮が可能となる。
【０００９】
また、上述した信号変化判定手段によって点灯状態が赤から青に変化した信号機がある旨の判定がなされたときに車両の運転者に対して所定の通知を行う通知手段をさらに備えることが望ましい。これにより、信号機が赤から青に変化したことに気付かない運転者に対してその変化を知らせることができ、余裕のある車両の発進動作が可能となる。
【００１０】
また、上述した特定領域は、円形形状を有することが望ましい。これにより、輝度値が変化した領域がたくさん含まれる場合に、信号灯に対応する特定領域を絞り込むことが可能となる。
【００１１】
また、上述した領域・特徴抽出手段によって抽出される特徴量には、特定領域の大きさ、位置、輝度が変化する向きが含まれることが望ましい。これにより、点灯から消灯に移行した信号灯と反対に消灯から点灯に移行した信号灯の存在や、これらの相対的な位置や大きさを知ることができ、赤から青に変化した信号機を特定することが可能となる。
【００１２】
また、上述した信号変化判定手段は、特徴量に基づいて、２つの特定領域の大きさが一致し、これら２つの特定領域が左右あるいは上下に並んでおり、右側あるいは上側の領域の輝度が変化する向きが輝度の減少を示すとともに左側あるいは下側の特定領域の輝度が変化する向きが輝度の増加を示す場合に、点灯状態が赤から青に変化した信号機がある旨の判定を行うことが望ましい。これにより、１つの信号機に含まれる赤信号灯の消灯と青信号灯の点灯を正確に判定することが可能となる。
【００１３】
また、上述した第１および第２の画像のそれぞれは、連続した撮像によって得られた複数の画像の輝度値を平均化することにより生成されることが望ましい。これにより、ＬＥＤ（発光ダイオード）を光源とした信号灯が所定周期で点滅する場合であっても、この点滅のタイミングとは関係なく点灯状態にある信号灯を確実に撮像することが可能となる。
【００１４】
また、自車両が停車中か否かを判定する停車判定手段をさらに備え、停車判定手段によって自車両が停車中であることが判定されたときに、差分画像生成手段、領域・特徴抽出手段、信号変化判定手段による動作が行われることが望ましい。信号機の赤から青への切り替わり判定を停車中のみ行うことにより、走行中の処理負担をさらに軽減することができる。
【図面の簡単な説明】
【００１５】
【図１】一実施形態の車両運転支援装置の構成を示す図である。
【図２】車両前方の信号機が赤から青に変化した時点を検出して通知を行う動作手順を示す流れ図である。
【図３】撮像された画像と差分画像の具体例を示す図である。
【図４】画像の平均化の説明図である。
【発明を実施するための形態】
【００１６】
以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置１の構成を示す図である。この車両運転支援装置１は、車両に搭載されており、信号機のある位置で停車中にこの信号機が赤信号から青信号に変化した時点を検出して所定の通知を行うものである。
【００１７】
図１に示すように、本実施形態の車両運転支援装置１は、カメラ１０、画像格納部１２、差分画像生成部２０、領域・特徴抽出部３０、信号変化判定部４０、通知部５０、停車判定部６０を備えている。
【００１８】
カメラ１０は、車両前方の所定範囲が撮像範囲として設定されており、この撮像範囲を所定の解像度で撮像し、各画素に対応する輝度値を有する画像を出力する。本実施形態では、車両前方の信号機を撮像する必要があるため、少なくとも車両前方であって高さ４ｍ以上の範囲を含む撮像範囲が設定されている。また、後段の処理では、信号機に含まれる赤信号灯と青信号灯の形状および輝度を識別することが可能な解像度が設定されている。カメラ１０によって、例えば１／３０秒毎に撮像範囲が撮像され、それぞれの撮像によって得られた画像が出力される。画像格納部１２は、カメラ１０から出力される画像を格納する。
【００１９】
差分画像生成部２０は、所定間隔（例えば１秒）で撮像された一組の画像を画像格納部１２から読み出し、これらの一組の画像の差分を演算して差分画像を生成する。この差分の演算は、各画像を構成する画素毎に輝度値の差分を算出することにより行われる。１秒前の画像を「第１の画像」、第１の画像に対して１秒後の画像を「第２の画像」とすると、第２の画像を構成する各画素の輝度値から第１の画像を構成する各画素の輝度値を差し引くことにより差分画像が生成される。
【００２０】
領域・特徴抽出部３０は、差分画像生成部２０によって生成された差分画像の中から、第１および第２の画像の間で輝度が変化した領域の中から円形形状の領域を抽出するとともに、この抽出した領域に対応する特徴量を抽出する。信号機の赤信号灯が継続して点灯している場合には、第１の画像の各画素の輝度値と第２の画像の各画素の輝度値は同じになるため、差分画像に含まれる各画素の値は「０」となる。これに対し、第１の画像の撮像時点と第２の画像の撮像時点の間で信号機の点灯状態が赤から青に変化した場合には、差分画像において、赤信号灯および青信号灯に対応する領域の値が「０」以外の値を有することになる。例えば、図３（Ａ）に示すように、第１の画像（Ｄ１）に含まれる赤信号灯に対応する各画素の輝度値をＲ（＞０）、図３（Ｂ）に示すように、第２の画像（Ｄ２）に含まれる青信号灯に対応する各画素の輝度値を＋Ｂ（＞０）とすると、図３（Ｃ）に示す差分画像（Ｄ３）では、赤信号灯に対応する領域の値が「−Ｒ」、青信号灯に対応する領域の値が「＋Ｂ」となる。
【００２１】
実際には、第１および第２の画像には、撮像範囲に含まれる車両のウィンカーが点滅したりブレーキランプなどが点灯や消灯したりするため、差分画像においてこれらに対応する領域の各画素も０以外の値を有する。
【００２２】
領域・特徴抽出部３０は、値が０以外の値を有する領域の中から円形形状の領域を抽出するとともに、この円形形状の領域の大きさ（直径）および位置（座標）と、輝度勾配（正／負）を抽出する。上述した例では、差分画像において値が「−Ｒ」となる領域の輝度勾配は「負」、値が「＋Ｂ」となる領域の輝度勾配は「正」となる。また、輝度勾配とは、輝度が変化する向きであって、第１の画像を基準に第２の画像の各画素の輝度を考えたときに輝度値が減少する場合（第１の画像内で点灯していた赤信号灯が第２の画像内で消灯している場合）に「負」、反対に、輝度値が増加する場合（第１の画像内で消灯していた青信号灯が第２の画像内で点灯している場合）に「正」となる。
【００２３】
信号変化判定部４０は、領域・特徴抽出部３０によって抽出された円形形状の領域に対応する特徴量に基づいて、点灯状態が赤から青に変化した信号機の有無を判定する。具体的には、特徴抽出の対象となった円形形状の領域が２つ以上存在する場合に、それらに含まれる２つの領域を一組として選択し、全ての組合せについて以下の関係を満たすか否かをチェックする。
【００２４】
（１）２つの領域の大きさが一致すること
（２）２つの領域が左右あるいは上下に並んでいること
（３）右側あるいは上側の領域の輝度勾配が負（赤信号灯）で、左側あるいは下側の領域の輝度勾配が正（青信号灯）であること
信号変化判定部４０は、（１）〜（３）の全ての関係を満たす２つの領域が存在する場合には、１つの信号機の点灯状態が赤から青に変化した旨の判定を行う。
【００２５】
通知部５０は、信号変化判定部４０によって信号機の点灯状態が赤から青に変化した旨の判定が行われたときに所定の通知を行う。例えば、通知の具体例として、所定の通知音を出力する、「青信号に変わりました」等の音声を出力する、表示装置（図示せず）に所定の画像を表示する、メータパネル内の所定の表示部を点灯（あるいは点滅）させる、などが考えられる。
【００２６】
停車判定部６０は、自車両が停車中か否かを判定する。例えば、この判定は、車速センサ（図示せず）から一定距離毎に出力される車速パルスに基づいて行う場合や、車両制御装置（図示せず）から入力される車両の走行状態を示す信号に基づいて行う場合などが考えられる。
【００２７】
上述したカメラ１０が撮像手段に、画像格納部１２が画像格納手段に、差分画像生成部２０が差分画像生成手段に、領域・特徴抽出部３０が領域・特徴抽出手段に、信号変化判定部４０が信号変化判定手段に、通知部５０が通知手段に、停車判定部６０が停車判定手段にそれぞれ対応する。
【００２８】
本実施形態の車両運転支援装置１はこのような構成を有しており、次にその動作を説明する。図２は、車両前方の信号機が赤から青に変化した時点を検出して通知を行う動作手順を示す流れ図である。
【００２９】
停車判定部６０は、自車両が停車中か否かを判定する（ステップ１００）。自車両が走行中の場合には否定判断が行われ、この判定が繰り返される。また、自車両が停車している場合にはステップ１００の判定において肯定判断が行われる。
【００３０】
次に、カメラ１０による撮像が行われると（ステップ１０２）、画像格納部１２はカメラ１０から出力される画像を取得して格納する（ステップ１０４）。また、差分画像生成部２０は、この画像（第２の画像）とともに１秒前の画像（第１の画像）を画像格納部１２から読み出して（ステップ１０６）、これら２つの画像の差分を演算して差分画像を生成する（ステップ１０８）。
【００３１】
次に、領域・特徴抽出部３０は、差分画像に含まれる輝度が変化した円形形状の領域（特定領域）と、この特定領域に対応する特徴量（大きさ、座標、輝度勾配）を抽出する（ステップ１１０）。
【００３２】
次に、信号変化判定部４０は、抽出した円形形状の領域（特定領域）の数は２以上であるか否かを判定する（ステップ１１２）。円形形状の領域が１つあるいは全くない場合には否定判断が行われ、ステップ１００に戻って停車判定以降の動作が繰り返される。また、円形形状の領域が２つ以上含まれる場合にはステップ１１２の判定において肯定判断が行われる。
【００３３】
次に、信号変化判定部４０は、２つの領域を一組とし、全ての組合せについて、信号機の点灯状態が赤から青に変化したときの特徴（上述した（１）〜（３）の関係）を有するか否かを判定する（ステップ１１４）。この特徴を有するものが存在する場合には肯定判断が行われ、信号変化判定部４０は、信号機の点灯状態が赤から青に変化したことを検出（判定）する（ステップ１１６）。また、信号機の点灯状態が赤から青に変化したときの特徴を有する組み合わせが存在しない場合にはステップ１１４の判定において否定判断が行われ、ステップ１００に戻って停車判定以降の動作が繰り返される。次に、通知部５０は、信号機の点灯状態が赤から青に変化したことを運転者に知らせる通知を行う（ステップ１１８）。
【００３４】
このように、本実施形態の車両運転支援装置１では、カラー画像ではなく輝度値を有する画像を用いて信号機の点灯状態が赤から青に変化したことを検出することができるため、撮像素子数が少なく処理能力が低い制御部を備えた安価なカメラ１０を用いることができるとともに、得られた画像を用いて処理を行う際の処理負担の軽減および処理時間の短縮が可能となる。
【００３５】
また、点灯状態が赤から青に変化した信号機がある旨の判定がなされたときに車両の運転者に対して所定の通知を行うことにより、信号機が赤から青に変化したことに気付かない運転者に対してその変化を知らせることができ、余裕のある車両の発進動作が可能となる。
【００３６】
また、輝度値が変化した領域（特定領域）の形状を円形形状のみに限定することにより、輝度値が変化した領域がたくさん含まれる場合に、信号灯に対応する特定領域を絞り込むことが可能となる。
【００３７】
また、輝度値が変化した特定領域とともに抽出する特徴量に、この特定領域の大きさ、位置、輝度が変化する向き（輝度勾配）を含ませることにより、点灯から消灯に移行した信号灯と反対に消灯から点灯に移行した信号灯の存在や、これらの相対的な位置や大きさを知ることができ、赤から青に変化した信号機を特定することが可能となる。
【００３８】
また、抽出した特徴量に基づいて、２つの特定領域の大きさが一致し、これら２つの特定領域が左右あるいは上下に並んでおり、右側あるいは上側の領域の輝度が変化する向きが輝度の減少を示すとともに左側あるいは下側の特定領域の輝度が変化する向きが輝度の増加を示す場合に、点灯状態が赤から青に変化した信号機がある旨の判定を行っている。これにより、１つの信号機に含まれる赤信号灯の消灯と青信号灯の点灯を正確に判定することが可能となる。
【００３９】
また、信号機の赤から青への切り替わり判定を停車中のみ行うことにより、走行中の処理負担をさらに軽減することができる。
【００４０】
なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。例えば、上述した実施形態では、画像格納部１２に格納された第１および第２の画像を読み出してこれらの差分画像を生成したが、これら第１および第２の画像のそれぞれは、連続した撮像によって得られた複数の画像の輝度値を平均化することにより生成するようにしてもよい。
【００４１】
図４は、画像の平均化の説明図である。例えば、１秒間に３０枚（３３ｍｓ間隔）の割合で画像が撮像され、その中の連続した８枚の画像の各画素の輝度値が平均化されて第１あるいは第２の画像が生成される。図４に示す例では、３３ｍｓ間隔で撮像される順番に、各画像に１、２、３、・・・、３１、３２、３３、・・・の番号が付されている。例えば、１〜８の８枚の画像を平均化して第１の画像（Ａ１）が生成されるものとすると、その１秒後に撮像された３１〜３８の８枚の画像を平均化して第２の画像（Ａ２）が生成される。このようにして生成される第１の画像（Ａ１）と第２の画像（Ａ２）を用いて図２に示す一連の動作が行われる。同様にして、２〜９の８枚の画像を平均化して第１の画像（Ｂ１）が生成され、その１秒後に撮像された３２〜３９の８枚の画像を平均化して第２の画像（Ｂ２）が生成される。このようにして生成される第１の画像（Ｂ１）と第２の画像（Ｂ２）を用いて図２に示す一連の動作が行われる。さらに、３〜１０の８枚の画像を平均化して第１の画像（Ｃ１）が生成され、その１秒後に撮像された３３〜４０の８枚の画像を平均化して第２の画像（Ｃ２）が生成される。このようにして生成される第１の画像（Ｃ１）と第２の画像（Ｃ２）を用いて図２に示す一連の動作が行われる。
【００４２】
このように、図４に示す例では、３３ｍｓ間隔で図２に示す一連の動作が繰り返される。これにより、ＬＥＤ（発光ダイオード）を光源とした信号灯が所定周期で点滅する場合であっても、この点滅のタイミングとは関係なく点灯状態にある信号灯を確実に撮像することが可能となる。
【００４３】
また、上述した実施形態では、第１の画像と第２の画像の差分を演算して差分画像を生成したため、この差分画像の各画素に対応させて輝度値を持たせたが、輝度値そのものに代えてこの輝度値を二値化した情報を用いるようにしてもよい。これにより、差分画像のデータ量を削減するとともに、差分画像を用いた処理負担の軽減が可能となる。
【００４４】
また、輝度値を用いるまでに、ガウシアンフィルタ等を用いて差分画像の各画素輝度値を平滑化処理するようにしてもよい。これにより、輝度が変化した各画素とそれ以外の画素を二値化により確実に分けることが可能になる。
【産業上の利用可能性】
【００４５】
上述したように、本発明によれば、カラー画像ではなく輝度値の画像を用いて信号機の点灯状態が赤から青に変化したことを検出することができるため、撮像素子や処理能力が低い制御部を備えた安価なカメラを用いることができるとともに、得られた画像を用いて処理を行う際の処理負担の軽減および処理時間の短縮が可能となる。
【符号の説明】
【００４６】
１  車両運転支援装置
１０  カメラ
１２  画像格納部
２０  差分画像生成部
３０  領域・特徴抽出部
４０  信号変化判定部
５０  通知部
６０  停車判定部
【図１】
2015153312.tif 000003
【図２】
2015153312.tif 000004
【図３】
2015153312.tif 000005
【図４】
2015153312.tif 000006