(57)【要約】【課題】画像認識において信号機の灯色の誤認識を抑制する。【解決手段】画像認識装置（１）は、車両に搭載される。当該画像認識装置は、赤色光を透過する第１領域（１２Ｒ）と、緑色光を透過する第２領域（１２Ｇ）と、青色光を透過する第３領域（１２Ｂ）と、信号機の複数の灯色に夫々対応する複数の波長のいずれかの波長の光を透過する第４領域（１２ｓｒ、１２ｓｂ、１２ｓｙ）と、を有するカラーフィルタ（１２）を備えるイメージングデバイス（１０）と、車両の位置情報及び地図情報に基づいて、車両の進行方向前方の信号機を検知すべき範囲である信号検知範囲に車両が存在する場合に、第４領域を透過した光に係る情報に基づいて、信号機の灯色を認識する認識手段（２０）と、を備える。【選択図】図２
2019036090.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載される画像認識装置であって、
赤色光を透過する第１領域と、緑色光を透過する第２領域と、青色光を透過する第３領域と、信号機の複数の灯色に夫々対応する複数の波長のいずれかの波長の光を透過する第４領域と、を有するカラーフィルタを備えるイメージングデバイスと、
前記車両の位置情報及び地図情報に基づいて、前記車両の進行方向前方の信号機を検知すべき範囲である信号検知範囲に前記車両が存在する場合に、前記第４領域を透過した光に係る情報に基づいて、信号機の灯色を認識する認識手段と、
を備えることを特徴とする画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置に関し、特に信号機の灯色を認識する画像認識装置の技術分野に関する。
【背景技術】
【０００２】
この種の装置として、例えば、点灯時にダイレクトドライブにより高速で点滅を繰り返すＬＥＤ信号機を適切に撮像するために、ＬＥＤ信号機の点滅周期情報から撮像のためのシャッタタイミング等のパラメータを決定し、該決定されたパラメータに基づいてイメージセンサの撮像タイミングを制御する装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０６５５８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＬＥＤ信号機を適切に撮像するために、例えばカメラの露光時間をＬＥＤ信号機の点滅周期よりも長くすることがある。この場合、色飽和が生じ、信号機の灯色が誤認識される可能性がある。上述の特許文献１に記載の技術では色飽和については考慮されていない。
【０００５】
本発明は、上記問題点に鑑みてなされたものであり、信号機の灯色の誤認識を抑制することができる画像認識装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明の一態様に係る画像認識装置は、車両に搭載される画像認識装置であって、赤色光を透過する第１領域と、緑色光を透過する第２領域と、青色光を透過する第３領域と、信号機の複数の灯色に夫々対応する複数の波長のいずれかの波長の光を透過する第４領域と、を有するカラーフィルタを備えるイメージングデバイスと、前記車両の位置情報及び地図情報に基づいて、前記車両の進行方向前方の信号機を検知すべき範囲である信号検知範囲に前記車両が存在する場合に、前記第４領域を透過した光に係る情報に基づいて、信号機の灯色を認識する認識手段と、を備えるというものである。
【図面の簡単な説明】
【０００７】
【図１】実施形態に係る画像認識装置の構成を示すブロック図である。
【図２】実施形態に係るカラーフィルタの構成を示す概念図である。
【図３】信号機の各灯色を示す色度図である。
【図４】実施形態に係る画像認識処理を示すフローチャートである。
【発明を実施するための形態】
【０００８】
実施形態に係る画像認識装置について図１乃至図４を参照して説明する。
【０００９】
（構成）
実施形態に係る画像認識装置の構成について図１を参照して説明する。図１は、実施形態に係る画像認識装置の構成を示すブロック図である。
【００１０】
図１において、画像認識装置１は、カメラ１０、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｉｔ）２０、位置センサ３１及び記憶部３２を備えて構成されている。当該画像認識装置１は、例えば自動車等の車両（図示せず）に搭載されている。カメラ１０は、車両の前方の所定範囲を撮影可能なように該車両に取り付けられている。位置センサ３１は、車両の位置を検出する。
【００１１】
カメラ１０は、レンズ１１、カラーフィルタ１２及びイメージセンサ１３を有する。ここで、カラーフィルタ１２について図２を参照して説明を加える。図２は、実施形態に係るカラーフィルタの構成を示す概念図である。
【００１２】
カラーフィルタ１２は、ＲＧＢカラーモデルの「赤」、「緑」及び「青」の３つの原色に夫々対応する赤フィルタ領域１２Ｒ、緑フィルタ領域１２Ｇ及び青フィルタ領域１２Ｂを有する。赤フィルタ領域１２Ｒは赤色光を透過する。緑フィルタ領域１２Ｇは緑色光を透過する。青フィルタ領域１２Ｂは青色光を透過する。図２に示す例では、カラーフィルタ１２には、赤フィルタ領域１２Ｒ、緑フィルタ領域１２Ｇ及び青フィルタ領域１２Ｂが、１：２：１の比率で含まれているが、これに限定されない。
【００１３】
カラーフィルタ１２は、更に、信号機の「赤色の灯色」、「青色の灯色」及び「黄色の灯色」に夫々対応する赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙを有する。赤信号フィルタ領域１２ｓｒは、信号機の赤色の灯色に対応する波長の光を透過する。青信号フィルタ領域１２ｓｂは、信号機の青色の灯色に対応する波長の光を透過する。黄信号フィルタ領域１２ｓｙは、信号機の黄色の灯色に対応する波長の光を透過する。
【００１４】
尚、信号機の各灯色については、警察庁により色度図の座標範囲として規定されている。具体的には、図３に示す色度図において、ＡＢＣ´Ｄ´で囲まれた範囲が信号機の赤色の灯色に対応している。同様に、ＭＯ´ＯＰで囲まれた範囲が信号機の青色の灯色に対応しており、ＥＦＧＨで囲まれた範囲が信号機の黄色の灯色に対応している。
【００１５】
イメージセンサ１３は、複数の赤フィルタ領域１２Ｒ、複数の緑フィルタ領域１２Ｇ、複数の青色フィルタ領域１２Ｂ、複数の赤信号フィルタ領域１２ｓｒ、複数の青信号フィルタ領域１２ｓｂ及び複数の黄信号フィルタ領域１２ｓｙの夫々に対応する複数の画素を有する（図示せず）。
【００１６】
（画像認識）
次に、上述の如く構成された画像認識装置１においてＣＰＵ２０が実施する画像認識処理について説明する。
【００１７】
ＣＰＵ２０は、位置センサ３１により検出された車両の位置を示す位置情報と、記憶部３２に格納された地図情報とに基づいて、車両の進行方向前方の信号機を検知すべき範囲である信号検知範囲に該車両が存在するか否かを判定する。尚、信号検知範囲は、例えば地図情報に含まれる信号機の位置を示す情報やカメラ１０の仕様（例えば画角等）等に基づいて設定される。尚、車線毎に信号が設置されている場合には、車線毎に信号検知範囲が設定されてよい。
【００１８】
信号検知範囲に車両が存在すると判定された場合、ＣＰＵ２０は、イメージセンサ１３の出力に基づいて、信号機の灯色の認識に係る処理を行う。具体的には、ＣＰＵ２０は先ず、イメージセンサ１３の複数の画素のうち、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙに夫々対応する画素各々の輝度値を取得する。次に、ＣＰＵ２０は、輝度値の比較的高い画素位置から信号機の灯色を認識する。
【００１９】
例えば赤信号フィルタ領域１２ｓｒに対応する画素位置の輝度値が、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙに夫々対応する画素位置の輝度値よりも高い場合、ＣＰＵ２０は、信号機の灯色を「赤」と認識する。
【００２０】
他方、信号検知範囲に車両が存在しないと判定された場合、ＣＰＵ２０は上記信号機の灯色の認識に係る処理は行わない。
【００２１】
ここで、ＣＰＵ２０が実施する画像認識処理について図４のフローチャートを参照して説明を加える。
【００２２】
図４において、先ず、記憶部３２に格納されている地図情報と、位置センサ３１の出力としての位置情報とがＣＰＵ２０に入力される（ステップＳ１０１）。次に、ＣＰＵ２０は、地図情報から、車両が現在走行している車線の進行方向前方に存在する信号機に係る位置情報を取得する（ステップＳ１０２）。
【００２３】
次に、ＣＰＵ２０は、取得された信号機に係る位置情報に基づいて、信号検知範囲に車両が存在するか否かを判定する（ステップＳ１０３）。この判定において、信号検知範囲に車両が存在しないと判定された場合（ステップＳ１０３：Ｎｏ）、ＣＰＵ２０は、第１所定時間（例えば数十ミリ秒〜数百ミリ秒）経過後に再びステップＳ１０１の処理を行う。
【００２４】
他方、ステップＳ１０３の判定において、信号検知範囲に車両が存在すると判定された場合（ステップＳ１０３：Ｙｅｓ）、ＣＰＵ２０は、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙに夫々対応する画素各々の輝度値を取得する（ステップＳ１０４）。次に、ＣＰＵ２０は、取得された輝度値に基づいて、輝度値の比較的高い画素位置から信号機の灯色を認識する（ステップＳ１０５）。
【００２５】
次に、ＣＰＵ２０は、車両の走行が終了したか否かを判定する（ステップＳ１０６）。ＣＰＵ２０は、例えばシフトポジションが「Ｐ」になった場合や、パワースイッチがオフされた場合に、車両の走行が終了したと判定する。この判定において、走行が終了していないと判定された場合（ステップＳ１０６：Ｎｏ）、ＣＰＵ２０は、第２所定時間（例えば数十ミリ秒〜数百ミリ秒）経過後に再びステップＳ１０１の処理を行う。他方、この判定において、走行が終了したと判定された場合（ステップＳ１０６：Ｙｅｓ）、図４に示す処理は終了される。
【００２６】
尚、位置センサ３１及び記憶部３２は、当該画像認識装置１が独自に備えてなくてよく、例えば車両のナビゲーション装置等と共有されていてよい。
【００２７】
（技術的効果）
ＬＥＤ信号機をカメラで撮影すると、ＬＥＤの点滅周期に起因して信号機が消灯しているように写る場合がある（所謂フリッカ）。この現象を防止するために、カメラの露光時間を比較的長くすると、例えばＲＧＢの輝度値が飽和する色飽和が生じる可能性がある。色飽和が生じると、画像において、例えば本来赤色である部分が黄色になったり、本来黄色である部分が白になったり（所謂白とび）してしまう。このため、画像から信号機の灯色が認識される場合、色飽和に起因して信号機の灯色が誤認識される可能性がある。
【００２８】
しかるに当該画像認識装置１では、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙに夫々対応する画素各々の輝度値から信号機の灯色が認識される。つまり、当該画像認識装置１では、画像の色ではなく、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙ各々を透過した光の強度（即ち、輝度値）から信号機の灯色が認識される。
【００２９】
図２に示すように、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙ各々の配置は予め定められているので、輝度値が比較的高い画素位置が特定されれば、該特定された画素位置に対応するフィルタ領域から信号機の灯色を認識することができる。従って、当該画像認識装置１によれば、信号機の灯色の誤認識を抑制することができる。
【００３０】
＜変形例＞
上述の実施形態では、イメージセンサ１３は、カラーフィルタ１２の各フィルタ領域に対応する画素を有しているが、イメージセンサ１３の各画素に、赤フィルタ領域１２Ｒ、緑フィルタ領域１２Ｇ、青色フィルタ領域１２Ｂ、赤信号フィルタ領域１２ｓｒ、青信号フィルタ領域１２ｓｂ及び黄信号フィルタ領域１２ｓｙが配置されてよい。
【００３１】
以上に説明した実施形態及び変形例から導き出される発明の態様を以下に説明する。
【００３２】
発明の一態様に係る画像認識装置は、車両に搭載される画像認識装置であって、赤色光を透過する第１領域と、緑色光を透過する第２領域と、青色光を透過する第３領域と、信号機の複数の灯色に夫々対応する複数の波長のいずれかの波長の光を透過する第４領域と、を有するカラーフィルタを備えるイメージングデバイスと、前記車両の位置情報及び地図情報に基づいて、前記車両の進行方向前方の信号機を検知すべき範囲である信号検知範囲に前記車両が存在する場合に、前記第４領域を透過した光に係る情報に基づいて、信号機の灯色を認識する認識手段と、を備えるというものである。
【００３３】
「第１領域」は、単一の領域を意味するのではなく、赤色光を透過する一又は複数の領域の総称である。同様に、「第２領域」、「第３領域」及び「第４領域」は、夫々、「緑色光を透過する一又は複数の領域の総称」、「青色光を透過する一又は複数の領域の総称」及び「信号機の複数の灯色に夫々対応する複数の波長のいずれかの波長の光を透過する一又は複数の領域の総称」である。
【００３４】
当該画像認識装置では、イメージングデバイス本体に入射する光の波長がカラーフィルタにより領域毎に制限される。第４領域のうち、例えば青色の灯色に対応する波長の光を透過する領域は、該波長の光を透過する一方で、他の波長の光は透過させない。このため、青色の灯色に対応する波長の光を透過する領域を透過した光に係る情報は、青色の灯色に対応する波長の光の強度（例えば輝度値）を示すこととなる。
【００３５】
当該画像認識装置では、信号検知範囲に車両が存在する場合に、第４領域を透過した光に係る情報に基づいて信号機の灯色が認識される。当該画像認識装置では、撮像された画像の色から信号機の灯色は認識されないので、色飽和の影響を受けることなく信号機の灯色を認識することができる。従って、当該画像認識装置によれば、信号機の灯色の誤認識を抑制することができる。
【００３６】
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像認識装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００３７】
１…画像認識装置、１０…カメラ、１１…レンズ、１２…カラーフィルタ、１３…イメージセンサ、２０…ＣＰＵ、３１…位置センサ、３２…記憶部
【図１】
2019036090.tif 000003
【図２】
2019036090.tif 000004
【図３】
2019036090.tif 000005
【図４】
2019036090.tif 000006