(57)【要約】【課題】  画像中における信号機を高い精度で検出することができる信号機検出装置および検出方法を提供する。【解決手段】  信号機検出装置１は、カメラ２から入力されるカラー画像をカラー画像入力部１１で入力処理し、色抽出部１２で赤色、青色、黄色部分を抽出し、円形度導出部１３で各色部分の円形度を導出する。信号灯候補検出部１４では、これらの色および円形度から信号灯候補を抽出する。対応探索部１５では、前フレームと現フレームとの間で対応探索を行い、信号灯候補状態を信号灯候補状態時系列変化導出部１７に出力する。信号灯候補状態時系列変化導出部１７は、対応探索部１５から出力される現フレームの信号灯候補と、前フレームの信号灯候補とを比較し、信号灯候補状態が周期的な点滅をしているか否かを判断し、判断結果に基づいて信号機を検出する。【選択図】  図１
2005301518.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出手段と、
前記信号灯候補検出手段によって検出された信号灯候補が、所定周期で点滅しているか否かを判断する点滅判断手段と、
前記点滅判断手段によって点滅が判断されたときに、前記信号灯候補を信号機の信号灯と判断するする信号機判断手段と、
を備えることを特徴とする信号機検出装置。
【請求項２】
前記撮像手段の撮影周期は、前記信号機の点滅周期に対して非同期とされている請求項１に記載の信号機検出装置。
【請求項３】
画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出工程と、
前記信号灯候補検出工程によって検出された信号灯候補が、所定周期で点滅しているか否かを判断する点滅判断工程と、
前記点滅判断工程によって点滅が判断されたときに、前記信号灯候補を信号機の信号灯と判断するする信号機判断工程と、
を含むことを特徴とする信号機検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段で撮像された画像中における信号機、特に、所定の周期で点滅する信号灯を有する信号機を検出する信号機検出装置および検出方法に関する。
【背景技術】
【０００２】
近年、車両に搭載されたカメラによって道路状況を撮像して得られた画像に基づく車両の制御などが考えられている。その際、カメラで撮像された画像を画像処理し、画像中における信号灯の存在、また、信号灯により発せられる信号を認識することが非常に重要なことになる。
【０００３】
このような信号灯検出装置としては、従来特開２０００−３５３２９２号公報に開示された信号識別装置がある。この信号識別装置は、信号機の基本灯火を撮像し、点灯中の一の灯火以外の基本灯火の輝度値を消灯状態の輝度値とする。そして、基本灯火の現在の輝度値と消灯状態の輝度値とを比較し、基本灯火の現在の点灯状態を判別するというものである。
【特許文献１】特開２０００−３５３２９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上記特許文献１に開示された信号識別装置においては、カメラで撮像された画像内における信号機の基本灯火の点灯状態を判別するものであるが、信号機は検出されたことが前提とされている。ところが、カメラで撮像される画像には、信号灯のほか、信号灯に似た看板やネオンなどが存在することがあり、これらを誤検出してしまい、信号灯を検出する精度が低いという問題があった。
【０００５】
そこで、本発明の課題は、画像中における信号機を高い精度で検出することができる信号機検出装置および検出方法を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決した本発明に係る信号機検出装置は、画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出手段と、信号灯候補検出手段によって検出された信号灯候補が、所定周期で点滅しているか否かを判断する点滅判断手段と、点滅判断手段によって点滅が判断されたときに、前記信号灯候補を信号機の信号灯と判断する信号機判断手段と、を備えるものである。
【０００７】
また、上記課題を解決した本発明に係る信号機検出方法は、画像を撮像する撮像手段で撮像された画像内における色および形状に基づいて、信号灯候補を検出する信号灯候補検出工程と、信号灯候補検出工程によって検出された信号灯候補が、所定周期で点滅しているか否かを判断する点滅判断工程と、点滅判断工程によって点滅が判断されたときに、信号灯候補を信号機の信号灯と判断する信号機判断工程と、を含むことを特徴とするものである。
【０００８】
本発明に係る信号機検出装置および検出方法においては、点滅判断手段を用いて、所定信号灯候補が所定周期で点滅しているか否かを判断している。信号機としては、近年、信号灯として多数の発光ダイオード（Light Emitting Diode、以下「ＬＥＤ」という）を円形状に配置して形成されたＬＥＤ信号機が用いられているが、多数のＬＥＤによって形成された信号灯は、一定の周期、たとえば１００〜１２０Ｈｚの周期で点滅している。このため、信号灯候補が所定周期で点滅しているか否かを判断することにより、高い精度で信号灯を判別し、もってＬＥＤ信号機を検出することができる。
【０００９】
また、撮像手段の撮影周期は、信号機の点滅周期に対して非同期とされている態様とすることができる。
【００１０】
撮像手段の撮影周期を信号機の点滅周期に対して非同期とすることにより、撮像手段による撮像回数を多くすることなく、信号機の点灯状態および消灯状態を撮像手段によって撮像することができる。したがって、より確実に信号灯の判別および信号機の検出を行うことができる。
【発明の効果】
【００１１】
本発明に係る信号機検出装置および検出方法によれば、画像中における信号機を高い精度で検出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明の好適な実施形態について説明する。図１は本発明の実施形態に係る信号機検出装置のブロック構成図である。
【００１３】
図１に示すように、本実施形態に係る信号機検出装置１は、カラー画像入力部１１、色抽出部１２、円形度導出部１３、信号灯候補検出手段である信号灯候補抽出部１４、信号灯候補の対応探索部（以下「対応探索部」という）１５を備えている。また信号機検出装置１は、信号灯候補状態記録部１６、点滅判断手段および信号機判断手段である信号灯候補状態時系列変化導出部１７、および信号灯候補状態時系列保持部１８を備えている。
【００１４】
信号機検出装置１には、カメラ２、車速センサ３、および結果出力部４が接続されている。カメラ２は、たとえば図示しない車両に搭載されており、ＬＥＤ信号機からなる信号機Ｓを含む車両の周囲の状況を、カラー画像によって撮像することができる。カメラ２は、撮像したカラー画像を信号機検出装置１におけるカラー画像入力部１１に出力している。
【００１５】
また、車速センサ３は、たとえば車両のエンジンＥＣＵなどに設けられており、車両の速度を検出している。車速センサ３は、検出した車速を信号機検出装置１における対応探索部１５に出力している。さらに、結果出力部４は、信号機検出装置１における信号灯候補状態時系列変化導出部１７に接続されている。結果出力部４は、信号灯候補状態時系列変化導出部１７における導出結果に基づいて出力される信号機に関する信号に対応する結果を出力する。
【００１６】
信号機検出装置１におけるカラー画像入力部１１は、カメラ２に接続されており、カメラ２から出力されるカラー画像を信号機検出装置１に入力する際の入力処理を行っている。また、カラー画像入力部１１は、色抽出部１２に接続されており、入力処理したカラー画像を色抽出部１２に出力している。
【００１７】
色抽出部１２では、カラー画像入力部１１から出力されたカラー画像のうち、信号機における信号灯の色に相当する青色、黄色、赤色のいずれかである領域の形状を抽出している。そして、青色、黄色、赤色のいずれかの色となっている領域がある場合に、円形度導出部１３にその色および領域を出力する。
【００１８】
円形度導出部１３では、色抽出部１２から出力された色および形状に基づいて、青色、黄色、赤色のいずれかである領域の円形度を導出する。また、円形度導出部１３は、信号灯候補抽出部１４に接続されており、導出した円形度を信号灯候補抽出部１４に出力している。
【００１９】
信号灯候補抽出部１４では、円形度導出部１３から出力された円形度に基づいて、信号灯候補を抽出する。また、信号灯候補抽出部１４は、対応探索部１５に接続されており、抽出した信号灯候補の色および大きさを対応探索部１５に出力している。対応探索部１５には、前フレームの画像が記憶されており、信号灯候補抽出部１４から出力された現フレームの信号灯候補と、前フレームの画像中における信号灯候補との対応を探索する。
【００２０】
また、対応探索部１５には、車速センサ３が接続されており、車速センサ３で検出された車速が対応探索部１５に出力される。さらに、対応探索部１５には、信号灯候補状態記録部１６および信号灯候補状態時系列変化導出部１７が接続されている。対応探索部１５は、前フレームと現フレームとの間で対応探索された現フレームにおける信号灯候補の色、位置、および形状（以下「信号灯候補状態」という）を信号灯候補状態記録部１６および信号灯候補状態時系列変化導出部１７に出力する。
【００２１】
信号灯候補状態記録部１６では、対応探索部１５から出力された信号灯候補状態を記録する。また、信号灯候補状態記録部１６は、信号灯候補状態時系列保持部１８に接続されており、記録した信号灯候補状態を信号灯候補状態時系列保持部１８に出力している。信号灯候補状態時系列保持部１８では、信号灯候補状態記録部１６から出力された過去の信号灯候補状態を時系列で記憶している。
【００２２】
さらに、信号灯候補状態時系列保持部１８は、信号灯候補状態時系列変化導出部１７に接続されている。信号灯候補状態時系列変化導出部１７では、対応探索部１５から出力された信号灯候補状態と、信号灯候補状態時系列保持部１８から出力された前フレームの信号灯候補状態を比較する。その結果から、信号灯候補が信号灯であるか否かを判断し、ひいては信号機があるか否かの判断をする。信号灯候補状態時系列変化導出部１７には、結果出力部４が接続されている。信号灯候補状態時系列変化導出部１７は、信号灯候補が信号灯であるか否か、信号機があるか否かの判断結果を結果出力部４に出力する。
【００２３】
以上の構成を有する本実施形態に係る信号機検出装置における信号機検出方法の手順について説明する。図２は、信号機検出方法の手順を示すフローチャートである。
【００２４】
図２に示すように、本実施形態に係る信号機検出方法では、カメラ２で撮像したカラー画像を信号機検出装置１におけるカラー画像入力部１１に入力する（Ｓ１）。カメラ２によって撮像を行う際の露光時間は、たとえば５ｍｓｅｃ以下と短くする。また、撮像周期は、信号灯に用いられるＬＥＤの点滅周期である１００Ｈｚまたは１２０Ｈｚと非同期となるように、たとえば２４Ｈｚに設定する。このような撮像周期に設定することにより、図３に示すように、カメラ２による撮像回数を多くすることなく、ＬＥＤ信号機が点灯および消灯しているときに、カメラ２による撮像を行うことができる。
【００２５】
信号機検出装置１において、カラー画像を入力したら、色抽出部１２において、カラーＲＧＢ画像をＨＳＩ変換し、色相、彩度、明度の画像を作成し、信号灯の色となる青色、黄色、赤色の部分を抽出する（Ｓ２）。信号灯の色となる部分を抽出したら、円形度導出部１３において、抽出した信号灯色となる部分の円形度を算出する（Ｓ３）。各部分の円形度は、下記（１）式によって求めることができる。
【００２６】
円形度＝４π（各部分の面積）／（各部分の周囲長）２  ・・・（１）
こうして、各部分の円形度を求めたら、信号灯候補抽出部１４において、色抽出部１２で抽出された青色、黄色、赤色の部分であって、円形度が高い部分、換言すれば円形に近い部分を信号灯候補として抽出する（Ｓ４）。
【００２７】
たとえば、カメラ２で撮像された画像が、図４（ａ）に示すような画像であった場合、画像Ｇのうち、信号機Ｓにおける赤色信号灯ＳＲが点灯しており、この赤色信号灯ＳＲの部分が信号灯候補として抽出される。また、その他の背景にある旗Ｆ中の黄色い丸の部分ＦＹおよび青い円形の看板ＢＢも信号灯候補として抽出される。このように、画像Ｇからは、複数の信号灯候補が抽出される。一方、赤色であるが、形状が円形ではない目印ＮＲは、信号灯候補としては抽出されない。
【００２８】
このようにして、複数の信号灯候補を抽出したら、対応探索部１５において、記憶されている前フレームの画像の信号灯候補との間で対応探索を行う（Ｓ５）。対応探索は、現フレームにおける信号灯候補と、前フレームにおける信号灯候補と対応するペアを探索することによって行われる。
【００２９】
また、対応探索部１５には、車速センサ３で検出された車速が出力されている。車速が０でなく、カメラ２を搭載する車両が移動していると、カメラ２で撮像される景色も移動する。この点を考慮し、対応探索部１５において対応探索をする際には、車速センサ３から出力された車速に基づく移動量を参照して行われる。
【００３０】
こうして、対応探索部１５において、現フレームと前フレームとのそれぞれにおける信号灯候補の対応探索を行ったら、現フレームの信号灯候補状態を信号灯候補状態記録部１６および信号灯候補状態時系列変化導出部１７に出力する。信号灯候補状態記録部１６においては、出力された現フレームの信号灯候補状態を記録する（Ｓ６）。
【００３１】
一方、信号灯候補状態時系列変化導出部１７には、信号灯候補状態時系列保持部１８から過去の信号灯候補状態が出力されている。そして、信号灯候補状態時系列変化導出部１７では、各信号灯候補の時系列の輝度変化を確認し（Ｓ７）、周期的に点滅しているか否かを判断する（Ｓ８）。
【００３２】
信号灯がＬＥＤで形成されている信号機では、信号灯は周波数が１００または１２０Ｈｚの周期で点滅を繰り返している。このため、図４（ａ）に示すように、信号機Ｓとして、信号灯がＬＥＤからなるＬＥＤ信号機が用いられている場合、信号機Ｓにおける赤色信号灯ＳＲは、図４（ｂ）に示すように一端消灯し、その後、図４（ｃ）に示すように、再点灯する。また、図４（ａ）に示す信号灯候補のうち、旗Ｆ中の黄色い丸の部分ＦＹおよび青い円形の看板ＢＢは点灯していない。したがって、高い精度で信号機を検出することができる。
【００３３】
こうして、信号灯候補の点滅を判断し（Ｓ８）、周期的に点滅していると判断したときには、信号灯候補を信号機の信号灯と判断し、赤色信号灯が点灯しているなどの信号機状態を結果出力部４に出力する（Ｓ９）。その後、信号灯候補を全て調べたか否かを判断する（Ｓ１０）。また、ステップＳ８で信号灯候補の点滅がないと判断した場合には、信号灯候補を全て調べたか否かを判断する（Ｓ１０）。
【００３４】
そして、全ての信号灯候補を調べていない場合には、ステップＳ７に戻って、調べ終わっていない信号灯候補についての周期的な点滅を判断する。一方、すべての信号灯候補について調べ終わっている場合には、そのまま制御を終了する。
【００３５】
このように、本実施形態に係る信号機検出装置においては、信号灯候補を抽出した後、各信号灯候補について、点滅が行われているか否かを判断することによって、信号灯候補が信号灯である信号機を検出するようにしている。このため、所定周期で点滅を繰り返すＬＥＤ信号機を、高い精度で検出することができる。
【図面の簡単な説明】
【００３６】
【図１】信号機検出装置のブロック構成図である。
【図２】信号機検出方法の手順を示すフローチャートである。
【図３】信号機の点滅周期とカメラの撮像周期との関係を示すグラフである。
【図４】（ａ）は、赤色信号灯が点灯した状態をカメラで撮像した画面を示す模式図、（ｂ）は、赤色信号灯が消灯した状態をカメラで撮像した画面を示す模式図、（ｃ）は、赤色信号灯が再び点灯した状他をカメラで撮像した画面を示す模式図である。
【符号の説明】
【００３７】
１…信号機検出装置、２…カメラ、３…車速センサ、４…結果出力部、１１…カラー画像入力部、１２…色抽出部、１３…円形度導出部、１４…信号灯候補抽出部、１５…対応探索部、１６…信号灯候補状態記録部、１７…信号灯候補状態時系列変化導出部、１８…信号灯候補状態時系列保持部、Ｇ…画像、Ｓ…信号機。
【図１】
2005301518.tif 000003
【図２】
2005301518.tif 000004
【図３】
2005301518.tif 000005
【図４】
2005301518.tif 000006