(57)【特許請求の範囲】
【請求項１】
移動体に搭載され、カメラと電磁的に接続した信号認識装置であって、
前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、
赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、
前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段と、を備え、
前記信号表示候補検出手段は、前記画像から赤灯火候補領域をさらに検出し、
前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする信号認識装置。
【請求項２】
前記単位領域値は、前記単位領域に属する各画素の輝度に基づき算出された値であることを特徴とする請求項１に記載の信号認識装置。
【請求項３】
前記統計量は、移動平均であることを特徴とする請求項１または２に記載の信号認識装置。
【請求項４】
前記リファレンス算出手段は、前記閾値を、前記移動体の走行状態又は／及び前記画像
中の信号灯部分の色相に基づき変化させることを特徴とする請求項１乃至３のいずれか一項に記載の信号認識装置。
【請求項５】
前記閾値は、前記移動体の速度が大きいほど高い値に設定されることを特徴とする請求
項４に記載の信号認識装置。
【請求項６】
前記リファレンス算出手段は、前記赤灯火が点灯から消灯へ変化したと判断する直前に
取得された所定個数の前記画像を除外して前記統計量を算出し、
前記青点灯判定手段は、当該統計量に基づき青灯火が点灯した否か判定することを特徴
とする請求項１乃至５のいずれか一項に記載の信号認識装置。
【請求項７】
移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識方法であって、
前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出工程と、
赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出工程と、
前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定工程と、を備え、
前記信号表示候補検出工程は、前記画像から赤灯火候補領域をさらに検出し、
前記リファレンス算出工程は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする信号認識方法。
【請求項８】
移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識プログラムであって、
前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、
赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、
前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段
として前記信号認識装置を機能させ、
前記信号表示候補検出手段は、前記画像から赤灯火候補領域をさらに検出し、
前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする信号認識プログラム。
【請求項９】
請求項８に記載のプログラムを記憶したことを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機の表示を認識する信号認識技術に関する。
【背景技術】
【０００２】
従来から、信号機の灯火の時系列的な色変化を利用して信号機を認識する技術が提案されている。例えば、特許文献１には、点灯中と判別された以外の信号灯火を消灯状態とみなすと共に、消灯状態の輝度と現在の輝度とを比較して灯火の点灯状態を判定する技術が開示されている。また、特許文献２には、色及び円形度に基づき信号灯候補を抽出する技術が開示されている。さらに、特許文献２には、青灯火の点灯を検出する場合に、前フレームと現フレームとを比較し、赤灯火の候補領域が消えて、赤灯火の候補領域が生じる変化があった否かを判定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−３５３２９２号公報
【特許文献２】特開２００５−３０１５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述のように、前フレームと現フレームとを比較し、赤灯火の候補領域が消えて、赤灯火の候補領域が生じる変化を検出することで、青灯火の点灯を検出することが可能である。しかしながら、カメラの露光時間等に起因して、画像中に赤灯火と青灯火とが同時に点灯（以後、「赤青同時点灯」と呼ぶ。）をした状態が表示された場合、前フレームと現フレーム間での青灯火の候補領域の輝度の差が小さくなるという問題が生じる。従って、この場合、信号認識装置は、正しく青灯火の点灯を認識することができない。また、トラック等の高さがある車両により信号機が一時的に遮蔽された場合も、上述の赤青同時点灯と同様の問題が生じる。特許文献１及び特許文献２には、上記の問題は、何ら開示されていない。【０００５】
本発明は、上記のような課題を解決するためになされたものであり、赤青同時点灯や遮蔽が生じた場合であっても、正確に信号機の表示を認識することが可能な信号認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、移動体に搭載され、カメラと電磁的に接続した信号認識装置であって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段と、を備え、前記信号表示候補検出手段は、前記画像から赤灯火候補領域をさらに検出し、前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする。
【０００７】
請求項７に記載の発明は、移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識方法であって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出工程と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出工程と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定工程と、を備え、前記信号表示候補検出工程は、前記画像から赤灯火候補領域をさらに検出し、前記リファレンス算出工程は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする。
【０００８】
請求項８に記載の発明は、移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識プログラムであって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段として前記信号認識装置を機能させ、前記信号表示候補検出手段は、前記画像から赤灯火候補領域をさらに検出し、前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した青灯火の消灯時の画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が前記赤灯火候補領域の単位領域値に基づき設定された閾値より大きいものを、前記統計量の計算対象から除外することを特徴とする。
【図面の簡単な説明】
【０００９】
【図１】信号認識装置の概略構成の一例を示す図である。
【図２】信号認識装置の機能ブロックの一例を示す図である。
【図３】信号機を含むイメージ画像及び拡大された青灯火候補領域Ｌｂを示す図である。
【図４】遮蔽が生じた場合のイメージ画像及びリファレンス算出部２０２が実行する処理の概要を示す図である。
【図５】青点灯判定部２０３が実行する処理の概要を示す図である。
【図６】本実施例の処理手順を示すフローチャートの一例である。
【図７】比較例に係る青点灯判定部２０３が実行する処理の概要を示す図である。
【発明を実施するための形態】
【００１０】
本発明の１つの観点では、移動体に搭載され、カメラと電磁的に接続した信号認識装置であって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段と、を備え、前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が所定の閾値より大きいものを、前記統計量の計算対象から除外する。
【００１１】
上記の信号認識装置は、車両などの移動体に搭載され、カメラと有線又は無線により電磁的に接続し、記憶部と、信号表示候補検出手段と、リファレンス算出手段と、青点灯判定手段と、を備える。信号表示候補検出手段は、カメラから取得された画像であるカメラ取得画像から、信号機の青灯火候補領域を検出する。「青灯火候補領域」とは、カメラ取得画像のうち、信号認識装置が青灯火を表示する部分として取り扱う領域を指す。リファレンス算出手段は、各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させる。ここで、「単位領域」とは、互いに隣接した所定個数の画素であって、所定の規則に基づき区画された領域を指す。即ち、単位領域は、互いに隣接した所定個数の画素を含む領域であり、１画素分であってもよく、青灯火候補領域に相当する領域であってもよい。また、「単位領域値」とは、単位領域に属する各画素の画素値の平均値、代表値その他統計処理に基づき得られた値を指す。なお、「画素値」とは、輝度、彩度、色相など、各画素が有する情報を表す指標値の総称とする。また、「統計量」とは、統計処理に基づき得られた値を指し、統計処理とは例えば移動平均などの平均化処理が該当する。このとき、リファレンス算出手段は、青灯火候補領域の各単位領域値のうち、当該単位領域値と、記憶部に記憶された統計量又は過去に取得した画像（「過去取得画像」と呼ぶ。）の青灯火候補領域に該当する各単位領域の単位領域値との差分を算出する。そして、リファレンス算出手段は、当該差分が所定の閾値より大きいものを、統計量の計算対象から除外する。即ち、リファレンス算出手段は、青灯火候補領域の各単位領域のうち、上述の差分が上記閾値以下の単位領域について、その単位領域値を用いて統計量を更新すると共に、上述の差分が上記閾値より大きい単位領域について、統計量を更新せずに引き継ぐ。ここで、「過去取得画像」とは、直前に取得した画像であってもよく、所定時間幅前に取得した画像であってもよい。また、青点灯判定手段は、赤灯火が点灯から消灯へ変化したと判断した場合、赤灯火の消灯時の青灯火候補領域の画像と記憶部に記憶された統計量とに基づき青灯火が点灯した否か判定する。このようにすることで、信号認識装置は、赤青同時点灯や遮蔽が生じた場合であっても、青点灯を的確に認識することができる。
【００１２】
上記の信号認識装置の一態様では、前記統計量は、移動平均である。
【００１３】
上記の信号認識装置の他の一態様では、前記リファレンス算出手段は、前記閾値を、前記移動体の状態又は／及び前記画像に基づき変化させる。ここで、「移動体の状態に基づき変化させる」とは、例えば移動体の速度、加速度等に基づき閾値を動的に変化させる場合を指す。また、「画像に基づき変化させる」とは、例えば、取得した画像中の赤又は黄の信号灯部分の画素値又は単位領域値に基づき閾値を動的に設定する場合を指す。このようにすることで、信号認識装置は、上述の閾値を移動体の状態等に応じて柔軟に設定することができる。
【００１４】
上記の信号認識装置の他の一態様では、信号表示候補検出手段は、前記画像から赤灯火候補領域をさらに検出し、前記単位領域値は、前記単位領域に属する各画素の輝度に基づき算出された値であり、前記閾値は、前記赤灯火候補領域の輝度に基づき設定される。一般に、赤灯火と青灯火の点灯時の輝度はほぼ一致し、赤灯火と青灯火の消灯時の輝度もほぼ一致する。従って、信号認識装置は、赤灯火候補領域の輝度に基づき閾値を設定することで、赤青同時点灯が生じた場合であっても、青点灯時の青灯火候補領域の単位領域値が統計量の計算に含まれるのを防ぐことができる。
【００１５】
上記の信号認識装置の他の一態様では、前記閾値は、前記赤灯火の点灯時における前記赤灯火候補領域の輝度の１／２に設定される。ここで、「赤灯火候補領域の輝度」とは、赤灯火候補領域に属する画素の輝度の平均値その他代表値等を指す。この態様では、信号認識装置は、赤灯火の消灯時の輝度を０とみなし、上記閾値を赤灯火の点灯時における赤灯火候補領域の輝度の１／２に設定する。このように、信号認識装置は、赤灯火候補領域の輝度に基づき上記閾値を設定することで、赤青同時点灯が生じた場合であっても、青点灯時の青灯火候補領域の単位領域値が統計量の計算に含まれるのを防ぐことができる。
【００１６】
上記の信号認識装置の他の一態様では、前記閾値は、前記移動体の速度が大きいほど高い値に設定される。この態様では、信号認識装置は、移動体の速度が大きい場合には、カメラ取得画像内の変化が激しくなること等を勘案し、閾値を緩める方向に変更する。このように、信号認識装置は、上述の閾値を移動体の速度に応じて柔軟に設定することができる。
【００１７】
上記の信号認識装置の他の一態様では、前記リファレンス算出手段は、前記赤灯火が点灯から消灯へ変化したと判断する直前に取得された所定個数の前記画像を除外して前記統計量を算出し、前記青点灯判定手段は、当該統計量に基づき青灯火が点灯した否か判定する。この態様では、信号認識装置は、赤灯火が点灯から消灯へ変化したと判断する直前に取得された所定個数の画像は、赤青同時点灯を含む蓋然性が高いと判断し、統計量の算出に用いない。このようにすることで、信号認識装置は、赤青同時点灯が画像に表示された場合であっても、青消灯時の青灯火候補領域の統計量を適切に算出することができる。
【００１８】
本発明の他の観点では、移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識方法であって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出工程と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出工程と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定工程と、を備え、前記リファレンス算出工程は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が所定の閾値より大きいものを、前記統計量の計算対象から除外する。信号認識装置は、この方法を使用することで、赤青同時点灯や遮蔽が生じた場合であっても、青点灯を的確に認識することができる。
【００１９】
本発明のさらに別の観点では、移動体に搭載され、カメラと電磁的に接続した信号認識装置により実行される信号認識プログラムであって、前記カメラから取得された画像から、青灯火候補領域を検出する信号表示候補検出手段と、赤灯火の点灯中に、前記青灯火候補領域に該当する各単位領域の単位領域値の時系列の統計量を算出し、当該統計量を記憶部に記憶させるリファレンス算出手段と、前記赤灯火が点灯から消灯へ変化したと判断した場合、前記赤灯火の消灯時の青灯火候補領域の画像と、前記統計量とに基づき、青灯火が点灯したか否か判定する青点灯判定手段と、を備え、前記リファレンス算出手段は、前記青灯火候補領域に該当する各単位領域の単位領域値のうち、当該単位領域値と、前記統計量又は過去に取得した画像の青灯火候補領域に該当する各単位領域の単位領域値のうちいずれか一方と、の差分が所定の閾値より大きいものを、前記統計量の計算対象から除外する。信号認識装置は、このプログラムを搭載し実行することで、赤青同時点灯や遮蔽が生じた場合であっても、青点灯を的確に認識することができる。なお、好適な例では、上記プログラムは、記憶媒体に記録される。
【実施例】
【００２０】
以下、図面を参照して本発明の好適な実施例について説明する。以後では、「画素値」とは、輝度、彩度、色相など、各画素が有する情報を表す指標値の総称を指す。また、「赤灯火部」とは、信号機の赤灯火部分を指し、「青灯火部」とは、信号機の青灯火部分を指すものとする。【００２１】
［概略構成］
まず、本実施例に係る信号認識装置１００の構成について説明する。図１は、信号認識装置１００の概略構成の一例である。信号認識装置１００は、車両に搭載され、カメラ１１、システムコントローラ２０、データ記憶ユニット３６、及び出力装置５０を備える。【００２２】
カメラ１１は、一定の画角を有し、画角内の被写体を撮影する光学機械である。本実施例では、カメラ１１は、信号認識装置１００が搭載される車両（以後、「搭載車両」と呼ぶ。）の前方に向けられ、信号機を撮像可能な位置に載置される。車速センサ１２は、搭載車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。【００２３】
システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２４を含んでおり、信号認識装置１００全体の制御を行う。システムコントローラ２０は、本発明における信号表示候補検出手段、リファレンス算出手段、及び青点灯判定手段に相当する。【００２４】
インタフェース２１は、カメラ１１とシステムコントローラ２０とのインタフェース動作を行う。そして、インタフェース２１は、カメラ１１から所定間隔ごとに画像（以後、「画像Ｆ」と呼ぶ。）の供給を受け、画像Ｆをシステムコントローラ２０に入力する。また、インタフェース２１は、車速センサ１２から車速パルスの供給を受け、当該車速パルスをシステムコントローラ２０に入力する。【００２５】
ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＣＰＵ２２は、予め用意されたプログラムを実行することにより、後述する信号認識処理を実行する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。【００２６】
システムコントローラ２０、データ記憶ユニット３６、出力装置５０は、バスライン３０を介して相互に接続されている。【００２７】
データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、各種データを記憶するユニットである。出力装置５０は、例えばディスプレイ、音声出力装置であり、システムコントローラ２０が認識した信号認識結果を出力する。【００２８】
［制御方法］
次に、システムコントローラ２０が実行する処理について説明する。概略的には、システムコントローラ２０は、赤灯火部の点灯（以後、単に「赤点灯」と呼ぶ。）中に、画像Ｆから青灯火部の候補領域（以後、「青灯火候補領域Ｌｂ」と呼ぶ。）を抽出し、所定の条件を満たした画素値のみをサンプルとした移動平均を画素ごとに算出する。そして、システムコントローラ２０は、赤灯火部の消灯（以後、単に「赤消灯」と呼ぶ。）を検知した場合、上述の移動平均と赤灯火部消灯後の青灯火候補領域Ｌｂとに基づき青灯火部が点灯したか否か判定する。このようにすることで、システムコントローラ２０は、信号機が一時的に遮蔽された場合や、露光時間等に起因して赤青同時点灯が画像Ｆ中に表示された場合であっても、的確に青灯火部の点灯を認識する。【００２９】
これについて図２を用いて具体的に説明する。図２は、本実施例に係る信号認識装置１００の機能ブロックの一例である。図２に示すように、システムコントローラ２０は、信号表示候補検出部２０１と、リファレンス算出部２０２と、青点灯判定部２０３と、を備える。【００３０】
まず、信号表示候補検出部２０１が実行する処理について説明する。信号表示候補検出部２０１は、画像Ｆから赤灯火候補領域Ｌｒ、及び青灯火候補領域Ｌｂをそれぞれ特定する。これについて図３を用いて具体的に説明する。【００３１】
図３（ａ）は、信号機４０を示す。信号機４０は、左から青灯火部４１Ｂと、黄表示部４１Ｙと、赤灯火部４１Ｒと、を備える。また、図中の「Ｏ」は、赤灯火部４１Ｒの中心を指し、「Ｒ」は、赤灯火部４１Ｒの半径を示す。【００３２】
まず、信号表示候補検出部２０１は、画像Ｆから赤灯火候補領域Ｌｒを特定する。例えば、信号表示候補検出部２０１は、搭載車両の車速が０の場合に、画像Ｆの各画素の色相、彩度、輝度を算出する。そして、信号表示候補検出部２０１は、赤灯火部４１Ｒの点灯時の色相、彩度、輝度の取り得る値の範囲に属する画素を抽出する。なお、信号表示候補検出部２０１は、赤灯火部４１Ｒの点灯時の色相、彩度、輝度の取り得る値の範囲をデータ記憶ユニット３６等のメモリに予め記憶してある。また、信号表示候補検出部２０１は、抽出した画素からなる領域の円形度を算出し、円形度が高い領域を、赤灯火候補領域Ｌｒとして特定する。上述の円形度の算出方法等は、例えば特開２００５−３０１５１９に詳細な説明が記載されている。【００３３】
次に、信号表示候補検出部２０１は、赤灯火候補領域Ｌｒの位置及び大きさに基づき青灯火候補領域Ｌｂを特定する。これについて、具体例を説明する。信号表示候補検出部２０１は、赤灯火候補領域Ｌｒに基づき、図３（ａ）に示す赤灯火部４１Ｒの中心Ｏの位置及び半径Ｒを特定する。そして、信号表示候補検出部２０１は、中心Ｏの位置及び半径Ｒの大きさに基づき青灯火候補領域Ｌｂを区画する。具体的には、信号表示候補検出部２０１は、後述する図３（ｂ）にも示すように、例えば、「Ａ」、「Ｂ」をそれぞれ所定の値とすると、画像Ｆ上において、中心Ｏから上下方向にそれぞれ「Ｒ×Ａ」だけ離れた位置を通る横線を青灯火候補領域Ｌｂの上境界線「Ｌｂｕ」及び下境界線「Ｌｂｄ」とする。また、信号表示候補検出部２０１は、中心Ｏを通過する縦線を青灯火候補領域Ｌｂの右境界線「Ｌｂｒ」とし、左方向に中心Ｏから「Ｒ×Ｂ」だけ離れた位置を通過する縦線を左境界線「Ｌｂｌ」とする。【００３４】
図３（ｂ）は、信号機４０を含むイメージ画像及び当該イメージ画像中の青灯火候補領域Ｌｂの拡大図を示す。図３（ｂ）に示すように、青灯火候補領域Ｌｂは、青灯火部４１Ｂを含む領域に区画される。このように、信号表示候補検出部２０１は、実験等に基づき定めた数Ａ、Ｂをメモリ等に保持しておき、これに基づき青灯火部４１Ｂを含んだ青灯火候補領域Ｌｂを定める。そして、信号表示候補検出部２０１は、青灯火候補領域Ｌｂの各画素値（以後、「青候補領域画素値Ｐｂ」と呼ぶ。）を、リファレンス算出部２０２に供給する。【００３５】
なお、以後では、一例として、信号表示候補検出部２０１は、搭載車両が停車中に赤灯火候補領域Ｌｒ及び青灯火候補領域Ｌｂを特定するものとする。また、信号表示候補検出部２０１は、搭載車両が停止中の間、各画像Ｆ中に占める赤灯火候補領域Ｌｒ及び青灯火候補領域Ｌｂの位置、大きさ、範囲を固定するものとし、システムコントローラ２０は、搭載車両が走行中では信号認識処理を停止するものとする。【００３６】
また、信号表示候補検出部２０１は、赤灯火候補領域Ｌｒに基づき、赤消灯を検知する。例えば、信号表示候補検出部２０１は、赤灯火候補領域Ｌｒが検出できなくなった場合、又は、赤灯火候補領域Ｌｒの各画素の輝度が、予め定めた所定値以上変化した場合、赤灯火部４１Ｒが消灯したと判断する。そして、この場合、信号表示候補検出部２０１は、赤灯火部４１Ｒが消灯後の青候補領域画素値Ｐｂを、青点灯判定部２０３へ供給する。【００３７】
次に、リファレンス算出部２０２が実行する処理について説明する。リファレンス算出部２０２は、赤点灯している間、青灯火候補領域Ｌｂの各画素値の移動平均を計算する。具体的には、リファレンス算出部２０２は、赤消灯を検知するまで、青候補領域画素値Ｐｂが供給されるごとに、青候補領域画素値Ｐｂの移動平均（以後、「移動平均Ｐｂｒｅｆ」と呼ぶ。）を画素ごとに算出し、ＲＯＭ２３又はデータ記憶ユニット３６（単に「メモリ」と呼ぶ。）に記憶する。ここで、移動平均Ｐｂｒｅｆの算出に用いるサンプル数は、例えば外乱等を十分勘案した値に予め設定される。例えば、このサンプル数は、赤点灯中にリファレンス算出部２０２が取得した青候補領域画素値Ｐｂを全て含むように設定されてもよい。このように、リファレンス算出部２０２は、消灯時の青灯火部４１Ｂのテンプレートとして外乱等の影響を受けにくい移動平均Ｐｂｒｅｆを算出する。これにより、青点灯判定部２０３の信号認識精度を向上させることができる。【００３８】
また、リファレンス算出部２０２は、画像Ｆがカメラ１１から供給されるごとに、当該画像Ｆの青候補領域画素値Ｐｂと、メモリに保持された移動平均Ｐｂｒｅｆとの差分（以後、「第１差分Ｄｉｆ１」と呼ぶ。）を、対応する画素ごとに算出する。そして、リファレンス算出部２０２は、第１差分Ｄｉｆ１が所定の閾値（以後、「閾値Ｔ１」と呼ぶ。）より大きい画素の青候補領域画素値Ｐｂを、上述の移動平均Ｐｂｒｅｆの計算対象から除外する。即ち、この場合、リファレンス算出部２０２は、当該画素について移動平均Ｐｂｒｅｆを再計算せず、第１差分Ｄｉｆ１の計算に使用した移動平均Ｐｂｒｅｆを引き続きメモリに保持する。閾値Ｔ１は、実験等に基づき遮蔽及び赤青同時点灯の影響を排除可能な値に設定される。このようにすることで、リファレンス算出部２０２は、後述する遮蔽及び赤青同時点灯が生じた場合であっても、ロバストに移動平均Ｐｂｒｅｆを算出することができる。【００３９】
これについて、図４を用いて補足説明する。図４（ａ）は、遮蔽が生じた場合の画像Ｆを表示した図及びこれに対応する青灯火候補領域Ｌｂの拡大図を示す。図４（ａ）では、信号機４０の一部が車両５０により遮蔽されている。これにより、青灯火候補領域Ｌｂには、車両５０の一部が表示されている。この場合であっても、リファレンス算出部２０２は、閾値Ｔ１を設定することで、車両５０による遮蔽の影響を排除して移動平均Ｐｂｒｅｆを算出することができる。これについて、図４（ｂ）を用いて説明する。【００４０】
図４（ｂ）は、本実施例でリファレンス算出部２０２が実行する処理を模式的に示した図である。図４（ｂ）に示すように、リファレンス算出部２０２は、カメラ１１から供給された画像Ｆであって、遮蔽発生時の青灯火候補領域Ｌｂを示す画像である「遮蔽発生時の画像」と、移動平均Ｐｂｒｅｆに基づくイメージ画像である「更新前の移動平均Ｐｂｒｅｆの画像」との画素値を、画素ごとに比較する。そして、リファレンス算出部２０２は、第１差分Ｄｉｆ１が閾値Ｔ１以下の画素、即ち車両５０による遮蔽が発生していない画素を対象に、当該画素値を用いて移動平均Ｐｂｒｅｆを再計算する。一方、リファレンス算出部２０２は、第１差分Ｄｉｆ１が閾値Ｔ１より大きい画素、即ち車両５０による遮蔽が発生している画素では、移動平均Ｐｂｒｅｆを算出せず、更新前の移動平均Ｐｂｒｅｆを引き継ぐ。この処理により更新された移動平均Ｐｂｒｅｆに基づくイメージ画像が、図４（ｂ）の「更新後の移動平均Ｐｂｒｅｆの画像」である。このように、リファレンス算出部２０２は、車両５０による遮蔽が発生した場合であっても、この影響を排除して移動平均Ｐｂｒｅｆを算出することができる。【００４１】
次に、再び図２に戻り、青点灯判定部２０３が実行する処理について説明する。青点灯判定部２０３は、信号表示候補検出部２０１が赤消灯を検出した場合、赤消灯時又はその直後に取得された画像Ｆに係る青候補領域画素値Ｐｂと、メモリに記憶された移動平均Ｐｂｒｅｆと、に基づき青灯火部４１Ｂが点灯したか否か判定する。【００４２】
これについて、図５を用いて説明する。図５は、青点灯判定部２０３が実行する処理を模式的に示した図である。まず、青点灯判定部２０３は、図５に示すように、メモリに記憶された移動平均Ｐｂｒｅｆと、赤消灯時に取得された画像Ｆに係る青候補領域画素値Ｐｂとの差分（以後、「第２差分Ｄｉｆ２」と呼ぶ。）を算出する。そして、青点灯判定部２０３は、第２差分Ｄｉｆ２が所定の閾値（以後、「閾値Ｔ２」と呼ぶ。）より大きい画素を、赤消灯時の画像Ｆから抽出する。閾値Ｔ２は、例えば、青灯火部４１Ｂの点灯時の画素値の推定値と、青灯火部４１Ｂの消灯時の画素値の推定値と、の差分の１／２に定められ、メモリに記憶される。【００４３】
そして、青点灯判定部２０３は、形状、及び、色相、輝度などの１又は複数の画素値に基づき、抽出した画素から構成される領域（抽出領域）が、点灯時の青灯火部４１Ｂを表すか否か判定する。これについて具体例を用いて説明する。例えば、青点灯判定部２０３は、抽出領域の各画素が、青灯火部４１Ｂの点灯時の色相、彩度、輝度の取り得る値の範囲に属するか判定する。なお、青点灯判定部２０３は、青灯火部４１Ｂの点灯時の色相、彩度、輝度の取り得る値の範囲を予めメモリに記憶してある。また、青点灯判定部２０３は、抽出領域の円形度を算出し、抽出領域が青灯火部４１Ｂを表すか否か判断する。円形度の算出方法等については、例えば特開２００５−３０１５１９に詳細な説明が記載されているため、ここでは詳細な説明を省略する。【００４４】
［処理フロー］
次に、本実施例における処理の手順について説明する。図６は、本実施例においてシステムコントローラ２０が実行する処理手順を表すフローチャートの一例である。システムコントローラ２０は、図６に示すフローチャートの処理を、カメラ１１から画像Ｆを取得するごとに繰り返し実行する。【００４５】
まず、システムコントローラ２０は、画像Ｆから赤灯火候補領域Ｌｒを検出する（ステップＳ１０１）。そして、システムコントローラ２０は、赤灯火候補領域Ｌｒが検出されない場合、引き続き赤灯火候補領域Ｌｒの検出を実行する。【００４６】
次に、システムコントローラ２０は、赤灯火部４１Ｒが赤点灯から赤消灯へ変化したか否か判定する（ステップＳ１０２）。そして、赤灯火部４１Ｒが赤点灯から赤消灯へ変化した場合（ステップＳ１０２；Ｙｅｓ）、システムコントローラ２０は、ステップＳ１０８乃至Ｓ１１０の処理を実行する。これについては、後述する。【００４７】
一方、赤灯火部４１Ｒが赤点灯から赤消灯へ変化しない場合（ステップＳ１０２；Ｎｏ）、システムコントローラ２０は、次に、赤灯火候補領域Ｌｒを新たに検出したか否か判定する（ステップＳ１０３）。即ち、システムコントローラ２０は、まだ、赤灯火候補領域Ｌｒに対応する青灯火候補領域Ｌｂを特定していないか否か判定する。そして、システムコントローラ２０は、赤灯火候補領域Ｌｒを新たに検出した場合（ステップＳ１０３；Ｙｅｓ）、赤灯火候補領域Ｌｒに基づき青灯火候補領域Ｌｂを決定する（ステップＳ１０４）。具体的には、図３（ａ）の説明で例示したように、システムコントローラ２０は、中心Ｏ及び半径Ｒを特定し、これに基づき青灯火候補領域Ｌｂを特定する。そして、システムコントローラ２０は、青候補領域画素値Ｐｂをメモリに保存する（ステップＳ１０５）。そして、システムコントローラ２０は、次に画像Ｆを取得してフローチャートの処理を実行する場合、当該青候補領域画素値Ｐｂを最初の移動平均Ｐｂｒｅｆとして使用する。【００４８】
一方、システムコントローラ２０は、赤灯火候補領域Ｌｒを新たに検出しない場合（ステップＳ１０３；Ｎｏ）、即ち、赤灯火候補領域Ｌｒを既に検出済みであった場合、移動平均Ｐｂｒｅｆに基づき、第１差分Ｄｉｆ１を、青灯火候補領域Ｌｂの画素ごとに算出する（ステップＳ１０６）。具体的には、システムコントローラ２０は、青灯火候補領域Ｌｂの画素ごとに、メモリに記憶された移動平均Ｐｂｒｅｆと、本フローチャート開始時に取得した画像Ｆの青候補領域画素値Ｐｂとの差分を、第１差分Ｄｉｆ１として算出する。【００４９】
次に、システムコントローラ２０は、第１差分Ｄｉｆ１が閾値Ｔ１以下の画素を対象に、移動平均Ｐｂｒｅｆを更新すると共に、第１差分Ｄｉｆ１が閾値Ｔ１より大きい画素については、過去の移動平均Ｐｂｒｅｆを引き継ぐ（ステップＳ１０７）。言い換えると、システムコントローラ２０は、第１差分Ｄｉｆ１が閾値Ｔ１以下の画素については、本フローチャート開始時に取得した画像Ｆの青候補領域画素値Ｐｂを加えて移動平均Ｐｂｒｅｆを再計算する。一方、第１差分Ｄｉｆ１が閾値Ｔ１以下の画素については、当該青候補領域画素値Ｐｂを移動平均Ｐｂｒｅｆの算出に用いない。これにより、システムコントローラ２０は、信号機４０が遮蔽された場合や画像Ｆが赤青同時点灯表示された場合であっても、これらの影響を除外して移動平均Ｐｂｒｅｆを算出することができる。【００５０】
一方、ステップＳ１０２で、システムコントローラ２０は、信号機４０が赤点灯から赤消灯へ変化したと判断した場合（ステップＳ１０２；Ｙｅｓ）、移動平均Ｐｂｒｅｆに基づき、第２差分Ｄｉｆ２を、青灯火候補領域Ｌｂの画素ごとに算出する（ステップＳ１０８）。具体的には、システムコントローラ２０は、メモリに記憶された移動平均Ｐｂｒｅｆと、本フローチャート開始時に取得した画像Ｆの青候補領域画素値Ｐｂとの差分を、第２差分Ｄｉｆ２として算出する。【００５１】
次に、システムコントローラ２０は、第２差分Ｄｉｆ２が閾値Ｔ２より大きい画素を特定する（ステップＳ１０９）。そして、システムコントローラ２０は、これに基づき青点灯の判定を行う（ステップＳ１１０）。具体的には、システムコントローラ２０は、抽出した画素の形状、及び、色相、輝度などの１又は複数の画素値に基づき、青灯火部４１Ｂが点灯しているか否か判定する。【００５２】
以上説明したように、本実施例による信号認識装置は、車両に搭載され、カメラと、記憶部と、信号表示候補検出手段と、リファレンス算出手段と、青点灯判定手段と、を備える。信号表示候補検出手段は、カメラから取得された画像（カメラ取得画像）から、信号機の赤灯火候補領域及び青灯火候補領域を検出する。リファレンス算出手段は、青灯火候補領域に該当する各画素の画素値の移動平均を画素ごとに算出し、当該移動平均を記憶部に記憶させる。このとき、リファレンス算出手段は、青灯火候補領域の各画素値のうち、当該画素値と記憶部に記憶された移動平均との差分が所定の閾値より大きいものを、移動平均の計算対象から除外する。即ち、リファレンス算出手段は、青灯火候補領域の各画素のうち、上述の差分が上記閾値以下の画素について、その画素値を用いて移動平均を更新すると共に、上述の差分が上記閾値より大きい画素について、移動平均を更新せずに引き継ぐ。また、青点灯判定手段は、赤灯火が点灯から消灯へ変化したと判断した場合、赤灯火の消灯時の画像と記憶部に記憶された移動平均とに基づき青灯火が点灯した否か判定する。このようにすることで、信号認識装置は、赤青同時点灯や遮蔽が生じた場合であっても、青点灯を的確に認識することができる。【００５３】
［変形例］
次に、本実施例の変形例について説明する。以後の各変形例は、任意に組み合わせて上述の実施例に適用することができる。【００５４】
（変形例１）
図１の説明では、信号認識装置１００は、カメラ１１を備えていた。しかし、本発明が適用可能な構成は、これに限定されない。これに代えて、信号認識装置１００とカメラ１１とが別の装置であってもよい。この場合、信号認識装置１００は、例えばカメラ１１と有線又は無線により電磁的に接続し、所定の間隔ごとにカメラ１１から画像Ｆの供給を受ける。【００５５】
（変形例２）
図３等の説明では、信号機４０は、青灯火部４１Ｂと黄表示部４１Ｙと赤灯火部４１Ｒとが地面と水平に並べられた方式（以後、「横信号」と呼ぶ。）であった。しかし、これに加え、本発明は、各表示部が地面と垂直に並べられた方式（以後、「縦信号」と呼ぶ。）にも好適に適用される。【００５６】
縦信号を対象とする場合、信号表示候補検出部２０１は、例えば、画像Ｆにおいて左右方向にそれぞれ中心Ｏから「Ｒ×Ａ」だけ離れた位置を通過する縦線をそれぞれ左境界線Ｌｂｌ及び右境界線Ｌｂｒとする。また、信号表示候補検出部２０１は、中心Ｏを通過する水平（横）線を青灯火候補領域Ｌｂの上境界線Ｌｂｕ、下方向に中心Ｏから「Ｒ×Ｂ」だけ離れた位置を通過する横線を下境界線Ｌｂｄとする。【００５７】
信号認識装置１００は、以上のように青灯火候補領域Ｌｂを決定することで、縦信号方式であっても、上述の実施例と同様に、青灯火候補領域Ｌｂに基づき移動平均Ｐｂｒｅｆを算出し、青灯火を認識することができる。【００５８】
（変形例３）
図２のリファレンス算出部２０２の説明では、移動平均Ｐｂｒｅｆは、１種類の画素値に基づき算出されていた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、リファレンス算出部２０２は、２種類以上の画素値の移動平均Ｐｂｒｅｆを算出してもよい。【００５９】
ここで、輝度と色相との２つを実施例の画素値とした場合の具体例を説明する。この場合、リファレンス算出部２０２は、輝度と色相とにそれぞれ適した閾値Ｔ１を予め保持しておく。以後では、輝度に対する閾値Ｔ１を特に「閾値Ｔ１Ｌ」、色相に対する閾値Ｔ１を特に「閾値Ｔ１Ｃ」と表記する。そして、リファレンス算出部２０２は、輝度と色相それぞれの第１差分Ｄｉｆ１を算出する。以後では、輝度に対する第１差分Ｄｉｆ１を特に「第１差分Ｄｉｆ１Ｌ」、色相に対する第１差分Ｄｉｆ１を特に「第１差分Ｄｉｆ１Ｃ」と呼ぶ。次に、リファレンス算出部２０２は、例えば、第１差分Ｄｉｆ１Ｌが閾値Ｔ１Ｌ以下、かつ、第１差分Ｄｉｆ１Ｃが閾値Ｔ１Ｃ以下の画素について、輝度及び色相の各移動平均Ｐｂｒｅｆを更新する。一方、リファレンス算出部２０２は、上記以外の画素について、輝度及び色相の各移動平均Ｐｂｒｅｆを更新しない。他の例では、リファレンス算出部２０２は、第１差分Ｄｉｆ１Ｌが閾値Ｔ１Ｌ以下、又は、第１差分Ｄｉｆ１Ｃが閾値Ｔ１Ｃ以下の画素の輝度及び色相の各移動平均Ｐｂｒｅｆを更新し、その他の画素については移動平均Ｐｂｒｅｆを更新しない。【００６０】
上記の場合、青点灯判定部２０３は、輝度と色相とにそれぞれ適した閾値Ｔ２を予め保持しておく。そして、青点灯判定部２０３は、輝度及び色相の各移動平均Ｐｂｒｅｆに基づき第２差分Ｄｉｆ２を算出する。次に、青点灯判定部２０３は、例えば輝度及び色相の各第２差分Ｄｉｆ２がそれぞれ閾値Ｔ２より大きい画素を特定する。【００６１】
以上のように、システムコントローラ２０は、複数の種類の画素値の移動平均Ｐｂｒｅｆを算出する場合であっても、信号機４０の遮蔽又は画像Ｆの赤青同時点灯表示の影響を除外して移動平均Ｐｂｒｅｆを算出することができる。【００６２】
（変形例４）
実施例に加え、システムコントローラ２０は、予め移動平均Ｐｂｒｅｆの初期値をメモリに記憶していてもよい。この場合、初期値は、青候補領域画素値Ｐｂの一般的な値に実験等に基づき設定される。さらに、このとき、システムコントローラ２０は、青灯火候補領域Ｌｂの特定後、一定期間、全ての画素の移動平均Ｐｂｒｅｆが初期値から一度も更新されなかった場合、当該青灯火候補領域Ｌｂには青灯火部４１Ｂが含まれていないとみなしてもよい。即ち、この場合、システムコントローラ２０は、信号機以外の対象物を信号機と誤認したとみなす。また、これに加え、システムコントローラ２０は、一定個数以下の画素しか移動平均Ｐｂｒｅｆが初期値から更新されなかった場合、同様に信号機を誤認したとみなしてもよい。【００６３】
（変形例５）
実施例では、リファレンス算出部２０２は、第１差分Ｄｉｆ１が閾値Ｔ１より大きかった青候補領域画素値Ｐｂを移動平均Ｐｂｒｅｆの算出に使用しなかった。これに加え、リファレンス算出部２０２は、第１差分Ｄｉｆ１に関わらず、予め定めた所定の輝度の範囲又は／及び所定の色相の範囲に属しない青灯火候補領域Ｌｂの画素を、移動平均Ｐｂｒｅｆの算出に使用しないこととしてもよい。上述の範囲は、消灯時の青灯火部４１Ｂが取り得る輝度及び色相の範囲に実験等に基づき設定される。これにより、リファレンス算出部２０２は、より高精度に、消灯時の青灯火部４１Ｂのテンプレートとなる移動平均Ｐｂｒｅｆを算出することができる。【００６４】
（変形例６）
画素値として輝度を使用した場合の閾値Ｔ１の具体的な設定方法について説明する。ここでは、画像Ｆに赤青同時点灯が表示された場合であっても、ロバストに移動平均Ｐｂｒｅｆを算出可能な閾値Ｔ１の設定方法について説明する。【００６５】
この場合、閾値Ｔ１は、赤灯火部４１Ｒの輝度に基づき設定される。具体的は、赤灯火部４１Ｒの点灯時の輝度を「ＲＬｔ」、赤灯火部４１Ｒの消灯時の輝度を「ＲＬｓ」とすると、閾値Ｔ１は、以下の式（１）で決定される。
Ｔ１＝（ＲＬｔ−ＲＬｓ）／２        式（１）
また、赤灯火部４１Ｒの消灯時の輝度ＲＬｓを「０」とみなした場合、閾値Ｔ１は、以下の式（２）に基づき決定される。
Ｔ１＝ＲＬｔ／２      式（２）
ここで、式（１）の輝度ＲＬｓは、例えば、予め実験等に基づきその推定値が定められ、メモリに記憶される。また、システムコントローラ２０は、赤灯火候補領域Ｌｒの画素の輝度に基づき、輝度ＲＬｔを定めてもよい。具体的には、システムコントローラ２０は、当該領域での輝度の平均その他代表値を輝度ＲＬｔと定めてもよい。この場合、閾値Ｔ１は、対象とする信号機４０ごとに、又は、対象とする画像Ｆごとに値が変化する可変値となる。【００６６】
変形例６の効果について補足説明する。一般的に、赤灯火部４１Ｒの点灯時及び消灯時の輝度は、それぞれ青灯火部４１Ｂの点灯時及び消灯時の輝度とほぼ同一であると推定される。従って、システムコントローラ２０は、輝度ＲＬｔ、ＲＬｓに基づき閾値Ｔ１を決定することで、画像Ｆに赤青同時点灯が表示された場合であっても、点灯時の青灯火候補領域Ｌｂの画素を移動平均Ｐｂｒｅｆの算出から除外することができる。即ち、リファレンス算出部２０２は、より高精度に、消灯時の青灯火部４１Ｂのテンプレートとなる移動平均Ｐｂｒｅｆを算出することができる。【００６７】
（変形例７）
画素値として輝度を使用した場合の閾値Ｔ２の具体的な設定方法について説明する。この場合、システムコントローラ２０は、赤灯火部４１Ｒの点灯時の輝度ＲＬｔに基づき閾値Ｔ２を定めてもよい。【００６８】
これについて具体的に説明する。システムコントローラ２０は、閾値Ｔ２を、以下の式（３）に基づき決定する。
Ｔ２＝（ＲＬｔ−ＲＬｓ）／２      式（３）
ここで、システムコントローラ２０は、赤灯火候補領域Ｌｒの各画素の輝度に基づき輝度ＲＬｔを定める。具体的には、システムコントローラ２０は、当該領域での輝度の平均その他代表値に、輝度ＲＬｔを定める。また、システムコントローラ２０は、輝度ＲＬｓの推定値を予めメモリに保持しておく。【００６９】
以上のように、システムコントローラ２０は、赤灯火部４１Ｒの点灯時の輝度ＲＬｔに基づき閾値Ｔ２を動的に定めることで、好適に閾値Ｔ２を設定することができる。【００７０】
（変形例８）
リファレンス算出部２０２は、第１差分Ｄｉｆ１が閾値Ｔ１より大きい画素について移動平均Ｐｂｒｅｆの算出から除外した。これに加え、リファレンス算出部２０２は、赤消灯を検出した場合、赤点灯時に取得した直前の所定個数の画像Ｆの青候補領域画素値Ｐｂを、移動平均Ｐｂｒｅｆのサンプルから除外してもよい。上述の所定個数は、赤青同時点灯が生じ得るフレーム数の推定値に定められる。【００７１】
この場合、リファレンス算出部２０２は、例えば、実施例の移動平均Ｐｂｒｅｆに加え、所定個数だけ画像Ｆを取得前に算出した移動平均Ｐｂｒｅｆをメモリに保持しておく。そして、青点灯判定部２０３は、赤点灯から赤消灯に変化した場合、後者の移動平均Ｐｂｒｅｆを使用して実施例に示した種々の処理を実行する。【００７２】
このようにすることで、リファレンス算出部２０２は、画像Ｆに赤青同時点灯が表示された場合であっても、点灯時の青灯火候補領域Ｌｂの画素を移動平均Ｐｂｒｅｆの算出から除外することができる。即ち、リファレンス算出部２０２は、より高精度に、消灯時の青灯火部４１Ｂのテンプレートとなる移動平均Ｐｂｒｅｆを算出することができる。【００７３】
（変形例９）
リファレンス算出部２０２は、搭載車両の車速に基づき閾値Ｔ１を変化させてもよい。例えば、リファレンス算出部２０２は、車速が大きいほど、画像Ｆ中の信号機４０の変化が大きいとみなし、閾値Ｔ１を上げる。即ち、リファレンス算出部２０２は、車速が大きい場合、画像Ｆ中の変化が大きいと判断し、閾値Ｔ１を緩める方向へ変化させる。この場合、リファレンス算出部２０２は、車速と閾値Ｔ１とのマップ又は式をメモリに備え、当該マップ等を参照して、車速に基づき閾値Ｔ１を設定する。これにより、信号認識装置１００は、搭載車両の移動中であっても、搭載車両の状態に応じた閾値Ｔ１を設定することができる。【００７４】
（変形例１０）
図２の説明では、システムコントローラ２０は、赤灯火候補領域Ｌｒ及び青灯火候補領域Ｌｂを決定後、これらの位置、範囲、大きさを固定していた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、システムコントローラ２０は、画像Ｆを取得するごとに赤灯火候補領域Ｌｒ及び青灯火候補領域Ｌｂを定めてもよい。【００７５】
この場合であっても、システムコントローラ２０は、青灯火候補領域Ｌｂの範囲を縮小させない。即ち、システムコントローラ２０は、青灯火候補領域Ｌｂを、赤点灯検出後に定められた過去の青灯火候補領域Ｌｂを含むように設定する。【００７６】
これについて、図７を用いて説明する。図７は、青点灯判定部２０３が実行する処理を模式的に示した図である。なお、図７は、本変形例に代えて、信号表示候補検出部２０１が青灯火候補領域Ｌｂの範囲を赤灯火候補領域Ｌｒに応じて適宜縮小させた場合（以後、「比較例」と呼ぶ。）を示す。そして、移動平均Ｐｂｒｅｆは、赤点灯時に共通した青灯火候補領域Ｌｂの画素について算出されている。【００７７】
この場合、信号表示候補検出部２０１は、赤灯火候補領域Ｌｒとして赤灯火部４１Ｒの一部のみしか検出できず、結果として移動平均Ｐｂｒｅｆの対象範囲が青灯火部４１Ｂの全ての領域を包含していない。従って、この場合、青点灯判定部２０３は、青灯火部４１Ｂの一部のみしか検出することができず、正しく青点灯を認識できない可能性がある。【００７８】
以上を勘案し、システムコントローラ２０は、青灯火候補領域Ｌｂの範囲を縮小させず、過去の青灯火候補領域Ｌｂを含むように新たな青灯火候補領域Ｌｂを定め、当該青灯火候補領域Ｌｂの全範囲について移動平均Ｐｂｒｅｆを算出する。これにより、システムコントローラ２０は、青点灯の認識精度をより向上させることができる。【００７９】
（変形例１１）
リファレンス算出部２０２は、時系列での青候補領域画素値Ｐｂの移動平均Ｐｂｒｅｆを算出した。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、リファレンス算出部２０２は、時系列での青候補領域画素値Ｐｂの値を対象に統計処理して得られた値（以後、「統計量」と呼ぶ。）であって移動平均Ｐｂｒｅ以外の値を用いてもよい。この場合、例えば、リファレンス算出部２０２は、所定の規則に基づき、過去に取得した青候補領域画素値Ｐｂの全て又は一部の値に基づき、これらの値を加味するように平均化処理を行い、統計量を算出する。【００８０】
（変形例１２）
実施例の説明では、リファレンス算出部２０２は、青灯火候補領域Ｌｂの各画素の画素値である青候補領域画素値Ｐｂごとに移動平均Ｐｂｒｅｆを算出すると共に、閾値Ｔ１に基づき各青候補領域画素値Ｐｂを移動平均Ｐｂｒｅｆの算出に用いるか否か判断した。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、リファレンス算出部２０２は、互いに隣接した所定個数の画素であって、所定の規則に基づき区画された単位領域（以後、単に「単位領域」と呼ぶ。）ごとに、移動平均Ｐｂｒｅｆを算出し、かつ、閾値Ｔ１に基づき移動平均Ｐｂｒｅｆの算出に用いるか否か判断してもよい。この場合、リファレンス算出部２０２は、単位領域の各画素の画素値の平均値その他代表値（以後、「単位領域値」と呼ぶ。）を算出し、当該単位領域値に基づき移動平均Ｐｂｒｅｆ等の算出を行う。【００８１】
従って、変形例１２では、リファレンス算出部２０２は、一例として単位領域が青灯火候補領域Ｌｂに設定された場合、青灯火候補領域Ｌｂに対し１の移動平均Ｐｂｒｅｆを算出し、かつ、画像Ｆごとに、これを移動平均Ｐｂｒｅｆの算出に用いるか否か判断を行う。【００８２】
なお、変形例１２の場合、青点灯判定部２０３は、一例では、単位領域ごとに第２差分Ｄｉｆ２を算出する。即ち、この場合、青点灯判定部２０３は、赤消灯時の画像Ｆの青点火候補領域Ｌｂの各単位領域の単位領域値を算出し、当該単位領域値と、単位領域ごとに算出された移動平均Ｐｂｒｅｆとを比較し、単位領域ごとに第２差分Ｄｉｆ２を算出する。他の例では、青点灯判定部２０３は、赤消灯時の画像Ｆの青灯火候補領域Ｌｂの各画素の画素値と、当該画素に対応する単位領域に相当する移動平均Ｐｂｒｅｆとを比較し、画素ごとに第２差分Ｄｉｆ２を算出する。【００８３】
（変形例１３）
実施例の説明では、リファレンス算出部２０２は、画像Ｆがカメラ１１から供給されるごとに、当該画像Ｆの青候補領域画素値Ｐｂと、移動平均Ｐｂｒｅｆとの差分である第１差分Ｄｉｆ１を算出した。しかし、本発明が適用可能な方法は、これに限定されない。【００８４】
これに代えて、又はこれに加え、リファレンス算出部２０２は、画像Ｆがカメラ１１から供給されるごとに、当該画像Ｆの青候補領域画素値Ｐｂと、過去に取得した画像Ｆ（以後、「過去取得画像Ｆｄ」と呼ぶ。）の青候補領域画素値Ｐｂとの差分を第１差分Ｄｉｆ１として算出してもよい。過去取得画像Ｆｄは、直前に取得した画像Ｆであってもよく、所定時間幅前に取得した画像Ｆであってもよい。この場合であっても、リファレンス算出部２０２は、過去取得画像Ｆｄに基づき算出した第１差分Ｄｉｆ１が閾値Ｔ１より大きい画素の青候補領域画素値Ｐｂを、上述の移動平均Ｐｂｒｅｆの計算対象から除外する。これによっても、リファレンス算出部２０２は、遮蔽又は赤青同時点灯が生じた場合であっても、ロバストに移動平均Ｐｂｒｅｆを算出することができる。
【産業上の利用可能性】
【００８５】
本発明は、車載用の多目的装置、ナビゲーション装置、その他、移動体に搭載され、信号認識を行う各種の機器に適用することができる。ここで、「多目的装置」とは、ユーザとのコミュニケーションや車外の風景撮影等の行動を自律的に行う機械又は装置を指すこととする。また多目的装置は、必要に応じてナビゲーション装置との連動機能や音楽や映像のコンテンツ再生機能を備える形態であってもよい。
【符号の説明】
【００８６】
１１  カメラ
１２  車速センサ
２０  システムコントローラ
２２  ＣＰＵ
３６  データ記憶ユニット
４０  信号機
５０  出力装置
１００  信号認識装置
２０１  信号表示候補検出部
２０２  リファレンス算出部
２０３  青点灯判定部
【図１】
0005390636.tif 000002
【図２】
0005390636.tif 000003
【図３】
0005390636.tif 000004
【図４】
0005390636.tif 000005
【図５】
0005390636.tif 000006
【図６】
0005390636.tif 000007
【図７】
0005390636.tif 000008