(57)【要約】【課題】信号機を精度良く認識する。【解決手段】光の当たり方が異なる環境で撮像された信号機を表す複数の基準画像を生成するテンプレート画像生成装置と、前記複数の基準画像を記憶する記憶部と、撮像部によって撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像から発光領域を抽出する抽出部と、前記撮像画像のうち、前記抽出部によって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定部と、を有する信号機認識装置において、前記テンプレート画像生成装置は、様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像から、１つの前記基準画像を生成するテンプレート画像生成部を有する。【選択図】図３
2019139801.tif 000002
【特許請求の範囲】
【請求項１】
光の当たり方が異なる環境で撮像された信号機を表す複数の基準画像を生成するテンプレート画像生成装置と、
前記複数の基準画像を記憶する記憶部と、
撮像部によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像から発光領域を抽出する抽出部と、
前記撮像画像のうち、前記抽出部によって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定部と、
を有する信号機認識装置において、
前記テンプレート画像生成装置は、
様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像から、１つの前記基準画像を生成するテンプレート画像生成部を有する、
ことを特徴とする信号機認識装置。
【請求項２】
前記テンプレート画像生成部は、同一のグループに分類された前記サンプル画像群の各画素のうち、同じ位置にある画素を用いることによって、１つの前記基準画像を生成する、
ことを特徴とする請求項１に記載された信号機認識装置。
【請求項３】
前記抽出部によって抽出された発光領域を膨張させた後に、膨張後の領域を膨張前よりも収縮させてから、再度膨張させる処理を行う膨張収縮部、
をさらに備え、
信号機判定部は、前記膨張収縮部による処理後の前記発光領域に基づいて特定される信号機の候補領域と、前記基準画像とを比較して、前記候補領域が信号機の画像領域であるか否かを判定する、
ことを特徴とする請求項１又は請求項２に記載の信号機認識装置。
【請求項４】
前記抽出部は、信号機の灯火の候補となる画素の彩度が、当該彩度に対応する明度に基づいて算出される彩度下限値以上である画素の領域を、前記発光領域として抽出する、
ことを特徴とする請求項１から請求項３のいずれか１項に記載の信号機認識装置。
【請求項５】
テンプレート画像生成装置と信号機認識装置とを備える信号認識システムにおいて、
前記テンプレート画像生成装置は、
様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像の集合であるサンプル画像群から、信号機を表す基準画像を１つ生成することにより、信号機への光の当たり方に応じた複数の前記基準画像を生成するテンプレート画像生成部、
を有し、
前記信号機認識装置は、
前記前記テンプレート画像生成装置によって生成された前記基準画像を記憶する記憶部と、
撮像部によって撮像された撮像画像を取得する撮像画像取得部と、
前記撮像画像から発光領域を抽出する抽出部と、
前記撮像画像のうち、前記抽出部によって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定部と、
を有する、
ことを特徴とする信号認識システム。
【請求項６】
テンプレート画像生成装置と信号機認識装置とを備える信号認識システムにおける信号認識方法であって、
テンプレート画像生成装置が、様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像の集合であるサンプル画像群から、信号機を表す基準画像を１つ生成することにより、信号機への光の当たり方に応じた複数の前記基準画像を生成するテンプレート画像生成ステップと、
前記信号機認識装置が、前記テンプレート画像生成装置によって生成された前記基準画像を記憶する記憶ステップと、
前記信号機認識装置が、撮像部によって撮像された撮像画像を取得する撮像画像取得ステップと、
前記信号機認識装置が、前記撮像画像から発光領域を抽出する抽出ステップと、
前記信号機認識装置が、前記抽出ステップによって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定ステップと、
を実行することを特徴とする信号機認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機認識装置、信号認識システム、及び信号機認識方法に関する。
【背景技術】
【０００２】
盲導ロボットや、運転支援装置など、様々な装置で、信号機認識装置が使われている。信号機の認識には、画像認識が行われている。具体的には、例えば、特許文献１には、撮像された画像について露出を調整した後に、信号機の色成分の範囲で信号機の検出をする方法が記載されている。
【０００３】
ところで、信号機の灯火の色は様々である。そのため、様々な色の灯火を検出するためには、検出する色成分の範囲をある程度広く取ることが考えられる。この場合、信号機以外の物体を誤検出する確率が高くなる。そこで、例えば、特許文献２には、色成分の範囲に基づいて抽出した２種類以上の領域に対して、その分離度を算出し、信号機を判定することが記載されている。
【０００４】
ところで、信号機の点灯部以外の色は特徴的ではない。そのため、上述の技術では、色成分の範囲による点灯部の抽出において誤検出があった場合など、２種類の領域の分離度を使っても信号機を正しく認識することができない場合があった。そこで、例えば、非特許文献１には、色範囲により抽出された領域から推定される信号機の位置に、テンプレートマッチングを適用して誤検出を減らすことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１７７３１１号公報
【特許文献２】特開２０１３−２４２６８６号公報
【非特許文献】
【０００６】
【非特許文献１】Chunxiang WANG, Tao JIN, Ming YANG, Bing WANG, “Robust and Real-Time Traffic Lights Recognition in Complex Urban Environments”，International Journal of Computational Intelligence Systems, Vol. 4, No. 6 (December, 2011), 1383-1390
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の技術では、必ずしも精度良く信号機を認識することができなかった。具体的には、例えば、テンプレートマッチングは、ロバスト性が低いため、信号機を見る位置や方向、環境光の変化などにより信号機の見え方が変わると、マッチングの精度が低下する場合があった。
【０００８】
本発明は上記の点に鑑みてなされたものであり、信号機を精度良く認識することができる信号機認識装置、信号認識システム及び信号機認識方法を提供する。
【課題を解決するための手段】
【０００９】
（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、光の当たり方が異なる環境で撮像された信号機を表す複数の基準画像を生成するテンプレート画像生成装置と、前記複数の基準画像を記憶する記憶部と、撮像部によって撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像から発光領域を抽出する抽出部と、前記撮像画像のうち、前記抽出部によって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定部と、を有する信号機認識装置において、前記テンプレート画像生成装置は、様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像の集合であるサンプル画像群から、１つの前記基準画像を生成するテンプレート画像生成部を有することを特徴とする信号機認識装置である。
【００１０】
（２）また、本発明の一態様は、上記（１）に記載の信号機認識装置において、前記テンプレート画像生成部は、同一のグループに分類された前記サンプル画像群の各画素のうち、同じ位置にある画素を用いることによって、１つの前記基準画像を生成することを特徴とする。
【００１１】
（３）また、本発明の一態様は、上記（１）又は（２）に記載の信号機認識装置において、前記抽出部によって抽出された発光領域を膨張させた後に、膨張後の領域を膨張前よりも収縮させてから、再度膨張させる処理を行う膨張収縮部、をさらに備え、信号機判定部は、前記膨張収縮部による処理後の前記発光領域に基づいて特定される信号機の候補領域と、前記基準画像とを比較して、前記候補領域が信号機の画像領域であるか否かを判定する、ことを特徴とする。
【００１２】
（４）また、本発明の一態様は、上記（１）から（３）のいずれかに記載の信号機認識装置において、前記抽出部は、信号機の灯火の候補となる画素の彩度が、当該彩度に対応する明度に基づいて算出される彩度下限値以上である画素の領域を、前記発光領域として抽出することを特徴とする。
【００１３】
（５）また、本発明の一態様は、テンプレート画像生成装置と信号機認識装置とを備える信号認識システムにおいて、前記テンプレート画像生成装置は、様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像の集合であるサンプル画像群から、信号機を表す基準画像を１つ生成することにより、信号機への光の当たり方に応じた複数の前記基準画像を生成するテンプレート画像生成部、を有し、前記信号機認識装置は、前記前記テンプレート画像生成装置によって生成された前記基準画像を記憶する記憶部と、撮像部によって撮像された撮像画像を取得する撮像画像取得部と、前記撮像画像から発光領域を抽出する抽出部と、前記撮像画像のうち、前記抽出部によって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定部とを有することを特徴とする。
【００１４】
（６）また、本発明の一態様は、テンプレート画像生成装置と信号機認識装置とを備える信号認識システムにおける信号認識方法であって、テンプレート画像生成装置が、様々な環境において信号機を撮像したサンプル画像を、前記サンプル画像の特徴に応じて分類し、同一のグループに分類された前記サンプル画像の集合であるサンプル画像群から、信号機を表す基準画像を１つ生成することにより、信号機への光の当たり方に応じた複数の前記基準画像を生成するテンプレート画像生成ステップと、前記信号機認識装置が、前記テンプレート画像生成装置によって生成された前記基準画像を記憶する記憶ステップと、前記信号機認識装置が、撮像部によって撮像された撮像画像を取得する撮像画像取得ステップと、前記信号機認識装置が、前記撮像画像から発光領域を抽出する抽出ステップと、前記信号機認識装置が、前記抽出ステップによって抽出された発光領域に基づいて特定される信号機の候補領域の画像と、前記基準画像とを比較して、前記候補領域の画像が信号機の画像であるか否かを判定する信号機判定ステップとを含むことを特徴とする信号機認識方法である。
【発明の効果】
【００１５】
本発明によれば、信号機を精度良く認識することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の第１の実施形態に係る信号機認識システムの概要を説明するための図である。
【図２】同実施形態に係る撮像画像の一例を示す図である。
【図３】同実施形態に係る信号機認識装置１０とその周辺装置との概略機能構成を示すブロック図である。
【図４】同実施形態に係るテンプレート画像の生成処理を説明するための図である。
【図５】同実施形態に係る色範囲の設定テーブルの一例を示す図である。
【図６】同実施形態に係る信号機の灯火の撮像領域の彩度と明度との閾値の設定を説明するための図である。
【図７】同実施形態に係る信号機認識装置による膨張収縮処理を説明するための図である。
【図８】同実施形態に係る信号機認識装置によるラベリング処理を説明するための図である。
【図９】同実施形態に係る信号機認識装置による動作の一例を示すフローチャートである。
【図１０】同実施形態に係るテンプレート画像生成装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら本発明の実施形態について説明する。
［第１の実施形態］
〔信号機認識システムの概要〕
図１は、本発明の第１の実施形態に係る信号機認識システム１の概要を説明するための図である。
本実施形態に係る信号機認識システム１は、信号機認識装置１０と撮像装置３０とを備える。信号機認識装置１０と撮像装置３０とは、車両２に搭載されている。また、信号機認識装置１０と撮像装置３０とは、無線又は有線により相互に情報を送受信することができる。
【００１８】
撮像装置３０は、例えば、車両２の前端部に設置され、車両２の前方の環境を撮像することができる。撮像装置３０は、例えば、道路脇の電信柱に設置された交通信号機２０を撮像するのに十分な画角を備えている。ここで、信号機２０とは、歩行者用交通信号機、車両用交通信号機など、様々な交通整理用の発光標識である。以下では、一例として、信号機２０が青色、黄色、赤色の３つの略円形型の点灯部を横並びに備える交通信号機である場合について説明する。
図２は、本実施形態に係る撮像画像の一例を示す図である。
図２に示す例において、撮像画像ＰＴには、信号機２０と、看板５０と、空とが撮像されている。また、信号機２０において、青色、黄色、赤色の３つの点灯部２１、２２、２３のうち青色の点灯部２１が点灯している。
【００１９】
信号機認識装置１０は、信号機２０を表すテンプレート画像（基準画像）を複数記憶する記憶部１１を備えている。テンプレート画像については、後述する。信号機認識装置１０は、撮像装置３０により撮像された撮像画像を取得し、撮像画像から発光領域を抽出する。この発光領域とは、撮像画像に撮像された信号機２０における点灯中の点灯部の領域である。具体的には、図２に示す例において、発光領域は、点灯部２１の領域である。
【００２０】
次に、信号機認識装置１０は、撮像画像のうち、抽出した発光領域に基づいて信号機２０の候補領域を特定する。具体的には、図２に示す例において、信号機２０の候補領域とは、撮像画像中の信号機２０を表す領域である。そして、信号機認識装置１０は、特定した候補領域の画像と、テンプレート画像とを比較して、いわゆるテンプレートマッチングにより、候補領域の画像が信号機２０の画像領域であるか否かを判定する。このように、本実施形態に係る信号機認識装置１０は、例えば、信号機２０を見る位置や方向、環境光の信号機２０への当り方などが異なる複数のテンプレート画像と、撮像画像とのマッチングを判定するため、撮像画像中の信号機２０を精度良く認識することができる。
【００２１】
〔信号機認識システムの構成〕
〔信号機認識システムの構成１：撮像装置の構成〕
次に、信号機認識装置１０と、その周辺装置の構成について説明する。
まず、信号機認識装置１０の周辺装置について説明する。
図３は、本実施形態に係る信号機認識装置１０とその周辺装置との概略機能構成を示すブロック図である。
撮像装置３０は、撮像部３１を備え、撮像部３１が撮像した撮像画像を信号機認識装置１０に出力する。
撮像部３１は、例えば、パンフォーカスのカメラモジュールを備える。撮像部３１は、例えば、ＨＳＶ表色系の撮像画像を取得する。
【００２２】
〔信号機認識システムの構成２：テンプレート画像生成装置の構成〕
テンプレート画像生成装置４０は、テンプレート画像生成部４１を備える。
テンプレート画像生成部４１は、テンプレート画像を生成する。テンプレート画像生成部４１が生成したテンプレート画像は、信号機認識装置１０の記憶部１１に記憶される。
ここで、テンプレート画像生成部４１によるテンプレート画像の生成について説明する。
図４は、本実施形態に係るテンプレート画像の生成処理を説明するための図である。
本実施形態において、テンプレート画像は、多数のサンプル画像から複数生成される。サンプル画像とは、様々な環境において信号機２０を撮像した画像である。ここで、環境とは、信号機２０の設置位置、姿勢、光の入射角の他、撮像の角度、日時などを含む。また、サンプル画像は、機種が異なる信号機２０が撮像されたものであってもよい。上述したテンプレート画像を生成するためのサンプル画像は、予め用意される。また、サンプル画像は、信号機２０において点灯している灯火の色に応じて用意される。
【００２３】
テンプレート画像の生成において、テンプレート画像生成部４１は、多数のサンプル画像をその特徴に応じて分類（クラスタリング）する。これら多数のサンプル画像は、縦と横とのサイズ（画素数）が同一の画像である。ここでは、一例として、テンプレート画像生成部４１がＫ−ｍｅａｎｓ法を用いてサンプル画像を分類する場合について説明するが、クラスタリングの手法には、任意の公知の手法が用いられてもよい。また、ここでは、一例として、テンプレート画像生成部４１が５つのテンプレート画像を生成する場合について説明する。この場合、テンプレート画像生成部４１は、サンプル画像を５種類に分類する。ここで、テンプレートマッチングでは、信号機２０を見る位置や方向、信号機２０への環境光の当り方などの様々な要素がその精度に影響するが、信号機２０の認識においては、特に環境光の影響が大きいことが経験的に分かっている。信号機２０への環境光の当り方は、例えば、その光の射出元の位置に応じて背後から（順光）、正面から（逆光）、右から（右側光）、左から（左側光）、上から（頂側光）の５つに分類することができる。そこで、本実施形態では、信号機２０への環境光の当り方のマッチング精度への影響を鑑みて、一例として、テンプレート画像を５つに分類する場合について説明する。
【００２４】
次に、テンプレート画像生成部４１は、同一のグループに分類したサンプル画像群から１つのテンプレート画像を生成する。図４には、同一のグループに分類された複数のサンプル画像ＰＳ１１、ＰＳ１２、…が示されている。また、テンプレート画像ＰＳ２は、複数のサンプル画像ＰＳ１１、ＰＳ１２、…から生成された画像である。テンプレート画像を構成する各画素の色相（ｈｕｅ）、彩度（ｓａｔｕｒａｔｉｏｎ）、及び明度（ｖａｕｅ）の値は、サンプル画像ＰＳ１１、ＰＳ１２、…を構成する各画素のうち、同じ位置にある画素についての色相、彩度、明度の平均値である。つまり、テンプレート画像ＰＳ２の左上の画素ＰＸ２の色相の値は、サンプル画像ＰＳ１１の左上の画素ＰＸ１１の色相の値、サンプル画像ＰＳ１２の左上の画素ＰＸ１２の色相の値、…の平均値を算出することにより得られる。このように、テンプレート画像生成部４１は、同一のグループに分類したサンプル画像群を平均化することにより、１つのテンプレート画像を生成する。
【００２５】
〔信号機認識システムの構成２：信号機認識装置の構成〕
次に、図３に戻り、信号機認識装置１０の説明を続ける。
信号機認識装置１０は、例えば、車載端末装置などの電子機器である。信号機認識装置１０は、パーソナルコンピュータ、携帯電話、タブレット、スマートフォン、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙ−ｐｈｏｎｅ  Ｓｙｓｔｅｍ）、又はＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）などの車両２から移動可能な電子機器であってもよい。
【００２６】
信号機認識装置１０は、記憶部１１と、撮像画像取得部１２と、提示部１３と、抽出部１４と、信号機判定部１５と、を備える。
記憶部１１は、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを備える。また、記憶部１１は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒy）、及びフラッシュメモリなどを備えてもよい。記憶部１１は、信号機認識装置１０が備えるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ、不図示）が実行するための各種プログラムやＣＰＵが実行した処理の結果などを記憶する。具体的には、記憶部１１は、例えば、抽出部１４による発光領域の抽出処理において参照される色範囲設定テーブルを記憶する。抽出部１４と信号機判定部１５とは、ＣＰＵが記憶部１１に記憶されているプログラムを実行することにより実現される。
また、記憶部１１は、テンプレート画像生成装置４０が生成したテンプレート画像を予め記憶するテンプレート画像記憶部１１１を備える。本実施形態において、テンプレート画像記憶部１１１は、３色の灯火ごとに、５つのテンプレート画像を記憶している。
【００２７】
撮像画像取得部１２は、通信用ＩＣを備え、撮像装置３０と通信する。撮像装置３０から撮像画像を取得し、取得した撮像画像を示す撮像画像情報を抽出部１４に出力する。  提示部１３は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどの表示装置を備える。また、提示部１３は、例えば、スピーカー（音声出力装置）を備える。
【００２８】
抽出部１４は、撮像画像から灯火の発光を表す画素群（領域）を抽出する処理を行う。つまり、色範囲抽出部１４１と、膨張収縮部１４２と、ラベリング部１４３と、形状判定部１４４と、を備える。
色範囲抽出部１４１は、撮像画像取得部１２から撮像画像情報を取得すると、撮像画像から灯火の色ごとに色相、彩度、及び明度の範囲を定める色範囲設定テーブルに基づいて、３色の灯火の発光を表す画素を抽出する。
【００２９】
ここで、色範囲抽出部１４１による画素の抽出処理について説明する。
色範囲抽出部１４１は、２段階で灯火を表す画素の抽出を行う。第１の抽出処理において、色範囲抽出部１４１は、撮像画像の各画素の色相に基づいて、灯火を表す画素を抽出する。第２の抽出処理において、色範囲抽出部１４１は、第１の抽出処理により抽出された候補の各画素の彩度と明度とに基づいて、灯火を表す画素の絞り込みを行う。
抽出された領域は、例えば、撮像画像と縦方向及び横方向において同じ画素数を有し、各画素に「１」又は「０」の２値情報が書き込まれた２値領域情報により表される。この場合、例えば、抽出された領域に含まれる画素の値は「１」、抽出されなかった領域に含まれる画素の値は「０」である。つまり、抽出される各領域は、縦方向又は横方向の少なくともいずれかの方向に隣接する値が「１」の画素群により構成される。
【００３０】
まず、第１の抽出処理について説明する。
図５は、本実施形態に係る色範囲設定テーブルの一例を示す図である。
本実施形態に係る色範囲設定テーブルは、灯火の色に応じた色相、彩度、及び明度の範囲をＨＳＶ表色系により定める。具体的には、赤色の灯火の場合、色相Ｈの値は０以上１０以下（０≦Ｈ≦１０）であり、彩度Ｓの値は０．３より大きく（Ｓ＞０．３）、明度Ｖの値は１２０より大きい（Ｖ＞１２０）。本実施形態では、色の範囲を「夜間動画像からの道路交通信号認識技術の研究」（梅澤 登志矢、江口 一彦、愛知工業大学研究報告  第４３号Ｂ  平成２０年）に基づいて設定する場合について説明するが、色相、彩度、及び明度の範囲は別途経験則などに基づいて、任意に定められてもよい。色範囲抽出部１４１は、色範囲設定テーブルに基づいて、同じ撮像画像から青色の灯火、黄色の灯火、赤色の灯火を表す画素を順次抽出する。
【００３１】
次に、第２の抽出処理について説明する。
図６は、本実施形態に係る信号機２０の灯火の撮像領域の彩度と明度との閾値の設定を説明するための図である。
図６の縦軸は、彩度を表す。また、横軸は、明度を表す。図６にプロットされた複数の点は、信号機２０の青色の灯火を様々な環境で撮像したときに、その灯火を表す画素の彩度と明度とを表す。図６に示されるように、信号機２０の灯火を撮像した場合、その灯火を表す画素の彩度と明度とは、略線形に分布する（例えば、図６の領域Ｒ１）。従って、当該略線形の領域内に彩度と明度とが含まれない画素は、信号機２０の灯火を表さないとみなすことができる。図６に示す例の場合、色範囲抽出部１４１は、例えば、線Ｌ１（図６）を表す下記の式（１）に基づいて、灯火を表す画素を絞り込む。
ｍｉｎＳ  ＝  ０．７３／１２０×Ｖ−０．３      …（１）
ここで、彩度Ｓは、０以上１以下の値である。また、明度Ｖは、０以上２５５以下の値である。ｍｉｎＳは、発光領域として抽出する候補の彩度Ｓの下限値を示す。すなわち、色範囲抽出部１４１は、その彩度Ｓが、上述の式に示す下限値ｍｉｎＳの値を超える画素を灯火を表す画素として抽出する。
【００３２】
これにより、色範囲抽出部１４１は、信号機２０の灯火に由来しない画素を除外することができるので、信号機認識装置１０による信号機２０の認識精度を高めることができる。しかしながら、これら第１の抽出処理と、第２の抽出処理とでは、信号機２０の灯火に由来しない画素を、全て除外できるとは限らない。具体的には、例えば、青色の灯火の画素を抽出した場合、青色の看板（例えば、図２の看板５０）や車両、青空（例えば、図２の空５１）などが誤検出される場合がある。そのため、抽出部１４は、抽出する画素をさらに絞り込む処理を行う。以降の画素の抽出処理は、灯火の色ごとに行われるが、これらの処理は、各色で同様である。従って、以下では、青色の灯火を表す画素に対する処理についてのみ説明する。
【００３３】
膨張収縮部１４２は、発光領域の候補（以下、「灯火候補領域」と称する。）に対して、収縮処理を行うことにより、数画素程度から構成される微小な領域を灯火候補領域から除外する。このような微小な領域は、例えば、撮像画像の背景画像に無数に表れることがある（例えば、図２の空５１）。他方、例えば、環境光の光量が少ない場合、撮像部３１のカメラの絞りが開いてしまい、信号機２０の灯火の中央部分の明度が飽和してしまう、いわゆるハレーションが発生する場合がある。この場合、灯火候補領域は、例えば、環状の中央部分に欠落を有する領域として検出される。膨張収縮部１４２は、膨張処理を行うことにより、このような領域の欠落を埋める。膨張収縮部１４２は、膨張処理、収縮処理、膨張処理の順で処理を行い、処理後の候補領域の情報をラベリング部１４３に出力する。
【００３４】
ここで、膨張収縮部１４２による膨張処理と、収縮処理とについて説明する。
図７は、同実施形態に係る信号機認識装置１０による膨張収縮処理を説明するための図である。
図７（ａ）に示す例において、膨張収縮部１４２は、１つの画素から構成される灯火候補領域ＳＲ１に対して、１画素分膨張させる膨張処理を行っている。これにより、灯火候補領域ＳＲ１は、９つの画素から構成される領域となる。次に、膨張収縮部１４２は、先の膨張処理の膨張量よりも大きい量である２画素分収縮させる収縮処理を行っている。これにより、灯火候補領域ＳＲ１は消失し、灯火の候補から除外される。そして、膨張収縮部１４２は、残存した灯火候補領域に対して、過剰に収縮した１画素分の膨張処理を行う。
【００３５】
図７（ｂ）に示す例において、膨張収縮部１４２は、内部に１画素の欠落を有し、８つの画素から構成される環状の灯火候補領域ＳＲ２に対して、１画素分膨張させる膨張処理を行っている。これにより、灯火候補領域ＳＲ２は、２５の画素から構成される領域となり、内部の欠落が埋められる。次に、膨張収縮部１４２は、先の膨張処理の膨張量よりも大きい量である２画素分収縮させる収縮処理を行い、過剰に収縮した１画素分の膨張処理を行う。これにより、膨張収縮部１４２は、環状の灯火候補領域ＳＲ２内部の欠落を埋め、外縁のサイズを膨張収縮処理前と同一のサイズとすることができる。
【００３６】
このように、膨張収縮部１４２は、灯火候補領域を膨張させた後に、当該膨張後の領域を膨張前よりも収縮させてから、再度膨張させることにより、ハレーションによる領域の欠落を補完するとともに、処理上のノイズとなりうる微小な領域を除去することができる。
以下では、一例として、膨張収縮部１４２は、２画素分膨張処理を行ってから、３画素分収縮処理を行い、その後、１画素分膨張処理を行う場合について説明する。
【００３７】
ラべリング部１４３は、灯火候補領域に対してラベリングを行う。具体的には、ラベリング部１４３は、上述したように、各画素の縦方向及び横方向の連続性に基づいて、１つの領域を構成する画素を特定し、領域を分離する。ラベリング部１４３は、分離した各領域に対して、固有の識別情報（ラベル）を付与（ラべリング）する。ラベリング部１４３は、ラべリング後の灯火候補領域を表すラベル領域情報を形状判定部１４４に出力する。
【００３８】
ここで、ラべリング部１４３による処理について説明する。
図８は、本実施形態に係る信号機認識装置１０によるラベリング処理を説明するための図である。
ラべリング部１４３は、２値領域情報において、「１」の値が縦方向又は横方向に連続する領域に同じラベルを付与する。まず、ラベリング部１４３は、画像の端からスキャンし、値が「１」の画素を発見した場合、当該発見した画素に対して新たなラベルを付与する。次に、ラべリング部１４３は、隣接する画素の値が「１」であれば、隣接する画素と同じラベルを付与する。これを繰り返して、値が「１」である画素の塊ごとにラベルを付与し、各領域を識別する。
【００３９】
形状判定部１４４は、灯火候補領域の形状に基づいて、灯火候補領域を抽出する。本実施形態において、信号機２０は、略円形型の点灯部を有する。従って、灯火候補領域が略円形でない場合、当該領域は、信号機２０の灯火に由来しないとみなすことができる。形状判定部１４４は、各領域の円形度を判定し、領域の形状が略円形ではない場合、当該領域を灯火候補領域から除外する。また、形状判定部１４４は、各領域の円形度を判定し、領域の形状が略円形である場合、当該領域を灯火候補領域として抽出する。例えば、図８に示す例において、「１」のラベルが付された領域と「２」のラベルが付された領域は、略円形であるため、灯火候補領域として抽出される。これに対し、「３」のラベルが付された領域と「４」のラベルが付された領域とは、略円形ではないため、灯火の候補から除外される。
【００４０】
具体的には、形状判定部１４４は、以下の式（２）に基づいて、灯火候補領域の円形度を判定する。
Ｒ  ＝  ４πＭ／Ｌ２                        …（２）
ここで、円形度Ｒ、面積Ｍ、周囲長Ｌは、は正の値である。また、円周率πは、略「３．１４」である。面積Ｍは、例えば、各領域を構成する画素の数である。周囲長Ｌは、例えば、各領域の外縁に位置する画素の数である。形状判定部１４４は、円形度Ｒが所定の閾値（例えば、０．７）以上である場合に、領域の形状が円形であると判定する。また、形状判定部１４４は、円形度Ｒが所定の閾値（例えば、０．７）未満である場合に、領域の形状が円形ではないと判定する。形状判定部１４４は、抽出した灯火候補領域のラベル領域情報を信号機判定部１５に出力する。
【００４１】
信号機判定部１５は、取得したラベル領域情報に基づいて、信号機２０の領域を特定する。信号機２０の筐体と点灯部とは、概ね所定の位置関係にある。そのため、信号機２０は、灯火の色種別と、発光領域の大きさとから信号機２０が撮像されている領域を推定する。これにより、信号機判定部１５は、撮像画像において信号機２０が写っていると推定される領域（以下、「信号機領域」と称する。）を特定する。
【００４２】
次に、信号機判定部１５は、特定した信号機領域の画像と、テンプレート画像との比較を行う。信号機判定部１５は、まず、比較対象の信号機領域の画像に対応する灯火色のテンプレート画像を、テンプレート画像記憶部１１１から読み出す。次に、信号機判定部１５は、特定した信号機領域の画像と、テンプレート画像とのテンプレートマッチングを行う。テンプレートマッチングの手法には、任意の公知の手法が用いられてよい。ここで、テンプレートマッチングは、比較対象物のサイズが異なると、精度が低下することが経験的に知られている。例えば、信号機２０の点灯部には、ＬＥＤ（発光ダイオード）式のものと、電球式のものがある。ＬＥＤ式の場合は、点灯部の外縁部まで明るく撮像されるが、電球式の場合は外縁部の光量が落ちるため、ＬＥＤ式の場合に比して、電球式の点灯部の灯火は小さく検出される場合がある。この場合、信号機領域が適切に特定できず、テンプレート画像と、画像サイズに差が生じてしまい、マッチングの精度が低下する可能性がある。そこで、信号機判定部１５は、同一の信号機領域の画像とテンプレート画像との組み合わせについて、テンプレート画像のサイズを、「０．８」倍、「０．９」倍、「１．０」倍、「１．１」倍、「１．２」倍などに変更して、複数回テンプレートマッチングを行う。そして、この複数回のテンプレートマッチングにおける最も高いスコアを、その組み合わせのマッチングスコアとする。
【００４３】
信号機判定部１５は、１つの信号機領域画像に対して、複数のテンプレート画像とのテンプレートマッチングを行う。具体的には、本実施形態では、５つのテンプレート画像とのテンプレートマッチングを行う。そして、実行した全てのテンプレートマッチングにおける最高のマッチングスコアが所定の閾値以上である場合に、その信号機領域画像に信号機２０が撮像されていると判定する。このとき、灯火の色ごとに信号機領域画像が抽出されているため、灯火の色、すなわち信号の指示内容が同時に認識される。信号機判定部１５は、信号機２０の認識結果に応じた所定の情報を、提示部１３による表示、音声出力などを介して、ユーザに通知する。具体的には、提示部１３は、信号機２０の存在、位置、灯火の色、信号の指示内容などをユーザに通知する。
【００４４】
〔信号機認識装置の動作〕
次に、信号機認識装置１０の動作について説明する。
図９は、本実施形態に係る信号機認識装置１０による動作の一例を示すフローチャートである。
（ステップＳ１０１）信号機認識装置１０の撮像画像取得部１２は、撮像装置３０により撮像された撮像画像を取得する。撮像画像取得部１２は、取得した撮像画像を表す撮像画像情報を色範囲抽出部１４１に出力する。その後、信号機認識装置１０は、ステップＳ１０２に処理を進める。
【００４５】
（ステップＳ１０２）信号機認識装置１０の色範囲抽出部１４１は、撮像画像の各画素の色相に基づいて、色範囲設定テーブルにより、撮像画像から灯火候補領域を抽出する。また、色範囲抽出部１４１は、抽出した灯火候補領域から、彩度と明度とに基づいて、例えば、式（１）により、灯火候補領域の絞り込みを行う。色範囲抽出部１４１は、抽出した灯火候補領域を表す２値領域情報を膨張収縮部１４２に出力する。その後、信号機認識装置１０は、ステップＳ１０３に処理を進める。
【００４６】
（ステップＳ１０３）信号機認識装置１０の膨張収縮部１４２は、色範囲抽出部１４１から２値領域情報を取得すると、膨張処理を行い、灯火候補領域のうち、内部に欠落を有する領域の欠落を埋める。次に、膨張収縮部１４２は、膨張処理の膨張量よりも大きい量、領域の収縮を行い、微小な領域を灯火の候補から除外する。次に、膨張収縮部１４２は、膨張処理を行い、灯火候補領域の大きさを、一連の膨張収縮処理の前に戻す。次に、膨張収縮部１４２は、処理後の各領域を表す２値領域情報をラベリング部１４３に出力する。その後、信号機認識装置１０は、ステップＳ１０４に処理を進める。
【００４７】
（ステップＳ１０４）信号機認識装置１０のラベリング部１４３は、膨張収縮部１４２から２値領域情報を取得すると、各灯火候補領域を分離し、ラベリングを行う。ラベリング部１４３は、分離した各灯火候補領域を表すラベル領域情報を形状判定部１４４に出力する。その後、信号機認識装置１０は、ステップＳ１０５に処理を進める。
（ステップＳ１０５）信号機認識装置１０の形状判定部１４４は、ラベリング部１４３からラベル領域情報を取得すると、各灯火候補領域の形状が略円形であるか否かを判定する。灯火候補領域の形状が略円形ではない場合、形状判定部１４４は、当該領域を灯火の候補から除外する。形状判定部１４４は、形状の判定結果に基づいて、抽出された灯火候補領域を表すラベル領域情報を信号機判定部１５に出力する。その後、信号機認識装置１０はステップＳ１０６に処理を進める。
【００４８】
（ステップＳ１０６）信号機認識装置１０の信号機判定部１５は、ラベリング部１４３からラベル領域情報を取得すると、灯火候補領域に基づいて信号機２０が撮像された領域を特定し、信号機領域画像を取得する。次に、信号機判定部１５は、テンプレート画像記憶部１１１から灯火の色ごとに複数のテンプレート画像を読み出す。次に、信号機判定部１５は、読み出した複数のテンプレート画像と、信号機領域画像とをテンプレートマッチングにより比較する。このとき、信号機判定部１５は、例えば、テンプレート画像のサイズを所定の倍率に変更して、すなわち、マッチングを行う画像間のサイズを揃えて、複数回マッチングを行う。信号機判定部１５は、各信号機領域の判定結果に応じた所定の情報を提示部１３に出力する。その後、信号機認識装置１０はステップＳ１０７に処理を進める。
【００４９】
（ステップＳ１０７）信号機認識装置１０の提示部１３は、信号機判定部１５から取得した情報に基づいて、表示、音声出力などを行い、ユーザに信号機２０の認識結果等を通知する。そして、信号機認識装置１０は、図９に示す処理を終了する。
【００５０】
〔信号機認識装置の動作〕
以下、テンプレート画像生成装置４０の動作について説明する。
図１０は、本実施形態に係るテンプレート画像生成装置４０の動作の一例を示すフローチャートである。
（ステップＳ２０１）テンプレート画像生成装置４０のテンプレート画像生成部４１は、例えば、自装置の記憶部に予め記憶されている多数のサンプル画像を取得する。その後、テンプレート画像生成装置４０は、ステップＳ２０２に処理を進める。
【００５１】
（ステップＳ２０２）テンプレート画像生成部４１は、取得した多数のサンプル画像を、例えば、Ｋ−ｍｅａｎｓ法により予め定めた数のグループに分類する。その後、テンプレート画像生成部４１は、ステップＳ２０３に処理を進める。
（ステップＳ２０３）テンプレート画像生成部４１は、グループ分けしたサンプル画像から、各画素の色相、明度、彩度の平均値を算出して、テンプレート画像を生成する。そして、テンプレート画像生成装置４０は、図１０に示す処理を終了する。
【００５２】
〔第１の実施形態のまとめ〕
以上説明したように、本実施形態に係る信号機認識装置１０は、信号機を表す基準画像（例えば、テンプレート画像）を複数記憶するテンプレート画像記憶部１１１と、撮像部３１が撮像した撮像画像を取得する撮像画像取得部１２と、撮像画像から発光領域を抽出すると、撮像画像のうち、抽出部１４が抽出した発光領域に基づいて特定される信号機２０の候補領域の画像（例えば、信号機領域画像）と、基準画像とを比較して、候補領域の画像が信号機２０の画像であるか否かを判定する信号機判定部１５と、を備える。
これにより、信号機認識装置１０は、信号機領域画像と複数のテンプレート画像とのテンプレートマッチングを行うため、１つのテンプレート画像とのテンプレートマッチングを行った場合と比較して、信号機２０を精度良く認識することができる。
【００５３】
また、本実施形態に係る複数の基準画像は、異なる環境で撮像された信号機２０の複数の画像に基づいて得られた画像である。
これにより、信号機２０は、様々な環境で撮像される信号機２０を精度良く認識することができる。
【００５４】
また、抽出部１４の色範囲抽出部１４１は、信号機２０の灯火色ごとの色を表すパラメータ間（例えば、彩度と明度）の関係に基づいて、前記発光領域を抽出する。
これにより、信号機２０は、撮像画像において、灯火色と類似する色の範囲に属する領域から、信号機２０に由来しない領域を抽出対象から除外することができる。従って、信号機認識装置１０は、信号機２０を精度良く認識することができるとともに、判定対象の領域の数を減らすことができるので、処理負荷を低減することができる。
【００５５】
また、膨張収縮部１４２は、色範囲抽出部１４１が抽出した発光領域を膨張させた後に、当該膨張後の領域を膨張前よりも収縮させてから、再度膨張させる処理を行う。
これにより、膨張収縮部１４２は、ハレーションによる領域の欠落を抑制することができるとともに、信号機２０の灯火に由来しない微小領域を抽出対象から除外することができる。従って、信号機２０は、信号機２０を精度良く認識することができるとともに、判定対象の領域の数を減らすことができるので、処理負荷を低減することができる。
【００５６】
また、信号機判定部１５は、信号機領域画像と前記基準画像との大きさを揃えてから比較する。
これにより、信号機認識装置１０は、画像サイズの違いに基づくテンプレートマッチングの誤認識を防ぐことができるため、信号機２０を精度良く認識することができる。
【００５７】
〔変形例〕
〔第１の変形例：歩行者用信号機認識装置〕
第１の変形例において、信号機認識装置１０は、歩行者が携行可能な携帯電話、タブレット、スマートフォン、ＰＨＳ、又はＰＤＡなどの撮像部を備えた電子機器である。ユーザは、信号機２０の利用において、その撮像部を自身の進行方向などに向けて移動する。信号機認識装置１０は、自装置の撮像部が撮像した画像から、交通信号機を認識し、ユーザに信号機２０の有無やその灯火状態などを通知する。
これにより、ユーザは、視力が弱いなどの理由で信号機２０を視認しにくい場合であっても、信号機２０の有無や灯火状態などを認識することができる。
【００５８】
〔第２の変形例：移動状態に応じた基準画像の選択〕
第２の変形例において、信号機認識装置１０は、ユーザの移動状態に応じて基準画像を選択する。ユーザ、すなわち車両２が停止している場合、そのユーザは赤信号により停車していることが考えられる。そのため、信号機認識装置１０は、黄色や赤色の灯火よりも、青色の灯火に対応するテンプレートマッチングを優先的に行う。これにより、ユーザは、赤信号から青信号に切り替わったことに気付かず、他の車両の通行を妨げてしまうことを防ぐことができる。これに対し、ユーザ、すなわち車両２が移動中である場合、黄色や赤色の停止信号を見落とさないようにすることが安全の確保において重要である。そのため、信号機認識装置１０は、青色の灯火よりも、黄色や赤色の灯火に対応するテンプレートマッチングを優先的に行う。これにより、ユーザは、安全に移動を行うことができる。この第２の変形例において、ユーザの移動状態は、例えば、車両２から取得されてもよいし、信号機認識装置１０が内蔵する加速度センサなどにより取得されてもよい。
【００５９】
なお、上述した各実施形態において、テンプレート画像は、灯火の色ごとに６つ以上であってもよいし、４つ以下であってもよい。信号機認識装置１０は、比較対象のテンプレート画像を多く用いる程、信号機２０の撮像角度などもマッチングに反映させることができるため、テンプレートマッチングの精度を高めることができる。ただし、比較対象のテンプレート画像が多くなると、信号機認識装置１０の処理負荷が高くなるため、本実施形態では、灯火色ごとに５つのテンプレート画像を用意する場合について説明した。
また、上述した各実施形態において、信号機２０の点灯部の形状は、円形でなくても良い。例えば、日本国内において、歩行者用交通信号は、青色と、赤色との２つの略正方形型の点灯部を有することが一般的である。この場合、形状判定部１４４は、例えば、候補領域の縦方向の画素数と、横方向の画素数とに基づいて、候補領域が略正方形であるか否かを判定する。このように、形状判定部１４４は、判定対象の信号機２０の点灯部の形状に応じて、形状の判定方法を変更してもよい。
【００６０】
また、上述した各実施形態において、信号機２０は、上述した交通信号機２０に限られない。信号機２０は、例えば、道路工事の有無を知らせる信号機であってもよいし、駐車場の空車状況を知らせる信号機であってもよい。このように、信号機２０は、任意の場所に任意の目的で設置された発光標識であってよい。
【００６１】
また、上述した各実施形態において、信号機認識装置１０は、例えば、自動運転制御装置に用いられ、当該自動運転制御装置を積載する車両２の進路上の信号機２０を認識してもよい。
また、上述した各実施形態において、撮像画像の色は、ＨＳＶ表色系以外のフォーマットで表現されてもよい。具体的には、例えば、ＲＧＢ、ＣＭＹＫ、ＨＬＳなどの表色系が用いられてもよい。この場合、上述した色相、彩度、及び明度の色を表すパラメータによる灯火候補領域の抽出は、各表色系におけるパラメータに基づいて行われる。
【００６２】
なお、上述した各実施形態における信号機認識装置１０、撮像装置３０、及びテンプレート画像生成装置４０の一部、例えば、記憶部１１、撮像画像取得部１２、提示部１３、抽出部１４、信号機判定部１５、テンプレート画像生成部４１などをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、信号機認識装置１０、撮像装置３０、及びテンプレート画像生成装置４０に内蔵されたコンピュータシステムであって、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。
【００６３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【００６４】
また、上述した実施形態における信号機認識装置１０、撮像装置３０、及びテンプレート画像生成装置４０の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。信号機認識装置１０、撮像装置３０、及びテンプレート画像生成装置４０の各機能部は個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【００６５】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【００６６】
１…信号機認識システム、２…車両、１０…信号機認識装置、１１…記憶部、１１１…テンプレート画像記憶部、１２…撮像画像取得部、１３…提示部、１４…抽出部、１４１…色範囲抽出部、１４２…膨張収縮部、１４３…ラベリング部、１４４…形状判定部、１５…信号機判定部、２０…信号機、３０…撮像装置、３１…撮像部、４０…テンプレート画像生成装置、４１…テンプレート画像生成部
【図１】
2019139801.tif 000003
【図２】
2019139801.tif 000004
【図３】
2019139801.tif 000005
【図４】
2019139801.tif 000006
【図５】
2019139801.tif 000007
【図６】
2019139801.tif 000008
【図７】
2019139801.tif 000009
【図８】
2019139801.tif 000010
【図９】
2019139801.tif 000011
【図１０】
2019139801.tif 000012