(57)【要約】【課題】画像情報から信号機の信号領域をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。【解決手段】実施形態の認識装置は、車両の周囲の画像情報を取得する画像取得部と、車両の位置を示す位置情報を取得する位置取得部と、位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、認識情報に基づいて画像情報から信号機の信号の形状を示す信号形状領域を認識する認識部と、認識情報に基づいて信号形状領域が信号機の信号を示す信号領域であるか否かを判定する判定部と、を備える。【選択図】図２
2020064681.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲の画像情報を取得する画像取得部と、
前記車両の位置を示す位置情報を取得する位置取得部と、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、
を備える認識装置。
【請求項２】
前記認識情報は、信号機の信号の色を示す色情報を含み、
前記認識部は、前記色情報に基づいて前記画像情報から前記信号機の信号の色を示す信号画素を認識し、前記信号画素を複数の画素により被覆することにより、前記信号画素の領域を信号画素の膨張領域に膨張させ、前記信号画素の膨張領域をハフ変換することにより得られた画素領域を、前記信号形状領域として認識する、
請求項１に記載の認識装置。
【請求項３】
前記色情報は、（Ｙ，Ｕ，Ｖ）色空間の色情報であり、
前記画像取得部は、（Ｒ，Ｇ，Ｂ）色空間の前記画像情報を取得し、
前記認識部は、前記（Ｒ，Ｇ，Ｂ）色空間の画像情報を前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換し、前記（Ｙ，Ｕ，Ｖ）色空間の色情報に基づいて前記（Ｙ，Ｕ，Ｖ）色空間の画像情報に含まれる前記信号画素を認識する、
請求項２に記載の認識装置。
【請求項４】
前記認識情報は、前記信号領域の周辺領域の特徴を示す特徴情報を含み、
前記判定部は、前記特徴情報と、前記信号形状領域の周辺領域の特徴情報と、が類似する場合、前記信号形状領域が前記信号領域であると判定する、
請求項１に記載の認識装置。
【請求項５】
前記特徴情報は、前記信号領域の周辺領域の平均輝度の範囲を示す情報を含み、
前記判定部は、前記信号形状領域の周辺領域の平均輝度が、前記信号領域の周辺領域の平均輝度の範囲に含まれる場合、前記信号形状領域が前記信号領域であると判定する、
請求項４に記載の認識装置。
【請求項６】
前記周辺領域は、点灯していない信号を示す領域を含む、
請求項４又は５に記載の認識装置。
【請求項７】
車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置の認識方法であって、
認識装置が、前記位置情報から特定される地域の信号機を認識するための認識情報を選択するステップと、
認識装置が、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識するステップと、
認識装置が、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定するステップと、
を含む認識方法。
【請求項８】
車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、を備える認識装置を、
前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、
前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、
前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は認識装置、認識方法及びプログラムに関する。
【背景技術】
【０００２】
車載カメラを利用して、運転者を支援したり、事故発生時の映像を記憶したりする技術が従来から知られている。例えば車載カメラを利用した運転者支援技術には、障害物の回避又は衝突時の衝撃を軽減する自動ブレーキ機能、及び、先行車両との車間距離の維持等を警告する警報機能等がある。
【０００３】
また例えば特許文献１には、信号機の信号の色と、信号の形状と、を同じ被写体が撮影された２枚の画像から別々に認識することにより、精度良く画像から信号機の信号を認識する発明が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら従来の技術では、信号機の信号領域の色及び形状と類似する物体を、信号機の信号領域として誤認識する可能性があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、画像情報から信号機の信号領域をより正確に認識できる認識装置、認識方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、車両の周囲の画像情報を取得する画像取得部と、前記車両の位置を示す位置情報を取得する位置取得部と、前記位置情報から特定される地域の信号機を認識するための認識情報を選択する選択部と、前記認識情報に基づいて前記画像情報から前記信号機の信号の形状を示す信号形状領域を認識する認識部と、前記認識情報に基づいて前記信号形状領域が前記信号機の信号を示す信号領域であるか否かを判定する判定部と、を備える。
【発明の効果】
【０００７】
本発明によれば、画像情報から信号機の信号領域をより正確に認識できるという効果を奏する。
【図面の簡単な説明】
【０００８】
【図１】図１は第１実施形態の認識装置が搭載された車両の例を示す図である。
【図２】図２は第１実施形態の認識装置の構成の例を示す図である。
【図３】図３は信号機を含む画像情報の例１を示す図である。
【図４】図４は信号機を含む画像情報の例２を示す図である。
【図５】図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。
【図６】図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。
【図７】図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。
【図８】図８は第１実施形態の青信号画素の領域の例を示す図である。
【図９】図９は第１実施形態の青信号画素の膨張領域の例を示す図である。
【図１０】図１０は第１実施形態の青信号形状領域の例を示す図である。
【図１１】図１１は第１実施形態の矩形領域の例を示す図である。
【図１２】図１２は第１実施形態の周辺領域の例を示す図である。
【図１３】図１３は第１実施形態の青信号の認識結果の例を示す図である。
【図１４】図１４は第１実施形態の認識方法の例を示すフローチャートである。
【図１５】図１５は第１実施形態の画像取得部のハードウェア構成の例を示す図である。
【図１６】図１６は第２実施形態の青信号形状領域の周辺領域の例を示す図である。
【図１７】図１７は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。
【図１８】図１８は第２実施形態の青信号形状領域の周辺領域の例を示す図である。
【図１９】図１９は第２実施形態の赤信号形状領域の周辺領域の例を示す図である。
【図２０】図２０は第２実施形態の青信号形状領域の周辺領域の位置及びサイズを決定する方法の例を説明するための図である。
【発明を実施するための形態】
【０００９】
以下に添付図面を参照して、認識装置、認識方法及びプログラムの実施形態を詳細に説明する。
【００１０】
（第１実施形態）
図１は第１実施形態の認識装置１００が搭載された車両２００の例を示す図である。第１実施形態の認識装置１００は、車両２００のフロントガラスのバックミラー付近に設置される。第１実施形態の認識装置１００は、画像認識処理によって画像情報から信号機３００の信号を示す信号領域を認識する。
【００１１】
図２は第１実施形態の認識装置１００の構成の例を示す図である。第１実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。
【００１２】
画像取得部１０は、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する。画像取得部１０は当該画像情報をインタフェース部２１に入力する。画像取得部１０は、例えば車両２００の周囲を撮影するカメラである。
【００１３】
位置取得部１１は車両２００の位置を示す位置情報を取得し、当該位置情報をインタフェース部２１に入力する。位置情報は、例えばＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報、及び、車両２００の位置を示す地図の座標情報等である。
【００１４】
インタフェース部２１は、画像取得部１０から画像情報を受け付けると、当該画像情報を、認識部２４が時系列の連続画像フレームとして受け付け可能な情報形式に変換する。インタフェース部２１は情報形式が変換された画像情報を認識部２４に入力する。
【００１５】
またインタフェース部２１は、位置取得部１１から位置情報を受け付けると、当該位置情報を選択部２２に入力する。
【００１６】
選択部２２は、インタフェース部２１から位置情報を受け付けると、当該位置情報から地域を特定する。そして選択部２２は、特定された地域の信号機３００を認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する。選択部２２は当該認識情報を認識部２４及び判定部２５に入力する。
【００１７】
記憶部２３は情報を記憶する。記憶部２３は、例えば認識情報を地域毎に記憶する。信号機３００の信号の形状及び信号の色は、地域によって異なる。例えば信号機３００の形状は、地域によって横型の場合と縦型の場合とがある。
【００１８】
図３は信号機３００ａを含む画像情報の例１を示す図である。図３の例は、信号の配列が横型の場合の信号機３００ａを示す。青信号領域１０１は青信号を示す領域である。例えば日本では、横型の信号機３００ａが一般的である。
【００１９】
図４は信号機３００ｂを含む画像情報の例２を示す図である。図４の例は、信号の配列が縦型の場合の信号機３００ｂを示す。青信号領域４０１は青信号を示す領域である。例えばアメリカでは、縦型の信号機３００ｂが一般的である。なお日本でも、積雪量の多い地域では縦型の信号機３００ｂが設置されている。
【００２０】
認識情報は、位置情報から特定される地域の信号機３００を認識するための情報である。認識情報は、信号画素を判定する色情報、及び、信号形状領域の周辺領域の特徴情報を含む。信号形状領域は信号機３００の信号の形状を示す領域である。信号形状領域の周辺領域の特徴情報の説明は、表１及び図１２を参照して後述する。
【００２１】
信号画素を判定する色情報は、例えば赤信号画素を判定する閾値、青信号画素を判定する閾値、及び、黄信号画素を判定する閾値を含む。
【００２２】
赤信号画素は赤信号の色を示す画素である。赤信号画素を判定する閾値は、Ｕの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）である。この閾値は、赤信号画素の（Ｕ，Ｖ）分布に基づいて決定される。
【００２３】
図５は赤信号画素の（Ｕ，Ｖ）分布の例を示す図である。図５の例は、赤信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた赤信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｒ−ｍｉｎ及びＵｒ−ｍａｘ）及びＶの閾値（Ｖｒ−ｍｉｎ及びＶｒ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、赤信号の色でない画素を検出する可能性も高くなるので、赤信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。
【００２４】
青信号画素は青信号の色を示す画素である。青信号画素を判定する閾値は、Ｕの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）である。この閾値は、青信号画素の（Ｕ，Ｖ）分布に基づいて決定される。
【００２５】
図６は青信号画素の（Ｕ，Ｖ）分布の例を示す図である。図６の例は、青信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた青信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｂ−ｍｉｎ及びＵｂ−ｍａｘ）及びＶの閾値（Ｖｂ−ｍｉｎ及びＶｂ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、青信号の色でない画素を検出する可能性も高くなるので、青信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。
【００２６】
黄信号画素は黄信号の色を示す画素である。黄信号画素を判定する閾値は、Ｕの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）である。この閾値は、黄信号画素の（Ｕ，Ｖ）分布に基づいて決定される。
【００２７】
図７は黄信号画素の（Ｕ，Ｖ）分布の例を示す図である。図７の例は、黄信号が撮影された複数の画像サンプルの（Ｒ，Ｇ，Ｂ）色空間の画素情報から得られた黄信号画素の（Ｕ，Ｖ）分布を示す。なおＵの閾値（Ｕｙ−ｍｉｎ及びＵｙ−ｍａｘ）及びＶの閾値（Ｖｙ−ｍｉｎ及びＶｙ−ｍａｘ）の具体的な値は任意に決定してよい。しかしながら当該閾値の範囲が広すぎると、黄信号の色でない画素を検出する可能性も高くなるので、黄信号でない画素の（Ｕ，Ｖ）値と重ならないように当該閾値を設定する。
【００２８】
以下の説明では、選択部２２により、信号機３００ａ（図３参照）の信号を認識するための認識情報が選択された場合を例にして具体的に説明する。
【００２９】
図２に戻り、認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識部２４は、認識情報に基づいて信号形状領域を認識する。具体的には、まず認識部２４は、（Ｒ，Ｇ，Ｂ）色空間の画像情報を、次式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する。
【００３０】
【数１】
2020064681.tif 000003
【００３１】
次に認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる赤信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を赤信号画素と認識する。同様に、認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する。また認識部２４は（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる黄信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を黄信号画素と認識する。
【００３２】
以下、認識部２４により、青信号画素が認識された場合を例にして具体的に説明する。なお赤信号画素及び黄信号画素の場合も青信号画素の場合と同様である。
【００３３】
図８は第１実施形態の青信号画素の領域１０２の例を示す図である。図８の青信号画素の領域１０２の大きさは、実際の青信号領域１０１（図３参照）の大きさよりも小さい。すなわち図８の例は、本来、青信号の領域として認識されるべき領域が、ノイズ画素の影響により青信号画素として認識されなかった場合を示す。ノイズ画素は、撮影時の周囲の状況に起因するノイズ画素、撮像素子の特性に起因するノイズ画素、及び、撮像素子表面に付着したゴミに起因するノイズ画素等である。撮影時の周囲の状態に起因するノイズ画素は、画像取得部１０により信号機３００が撮影された際に、例えば太陽光等の光により反射していた青信号の領域の画素である。撮像素子の特性に起因するノイズ画素は、例えばランダムノイズの影響を受けた画素である。
【００３４】
図２に戻り、次に認識部２４は青信号画素の領域１０２を膨張させる膨張処理を行う。具体的には、認識部２４は青信号画素の領域１０２の画素毎に、当該画素を複数の画素により被覆することにより、青信号画素の領域１０２を青信号画素の膨張領域に膨張させる。認識部２４は、例えばｎ×ｎ（ｎは１以上の整数）のブロック画素により各画素を被覆する。例えばｎ＝７の場合、青信号画素の領域１０２の各画素を、当該画素の周囲の４８個（７×７−１）の画素を更に含む青信号画素の膨張領域に膨張させる。
【００３５】
図９は第１実施形態の青信号画素の膨張領域１０３の例を示す図である。図９の例は、認識部２４が、認識部２４により認識された青信号画素の領域１０２に、膨張処理を行ったことにより、本来の青信号の形状を示す青信号形状領域１０４を含む青信号画素の膨張領域１０３が得られた場合を示す。
【００３６】
図２に戻り、次に認識部２４は青信号の形状を示す青信号形状領域１０４の形状を認識する形状認識処理を行う。具体的には、認識部２４は、青信号画素の領域１０２をハフ（Ｈｏｕｇｈ）変換することにより、青信号画素の膨張領域１０３内で円形の画素領域を認識できるか否かを判定する。円形の画素領域を認識できる場合、認識部２４は当該円形の画素領域が信号機３００の青信号の形状を示す青信号形状領域１０４であることを認識する。
【００３７】
図１０は第１実施形態の青信号形状領域１０４の例を示す図である。図１０の例は、青信号画素の領域１０２（図８参照）がハフ変換されることにより、円形の画素領域として青信号形状領域１０４が認識された場合の例を示す。
【００３８】
図２に戻り、次に認識部２４は青信号形状領域１０４に外接する矩形領域を認識する。
【００３９】
図１１は第１実施形態の矩形領域１０５の例を示す図である。図１１の例は、認識部２４が、円形の画素領域として認識された青信号形状領域１０４に外接する矩形領域１０５を認識する場合を示す。
【００４０】
図２に戻り、次に認識部２４は矩形領域１０５を示す情報を判定部２５に入力する。
【００４１】
判定部２５は、選択部２２から認識情報を受け付け、認識部２４から矩形領域１０５を示す情報を受け付ける。判定部２５は、矩形領域１０５に内接する青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを、当該認識情報に基づいて判定する。具体的には、判定部２５は、青信号形状領域１０４の周辺領域の特徴情報と、当該認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似する場合、当該青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。
【００４２】
ここで信号領域の周辺領域の特徴を示す特徴情報の例について説明する。
【００４３】
表１は信号機３００ａの特徴情報の例を示す。
【００４４】
【表１】
2020064681.tif 000004
【００４５】
特徴情報は信号の種類毎に、位置、サイズ及び平均輝度範囲を含む。例えば青信号領域１０１の周辺領域の位置は、（Ｘ−ｘ１，Ｙ−ｙ１）である。また青信号領域１０１の周辺領域のサイズは、（Ｗ１，Ｈ１）である。ここで周辺領域の位置及びサイズについて説明する。
【００４６】
図１２は第１実施形態の周辺領域の例を示す図である。図１２は、青信号形状領域１０４の周辺領域１０６の特徴情報と、信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、を比較する場合を示す。点Ｏの座標は（Ｘ，Ｙ）である。点Ｏは、矩形領域１０５に内接する円形の画素領域（青信号形状領域１０４）の中心を示す。また点Ｐの座標は（Ｘ−ｘ１，Ｙ−ｙ１）である。周辺領域１０６は、点Ｐ、幅Ｗ１及び高さＨ１により決定される。
【００４７】
また例えば青信号領域１０１の周辺領域の平均輝度範囲は、（Ｉｍｉｎ１，Ｉｍａｘ１）である。平均輝度範囲は、例えば信号機３００ａの筐体の色に基づいて決定される。判定部２５は、周辺領域１０６に含まれる領域１０７の平均輝度を算出し、当該平均輝度が、Ｉｍｉｎ１以上かつＩｍａｘ１以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。
【００４８】
これにより例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。
【００４９】
図１３は第１実施形態の青信号の認識結果の例を示す図である。図１３の例は、図３に示す画像情報に含まれる信号機３００ａの青信号が、当該青信号領域１０１を含む矩形領域１０５として認識された場合を示す。
【００５０】
図２に戻り、判定部２５は、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力部２６に入力する。出力部２６は、判定部２５から認識結果情報を受け付けると、当該認識結果情報を出力する。認識結果情報は、例えばドライバーによる信号無視及び急発進等の危険運転の検知等の処理に使用される。
【００５１】
次に第１実施形態の認識方法について説明する。
【００５２】
図１４は第１実施形態の認識方法の例を示すフローチャートである。なお信号が青信号、黄信号及び赤信号の場合の説明は同様なので、第１実施形態の認識方法の説明では、信号が青信号である場合を例にして説明する。信号機３００ａの青信号（図３参照）を認識する場合を例にして具体的に説明する。
【００５３】
はじめに、画像取得部１０が、車両２００の周囲を撮影し、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を取得する（ステップＳ１）。次に、認識部２４が、（Ｒ，Ｇ，Ｂ）色空間により表現されたカラーの画像情報を、上述の式（１）を使用して、（Ｙ，Ｕ，Ｖ）色空間の画像情報に変換する（ステップＳ２）。
【００５４】
また、位置取得部１１が、車両２００の位置を示す位置情報を取得する（ステップＳ３）。次に、選択部２２が、位置情報により特定された地域の信号機３００ａを認識するための認識情報を、記憶部２３に記憶されている１以上の認識情報から選択する（ステップＳ４）。
【００５５】
次に、認識部２４が、（Ｙ，Ｕ，Ｖ）色空間の画像情報の（Ｕ，Ｖ）値が、認識情報に含まれる青信号画素を判定する閾値の範囲に含まれる場合、当該（Ｕ，Ｖ）値を有する画素を青信号画素と認識する（ステップＳ５）。次に、認識部２４が、ステップＳ５で認識された青信号画素の領域１０２を膨張させる（ステップＳ６）。
【００５６】
次に、認識部２４が、ステップＳ６の処理により得られた青信号画素の膨張領域１０３から青信号の形状を示す青信号形状領域１０４を認識できるか否かを判定する（ステップＳ７）。具体的には、認識部２４が、青信号画素の領域１０２をハフ変換することにより、青信号画素の膨張領域１０３内で円形の画素領域（青信号形状領域１０４）を認識できるか否かを判定する。
【００５７】
青信号形状領域１０４を認識できる場合（ステップＳ７、Ｙｅｓ）、認識処理はステップＳ８に進む。青信号形状領域１０４を認識できない場合（ステップＳ７、Ｎｏ）、認識処理を終了する。
【００５８】
次に、判定部２５が、青信号形状領域１０４の周辺領域の特徴情報と、ステップＳ４で選択された認識情報に含まれる信号機３００ａの青信号領域１０１の周辺領域の特徴情報と、が類似するか否かを判定する（ステップＳ８）。
【００５９】
類似する場合（ステップＳ８、Ｙｅｓ）、判定部２５が、ステップＳ７で認識された青信号形状領域１０４を、青信号領域１０１と判定する（ステップＳ９）。次に、出力部２６が、青信号領域１０１を含む矩形領域１０５を示す認識結果情報を出力する（ステップＳ１０）。類似しない場合（ステップＳ８、Ｎｏ）、認識処理を終了する。
【００６０】
次に第１実施形態の認識装置１００のハードウェア構成の例について説明する。
【００６１】
まず画像取得部１０のハードウェア構成の例について説明する。
【００６２】
図１５は第１実施形態の画像取得部１０のハードウェア構成の例を示す図である。第１実施形態の画像取得部１０は、撮影光学系２０１、メカシャッタ２０２、モータドライバ２０３、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）２０４、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路２０５、Ａ／Ｄ変換器２０６、タイミング信号発生器２０７、画像処理回路２０８、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）２０９、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１０、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２１２、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７を備える。
【００６３】
画像処理回路２０８、ＣＰＵ２１０、ＲＡＭ２１１、ＲＯＭ２１２、ＳＤＲＡＭ２１３、圧縮伸張回路２１４、メモリ２１５、操作部２１６及び出力Ｉ／Ｆ２１７はバス２２０を介して接続されている。
【００６４】
撮影光学系２０１は被写体が反射した光を集光する。メカシャッタ２０２は所定の時間、開くことにより、撮影光学系２０１により集光された光をＣＣＤ２０４に入射させる。モータドライバ２０３は撮影光学系２０１及びメカシャッタ２０２を駆動する。
【００６５】
ＣＣＤ２０４は、メカシャッタ２０２を介して入射した光を被写体の像として結像し、当該被写体の像を示すアナログの画像情報をＣＤＳ回路２０５に入力する。ＣＤＳ回路２０５は、ＣＣＤ２０４からアナログの画像情報を受け付けると、当該画像情報のノイズ成分を除去し、ノイズ成分が除去されたアナログの画像情報をＡ／Ｄ変換器２０６に入力する。Ａ／Ｄ変換器２０６は、ＣＤＳ回路２０５からアナログの画像情報を受け付けると、当該アナログの画像情報をデジタルの画像情報に変換する。Ａ／Ｄ変換器２０６はデジタルの画像情報を画像処理回路２０８に入力する。タイミング信号発生器２０７は、ＣＰＵ２１０からの制御信号に応じて、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６にタイミング信号を送信することにより、ＣＣＤ２０４、ＣＤＳ回路２０５及びＡ／Ｄ変換器２０６が動作するタイミングを制御する。
【００６６】
画像処理回路２０８は、Ａ／Ｄ変換器２０６からデジタルの画像情報を受け付けると、ＳＤＲＡＭ２１３を使用して、当該デジタルの画像情報の画像処理を行う。画像処理は、例えばＣｒＣｂ変換処理、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理及び色変換処理等である。ホワイトバランス制御処理は、画像情報の色の濃さを調整する画像処理である。コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整する処理である。色変換処理は、画像情報の色合いを調整する画像処理である。
【００６７】
画像処理回路２０８は上述の画像処理が行われた画像情報をＬＣＤ２０９、又は、圧縮伸張回路２１４に入力する。ＬＣＤ２０９は、画像処理回路２０８から受け付けた画像情報を表示する液晶ディスプレイである。
【００６８】
ＣＰＵ２１０はプログラムを実行することにより画像取得部１０の動作を制御する。ＲＡＭ２１１はＣＰＵ２１０がプログラムを実行するときのワーク領域、及び、各種情報の記憶等に使用される読取及び書込が可能な記憶領域である。ＲＯＭ２１２はＣＰＵ２１０により実行されるプログラム等を記憶する読取専用の記憶領域である。
【００６９】
ＳＤＲＡＭ２１３は画像処理回路２０８が画像処理を行うときに、画像処理対象の画像情報を一時的に記憶する記憶領域である。
【００７０】
圧縮伸張回路２１４は、画像処理回路２０８から画像情報を受け付けると、当該画像情報を圧縮する。圧縮伸張回路２１４は圧縮された画像情報をメモリ２１５に記憶する。また圧縮伸張回路２１４は、メモリ２１５から画像情報を受け付けると、当該画像情報を伸張する。圧縮伸張回路２１４は伸張された画像情報をＳＤＲＡＭ２１３に一時的に記憶する。メモリ２１５は圧縮された画像情報を記憶する。
【００７１】
操作部２１６は画像取得部１０のユーザからの操作を受け付ける。操作部２１６は、例えばＬＣＤ２０９に表示された画像情報をメモリ２１５に記憶する操作を受け付ける。出力Ｉ／Ｆ２１７は、画像取得部１０から画像情報を信号処理部２０に送信するためのインタフェースである。
【００７２】
なお上述の図２で説明した信号処理部２０のインタフェース部２１、選択部２２、認識部２４、判定部２５及び出力部２６は、信号処理ボード（信号処理回路）としてハードウェアにより実現しても、画像取得部１０のＣＰＵ２１０、及び、他の装置のＣＰＵ等により実行されるソフトウェア（プログラム）により実現してもよい。
【００７３】
また位置取得部１１は、例えばＧＰＳ装置により実現される。また記憶部２３は、例えば信号処理ボード上のメモリ、及び、画像取得部１０のメモリ２１５等により実現される。
【００７４】
第１実施形態の認識装置１００（ＣＰＵ２１０）で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。
【００７５】
なお第１実施形態の認識装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１実施形態の認識装置１００で実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【００７６】
また第１実施形態の認識装置１００のプログラムを、ＲＯＭ２１２等に予め組み込んで提供するように構成してもよい。
【００７７】
なお第１実施形態の認識装置１００で実行されるプログラムにより、選択部２２、認識部２４、判定部２５及び出力部２６等を実現する場合、選択部２２、認識部２４、判定部２５及び出力部２６等は、ＣＰＵ２１０がＲＯＭ２１２又は上記記憶媒体等からプログラムを読み出して実行することによりＲＡＭ２１１に実現される。
【００７８】
以上説明したように、第１実施形態の認識装置１００では、選択部２２が、位置情報から特定される地域の信号機３００を認識するための認識情報を選択する。認識部２４が、認識情報に基づいて画像情報から信号機３００の信号の形状を示す信号形状領域を認識する。そして判定部２５が、認識情報に基づいて信号形状領域が信号機３００の信号を示す信号領域であるか否かを判定する。これにより画像情報から信号機３００の信号領域をより正確に認識することができる。
【００７９】
（第２実施形態）
次に第２実施形態について説明する。第２実施形態の認識装置１００では、点灯している信号を示す領域の誤認識を防ぐために判定に使用する周辺領域が、第１実施形態とは異なる。第２実施形態の判定部２５は、点灯していない信号を示す領域を含む周辺領域を判定に使用する。第２実施形態の説明では、第１実施形態の説明と同様の説明については省略し、第１実施形態と異なる箇所について説明する。
【００８０】
第２実施形態の認識装置１００の構成は、第１実施形態の認識装置１００の構成の例（図２参照）と同じである。すなわち第２実施形態の認識装置１００は、画像取得部１０、位置取得部１１及び信号処理部２０を備える。信号処理部２０は、インタフェース部２１、選択部２２、記憶部２３、認識部２４、判定部２５及び出力部２６を備える。
【００８１】
画像取得部１０、位置取得部１１、インタフェース部２１、選択部２２、記憶部２３及び出力部２６の説明は、第１実施形態の説明と同様なので省略する。
【００８２】
認識部２４は、インタフェース部２１から画像情報を受け付け、選択部２２から認識情報を受け付ける。認識情報は、点灯している信号を示す信号画素を判定する色情報、及び、周辺領域の特徴情報を含む。第２実施形態の周辺領域は、点灯していない信号を示す領域を含む。
【００８３】
図１６は第２実施形態の青信号形状領域１０４の周辺領域５０２及び５０４の例を示す図である。図１６の例は、信号の配列が横型の信号機３００ａの場合を示す。青信号形状領域１０４は点灯している青信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５０４は、点灯していない赤信号を示す領域５０３を含む。
【００８４】
図１７は第２実施形態の赤信号形状領域５１１の周辺領域５０２及び５１６の例を示す図である。図１７の例は、信号の配列が横型の信号機３００ａの場合を示す。赤信号形状領域５１１は点灯している赤信号を示す。周辺領域５０２は、点灯していない黄信号を示す領域５０１を含む。周辺領域５１６は、点灯していない青信号を示す領域５１５を含む。
【００８５】
図１８は第２実施形態の青信号形状領域５２１の周辺領域５２４及び５２６の例を示す図である。図１８の例は、信号の配列が縦型の信号機３００ｂの場合を示す。青信号形状領域５２１は点灯している青信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５２６は、点灯していない赤信号を示す領域５２５を含む。
【００８６】
図１９は第２実施形態の赤信号形状領域５３１の周辺領域５２４及び５３６の例を示す図である。図１９の例は、信号の配列が縦型の信号機３００ｂの場合を示す。赤信号形状領域５３１は点灯している赤信号を示す。周辺領域５２４は、点灯していない黄信号を示す領域５２３を含む。周辺領域５３６は、点灯していない青信号を示す領域５３５を含む。
【００８７】
以下、図１６の場合（信号機３００ａの青信号を認識する場合）を例にして、第２実施形態の認識部２４及び判定部２５の動作について説明する。
【００８８】
認識部２４は、認識情報に基づいて、青信号形状領域１０４、周辺領域５０２及び５０４を認識する。青信号形状領域１０４の認識方法は、第１実施形態と同じなので説明を省略する。認識部２４は、青信号形状領域１０４を認識した後に、当該青信号形状領域１０４の位置との相対位置により、周辺領域５０２及び５０４の位置を決定する。なお相対位置は、信号機３００の種類等に応じて変わるため、選択部２２により選択された認識情報に含まれる特徴情報に基づいて決定される。
【００８９】
ここで青信号形状領域１０４の周辺領域５０２及び５０４の特徴を示す特徴情報の例について説明する。
【００９０】
表２は、信号機３００ａの青信号形状領域１０４の周辺領域５０２及び５０４の特徴情報の例を示す。
【００９１】
【表２】
2020064681.tif 000005
【００９２】
特徴情報は周辺領域毎に、位置、サイズ及び平均輝度範囲を含む。例えば周辺領域５０２の位置は、（Ｘ＋ｘ４，Ｙ＋ｙ４）である。ここで（Ｘ，Ｙ）は、青信号形状領域１０４の中心を示す座標である。また周辺領域５０２のサイズは、（Ｗ４，Ｈ４）である。また周辺領域５０２に関連付けられた平均輝度範囲は、（Ｉｍｉｎ４，Ｉｍａｘ４）である。この平均輝度範囲は、周辺領域５０２に含まれる点灯していない黄信号を示す領域５０１の平均輝度の範囲を示す。
【００９３】
図２０は第２実施形態の青信号形状領域１０４の周辺領域５０２の位置及びサイズを決定する方法の例を説明するための図である。はじめに、認識部２４は、第１実施形態で説明した方法で、青信号形状領域１０４を認識する。次に、認識部２４は、青信号形状領域１０４の中心の座標Ｏ（Ｘ，Ｙ）からｘ方向にｘ４、ｙ方向にｙ４だけ相対的に離れた点Ｐの座標（Ｘ＋ｘ４，Ｙ＋ｙ４）を、周辺領域５０２の位置に決定する。次に、認識部２４は、周辺領域５０２のサイズを、幅Ｗ４及び高さＨ４により決定する。
【００９４】
認識部２４は、周辺領域５０２の場合と同様にして、青信号形状領域１０４及び認識情報に基づいて周辺領域５０４の位置及びサイズを決定する。
【００９５】
判定部２５は、認識情報に含まれる特徴情報が示す平均輝度範囲に基づいて、青信号形状領域１０４が信号機３００ａの青信号を示す信号領域であるか否かを判定する。具体的には、はじめに、判定部２５は、周辺領域５０２内のハフ変換により円形の領域５０１を抽出し、周辺領域５０４内のハフ変換により円形の領域５０３を抽出する。次に、判定部２５は、円形の領域５０１の平均輝度と、円形の領域５０３の平均輝度と、を算出する。次に、判定部２５は、円形の領域５０１の平均輝度が、Ｉｍｉｎ４以上かつＩｍａｘ４以下であり、円形の領域５０３の平均輝度が、Ｉｍｉｎ５以上かつＩｍａｘ５以下である場合、青信号形状領域１０４を信号機３００ａの青信号領域１０１であると判定する。
【００９６】
なお判定部２５は、周辺領域５０２及び周辺領域５０４のいずれか一方を判定することにより、青信号形状領域１０４が、信号機３００ａの青信号領域１０１であるか否かを判定してもよい。
【００９７】
以上説明したように、第２実施形態の認識装置１００では、判定部２５が、点灯していない信号を示す領域を含む周辺領域を利用して、信号形状領域が信号領域であるか否かを判定する。
【００９８】
これにより第２実施形態の認識装置１００によれば、第１実施形態の認識装置１００と同様の効果が得られる。例えば、赤信号の色と同じ赤色の看板の一部が木の枝葉に隠れ、枝葉を介して赤色の看板が見えている部分が円形になっているような画像領域が、赤信号領域として誤認識されることを防ぐことができる。
【符号の説明】
【００９９】
１０  画像取得部
１１  位置取得部
２０  信号処理部
２１  インタフェース部
２２  選択部
２３  記憶部
２４  認識部
２５  判定部
２６  出力部
１００  認識装置
１０１  青信号領域
１０２  青信号画素の領域
１０３  青信号画素の膨張領域
１０４  青信号形状領域
１０５  矩形領域
１０６  周辺領域
１０７  周辺領域に含まれる領域
２００  車両
２０１  撮影光学系
２０２  メカシャッタ
２０３  モータドライバ
２０４  ＣＣＤ
２０５  ＣＤＳ回路
２０６  Ａ／Ｄ変換器
２０７  タイミング信号発生器
２０８  画像処理回路
２０９  ＬＣＤ
２１０  ＣＰＵ
２１１  ＲＡＭ
２１２  ＲＯＭ
２１３  ＳＤＲＡＭ
２１４  圧縮伸張回路
２１５  メモリ
２１６  操作部
２１７  出力Ｉ／Ｆ
２２０  バス
３００  信号機
４０１  青信号領域
５０１  点灯していない黄信号を示す領域
５０２  周辺領域
５０３  点灯していない赤信号を示す領域
５０４  周辺領域
５１１  点灯している赤信号を示す領域
５１５  点灯していない青信号を示す領域
５１６  周辺領域
５２１  点灯している青信号を示す領域
５２３  点灯していない黄信号を示す領域
５２４  周辺領域
５２５  点灯していない赤信号を示す領域
５２６  周辺領域
５３１  点灯している赤信号を示す領域
５３５  点灯していない青信号を示す領域
５３６  周辺領域
【先行技術文献】
【特許文献】
【０１００】
【特許文献１】特開２００９−２４４９４６号公報
【図１】
2020064681.tif 000006
【図２】
2020064681.tif 000007
【図３】
2020064681.tif 000008
【図４】
2020064681.tif 000009
【図５】
2020064681.tif 000010
【図６】
2020064681.tif 000011
【図７】
2020064681.tif 000012
【図８】
2020064681.tif 000013
【図９】
2020064681.tif 000014
【図１０】
2020064681.tif 000015
【図１１】
2020064681.tif 000016
【図１２】
2020064681.tif 000017
【図１３】
2020064681.tif 000018
【図１４】
2020064681.tif 000019
【図１５】
2020064681.tif 000020
【図１６】
2020064681.tif 000021
【図１７】
2020064681.tif 000022
【図１８】
2020064681.tif 000023
【図１９】
2020064681.tif 000024
【図２０】
2020064681.tif 000025