(57)【要約】【課題】小さな情報量で地域毎に道路標識を認識できる技術を提供する。【解決手段】カメラ１２２を備える車両１０に搭載される道路標識認識装置１１０は、カメラで撮影した画像を取得する画像取得部１１１と、車両の位置を取得する車両位置取得部１１２と、地図上において地域の境界を表す境界情報を記憶する記憶部１１７と、境界情報を用いて、車両の位置が領域の内側であるか否かを判定する領域判定部１１３と、領域判定部の判定結果に応じて、道路標識の認識のために用いられる基準を切替え、基準を用いて画像から道路標識の認識を行う認識部１１４と、を備える。記憶部は、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を記憶している。【選択図】図２
2020176838.tif 000002
【特許請求の範囲】
【請求項１】
カメラ（１２２）を備える車両（１０）に搭載される道路標識認識装置（１１０）であって、
前記カメラで撮影した画像を取得する画像取得部（１１１）と、
前記車両の位置を取得する車両位置取得部（１１２）と、
地図上において地域の境界を表す境界情報を記憶する記憶部（１１７）と、
前記境界情報を用いて、前記車両の位置が前記地域の内側であるか否かを判定する領域判定部（１１３）と、
前記領域判定部の判定結果に応じて、道路標識の認識のために用いられる基準を切替え、前記基準を用いて前記画像から道路標識の認識を行う認識部（１１４）と、を備え、
前記記憶部は、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を記憶している、道路標識認識装置。
【請求項２】
請求項１に記載の道路標識認識装置であって、更に、
前記認識部が前記道路標識を認識した場合に、前記判定結果に応じた通知内容を、前記車両の運転者に通知する通知部（１１５）を備える、道路標識認識装置。
【請求項３】
請求項１または請求項２に記載の道路標識認識装置であって、
前記記憶部において、陸地上にない境界を表す境界情報は、車両が走行できない領域上に設定されている、道路標識認識装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の道路標識認識装置であって、
前記記憶部は、第１地域の境界を表す第１境界情報と、前記第１地域に隣接する第２地域の境界を表す第２境界情報と、を記憶し、
前記第１地域と前記第２地域との隣接部分を表す隣接情報は、前記第１境界情報と前記第２境界情報のいずれか一方が有する、道路標識認識装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の道路標識認識装置であって、
前記境界情報は、前記地域が島である場合に、円または楕円で前記地域の境界を表す、道路標識認識装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の道路標識認識装置であって、
前記領域判定部は、前記車両位置取得部が前記車両の位置を取得出来ない場合に、前回の判定結果を保持する、道路標識認識装置。
【請求項７】
カメラを備える車両に搭載される道路標識認識装置であって、
前記カメラで撮影した画像を取得する画像取得部と、
前記車両の位置を取得する車両位置取得部と、
地図上において地域の境界を表す境界情報を記憶する記憶部と、
前記境界情報を用いて、前記車両の位置が前記地域の内側にあるか否かを判定する領域判定部と、
取得した画像から道路標識を認識する認識部と、
前記認識部が前記道路標識を認識した場合に、前記領域判定部の判定結果に応じた通知内容を前記車両の運転者に通知する通知部と、を備え、
前記記憶部は、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界情報を記憶している、道路標識認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、道路標識認識装置に関する。
【背景技術】
【０００２】
車両周辺監視装置として、特許文献１に記載されているような、車両位置に応じて、車両に搭載されたカメラで撮像した画像を用いた対象物の判定を行うものが知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２２４６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
対象物として、道路標識（本開示では路面標示および信号機を含む。以下同じ。）を検出する場合、道路標識は国や州等の地域毎に表記が異なる場合があるため、車両位置の判定に用いる国境等の境界情報は詳細であることが好ましい。しかし、詳細な境界情報は、情報量が大きくなるおそれがある。そのため、小さな情報量で地域毎に道路標識を認識できる技術が望まれていた。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、カメラ（１２２）を備える車両（１０）に搭載される道路標識認識装置（１１０）が提供される。この道路標識認識装置は、前記カメラで撮影した画像を取得する画像取得部（１１１）と、前記車両の位置を取得する車両位置取得部（１１２）と、地図上において地域の境界を表す境界情報を記憶する記憶部（１１７）と、前記境界情報を用いて、前記車両の位置が前記領域の内側であるか否かを判定する領域判定部（１１３）と、前記領域判定部の判定結果に応じて、道路標識の認識のために用いられる基準を切替え、前記基準を用いて前記画像から道路標識の認識を行う認識部（１１４）と、を備える。前記記憶部は、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を記憶している。
【０００６】
この道路標識認識装置によれば、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を用いて、車両位置を判定し、車両位置に応じて道路標識の認識のために用いられる基準を切替え、道路標識の認識のために用いられる基準を用いて、道路標識を認識するため、小さな情報量で地域毎に道路標識を認識できる。
【図面の簡単な説明】
【０００７】
【図１】自動運転制御システムの構成の概要を示す説明図である。
【図２】境界情報の一例を示した説明図である。
【図３】複数の領域の境界情報の一例を示した説明図である。
【図４】道路標識の認識のために用いられる基準の一例を示した説明図である。
【図５】道路標識認識処理の一例を示したフローチャートである。
【図６】第２実施形態における道路標識認識処理の一例を示したフローチャートである。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
図１に示すように、車両１０は、自動運転制御システム１００を備える。本実施形態において、自動運転制御システム１００は、車両１０の自動運転を実行する。本実施形態において、自動運転制御システム１００は、道路標識認識装置１１０と、カメラ１２２と、車両位置センサ１２６と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０（Ｅｌｅｃｔｒｏｎｉｃ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０と、車載ネットワーク２５０と、を備える。道路標識認識装置１１０と、自動運転制御部２１０と、駆動力制御ＥＣＵ２２０と、制動力制御ＥＣＵ２３０と、操舵制御ＥＣＵ２４０とは、車載ネットワーク２５０を介して接続される。なお、車両１０は、自動運転に限らず運転手によって手動で運転されてもよい。
【０００９】
道路標識認識装置１１０は、制御部１１６と、記憶部１１７とを備える。制御部１１６は、画像取得部１１１と、車両位置取得部１１２と、領域判定部１１３と、認識部１１４と、通知部１１５と、を備える。制御部１１６は、中央処理装置（ＣＰＵ）や、ＲＡＭ、ＲＯＭにより構成されたマイクロコンピュータ等からなり、予めインストールされたプログラムをマイクロコンピュータが実行することによって、これらの各部の機能を実現する。ただし、これらの各部の機能の一部又は全部をハードウェア回路で実現してもよい。
【００１０】
画像取得部１１１は、カメラ１２２で撮像した画像を取得する。車両位置取得部１１２は、車両位置センサ１２６が検出した車両１０の位置である車両位置を取得する。
【００１１】
領域判定部１１３は、記憶部１１７に記憶された、地図上において地域の境界を表す境界情報、換言すると、地図上における予め定められた領域の境界を表す境界情報を用いて、車両位置取得部１１２が取得した車両位置が地域（以下、「領域」ともいう）の内側であるか否かを判定する。本実施形態において、「境界情報」は、例えば、国と国との境や、県と県との境を表す情報であり、所定の領域が陸地と接していない場合に、所定の領域が陸地と接している場合より所定の領域の単位長さ当りの境界を表す情報量が少ない。つまり、海岸線や、湖や川と接している国境線を表す情報は、陸地と接している国境線を表す情報よりも単位長さ当りの情報量が少ない。また、陸地と接していない領域における境界情報は、車両が走行できない領域上である水域上に設定されてもよい。本実施形態において「水域」とは、海、湖、川などのことをいう。本実施形態においては、境界情報は、厳密に国境や県境を表すものではなく、領域を判別するために便宜的に定められた情報である。境界情報の詳細については後述する。
【００１２】
認識部１１４は、領域判定部１１３の判定結果に応じて、道路標識の認識のために用いられる基準を切替え、道路標識の認識のために用いられる基準を用いて、画像取得部１１１が取得した画像から道路標識を認識する。「道路標識の認識のために用いられる基準」とは、領域毎に異なる道路標識の形状や色、速度表示の単位等を含む情報である。道路標識の認識のために用いられる基準の詳細については後述する。道路標識の認識のために用いられる基準は、記憶部１１７に記憶されていてもよく、車両１０に設けられた他の記憶装置に記憶されていてもよい。なお、本実施形態において「道路標識」は、路面標示および信号機を含む。
【００１３】
通知部１１５は、車両１０の運転者に対して、道路標識が認識された場合に、判定結果に応じた通知内容を通知する。通知部１１５は、例えば、ＬＥＤ等のランプ、カーナビゲーション等文字や絵を映し出す表示装置や、スピーカ等の音声装置を制御して、検出された道路標識の内容や、走行が制限される旨の通知をする。
【００１４】
記憶部１１７は、上述したように、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を記憶している。
【００１５】
カメラ１２２は、車両１０の周囲を撮影して画像を取得する。車両位置センサ１２６は、現在の車両１０の車両位置を検出する。車両位置センサ１２６として、例えば、汎地球航法衛星システム（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ（ｓ）（ＧＮＳＳ））やジャイロセンサ等が挙げられる。
【００１６】
自動運転制御部２１０は、駆動力制御ＥＣＵ２２０と制動力制御ＥＣＵ２３０と操舵制御ＥＣＵ２４０とを制御して自動運転機能を実現する。自動運転制御部２１０は、例えば、認識部１１４が認識した道路標識に応じて駆動力制御ＥＣＵ２２０および制動力制御ＥＣＵ２３０、操舵制御ＥＣＵ２４０を制御する。
【００１７】
駆動力制御ＥＣＵ２２０は、モータなど車両の駆動力を発生するアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、駆動力制御ＥＣＵ２２０は、アクセルペダルの操作量に応じてエンジンや電気モータである動力源を制御する。一方、自動運転を行う場合、駆動力制御ＥＣＵ２２０は、自動運転制御部２１０で演算された要求駆動力に応じて動力源を制御する。
【００１８】
制動力制御ＥＣＵ２３０は、車両の制動力を発生するブレーキアクチュエータを制御する電子制御装置である。運転者が手動で運転を行う場合、制動力制御ＥＣＵ２３０は、ブレーキペダルの操作量に応じてブレーキアクチュエータを制御する。一方、自動運転を行う場合、制動力制御ＥＣＵ２３０は、自動運転制御部２１０で演算された要求制動力に応じてブレーキアクチュエータを制御する。
【００１９】
操舵制御ＥＣＵ２４０は、車両の操舵トルクを発生するモータを制御する電子制御装置である。運転者が手動で運転を行う場合、操舵制御ＥＣＵ２４０は、ステアリングハンドルの操作に応じてモータを制御して、ステアリング操作に対するアシストトルクを発生させる。これにより、運転者が少量の力でステアリングを操作でき、車両の操舵を実現する。一方、自動運転を行う場合、操舵制御ＥＣＵ２４０は、自動運転制御部２１０で演算された要求操舵角に応じてモータを制御することで操舵を行う。
【００２０】
図２で示すように、領域Ａ１（イギリス）を表す境界情報は、一点鎖線で示される境界線Ｌ２と、破線で示される境界線Ｌ３と、を含む。図２において、地図上における国境線は、実線である境界線Ｌ１で示されており、境界線Ｌ１の一部と境界線Ｌ３の全部とは重なっている（ただし、図２では図示の便宜上これらはずらして表示している）。境界線Ｌ３は、境界線Ｌ１において、陸地（アイルランド、図示せず）と接している部分である。図２に示すように、境界線Ｌ２は、境界線Ｌ３よりも単位長さ当りの頂点の数が少ない。つまり、領域が陸地と接しておらず海に接しているグレートブリテン島における境界を表す境界線Ｌ２は、領域が陸地と接している北アイルランドにおける境界を表す境界線Ｌ３よりも単位長さ当りの領域の境界を表す情報量が少ない。換言すると、陸地上にない境界線Ｌ２を表す境界情報は、陸地上の境界線Ｌ３を表す境界情報よりも、単位長さ当りの情報量が少ない。また、境界線Ｌ２の頂点は水域上に設定されている。つまり、陸地と接していない領域であるグレートブリテン島における境界情報は、車両が走行できない領域である水域上に設定されている。なお、境界情報は、領域Ａ１を多角形によって表しているが、島を表す場合には、その島を内包する円または楕円によって領域の境界を表してもよい。島の境界を表す境界情報は、中心の位置と半径の情報または中心の位置と楕円の形状を表す関数の情報のみによって表すことができる。
【００２１】
図３に示すように、記憶部１１７は、第１領域Ａ（フランス）の境界を表す第１境界情報と、第１領域Ａに隣接する第２領域Ｂ（スイス）の境界を表す第２境界情報と、を記憶し、第１領域Ａと第２領域Ｂとの隣接部分ａｂを表す隣接情報は、第１境界情報と第２境界情報とのいずれか一方が有していればよい。領域Ａと領域Ｃ（イタリア）の隣接部分ａｃ、領域Ｂと領域Ｃの隣接部分ｂｃ、領域Ｂと領域Ｅの隣接部分ｂｅ、領域Ｃと領域Ｄ（スロベニア）の隣接部分ｃｄ、領域Ｄと領域Ｅ（オーストリア）の隣接部分ｄｅについても、同様である。従って、領域Ａ〜Ｆの境界を表す境界情報は、隣接部分ａｂ、ａｃ、ｂｃ、ｂｅ、ｃｄ、ｃｅ、ｄｅを表す隣接情報を重複して有さないため、記憶部１１７に記憶される情報量が少なくすむ。
【００２２】
図４には、道路標識の認識のために用いられる基準（以下、単に「基準」ともいう）として、車両位置が日本にある場合に用いられる第１基準と、車両位置がＥＵにある場合に用いられる第２基準とを示す。第１基準における道路標識Ｓ１ａは、車両進入禁止を示す道路標識である。第２基準における道路標識Ｓ１ｂは、税関や料金所があるため一時停止をすることを示す道路標識である。道路標識Ｓ１ａと道路標識Ｓ１ｂとは、どちらも、円の中に横線がある形状である。また、第１基準における道路標識Ｓ２ａは、徐行を示す道路標識である。第２基準における道路標識Ｓ２ｂは、前方優先道路を示す標識である。道路標識Ｓ１ａと道路標識Ｓ１ｂとは、どちらも、逆三角形で示される形状である。また、基準として、例えば、車両位置がカナダのケベック州である場合に用いられる基準では、赤信号は右折禁止と認識し、車両位置がカナダのケベック以外の州である場合に用いられる基準では、赤信号であっても右折可能と認識する。認識部１１４は、車両位置に応じて基準を切替えるため、その地域に即した道路標識の認識ができる。
【００２３】
図５に示す道路標識認識処理は、道路標識認識装置１１０が対象物を認識する一連の処理である。この処理は自動運転制御システム１００の動作中、道路標識認識装置１１０により繰り返し実行される処理である。まず、画像取得部１１１は、ステップＳ１００において、車両位置センサ１２６から車両位置を取得する。
【００２４】
次に、領域判定部１１３は、ステップＳ１１０において、境界情報と、ステップＳ１００で取得した車両位置と、を用いて、車両１０が走行している地域を判定する。より具体的には、領域判定部１１３は、車両位置が境界情報の表す領域の内側であるか否かを判定する。例えば、車両位置が領域Ｃ（図３に示す）内であるか否かを判定する。領域判定部１１３は、例えば、交差数判定（ｃｒｏｓｓｉｎｇ  ｎｕｍｂｅｒ  ａｌｇｏｒｉｔｈｍ）を用いて判定を行う。交差数判定は、判定対象である車両位置の座標を起点とする水平線が、領域の境界を表す多角形の辺と何回交差するかによって内外判定を行う。交差回数が奇数の場合、車両位置が領域内に存在すると判定され、交差回数が偶数の場合、車両位置が領域外に存在すると判定される。なお、領域判定部１１３は、ステップＳ１００において車両位置が取得出来なかった場合や、車両位置が領域の内外どちらに存在するか判定できなかった場合、前回道路標識認識処理を行った際の判定結果を保持してもよい。
【００２５】
続いて、認識部１１４は、ステップＳ１２０において、ステップＳ１１０で判定した地域に応じて、道路標識の認識のために用いられる基準を設定する。
【００２６】
続いて、認識部１１４は、ステップＳ１３０において、カメラ１２２が撮像した画像を取得する。なお、ステップＳ１００〜Ｓ１２０の処理と、ステップＳ１３０の処理とは、この順に限らず、任意の順序で行われることができ、並行して行われてもよい。
【００２７】
続いて、認識部１１４は、ステップＳ１４０において、ステップＳ１３０で取得した画像から道路標識を検出し、道路標識が検出されたか否かを判定する。道路標識が検出されなかった場合、道路標識認識処理を終了する。一方、道路標識が検出された場合、認識部１１４は、ステップＳ１５０において、ステップＳ１２０で設定した基準を用いて、道路標識を認識する。
【００２８】
最後に、道路標識認識装置１１０は、ステップＳ１６０において、ステップＳ１５０の認識結果を用いて運転支援を行い、道路標識認識処理を終了する。運転支援として、具体的には、通知部１１５は、認識部１１４が検出した道路標識を通知する。また、道路標識認識装置１１０は、認識道路標識が示す内容に従って走行するように自動運転制御部２１０に指示してもよい。例えば、速度制限標識が検出された場合、車両１０の走行速度を加減速する制御を行うよう自動運転制御部２１０に指示する。なお、ステップＳ１６０は省略してもよい。
【００２９】
以上で説明した本実施形態の道路標識認識装置１１０によれば、領域判定部１１３は、陸地上の境界を表す境界情報よりも、単位長さ当りの情報量が少ない、陸地上にない境界を表す境界情報を用いて、車両位置が領域の内側であるか否かを判定する。認識部１１４は、領域判定部１１３が判定した車両位置に応じて、道路標識の認識のために用いられる基準を切替え、道路標識の認識のために用いられる基準を用いて、道路標識を認識する。そのため、小さな情報量で地域毎に道路標識を認識でき、道路標識認識装置１１０が備える記憶部１１７の記憶容量を削減できる。
【００３０】
Ｂ．第２実施形態：
図６に示す第２実施形態の道路標識認識処理は、ステップＳ１２０を省略し、ステップＳ１５０およびステップＳ１６０をステップＳ１５５に換えた点が第１実施形態と異なり、他の工程は第１実施形態と同じである。第２実施形態の自動運転制御システムの構成は、第１実施形態の自動運転制御システムの構成と同一であるため、自動運転制御システムの構成の説明は省略する。
【００３１】
第２実施形態では、通知部１１５は、道路標識が検出された場合に、ステップＳ１５５において、ステップＳ１１０で判定した地域に応じて、通知内容を通知する。例えば、通知部１１５は、速度制限標識が検出された場合に、地域に応じて、速度の単位を車両位置に応じてキロメートル毎時とマイル毎時とで切替えて通知できる。
【００３２】
以上で説明した本実施形態の道路標識認識装置１１０によれば、通知部１１５は、領域判定部１１３が判定した車両位置に応じた通知内容を車両１０の運転者に通知する。そのため、車両位置における地域に即した道路標識に関する通知ができる。
【００３３】
Ｃ．その他の実施形態：
上記実施形態において、認識部１１４は、ステップＳ１２０において、領域判定部１１３の判定結果に応じて道路標識の認識のために用いられる基準を設定している。これに加えて、認識部１１４は、領域判定部１１３の判定結果に応じて道路標識の検出のために用いられる基準を設定してもよい。道路標識の検出のために用いられる基準とは、領域毎に異なる道路標識の形状や色を含む情報である。認識部１１４は、ステップＳ１４０において、道路標識の検出のために用いられる基準を用いて道路標識を検出することで、例えば、車両位置が日本でない場合には八角形の標識を検出し、車両位置が日本である場合には八角形の標識を検出しない。
【００３４】
本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態中の技術的特徴は、上述した課題を解決するために、あるいは上述の効果の一部又は全部を達成するために、適宜、差し替えや組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜削除することが可能である。
【符号の説明】
【００３５】
１０  車両、１００  自動運転制御システム、１１０  道路標識認識装置、１１１  画像取得部、１１２  車両位置取得部、１１３  領域判定部、１１４  認識部、１１５  通知部、１１６  制御部、１１７  記憶部、１２２  カメラ、１２６  車両位置センサ
【図１】
2020176838.tif 000003
【図２】
2020176838.tif 000004
【図３】
2020176838.tif 000005
【図４】
2020176838.tif 000006
【図５】
2020176838.tif 000007
【図６】
2020176838.tif 000008