(57)【要約】【課題】本発明は、このような課題に鑑み、カメラ画像に基づいて表示物の表示内容を正確に判定することができる表示内容認識装置および車両制御装置を提供することを目的とする。【解決手段】本発明は、車両に搭載されるカメラによって取得されるカメラ画像に基づいて表示物の表示内容に関する候補を抽出する表示内容候補抽出部と、前記車両の走行環境を取得する走行環境取得部と、前記表示内容の候補が複数存在する場合、前記走行環境を用いて表示内容を判定する表示内容判定部と、を備える。【選択図】図１０
2018025898.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されるカメラによって取得されるカメラ画像に基づいて表示物の表示内容に関する候補を抽出する表示内容候補抽出部と、
前記車両の走行環境を取得する走行環境取得部と、
前記表示内容の候補が複数存在する場合、前記走行環境を用いて表示内容を判定する表示内容判定部と、を備える表示内容認識装置。
【請求項２】
前記表示内容判定部は、前記表示内容候補抽出部において複数の候補が抽出された場合、前記複数の候補の中から前記走行環境に適合するものを選択する、請求項１に記載の表示内容認識装置。
【請求項３】
前記表示内容候補抽出部が前記表示内容に関する候補を抽出した後に、前記走行環境取得部が走行環境を取得し、前記表示内容判定部が前記走行環境を用いて前記表示内容を判定する、請求項１に記載の表示内容認識装置。
【請求項４】
前記走行環境取得部が予め前記走行環境を取得しておき、前記表示内容候補抽出部が前記表示内容に関する候補を抽出した場合、前記表示内容判定部が前記走行環境を用いて前記表示内容を判定する、請求項１に記載の表示内容認識装置。
【請求項５】
前記表示内容判定部は、前記複数の候補が最高速度規制に該当する場合、前記走行環境として道路種別、車線数、中央分離帯有無、歩行者数、曲線半径、車線幅員、路肩幅員のうち少なくともいずれか１つを利用することを特徴とする請求項１に記載の表示内容認識装置。
【請求項６】
前記表示内容判定部は、所定の優先度に基づいて前記表示内容を判定することを特徴とする請求項１に記載の表示内容認識装置。
【請求項７】
前記所定の優先度は、最高速度規制に基づいて設定され、制限速度が低いものほど前記優先度が高く設定されることを特徴とする請求項６に記載の表示内容認識装置。
【請求項８】
前記表示内容判定部は、前記表示内容候補抽出部において抽出される候補が１つの場合、抽出された候補を判定結果として出力することを特徴とする請求項１に記載の表示内容認識装置。
【請求項９】
車両に搭載されるカメラによって取得されるカメラ画像に基づいて表示物の表示内容に関する候補を抽出する表示内容候補抽出部と、
前記車両の走行環境を取得する走行環境取得部と、
前記表示内容の候補が複数存在する場合、前記走行環境を用いて判定される表示内容に基づいて、前記車両の制御内容を決定する車両制御内容決定部と、を備える車両制御装置。
【請求項１０】
前記車両制御内容決定部は、前記複数の候補が最高速度規制に該当する場合、前記走行環境として道路種別、車線数、中央分離帯有無、歩行者数、曲線半径、車線幅員、路肩幅員のうち少なくともいずれか１つを利用することを特徴とする請求項９に記載の車両制御装置。
【請求項１１】
前記車両制御内容決定部は、所定の優先度に基づいて車両制御内容を決定することを特徴とする請求項９に記載の車両制御装置。
【請求項１２】
前記所定の優先度は、最高速度規制に基づいて設定され、制限速度が低いものほど前記優先度が高く設定されることを特徴とする請求項１１に記載の車両制御装置。
【請求項１３】
前記車両制御内容決定部は、前記表示内容候補抽出部において候補が１つ抽出された場合、抽出された候補に基づき車両制御内容を決定することを特徴とする請求項９のいずれか一項に記載の車両制御装置。
【請求項１４】
前記車両制御内容決定部は、前記走行環境に応じ自車速に関する仮想的な目標値を設定し、前記目標値に自車速が近付くように車両制御内容を決定することを特徴とする請求項９のいずれか一項に記載の車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示内容認識装置、および車両制御装置に関する。
【背景技術】
【０００２】
自動運転の実現や交通事故防止のために、道路標識や路面標示の認識や認識に応じた車両制御は重要であり、大きな関心が寄せられている。道路標識や路面標示を認識する上で、正確に認識する必要があることから、例えば特許文献１には、車載カメラ画像を解析し特定された道路標示に対し、その道路標示が道路形状と適合するかを判断することで、掠れを含んだ路面標示を正確に認識する路面標示認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４９７３７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の装置において利用される道路形状は、画像認識によって一つの認識結果が得られた場合に、この認識結果が正しいか否かを検証するために用いられており、画像認識の時点で誤った認識結果が得られた場合、道路形状を利用しても最終的に正しい判定を行うことができない。
そのため、道路標識・路面標示が遠距離に存在していた場合や、車両や木等の立体物による遮蔽等が発生していた場合等、画像認識の認識結果が誤りを含む場合において正確に路面標示を認識できない。
【０００５】
本発明は、このような課題に鑑み、カメラ画像に基づいて表示物の表示内容を正確に判定することができる表示内容認識装置および車両制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、車両に搭載されるカメラによって取得されるカメラ画像に基づいて表示物の表示内容に関する候補を抽出する表示内容候補抽出部と、前記車両の走行環境を取得する走行環境取得部と、前記表示内容の候補が複数存在する場合、前記走行環境を用いて表示内容を判定する表示内容判定部と、を備える。
【発明の効果】
【０００７】
本発明によれば、カメラ画像に基づいて表示物の表示内容を正確に判定することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明に係る第１実施形態の表示内容認識装置の構成を示す機能ブロック図である。
【図２】図１に開示した実施形態における表示内容候補の抽出方法に関する説明図である。
【図３】図１に開示した実施形態における表示内容の判定方法に関する説明図である。
【図４】一般道における最高速度制限の交通基準の一例を示す図である。
【図５】高速道路における最高速度制限の交通基準の一例を示す図である。
【図６】図４の交通基準に基づき推定された表示内容候補の確からしさの一例を示す図である。
【図７】図５の交通基準に基づき推定された表示内容候補の確からしさの一例を示す図である。
【図８】制限速度に関する所定の優先度の一例を示す図である。
【図９】図１に開示した実施形態における表示内容認識装置の動作の一例を示すフローチャートである。
【図１０】図１に開示した実施形態における表示内容認識装置の動作の一例を示すフローチャートである。
【図１１】図１に開示した実施形態における表示内容認識装置の動作の一例を示すフローチャートである。
【図１２】本発明に係る第２実施形態の車両制御装置の構成を示す機能ブロック図である。
【図１３】図１２に開示した実施形態における車両制御信号の決定方法に関する説明図である。
【図１４】図１２に開示した実施形態における車両制御装置の動作の一例を示すフローチャートである。
【図１５】図１２に開示した実施形態における車両制御装置の動作の一例を示すフローチャートである。
【図１６】図１２に開示した実施形態における車両制御装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下に、本発明の実施形態について詳細に説明する。
【実施例１】
【００１０】
図１は、実施例１の表示内容認識装置の構成を示す機能ブロックである。本実施例の表示内容認識装置は、カメラ画像に基づいて表示物（具体的には、道路標識・路面標示）の表示内容を認識する表示内容候補抽出部１０１と、自車の走行環境を取得する走行環境取得部１０２と、前記表示内容候補抽出部１０１で抽出された表示内容の候補と前記走行環境取得部１０２で取得した走行環境に基づいて前記表示内容を判定する表示内容判定部１０３とを備えている。
【００１１】
表示内容候補抽出部１０１では、まず、取得した画像に対し、画像中のどの部分に道路標識・路面標示が写っているかその領域を特定する。その後、特定した領域に対し、道路標識・路面標示の表示内容に関する候補を抽出する。
【００１２】
領域の特定では例えば、認識する対象が円形の道路標識であれば、画像中のエッジを検出し、取得したエッジを利用したハフ変換を行い、画像中の標識位置を特定させても良い。また、画素の濃淡情報などを利用したMSERアルゴリズムなどで置き換えても良い。
【００１３】
特定された領域に対する表示内容候補の抽出では、まず、特定された領域に対し、各認識対象の表示内容に関する確からしさを求める。確からしさの計算として例えば、各認識対象のテンプレートを多数準備しておき、テンプレートと候補領域との相関を利用しても良いし、機械学習に基づき認識対象の統計的なモデルを作成し、その統計モデルとの相関を利用しても良い。次に、表示内容候補抽出部１０１は、各認識対象の確からしさが、所定の閾値以上であるかを確認し、閾値以上の認識対象を表示内容の候補とし、確からしさと対応した道路標識・路面標示種別を出力する。
【００１４】
図２を用いて、表示内容候補抽出部１０１の表示内容候補の抽出手続きを説明する。例えば、図２のケース１に示す結果がテンプレート、または統計モデルを用いて取得された場合、所定の閾値(図２中のＳ２０１)以上となる認識対象は、80km/h最高速度規制(図中のＳ２０２)のみであるため、出力として80km/h最高速度規制とその確からしさを出力する。
【００１５】
図２のケース２に示す結果が取得された場合、所定の閾値(図２中のＳ２０３)以上となる認識対象は、30km/h最高速度規制(図中のＳ２０４)と80km/h最高速度規制(図中のＳ２０５)であるため、出力として30km/h最高速度規制、および80km/h最高速度規制とそれぞれの確からしさを出力する。
【００１６】
図２のケース３に示す結果が取得された場合、所定の閾値(図２中のＳ２０６)以上となる認識対象は１つもないため、表示内容の候補を出力しない。
【００１７】
上記で説明した表示内容候補の抽出方法は、絶対的な閾値を1つ用いたものであったが、異なる基準に基づいていても良い。例えば、相対的な閾値として、最も確からしさが大きい認識対象の確からしさを基準とし、その値と確からしさの差が所定値以下の認識対象を表示内容の候補としても良い。
【００１８】
上述した表示内容候補抽出部１０１の出力は、閾値条件を満たす認識対象の表示内容であったが、閾値条件を満たさない候補を抽出しても良い。つまり、この場合の出力は、全認識対象の確からしさと、閾値条件を満たす表示内容の候補数である。
【００１９】
走行環境取得部１０２では、カメラ画像、車速情報、カーナビに登録された地図情報のうち、少なくとも１つを用いて自車周辺の走行環境を取得する。ここで、走行環境とは、高速道路、一般道、車線数、歩行者数、中央分離帯の有無、曲線半径・車線幅員・路肩幅員等の道路形状など道路標識・路面標示の設置基準に関わる情報である。
【００２０】
カメラ画像を用いて自車が走行している道路が高速道路か一般道かを判定する方法としては、高速道路の出入り口に設置されるゲート画像をテンプレートとして持って置き、そのテンプレートを利用したテンプレートマッチングを行ってもよいし、高速道路には基本的には歩行者が存在しないため歩行者認識と歩行者数の両方の情報を利用して、現在の走行している道路が高速道路、または一般道であるかという情報を取得しても良い。
【００２１】
カメラ画像を用いて車線数、中央分離帯、歩行者数を取得する方法としては、例えばそれぞれ、白線テンプレート、中央分離帯テンプレート、歩行者テンプレートを多数準備しておき、これらテンプレートを用いたテンプレートマッチングにより車線数、中央分離帯、歩行者数を取得しても良いし、機械学習を用いた統計的な方法によりそれぞれの情報を取得しても良い。
【００２２】
カメラ画像を用いて道路形状を取得する方法としては、毎フレーム取得される画像を用いて三角測量を行い、自車周辺の三次元地図を作成しても良いし、白線検知を行いその結果に基づき道路形状情報を取得しても良い。
【００２３】
先の説明はカメラ画像に基づく走行環境の取得方法に関するが、車速を利用する場合、現在までの車速情報を利用して走行道路が高速道路か一般道かを判定しても良い。この方法では例えば、現在に至る所定の時間以上の間、車速が80km/h以上であった場合に、走行道路が高速道路であると判定し、現在の走行道路が高速道路であるという走行環境情報を取得する。また、この条件を満たさない場合に対し、走行道路が一般道であるという情報を取得しても良い。
【００２４】
カーナビの地図情報を用いて走行環境を取得する場合には、自車位置を基準に地図に記載の車線数や道路形状情報等を読み出し、利用する。
【００２５】
走行環境取得部１０３では、表示内容候補抽出部１０１の出力と走行環境取得部１０２で取得された走行環境情報を利用し、画像中の道路標識・路面標示の表示内容を判定する。図３を用いて、走行環境取得部１０３の処理を詳細に説明する。
【００２６】
図３は、表示内容候補抽出部１０１と走行環境取得部１０２の出力例を示している。図３のケース１は、表示内容候補抽出部１０１が30km/h最高速度制限と80km/h最高速度制限を表示内容の候補として抽出し、走行環境取得部２０２が自車の走行路は高速道路であるという走行環境を取得していた場合を表している。この際、表示内容判定部１０３は30km/h最高速度規制標識は高速道路に設置されることがないため、画像に撮影された道路標識は80km/h最高速度規制標識であると判定する。
【００２７】
図３のケース２は、表示内容候補抽出部１０１が30km/h最高速度制限と80km/h最高速度制限を表示内容の候補として抽出し、走行環境取得部２０２が自車の走行路は一般道であるという走行環境を取得していた場合である。この際、表示内容判定部１０３は80km/h最高速度規制標識は一般道に設置されることがないため、画像に撮影された道路標識は30km/h最高速度規制標識であると判定する。
【００２８】
図３のケース３は、表示内容候補抽出部１０１が30km/h最高速度制限と60km/h最高速度制限を表示内容の候補として抽出し、走行環境取得部２０２が自車の走行路は一般道であるという走行環境を取得していた場合である。この際、30km/h最高速度制限と60km/h最高速度制限はともに一般道に設置される可能性があることから、表示内容判定部１０３は、表示内容候補抽出部１０１が出力する確からしさを参照し、より確からしさが大きい30km/h最高速度制限を表示内容として判定する。
【００２９】
このように、本実施例によれば、道路標識・路面標示が遠距離に存在していた場合や、車両や木等の立体物による遮蔽等が発生していた場合等、画像認識の認識結果が誤りを含む場合において、表示内容候補として複数の候補を抽出し、それら候補のうち走行環境に適合するものを選択することで、道路標識・路面標示の表示内容を精度高く認識することができる。また、上述の通り、本実施例は走行環境に応じ認識結果が変化することを特徴としており、異なる走行環境において、同一の道路標識・路面標示をカメラにより撮影した場合、異なる認識結果が出力される。
【００３０】
本実施例において表示内容認識部１０３は、表示内容候補抽出部１０１で抽出した候補のうち、走行環境取得部１０２で取得した走行環境に適合するものを選択していたが、走行環境取得部１０２が取得した走行環境を、交通基準を基に自車周辺に設置される道路標識・路面標示の確からしさに変換し、その結果と表示内容候補抽出部１０１の結果を統合し、表示内容を判定する以下で説明する構成に変えても良い。
【００３１】
交通基準の例を図４、および図５に示す。図４、および図５はそれぞれ一般道、および高速道路の制限速度に関する規制基準である。例えば、走行環境取得部１０２で現在の道路種別が一般道であり、車線数２、歩行者交通量が多いという走行環境情報が取得された場合、図４の交通基準を利用し、走行環境に基づく表示内容に関する確からしさとして図６を計算する。また、走行環境取得部１０２で現在の道路種別が高速道路であり曲線半径が５００ｍ、車線幅員が４ｍ、路肩幅が２ｍという情報が取得されていた場合、曲線半径、車線幅員、路肩幅に関するそれぞれの情報を図５の交通基準を基に統合し、走行環境に基づく表示内容に関する確からしさとして図７を計算する。その後、表示内容候補抽出部１０１の出力と図６または図７に示した結果を表示内容毎に和または積の演算を行い、最も確からしい表示内容を判定結果とする。
【００３２】
このようにすることで、取得した走行環境に基づき、表示内容毎に異なる確からしさを考慮でき、オクルージョン等で道路標識・路面標示が一部のみしか写っていない場面に対しても、走行環境を基準に表示内容を判定できるようになる。
【００３３】
表示内容候補判定部１０３は、表示内容候補抽出部１０１の結果と走行環境取得部１０２の結果だけでなく、所定の優先度を考慮し結果を確定させても良い。例えば、図８に示すような優先度を事前に設定しておき、表示内容候補抽出部１０１の確からしさに図９の優先度を足す、もしくは表示内容候補抽出部１０１の確からしさと走行環境取得部１０２で取得した走行環境から計算された確からしさに図９の優先度を足し、最も確からしさが大きい表示内容を判定しても良い。
【００３４】
このようにすることで、優先度として安全性を考慮していた場合、安全性を考慮した表示内容の判定を行うことができる。
【００３５】
図９は、本実施例の表示内容認識装置の動作を表すフローチャートである。
【００３６】
本実施例の表示内容認識装置では初めに、表示内容候補抽出部１０１が画像処理を行い画像中の道路標識・路面標示の内容に関する候補を抽出する(図９の表示内容候補抽出処理Ｓ９０１)。その後、走行環境取得部１０２が高速道路、一般道、車線数、歩行者数、道路形状等の走行環境を取得する(図９の表示内容候補抽出処理Ｓ９０２)。そして、表示内容判定部１０３が抽出された候補の内、走行環境に適合するものを選択する(図９の表示内容候補抽出処理Ｓ９０３)。
【００３７】
図９では、表示内容候補の抽出(図９の表示内容候補抽出処理Ｓ９０１)が行われた場合、必ず走行環境を取得していたが(図９の表示内容候補抽出処理Ｓ９０２)、図１０に示すように、表示内容候補の抽出において複数の候補が抽出された場合にのみ、走行環境を取得しても良い。
【００３８】
図１０に示すように、まず、表示内容候補抽出部１０１が画像処理を行い、画像中の道路標識・路面標示の内容に関する候補を抽出する(図１０の表示内容候補抽出処理Ｓ１０１)。その後、候補数を確認の上、候補数が複数の場合には、走行環境取得部１０２は走行環境を取得し(図１０のＳ１０３)、表示内容判定部１０３は表示内容候補抽出部１０１と走行環境取得部１０２の出力に基づき、道路標識・路面標示の表示内容を判定する(図１０のＳ１０４)。また、候補数が１つだけであった場合には、表示内容判定部１０３は表示内容候補抽出部１０１の結果のみに基づき、道路標識・路面標示の表示内容を判定する(図１０のＳ１０４)。また、候補数が０であった場合には、道路標識・路面標示の表示内容を判定しない。
【００３９】
こうすることで、画像認識のみで道路標識・路面標示を正確に認識できる場合に対し、走行環境を取得しないですむため、無駄な処理時間を削減できる。また、この処理により、自車周辺に標識が存在し画像認識のみで表示内容を確定できる場合に対しては、走行環境を変化させても認識結果が変化しない。
【００４０】
図９、および図１０で示したフローチャートではともに、まず表示内容候補抽出部１０１が画像中の道路標識・路面標示の内容に関する候補を抽出し、その後走行環境取得部２０２が走行環境を取得していた。しかし、図１１に示すように走行環境取得部２０２が走行環境を取得し、その後表示内容候補抽出部１０１が画像中の道路標識・路面標示の内容に関する候補を抽出するような処理にしても良い。
【００４１】
図１１に示す処理では初めに、走行環境取得部１０２が走行環境を取得する(図１１中の走行環境取得処理Ｓ１１1)。次に、表示内容候補抽出部１０１で道路標識・路面標示の内容に関する候補を抽出する(図１１中の走行環境取得処理Ｓ１１２)が、この際には走行環境取得部１０２で取得した走行環境を満たす候補のみを抽出する。例えば、走行環境取得部１０２で歩行者数が非常に多いという情報が取得されていた場合には、自車は一般道を走行していると判断し、高速道路で設置される80km/h以上の最高速度規制標識を抽出しない。その後、表示内容判定部１０３が表示内容候補で抽出された候補を選択することで、画像中の道路標識・路面標示の表示内容を特定する。
【００４２】
このようにすることで、表示内容候補抽出部１０１がテンプレートマッチングにより候補を抽出していた場合、抽出する候補数を限定することができるためテンプレートマッチングを行う回数を限定することができ、処理時間の短縮を図ることができる。
【実施例２】
【００４３】
次に、本発明の実施例２について述べる。
【００４４】
図１２は、本実施例の表示内容認識装置の構成を示す機能ブロックである。本実施例の表示内容認識装置は、カメラ画像に基づいて表示物の表示内容に関する候補を抽出する表示内容候補抽出部２０１と、自車の走行環境を取得する走行環境取得部２０２と、前記表示内容候補抽出部２０１で抽出された表示内容の候補と前記走行環境取得部２０２で取得した走行環境に基づいて車両制御内容を決定する車両制御内容決定部２０３とを備えている。
【００４５】
表示内容候補抽出部２０１では、まず、取得した画像に対し、画像中のどの部分に道路標識・路面標示が写っているかその領域を特定する。その後、特定した領域に対し、道路標識・路面標示の表示内容に関する候補を抽出する。
【００４６】
走行環境取得部２０２では、カメラ画像、車速情報、カーナビに登録された地図情報のうち、少なくとも１つを用いて、高速道路、一般道、車線数、歩行者数、中央分離帯の有無、曲線半径・車線幅員・路肩幅員等の道路形状など道路標識・路面標示の設置基準に関わる自車周辺の走行環境を取得する。
【００４７】
車両制御内容決定部２０３では、表示内容候補抽出部２０１と走行環境取得部２０２の出力を入力とし、車両の制御内容を確定させる。車両制御内容決定部２０３の車両制御内容の決定方法を、図１３を用いて説明する。図１３は、現在の車速と表示内容候補抽出部２０１、および走行環境取得部２０２の出力を示している。
【００４８】
図１３中のケース１は、表示内容候補抽出部２０１で30km/h最高速度規制標識と80km/h最高速度規制標識の2つの候補が抽出され、走行環境として高速道路が取得された際の自車速が100km/hであることを表している。この時、制御内容候補抽出部は、高速道路に30km/h最高速度標識が設置されることがないことから、画像中の道路標識が80km/h最高速度標識であると判定を行い、現在の車速100km/hを80km/hに落とすためのブレーキ制御信号を確定させる。
【００４９】
図１３中のケース２は、表示内容候補抽出部２０１で30km/h最高速度規制標識と80km/h最高速度規制標識の2つの候補が抽出され、走行環境として一般道という情報が取得された際、自車速が50km/hであることを表している。この時、制御内容候補抽出部は、一般道に80km/h最高速度標識が設置されることがないことから、画像中の道路標識が30km/h最高速度標識であると判定を行い、現在の車速50km/hを30km/hに落とすためのブレーキ制御信号を確定させる。
【００５０】
図１３中のケース３は、表示内容候補抽出部２０１で30km/h最高速度規制標識と60km/h最高速度規制標識の2つの候補が抽出され、走行環境として一般道という情報が取得された際、自車速が50km/hであることを表している。この時、制御内容候補抽出部は、30km/h最高速度制限と60km/h最高速度制限はともに一般道に設置される可能性があることから、車両制御内容決定部２０３は、表示内容候補抽出部２０１が出力する確からしさを参照し、現在の車速50km/hをより確からしさが大きい30km/hに落とすためのブレーキ制御信号を確定させる。
【００５１】
このように、本実施例によれば、画像認識だけでは認識結果が曖昧であり、車両制御信号を確定できない時においても、走行環境を利用することで車両制御信号を生成することができる。
【００５２】
本実施例において車両制御内容決定部２０３は、表示内容候補抽出部２０１で抽出した候補のうち、走行環境取得部２０２で取得した走行環境に適合するものを基に車両制御信号を決定していたが、走行環境取得部２０２が取得した走行環境を、交通基準を基に自車周辺に設置される道路標識・路面標示の確からしさに変換し、その結果と表示内容候補抽出部２０１の結果を統合し、車両制御内容を決定する以下で説明する構成に変えても良い。
【００５３】
例えば、走行環境取得部２０２で現在の道路種別が一般道であり、車線数２、歩行者交通量が多いという走行環境情報が取得された場合、図４の交通基準を利用し、走行環境に基づく表示内容に関する確からしさとして図６を計算する。また、走行環境取得部２０２で現在の道路種別が高速道路であり曲線半径が５００ｍ、車線幅員が４ｍ、路肩幅が２ｍという情報が取得されていた場合、曲線半径、車線幅員、路肩幅に関するそれぞれの情報を図５の交通基準を基に統合し、走行環境に基づく表示内容に関する確からしさとして図７を計算する。その後、表示内容候補抽出部２０１の出力と図６または図７に示した結果を表示内容毎に和または積の演算を行い、最も確からしい表示内容を基準に車両制御内容を決定する。
【００５４】
このようにすることで、取得した走行環境に基づき、表示内容毎に異なる確からしさを考慮でき、オクルージョン等で道路標識・路面標示が一部のみしか写っていない場面に対しても、走行環境を基準に車両制御内容を決定できるようになる。
【００５５】
車両制御内容決定部２０３は、所定の優先度に基づき結果を確定させても良い。例えば、図９に示すような優先度を事前に設定しておき、両者を区別できないときには優先度の高い候補に基づき車両制御内容を確定する。
【００５６】
このようにすることで、優先度として安全性を考慮していた場合、安全性を考慮した車両制御信号を生成することができる。
【００５７】
図１４は、本実施例の車両制御装置の動作を表すフローチャートである。
【００５８】
本実施例の車両制御装置では初めに、表示内容候補抽出部２０１が画像処理を行い画像中の道路標識・路面標示の内容に関する候補を抽出する(図１４の表示内容候補抽出処理Ｓ１４１)。その後、走行環境取得部２０２が走行環境を取得する(図１４の表示内容候補抽出処理Ｓ１４２)。そして、車両制御内容決定部２０３が表示内容候補抽出部２０１と走行環境取得部２０２の結果を基に車両制御信号を確定させる(図１４の車両制御内容決定処理Ｓ１４３)。
【００５９】
図１４では、表示内容候補の抽出(図１４の表示内容候補抽出処理Ｓ１４１)が行われた場合、必ず走行環境を取得していたが(図１４の表示内容候補抽出処理Ｓ１４２)、図１５に示すように、表示内容候補の抽出において複数の候補が抽出された場合にのみ、走行環境を取得しても良い。
【００６０】
図１５に示すように、まず、表示内容候補抽出部２０１が画像処理を行い画像中の道路標識・路面標示の内容に関する候補を抽出する(図１５の表示内容候補抽出処理Ｓ１５１)。次に、道路標識・路面標示の内容に関する候補数を取得する。そして、この候補数に基づき、走行環境を取得するか否かを決定する(図１５のＳ１５２)。候補数が複数の場合には、走行環境取得部２０２は走行環境を取得し(図５のＳ１５３)、表示内容候補抽出部２０１と走行環境取得部２０２の出力に基づき、車両制御内容を確定する(図１５のＳ１５４)。また、候補数が１つだけであった場合には、表示内容候補抽出部２０１の結果のみに基づき、車両制御内容を確定する(図１５のＳ１５４)。候補数が１つもない場合には、制御内容を確定しない。
【００６１】
こうすることで、画像認識のみで道路標識・路面標示を正確に認識できる場合に対し、冗長な走行環境を取得しないですむため、処理時間を削減することができる。
【００６２】
図１４、および図１５で示したフローチャートではともに、まず表示内容候補抽出部２０１が画像中の道路標識・路面標示の内容に関する候補を抽出し、その後走行環境取得部２０２が走行環境を取得していた。しかし、図１６に示すように走行環境取得部２０２が走行環境を取得し、その後表示内容候補抽出部２０１が画像中の道路標識・路面標示の内容に関する候補を抽出するような処理にしても良い。
【００６３】
図１６に示す処理では初めに、走行環境取得部２０２が走行環境を取得する(図１６中の走行環境取得処理Ｓ１６1)。次に、表示内容候補抽出部２０１で道路標識・路面標示の内容に関する候補を抽出する(図１６中の走行環境取得処理Ｓ１６２)が、この際には走行環境取得部２０２で取得した走行環境を満たす候補のみを抽出する。その後、車両制御内容決定部２０３が車両制御内容を決定する。
【００６４】
上述したように車両制御内容決定部２０３は、画像中の道路標識・路面標示の表示内容に基づき車両制御を行う。しかし、画像中の道路標識・路面標示の表示内容ではなく、仮想的な目標値を設定し、それに従うように車両制御信号を作成してもよい。例えば、自車速が40km/hであった際に、画像中の道路標識の表示内容が50km/h最高速度規制だと判定されていたとする。また、この時、走行環境取得部において、自車周辺に非常に多くの歩行者がいるという情報が取得された場合、自車速の目標値として例えば20km/hを設定し、車両制御内容として40km/hの車速を20km/hに近付けるようなブレーキ信号を生成しても良い。
【００６５】
このようにすることで、道路標識・路面標示の表示内容だけに依存するのではなく、周囲の走行環境に応じ適切な車両制御を実現することができる。
【００６６】
以上、実施例１および２を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。特に、上記実施形態では道路標識のうち最高速度制限標識の認識に特に詳しく説明したが、本願発明の認識対象は最高速度制限標識に限定しておらず、他の道路標示、および他の道路標識も認識対象としている。これら他の種別を認識対象とする際には、設置基準を加味した走行環境を取得することで、本願発明を実施できる。例えば、歩行者用道路標識、大型自動車等通行止め標識、横断歩道路面標示は、歩行者の情報を走行環境として取得することで、表示内容の認識に利用することができる。
【００６７】
本願発明の構成や詳細には、本願発明のスコープ内で当事者が理解し得る様々な変更を加えることができる。
【符号の説明】
【００６８】
１０１、２０１  表示内容候補抽出部
１０２、２０２  走行環境取得部
１０３  表示内容判定部
２０３  車両制御内容決定部
【図１】
2018025898.tif 000003
【図２】
2018025898.tif 000004
【図３】
2018025898.tif 000005
【図４】
2018025898.tif 000006
【図５】
2018025898.tif 000007
【図６】
2018025898.tif 000008
【図７】
2018025898.tif 000009
【図８】
2018025898.tif 000010
【図９】
2018025898.tif 000011
【図１０】
2018025898.tif 000012
【図１１】
2018025898.tif 000013
【図１２】
2018025898.tif 000014
【図１３】
2018025898.tif 000015
【図１４】
2018025898.tif 000016
【図１５】
2018025898.tif 000017
【図１６】
2018025898.tif 000018