(57)【要約】【課題】車両が進行可能な方向を検出できる進行可能方向検出装置を提供する。【解決手段】進行可能方向検出装置は、車両１０に搭載された撮像部２から得られる画像を、信号機の表示状態に応じて車両１０を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習された識別器に入力することで、画像に表された信号機の表示状態に応じた相対方位ごとの進行可能確信度を算出する進行可能確信度算出部３１と、相対方位ごとの進行可能確信度に基づいて、車両が進行可能な方向を決定する進行可能方向決定部３２とを有する。【選択図】図３
2020067896.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された撮像部から得られる画像を、信号機の表示状態に応じて前記車両を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習された識別器に入力することで、前記画像に表された信号機の表示状態に応じた前記相対方位ごとの進行可能確信度を算出する進行可能確信度算出部と、
前記相対方位ごとの前記進行可能確信度に基づいて、前記車両が進行可能な方向を決定する進行可能方向決定部と、
を有する進行可能方向検出装置。
【請求項２】
前記識別器は、地域ごとの信号機の表示の特徴に応じて前記相対方位ごとの進行可能確信度を算出するように予め学習され、前記進行可能確信度算出部は、前記画像とともに、前記車両が位置する地域を表す情報を前記識別器に入力する、請求項１に記載の進行可能方向検出装置。
【請求項３】
前記進行可能確信度算出部は、前記信号機が複数の灯器を有する場合に、前記複数の灯器のうちの点灯している灯器のそれぞれについて前記相対方位ごとの前記進行可能確信度を算出し、
前記進行可能方向決定部は、点灯している前記灯器のそれぞれについて、所定の閾値以上となる前記進行可能確信度が算出された前記相対方位を、前記車両が進行可能な方向とする、請求項１または２に記載の進行可能方向検出装置。
【請求項４】
車両に搭載された撮像部から得られる画像を、信号機の表示状態に応じて前記車両を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習された識別器に入力することで、前記画像に表された信号機の表示状態に応じた前記相対方位ごとの進行可能確信度を算出し、
前記相対方位ごとの前記進行可能確信度に基づいて、前記車両が進行可能な方向を決定する、
進行可能方向検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲の画像に基づいて車両が進行可能な方向を検出する進行可能方向検出装置及び進行可能方向検出方法に関する。
【背景技術】
【０００２】
従来より、車両を自動運転制御するための技術が研究されている。車両を自動運転制御するためには、その車両が走行する道路に設けられた交通信号機（以下、単に信号機と呼ぶ）が車両の通行を許可しているか、あるいは通行を制限しているかを自動的に判断することが求められる。そこで、車両に搭載されたカメラにより得られた画像から信号機を検出する技術が提案されている（例えば、特許文献１、非特許文献１及び２を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８，５５９，６７３号明細書
【非特許文献】
【０００４】
【非特許文献１】Nathaniel Fairfield他、「Traffic Light Mapping and Detection」、2011 IEEE International Conference on Robotics and Automation、2011年
【非特許文献２】Self-Driving Cars: Implementing Real-Time Traffic Light Detection and Classification in 2017、https://codeburst.io/self-driving-cars-implementing-real-time-traffic-light-detection-and-classification-in-2017-7d9ae8df1c58、2015年
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、信号機にはさまざまな種類が有り、信号機の発光色だけでは、車両が進行可能な方向を判断できないことがある。例えば、斜め方向を向いた矢印を表示する信号機、または、対向車の有無といった周囲環境に応じて車両が進行可能か否かが異なる信号機について、上記の技術では、車両が進行可能な方向を適切に判断できないことがある。
【０００６】
そこで、本発明は、車両が進行可能な方向を検出できる進行可能方向検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、進行可能方向検出装置が提供される。この進行可能方向検出装置は、車両に搭載された撮像部から得られる画像を、信号機の表示状態に応じて車両を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習された識別器に入力することで、画像に表された信号機の表示状態に応じた相対方位ごとの進行可能確信度を算出する進行可能確信度算出部と、相対方位ごとの進行可能確信度に基づいて、車両が進行可能な方向を決定する進行可能方向決定部とを有する。
【０００８】
この進行可能方向検出装置において、識別器は、地域ごとの信号機の表示の特徴に応じて相対方位ごとの進行可能確信度を算出するように予め学習され、進行可能確信度算出部は、画像とともに、車両が位置する地域を表す情報を識別器に入力することが好ましい。
【０００９】
また、この進行可能方向検出装置において、進行可能確信度算出部は、信号機が複数の灯器を有する場合に、複数の灯器のうちの点灯している灯器のそれぞれについて相対方位ごとの進行可能確信度を算出し、進行可能方向決定部は、点灯している灯器のそれぞれについて、所定の閾値以上となる進行可能確信度が算出された相対方位を、車両が進行可能な方向とすることが好ましい。
【００１０】
本発明の他の実施形態によれば、進行可能方向検出方法が提供される。この進行可能方向検出方法は、車両に搭載された撮像部から得られる画像を、信号機の表示状態に応じて車両を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習された識別器に入力することで、画像に表された信号機の表示状態に応じた相対方位ごとの進行可能確信度を算出し、相対方位ごとの進行可能確信度に基づいて、車両が進行可能な方向を決定する、ことを含む。
【発明の効果】
【００１１】
本発明に係る進行可能方向検出装置は、車両が進行可能な方向を検出できるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】進行可能方向検出装置が実装される車両制御システムの概略構成図である。
【図２】進行可能方向検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。
【図３】進行可能方向検出処理を含む車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。
【図４】識別器として利用されるＤＮＮの構成の一例を示す図である。
【図５】識別器により出力される、車両の直進方向に対する相対方位ごとの進行可能確信度を表す模式図である。
【図６】図４に示される識別器の学習に利用される教師画像の一例を示す図である。
【図７】（ａ）及び（ｂ）は、それぞれ、図４に示される識別器の学習に利用される教師画像の他の一例を示す図である。
【図８】（ａ）及び（ｂ）は、それぞれ、図４に示される識別器の学習に利用される教師画像のさらに他の一例を示す図である。
【図９】車両が進行可能な相対方位の検出結果の一例を示す図である。
【図１０】進行可能方向検出処理を含む車両制御処理の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図を参照しつつ、進行可能方向検出装置について説明する。この進行可能方向検出装置は、車両に搭載されたカメラにより得られた車両周囲の画像を識別器に入力することで、画像に写っている信号機を検出し、検出された信号機の表示状態に応じて車両が進行可能な方向を検出する。そのために、識別器は、信号機が有する各灯器の点灯状況、信号機の周囲に設置された道路標識及び信号機周囲の環境といった、信号機の表示状態を表す情報に応じて車両を基準とする所定の方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力するように予め学習される。識別器は、一つの信号機に複数の灯器が含まれる場合、灯器ごとに各相対方位の進行可能確信度を出力する。そしてこの進行可能方向検出装置は、個々の灯器ごとに出力された各相対方位の進行可能確信度から、車両が進行可能な方向を決定する。
【００１４】
以下では、進行可能方向検出装置を、車両制御システムに適用した例について説明する。この例では、進行可能方向検出装置は、車両に搭載されたカメラにより得られた画像に対して進行可能方向検出処理を実行することで、車両が走行中の道路に設置された信号機を検出し、検出された信号機の表示状態に基づいて車両が進行可能な方向を検出し、その検出結果に基づいて、車両を自動運転制御する。
【００１５】
図１は、進行可能方向検出装置が実装される車両制御システムの概略構成図である。また図２は、進行可能方向検出装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、車両１０の周囲を撮影するためのカメラ２と、測位情報受信機３と、進行可能方向検出装置の一例である電子制御装置（ＥＣＵ）４とを有する。カメラ２と、測位情報受信機３と、ＥＣＵ４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワーク５を介して通信可能に接続される。また、車両制御システム１は、ナビゲーションシステムをさらに含んでもよい。
【００１６】
カメラ２は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ２は、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ２は、所定の撮影周期（例えば1/30秒〜1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。なお、進行可能方向検出装置が信号機の発光色を正確に識別できるようにするために、カメラ２により得られた画像は、カラー画像であることが好ましい。
【００１７】
カメラ２は、画像を生成する度に、その生成した画像を車内ネットワーク５を介してＥＣＵ４へ出力する。
【００１８】
測位情報受信機３は、測位部の一例であり、車両１０の現在位置を表す測位情報を取得する。例えば、測位情報受信機３は、ＧＰＳ受信機とすることができる。そして測位情報受信機３は、測位情報を取得する度に、取得した測位情報を、車内ネットワーク５を介してＥＣＵ４へ出力する。
【００１９】
ＥＣＵ４は、車両１０を制御する。本実施形態では、ＥＣＵ４は、カメラ２により得られた一連の画像から検出された物体に基づいて車両１０を自動運転するよう、車両１０を制御する。そのために、ＥＣＵ４は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。
【００２０】
通信インターフェース２１は、通信部の一例であり、ＥＣＵ４を車内ネットワーク５に接続するためのインターフェース回路を有する。すなわち、通信インターフェース２１は、車内ネットワーク５を介して、カメラ２と接続される。そして通信インターフェース２１は、カメラ２から画像を受信する度に、受信した画像をプロセッサ２３へわたす。
【００２１】
メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ４のプロセッサ２３により実行される進行可能方向検出処理において使用される各種のデータ、例えば、カメラ２から受信した画像、進行可能方向検出処理で利用される識別器を特定するための各種パラメータ、及び、進行可能方向検出処理で利用される各種閾値などを記憶する。さらに、メモリ２２は、地図情報などを記憶してもよい。地図情報には、設置された信号機の種類（例えば、矢印信号を含むか否かなど）が含まれてもよい。
【００２２】
プロセッサ２３は、制御部の一例であり、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０が走行している間、カメラ２から画像を受信する度に、受信した画像に対して進行可能方向検出処理を含む車両制御処理を実行する。そしてプロセッサ２３は、検出された車両１０の進行可能方向の範囲に基づいて、車両１０を自動運転するよう、車両１０を制御する。
【００２３】
図３は、進行可能方向検出処理を含む車両制御処理に関する、ＥＣＵ４のプロセッサ２３の機能ブロック図である。プロセッサ２３は、進行可能確信度算出部３１と、進行可能方向決定部３２と、運転計画部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。また、プロセッサ２３が有するこれらの各部のうち、進行可能確信度算出部３１及び進行可能方向決定部３２が、進行可能方向検出処理を実行する。なお、プロセッサ２３が有する各部は、個々の画像に対して同じ処理を実行するので、以下では、一つの画像に対する処理について説明する。
【００２４】
進行可能確信度算出部３１は、カメラ２から受信した画像を識別器に入力することで、その画像上に表された信号機を検出するとともに、検出した信号機の表示状態に応じた車両の直進方向に対する相対方位ごとの進行可能な確からしさを表す進行可能確信度を出力する。
【００２５】
本実施形態では、進行可能確信度算出部３１は、識別器として、画像上の複数の領域のそれぞれについて、検出対象となる物体の種類ごとに確信度を求めるとともに、信号機が表された領域について、車両１０の直進方向に対する相対方位ごとの進行可能確信度を出力するように予め学習されたディープニューラルネットワーク（Deep Neural Network、ＤＮＮ）を利用する。
【００２６】
図４は、識別器として利用されるＤＮＮの構成の一例を示す図である。ＤＮＮ４００は、画像が入力される入力側に設けられる主幹部４０１と、主幹部４０１よりも出力側に設けられる位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４とを有する。位置検出部４０２は、主幹部４０１からの出力に基づいて、画像上で検出対象となる物体が表された領域の外接矩形を出力する。種類推定部４０３は、主幹部４０１からの出力に基づいて、位置検出部４０２で検出された領域に表された物体の種類を推定する。そして進行可能確信度算出部４０４は、主幹部４０１からの出力に基づいて、検出された信号機について、車両１０の直進方向に対する相対方位ごとの進行可能確信度を算出する。なお、位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４のうちの二つ以上が一体的に形成されてもよい。
【００２７】
主幹部４０１は、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するコンボリューションニューラルネットワーク（ＣＮＮ）とすることができる。その複数の層には２以上の畳み込み層が含まれる。さらに、主幹部４０１が有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。さらにまた、主幹部４０１が有する複数の層には、１以上の全結合層が含まれてもよい。例えば、主幹部４０１は、Single Shot MultiBox Detector（ＳＳＤ）のベースレイヤーと同様の構成とすることができる。この場合、主幹部４０１は、VGG-16と同様に、入力側から順に、2層の畳み込み層→MaxPoolingを行う（すなわち、n×n個の入力のうちの最大値を出力する）プーリング層（以下、単にプーリング層と呼ぶ）→2層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の畳み込み層→プーリング層→3層の全結合層で構成されてもよい。あるいは、主幹部４０１は、VGG-19、AlexNetあるいはNetwork-In-Networkといった他のＣＮＮアーキテクチャに従って構成されてもよい。
【００２８】
主幹部４０１は、画像が入力されると、その画像に対して各層での演算を実行することで、その画像から算出したfeature mapを出力する。
【００２９】
位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４には、それぞれ、主幹部４０１から出力されたfeature mapが入力される。そして位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４は、それぞれ、例えば、入力側から出力側へ向けて直列に接続される複数の層を有するＣＮＮとすることができる。位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４のそれぞれについて、ＣＮＮが有する複数の層には２以上の畳み込み層が含まれる。また、位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４のそれぞれについて、ＣＮＮが有する複数の層には、１または複数の畳み込み層ごとに設けられるプーリング層が含まれてもよい。なお、ＣＮＮが有する畳み込み層及びプーリング層は、位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４のうちの二つ以上について共通化されてもよい。さらに、位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４のそれぞれについて、複数の層には、１以上の全結合層が含まれてもよい。この場合、全結合層は、各畳み込み層よりも出力側に設けられることが好ましい。また全結合層には、各畳み込み層からの出力が直接入力されてもよい。さらに、位置検出部４０２、種類推定部４０３及び進行可能確信度算出部４０４の少なくとも一つの全結合層に、車両１０が走行中の地域を表す地域情報が入力されてもよい。この地域情報は、例えば、信号機の表示状態と車両の進行可能方向との関係が互いに異なる地域ごとに異なる値を持つように設定される（例えば、車両１０が走行中の地域が日本である場合は１、車両１０が走行中の地域がアメリカである場合は２、など）。なお、進行可能確信度算出部３１は、例えば、地図情報を参照して、測位情報受信機３が受信した車両１０の現在位置が含まれる地域を特定し、特定された地域と、各地域と地域情報との対応関係を表すテーブルを参照することで、地域情報を生成すればよい。なお、そのようなテーブルは、メモリ２２に予め記憶される。また、種類推定部４０３の出力層は、ソフトマックス関数に従って検出対象となる物体の種類のそれぞれの確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って検出対象となる物体の種類のそれぞれの確信度を算出するシグモイド層としてもよい。同様に、進行可能確信度算出部４０４の出力層は、ソフトマックス関数に従って相対方位ごとの進行可能確信度を算出するソフトマックス層としてもよいし、シグモイド関数に従って相対方位ごとの進行可能確信度を算出するシグモイド層としてもよい。
【００３０】
位置検出部４０２及び種類推定部４０３は、例えば、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象となる物体の種類のそれぞれの確信度を出力するように学習される。したがって、識別器４００は、画像が入力されることで、画像上の様々な位置、様々なサイズ及び様々なアスペクト比の領域ごとに、検出対象となる物体の種類のそれぞれの確信度を出力する。進行可能確信度算出部３１は、何れかの物体の種類についての確信度が所定の確信度閾値（例えば、0.8〜0.9）以上となる領域を、その種類の物体が表された物体領域として検出する。なお、進行可能確信度算出部３１は、一つの画像上で同一種類の物体が表された物体領域が複数検出され、かつ、その物体領域同士が少なくとも部分的に重複する場合、それら複数の物体領域のうち、確信度が最大となる領域のみを出力するようにしてもよい。また、信号機に関して、識別器４００は、信号機が有する灯器を一つの物体の種類として確信度を算出してもよい。したがって、進行可能確信度算出部３１は、灯器についての確信度が所定の確信度閾値以上となる領域を、灯器が表された物体領域として検出する。
【００３１】
一方、進行可能確信度算出部４０４は、例えば、画像上に表された信号機の各灯器の点灯状況、信号機の周囲に設置された道路標識及び信号機周囲の環境に応じて車両の直進方向に対する相対方位ごとの進行可能確信度を出力するように予め学習される。したがって、識別器４００は、画像が入力されることで、位置検出部４０２及び種類推定部４０３により信号機の灯器が検出された領域ごとに、進行可能確信度算出部４０４により、その領域に表された灯器について相対方位ごとの進行可能確信度を出力する。このように、灯器ごとに各相対方位の進行可能確信度が求められることで、一つの信号機に含まれる複数の灯器のうちの二つ以上が同時に点灯する場合でも、進行可能方向検出装置は、車両１０が進行可能な方向を正確に検出できる。
【００３２】
図５は、進行可能確信度算出部４０４により出力される相対方位ごとの進行可能確信度を表す模式図である。図５に示されるように、車両１０の直進方向に対する相対方位θは、車両１０から、車両１０を中心とする円５００上の点を結ぶ方向として表される。そこで、本実施形態では、相対方位θが取り得る値の範囲（例えば、-180°から180°、ただし、直進方向に対して時計回りの方向を正）が、所定の角度（例えば、5°〜30°）を持つｎ個の角度区間に区切られ、角度区間ごとに代表点５０１−１〜５０１−ｎが設定される。なお、代表点５０１−１〜５０１−ｎは、対応する角度区間内の所定の点、例えば、対応する角度区間の中点とすることができる。そして進行可能確信度算出部４０４は、相対方位θを極座標で表したときの一次元空間上の極座標軸５１０上の代表点５０１−１〜５０１−ｎごとに、進行可能確信度を出力する。なお、相対方位θは、車両１０の直進方向を基準とするものに限られず、車両１０を基準とする任意の方向に対する方位として設定されればよい。
【００３３】
図６は、図４に示された識別器４００の学習に利用される教師データに含まれる画像（教師画像）の一例を示す図である。教師画像６００には、検出対象となる信号機が表されており、このうち、灯器６０１〜６０３が点灯している。そして点灯中の灯器６０１〜６０３のうち、灯器６０１は、赤色光を発するものであり、灯器６０２は、左斜め上方を向く矢印を表すものであり、灯器６０３は、右斜め上方を向く矢印を表すものである。
【００３４】
教師画像６００には、灯器６０１〜６０３のそれぞれについて、灯器６０１〜６０３が表された領域を表す外接矩形６１１〜６１３と、各灯器の領域について、検出対象となる物体の種類（この例では、信号機）とがタグ付けされる。さらに、教師画像６００において、灯器６０１〜６０３のそれぞれについて、車両１０が進行可能な方向の範囲がタグ付けされる。すなわち、車両１０が進行可能な方向の範囲に含まれる各角度区間の代表点について、進行可能であることを表す値（例えば、1）が設定され、その範囲に含まれない各角度区間の代表点について、進行不能であることを表す値（例えば、0）が設定される。この例では、灯器６０１は赤色光を発するものであるので、車両１０が進行可能な方向は無く、全ての角度区間の代表点について車両１０が進行不能であることを表す値が設定される。また、灯器６０２は、左斜め上方を向く矢印を表しているので、灯器６０２について、車両１０の左斜め前方に、車両１０が進行可能な方向の範囲６２２が設定される。そして範囲６２２に含まれる各角度区間の代表点について、車両１０が進行可能であることを表す値が設定され、範囲６２２に含まれない各角度区間の代表点について、進行不能であることを表す値が設定される。さらに、灯器６０３は、右斜め上方を向く矢印を表しているので、灯器６０３について、車両１０の右斜め前方に、車両１０が進行可能な方向の範囲６２３が設定される。そして範囲６２３に含まれる各角度区間の代表点について、車両１０が進行可能であることを表す値が設定され、範囲６２３に含まれない各角度区間の代表点について、進行不能であることを表す値が設定される。
【００３５】
なお、黄色光を発する灯器については、赤い光を発する灯器６０１と同様に、車両１０が進行可能な方向が無いことを表すようにタグ付けされてもよい。また、青色光を発する灯器については、全ての方向について車両１０が進行可能であることを表すようにタグ付けされてもよい。
【００３６】
図７（ａ）及び図７（ｂ）は、図４に示された識別器４００の学習に利用される教師画像の他の一例を示す図である。図７（ａ）に示される教師画像７００及び図７（ｂ）に示される教師画像７１０は、アメリカ合衆国のように、特定の方向についても車両が進行不能であることを示す道路標識が存在するか否かで、信号機が赤色光を発している場合でも、車両がその特定の方向について進行可能か否かが異なる場合に用いられる。
【００３７】
図７（ａ）に示される教師画像７００には、検出対象となる信号機が表されており、このうち、赤色光を発する灯器７０１が点灯している。この場合、教師画像７００には、灯器７０１が表された領域を表す外接矩形７０２と、灯器７０１が表された領域について、検出対象となる物体の種類（この例では、信号機）とがタグ付けされる。さらに、教師画像７００において、灯器７０１について、車両１０が進行可能な方向の範囲７０３がタグ付けされる。この例では、範囲７０３は、車両１０の右側（すなわち、右折可）に設定される。そして範囲７０３に含まれる各角度区間の代表点について、進行可能であることを表す値が設定され、範囲７０３に含まれない各角度区間の代表点について、進行不能であることを表す値が設定される。
【００３８】
一方、図７（ｂ）に示される教師画像７１０には、赤色光を発する灯器７１１を含む信号機とともに、信号機が赤色光を発している場合、右折が禁止されることを表す道路標識７１２が表されている。この場合も、教師画像７１０には、灯器７１１が表された領域を表す外接矩形７１３と、灯器７１１が表された領域について、検出対象となる物体の種類とがタグ付けされる。さらに、教師画像７１０では、道路標識７１２が表されているので、車両１０が進行可能な方向はない。そのため、教師画像７１０に対して、全ての角度区間の代表点について、進行不能であることを表す値が設定される。
【００３９】
図８（ａ）及び図８（ｂ）は、図４に示された識別器４００の学習に利用される教師画像のさらに他の一例を示す図である。図８（ａ）に示される教師画像８００及び図８（ｂ）に示される教師画像８１０は、対向車及び特定の道路標識が存在するか否かで、信号機が青色光を発している場合でも、車両が特定の方向について進行することが制限されるか否かが異なる場合に用いられる。
【００４０】
図８（ａ）に示される教師画像８００には、青色光を発する灯器８０１を含む信号機とともに、対向車が存在する場合に左折が禁止されることを表す道路標識８０２が表されている。この場合、教師画像８００には、灯器８０１が表された領域を表す外接矩形８０３と、灯器８０１が表された領域について、検出対象となる物体の種類（この例では、信号機）とがタグ付けされる。さらに、教師画像８００において、灯器８０１について、車両１０が進行可能な方向の範囲８０４がタグ付けされる。この例では、範囲８０４は、車両１０の前方だけでなく、左右それぞれの方向に設定される。そして範囲８０４に含まれる各角度区間の代表点について、進行可能であることを表す値が設定され、範囲８０４に含まれない各角度区間の代表点について、進行不能であることを表す値が設定される。
【００４１】
一方、図８（ｂ）に示される教師画像８１０には、青色光を発する灯器８０１を含む信号機及び道路標識８０２とともに、対向車８１１が表されている。この場合も、教師画像８１０には、灯器８０１が表された領域を表す外接矩形８０３と、灯器８０１が表された領域について、検出対象となる物体の種類とがタグ付けされる。さらに、教師画像８１０では、対向車８１１が表されているので、灯器８０１について、車両１０の前方及び右方を含む範囲８１２が、車両１０が進行可能な方向としてタグ付けされる。そして範囲８１２に含まれる各角度区間の代表点について、進行可能であることを表す値が設定され、範囲８１２に含まれない各角度区間の代表点について、進行不能であることを表す値が設定される。
【００４２】
識別器４００は、図６、図７（ａ）及び図７（ｂ）、及び、図８（ａ）及び図８（ｂ）に示されるような多数の教師画像を用いて、例えば、次式で示されるコスト関数が最小化されるように、誤差逆伝搬法といった学習手法に従って学習される。
【数１】
2020067896.tif 000003
ここで、α及びβは、それぞれ、重み係数であり、例えば、0.5〜2に設定される。また、変数Lconfは、教師画像に表された物体について設定された確信度に対する、識別器４００の種類推定部４０３により出力される確信度の誤差を表す。また変数Llocは、教師画像に表された物体の外接矩形と識別器４００の位置検出部４０２により出力される物体の外接矩形間の誤差を表す。なお、変数Lconf及び変数Llocは、ＳＳＤを学習する際のコスト関数において用いられる、確信度の誤差を表す変数及び物体の外接矩形の誤差を表す変数と同じとすることができる。また、変数Ldirectionは、教師画像に表された信号機についての相対方位ごとの進行可能確信度の分布と、識別器４００の進行可能確信度算出部４０４により出力される相対方位ごとの進行可能確信度の分布間の誤差を表す。例えば、変数Ldirectionは、相対方位ごとの教師画像に表された信号機について設定された進行可能確信度と識別器４００の進行可能確信度算出部４０４により出力される進行可能確信度間のCross Entropyを用いて、次式にしたがって算出される。
【数２】
2020067896.tif 000004
ここで、Pijは、j番目の教師画像の相対方位iにおける進行可能確信度であり、Qijは、j番目の教師画像が識別器４００に入力されたときの進行可能確信度算出部４０４により出力された相対方位iにおける進行可能確信度である。なお、変数Ldirectionは、教師画像について設定された進行可能確信度Pijと進行可能確信度算出部４０４により出力された進行可能確信度QijとのKullback-Leibler divergenceに従って算出されてもよい。
【００４３】
進行可能確信度算出部３１は、このように学習された識別器４００を利用することで、画像に表された信号機の表示状態に応じて、相対方位ごとに、車両１０が進行可能か否かを正確に評価できる。
【００４４】
進行可能確信度算出部３１は、検出された信号機の灯器ごとに、その灯器についての各相対方位の進行可能確信度、及びその灯器が含まれる領域の位置及び範囲を表す情報を進行可能方向決定部３２へ出力する。さらに、進行可能確信度算出部３１は、信号機以外の検出された物体の種類及びその物体が含まれる領域の位置及び範囲を表す情報を運転計画部３３へ出力してもよい。
【００４５】
進行可能方向決定部３２は、検出された信号機の灯器ごとの各相対方位の進行可能確信度に基づいて、車両１０が進行可能な方向を決定する。
【００４６】
一つの画像において、複数の信号機が表されていることがある。このような場合、進行可能方向決定部３２は、車両１０に最も近く、かつ、車両１０が走行中の車線用の信号機に基づいて車両１０が進行可能な方向を決定することが好ましい。そこで、進行可能方向決定部３２は、一つの画像から複数の灯器が検出されている場合、検出された複数の灯器のうちの二つの灯器の組み合わせごとに、灯器が含まれる領域の重心間の距離を算出する。そして進行可能方向決定部３２は、距離が所定の閾値以下となる灯器の組み合わせを、同じ信号機の灯器とする。なお、進行可能方向決定部３２は、二つの灯器のそれぞれが含まれる領域の面積間の差が所定の閾値よりも大きい場合には、その二つの灯器は異なる信号機の灯器であると判定してもよい。あるいは、進行可能方向決定部３２は、所定のクラスタリング手法に従って、各灯器を信号機ごとにグループ化してもよい。
【００４７】
進行可能方向決定部３２は、上記の処理を行うことで、画像から検出された灯器を信号機ごとにグループ化する。そして進行可能方向決定部３２は、灯器のグループが一つである場合、すなわち、信号機が一つだけ検出されている場合、そのグループに基づいて、車両１０が進行可能な方向を決定する。
【００４８】
一方、灯器のグループが複数有る場合、すなわち、複数の信号機が検出されている場合、各グループのうち、各灯器の領域の面積の平均値が最大となるグループを、車両１０に最も近い信号機として選択する。あるいは、進行可能方向決定部３２は、各グループのうち、画像の上端に最も近いグループを、車両１０に最も近い信号機として選択してもよい。
【００４９】
また、画像から車線区画線が検出されている場合には、進行可能方向決定部３２は、車線区画線と各グループの相対的な位置関係に基づいてグループを選択してもよい。例えば、進行可能方向決定部３２は、画像の中心よりも左側に位置する車線区画線のうち、画像の中心に最も近い車線区画線と、画像の中心よりも右側に位置する車線区画線のうち、画像の中心に最も近い車線区画線とで挟まれた領域を、車両１０が走行する車線であると推定する。進行可能方向決定部３２は、グループごとに、そのグループの水平方向の中心から垂直下方へ下した線と車両１０が走行する車線とが交差するグループを選択する。そして進行可能方向決定部３２は、選択したグループのうち、灯器が含まれる領域の面積の平均値が最大となるグループ、または、画像の上端に最も近いグループを、車両１０に最も近い信号機として選択する。
【００５０】
進行可能方向決定部３２は、選択したグループに含まれる各灯器について、その灯器についての相対方位ごとの進行可能確信度を確信度閾値と比較する。そして進行可能方向決定部３２は、各灯器について、進行可能確信度が確信度閾値以上となる相対方位を選択し、各灯器について選択された相対方位の集合を、車両１０が進行可能な方向とする。
【００５１】
図９は、車両１０が進行可能な相対方位の検出結果の一例を示す図である。図９に示される画像９００では、図６に示される教師画像６００と同様に、一つの信号機について、赤色光を発する灯器９０１と、左斜め上方を向く矢印を表示する灯器９０２と、右斜め上方を向く矢印を表示する灯器９０３とが検出されている。そして灯器９０２について、車両１０の左斜め前方の範囲９１２が、車両１０が進行可能な相対方位の範囲として検出される。また、灯器９０３について、車両１０の右斜め前方の範囲９１３が、車両１０が進行可能な相対方位の範囲として検出される。なお、灯器９０１については、車両１０が進行可能な相対方位は検出されない。この場合、範囲９１２または範囲９１３に含まれる相対方位の集合が、車両１０が進行可能な方向として特定される。
【００５２】
進行可能方向決定部３２は、車両１０が進行可能な方向を運転計画部３３へ通知する。
【００５３】
運転計画部３３は、車両１０が進行可能な相対方位に基づいて、車両１０の走行予定経路を１以上生成する。走行予定経路は、例えば、現時刻から所定時間先までの各時刻における、車両１０の目標位置の集合として表される。
【００５４】
例えば、運転計画部３３は、測位情報受信機３により得られた車両１０の現在位置と、メモリ２２に記憶された地図情報とを参照して、ナビゲーションシステムにより生成された車両１０の走行ルートに沿って車両１０が走行するための車両１０の進行方向を決定する。例えば、車両１０が何れかの交差点に差し掛かっている場合において、走行ルートがその交差点において右折することを示している場合、運転計画部３３は、車両１０を右折させるように車両１０の進行方向を決定する。
【００５５】
運転計画部３３は、決定した車両１０の進行方向と、車両１０が進行可能な方向とを比較する。車両１０の進行方向が、車両１０が進行可能な方向と一致する場合、すなわち、車両１０が進行可能な相対方位の集合に含まれる場合、運転計画部３３は、車両１０がその進行方向に沿って進むように走行予定経路を生成する。一方、車両１０の進行方向が、車両１０が進行可能な方向と一致していない場合、運転計画部３３は、車両１０を一旦停止させるかまたは減速させるように走行予定経路を生成する。その際、運転計画部３３は、例えば、車両１０の現在位置と地図情報とを参照して、車両１０の進行方向における信号機が設置された交差点のうち、車両１０の現在位置に最も近い交差点の手前の所定位置にて車両１０を停止させるよう、走行予定経路を生成すればよい。
【００５６】
さらに、運転計画部３３は、画像から車両１０の周囲に存在する物体が検出されている場合、車両１０画素の物体と衝突しないように車両１０の走行予定経路を生成することが好ましい。例えば、運転計画部３３は、カメラ２から画像を受信する度に、カメラ２についての車両１０への取り付け位置などの情報を用いて視点変換処理を実行することで、受信した画像を鳥瞰画像に変換する。そして運転計画部３３は、一連の鳥瞰画像に対してKalman Filterなどを用いたトラッキング処理を実行することで、各画像から検出された物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。運転計画部３３は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成すればよい。
なお、運転計画部３３は、複数の走行予定経路を生成してもよい。この場合、運転計画部３３は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。
【００５７】
運転計画部３３は、生成した走行予定経路を車両制御部３４へ通知する。
【００５８】
車両制御部３４は、車両１０が通知された走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３４は、通知された走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。
【００５９】
さらに、車両制御部３４は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。
【００６０】
図１０は、プロセッサ２３により実行される、進行可能方向検出処理を含む車両制御処理の動作フローチャートである。プロセッサ２３は、カメラ２から画像が受信する度に、図１０に示される動作フローチャートに従って車両制御処理を実行する。なお、以下に示される動作フローチャートにおいて、ステップＳ１０１〜Ｓ１０３の処理が進行可能方向検出処理に対応する。
【００６１】
プロセッサ２３の進行可能確信度算出部３１は、測位情報受信機３により得られた測位情報により特定される車両１０の現在位置に基づいて、車両１０の現在位置に対応する地域情報を選択する（ステップＳ１０１）。そして進行可能確信度算出部３１は、地域情報と、カメラ２により得られた画像とを識別器に入力することで、画像から信号機を検出するとともに、検出した信号機の表示状態に応じた、車両１０の直進方向に対する相対方位ごとの進行可能確信度を算出する（ステップＳ１０２）。
【００６２】
プロセッサ２３の進行可能方向決定部３２は、相対方位ごとの進行可能確信度と確信度閾値とを比較し、その比較結果に基づいて、車両１０が進行可能な相対方位の範囲を、車両１０が進行可能な方向として決定する（ステップＳ１０３）。
【００６３】
プロセッサ２３の運転計画部３３は、車両１０の走行ルートと車両１０の現在位置とに基づいて車両１０の進行方向を決定し、その進行方向が、車両１０が進行可能な方向と一致するか否かを判定し、その判定結果に基づいて、車両１０の走行予定経路を生成する（ステップＳ１０４）。そしてプロセッサ２３の車両制御部３４は、走行予定経路に沿って車両１０が走行するように車両１０を制御する（ステップＳ１０５）。そしてプロセッサ２３は、車両制御処理を終了する。
【００６４】
以上に説明してきたように、この進行可能方向検出装置は、信号機の点灯状態、信号機の周囲に設置された道路標識及び信号機周囲の環境といった信号機の表示状態に応じて車両を基準とする所定方向に対する相対方位ごとの進行可能確信度を出力するように予め学習された識別器に、車両に搭載されたカメラにより得られた車両周囲の画像を入力することで、相対方位ごとの進行可能確信度を求める。そしてこの進行可能方向検出装置は、相対方位ごとの進行可能確信度と確信度閾値とを比較することで、車両が進行可能な方向を決定する。特に、この進行可能方向検出装置は、車両が進行可能な方向を、単なる直進方向、左折方向あるいは右折方向などではなく、所定の方向に対する相対方位の集合として決定することができる。そのため、この進行可能方向検出装置は、様々な種類の信号機について、車両が進行可能な方向を正確に検出できる。
【００６５】
変形例によれば、進行可能確信度算出部３１は、ＤＮＮ以外の識別器を利用して、車両１０を基準とする所定方向に対する相対方位ごとの進行可能確信度を算出してもよい。例えば、進行可能確信度算出部３１は、識別器として、画像上に設定されるウィンドウから算出される特徴量（例えば、Histograms of Oriented Gradients（ＨＯＧ）あるいはHaar-Like特徴）を入力として、そのウィンドウに信号機が表されるか否かを出力するように予め学習されたサポートベクトルマシン（ＳＶＭ）またはadaBoost識別器を用いてもよい。進行可能確信度算出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をＳＶＭまたはadaBoost識別器へ入力することで、そのウィンドウに信号機が含まれるか否かを判定する。
進行可能確信度算出部３１は、信号機が含まれると判定されたウィンドウから算出される特徴量を、車両１０の直進方向に対する相対方位ごとに用意された、その相対方向についての進行可能確信度を出力するように予め学習された分類器へ入力することで、相対方位ごとの進行可能確信度を求める。なお、分類器も、例えば、ＳＶＭまたはadaBoostに基づく分類器とすることができる。そして分類器に入力される特徴量も、ＨＯＧあるいはHaar-Like特徴としてもよい。
【００６６】
他の変形例によれば、識別器は、地域情報の代わりに、あるいは、地域情報とともに、車両１０が走行中の道路の種別（例えば、一方通行道路、４車線道路など）を表す情報を、進行可能確信度の算出に利用するよう、予め学習されてもよい。さらに、識別器は、地域情報の代わりに、あるいは、地域情報とともに、地図情報に表される信号機の種別を表す情報を、進行可能確信度の算出に利用するよう、予め学習されてもよい。そして進行可能確信度算出部３１は、メモリ２２に記憶されている地図情報を参照して、測位情報受信機３により得られた車両１０の現在位置を含む道路の種別、あるいは、車両１０の進行方向において車両１０に最も近い信号機の種別を特定し、特定した道路の種別または信号機の種別を表す情報を識別器に入力すればよい。
【００６７】
あるいは、識別器は、信号機に関する情報だけでなく、前方を走行する車両のストップランプまたはウィンカーランプの点灯状況、あるいは、前方を走行する車両の車速の変化を進行可能確信度の算出に利用するよう、予め学習されてもよい。その際、直前の画像から、車両１０の前方を走行する車両が検出され、あるいは、運転計画部３３により追跡されている、車両１０の前方を走行中の車両が存在する場合に、その前方の車両のストップランプまたはウィンカーランプの点灯状況、あるいは、車速の変化が、地域情報の代わりに、あるいは、地域情報とともに、識別器に入力されてもよい。なお、識別器は、ストップランプまたはウィンカーランプを検出し、かつ、それらのランプが点灯中か否かを識別するようにさらに学習されてもよい。この場合、直前の画像が識別器に入力されることで、前方の車両のストップランプまたはウィンカーランプの点灯状況が求められる。これにより、識別器は、車両１０が走行中の道路の種別、あるいは、前方を走行する車両に関する情報を、相対方位ごとの走行可能確信度の算出に利用できるので、より正確に相対方位ごとの走行可能確信度をもとめることができる。
【００６８】
あるいは、識別器は、地域ごとに、その地域における、信号機が表された教師画像を用いて個別に学習されることで、地域ごとに生成されてもよい。この場合には、識別器には、地域情報は入力されなくてよい。車両１０が走行することが想定される地域用の識別器を特定するためのパラメータがメモリ２２に予め記憶されればよい。この変形例では、進行可能方向検出装置は、識別器に地域情報を入力しなくても、車両１０が走行する地域に応じて、信号機の表示状態に応じた車両１０の進行可能方向を正確に検出できる。
【００６９】
さらに他の変形例によれば、識別器は、複数の灯器を含む信号機についても、信号機ごとに各相対方位の進行可能確信度を出力するように予め学習されてもよい。
【００７０】
また、上記の実施形態または変形例による、進行可能方向検出装置のプロセッサ２３の各部の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
【００７１】
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
【符号の説明】
【００７２】
１    車両制御システム
２    カメラ
３    測位情報受信機
４    電子制御装置（進行可能方向検出装置）
５    車内ネットワーク
２１    通信インターフェース
２２    メモリ
２３    プロセッサ
３１    進行可能確信度算出部
３２    進行可能方向決定部
３３    運転計画部
３４    車両制御部
【図１】
2020067896.tif 000005
【図２】
2020067896.tif 000006
【図３】
2020067896.tif 000007
【図４】
2020067896.tif 000008
【図５】
2020067896.tif 000009
【図６】
2020067896.tif 000010
【図７】
2020067896.tif 000011
【図８】
2020067896.tif 000012
【図９】
2020067896.tif 000013
【図１０】
2020067896.tif 000014