(57)【要約】      （修正有）【課題】運転者による信号機の点灯状態の確認結果の入力を適切に認識して、信号機の点灯状態を判断することができる信号機認識装置を提供する。【解決手段】信号機認識装置１００は、車両のカメラ２の撮像画像に基づいて、車両の前方の信号機の点灯状態を認識する。信号機認識装置は、信号機の点灯状態の認識結果に基づいて、車両の運転者に信号機の点灯状態の確認が必要か否かを判定する確認要否判定部１２と、確認要否判定部により運転者に信号機の点灯状態の確認が必要と判定された場合に、運転者に信号機の点灯状態の確認の通知を行う通知部１３と、通知に対する運転者のブレーキ操作及びアクセル操作を認識する運転者操作認識部１４と、運転者操作認識部の認識結果に基づいて、信号機の点灯状態を判断する点灯状態判断部１５と、を備える。【選択図】図１
2019096137.tif 000002
【特許請求の範囲】
【請求項１】
車両のカメラの撮像画像に基づいて、前記車両の前方の信号機の点灯状態を認識する信号機認識装置であって、
前記信号機の点灯状態の認識結果に基づいて、前記車両の運転者に前記信号機の点灯状態の確認が必要か否かを判定する確認要否判定部と、
前記確認要否判定部により前記運転者に前記信号機の点灯状態の確認が必要と判定された場合に、前記運転者に前記信号機の点灯状態の確認の通知を行う通知部と、
前記通知に対する前記運転者のブレーキ操作及びアクセル操作を認識する運転者操作認識部と、
前記運転者操作認識部の認識結果に基づいて、前記信号機の点灯状態を判断する点灯状態判断部と、
を備える信号機認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号機認識装置に関する。
【背景技術】
【０００２】
従来、信号機認識装置に関する技術文献として、米国特許第８７６１９９１号明細書が知られている。この文献には、信号機状態の認識結果に基づいて車両の自動運転を行うことが記載されている。また、特開２０１７−０４１２３３号公報には、車両の環境の観測結果において不明瞭物体が特定された場合に、音声やジャスチャーによって運転者に応答を求めることが記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許第８７６１９９１号明細書
【特許文献２】特開２０１７−０４１２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
車両のカメラによる信号機認識においては、先行車や木の枝等によるオクルージョン（遮蔽）等により十分な精度で信号機の点灯状態を認識できない場合がある。このような場合の一つの解決策として運転者に信号機の点灯状態を確認してもらい、確認結果を入力してもらうことが考えられる。しかしながら、上述した特開２０１７−０４１２３３号公報では信号機認識に着目すらしておらず、運転者による確認結果の入力に改善の余地がある。
【０００５】
そこで、本技術分野では、運転者による信号機の点灯状態の確認結果の入力を適切に認識して、信号機の点灯状態を判断することができる信号機認識装置を提供することが望まれている。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明の一態は、車両のカメラの撮像画像に基づいて、車両の前方の信号機の点灯状態を認識する信号機認識装置であって、信号機の点灯状態の認識結果に基づいて、車両の運転者に信号機の点灯状態の確認が必要か否かを判定する確認要否判定部と、確認要否判定部により運転者に信号機の点灯状態の確認が必要と判定された場合に、運転者に信号機の点灯状態の確認の通知を行う通知部と、通知に対する運転者のブレーキ操作及びアクセル操作を認識する運転者操作認識部と、運転者操作認識部の認識結果に基づいて、信号機の点灯状態を判断する点灯状態判断部と、を備える。
【発明の効果】
【０００７】
以上説明したように、本発明の一態様に係る信号機認識装置によれば、運転者による信号機の点灯状態の確認結果の入力を適切に認識して、信号機の点灯状態を判断することができる。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る信号機認識装置を示すブロック図である。
【図２】信号機の点灯状態を青信号と認識した場合の信号機判断処理を示すフローチャートである。
【図３】信号機の点灯状態を青信号と認識した場合の信号機判断処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面を参照して説明する。
【００１０】
図１に示す信号機認識装置１００は、乗用車等の車両に搭載され、車両の前方の信号機の点灯状態を認識する装置である。信号機の点灯状態には、青信号（通過許可状態）、黄信号（遷移状態）、赤信号（通過禁止状態）が含まれる。
【００１１】
［信号機認識装置の構成］
以下、本実施形態に係る信号機認識装置１００の構成について図１を参照して説明する。図１に示すように、信号機認識装置１００は、信号機認識ＥＣＵ[Electronic Control Unit]１０を備えている。信号機認識ＥＣＵ１０は、ＣＰＵ[Central  Processing  Unit]、ＲＯＭ[Read  Only  Memory]、ＲＡＭ[Random  Access  Memory]、タイマー等を有する電子制御ユニットである。信号機認識ＥＣＵ１０では、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。信号機認識ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。
【００１２】
信号機認識ＥＣＵ１０は、ＧＰＳ受信部１、カメラ２、レーダセンサ３、地図データベース４、操作検出部５、ＨＭＩ［Human Machine Interface］６、及び自動運転ＥＣＵ５０と接続されている。
【００１３】
ＧＰＳ受信部１は、３個以上のＧＰＳ衛星から信号を受信することにより、車両の地図上の位置（例えば車両の緯度及び経度）を測定する。ＧＰＳ受信部１は、測定した車両の位置情報を信号機認識ＥＣＵ１０へ送信する。
【００１４】
カメラ２は、車両の前方を撮像する撮像機器である。カメラ２は、車両のフロントガラスの裏側に設けられている。カメラ２は、車両の前方の撮像画像を信号機認識ＥＣＵ１０へ送信する。カメラ２は、単眼カメラであってもよく、ステレオカメラであってもよい。
【００１５】
レーダセンサ３は、電波（例えばミリ波）又は光を利用して車両の周辺の障害物を検出する検出機器である。レーダセンサ３には、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサ３は、電波又は光を車両の周辺に送信し、障害物で反射された電波又は光を受信することで障害物を検出する。レーダセンサは、検出した障害物情報を信号機認識ＥＣＵ１０へ送信する。障害物には、ガードレール、建物等の固定障害物の他、歩行者、自転車、他車両等の移動障害物が含まれる。
【００１６】
地図データベース４は、地図情報を記憶するデータベースである。地図データベース４は、例えば、車両に搭載されたＨＤＤ［Hard Disk Drive］内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えばカーブ、直線部の種別、カーブの曲率等）、交差点及び分岐点の位置情報、及び、信号機の位置情報等が含まれる。
【００１７】
地図データベース４は、信号機のオクルージョンが生じるエリアとして予め設定された信号機遮蔽エリアを地図情報に関連づけて記憶していてもよい。また、地図データベース４は、逆光、又は明度が低い等の理由により認識低下が生じる信号機エリアとして予め設定された信号機認識低下エリアを地図情報に関連づけて記憶していてもよい。地図データベース４は、エリアではなく、信号機自体について点灯状態を認識困難な信号機であるか否かの認識困難信号機情報を信号機の位置情報に関連付けて記憶していてもよい。地図データベース４は、車両と通信可能なサーバに記憶されていてもよい。
【００１８】
操作検出部５は、運転者による車両の運転操作を検出する。操作検出部５には、例えば、運転者による車両のアクセルペダルの踏込み量を検出するアクセルペダルセンサと運転者による車両のブレーキペダルの踏込み量を検出するブレーキペダルセンサとが含まれる。操作検出部５は、運転者による運転操作の検出結果を信号機認識ＥＣＵ１０へ送信する。
【００１９】
ＨＭＩ６は、信号機認識装置１００と運転者との間で情報の入出力を行うためのインターフェイスである。ＨＭＩ６は、ディスプレイ及びスピーカ等を備えている。ＨＭＩ６は、信号機認識ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力及びスピーカからの音声出力を行う。ディスプレイには、ヘッドアップディスプレイが含まれていてもよい。ＨＭＩ６は、運転者が操作を入力するためのタッチパネル等の操作部や運転者の音声を認識する音声認識装置を有していてもよい。ＨＭＩ６は、車両のステアリングホイールを振動させる振動アクチュエータと接続されていてもよい。
【００２０】
自動運転ＥＣＵ５０は、車両に搭載され、車両の自動運転を実行するための電子制御ユニットである。自動運転とは、運転者が運転操作をすることなく、自動で車両を走行させる車両制御である。自動運転ＥＣＵ５０は、複数の電子ユニットから構成されていてもよい。自動運転ＥＣＵ５０の機能の一部は、車両と通信可能なサーバで実行されてもよい。
【００２１】
自動運転ＥＣＵ５０は、例えば、ＧＰＳ受信部１の測定した車両の地図上の位置、地図データベース４の地図情報、車両の周辺環境、及び車両状態（車速、ヨーレート等）に基づいて、予め設定された目標ルートに沿った走行計画を生成する。目標ルートは、車両の乗員により手動で設定されてもよく、周知のナビゲーションシステム又は自動運転ＥＣＵ５０により自動で設定されてもよい。
【００２２】
自動運転ＥＣＵ５０は、走行計画に沿って自動運転を実行する。自動運転ＥＣＵ５０は、車両のアクチュエータ（エンジンアクチュエータ、操舵アクチュエータ、ブレーキアクチュエータ等）に制御信号を送信することで自動運転を実行する。自動運転ＥＣＵ５０は、周知の手法により走行計画の生成及び自動運転の実行を行うことができる。
【００２３】
次に、信号機認識ＥＣＵ１０の機能的構成について説明する。信号機認識ＥＣＵ１０は、信号機認識部１１、確認要否判定部１２、通知部１３、運転者操作認識部１４、点灯状態判断部１５、及び学習部１６を有している。なお、以下に記載する信号機認識ＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。
【００２４】
信号機認識部１１は、車両のカメラ２の撮像画像に基づいて、車両の前方の信号機の点灯状態を認識する。信号機認識部１１は、例えば周知の画像認識処理によって信号機の点灯状態が青信号、黄信号、赤信号の何れであるかを認識することができる。信号機認識部１１は、カメラ２の撮像画像とレーダセンサ３の検出結果を組み合わせたアルゴリズムにより信号機の点灯状態を認識してもよい。
【００２５】
確認要否判定部１２は、信号機認識部１１の認識した信号機の点灯状態の認識結果に基づいて、車両の運転者に信号機の点灯状態の確認が必要か否かを判定する。確認要否判定部１２は、先行車や木の枝等による信号機のオクルージョン（遮蔽）、逆光、雨天等によって信号機の点灯状態を十分な精度（確信度）で認識できない場合、運転者に信号機の点灯状態の確認が必要であると判定する。
【００２６】
具体的に、確認要否判定部１２は、信号機認識部１１の認識した信号機の点灯状態の認識結果に基づいて、先行車等による信号機のオクルージョンを認識する。確認要否判定部１２は、例えば信号機の遮蔽部分が一定割合以上である場合、運転者に信号機の点灯状態の確認が必要であると判定する。確認要否判定部１２は、更にレーダセンサ３の検出結果（障害物情報）を用いて、信号機のオクルージョンを精度良く認識してもよい。
【００２７】
その他、確認要否判定部１２は、ＧＰＳ受信部１の測定した車両の地図上の位置と地図データベース４の地図情報（信号機遮蔽エリア）とに基づいて、車両が信号機遮蔽エリアに位置すると認識した場合、運転者に信号機の点灯状態の確認が必要であると判定してもよい。車両の地図上の位置の認識には、ＳＬＡＭ［Simultaneous Localization and Mapping］を用いてもよい。
【００２８】
確認要否判定部１２は、ＧＰＳ受信部１の測定した車両の地図上の位置と、地図データベース４の地図情報（信号機認識低下エリア）と、信号機認識ＥＣＵ１０のタイマーとに基づいて、予め設定された逆光発生時間帯に車両が信号機認識低下エリアに位置すると認識した場合、運転者に信号機の点灯状態の確認が必要であると判定してもよい。確認要否判定部１２は、カメラ２の撮像画像における輝度の情報から逆光の発生を認識した場合、運転者に信号機の点灯状態の確認が必要であると判定してもよい。
【００２９】
確認要否判定部１２は、ＧＰＳ受信部１の測定した車両の地図上の位置と、地図データベース４の地図情報（認識困難信号機情報）とに基づいて、車両の前方の信号機が認識困難信号機であると認識した場合、運転者に信号機の点灯状態の確認が必要であると判定してもよい。
【００３０】
確認要否判定部１２は、車両のフロントガラスのワイパーの動作を検出するワイパー検出部の検出結果に基づいて、ワイパーが動作していることから雨天であると認識した場合、運転者に信号機の点灯状態の確認が必要であると判定してもよい。なお、確認要否判定部１２は、無線の通信により天候情報を取得し、雨天等の悪天候であると認識した場合に、運転者に信号機の点灯状態の確認が必要であると判定してもよい。
【００３１】
確認要否判定部１２は、上述した各種の情報を総合的に用いて、運転者に信号機の点灯状態の確認が必要か否かを判定してもよい。確認要否判定部１２は、深層学習やＳＶＭ［Support Vector Machine］、決定木等のアルゴリズムを用いて上記判定を行ってもよい。
【００３２】
通知部１３は、確認要否判定部１２により運転者に信号機の点灯状態の確認が必要と判定された場合に、運転者に信号機の点灯状態の確認の通知を行う。「信号機の点灯状態の確認の通知」とは、運転者に車両の前方の信号機の点灯状態を確認して確認結果に応じた操作を求める通知である。通知部１３は、確認結果に応じた操作として、ブレーキ操作又はアクセル操作を運転者に求める。ブレーキ操作及びアクセル操作については後述する。
【００３３】
通知部１３は、ＨＭＩ６を介してディスプレイによる画像表示又はスピーカによる音声出力の少なくとも一方により運転者に通知を行う。また、通知部１３は、更に振動（触覚）による通知を行ってもよい。通知部１３は、ＨＭＩ６の振動アクチュエータにより車両のステアリングホイールを振動させることができる。通知部１３は、一例として、スピーカによる音声出力によって「信号機の認識の確信度が低い状態です」と信号機の点灯状態の確認を求めることができる。その後、通知部１３は、運転者に信号機の点灯状態の確認結果に応じた操作を求める。なお、運転者が確認結果に応じた操作を既に理解している場合等には、確認を求める通知の他に操作を求める通知を行うことは必須ではない。
【００３４】
運転者操作認識部１４は、通知部１３による上記通知が行われた場合に、操作検出部５の検出結果に基づいて、通知に対する運転者のブレーキ操作及びアクセル操作を認識する。ブレーキ操作とは、例えばブレーキペダルをブレーキ操作閾値以上に踏み込む操作である。ブレーキ操作閾値は予め設定された閾値である。ブレーキ操作閾値は、ブレーキペダルの踏込みにより車両のブレーキが開始されるブレーキ開始閾値より小さい値としてもよい。
【００３５】
アクセル操作とは、例えばアクセルペダルをアクセル操作閾値以上に踏み込む操作である。アクセル操作閾値は予め設定された閾値である。アクセル操作閾値は、アクセルペダルの踏込みにより車両のアクセルが開始されるアクセル開始閾値より小さい値としてもよい。
【００３６】
点灯状態判断部１５は、確認要否判定部１２により運転者に信号機の点灯状態の確認が必要と判定された場合に、運転者操作認識部１４の認識結果に基づいて、車両の前方の信号機の点灯状態を判断する。
【００３７】
具体的に、点灯状態判断部１５は、信号機認識部１１により信号機の点灯状態が青信号と認識された場合において、確認要否判定部１２により運転者に信号機の点灯状態の確認が必要と判定され、運転者操作認識部１４により運転者のブレーキ操作が認識されたとき、信号機の点灯状態を赤信号と判断する（信号機の点灯状態を赤信号に修正する）。点灯状態判断部１５は、運転者のアクセル操作が認識されたときには、信号機の点灯状態を青信号と判断する（信号機の点灯状態の認識結果を維持する）。
【００３８】
なお、点灯状態判断部１５は、通知から一定時間が経過しても運転者のブレーキ操作及びアクセル操作の何れも認識されない場合には、信号機の点灯状態を青信号と判断してもよい。或いは、点灯状態判断部１５は、リスク回避の観点から信号機の点灯状態を赤信号に修正してもよい。
【００３９】
点灯状態判断部１５は、信号機認識部１１により信号機の点灯状態が赤信号と認識された場合において、確認要否判定部１２により運転者に信号機の点灯状態の確認が必要と判定され、運転者操作認識部１４により運転者のアクセル操作が認識されたとき、信号機の点灯状態を青信号と判断する（信号機の点灯状態を青信号に修正する）。点灯状態判断部１５は、運転者のブレーキ操作が認識されたときには、信号機の点灯状態を赤信号と判断する（信号機の点灯状態の認識結果を維持する）。
【００４０】
なお、点灯状態判断部１５は、通知から一定時間が経過しても運転者のブレーキ操作及びアクセル操作の何れも認識されない場合には、認識結果を修正することなく信号機の点灯状態を赤信号と判断してもよい。
【００４１】
その他、点灯状態判断部１５は、信号機認識部１１により信号機の点灯状態が黄信号と認識された場合において、確認要否判定部１２により運転者に信号機の点灯状態の確認が必要と判定されたときには、信号機の点灯状態が赤信号と認識されたときと同様の判断を行ってもよい。
【００４２】
点灯状態判断部１５は、信号機の点灯状態の判断結果を自動運転ＥＣＵ５０へ送信する。自動運転ＥＣＵ５０は、信号機の点灯状態の判断結果に基づいて、車両の走行計画の生成又は修正を行う。自動運転ＥＣＵ５０は、信号機の点灯状態が赤信号と判断された場合、停止線で停止するように車両の走行計画を生成する。自動運転ＥＣＵ５０は、信号機の点灯状態が青信号と判断された場合、停止線を通過するように車両の走行計画を生成する。
【００４３】
学習部１６は、信号機認識部１１により信号機の点灯状態の認識結果と点灯状態判断部１５による信号機の点灯状態の判断結果とが異なる場合、認識結果と判断結果とを関連付けて学習データの収集を行う。学習部１６は、信号機の認識低下が起きた場合の学習データとして、認識結果及び判断結果を収集している。学習部１６は、運転者の操作による信号機の点灯状態の判断結果を正解値として用いることができる。
【００４４】
学習部１６は、認識結果と判断結果とが異なる場合、車両の前方の信号機を点灯状態の認識が困難な信号機として学習してもよい。又は、運転者の判断結果を正解として学習してもよい。例えば、認識結果が赤信号なのに運転者がアクセルを踏んだ場合、その時の状況を青信号として学習することにより、学習部の性能を改善できる。また、認識が困難であったときの画像データをデータベースに記憶させてもよい。学習部１６は、認識結果と判断結果とが異なる場合、カメラ２による撮像が行われたときの車両の地図上の位置を信号機の点灯状態の認識が困難な位置として学習してもよい。学習部１６は、学習結果を地図データベース４又は任意のデータベースに記憶させる。
【００４５】
［信号機認識装置の信号機判断処理］
次に、本実施形態の信号機認識装置１００による信号機判断処理について説明を行う。ここでは、信号機認識部１１により信号機の点灯状態が青信号と認識された場合と信号機の点灯状態が赤信号と認識された場合とについて説明する。
【００４６】
〈信号機の点灯状態を青信号と認識した場合の信号機判断処理〉
図２は、信号機の点灯状態を青信号と認識した場合の信号機判断処理を示すフローチャートである。図２に示すフローチャートの処理は、信号機認識部１１により信号機の点灯状態が青信号と認識された場合に実行される。
【００４７】
図２に示すように、信号機認識ＥＣＵ１０は、Ｓ１０として、確認要否判定部１２により車両の運転者に信号機の点灯状態の確認が必要か否かを判定する。確認要否判定部１２は、信号機認識部１１の認識した信号機の点灯状態の認識結果に基づいて上記判定を行う。信号機認識ＥＣＵ１０は、運転者に信号機の点灯状態の確認が必要と判定されなかった場合（Ｓ１０：ＮＯ）、今回の処理を終了する。信号機認識ＥＣＵ１０は、運転者に信号機の点灯状態の確認が必要と判定された場合（Ｓ１０：ＹＥＳ）、Ｓ１２に移行する。
【００４８】
Ｓ１２において、信号機認識ＥＣＵ１０は、通知部１３により運転者に信号機の点灯状態の確認の通知を行う。通知部１３は、ＨＭＩ６を介してディスプレイによる画像表示又はスピーカによる音声出力の少なくとも一方により運転者に通知を行う。
【００４９】
Ｓ１４において、信号機認識ＥＣＵ１０は、運転者操作認識部１４により運転者のブレーキ操作を認識したか否かを判定する。運転者操作認識部１４は、車両のブレーキペダルに設けられたブレーキペダルセンサの検出結果からブレーキ操作を認識する。
【００５０】
信号機認識ＥＣＵ１０は、運転者のブレーキ操作を認識したと判定されなかった場合（Ｓ１４：ＮＯ）、Ｓ１６に移行する。運転者のブレーキ操作を認識したと判定されなかった場合には、通知から一定時間が経過しても運転者のブレーキ操作を認識できなかった場合と、ブレーキ操作に代えて運転者のアクセル操作を認識した場合とが含まれる。信号機認識ＥＣＵ１０は、運転者のブレーキ操作を認識したと判定された場合（Ｓ１４：ＹＥＳ）、Ｓ１８に移行する。
【００５１】
Ｓ１６において、信号機認識ＥＣＵ１０は、点灯状態判断部１５により信号機の点灯状態を青信号と判断する（信号機の点灯状態の認識結果を維持する）。その後、信号機認識ＥＣＵ１０は、今回の処理を終了する。
【００５２】
Ｓ１８において、信号機認識ＥＣＵ１０は、点灯状態判断部１５により信号機の点灯状態を赤信号と判断する（信号機の点灯状態を赤信号に修正する）。
【００５３】
Ｓ２０において、信号機認識ＥＣＵ１０は、学習部１６により信号機の点灯状態の認識結果と判断結果と関連付けて学習を行う。その後、信号機認識ＥＣＵ１０は、今回の処理を終了する。
【００５４】
なお、Ｓ２０における学習の処理は必須ではない。また、Ｓ１４において、通知から一定時間が経過しても運転者のブレーキ操作を認識できなかった場合には、リスク回避の観点から信号機の点灯状態を赤信号に修正してもよい。
【００５５】
〈信号機の点灯状態を赤信号と認識した場合の信号機判断処理〉
図３は、信号機の点灯状態を赤信号と認識した場合の信号機判断処理を示すフローチャートである。図３に示すフローチャートの処理は、信号機認識部１１により信号機の点灯状態が赤信号と認識された場合に実行される。
【００５６】
図３に示すように、信号機認識ＥＣＵ１０は、Ｓ３０として、確認要否判定部１２により車両の運転者に信号機の点灯状態の確認が必要か否かを判定する。信号機認識ＥＣＵ１０は、運転者に信号機の点灯状態の確認が必要と判定されなかった場合（Ｓ３０：ＮＯ）、今回の処理を終了する。信号機認識ＥＣＵ１０は、運転者に信号機の点灯状態の確認が必要と判定された場合（Ｓ３０：ＹＥＳ）、Ｓ３２に移行する。
【００５７】
Ｓ３２において、信号機認識ＥＣＵ１０は、通知部１３により運転者に信号機の点灯状態の確認の通知を行う。通知部１３は、ＨＭＩ６を介してディスプレイによる画像表示又はスピーカによる音声出力の少なくとも一方により運転者に通知を行う。
【００５８】
Ｓ３４において、信号機認識ＥＣＵ１０は、運転者操作認識部１４により運転者のアクセル操作を認識したか否かを判定する。信号機認識ＥＣＵ１０は、運転者のアクセル操作を認識したと判定されなかった場合（Ｓ３４：ＮＯ）、Ｓ３６に移行する。運転者のアクセル操作を認識したと判定されなかった場合には、通知から一定時間が経過しても運転者のアクセル操作を認識できなかった場合と、アクセル操作に代えて運転者のブレーキ操作を認識した場合とが含まれる。信号機認識ＥＣＵ１０は、運転者のアクセル操作を認識したと判定された場合（Ｓ３４：ＹＥＳ）、Ｓ３８に移行する。
【００５９】
Ｓ３６において、信号機認識ＥＣＵ１０は、点灯状態判断部１５により信号機の点灯状態を赤信号と判断する（信号機の点灯状態の認識結果を維持する）。その後、信号機認識ＥＣＵ１０は、今回の処理を終了する。
【００６０】
Ｓ３８において、信号機認識ＥＣＵ１０は、点灯状態判断部１５により信号機の点灯状態を青信号と判断する（信号機の点灯状態を青信号に修正する）。
【００６１】
Ｓ４０において、信号機認識ＥＣＵ１０は、学習部１６により信号機の点灯状態の認識結果と判断結果と関連付けて学習を行う。その後、信号機認識ＥＣＵ１０は、今回の処理を終了する。なお、Ｓ４０における学習の処理は必須ではない。
【００６２】
［信号機認識装置の作用効果］
以上説明した本実施形態に係る信号機認識装置１００によれば、カメラの撮像画像からでは信号機の点灯状態を十分な精度（確信度）で認識できないような場合に、運転者に信号機の点灯状態の確認の通知を行い、運転者によるブレーキ操作又はアクセル操作を認識することで、信号機の点灯状態を判断することができる。しかも、信号機認識装置１００では、音声入力のような誤認識のおそれのある入力操作や専用のボタンを押させるような運転者にとって余分な入力操作を行わせるのではなく、信号機の点灯状態に応じた車両のブレーキ操作又はアクセル操作で運転者による確認結果を入力させるので、運転者の身体感覚に合った直感的な入力操作とすることができ、運転者による入力を適切に認識して信号機の点灯状態を判断することができる。
【００６３】
以上、本発明の好適な実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
【００６４】
例えば、信号機認識装置１００は自動運転システムの一部であってもよい。この場合、信号機認識ＥＣＵ１０は、自動運転ＥＣＵ５０の一部を構成することができる。
【００６５】
一方で、信号機認識装置１００は、自動運転機能を有さない車両においても利用可能である。信号機認識装置１００の信号機認識ＥＣＵ１０は、必ずしも自動運転ＥＣＵ５０に接続されている必要はなく、車両の運転支援を行う運転支援ＥＣＵに接続されていてもよい。この場合、信号機認識ＥＣＵ１０は、信号機の点灯状態の判断結果を運転支援ＥＣＵに送信することで、赤信号の交差点に車両が進入する場合に警報を発する等の運転支援において信号機の点灯状態の判断結果を利用することができる。
【００６６】
信号機認識ＥＣＵ１０は、信号機のオクルージョンの認識に必ずしもレーダセンサ３を用いる必要はない。この場合には、信号機認識ＥＣＵ１０は、レーダセンサ３と接続されている必要はない。また、信号機認識ＥＣＵ１０は、確認要否判定部１２の判定に車両の位置と地図情報を必ず用いる必要はない。この場合には、信号機認識ＥＣＵ１０は、ＧＰＳ受信部１及び地図データベース４に接続されている必要はない。信号機認識ＥＣＵ１０は、必ずしも学習部１６を有する必要はない。
【符号の説明】
【００６７】
１…ＧＰＳ受信部、２…カメラ、３…レーダセンサ、４…地図データベース、５…操作検出部、６…ＨＭＩ、１０…信号機認識ＥＣＵ、１１…信号機認識部、１２…確認要否判定部、１３…通知部、１４…運転者操作認識部、１５…点灯状態判断部、１６…学習部、５０…自動運転ＥＣＵ、１００…信号機認識装置。
【図１】
2019096137.tif 000003
【図２】
2019096137.tif 000004
【図３】
2019096137.tif 000005