(57)【要約】【課題】信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムを提供する。【解決手段】運転支援装置は、車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、信号内容を記号化する記号化部と、記号化された信号情報を、撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備える。【選択図】図１
2018173755.tif 000002
【特許請求の範囲】
【請求項１】
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、
前記撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、
前記信号内容を記号化する記号化部と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備えることを特徴とする運転支援装置。
【請求項２】
前記信号類の視認性を判断する視認性判断部を備え、
前記表示制御部は、前記視認性判断部による判断結果に基づいて、前記信号情報を表示させることを特徴とする請求項１に記載の運転支援装置。
【請求項３】
前記表示制御部は、利用者が参照すべき信号類の前記信号情報だけを表示させることを特徴とする請求項１又は２に記載の運転支援装置。
【請求項４】
前記表示制御部は、利用者が参照すべき信号類が複数ある場合、優先順位に応じて、前記信号情報の表示態様を変化させる請求項３に記載の運転支援装置。
【請求項５】
前記表示制御部は、前記信号類の設置位置が自車両に近い順に認識しやすい表示態様で、前記信号情報を表示させる請求項４に記載の運転支援装置。
【請求項６】
前記記号化部は、利用者によって設定された国情報に基づいて、前記信号内容を記号化することを特徴とする請求項１から５のいずれか一項に記載の運転支援装置。
【請求項７】
前記信号内容判別部は、前記撮像画像の画像解析により、前記信号内容を判別することを特徴とする請求項１から６のいずれか一項に記載の運転支援装置。
【請求項８】
前記信号内容判別部は、前記信号内容を提供する路側機との路車間通信により、前記信号内容を判別することを特徴とする請求項１から６のいずれか一項に記載の運転支援装置。
【請求項９】
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する工程と、
前記撮像画像に含まれる信号類が示す信号内容を判別する工程と、
前記信号内容を記号化する工程と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる工程と、を含むことを特徴とする運転支援方法。
【請求項１０】
運転支援装置のコンピューターに、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する処理と、
前記撮像画像に含まれる信号類が示す信号内容を判別する処理と、
前記信号内容を記号化する処理と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる処理と、を実行させる運転支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、道路等に設置された信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムに関する。
【背景技術】
【０００２】
従来、道路等に設置された信号機や道路標識（以下、「信号類」と称する）を車載カメラによって撮像し、信号類の信号内容（信号機による現示内容、道路標識による表示内容）の認識結果を利用して、安全運転を支援する運転支援装置が知られている（例えば、特許文献１、２）。特許文献１には、信号内容の認識結果に基づいて、自動的に車両の走行制御を行う技術が開示されている。特許文献２には、信号内容の認識結果に基づいて、利用者に対して警報を出力する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３０６４９８号公報
【特許文献２】特開２００４−１９９１４８号公報
【特許文献３】実用新案登録第３０４６８９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、信号類の信号内容の認識は、走行時の周囲環境や、利用者の視覚的特徴に影響を受ける。例えば、降雨時や降雪時の薄暗い環境や、直射日光を受ける環境等、特定の条件下では信号類の視認性が低下する。また例えば、色覚異常者は、信号現示を色によって認識することは困難であるため、点灯している色灯の位置に頼らざるを得ない。特許文献１、２に開示の技術は、信号内容の認識が困難となる場合に対応できるものではない。
【０００５】
一方で、特許文献３には、簡単な図形により信号現示を行う信号機が開示されている。かかる技術によれば、利用者は、図形の形状によって信号内容を容易に認識することができる。しかしながら、このような信号機を既設の信号機に替えて設置することは、設備投資の観点からも現実的ではなく、広く普及するには至っていない。
【０００６】
本発明の目的は、信号類の信号内容を容易に認識できる運転支援装置、運転支援方法及び運転支援プログラムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る運転支援装置は、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する画像取得部と、
前記撮像画像に含まれる信号類が示す信号内容を判別する信号内容判別部と、
前記信号内容を記号化する記号化部と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる表示制御部と、を備えることを特徴とする。
【０００８】
本発明に係る運転支援方法は、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する工程と、
前記撮像画像に含まれる信号類が示す信号内容を判別する工程と、
前記信号内容を記号化する工程と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる工程と、を含むことを特徴とする。
【０００９】
本発明に係る運転支援プログラムは、
運転支援装置のコンピューターに、
車載カメラによって撮像された車両の周辺視界の撮像画像を取得する処理と、
前記撮像画像に含まれる信号類が示す信号内容を判別する処理と、
前記信号内容を記号化する処理と、
記号化された信号情報を、前記撮像画像又は利用者が視認している実景に重畳させて表示させる処理と、を実行させる。
【発明の効果】
【００１０】
本発明によれば、信号類の信号内容を容易に認識できる運転支援装置が提供される。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る運転支援装置の構成例を示す図である。
【図２】記号情報の一例を示す図である。
【図３】画像表示システムにおける運転支援処理の一例を示すフローチャートである。
【図４】信号情報の重畳表示の一例を示す図である。
【図５】信号情報の重畳表示の他の一例を示す図である。
【図６】信号情報の重畳表示の他の一例を示す図である。
【図７】記号情報の他の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
【００１３】
図１は、実施の形態に係る画像表示システム１の構成例を示す図である。画像表示システム１は、道路を走行する車両に搭載され、車両の前方視界の確認のために用いられる。画像表示システム１の処理部１１は、本発明の運転支援装置としての機能を有する。すなわち、処理部１１は、車両前方にある信号類が示す信号内容を利用者が容易に認識できるように支援する。
【００１４】
ここで、信号類とは、信号機や標識等である。また、信号類が示す信号内容とは、信号機による現示内容や標識による表示内容である。本実施の形態では、信号機の現示内容の認識を支援する場合について説明する。
【００１５】
図１に示すように、画像表示システム１は、処理部１１、記憶部１２、表示部１３、操作部１４、通信部１５、及び車載カメラ２０等を備える。
【００１６】
車載カメラ２０は、例えば、車両の前部（例えば、フロントグリル）に設置される（以下、「フロントカメラ２０」と称する）。フロントカメラ２０は、例えばＣＣＤ（charge-coupled device）型イメージセンサー、ＣＭＯＳ（complementary metal oxide semiconductor）型イメージセンサーなどの撮像素子を有する。撮像素子によって光電変換された前方視界の画像を示す電気信号は、無線通信又は有線通信によって処理部１１に送信される。
【００１７】
表示部１３は、例えば、液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイである。操作部１４は、例えば、文字や数字を入力可能な入力デバイスである。表示部１３及び操作部１４は、タッチパネル付きのフラットパネルディスプレイで構成されてもよい。表示部１３及び操作部１４は、例えば、画像表示システム１の利用者が、自身の視覚的特徴や、運転に慣れている国を示す国情報（例えば、利用者の母国）を入力する際に用いられる。また、表示部１３には、フロントカメラ２０で撮像された実写画像が表示される。なお、実写画像は、車載カメラ２０が撮像した画像に対して各種の画像処理が施された後の画像であってもよい。各種の画像処理としては、回転歪み補正、雪、霧、雨等を消去する処理、または鮮明化処理がある。
【００１８】
処理部１１は、演算／制御装置としてのＣＰＵ１１１（Central Processing Unit）、主記憶装置としてのＲＯＭ１１２（Read Only Memory）及びＲＡＭ１１３（Random Access Memory）等を備える。ＲＯＭ１１２には、ＢＩＯＳ（Basic Input Output System）と呼ばれる基本プログラムや基本的な設定データが記憶される。ＣＰＵ１１１は、例えばＲＯＭ１１２から処理内容に応じたプログラムを読み出してＲＡＭ１１３に展開し、展開したプログラムを実行することにより、画像表示システム１の各ブロックの動作を集中制御する。
【００１９】
記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等の補助記憶装置である。記憶部１２は、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスク、ＭＯ（（Magneto-Optical disk）等の光磁気ディスクを駆動して情報を読み書きするディスクドライブであってもよい。また例えば、記憶部１２は、ＵＳＢメモリ、ＳＤカード等のメモリカードであってもよい。記憶部１２は、信号機の現示内容に信号情報が対応付けられた記号情報１２１を記憶する。
【００２０】
図２に、記号情報１２１の一例を示す。図２に示す例では、信号機の青色色灯の灯火（以下、「青色灯火」と称する）に対応して青色の「○」の図形データが登録され、黄色色灯の灯火（以下、「黄色灯火」と称する）に対応して黄色の「△」の図形データが登録され、赤色色灯の灯火（以下、「赤色灯火」と称する）に対応して赤色の「×」の図形データが登録されている。これらの図形データが、記号化された信号情報に相当する。
【００２１】
なお、信号情報は、利用者が、信号機の青色灯火、黄色灯火、及び赤色灯火を容易に認識できる形態であればよく、文字データを含んでもよい。また、信号情報は、カラーであってもよいし、モノクロであってもよい。カラーの信号情報の場合、利用者は、形状だけでなく、色によっても信号機の現示内容を認識することができる。
【００２２】
通信部１５は、例えばＮＩＣ（Network Interface Card）、ＭＯＤＥＭ（MOdulator-DEModulator）等の通信インターフェースである。処理部１１は、通信部１５を介して、インターネットに接続されたサーバー（例えば、気象情報提供サービスのウェブサーバー）との間で各種情報の送受信を行う。また、通信部１５は、狭域通信（ＤＳＲＣ：Dedicated Short Range Communication）用のインターフェースを含んでもよい。この場合、処理部１１は、通信部１５を介して、路側機（図示略）から信号機の現示内容を示す情報を取得することができる。
【００２３】
処理部１１は、運転支援プログラムを実行することにより、画像取得部１１Ａ、信号判断部１１Ｂ、信号内容判別部１１Ｃ、記号化部１１Ｄ、及び表示制御部１１Ｅとして機能する。これらの機能については、図３のフローチャートに従って詳述する。運転支援プログラムは、例えばＲＯＭ１１２に記憶される。運転支援プログラムは、例えば、当該プログラムが格納されたコンピューター読取可能な可搬型記憶媒体（光ディスク、光磁気ディスク、及びメモリカードを含む）を介して提供される。また例えば、運転支援プログラムは、当該プログラムを保有するサーバーから、ネットワークを介してダウンロードにより提供されてもよい。
【００２４】
図３は、処理部１１が実行する運転支援処理の一例を示すフローチャートである。この処理は、例えば車両の動力源（エンジン又はモーター）の始動に伴い画像表示システム１が起動され、ＣＰＵ１１１がＲＯＭ１１２に格納されている運転支援プログラムを呼び出して実行することで実現される。
【００２５】
ステップＳ１０１において、処理部１１は、フロントカメラ２０から１フレームの撮像画像を取得する（画像取得部１１Ａとしての処理）。なお、以降の処理は１フレーム毎に行うこととしているが、複数フレームを用いて処理をしても良い。
【００２６】
ステップＳ１０２において、処理部１１は、撮像画像を解析し、撮像画像に信号機が含まれるか否かを判定する（信号判断部１１Ｂとしての処理）。この処理には、公知の画像認識技術（例えば、パターンマッチング）を利用できる。撮像画像に信号機が含まれる場合（ステップＳ１０２で“ＹＥＳ”）、ステップＳ１０３の処理に移行する。撮像画像に信号機が含まれていない場合（ステップＳ１０２で“ＮＯ”）、当該フレームについての処理を終了する。
【００２７】
ステップＳ１０３において、処理部１１は、撮像画像に含まれる信号機の視認性を判定する（信号判断部１１Ｂとしての処理）。この処理では、撮像画像の全体の視認性を判定してもよいし、撮像画像に含まれる信号機ごとの視認性を判定してもよい。処理部１１は、例えば、撮像画像を解析することにより、信号機の視認性を判定する。また例えば、処理部１１は、通信部１５を介してウェブサーバーから得られる気象情報に基づいて、信号機の視認性を判定してもよい。例えば、降雨時や降雪時には、信号機の視認性が悪いと判定される。なお、利用者が色覚異常者であることが設定されている場合、撮像画像の鮮明さや気象情報にかかわらず、視認性が悪いと判定するようにしてもよい。信号機の視認性が悪い場合（ステップＳ１０３で“ＮＯ”）、ステップＳ１０４の処理に移行する。信号機の視認性が良い場合（ステップＳ１０３で“ＹＥＳ”）、現示内容を容易に認識できるので、当該フレームについての処理を終了する。
【００２８】
ステップＳ１０４において、処理部１１は、撮像画像に含まれる信号機の現示内容を判別する（信号内容判別部１１Ｃとしての処理）。具体的には、処理部１１は、信号機の現示内容が、青色灯火であるか、黄色灯火であるか、赤色灯火であるかを判別する。処理部１１は、例えば、公知の色認識技術を用いて撮像画像を解析することにより、信号機の現示内容を判別する。また例えば、処理部１１は、通信部１５を介して路側機から得られる現示情報に基づいて、信号機の現示内容を判別してもよい。
【００２９】
ステップＳ１０５において、処理部１１は、信号機の現示内容を記号化する（記号化部１１Ｄとしての処理）。具体的には、処理部１１は、記憶部１２に記憶されている記号情報１２１（図２参照）を参照して、現示内容に対応付けられた図形データ（信号情報）を読み出す。例えば、信号機の現示内容が青色灯火である場合、「○」の図形データが読み出される。また例えば、信号機の現示内容が赤色灯火である場合、「×」の図形データが読み出される。
【００３０】
ステップＳ１０６において、処理部１１は、記号化された信号情報を、撮像画像（実写画像）に重畳させて表示させる（表示制御部１１Ｅとしての処理）。具体的には、処理部１１は、ステップＳ１０１で取得された撮像画像のデータに基づいて、表示部１３に実写画像を表示させるとともに、記号化された信号情報を、実写画像に重畳させて表示させる。
【００３１】
以上のようにして、当該フレームに対する処理が終了し、引き続き、次のフレームに対する運転支援処理が実行される。なお、ステップＳ１０２において、撮像画像に含まれる信号機が複数ある場合には、それぞれの信号機に対してステップＳ１０４〜Ｓ１０６が実行される。
【００３２】
図４Ａ〜図４Ｃは、信号情報の重畳表示の一例を示す図である。
図４Ａでは、信号機のある領域に重畳して青色灯火を示す信号情報（「○」の図形）が表示されている。図４Ｂでは、対応する信号機の近傍領域に重畳して青色灯火を示す信号情報が表示されている。
【００３３】
このように、信号情報は、信号機のある領域に重畳して表示されてもよいし、信号機の近傍領域に重畳して表示されてもよい。また、図４Ｃに示すように、信号機に枠を重畳表示させて、対象となる信号機を明示するようにしてもよい。利用者は、信号情報の重畳表示により、信号機の現示内容を容易に認識することができる。利用者が色覚異常者である場合も、信号機の現示内容が記号化された信号情報で表示されるので、現示内容を容易に認識することができる。
【００３４】
図５は、信号情報の重畳表示の他の一例を示す図である。
図５では、走行車線の信号機の現示内容を示す信号情報（「×」の図形）だけが表示され、走行車線と交差する車線の信号機の現示内容を示す信号情報は表示されていない。
【００３５】
このように、処理部１１（表示制御部１１Ｅ）は、利用者が参照すべき信号機の信号情報だけを表示させるようにしてもよい。これにより、信号情報の重畳表示が散在し、かえって信号機の現示内容が認識しにくくなるのを防止できる。利用者が参照すべき信号機とは、例えば、自車両の走行車線用に設置された信号機である。自車両が右折レーンを走行中に、右折専用の信号現示が行われる矢印式信号機があった場合、当該矢印式信号機が参照すべき信号機となる。
【００３６】
図６は、信号情報の重畳表示の他の一例を示す図である。
図６では、走行車線に複数の信号機があり、自車両に近い信号機の現示内容を示す信号情報（「×」の図形）の表示は、自車両から遠い信号機の現示内容を示す信号情報（「○」の図形）の表示よりも大きく、認識しやすいようになっている。このように、利用者が参照すべき信号機が複数ある場合、優先順位に応じて、信号情報の表示態様（例えば、表示サイズ、表示色、枠による強調表示など）を変化させてもよい。図６は、自車両から近い順に優先順位が高く設定されている場合を示している。
【００３７】
これにより、利用者は、最も注視すべき信号機を把握できるので、参照すべき複数の信号機の現示内容が異なる場合に現示内容の誤認が生じるのを防止できる。なお、信号情報の重畳表示が散在し、信号機の現示内容が認識しにくくなる場合は、優先順位の低い方から信号情報の重畳表示を行わないようにしてもよい。
【００３８】
このように、画像表示システム１の処理部１１（運転支援装置）は、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する画像取得部１１Ａと、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する信号内容判別部１１Ｃと、現示内容を記号化する記号化部１１Ｄと、記号化された信号情報を、撮像画像に重畳させて表示させる表示制御部１１Ｅと、を備える。
【００３９】
実施の形態に係る運転支援方法は、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する工程（図３のステップＳ１０１）と、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する工程（ステップＳ１０４）と、現示内容を記号化する工程（ステップＳ１０５）と、記号化された信号情報を、撮像画像に重畳させて表示させる工程（ステップＳ１０６）と、を含む。
【００４０】
実施の形態に係る運転支援プログラムは、処理部１１（コンピューター）に、車載カメラ２０によって撮像された車両の前方視界の撮像画像を取得する処理（図３のステップＳ１０１）と、撮像画像に含まれる信号機（信号類）が示す現示内容（信号内容）を判別する処理（ステップＳ１０４）と、現示内容を記号化する処理（ステップＳ１０５）と、記号化された信号情報を、撮像画像に重畳させて表示させる処理（ステップＳ１０６）と、を実行させる。
【００４１】
信号機の現示内容が記号化された信号情報によって表示されるので、利用者は、少なくとも信号情報の形状によって、信号類の信号内容を容易に認識することができる。したがって、利用者の安全運転が支援され、交通事故の発生リスクを低減することができる。降雨、降雪、直射日光などにより信号機の視認性が著しく低下する場合、また、利用者が色覚異常者である場合に、極めて有用である。
【００４２】
以上、本発明者によってなされた発明を実施の形態に基づいて具体的に説明したが、本発明は上記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【００４３】
例えば、実施の形態では、信号機の現示内容の認識を支援する場合について説明したが、本発明は、標識の表示内容の認識を支援する場合にも適用できる。
【００４４】
また例えば、実施の形態では、信号機の視認性が悪い場合にだけ信号情報を表示するようにしているが、信号機の視認性に関わらず信号情報を表示するようにしてもよい。
【００４５】
ところで、信号機や標識は、信号内容が同じであっても、表示態様は国ごとに異なる（図７参照）。そこで、利用者によって設定された国情報に基づいて、信号内容を記号化してもよい。道路標識について説明すると、図７に示すように、道路標識の表示内容に対応して各国の標識データが登録される。撮像画像に道路標識が含まれている場合、当該道路標識の表示内容が判別され、設定された国情報及び判別された表示内容に基づいて、表示する標識データが選択され、読み出される。慣れ親しんだ態様で信号情報が表示されるので、利用者は、道路標識の表示内容を容易に認識することができる。
【００４６】
なお、車載カメラが撮像した信号類が示す信号内容に対応する信号類が、利用者によって設定された国に無い場合は、利用者が当該信号内容を認識し易いように記号化して表示すればよい。
【００４７】
また、実施の形態では、実写画像に信号情報を重畳表示しているが、ヘッドアップディスプレイ（ＨＵＤ）を利用して、利用者の視野（実景）に直接信号情報を重畳表示するようにしてもよい。
【００４８】
実施の形態では、処理部１１（コンピュータ）が、画像取得部１１Ａ、画像処理部１１Ｂ、表示制御部１１Ｃ、カメラ状態監視部１１Ｄとして機能することにより、本発明を実現しているが、これらの機能の一部又は全部は、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）等の電子回路によって構成することもできる。
【００４９】
実施の形態では、車載カメラは１つだったが、車載カメラを２つ以上用いてもよい。車載カメラを２つ以上用いることにより、物体との距離の認識が容易となり、また、表示部への３Ｄ表示が可能となる。
【００５０】
実施の形態では、車載カメラは、車両の前方視界を撮影するフロントカメラであったが、これに限られない。車載カメラは、車両の後方視界を撮影するリアカメラなど、車両の周辺視界を撮影するカメラであればよい。
【００５１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００５２】
本発明は、道路等に設置された信号類の信号内容の認識を支援する運転支援技術に好適である。
【符号の説明】
【００５３】
１  画像表示システム
１１  処理部（運転支援装置）
１１Ａ  画像取得部
１１Ｂ  信号判断部（視認性判断部）
１１Ｃ  信号内容判別部
１１Ｄ  記号化部
１１Ｅ  表示制御部
１２  記憶部
１３  表示部
１４  操作部
１５  通信部
２０  フロントカメラ（車載カメラ）
【図１】
2018173755.tif 000003
【図２】
2018173755.tif 000004
【図３】
2018173755.tif 000005
【図４】
2018173755.tif 000006
【図５】
2018173755.tif 000007
【図６】
2018173755.tif 000008
【図７】
2018173755.tif 000009