(57)【要約】【課題】他車両が従うべき信号機の点灯色を速やかに認識可能に表示することができる映像表示制御装置、映像表示装置、映像表示制御方法および映像表示制御プログラムを提供する。【解決手段】映像表示制御装置２０は、信号機情報取得部２５、映像取得部２６、映像認識処理部２７、信号機対応判断部２８および表示制御部２９を備える。信号機情報取得部２５は自車両が接近する信号機の点灯色情報を取得する。映像取得部２６は自車両の前方を撮影した映像データを取得する。映像認識処理部２７は、映像データから他車両を認識し、該他車両の位置および移動方向を検出する。信号機対応判断部２８は、映像認識処理部２７が検出した他車両の位置および移動方向に基づいて、他車両が従うべき信号機の点灯色情報を対応付ける。表示制御部２９は、他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を表示する処理を行う。【選択図】図１
2019087207.tif 000002
【特許請求の範囲】
【請求項１】
自車両が接近する信号機の点灯色情報を取得する信号機情報取得部と、
自車両の前方を撮影した映像データを取得する映像取得部と、
前記映像取得部が取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する他車両情報検出部と、
前記他車両情報検出部が検出した前記他車両の位置および移動方向に基づいて、前記他車両が従うべき信号機の点灯色情報を対応付ける信号機対応判断部と、
前記他車両に対応する位置に、前記信号機対応判断部が対応付けた点灯色情報を表示する処理を行う表示制御部と、
を備えることを特徴とする映像表示制御装置。
【請求項２】
自車両の運転者の前方に映像光を投射する映像投射部をさらに備え、
前記表示制御部は、前記映像投射部に対して、前記他車両情報検出部が検出した前記他車両に対する前記運転者の視線上の位置に、前記信号機対応判断部が対応付けた点灯色情報を投射させることを特徴とする請求項１に記載の映像表示制御装置。
【請求項３】
前記他車両情報検出部は前記他車両における窓部分を認識し、
前記表示制御部は、前記窓部分に対応する位置に、前記信号機対応判断部が対応付けた点灯色情報を表示する処理を行うことを特徴とする請求項１または２に記載の映像表示制御装置。
【請求項４】
前記他車両情報検出部は前記他車両の走行速度を検出し、
前記表示制御部は、前記他車両情報検出部が検出した走行速度に基づいて前記他車両が停止していないと判断され、かつ前記信号機対応判断部が対応付けた点灯色情報が黄色または赤色である場合に、前記他車両に対応する位置に、前記他車両が動いていることを示す映像を表示する処理を行うことを特徴とする請求項１から３のいずれか１項に記載の映像表示制御装置。
【請求項５】
請求項１から４のいずれか１項に記載の映像表示制御装置と、
自車両の前方を撮影した映像データを生成する撮像部と、
を備え、前記映像取得部は、前記撮像部が生成した映像データを取得することを特徴とする映像表示装置。
【請求項６】
自車両が接近する信号機の点灯色情報を取得する信号機情報取得ステップと、
自車両の前方を撮影した映像データを取得する映像取得ステップと、
前記映像取得ステップが取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する他車両情報検出ステップと、
前記他車両情報検出ステップが検出した前記他車両の位置および移動方向に基づいて、前記他車両が従うべき信号機の点灯色情報を対応付ける信号機対応判断ステップと、
前記他車両に対応する位置に、前記信号機対応判断ステップが対応付けた点灯色情報を表示する処理を行う表示制御ステップと、
を備えることを特徴とする映像表示制御方法。
【請求項７】
自車両が接近する信号機の点灯色情報を取得する信号機情報取得ステップと、
自車両の前方を撮影した映像データを取得する映像取得ステップと、
前記映像取得ステップが取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する他車両情報検出ステップと、
前記他車両情報検出ステップが検出した前記他車両の位置および移動方向に基づいて、前記他車両が従うべき信号機の点灯色情報を対応付ける信号機対応判断ステップと、
前記他車両に対応する位置に、前記信号機対応判断ステップが対応付けた点灯色情報を表示する処理を行う表示制御ステップと、
をコンピュータに実行させることを特徴とする映像表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示制御装置、映像表示装置、映像表示制御方法および映像表示制御プログラムに関する。
【背景技術】
【０００２】
車両等の移動体に搭載されるカーナビゲーション装置等の映像表示装置は、地図情報を表示部に表示するとともに、表示した地図の中に含まれる信号機、公共施設および店舗等の各種情報を表示して、ユーザに周辺地域の情報を提供する。また、運転者の視野内に虚像を表示するＨＵＤ（Head-Up Display）は、速度等の車両情報を表示することによって情報を提供し、利便性を向上する。
【０００３】
例えば特許文献１に記載の映像表示装置は、通信部、画像解析部およびコントローラを備え、ＨＵＤに信号機の点灯色虚像を表示する。通信部は自車両が通過する予定の信号機の点灯色を無線によって受信し、画像解析部はカメラで撮像された自車両の進行方向の実景画像を解析し、実景画像に信号機が存在するかを判定する。コントローラは、信号機が実景画像に存在しない場合に、通信部から入力した信号機の点灯色に基づいて、信号機の点灯色を示す点灯色虚像をＨＵＤに表示させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１１２９８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の映像表示装置は、点灯色虚像をＨＵＤに表示させるが、交差点およびその付近に存在する他車両と、該他車両が従うべき信号機情報との対応付けを直観的に認識できる情報を提供するまでには至っていない。例えば、時差式の交差点において、ユーザが自車両を右折させようとする際に、対向車線が直進禁止となっていることが認識できず、右折するまでに対向車線の他車両の停止を確認すべく時間を要し、更には不便であるという印象を受ける。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、他車両が従うべき信号機の点灯色を速やかに認識可能に表示することができる映像表示制御装置、映像表示装置、映像表示制御方法および映像表示制御プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の映像表示制御装置は、自車両が接近する信号機の点灯色情報を取得する信号機情報取得部と、自車両の前方を撮影した映像データを取得する映像取得部と、前記映像取得部が取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する他車両情報検出部と、前記他車両情報検出部が検出した前記他車両の位置および移動方向に基づいて、前記他車両が従うべき信号機の点灯色情報を対応付ける信号機対応判断部と、前記他車両に対応する位置に、前記信号機対応判断部が対応付けた点灯色情報を表示する処理を行う表示制御部と、を備える。
【０００８】
また本発明の別の態様は映像表示制御方法である。この映像表示制御方法は、自車両が接近する信号機の点灯色情報を取得する信号機情報取得ステップと、自車両の前方を撮影した映像データを取得する映像取得ステップと、前記映像取得ステップが取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する他車両情報検出ステップと、前記他車両情報検出ステップが検出した前記他車両の位置および移動方向に基づいて、前記他車両が従うべき信号機の点灯色情報を対応付ける信号機対応判断ステップと、前記他車両に対応する位置に、前記信号機対応判断ステップが対応付けた点灯色情報を表示する処理を行う表示制御ステップと、を備える。
【発明の効果】
【０００９】
本発明によれば、他車両が従うべき信号機の点灯色を速やかに認識可能に表示することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態１に係る映像表示制御装置を含む映像表示装置の構成を示すブロック図である。
【図２】自車両が接近する信号機を備えた交差点の例を説明するための模式図である。
【図３】信号機情報の例を示す図表である。
【図４】映像取得部が取得した映像データの例を示す模式図である。
【図５】図５（ａ）〜（ｃ）は表示制御部による表示例を示す模式図である。
【図６】映像表示処理の手順を示すフローチャートである。
【図７】実施形態２に係る映像表示制御装置を含む映像表示装置の構成を示すブロック図である。
【図８】映像投射部による点灯色情報の表示について説明するための模式図である。
【図９】実施形態３に係る表示制御部による表示例を示す模式図である。
【図１０】映像表示処理の手順を示すフローチャートである。
【図１１】変形例に係る矢印式信号機を説明するための模式図である。
【発明を実施するための形態】
【００１１】
以下、本発明を好適な実施の形態をもとに図１から図１１を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１２】
（実施形態１）
図１は、実施形態１に係る映像表示制御装置２０を含む映像表示装置１００の構成を示すブロック図である。映像表示装置１００は、自車両の前方を撮影した映像を取得するとともに、自車両が接近する信号機の点灯色情報を取得する。映像表示装置１００は、取得した映像データから他車両を認識し、他車両の位置および移動方向を検出する。映像表示装置１００は、他車両の位置および移動方向に基づいて、他車両が従うべき信号機の点灯色情報を対応付け、他車両に対応する位置に点灯色情報を表示する。映像表示装置１００は、例えば車両等の移動体に搭載されるカーナビゲーション装置または車両内で用いることができる可搬型の装置である。
【００１３】
映像表示装置１００は、ＧＰＳ受信機１１、記憶部１２、通信部１３、撮像部１４、表示部１５および映像表示制御装置２０を備える。また、映像表示装置１００は、音声によってユーザに案内等を行うための音声出力部を有していてもよい。
【００１４】
ＧＰＳ受信機１１は、ＧＰＳ衛星からのＧＰＳ信号を受信し、受信したＧＰＳ信号を映像表示制御装置２０へ出力する。記憶部１２は、例えばＳＳＤ（Solid State Drive）、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ等によって構成される記憶装置であり、地図情報、および画像を認識するための認識用辞書を記憶している。地図情報には、道路や信号機が設置された地点の情報も含まれている。信号機が設置された地点の情報を含む地図情報は、記憶部１２に記憶されて映像表示制御装置２０へ出力されるほか、通信装置を用いて情報提供サーバ（図示略）と通信し、該情報提供サーバから取得するものであってもよい。
【００１５】
通信部１３は、道路上に設置されている信号機情報送信装置５から無線通信あるいは光無線通信などによって信号機の状態を含む信号機情報を受信する。信号機情報には、信号機が設置された地点への各進入方向に対応する信号機の点灯色の情報が含まれる。尚、信号機が設置された地点は、例えば信号機が設置された交差点にあっては交差点の中央等であり、また、交差点ではなく信号機が設置された横断歩道のある地点にあっては該横断歩道および信号機を代表する位置である。
【００１６】
撮像部１４は、例えば自車両の車体または車室内に前方に向けて備え付けられたカメラである。撮像部１４は、自車両の前方を撮影し、動画形式または静止画形式の映像データを生成する。表示部１５は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＬＥＤ（Light Emitting Diode）ディスプレイ等で構成されている。表示部１５は、地図情報、自車両の現在位置、走行ルートなどの情報、および映像表示制御装置２０からの指示に基づく操作に関する情報等を表示する。また、表示部１５は、ＨＵＤであっても良い。
【００１７】
映像表示制御装置２０は、現在位置情報取得部２１、地図情報取得部２２、位置判断部２３、方向特定部２４、信号機情報取得部２５、映像取得部２６、映像認識処理部２７、信号機対応判断部２８および表示制御部２９を有する。映像表示制御装置２０は、例えばＣＰＵなどによって構成され、不揮発性メモリ（図示略）に格納されたコンピュータプログラム、およびコンピュータプログラムに用いる各種情報に従って、上述の各部による処理を実行する。
【００１８】
映像表示制御装置２０において現在位置情報取得部２１は、ＧＰＳ衛星からの信号を受信するＧＰＳ受信機１１から取得した信号に基づき、自車両の現在位置（緯度、経度）を演算する。現在位置情報取得部２１は、演算により求めた自車両の現在位置の情報を位置判断部２３および方向特定部２４へ出力する。地図情報取得部２２は、記憶部１２から信号機の存在位置の情報を含む地図情報を取得する。地図情報取得部２２は、記憶部１２から取得した地図情報を位置判断部２３へ出力する。
【００１９】
位置判断部２３は、現在位置情報取得部２１から入力された自車両の現在位置と、地図情報取得部２２から入力された信号機の存在位置の情報を含む地図情報とに基づいて、信号機に接近しているか否かを判定する。信号機に接近しているか否かの判定は、信号機の存在位置から所定距離（例えば１００ｍ）以内に自車両が位置しているか等の条件により判定する。位置判断部２３は、自車両が信号機の存在位置から所定距離以内に位置していると判定すると、自車両が信号機に接近していることを示す信号機接近信号を方向特定部２４および映像取得部２６へ出力する。
【００２０】
方向特定部２４は、位置判断部２３から信号機接近信号が入力されると、信号機が設置された地点への進入方向を特定する。方向特定部２４は、現在位置情報取得部２１から入力される自車両の現在位置の履歴に基づいて自車両の移動方向を演算する。方向特定部２４は、自車両の現在位置、および演算により求めた自車両の移動方向に基づいて、信号機が設置された地点への進入方向を特定する。
【００２１】
信号機情報取得部２５は、通信部１３を介して信号機情報を取得する。上述のように信号機情報には、信号機が設置された地点への各進入方向に対応する信号機の点灯色の情報が含まれる。図２は自車両が接近する信号機を備えた交差点の例を説明するための模式図であり、図３は信号機情報の例を示す図表である。図２に示す交差点は南北に延びる道路と東西に延びる道路とが交差しており、信号機が設置された地点への進入方向が東西南北の四方向からとなっている。
【００２２】
図２に示す自車両Ｓは、交差点に対して南に位置し、かつ移動方向が北方向であり、信号機への進入方向は南側からとなっている。交差点付近には、他車両Ａ〜Ｃが存在している。図３に示す信号機情報は、南側および北側からの進入に対して青信号、西側および東側からの進入に対して赤信号となっている。図２と同様に自車両Ｓが南側から交差点に進入するとして、交差点への南側からの進入は、自車両Ｓが走行する走行路において自車両Ｓと同一方向となる。交差点への北側からの進入は、自車両Ｓが走行する走行路において自車両Ｓの対向方向に当たる。交差点への西側からの進入は、交差路において、自車両に対して左側から右方向へ向かうことに相当する。また、交差点への東側からの進入は、交差路において、自車両に対して右側から左方向へ向かうことに相当する。
【００２３】
映像取得部２６は、撮像部１４から自車両の前方を撮影した映像データを取得し、映像認識処理部２７へ出力する。映像取得部２６は、位置判断部２３から信号機接近信号が入力された後、撮像部１４から映像データを取得してもよい。映像認識処理部２７は、記憶部１２に記憶された認識用辞書に基づいて、映像取得部２６から入力された映像データから他車両を認識する。
【００２４】
図４は、映像取得部２６が取得した映像データの例を示す模式図である。図４に示す映像データでは、例えば南側から交差点に進入する自車両が存在し、前後方向（南北方向）に延びる走行路と、走行路に対して交差して左右方向（東西方向）に延びる交差路とが映っている。走行路の対向車線には他車両Ｄが存在し、交差路における左側には他車両Ｅが存在している。
【００２５】
記憶部１２に記憶した認識用辞書には、種々の車両を前後左右の各側面方向から見た形状データ等が含まれている。映像認識処理部２７は、映像データに表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって他車両を認識する。映像認識処理部２７は、例えば図４に示す映像データから他車両Ｄおよび他車両Ｅを認識する。映像認識処理部２７は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像データから他車両を認識することができる。尚、映像認識処理部２７は、本発明における他車両情報検出部に相当する。他車両情報検出部は、映像データに基づく認識処理に代えて、または統合して、他のセンサを用いてもよい。例えば、超音波センサ、ＬｉＤＡＲ（Laser Imaging Detection and Ranging）などを用いてもよい。
【００２６】
映像認識処理部２７は、映像データから認識した他車両について、さらに位置および移動方向を検出する。本実施形態において、映像認識処理部２７は、他車両の位置として、映像データ中の位置を検出すればよい。また映像認識処理部２７は、時々刻々と変化する複数の映像データ中で認識される他車両の移動履歴に基づいて、他車両の移動方向として、信号機が設置された地点への進入方向を検出する。映像認識処理部２７は、例えば図４に示す映像データにおいて、時々刻々取得される映像データに基づいて、他車両Ｄの移動方向として、進入方向が北側からであることを検出する。また、映像認識処理部２７は、他車両Ｅの移動方向として、進入方向が西側からであることを検出する。このとき、映像認識処理部２７は、自車両との関係で、他車両Ｄの移動方向が対向方向であり、他車両Ｅの移動方向が左側から右方向であると認識してもよい。
【００２７】
信号機対応判断部２８は、映像認識処理部２７で認識された他車両の位置および移動方向に基づいて、該他車両が従うべき信号機の点灯色情報を対応付け、表示制御部２９へ各他車両に対応付けた点灯色情報を出力する。信号機対応判断部２８は、信号機情報取得部２５により取得した信号機情報を用いて、映像認識処理部２７で認識された他車両について、該他車両が従うべき信号機の点灯色情報を対応付ける。信号機対応判断部２８は、例えば、図４の映像データから認識した他車両Ｄについて、移動方向が自車両の対向方向であること（進入方向が北側からであること）から、図３に示す信号機情報を用いて、他車両Ｄが従うべき信号機の点灯色が青色であると対応付ける。また、信号機対応判断部２８は、他車両Ｅについて、移動方向が左側から右方向であること（進入方向が西側からであること）から、他車両Ｅが従うべき信号機の点灯色が赤色であると対応付ける。
【００２８】
表示制御部２９は、映像認識処理部２７によって認識された他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を付加した映像データを表示部１５に表示する処理を行う。図５（ａ）〜（ｃ）は、表示制御部２９による表示例を示す模式図である。図５（ａ）の表示例は、他車両Ｄおよび他車両Ｅを、従うべき信号機の点灯色で半透明に塗りつぶした表示としてある。他車両の塗りつぶし範囲は、認識した他車両の輪郭内部、他車両の範囲を含む矩形などの範囲である。
【００２９】
図５（ｂ）の表示例は、他車両Ｄおよび他車両Ｅの窓部分を、従うべき信号機の点灯色で塗りつぶした表示としてある。この場合、記憶部１２の認識用辞書は、種々の車両の窓部分の形状データを含んでおり、映像認識処理部２７は、認識用辞書に含まれる窓部分の形状データと照合させることによって、他車両の窓部分を認識するものとする。映像認識処理部２７は、映像データ中の他車両を表す形状パターンにおいて、例えば車両の上下方向の中央から上部にかけて他の部分よりうす暗い部分を窓部分として検出するようにしてもよい。
【００３０】
図５（ｃ）の表示例は、他車両Ｄおよび他車両Ｅの周辺部分に、従うべき信号機の点灯色で塗りつぶした吹き出し枠形状の表示を付加してある。尚、他車両Ｄおよび他車両Ｅの周辺部分における信号機の点灯色情報の表示は、図５（ｃ）に示す表示形態に限られず、他車両の一部または全体を囲むような図形等や、車両の移動方向をも示す矢印であってもよい。
【００３１】
次に、実施形態１における映像表示制御装置２０の動作を、映像表示処理に基づいて説明する。図６は、映像表示処理の手順を示すフローチャートである。映像表示制御装置２０の現在位置情報取得部２１は、ＧＰＳ衛星からの信号を受信するＧＰＳ受信機１１から取得した信号に基づき、自車両の現在位置（緯度、経度）を演算して取得する処理を開始する（Ｓ１）。地図情報取得部２２は、記憶部１２から自車両の現在位置周辺における信号機の存在位置の情報を含む地図情報を取得する（Ｓ２）。地図情報取得部２２は、信号機の存在位置の情報として、自車両の進行方向における信号機の存在位置の情報のみを取得することとしてもよい。
【００３２】
位置判断部２３は、現在位置情報取得部２１から入力された自車両の現在位置と、地図情報取得部２２から入力された信号機の存在位置の情報を含む地図情報とに基づいて、自車両が信号機に接近しているか否かを判定する（Ｓ３）。位置判断部２３は、自車両が信号機に接近していないと判定した場合（Ｓ３：ＮＯ）、現在位置情報取得部２１から時々刻々と入力される現在位置の情報に基づいて、ステップＳ３による判定を繰り返す。
【００３３】
ステップＳ３において、自車両が信号機に接近していると判定された場合（Ｓ３：ＹＥＳ）、方向特定部２４は、信号機が設置された地点への自車両の進入方向を特定する（Ｓ４）。方向特定部２４は、例えば図２に示すように、信号機が設置された地点へ自車両が南側から進入することを特定する。信号機情報取得部２５は、通信部１３を介して信号機情報を取得する（Ｓ５）。信号機情報には、信号機が設置された地点への各進入方向に対応する信号機の点灯色の情報が含まれる。映像取得部２６は、撮像部１４から自車両の前方を撮影した映像データを取得する（Ｓ６）。
【００３４】
映像認識処理部２７は、映像データから他車両を認識し、認識した他車両について、位置および移動方向を検出する（Ｓ７）。他車両の位置および移動方向の検出は、例えば映像データにおける他車両の認識位置に基づいて、自車両から他車両までの距離および方向を検出し、映像データのフレーム毎の認識位置移動履歴に基づいて移動方向を検出する。信号機対応判断部２８は、映像認識処理部２７で認識された他車両の位置および移動方向に基づいて、該他車両が従うべき信号機の点灯色情報を対応付ける（Ｓ８）。表示制御部２９は、映像認識処理部２７によって認識された他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を付加した映像データを表示部１５に表示する処理を行い（Ｓ９）、処理を終了する。
【００３５】
映像表示制御装置２０は、図５（ａ）〜図５（ｃ）に示すように、自車両の前方を撮像した映像を、他車両に対応する位置に該他車両が従うべき信号機の点灯色情報を付加して表示部１５に表示する。これによって、映像表示制御装置２０は、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色をユーザが容易に把握することができるようになる。
【００３６】
映像表示制御装置２０は、例えば、時差式の信号機がある交差点において、走行路における自車両が右折しようとする際に、対向車線の信号機の点灯色が赤色となっている場合、対向する他車両に対応する位置に赤色の点灯色情報を表示する。ユーザは、映像表示制御装置２０の表示によって、対向車線の信号機の点灯色が赤色となっていることを容易に知ることができ、速やかに自車両を右折させることができる。
【００３７】
位置判断部２３は、信号機が設置された地点に自車両が接近しているか否かを判定し、接近していると判定した場合に、信号機接近信号を映像取得部２６へ出力する。映像取得部２６は、信号機接近信号が入力された後、撮像部１４から映像データを取得することで、信号機に接近していないにも関わらず映像データを不要に取得することがなく、処理負荷を軽減することができる。
【００３８】
映像表示制御装置２０は、図５（ｂ）に示すように他車両の窓部分に信号機の点灯色情報を付加して表示部１５に表示することによって、点灯色の表示を他車両のボディー色と区別して表示することができる。同様に、映像表示制御装置２０は、図５（ｃ）に示すように他車両の周辺部分に信号機の点灯色情報を付加して表示部１５に表示することによって、点灯色の表示を他車両のボディー色と区別して表示することができる。
【００３９】
（実施形態２）
実施形態１では、映像表示制御装置２０は、他車両に対応する位置に信号機の点灯色情報を付加して、取得した映像データを表示部１５に表示したが、ＨＵＤを用いて、自車両前方の風景に重なるように、点灯色情報を表示するようにしてもよい。図７は、実施形態２に係る映像表示制御装置２０を含む映像表示装置１００の構成を示すブロック図である。実施形態２における映像表示装置１００は、ＨＵＤとしての映像投射部１６を有し、表示制御部２９が映像投射部１６における信号機の点灯色情報の表示に対応した処理を行う。実施形態２に係る映像表示装置１００について以下に特に説明する以外の構成および動作は、実施形態１において説明した構成および動作と同様であり、記載の簡潔のため説明を省略する。
【００４０】
図８は映像投射部１６による点灯色情報の表示について説明するための模式図である。映像投射部１６は、例えば自車両のフロントガラス９０の下方におけるダッシュボード内またはダッシュボード上に配置され、フロントガラス９０またはコンバイナの前方に虚像６０を表示する。映像投射部１６は、表示制御部２９から出力される表示画像に基づいて映像光を出射し、投射鏡１６ａで反射してフロントガラス９０またはコンバイナに投射する。映像投射部１６は、投射した映像光がフロントガラス９０またはコンバイナによって反射され、車両前方の風景に重畳される虚像６０をフロントガラスの前方に映す。
【００４１】
表示制御部２９は、他車両に対する運転者の視線上の位置に、点灯色情報が示す点灯色で塗りつぶした画像を配置した表示画像を生成し、映像投射部１６へ出力する。映像投射部１６は、表示制御部２９から出力された表示画像に基づいて映像光を出射することで、他車両に対する運転者の視線上の位置に、点灯色情報が示す点灯色で塗りつぶした虚像６０ａを投射する。
【００４２】
撮像部１４が自車両の前方を撮影した映像の範囲と、映像投射部１６によって投射される虚像の範囲とが一致している場合、表示制御部２９は、映像取得部２６により取得した映像データ上で認識される他車両の位置に、信号色で塗りつぶした画像を配置した表示画像を生成すればよい。撮像部１４が自車両の前方を撮影した映像の範囲と、映像投射部１６によって投射される虚像の範囲とが一致していない場合には、表示制御部２９は、該映像と該虚像の範囲の位置ずれ量を考慮し、映像取得部２６により取得した映像データ上で認識される他車両の位置に対応する位置に、信号色で塗りつぶした画像を配置した表示画像を生成すればよい。
【００４３】
実施形態２における映像表示制御装置２０は、図６と同等の映像表示処理によって動作する。但し、図６に示すステップＳ９において、表示制御部２９は、他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色で塗りつぶした画像を配置した表示画像を生成し、映像投射部１６によって投射させる処理を行うことによって、他車両の位置に点灯色情報を表示し、処理を終了する。
【００４４】
運転者がフロントガラス９０越しに見た自車両の前方の風景が、図４に示す映像データに相当する風景であるとすると、該風景に重畳するように、映像投射部１６が他車両Ｄおよび他車両Ｅに対する運転者の視線上の位置に、点灯色情報が示す点灯色で塗りつぶした虚像を表示する。映像投射部１６が虚像を表示することで、運転者は、フロントガラス９０越しに図５（ａ）〜図５（ｃ）に示すような自車両の前方の風景を目視することができる。
【００４５】
映像表示制御装置２０は、運転者がフロントガラス９０越しに見る自車両の前方の風景において、他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色で塗りつぶした虚像が重なるように表示する。これによって、映像表示制御装置２０は、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色を、ユーザが前方を目視することで容易に把握することができるようになる。
【００４６】
（実施形態３）
実施形態３に係る映像表示制御装置２０は、他車両の走行速度を検出し、他車両が停止していないと判断され、かつ他車両に対応付けた点灯色情報が黄色または赤色である場合に、他車両に対応する位置に、他車両が動いていることを示す映像を表示する。実施形態３に係る映像表示装置１００について以下に特に説明する以外の構成および動作は、実施形態１および２において説明した構成および動作と同様であり、記載の簡潔のため説明を省略する。
【００４７】
映像表示制御装置２０の映像認識処理部２７は、認識された他車両について、時々刻々と変化する複数の映像データ中で認識される他車両の移動履歴に基づいて、他車両の走行速度を検出し、表示制御部２９へ出力する。表示制御部２９は、映像認識処理部２７が検出した走行速度に基づいて他車両が停止していないと判断され、かつ信号機対応判断部２８が対応付けた点灯色情報が黄色または赤色である場合に、他車両に対応する位置に、他車両が動いていることを示す映像を表示する処理を行う。表示制御部２９は、検出された他車両の走行速度を閾値（例えば１ｋｍ／時）と比較して、走行速度が閾値未満である場合に他車両が停止していると判断し、閾値以上である場合に他車両が停止していないと判断する。
【００４８】
図９は、実施形態３に係る表示制御部２９による表示例を示す模式図である。表示制御部２９は、他車両が動いていることを示す映像として、図９に示すような矢印を他車両に対応する位置に表示する処理を行う。表示制御部２９は、他車両の走行速度に応じて、矢印の長短を変化させてもよいし、長さを一定として、矢印を塗りつぶす色を変化させるようにしてもよい。表示制御部２９は、矢印を塗りつぶす色を変化させる場合、例えば、他車両の走行速度が低速から高速になるにつれて、薄い赤色から濃い赤色に変化させる。
【００４９】
図１０は、映像表示処理の手順を示すフローチャートである。図１０において、ステップＳ１１からステップＳ１６、およびステップＳ１８の処理は、図６に示すステップＳ１からステップＳ６、およびステップＳ８の処理と同様であり、説明を省略する。映像認識処理部２７は、映像データから他車両を認識し、認識した他車両について、位置、移動方向および走行速度を検出する（Ｓ１７）。表示制御部２９は、映像認識処理部２７によって認識された他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を付加した映像データを表示部１５に表示する処理を行う（Ｓ１９）。
【００５０】
表示制御部２９は、他車両の走行速度に基づいて他車両が停止していないと判断され、かつ信号機対応判断部２８が他車両に対応付けた点灯色情報が黄色または赤色であるとの条件を満たすか否かを判定する（Ｓ２０）。表示制御部２９は、ステップＳ２０において条件を満たすと判定した場合（Ｓ２０：ＹＥＳ）、前記他車両が動いていることを示す映像を表示する処理を行い（Ｓ２１）、処理を終了する。表示制御部２９は、ステップＳ２０において条件を満たさないと判定した場合（Ｓ２０：ＮＯ）、処理を終了する。
【００５１】
映像表示制御装置２０は、図９に示すように、他車両に対応する位置に該他車両が動いていることを示す映像を表示することにより、自車両のユーザに対して注意を喚起することができる。図９に示す表示例では、他車両が動いていることを示す映像を矢印によるものとしたが、任意形状のマークまたは文字の画像によるものとしてもよい。
【００５２】
（変形例）
図１１は、変形例に係る矢印式信号機を説明するための模式図である。映像表示装置１００は、図１１に示す矢印式信号機情報を取得し、矢印による通行規制の内容を含むように、他車両が従うべき信号機の点灯色情報を表示する。信号機情報取得部２５は、矢印式信号機情報を通信部１３を介して取得する。信号機対応判断部２８は、例えば、対向車線の信号機が赤色となっており、右折マークが点灯して右折可能となっている場合、直進レーンに存在する他車両に対応する位置に赤色の点灯色情報を表示し、右折レーンに存在する他車両に対応する位置に青色の点灯色情報を表示する。
【００５３】
次に、実施形態１から３に係る映像表示制御装置２０、映像表示装置１００、映像表示制御方法、および映像表示制御プログラムの特徴を説明する。
映像表示制御装置２０は、信号機情報取得部２５、映像取得部２６、映像認識処理部２７（他車両情報検出部）、信号機対応判断部２８および表示制御部２９を備える。信号機情報取得部２５は、自車両が接近する信号機の点灯色情報を取得する。映像取得部２６は、自車両の前方を撮影した映像データを取得する。映像認識処理部２７は、映像取得部２６が取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する。信号機対応判断部２８は、映像認識処理部２７が検出した他車両の位置および移動方向に基づいて、他車両が従うべき信号機の点灯色情報を対応付ける。表示制御部２９は、他車両に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を表示する処理を行う。これにより、映像表示制御装置２０は、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色をユーザが容易に把握することができるようになる。
【００５４】
また映像表示制御装置２０は、自車両の運転者の前方に映像光を投射する映像投射部１６をさらに備える。表示制御部２９は、映像投射部１６に対して、映像認識処理部２７が検出した他車両に対する運転者の視線上の位置に、信号機対応判断部２８が対応付けた点灯色情報を投射させる。これにより、映像表示制御装置２０は、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色を、ユーザが前方を目視することで容易に把握することができるようになる。
【００５５】
また映像認識処理部２７は、他車両における窓部分を認識する。表示制御部２９は、窓部分に対応する位置に、信号機対応判断部２８が対応付けた点灯色情報を表示する処理を行う。これにより、映像表示制御装置２０は、点灯色の表示を他車両のボディー色と区別して表示することができる。
【００５６】
また映像認識処理部２７は、他車両の走行速度を検出する。表示制御部２９は、映像認識処理部２７が検出した走行速度に基づいて他車両が停止していないと判断され、かつ信号機対応判断部２８が対応付けた点灯色情報が黄色または赤色である場合に、他車両に対応する位置に、他車両が動いていることを示す映像を表示する処理を行う。これにより、映像表示制御装置２０は、他車両が動いていることを示す映像を表示して、自車両のユーザに対して注意を喚起することができる。
【００５７】
映像表示装置１００は、上述の映像表示制御装置２０と、自車両の前方を撮影した映像データを生成する撮像部１４とを備える。映像取得部２６は、撮像部１４が生成した映像データを取得する。これにより、映像表示装置は、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色をユーザが容易に把握することができるようになる。
【００５８】
また映像表示制御方法は、信号機情報取得ステップ、映像取得ステップ、映像認識処理ステップ（他車両情報検出ステップ）、信号機対応判断ステップおよび表示制御ステップを備える。信号機情報取得ステップは、自車両が接近する信号機の点灯色情報を取得する。映像取得ステップは、自車両の前方を撮影した映像データを取得する。映像認識処理ステップは、映像取得ステップが取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する。信号機対応判断ステップは、映像認識処理ステップが検出した他車両の位置および移動方向に基づいて、他車両が従うべき信号機の点灯色情報を対応付ける。表示制御ステップは、他車両に対応する位置に、信号機対応判断ステップが対応付けた点灯色情報を表示する処理を行う。この映像表示制御方法によれば、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色をユーザが容易に把握することができるようになる。
【００５９】
また映像表示制御プログラムは、信号機情報取得ステップ、映像取得ステップ、映像認識処理ステップ（他車両情報検出ステップ）、信号機対応判断ステップおよび表示制御ステップをコンピュータに実行させる。信号機情報取得ステップは、自車両が接近する信号機の点灯色情報を取得する。映像取得ステップは、自車両の前方を撮影した映像データを取得する。映像認識処理ステップは、映像取得ステップが取得した映像データから他車両を認識し、該他車両の位置および移動方向を検出する。信号機対応判断ステップは、映像認識処理ステップが検出した他車両の位置および移動方向に基づいて、他車両が従うべき信号機の点灯色情報を対応付ける。表示制御ステップは、他車両に対応する位置に、信号機対応判断ステップが対応付けた点灯色情報を表示する処理を行う。この映像表示制御プログラムによれば、他車両が従っている信号機の点灯色を表示し、速やかに認識することができ、他車両が従っている信号機の点灯色をユーザが容易に把握することができるようになる。
【００６０】
以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
【符号の説明】
【００６１】
１６  映像投射部、  ２０  映像表示制御装置、  ２５  信号機情報取得部、
２６  映像取得部、  ２７  映像認識処理部（他車両情報検出部）、
２８  信号機対応判断部、  ２９  表示制御部、  １００  映像表示装置。
【図１】
2019087207.tif 000003
【図２】
2019087207.tif 000004
【図３】
2019087207.tif 000005
【図４】
2019087207.tif 000006
【図５】
2019087207.tif 000007
【図６】
2019087207.tif 000008
【図７】
2019087207.tif 000009
【図８】
2019087207.tif 000010
【図９】
2019087207.tif 000011
【図１０】
2019087207.tif 000012
【図１１】
2019087207.tif 000013