(57)【要約】【課題】ヘッドアップディスプレイに、視認性の高い情報を表示させる。【解決手段】移動体に搭載されたナビゲーション装置のディスプレイをカメラで撮影した画像情報の画像認識を行い、運転支援情報の認識を行う画像認識部１０２と、画像認識の結果から、運転支援情報を取得する方向情報取得部１０５および距離情報取得部１０６と、画像認識部１０２、方向情報取得部１０５または距離情報取得部１０６の少なくともいずれかの運転支援情報と、一致または類似する表示コンテンツを、予め記憶された、基準を満たすサイズおよび解像度を有する表示コンテンツから選択する表示コンテンツ選択部１０７と、選択された表示コンテンツを用いて、移動体のヘッドアップディスプレイに表示する表示画像を生成する表示制御部１０９とを備える。【選択図】図１
2019007794.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されたナビゲーション装置のディスプレイをカメラで撮影した画像情報を取得する画像情報取得部と、
前記画像情報取得部が取得した前記画像情報の画像認識を行い、運転支援情報の認識を行う画像認識部と、
前記画像認識部の前記画像認識の結果から、前記運転支援情報を取得する情報取得部と、
前記画像認識部または前記情報取得部の少なくともいずれか一方が認識または取得した運転支援情報と、一致または類似する表示コンテンツを、予め記憶された、基準を満たすサイズおよび解像度を有する表示コンテンツから選択する表示コンテンツ選択部と、
前記表示コンテンツ選択部が選択した表示コンテンツを用いて、前記移動体のヘッドアップディスプレイに表示する表示画像を生成する表示制御部とを備えた表示制御装置。
【請求項２】
前記画像認識部は、前記画像情報から前記移動体の右左折方向を示す画像の認識を行う方向表示認識部と、前記画像情報から前記移動体が右左折する地点までの距離を示す情報の認識を行う距離表示認識部とを有することを特徴とする請求項１記載の表示制御装置。
【請求項３】
前記方向表示認識部は、前記画像のうち、前記移動体の周辺の詳細地図を参照して前記移動体の右左折方向を認識し、前記詳細地図から前記右左折方向を認識できなかった場合に、前記画像のうち、前記詳細地図よりも広域の情報を示した広域地図を参照して前記右左折方向を示す情報を取得することを特徴とする請求項２記載の表示制御装置。
【請求項４】
前記距離表示認識部は、前記画像のうち、前記移動体の周辺の詳細地図を参照して前記移動体が右左折する地点までの距離を認識し、前記詳細地図から前記距離を識別できなかった場合に、前記画像のうち、前記詳細地図よりも広域の情報を示した広域地図を参照して前記移動体が右左折する地点までの距離を示す情報を取得することを特徴とする請求項２記載の表示制御装置。
【請求項５】
前記情報取得部は、前記方向表示認識部が取得した前記右左折方向を示す情報から前記移動体の右左折方向を取得する方向情報取得部を備えたことを特徴とする請求項３記載の表示制御装置。
【請求項６】
前記情報取得部は、前記距離表示認識部が取得した前記距離を示す情報から前記移動体が右左折する地点までの距離を算出する距離情報取得部を備えたことを特徴とする請求項４記載の表示制御装置。
【請求項７】
前記基準を満たすサイズおよび解像度を有する表示コンテンツを記憶する表示コンテンツ記憶部を備え、
前記表示コンテンツ選択部は、前記運転支援情報と一致または類似する表示コンテンツを、前記表示コンテンツ記憶部に記憶された表示コンテンツから選択することを特徴とする請求項１から請求項６のうちのいずれか１項記載の表示制御装置。
【請求項８】
前記画像認識部は、前記画像情報から情報の表示形態を認識し、
前記表示コンテンツ選択部は、前記運転支援情報と一致または類似し、且つ前記画像認識部が認識した前記表示形態と一致または類似する表示コンテンツを選択することを特徴とする請求項１から請求項７記載の表示制御装置。
【請求項９】
前記画像認識部は、前記情報の表示形態として、情報の色、情報の形状、または情報の字体のうち、少なくともいずれか１つを認識することを特徴とする請求項８記載の表示制御装置。
【請求項１０】
移動体に搭載されたナビゲーション装置のディスプレイをカメラで撮影した画像情報を取得する手順と、
前記取得された画像情報の画像認識を行い、運転支援情報の認識を行う手順と、
前記画像認識の結果から、前記運転支援情報を取得する手順と、
前記運転支援情報と一致または類似する表示コンテンツを、予め記憶された、基準を満たすサイズおよび解像度を有する表示コンテンツから選択する手順と、
前記選択された表示コンテンツを用いて、前記移動体のヘッドアップディスプレイに表示する表示画像を生成する手順とをコンピューターに実行させるための表示制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両等の運転支援のための情報をヘッドアップディスプレイに表示するための技術に関するものである。
【背景技術】
【０００２】
従来、車両等の移動体の前方に画像を表示するヘッドアップディスプレイが用いられている。ヘッドアップディスプレイには、移動体に搭載された表示制御装置等から入力された情報に基づいて、様々な運転支援のための情報が提示される。ユーザは、移動体の前方を視認した状態のまま、当該運転支援のための情報を確認する。
予め移動体に搭載された表示制御装置等に対して、後からヘッドアップディスプレイを取り付ける場合には、例えば、情報の出力端子を備えない表示制御装置から情報を取得する技術、または、表示制御装置で生成された画像を、ヘッドアップディスプレイのサイズおよび表示能力に適合するように画像処理を行う技術等が必要となる。
例えば特許文献１に記載された車両用表示装置では、表示制御装置のディスプレイに表示する第１の表示画像の一部を抽出し、抽出した画像を用いて第２の表示画像を生成してヘッドアップディスプレイに表示させる技術を用いている。当該技術を用いることにより、予め移動体に搭載された表示制御装置に対して、ヘッドアップディスプレイの後付けを可能にしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１４１１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ヘッドアップディスプレイは、ユーザの視界の範囲内に情報を提示する必要があるため、表示領域のサイズが限定される。また、運転支援のための情報を提示する場合には、ユーザが瞬時に認識できるように、視認性が高い情報を表示することが求められる。
しかし、上述した特許文献１の技術では、抽出した第１の表示画像のサイズを拡大するなど、ヘッドアップディスプレイの表示領域のサイズに合わせて表示画像の最適化を行うことができず、視認性が低下するという課題があった。また、上述した特許文献１の技術では、第１の表示画像の一部を抽出する際に、背景等の不要な情報も合わせて抽出させるため、視認性が低下するという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、ヘッドアップディスプレイに、視認性の高い情報を表示させることを目的とする。
【課題を解決するための手段】
【０００６】
この発明による表示制御装置は、移動体に搭載されたナビゲーション装置のディスプレイをカメラで撮影した画像情報を取得する画像情報取得部と、画像情報取得部が取得した画像情報の画像認識を行い、運転支援情報の認識を行う画像認識部と、画像認識部の画像認識の結果から、運転支援情報を取得する情報取得部と、画像認識部または情報取得部の少なくともいずれか一方が認識または取得した運転支援情報と、一致または類似する表示コンテンツを、予め記憶された、基準を満たすサイズおよび解像度を有する表示コンテンツから選択する表示コンテンツ選択部と、表示コンテンツ選択部が選択した表示コンテンツを用いて、移動体のヘッドアップディスプレイに表示する表示画像を生成する表示制御部とを備えるものである。
【発明の効果】
【０００７】
この発明によれば、ヘッドアップディスプレイに、視認性の高い情報を表示させることができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る表示制御装置の構成を示すブロック図である。
【図２】実施の形態１に係る表示制御装置の画像情報取得部が取得した画像情報の一例を示す図である。
【図３】図３Ａおよび図３Ｂは、実施の形態１に係る表示制御装置の表示コンテンツ記憶部が記憶する表示コンテンツの一例を示す図である。
【図４】図４Ａおよび図４Ｂは、実施の形態１に係る表示制御装置のハードウェア構成例を示す図である。
【図５】実施の形態１に係る表示制御装置の動作を示フローチャートである。
【図６】図６Ａ，図６Ｂ，図６Ｃは、実施の形態１に係る表示制御装置の処理例を示す図である。
【図７】実施の形態２に係る表示制御装置の構成を示すブロック図である。
【図８】図８Ａおよび図８Ｂは、実施の形態２に係る表示制御装置の表示コンテンツ記憶部が記憶する表示コンテンツの一例を示す図である。
【図９】実施の形態２に係る表示制御装置の動作を示すフローチャートである。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、実施の形態１に係る表示制御装置１００の構成を示すブロック図である。
図１に示すように、表示制御装置１００は、画像情報取得部１０１、方向表示認識部１０３および距離表示認識部１０４を備える画像認識部１０２、方向情報取得部（情報取得部）１０５、距離情報取得部（情報取得部）１０６、表示コンテンツ選択部１０７、表示コンテンツ記憶部１０８および表示制御部１０９を備える。
また、表示制御装置１００は、移動体に搭載されたナビゲーション装置３００のディスプレイ３０１を撮影するカメラ２００が有線または無線により接続されている。カメラ２００は、ナビゲーション装置３００のディスプレイ３０１を撮影する。また、表示制御装置１００は、ヘッドアップディスプレイ装置４００と接続されている。ヘッドアップディスプレイ装置４００は、表示制御装置１００から入力された表示画像を、ヘッドアップディスプレイ（図示しない）に投影して表示するための処理を行う。
【００１０】
カメラ２００は、ナビゲーション装置３００のディスプレイ３０１を撮影し、撮影したディスプレイ３０１の画像を表示制御装置１００に送信または出力する。画像情報取得部１０１は、カメラ２００から入力されたディスプレイ３０１を撮影した画像情報を取得する。画像情報取得部１０１は、取得した画像情報を画像認識部１０２に出力する。
【００１１】
図２は、実施の形態１に係る表示制御装置１００の画像情報取得部１０１が取得した画像情報の一例を示す図である。以下では、移動体が車両である場合を例に示すが、移動体は車両に限定されるものではない。
画像情報５００は、走行ルートを広域地図上に表示した広域地図表示領域５０１と、自車両の現在位置付近の経路案内を詳細地図上に表示した詳細地図表示領域５０２とで構成される。広域地図表示領域５０１には、例えば、地図５０１ａ、自車位置および自車両の進行方向を示す自車位置マーク５０１ｂ、ナビゲーション装置３００において探索された走行ルート５０１ｃ、地図の縮尺表示５０１ｄ、および自車両が次回右左折する地点の右左折地点５０１ｅ等が表示されている。詳細地図表示領域５０２には、例えば、自車両の現在位置付近の詳細な道路情報５０２ａ、自車両の走行を支援する矢印表示５０２ｂ、および距離情報５０２ｃ等が表示されている。
【００１２】
画像認識部１０２は、画像情報取得部１０１から入力された画像情報の画像認識を行い、運転支援情報を認識する。ここで、運転支援情報とは、例えば自車両の次回の右左折方向を示す情報、および自車両の次回の右左折地点までの距離を示す情報等である。画像認識部１０２の処理を、図２を参照しながら説明する。
画像認識部１０２の方向表示認識部１０３は、詳細地図表示領域（５０２）の表示情報を参照して矢印表示を認識し、自車両の次回の右左折方向を示す矢印表示を取得する。具体的には、方向表示認識部１０３は、詳細地図表示領域（５０２）の表示情報に、予め設定した色、且つ一定の大きさ以上の矢印表示が存在する場合に、当該矢印表示（５０２ｂ）を取得する。方向表示認識部は、当該矢印表示（５０２ｂ）から自車両が次回右左折する際の方向の情報（例えば、右、左）を取得する。方向表示認識部１０３は、取得した方向の情報を表示コンテンツ選択部１０７に出力する。
ここで、予め設定した色とは、例えば、一般的なナビゲーション装置３００において表示される、自車両の次回の右左折方向を示す情報の表示色を想定して設定された色である。設定される色は、例えば、「白以外の色」、「緑」または「青」等である。
【００１３】
方向表示認識部１０３は、上述した条件の矢印表示が存在しない場合、次に広域地図表示領域（５０１）の表示情報を参照して地図（５０１ａ）上の自車位置表示（５０１ｂ）および走行ルート（５０１ｃ）を認識し、自車両の進行方向および走行ルート方向を取得する。方向表示認識部１０３は、取得した自車両の進行方向および走行ルート方向を、方向情報取得部１０５に出力する。
【００１４】
画像認識部１０２の距離表示認識部１０４は、詳細地図表示領域（５０２）の表示情報を参照して距離表示を認識し、自車両の次回の右左折地点までの距離表示を取得する。具体的には、距離表示認識部１０４は、詳細地図表示領域（５０２）の表示情報に、一定の大きさ以上の数字表示が存在し、且つ数字表示の後ろに距離を示す単位が表示されている場合に、当該距離表示（５０２ｃ）から自車両が次回右左折する地点までの距離（例えば、○○ｍ）を取得する。距離表示認識部１０４は、取得した距離の情報を表示コンテンツ選択部１０７に出力する。
【００１５】
距離表示認識部１０４は、上述した条件の距離表示が取得できなかった場合、次に広域地図表示領域（５０１）の表示情報を参照して自車位置表示（５０１ｂ）および自車両の次回の右左折する地点の表示（５０１ｅ）を認識し、自車位置から次回の右左折地点までの地図（５０１ａ）上の長さを取得する。また、距離表示認識部１０４は、広域地図表示領域（５０１）の表示情報を参照し、地図の縮尺を取得する。距離表示認識部１０４は、自車位置から次回の右左折地点までの地図上の長さ、および地図の縮尺を、距離情報取得部１０６に出力する。
【００１６】
方向情報取得部１０５および距離情報取得部１０６は、画像認識部１０２から入力された画像認識の結果から、運転支援情報を取得する。
方向情報取得部１０５は、方向表示認識部１０３から入力された、自車両の進行方向および走行ルート方向から、自車両が次回右左折する際の方向の情報（例えば、右、左）を取得する。方向情報取得部１０５は、取得した方向の情報を表示コンテンツ選択部１０７に出力する。
距離情報取得部１０６は、距離表示認識部１０４から入力された、自車位置から次回の右左折地点までの地図上の長さ、および地図の縮尺から、自車両が次回右左折する地点までの距離（例えば、○○ｍ）を算出する。距離情報取得部１０６は、算出した距離を表示コンテンツ選択部１０７に出力する。
【００１７】
表示コンテンツ選択部１０７は、表示コンテンツ記憶部１０８を参照し、方向表示認識部１０３または方向情報取得部１０５から入力された方向の情報と一致する矢印コンテンツを選択する。表示コンテンツ選択部１０７は、表示コンテンツ記憶部１０８を参照し、距離表示認識部１０４または距離情報取得部１０６から入力された距離と一致する距離コンテンツを選択する。表示コンテンツ選択部１０７は、選択した矢印コンテンツおよび距離コンテンツを、表示制御部１０９に出力する。
【００１８】
表示コンテンツ記憶部１０８は、表示コンテンツとして、矢印コンテンツおよび距離コンテンツを記憶している。表示コンテンツ記憶部１０８に記憶された矢印コンテンツおよび距離コンテンツは、ヘッドアップディスプレイに表示した際に、ユーザが視認し易いサイズおよび解像度を有している。表示コンテンツ記憶部１０８に記憶される表示コンテンツのサイズおよび解像度の基準値を予め設定しておき、当該基準値を満たすサイズおよび解像度の表示コンテンツのみを当該表示コンテンツ記憶部１０８に記憶させておく。
図３は、実施の形態１に係る表示制御装置１００の表示コンテンツ記憶部１０８が記憶する表示コンテンツの一例を示す図である。図３Ａは矢印コンテンツの一例を示し、図３Ｂは距離コンテンツの一例を示している。
図３Ａに示すように、表示コンテンツ記憶部１０８は、右折および左折を示す矢印コンテンツを記憶している。図３Ｂに示すように、表示コンテンツ記憶部１０８は、種々の距離を示す距離コンテンツを記憶している。
【００１９】
表示制御部１０９は、表示コンテンツ選択部１０７から入力された矢印コンテンツおよび距離コンテンツを用いて、表示画像を生成する。表示制御部１０９は、生成した表示画像をヘッドアップディスプレイ装置４００に出力する。ヘッドアップディスプレイ装置４００は、入力された表示画像をヘッドアップディスプレイに表示させる。
【００２０】
次に、表示制御装置１００のハードウェア構成例を説明する。
図４Ａおよび図４Ｂは、表示制御装置１００のハードウェア構成例を示す図である。
表示制御装置１００における表示コンテンツ記憶部１０８は、ストレージ１００ａにより実現される。表示制御装置１００における画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９の各機能は、処理回路により実現される。即ち、表示制御装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図４Ａに示すように専用のハードウェアである処理回路１００ｂであってもよいし、図４Ｂに示すようにメモリ１００ｄに格納されているプログラムを実行するプロセッサ１００ｃであってもよい。
【００２１】
図４Ａに示すように、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９が専用のハードウェアである場合、処理回路１００ｂは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。
【００２２】
図４Ｂに示すように、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９がプロセッサ１００ｃである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｄに格納される。プロセッサ１００ｃは、メモリ１００ｄに記憶されたプログラムを読み出して実行することにより、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９の各機能を実現する。即ち、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９は、プロセッサ１００ｃにより実行されるときに、後述する図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｄを備える。また、これらのプログラムは、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９の手順または方法をコンピュータに実行させるものであるともいえる。
【００２３】
ここで、プロセッサ１００ｃとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｄは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。
【００２４】
なお、画像情報取得部１０１、方向表示認識部１０３、距離表示認識部１０４、方向情報取得部１０５、距離情報取得部１０６、表示コンテンツ選択部１０７および表示制御部１０９の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、表示制御装置１００における処理回路１００ｂは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
【００２５】
次に、表示制御装置１００の動作について説明する。
図５は、実施の形態１に係る表示制御装置１００の動作を示すフローチャートである。
画像情報取得部１０１は、カメラ２００からナビゲーション装置３００のディスプレイ３０１を撮影した画像情報を取得すると（ステップＳＴ１）、取得した画像情報を画像認識部１０２に出力する。画像認識部１０２の方向表示認識部１０３は、入力された画像情報の詳細地図表示領域の表示情報を参照して矢印表示の認識を行う。具体的に、方向表示認識部１０３は、詳細地図表示領域の表示情報に、予め設定した色、且つ予め設定した大きさ以上の矢印表示が存在するか否か判定を行う（ステップＳＴ２）。予め設定した色、且つ予め設定した大きさ以上の矢印表示が存在する場合に（ステップＳＴ２；ＹＥＳ）、方向表示認識部１０３は当該矢印表示の画像から自車両が次回右左折する際の方向を認識し（ステップＳＴ３）、表示コンテンツ選択部１０７に出力する。
【００２６】
一方、予め設定した色、且つ予め設定した大きさ以上の矢印表示が存在しなかった場合に（ステップＳＴ２；ＮＯ）、方向表示認識部１０３は、次に画像情報の広域地図表示領域の表示情報を参照し、地図上に自車位置表示および次回の右左折地点までの走行ルートの表示が存在するか否か判定を行う（ステップＳＴ４）。地図上に自車位置表示および走行ルートの表示が存在する場合（ステップＳＴ４；ＹＥＳ）、方向表示認識部１０３は地図上の自車両の進行方向および走行ルート方向を取得し（ステップＳＴ５）、方向情報取得部１０５に出力する。方向情報取得部１０５は、ステップＳＴ５で取得された自車両の進行方向および走行ルート方向に基づいて、自車両が次回右左折する際の方向を取得する（ステップＳＴ６）。方向情報取得部１０５は、取得した方向を表示コンテンツ選択部１０７に出力する。
【００２７】
次に、画像認識部１０２の距離表示認識部１０４は、画像情報の詳細地図表示領域の表示情報を参照し、距離表示の認識を行う。具体的に、距離表示認識部１０４は、詳細地図表示領域の表示情報に、予め設定した大きさ以上の数字表示が存在し、且つ当該数字表示の後ろに距離を示す単位が表示されているか否か判定を行う（ステップＳＴ７）。予め設定した大きさ以上の数字表示が存在し、且つ数字表示の後ろに距離を示す単位が表示されている場合に（ステップＳＴ７；ＹＥＳ）、距離表示認識部１０４は当該距離表示の画像から自車両が次回右左折する地点までの距離を認識し（ステップＳＴ８）、距離情報取得部１０６に出力する。
【００２８】
一方、予め設定した大きさ以上の数字表示が存在しない、または数字表示の後ろに距離を示す単位が表示されていない場合に（ステップＳＴ７；ＮＯ）、距離表示認識部１０４は、次に画像情報の広域地図表示領域の表示情報を参照し、地図上に自車位置、次回の右左折地点、および地図の縮尺が表示されているか否か判定を行う（ステップＳＴ９）。自車位置、次回の右左折地点および地図の縮尺が表示されている場合（ステップＳＴ９；ＹＥＳ）、距離表示認識部１０４は、自車位置から次回の右左折地点までの地図上の長さを取得し（ステップＳＴ１０）、地図の縮尺と共に距離情報取得部１０６に出力する。
【００２９】
距離情報取得部１０６は、ステップＳＴ１０で取得された地図上の長さと、入力された地図の縮尺に基づいて、自車両が次回右左折する地点までの距離を算出する（ステップＳＴ１１）。距離情報取得部１０６は、算出した距離を表示コンテンツ選択部１０７に出力する。
【００３０】
表示コンテンツ選択部１０７は、ステップＳＴ３で認識された方向またはステップＳＴ６で取得された方向と一致する矢印コンテンツを、表示コンテンツ記憶部１０８から選択する（ステップＳＴ１２）。また、表示コンテンツ選択部１０７は、ステップＳＴ８で認識された距離またはステップＳＴ１１で算出された距離と一致する距離コンテンツを、表示コンテンツ記憶部１０８から選択する（ステップＳＴ１３）。表示コンテンツ選択部１０７は、選択した矢印コンテンツおよび距離コンテンツを、表示制御部１０９に出力する。
【００３１】
表示制御部１０９は、ステップＳＴ１２で選択された矢印コンテンツおよびステップＳＴ１３で選択された距離コンテンツを用いて、表示画像を生成し（ステップＳＴ１４）、ヘッドアップディスプレイ装置４００に出力する。その後、フローチャートは処理を終了する。
一方、地図上に自車位置表示または走行ルートの表示が存在しない場合（ステップＳＴ４；ＮＯ）、または地図上に自車位置、次回の右左折地点、または地図の縮尺が表示されていない場合（ステップＳＴ９；ＮＯ）、フローチャートは処理を終了する。
【００３２】
次に、上述した図５のフローチャートの処理を、図６の具体例を参照しながら説明する。図６は、実施の形態１に係る表示制御装置１００の処理例を示す図である。
図６Ａは、ナビゲーション装置３００のディスプレイ３０１の表示例を示す図である。
図６Ｂは、実施の形態１に係る表示制御装置１００の画像認識部１０２が矢印表示および距離表示を認識するための画像の一例を示す図である。図６Ｃは、実施の形態１に係る表示制御装置１００の表示制御部１０９が生成した表示画像の一例を示す図である。
【００３３】
ステップＳＴ１として、画像情報取得部１０１が図６Ａで示した画像情報を取得する。ステップＳＴ２として、方向表示認識部１０３は、画像情報５００の詳細地図表示領域５０２の表示情報を参照して矢印表示の認識を行う。方向表示認識部１０３は、図６Ａの詳細地図表示領域５０２から、予め設定した緑色、且つ予め設定した大きさ以上の矢印表示Ａが存在すると判定する（ステップＳＴ２；ＹＥＳ）。ステップＳＴ３として、方向表示認識部１０３は、矢印表示Ａを含む画像Ｂから、自車両が次回右左折する際の方向「左」を認識する。
【００３４】
ステップＳＴ７として、距離表示認識部１０４は、画像情報５００の詳細地図表示領域５０２の表示情報を参照して距離表示の認識を行う。距離表示認識部１０４は、図６Ａの詳細地図表示領域５０２から、予め設定した大きさ以上の数字表示、および数字表示の後ろに距離を示す単位（ｍ）が表示された距離表示Ｃが存在すると判定する（ステップＳＴ７；ＹＥＳ）。ステップＳＴ８として、距離表示認識部１０４は、距離表示Ｃの画像Ｄから自車両が次回右左折する地点までの距離「５０ｍ」を認識する。
【００３５】
ステップＳＴ１２として、表示コンテンツ選択部１０７は、方向「左」と一致する矢印コンテンツを、表示コンテンツ記憶部１０８から選択する。ステップＳＴ１３として、表示コンテンツ選択部１０７は、距離「５０ｍ」と一致する矢印コンテンツを、表示コンテンツ記憶部１０８から選択する。ステップＳＴ１４として、表示制御部１０９は、選択された方向「左」と一致する矢印コンテンツ、および距離「５０ｍ」と一致する矢印コンテンツを用いて、図６Ｃに示す表示画像Ｅを生成する。生成された表示画像Ｅが、ヘッドアップディスプレイ装置４００のヘッドアップディスプレイに表示される。
【００３６】
一方、方向表示認識部１０３は、図６Ａの詳細地図表示領域５０２から、予め設定した緑色、または予め設定した大きさ以上の矢印表示が存在しないと判定すると（ステップＳＴ２：ＮＯ）、ステップＳＴ４の処理に進む。ステップＳＴ４として、方向表示認識部１０３は、広域地図表示領域５０１の地図５０１ａ上に、自車位置マーク５０１ｂおよび走行ルート５０１ｃが表示されていると判定する（ステップＳＴ４；ＹＥＳ）。ステップＳＴ５として、方向表示認識部１０３は、自車両の進行方向および走行ルート方向を、例えば東西南北で示した情報で取得する。ステップＳＴ６として、方向情報取得部１０５は、自車両の進行方向および走行ルート方向に基づいて、自車両が次回右左折する際の方向「左」を取得する。
【００３７】
また、距離表示認識部１０４は、詳細地図表示領域５０２から、予め設定した大きさ以上の数字表示、または数字表示の後ろに距離を示す単位（ｍ）が表示されていないと判定すると（ステップＳＴ７；ＮＯ）、ステップＳＴ９の処理に進む。ステップＳＴ９として、距離表示認識部１０４は、広域地図表示領域５０１に、自車位置マーク５０１ｂ、次回の右左折地点５０１ｅおよび地図の縮尺表示５０１ｄが表示されていると判定する（ステップＳＴ９；ＹＥＳ）。ステップＳＴ１０として、距離表示認識部１０４は、自車位置マーク５０１ｂから次回の右左折地点５０１ｅまでの長さ「○ｃｍ」、および地図の縮尺を取得する。ステップＳＴ１１として、距離情報取得部１０６は、自車位置マーク５０１ｂから次回の右左折地点５０１ｅまでの長さ「○ｃｍ」、および地図の縮尺に基づいて、自車両が次回右左折する地点までの距離を「５０ｍ」と算出し、距離「５０ｍ」を取得する。
【００３８】
ステップＳＴ１２として、表示コンテンツ選択部１０７は、方向「左」と一致する矢印コンテンツを、表示コンテンツ記憶部１０８から選択する。ステップＳＴ１３として、表示コンテンツ選択部１０７は、距離「５０ｍ」と一致する矢印コンテンツを、表示コンテンツ記憶部１０８から選択する。ステップＳＴ１４として、表示制御部１０９は、選択された方向「左」と一致する矢印コンテンツ、および距離「５０ｍ」と一致する矢印コンテンツを用いて、図６Ｃに示す表示画像Ｅを生成する。生成された表示画像Ｅが、ヘッドアップディスプレイ装置４００のヘッドアップディスプレイに表示される。
【００３９】
以上のように、この実施の形態１によれば、移動体に搭載されたナビゲーション装置のディスプレイをカメラで撮影した画像情報を取得する画像情報取得部１０１と、取得された画像情報の画像認識を行い、運転支援情報の認識を行う画像認識部１０２と、画像認識の結果から、運転支援情報を取得する方向情報取得部１０５および距離情報取得部１０６と、画像認識部１０２または情報取得部（方向情報取得部１０５および距離情報取得部１０６）の少なくともいずれか一方が認識または取得した運転支援情報と、一致または類似する表示コンテンツを、予め記憶された、基準を満たすサイズおよび解像度を有する表示コンテンツから選択する表示コンテンツ選択部１０７と、選択された表示コンテンツを用いて、移動体のヘッドアップディスプレイに表示する表示画像を生成する表示制御部１０９とを備えるように構成したので、ヘッドアップディスプレイに表示される表示画像の視認性を向上させさせることができる。移動体にヘッドアップディスプレイ装置を後付けする場合にも、表示画像の視認性が低下するのを抑制することができる。
【００４０】
また、この実施の形態１によれば、画像認識部１０２は、画像情報から移動体の右左折方向を示す画像の認識を行う方向表示認識部１０３と、画像情報から移動体が右左折する地点までの距離を示す情報の認識を行う距離表示認識部１０４とを有するように構成したので、ナビゲーション装置のディスプレイから抽出される運転支援情報をヘッドアップディスプレイに表示することができる。また、ナビゲーション装置よりも先行して運転支援情報を提供することができる。
【００４１】
また、この実施の形態１によれば、方向表示認識部１０３は、画像のうち、移動体の周辺の詳細地図を参照して移動体の右左折方向を認識し、詳細地図から右左折方向を認識できなかった場合に、画像のうち、詳細地図よりも広域の情報を示した広域地図を参照して右左折方向を示す情報を取得するように構成したので、移動体が右左折する方向の認識確率を上げることができる。
【００４２】
また、この実施の形態１によれば、距離表示認識部は、情報のうち、移動体の周辺の詳細地図を参照して移動体が右左折する地点までの距離を認識し、詳細地図から距離を識別できなかった場合に、画像のうち、詳細地図よりも広域の情報を示した広域地図を参照して移動体が右左折する地点までの距離を示す情報を取得するように構成したので、移動体が右左折する地点までの距離を示す情報の認識確率を上げることができる。
【００４３】
また、この実施の形態１によれば、基準を満たすサイズおよび解像度を有する表示コンテンツを記憶する表示コンテンツ記憶部１０８を備え、表示コンテンツ選択部１０７は、運転支援情報と一致または類似する表示コンテンツを、表示コンテンツ記憶部１０８に記憶された表示コンテンツから選択するように構成したので、ヘッドアップディスプレイに視認性の高い情報を表示させることができる。
【００４４】
なお、上述した実施の形態１において、方向表示認識部１０３が、画像情報の詳細地図表示領域の表示情報を参照し、矢印表示の識別を行い、自車両の次回の右左折方向を示す矢印表示を取得する構成を示した。なお、方向表示認識部１０３は、確実に自車両の次回の右左折方向を示す矢印表示を取得するために、広域地図表示領域の自車位置表示およびルート表示等も参照して、次回の右左折方向を示す矢印表示を取得する構成としてもよい。
【００４５】
実施の形態２．
この実施の形態２では、ナビゲーション装置３００のディスプレイ３０１での表示形態と、ヘッドアップディスプレイの表示形態とを連携させる構成を示す。
図７は、実施の形態２に係る表示制御装置１００Ａの構成を示すブロック図である。
実施の形態２に係る表示制御装置１００Ａは、図１に示した実施の形態１の表示制御装置１００の方向表示認識部１０３、距離表示認識部１０４、表示コンテンツ選択部１０７および表示コンテンツ記憶部１０８に替えて、方向表示認識部１０３ａ、距離表示認識部１０４ａ、表示コンテンツ選択部１０７ａおよび表示コンテンツ記憶部１０８ａを備えて構成している。以下では、実施の形態１に係る表示制御装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。
【００４６】
方向表示認識部１０３ａは、詳細地図表示領域の表示情報に、予め設定した色、且つ予め設定された大きさ以上の矢印表示が存在した場合に、当該矢印表示の色および形状を認識する。方向表示認識部１０３ａは、認識した矢印表示の色および形状を示す情報を表示コンテンツ選択部１０７ａに出力する。
【００４７】
距離表示認識部１０４ａは、詳細地図表示領域の表示情報に、予め設定した大きさ以上の数字表示が存在し、且つ数字表示の後ろに距離を示す単位が表示されている場合に、当該数字表示の色および字体を認識する。距離表示認識部１０４ａは、認識した数字表示の色および字体を示す情報を表示コンテンツ選択部１０７ａに出力する。
【００４８】
表示コンテンツ選択部１０７ａは、表示コンテンツ記憶部１０８ａを参照し、方向表示認識部１０３ａまたは方向情報取得部１０５から入力された方向の情報と一致する矢印コンテンツを選択する。その際、表示コンテンツ選択部１０７ａは、方向表示認識部１０３ａから入力された矢印表示の色および形状を示す情報も参照する。即ち、表示コンテンツ選択部１０７ａは、方向の情報に加えて、色および形状が一致する矢印コンテンツを選択する。
表示コンテンツ選択部１０７ａは、表示コンテンツ記憶部１０８ａを参照し、距離表示認識部１０４ａまたは距離情報取得部１０６から入力された距離と一致する距離コンテンツを選択する。その際、表示コンテンツ選択部１０７ａは、距離表示認識部１０４ａから入力された距離表示の色および字体を示す情報も参照する。即ち、表示コンテンツ選択部１０７ａは、距離の情報に加えて、色および字体が一致する距離コンテンツを選択する。
【００４９】
表示コンテンツ記憶部１０８ａは、表示コンテンツとして、矢印コンテンツおよび距離コンテンツを記憶している。さらに、表示コンテンツ記憶部１０８ａは、例えば右折を示す矢印コンテンツに対して、複数色の矢印コンテンツ、および形状が異なる複数の矢印コンテンツを記憶している。同様に、表示コンテンツ記憶部１０８ａは、例えば５０ｍを示す距離コンテンツに対して、複数色の距離コンテンツ、および字体が異なる複数の距離コンテンツを記憶している。
【００５０】
図８は、実施の形態２に係る表示制御装置１００Ａの表示コンテンツ記憶部１０８ａが記憶する表示コンテンツの一例を示す図である。図８Ａは矢印コンテンツの一例を示し、図８Ｂは距離コンテンツの一例を示している。
図８Ａに示すように、表示コンテンツ記憶部１０８ａは、青色、緑色および白色の複数色の矢印コンテンツ、および第１の形状、第２の形状および第３の形状の複数の形状の矢印コンテンツを記憶している。
図８Ｂに示すように、表示コンテンツ記憶部１０８は、青色、緑色および白色の複数色の距離コンテンツ、および第１の字体、第２の字体および第３の字体の複数の字体の距離コンテンツを記憶している。
【００５１】
次に、表示制御装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
表示制御装置１００Ａにおける表示コンテンツ記憶部１０８ａは、図４Ａおよび図４Ｂで示したストレージ１００ａである。
表示制御装置１００Ａにおける方向表示認識部１０３ａ、距離表示認識部１０４ａおよび表示コンテンツ選択部１０７ａは、図４Ａで示した処理回路１００ｂ、または図４Ｂで示したメモリ１００ｄに格納されるプログラムを実行するプロセッサ１００ｃである。
【００５２】
次に、表示制御装置１００Ａの動作を説明する。
図９は、実施の形態２に係る表示制御装置１００Ａの動作を示すフローチャートである。
なお、以下では、実施の形態１に係る表示制御装置１００と同一のステップには図５で使用した符号と同一の符号を付し、説明を省略または簡略化する。
方向表示認識部１０３ａは、予め設定した色、且つ予め設定した大きさ以上の矢印表示が存在する場合に（ステップＳＴ２；ＹＥＳ）、矢印表示の画像から自車両が次回右左折する際の方向を認識し（ステップＳＴ３）、表示コンテンツ選択部１０７ａに出力する。さらに方向表示認識部１０３ａは、矢印表示の画像から、矢印表示の色および形状を認識する（ステップＳＴ２１）。方向表示認識部１０３ａは、認識した矢印表示の色および形状を示す情報を表示コンテンツ選択部１０７ａに出力する。一方、方向表示認識部１０３ａは、予め設定した色、且つ予め設定した大きさ以上の矢印表示が存在しない場合には（ステップＳＴ２；ＮＯ）、ステップＳＴ４の処理に進む。
【００５３】
距離表示認識部１０４ａは、予め設定された大きさ以上の数字表示が存在し、且つ数字表示の後ろに距離を示す単位が表示されている場合に（ステップＳＴ７；ＹＥＳ）、距離表示の画像から自車両が次回右左折する地点までの距離を認識し（ステップＳＴ８）、表示コンテンツ選択部１０７ａに出力する。さらに距離表示認識部１０４ａは、距離表示の画像から、距離表示の色および字体を認識する（ステップＳＴ２２）。距離表示認識部１０４ａは、認識した距離表示の色および字体を示す情報を表示コンテンツ選択部１０７ａに出力する。一方、距離表示認識部１０４ａは、予め設定された大きさ以上の数字表示が存在しない、または数字表示の後ろに距離を示す単位が表示されていない場合に（ステップＳＴ７；ＮＯ）、ステップＳＴ９の処理に進む。
【００５４】
表示コンテンツ選択部１０７ａは、ステップＳＴ３で認識された方向およびステップＳＴ２１で認識された矢印表示の色および形状を示す情報と一致または類似する矢印コンテンツ、またはステップＳＴ６で取得された方向と一致する矢印コンテンツを表示コンテンツ記憶部１０８ａから選択する（ステップＳＴ２３）。
【００５５】
また、表示コンテンツ選択部１０７ａは、ステップＳＴ８で認識された距離およびステップＳＴ２２で認識された距離表示の色および字体を示す情報と一致または類似する距離コンテンツ、またはステップＳＴ１１で取得された距離情報と一致する距離コンテンツを表示コンテンツ記憶部１０８ａから選択する（ステップＳＴ２４）。表示コンテンツ選択部１０７ａは、選択した矢印コンテンツおよび距離コンテンツを、表示制御部１０９に出力する。表示制御部１０９は、ステップＳＴ２３で選択された矢印コンテンツおよびステップＳＴ２４で選択された距離コンテンツを用いて、表示画像を生成し（ステップＳＴ１４）、ヘッドアップディスプレイ装置４００に出力する。その後、フローチャートは処理を終了する。
【００５６】
上述した図９のフローチャートの処理により、例えば、図６Ａで示した画像Ｂの矢印表示の形状および色と、一致または類似する矢印コンテンツの表示画像が生成される。同様に、図６Ａで示した画像Ｄの距離表示の字体および色と、一致または類似する距離コンテンツの表示画像が生成される。これにより、ナビゲーション装置３００のディスプレイ３０１での表示形態と、ヘッドアップディスプレイでの表示形態とが連携され、ユーザは表示画像が示している情報を容易に認識することができる。
【００５７】
以上のように、この実施の形態２によれば、画像認識部１０２ａは、画像情報から情報の表示形態を認識し、表示コンテンツ選択部１０７ａは、運転支援情報と一致または類似し、且つ認識された表示形態と一致または類似する表示コンテンツを選択するように構成したので、ナビゲーション装置とヘッドアップディスプレイの表示形態を連携させることができる。これにより、表示画像の視認性を向上させることができる。
【００５８】
なお、上述した実施の形態１および実施の形態２では、表示制御装置１００Ａが表示コンテンツ記憶部１０８ａを備える構成を示したが、外部装置が表示コンテンツ記憶部１０８ａを備える構成としてもよい。
【００５９】
また、上述した実施の形態１および実施の形態２では、表示制御装置１００，１００Ａ内で全ての処理を行う構成を示した。これに替えて、表示制御装置１００，１００Ａと無線通信接続が確立された外部サーバ装置において、例えば、画像認識処理等の一部の処理を行うように構成してもよい。
【００６０】
上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００６１】
１００，１００Ａ  表示制御装置、１０１  画像情報取得部、１０２，１０２ａ  画像認識部、１０３，１０３ａ  方向表示認識部、１０４，１０４ａ  距離表示認識部、１０５  方向情報取得部、１０６  距離情報取得部、１０７，１０７ａ  表示コンテンツ選択部、１０８，１０８ａ  表示コンテンツ記憶部、１０９  表示制御部。
【図１】
2019007794.tif 000003
【図２】
2019007794.tif 000004
【図３】
2019007794.tif 000005
【図４】
2019007794.tif 000006
【図５】
2019007794.tif 000007
【図６】
2019007794.tif 000008
【図７】
2019007794.tif 000009
【図８】
2019007794.tif 000010
【図９】
2019007794.tif 000011