(57)【要約】【課題】標識を通過後に、標識の標示内容を適切に確認可能にすること。【解決手段】後方映像データ１００を取得する映像データ取得部１１と、車両の走行路における標識と車両との位置関係を取得する位置関係取得部１３と、標識の標示内容を取得する標識情報取得部１４と、位置関係取得部１３が取得した標識と車両との位置関係が、標識を車両が通過したことを示した後に、後方映像データ１００から通過した標識の背面を認識する認識処理部１５と、後方映像データ１００に対し、認識処理部１５が認識した標識の背面に、標識情報取得部１４が取得した標識の標示内容を合成した合成映像データを生成する合成処理部１６と、合成処理部１６が合成した合成映像データをリヤビューモニタ６０に表示させる表示制御部１７とを備える。【選択図】図１
2019080189.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方を撮影した第一映像データを取得する映像データ取得部と、
前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得部と、
前記標識の標示内容を取得する標識情報取得部と、
前記位置関係取得部が取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理部と、
前記第一映像データに対し、前記認識処理部が認識した標識の背面に、前記標識情報取得部が取得した標識の標示内容を合成した合成映像を生成する合成処理部と、
前記合成処理部が合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御部と、
を備えることを特徴とする車両用表示制御装置。
【請求項２】
前記映像データ取得部は、前記車両の進行方向を撮影した第二映像データをさらに取得し、
前記認識処理部は、前記第二映像データから標識を認識することで、前記標識情報取得部として機能し、
前記合成処理部は、前記認識処理部が認識した標識の背面に、前記標識情報取得部が前記第二映像データから認識した標識を切出して、前記第一映像データにおける標識の背面に合成した合成映像を生成する、
請求項１に記載の車両用表示制御装置。
【請求項３】
前記合成処理部は、前記標識の標示内容または前記標識を、前記標識の背面として認識された大きさに合わせて張り付ける、
請求項１または２に記載の車両用表示制御装置。
【請求項４】
前記標識は、案内標識である、
請求項１から３のいずれか１項に記載の車両用表示制御装置。
【請求項５】
前記合成処理部は、前記認識処理部が認識した標識の背面に、前記標識の標示内容または前記標識を、鏡像として合成する、
請求項１から４のいずれか１項に記載の車両用表示制御装置。
【請求項６】
前記表示制御部は、前記合成処理部が生成した合成映像を、前記車両の後方を確認するための電子ミラーとして用いられる表示装置に表示させる、
請求項１から５のいずれか１項に記載の車両用表示制御装置。
【請求項７】
前記表示制御部は、前記第一映像データを前記表示装置に表示させるとともに、前記認識処理部が標識の背面を認識してから所定期間、前記合成映像を表示させる、
請求項１から６のいずれか１項に記載の車両用表示制御装置。
【請求項８】
請求項１から７のいずれか一項に記載の車両用表示制御装置と、
少なくとも前記表示装置、車両の後方を撮影する撮影装置のうち少なくともいずれかと、を備える車両用表示システム。
【請求項９】
車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、
前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、
前記標識の標示内容を取得する標識情報取得ステップと、
前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、
前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、
前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、
を含む車両用表示制御方法。
【請求項１０】
車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、
前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、
前記標識の標示内容を取得する標識情報取得ステップと、
前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、
前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、
前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、
を車両用表示制御装置として動作するコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
車両の進行方向を撮影した映像から標識などを認識して、車両が備える表示装置に表示させる技術が知られている。しかしながら、標識を通過した後に、標識の標示内容を再確認したいとき、運転者による操作が必要なことがある。
【０００３】
案内標識の設置位置を通過した後に、通過した案内標識の画像を表示するナビゲーション装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−１０６７２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術は、通過した案内標識の画像がナビゲーション装置に表示される。このため、ナビゲーション装置に不慣れな運転者は、通過した案内標識が表示されているのか、これから通過する交差点などの案内標識が表示されているのかを判断しにくいおそれがある。
【０００６】
本発明は、上記に鑑みてなされたものであって、標識を通過後に、標識の標示内容を適切に確認可能にすることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る車両用表示制御装置は、車両の後方を撮影した第一映像データを取得する映像データ取得部と、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得部と、前記標識の標示内容を取得する標識情報取得部と、前記位置関係取得部が取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理部と、前記第一映像データに対し、前記認識処理部が認識した標識の背面に、前記標識情報取得部が取得した標識の標示内容を合成した合成映像を生成する合成処理部と、前記合成処理部が合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御部と、を備えることを特徴とする。
【０００８】
本発明に係る車両用表示システムは、上記の車両用表示制御装置と、前記表示装置、車両の後方を撮影する撮影装置のうち少なくともいずれかと、を備える。
【０００９】
本発明に係る車両用表示制御方法は、車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、前記標識の標示内容を取得する標識情報取得ステップと、前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、を含む。
【００１０】
本発明に係るプログラムは、車両の後方を撮影した第一映像データを取得する映像データ取得ステップと、前記車両の走行路における標識と前記車両との位置関係を取得する位置関係取得ステップと、前記標識の標示内容を取得する標識情報取得ステップと、前記位置関係取得ステップによって取得した標識と前記車両との位置関係が、前記標識を前記車両が通過したことを示した後に、前記第一映像データから通過した標識の背面を認識する認識処理ステップと、前記第一映像データに対し、前記認識処理ステップによって認識した標識の背面に、前記標識情報取得ステップによって取得した標識の標示内容を合成した合成映像を生成する合成処理ステップと、前記合成処理ステップによって合成した合成映像を、前記車両の後方を確認するための表示装置に表示させる表示制御ステップと、を車両用表示制御装置として動作するコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、標識を通過後に、標識の標示内容を適切に確認可能にすることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図２】図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。
【図３】図３は、第一実施形態に係る車両用表示システムの後方用カメラで撮影された後方映像データの一例を示す図である。
【図４】図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。
【図５】図５は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。
【図６】図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図７】図７は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図８】図８は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【図９】図９は、第二実施形態に係る車両用表示システムの前方用カメラで撮影された前方映像データの一例を示す図である。
【図１０】図１０は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。
【図１１】図１１は、第三実施形態に係る車両用表示システムの構成例を示す概略図である。
【図１２】図１２は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、本発明に係る車両用表示制御装置１０、車両用表示システム１、車両用表示制御方法およびプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１４】
［第一実施形態］
車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０を、車両の後方を確認するための表示装置に表示する。図１は、第一実施形態に係る車両用表示システムの構成例を示すブロック図である。図２は、第一実施形態に係る車両用表示システムの構成例を示す概略図である。
【００１５】
標識とは、車両の走行路の路面より上方に設置された板状の標示物である。標識は、例えば、案内標識を含む道路標識、道路標識以外の標識、情報板、情報掲示板、情報表示板、看板を含む。標識は、電光掲示板を含む。標識は、走行路を走行する車両の運転者から視認可能な範囲に設置されている。標識は、車両の走行路の上方、または、走行路の側方に設置されている。
【００１６】
図１、図２に示すように、車両用表示システム１は、車両用表示制御装置１０と、後方用カメラ(撮影装置)２０と、右側方用カメラ(撮影装置)３０と、左側方用カメラ(撮影装置)４０と、リヤビューモニタ（表示装置）６０と、右サイドビューモニタ（表示装置）７０と、左サイドビューモニタ（表示装置）８０とを有する。車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データをリヤビューモニタ６０または右サイドビューモニタ７０または左サイドビューモニタ８０に表示する。本実施形態では、車両用表示システム１は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０（図５参照）を、リヤビューモニタ６０に表示するものとして説明する。
【００１７】
後方用カメラ２０は、車両の後方に後方を向いて配置され、車両の後方を撮影する。後方用カメラ２０は、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。例えば、後方用カメラ２０は、図３に示すような、後方映像データ（第一映像データ）１００を撮影している。図３は、第一実施形態に係る車両用表示システムの後方用カメラで撮影された後方映像データの一例を示す図である。後方用カメラ２０は、リヤビューモニタ６０に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ６０を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ６０に表示する。後方用カメラ２０は、撮影した後方映像データ１００を車両用表示制御装置１０の映像データ取得部１１へ出力する。
【００１８】
図１、図２に戻って、右側方用カメラ３０は、車両の右側方に後方を向いて配置され、車両の右側方を撮影する。右側方用カメラ３０は、右サイドビューモニタ７０による確認範囲を撮影する。右側方用カメラ３０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側方用カメラ３０は、角度調節自在である。右側方用カメラ３０は、撮影した映像を車両用表示制御装置１０の映像データ取得部１１へ出力する。
【００１９】
左側方用カメラ４０は、車両の左側方に後方を向いて配置され、車両の左側方を撮影する。左側方用カメラ４０は、左サイドビューモニタ８０による確認範囲を撮影する。左側方用カメラ４０は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側方用カメラ４０は、角度調節自在である。左側方用カメラ４０は、撮影した映像を車両用表示制御装置１０の映像データ取得部１１へ出力する。
【００２０】
リヤビューモニタ６０は、一例としては電子ルームミラーである。リヤビューモニタ６０を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ６０は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。リヤビューモニタ６０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の後方映像を表示する。具体的に、リヤビューモニタ６０は、図４に示すような後方映像を表示する。図４は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の一例を示す図である。リヤビューモニタ６０は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ６０は、ウィンドシールドの車幅方向の中央上部に配置されている。または、リヤビューモニタ６０は、ダッシュボードやヘッドライナーに埋め込まれていてもよい。
【００２１】
リヤビューモニタ６０は、大きさ、形状は限定されない。例えば、リヤビューモニタ６０は、従来の光学式のルームミラーと同様な大きさ、形状であってもよい。または、例えば、リヤビューモニタ６０は、従来の光学式のルームミラーに比べて車幅方向の幅が広くてもよい。または、例えば、リヤビューモニタ６０は、従来の光学式のルームミラーに比べて縦方向の幅が広くてもよい。
【００２２】
図１、図２に戻って、右サイドビューモニタ７０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドビューモニタ７０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドビューモニタ７０は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドビューモニタ７０は、ダッシュボードの車幅方向の右側に配置されている。
【００２３】
左サイドビューモニタ８０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを含むディスプレイである。左サイドビューモニタ８０は、車両用表示制御装置１０の表示制御部１７から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドビューモニタ８０は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドビューモニタ８０は、ダッシュボードの車幅方向の左側に配置されている。
【００２４】
車両用表示制御装置１０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成された演算処理装置である。車両用表示制御装置１０は、図示しない記憶部に記憶されているプログラムに含まれる命令を実行する。車両用表示制御装置１０は、映像データ取得部１１と、切出処理部１２と、位置関係取得部１３と、標識情報取得部１４と、認識処理部１５と、合成処理部１６と、表示制御部１７とを含む。
【００２５】
映像データ取得部１１は、車両の後方および側方を撮影した映像を取得する。映像データ取得部１１が取得する映像データは、例えば、毎秒６０フレームの画像が連続した映像データである。映像データ取得部１１は、後方用カメラ２０が出力した後方映像データ１００と、右側方用カメラ３０が出力した右側方映像データと、左側方用カメラ４０が出力した左側方映像データとを取得する。映像データ取得部１１は、取得した映像データを切出処理部１２に出力する。
【００２６】
切出処理部１２は、右側方映像データから右サイドビューモニタ７０に合わせた表示用右側方映像データを切出す。切出処理部１２は、左側方映像データから左サイドビューモニタ８０に合わせた表示用左側方映像データを切出す。切出処理部１２は、切出した表示用右側方映像データと表示用左側方映像データとを表示制御部１７に出力する。
【００２７】
切出処理部１２は、後方映像データ１００からリヤビューモニタ６０に合わせた表示用後方映像データ１１０を切出す。後方映像データ１００のどの範囲を切出すかは、あらかじめ登録され記憶されている。本実施形態では、後方映像データ１００の中央部を切出す。切出処理部１２は、切出した表示用後方映像データ１１０を認識処理部１５と合成処理部１６とに出力する。
【００２８】
位置関係取得部１３は、走行路に設置された標識と車両との位置関係を取得する。本実施形態では、位置関係取得部１３は、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識と車両との位置関係を取得する。標識と車両との位置関係は、標識を車両が通過したか否かを判定可能な情報を含む。
【００２９】
ナビゲーション情報は、車両の走行路を含む地図情報と、走行路に設置された標識の設置位置情報と標示内容とを含む標識情報と、車両の現在位置情報とを含む。標識の設置位置情報は、走行路に対する標識の設置向きを含む。標識の標示内容は、標識に示された文字情報と図形情報と色彩情報とを含む。標識の標示内容は、標識を表す画像データとしてもよい。
【００３０】
標識情報取得部１４は、標識の設置位置情報と標示内容とを取得する。本実施形態では、標識情報取得部１４は、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識の設置位置情報と標示内容とを取得する。本実施形態では、標識情報取得部１４は、標識を表す画像データを取得する。
【００３１】
認識処理部１５は、位置関係取得部１３が取得した標識と車両との位置関係が、標識を車両が通過したことを示した後に、映像データ取得部１１が取得した表示用後方映像データ１１０から通過した標識の背面１１１を認識する。より詳しくは、認識処理部１５は、標識を車両が通過したと判定された後、映像データ取得部１１が取得し、切出処理された表示用後方映像データ１１０に対して画像処理を行って、位置関係取得部１３で取得した標識の設置位置情報に対応する位置に設置されている標識の背面１１１を認識する。または、認識処理部１５は、標識を車両が通過したと判定された後、表示用後方映像データ１１０に対して画像処理を行って、例えば、路面より上方に設置された灰色または銀色の矩形状または円形状の標識の背面１１１を認識してもよい。または、認識処理部１５は、標識を車両が通過したと判定された後、表示用後方映像データ１１０に対して画像処理を行って、例えば、路面より上方に設置された、通過した標識と相似形状を標識の背面１１１として認識してもよい。または、認識処理部１５は、標識を車両が通過したと判定された後、標識の背面１１１のパターンを記憶した認識辞書を参照して、表示用後方映像データ１１０に対するパターンマッチングによって標識の背面１１１を認識してもよい。
【００３２】
合成処理部１６は、表示用後方映像データ１１０に対し、認識処理部１５が認識した標識の背面１１１に、標識情報取得部１４が取得した標識の標示内容を合成した合成映像データ１２０を生成する。本実施形態では、合成処理部１６は、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４が取得した標識の画像データ１２１を合成した合成映像データ１２０を生成する。合成処理部１６は、表示用後方映像データ１１０において標識の背面１１１として認識された大きさに、標識情報取得部１４が取得した標識の画像データ１２１の大きさを合わせて張り付ける。合成処理部１６は、車両と標識との距離の変化に応じて、言い換えると、標識の背面１１１として認識された大きさの変化に応じて、標識情報取得部１４が取得した標識の画像データ１２１の大きさを変化させて張り付ける。合成処理部１６は、合成した合成映像データ１２０を表示制御部１７に出力する。
【００３３】
合成処理部１６は、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識が経路案内情報における分岐点を示す位置に設置されていた場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、不慣れな道路、または、初めて通過する道路に設置されている標識である場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識の標示内容の情報量が閾値以上である場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識の標示内容に可読性の低い文字が含まれている場合、標識の画像データ１２１の正像を合成してもよい。合成処理部１６は、例えば、標識が渋滞情報を標示した情報板である場合、標識の画像データ１２１の正像を合成してもよい。本実施形態では、合成処理部１６は、標識の画像データ１２１の正像を合成する。
【００３４】
または、合成処理部１６は、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識が経路案内情報における分岐点を示す位置に設置されている標識以外である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、繰り返し通過する道路に設置されている標識である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識の標示内容の情報量が閾値以下である場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識の標示内容に可読性の低い文字が含まれていない場合、標識の画像データ１２１の鏡像を合成してもよい。合成処理部１６は、例えば、標識が案内標識以外の規制標識などである場合、標識の画像データ１２１の鏡像を合成してもよい。
【００３５】
合成処理部１６は、表示用後方映像データ１１０に対し、認識処理部１５が認識した標識の背面１１１に、標識情報取得部１４が取得した標識の標示内容を強調して合成した合成映像データ１２０を生成してもよい。強調して合成するとは、例えば、合成する標識の標示内容の色または輝度を変化させてもよい。強調して合成するとは、例えば、合成する標識の標示内容の外周を枠で囲んでもよい。
【００３６】
例えば、合成処理部１６は、図５に示すような合成した合成映像データ１２０を生成する。図５は、第一実施形態に係る車両用表示システムのリヤビューモニタに表示される映像の他の例を示す図である。合成映像データ１２０には、表示用後方映像データ１１０における標識の背面１１１に、標識の画像データ１２１が張り付けられている。標識の画像データ１２１の大きさは、標識の背面１１１の大きさと同程度の大きさである。標識の画像データ１２１は、正像として合成されている。
【００３７】
表示制御部１７は、表示用後方映像データ１１０または合成処理部１６が合成した合成映像データ１２０を、リヤビューモニタ６０に表示させる。表示制御部１７は、認識処理部１５が標識の背面１１１を認識してから所定期間、合成映像データ１２０をリヤビューモニタ６０に表示させる。言い換えると、表示制御部１７は、認識処理部１５が標識の背面１１１を認識してから所定期間経過するまで、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。
【００３８】
表示制御部１７は、表示用右側方映像データを右サイドビューモニタ７０に表示させる。表示制御部１７は、表示用左側方映像データを左サイドビューモニタ８０に表示させる。
【００３９】
次に、図６を用いて、車両用表示制御装置１０における情報処理について説明する。図６は、第一実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。
【００４０】
図６に示すフローチャートの処理における前提としては、車両が動作している期間中、リヤビューモニタ６０に表示用後方映像データ１１０が表示されている。より詳しくは、映像データ取得部１１が、後方用カメラ２０が出力した後方映像データ１００を取得する。そして、切出処理部１２が、後方映像データ１００から表示用後方映像データ１１０を切出す。そして、表示制御部１７が、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。
【００４１】
車両用表示制御装置１０は、標識と車両との位置関係を取得する（ステップＳ１１）。より詳しくは、車両用表示制御装置１０は、位置関係取得部１３によって、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識と車両との位置関係を取得する。車両用表示制御装置１０は、ステップＳ１２に進む。
【００４２】
車両用表示制御装置１０は、標識を車両が通過したか否かを判定する（ステップＳ１２）。より詳しくは、車両用表示制御装置１０は、位置関係取得部１３が取得した標識と車両との位置関係に基づいて、標識を車両が通過したか否かを判定する。車両用表示制御装置１０は、標識を車両が通過したと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。車両用表示制御装置１０は、標識を車両が通過していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１１の処理を再度実行する。
【００４３】
標識を車両が通過したと判定された場合（ステップＳ１２でＹｅｓ）、車両用表示制御装置１０は、表示用後方映像データ１１０から標識の背面１１１を認識する（ステップＳ１３）。より詳しくは、例えば、車両用表示制御装置１０は、認識処理部１５によって、表示用後方映像データ１１０に対して画像処理を行って、位置関係取得部１３で取得した標識の設置位置情報に対応する位置に設置されている標識の背面１１１を認識する。車両用表示制御装置１０は、ステップＳ１４に進む。
【００４４】
車両用表示制御装置１０は、標識の標示内容を取得する（ステップＳ１４）。より詳しくは、車両用表示制御装置１０は、標識情報取得部１４によって、ナビゲーションシステムから取得したナビゲーション情報に基づいて、標識の設置位置情報と標示内容とを取得する。車両用表示制御装置１０は、ステップＳ１５に進む。
【００４５】
車両用表示制御装置１０は、表示用後方映像データ１１０の標識の背面１１１に、標識の標示内容を合成する（ステップＳ１５）。より詳しくは、車両用表示制御装置１０は、合成処理部１６によって、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４が取得した標識の画像データ１２１を合成した合成映像データ１２０を生成する。車両用表示制御装置１０は、ステップＳ１６に進む。
【００４６】
車両用表示制御装置１０は、合成した合成映像データ１２０を表示する（ステップＳ１６）。より詳しくは、車両用表示制御装置１０は、表示制御部１７によって、合成映像データ１２０をリヤビューモニタ６０に表示させる。車両用表示制御装置１０は、表示制御部１７によって、認識処理部１５が標識の背面１１１を認識してから所定期間の経過後、表示用後方映像データ１１０をリヤビューモニタ６０に表示させる。車両用表示制御装置１０は、処理を終了する。
【００４７】
このようにして、車両用表示システム１は、標識の通過後に、標識の画像データ１２１を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。ステップＳ１６の後は、例えば合成映像データ１２０をリヤビューモニタ６０に表示開始してから１０秒間など所定の期間経過するまで合成映像データ１２０の表示を継続する。または、例えば合成映像データ１２０をリヤビューモニタ６０に表示開始してから、標識と車両との位置関係が、例えば所定距離である２０ｍ以上となるまで、合成映像データ１２０の表示を継続する。さらには、合成映像データ１２０をリヤビューモニタ６０に表示開始してから認識した標識の背面１１１の大きさが、表示開始時から５０％未満の大きさとなるまで、合成映像データ１２０の表示を継続する。
【００４８】
上述したように、本実施形態は、標識の通過後に、表示用後方映像データ１１０における標識の背面１１１に標識の画像データ１２１を合成した合成映像データ１２０を生成する。そして、本実施形態は、合成映像データ１２０をリヤビューモニタ６０に表示する。このように、本実施形態は、標識の通過後に、リヤビューモニタ６０を介して標識の画像データ１２１を適切に確認可能にすることができる。
【００４９】
本実施形態は、標識の通過後に、標識の画像データ１２１をリヤビューモニタ６０に表示する。このため、標識を通過した後、運転者が標識を確認するために、無意識にリヤビューモニタ６０を視認する動作を行うと、標識の画像データ１２１を確認することができる。このように、本実施形態によれば、運転者が通過した標識を確認するために、タッチパネル操作などを行うことを要しない。
【００５０】
本実施形態は、標識の背面１１１として認識された大きさに応じて、標識の画像データ１２１の大きさを合わせて張り付ける。本実施形態は、標識の背面１１１以外の部分には、表示用後方映像データ１１０を表示する。本実施形態によれば、後方を確認するためにリヤビューモニタ６０に表示する映像データの情報量を落とさずに、標識の画像データ１２１を合成することができる。
【００５１】
本実施形態は、標識の背面１１１として認識された大きさの変化に応じて、標識の画像データ１２１の大きさを変化させて張り付ける。本実施形態によれば、標識の画像データ１２１を合成したことによって生じる違和感を低減することができる。
【００５２】
本実施形態は、標識の画像データ１２１の正像を合成することにより、標識の画像データ１２１の視認性を高めることができる。標識の画像データ１２１の正像を合成すると、標識の通過前に目視する標識が行先標識である場合、標識の通過後にリヤビューモニタ６０で確認する標識の行先方向が一致する。また、文字も読みやすい。
【００５３】
本実施形態は、標識の画像データ１２１の鏡像を合成することにより、標識の画像データ１２１を合成したことによって生じる違和感を低減することができる。標識の画像データ１２１の鏡像を合成すると、表示用後方映像データ１１０も鏡像であるため、違和感が低減する。
【００５４】
本実施形態は、標識の画像データ１２１を強調して合成した合成映像データ１２０を生成することにより、標識の画像データ１２１の視認性をより高めることができる。また、本実施形態によれば、合成映像データ１２０の中で標識の画像データ１２１と、他の非撮影物との違いを認識しやすくすることができる。これにより、例えば、合成映像データ１２０に標識の画像データ１２１と対向車線に向けて設置された標識とが表示されていた場合、標識の画像データ１２１を確認しやすくすることができる。
【００５５】
本実施形態は、標識として案内標識を表示することができる。本実施形態によれば、通過した案内標識を確認して、より適切に周辺状況を確認することができる。
【００５６】
本実施形態によれば、通過した案内標識をリヤビューモニタ６０に表示する。本実施形態によれば、リヤビューモニタ６０には通過した案内標識が表示され、これから通過する交差点などの案内標識はナビゲーション装置に表示される。本実施形態によれば、通過した案内標識かこれから通過する案内標識であるのかを容易に識別することができる。
【００５７】
［第二実施形態］
図７ないし図９を参照しながら、本実施形態に係る車両用表示システム１Ａについて説明する。図７は、第二実施形態に係る車両用表示システムの構成例を示すブロック図である。図８は、第二実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。図９は、第二実施形態に係る車両用表示システムの前方用カメラで撮影された前方映像データの一例を示す図である。本実施形態に係る車両用表示システム１Ａは、基本的な構成は第一実施形態の車両用表示システム１と同様である。以下の説明においては、車両用表示システム１と同様の構成要素には、同一の符号または対応する符号を付し、その詳細な説明は省略する。本実施形態の車両用表示システム１Ａは、前方用カメラ５０Ａを備え、車両用表示制御装置１０Ａにおける情報処理が第一実施形態の車両用表示システム１と異なる。
【００５８】
前方用カメラ５０Ａは、車両の前方に前方を向いて配置され、車両の前方を撮影する。前方用カメラ５０Ａは、水平方向の画角が例えば９０〜１８０°、上下方向の画角が例えば４５〜９０°である。例えば、前方用カメラ５０Ａは、図９に示すような、前方映像データ（第二映像データ）１４０を撮影している。前方用カメラ５０Ａは、撮影した前方映像データ１４０を車両用表示制御装置１０Ａの映像データ取得部１１Ａへ出力する。
【００５９】
映像データ取得部１１Ａは、前方用カメラ５０Ａが出力した前方映像データ１４０を取得する。
【００６０】
位置関係取得部１３Ａは、映像データ取得部１１Ａが取得した前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、標識と車両との位置関係を取得する。より詳しくは、位置関係取得部１３Ａは、前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、前方映像データ１４０から標識を認識できなくなった後に、表示用後方映像データ１１０から相似形状の標識を認識可能になった場合、標識を通過したことを示す情報を取得する。
【００６１】
認識処理部１５Ａは、映像データ取得部１１Ａが取得した前方映像データ１４０に対して画像処理を行って、標識の画像データ１４１を認識する。このような機能を有する認識処理部１５Ａは、標識情報取得部１４Ａとして機能する。
【００６２】
また、認識処理部１５Ａは、前方映像データ１４０と表示用後方映像データ１１０とに対して画像処理を行って、前方映像データ１４０から標識を認識できなくなった後に、表示用後方映像データ１１０から相似形状の標識を認識可能になった場合、同一の標識として標識の背面１１１を認識する。
【００６３】
合成処理部１６Ａは、表示用後方映像データ１１０における標識の背面１１１に、標識情報取得部１４としての認識処理部１５Ａが取得した標識の画像データ１４１を合成した合成映像データを生成する。
【００６４】
表示制御部１７は、合成処理部１６Ａが合成した合成映像データを、リヤビューモニタ６０に表示させる。
【００６５】
車両用表示制御装置１０Ａにおける情報処理について説明する。図８に示すフローチャートのステップＳ２２、ステップＳ２３、ステップＳ２７の処理は、図６に示すフローチャートのステップＳ１２、ステップＳ１３、ステップＳ１６の処理と同様である。
【００６６】
車両用表示制御装置１０Ａは、位置関係取得部１３Ａによって、映像データ取得部１１Ａが取得した前方映像データ１４０に対して画像処理を行って、標識と車両との位置関係を取得する（ステップＳ２１）。車両用表示制御装置１０Ａは、ステップＳ２２に進む。
【００６７】
車両用表示制御装置１０Ａは、映像データ取得部１１Ａによって、前方用カメラ５０Ａが出力した前方映像データ１４０を取得する（ステップＳ２４）。車両用表示制御装置１０Ａは、ステップＳ２５に進む。
【００６８】
車両用表示制御装置１０Ａは、認識処理部１５Ａによって、前方映像データ１４０に対して画像処理を行って、標識の標示内容として標識の画像データ１４１を取得する（ステップＳ２５）。車両用表示制御装置１０Ａは、ステップＳ２６に進む。
【００６９】
車両用表示制御装置１０Ａは、表示用後方映像データ１１０の標識の背面１１１に、切出した標識の画像データ１４１を合成する（ステップＳ２６）。車両用表示制御装置１０Ａは、ステップＳ２７に進む。
【００７０】
このようにして、車両用表示システム１Ａは、標識の通過後に、前方映像データ１４０から切出した標識の画像データ１４１を合成した合成映像データをリヤビューモニタ６０に表示する。
【００７１】
上述したように、本実施形態は、標識の通過後に、表示用後方映像データ１１０における標識の背面１１１に、前方映像データ１４０から切出した標識の画像データ１４１を合成した合成映像データを生成する。このように、本実施形態は、標識の通過後に、前方映像データ１４０から切出した標識の画像データ１４１によって、標識の標示内容を適切に確認可能にすることができる。
【００７２】
［第三実施形態］
図１０ないし図１２を参照しながら、本実施形態に係る車両用表示システム１Ｂについて説明する。図１０は、第三実施形態に係る車両用表示システムの構成例を示すブロック図である。図１１は、第三実施形態に係る車両用表示システムの構成例を示す概略図である。図１２は、第三実施形態に係る車両用表示システムの車両用表示制御装置における処理の流れを示すフローチャートである。本実施形態に係る車両用表示システム１Ｂは、基本的な構成は第一実施形態の車両用表示システム１と同様である。本実施形態の車両用表示システム１Ｂは、視線センサ９０Ｂを備え、車両用表示制御装置１０Ｂにおける情報処理が第一実施形態の車両用表示システム１と異なる。
【００７３】
視線センサ９０Ｂは、運転者の視線を検出する。視線センサ９０Ｂは、リヤビューモニタ６０の近傍に、運転席と向かい合って配置されている。本実施形態では、視線センサ９０Ｂは、リヤビューモニタ６０の上側に配置されている。視線センサ９０Ｂは、例えば、一対の赤外カメラと、赤外ＬＥＤ群で構成された赤外光発光部とを含む。本実施形態では、視線センサ９０Ｂは、赤外光発光部で運転者の顔方向に赤外光を照射し、一対の赤外カメラで撮影する。このようにして赤外カメラで撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とに基づいて、運転者の視線がリヤビューモニタ６０を向いているか否かを判定することができる。視線センサ９０Ｂは、同様の機能を有する他の構成であってもよい。視線センサ９０Ｂは、検出結果を視線検出部１８Ｂに出力する。
【００７４】
車両用表示制御装置１０Ｂは、標識の通過後、運転者の視線がリヤビューモニタ６０を向いているとき、標識の標示内容を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。
【００７５】
視線検出部１８Ｂは、視線センサ９０Ｂの検出結果に基づいて、運転者の視線がリヤビューモニタ６０を向いているか否かを検出する。より詳しくは、視線検出部１８Ｂは、赤外カメラで撮影した撮影映像から、運転者の瞳孔と角膜反射の位置とを検出し、運転者の視線がリヤビューモニタ６０を向いているか否かを判定する。視線検出部１８Ｂは、検出結果を認識処理部１５に出力する。
【００７６】
車両用表示制御装置１０Ｂにおける情報処理について説明する。図１２に示すフローチャートのステップＳ３１、ステップＳ３２、ステップＳ３４ないしステップＳ３７の処理は、図６に示すフローチャートのステップＳ１１、ステップＳ１２、ステップＳ１３ないしステップＳ１６の処理と同様である。
【００７７】
車両用表示制御装置１０Ｂは、視線が移動したか否かを判定する（ステップＳ３３）。より詳しくは、車両用表示制御装置１０Ｂは、視線検出部１８Ｂの検出結果に基づいて、運転者の視線がリヤビューモニタ６０に移動したか否かを判定する。車両用表示制御装置１０Ｂは、運転者の視線がリヤビューモニタ６０に移動したと判定した場合（ステップＳ３３でＹｅｓ）、ステップＳ３４に進む。車両用表示制御装置１０Ｂは、運転者の視線がリヤビューモニタ６０に移動していないと判定した場合（ステップＳ３３でＮｏ）、処理を終了する。
【００７８】
このようにして、車両用表示システム１Ｂは、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、標識の画像データ１２１を合成した合成映像データ１２０を、リヤビューモニタ６０に表示する。
【００７９】
上述したように、本実施形態は、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、表示用後方映像データ１１０における標識の背面１１１に標識の画像データ１２１を合成した合成映像データ１２０を生成する。そして、本実施形態は、合成映像データ１２０をリヤビューモニタ６０に表示する。このように、本実施形態は、標識の通過後に、運転者の視線がリヤビューモニタ６０に移動したとき、リヤビューモニタ６０を介して標識の画像データ１２１を適切に確認可能にすることができる。
【００８０】
図示した車両用表示システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【００８１】
車両用表示システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【００８２】
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【００８３】
右サイドビューモニタ７０および左サイドビューモニタ８０を備えるものとしたが、従来の光学式の右サイドミラーおよび左サイドミラーを備えていてもよい。
【００８４】
車両用表示制御装置１０は、合成映像データ１２０を生成する際に、表示用後方映像データ１１０に表示される対向車線に向かって配置された標識の情報量を低減してもよい。情報量を低減するとは、例えば、標識の標示内容の色を薄くしたり、輝度を低下したりすることをいう。これにより、合成映像データ１２０において、対向車線に向かって配置された標識と、合成した標識の標示内容との識別性を向上することができる。
【００８５】
上記の実施形態では、車両用表示制御装置１０は、標識の通過後に、標識の標示内容を合成した合成映像データ１２０をリヤビューモニタ６０に表示するものとして説明したがこれに限定されない。車両用表示制御装置１０は、標識の通過後に、標識の標示内容を合成した右サイド用合成映像データおよび左サイド用合成映像データを、右サイドビューモニタ７０および左サイドビューモニタ８０に表示してもよい。
【符号の説明】
【００８６】
１        車両用表示システム
１０      車両用表示制御装置
１１      映像データ取得部
１２      切出処理部
１３      位置関係取得部
１４      標識情報取得部
１５      認識処理部
１６      合成処理部
１７      表示制御部
２０      後方用カメラ(撮影装置)
３０      右側方用カメラ(撮影装置)
４０      左側方用カメラ(撮影装置)
６０      リヤビューモニタ（表示装置）
７０      右サイドビューモニタ（表示装置）
８０      左サイドビューモニタ（表示装置）
１００    後方映像データ（第一映像データ）
１１０    表示用後方映像データ
１１１    標識の背面
【図１】
2019080189.tif 000003
【図２】
2019080189.tif 000004
【図３】
2019080189.tif 000005
【図４】
2019080189.tif 000006
【図５】
2019080189.tif 000007
【図６】
2019080189.tif 000008
【図７】
2019080189.tif 000009
【図８】
2019080189.tif 000010
【図９】
2019080189.tif 000011
【図１０】
2019080189.tif 000012
【図１１】
2019080189.tif 000013
【図１２】
2019080189.tif 000014