(57)【要約】【課題】警告対象物の位置関係を適切に把握する。【解決手段】車両用表示制御装置は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、検出部が検出した警告対象物の第一映像における位置に基づき俯瞰映像における自車両映像からの方向を算出する方向算出部と、第一映像を第一モニタに表示させ、俯瞰映像生成部が生成した俯瞰映像に加えて、方向算出部が算出した警告対象物の方向を、自車両映像における第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、を備える。【選択図】図１
2019185119.tif 000002
【特許請求の範囲】
【請求項１】
車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、
前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、
前記第二映像取得部が取得した前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、
前記第一映像取得部が取得した前記第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、
前記検出部が検出した前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出する方向算出部と、
前記第一映像を第一モニタに表示させ、前記俯瞰映像生成部が生成した前記俯瞰映像に加えて、前記方向算出部が算出した前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、
を備える、車両用表示制御装置。
【請求項２】
前記表示制御部は、前記第二モニタに、前記方向算出部が算出した警告対象物の方向と、前記第一モニタの表示範囲とを対応付けて表示させる、
請求項１に記載の車両用表示制御装置。
【請求項３】
前記第一映像取得部が取得した前記第一映像を、少なくとも一部を切出す切出処理部をさらに備え、
前記表示制御部は、前記切出処理部が切出した前記第一映像を前記第一モニタに表示させ、前記警告対象物の方向が前記第一モニタに表示されていない範囲に対応する方向であるときに、前記第二モニタに、前記方向算出部が算出した警告対象物の方向を表示させる、
請求項１または２に記載の車両用表示制御装置。
【請求項４】
前記表示制御部は、前記警告対象物が検出された場合、前記第一モニタに警告表示を表示させる、請求項１から３のいずれか一項に記載の車両用表示制御装置。
【請求項５】
前記表示制御部は、前記警告対象物が複数検出された場合、前記第二モニタに、複数の前記警告対象物の方向を、それぞれ、前記自車両からの距離に応じて表示形態を変化させて表示する、
請求項１から４のいずれか一項に記載の車両用表示制御装置。
【請求項６】
請求項１から５のいずれか一項に記載の車両用表示制御装置と、
前記第一カメラユニットと、
前記第二カメラユニットと、
前記第二モニタと、
前記第一モニタと、を備える、
車両用表示システム。
【請求項７】
車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、
前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、
前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、
前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、
前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、
切出した前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、
を含む車両用表示制御方法。
【請求項８】
車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、
前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、
前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、
前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、
前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、
前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、
を車両用表示制御装置のコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラムに関する。
【背景技術】
【０００２】
車両の周辺の障害物を検知し、運転者に警告する技術が知られている。
【０００３】
例えば、特許文献１には、自車両の左右の側後方ならびに後方の画像において、障害物が検出された方向に警告表示を行う技術が開示されている。例えば、特許文献２には、俯瞰映像上に検出した障害物を表示させる技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−３６４１号公報
【特許文献２】特開２０１５−１８２６７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
車両の後退時に、車両の後方に歩行者や、他車両などが存在することを検出し警告された場合、運転者は、まず電子リヤビューモニタまたは電子サイドモニタを確認することが多い。しかしながら、警告対象が、電子リヤビューモニタまたは電子サイドモニタに映る範囲でない場合、特許文献１の技術では、運転者に混乱を生じさせる可能性がある。特許文献２には、俯瞰映像上に検出した障害物を表示させる技術も開示されているが、俯瞰映像用カメラで撮影した範囲の障害物が対象であり、電子リヤビューモニタまたは電子サイドモニタの死角に存在する障害物には対応していない。
【０００６】
本発明は、警告対象物の位置関係を適切に把握することができる車両用表示制御装置、車両用表示システム、車両用表示制御方法、およびプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
本発明の第一の態様の車両用表示制御装置は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得する第一映像取得部と、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得する第二映像取得部と、前記第二映像取得部が取得した前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成する俯瞰映像生成部と、前記第一映像取得部が取得した前記第一映像に対して物体認識処理を行い、警告対象物を検出する検出部と、前記検出部が検出した前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出する方向算出部と、前記第一映像を第一モニタに表示させ、前記俯瞰映像生成部が生成した前記俯瞰映像に加えて、前記方向算出部が算出した前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させる表示制御部と、を備える。
【０００８】
本発明の第二の態様の車両用表示システムは、本発明の第一の態様の車両用表示制御装置と、前記第一カメラユニットと、前記第二カメラユニットと、前記第二モニタと、前記第一モニタと、を備える。
【０００９】
本発明の第三の態様の車両用表示制御方法は、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、を含む。
【００１０】
本発明の第四の態様のプログラムは、車両の後方または左右側後方を撮影する第一カメラユニットで撮影された第一映像を取得するステップと、前記車両の周囲を撮影する第二カメラユニットで撮影された第二映像を取得するステップと、前記第二映像に基づき映像の中央に仮想の自車両映像を合成した俯瞰映像を生成するステップと、前記第一映像に対して物体認識処理を行い、警告対象物を検出するステップと、前記警告対象物の前記第一映像における位置に基づき前記俯瞰映像における前記自車両映像からの方向を算出するステップと、前記第一映像を第一モニタに表示させ、前記俯瞰映像に加えて、前記警告対象物の方向を、前記自車両映像における前記第一カメラユニットの位置を基準位置として第二モニタに表示させるステップと、を車両用表示制御装置のコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、警告対象物の位置関係を適切に把握することができる。
【図面の簡単な説明】
【００１２】
【図１】図１は、本発明の第一実施形態に係る車両用表示システムの構成を示すブロック図である。
【図２】図２は、第一カメラユニットと、第二カメラユニットの搭載位置を説明するための図である。
【図３】図３は、本発明の第一実施形態に係る車両用表示システムの構成を示す概略図である。
【図４】図４は、第一カメラユニットの撮影範囲と、第一モニタの表示範囲を説明するための図である。
【図５】図５は、警告対象物を検出する範囲を説明するための図である。
【図６】図６は、本発明の第一実施形態に係る車両用表示制御装置の第二モニタが表示する画像の一例を示す図である。
【図７】図７は、本発明の第一実施形態に係る車両用表示制御装置の動作の流れの一例を示すフローチャートである。
【図８】図８は、本発明の第二実施形態に係る車両用表示制御装置の第二俯瞰映像用モニタが表示する画像の一例を示す図である。
【図９】図９は、本発明の第二実施形態に係る車両用表示制御装置の動作の流れの一例を示すフローチャートである。
【図１０】図１０は、本発明の第三実施形態に係る車両用表示制御装置の第二俯瞰映像用モニタが表示する画像の一例を示す図である。
【図１１】図１１は、本発明の第三実施形態に係る車両用表示制御装置の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、本発明の実施形態について詳細に説明する。なお、各図において同一または相当する部分には同一の符号を付して適宜説明は省略する。
【００１４】
[第一実施形態]
図１と、図２と、図３とを用いて、本発明の第一実施形態に係る車両用表示システム１について説明する。図１は、本発明の第一実施形態に係る車両用表示システム１の構成を示すブロック図である。図２は、第一カメラユニットと、第二カメラユニットの搭載位置を説明するための図である。図３は、本発明の第一実施形態に係る車両用表示システムの構成を示す概略図である。
【００１５】
図１に示すように、車両用表示システム１は、第一カメラユニット１０と、第二カメラユニット２０と、後方確認用のモニタユニットである第一モニタ３０と、俯瞰映像を表示させるモニタである第二モニタ５０と、車両用表示制御装置１００とを備える。
【００１６】
第一カメラユニット１０は、後方カメラ１１と、左側後方カメラ１２と、右側後方カメラ１３とを有する。
【００１７】
第二カメラユニット２０は、前俯瞰映像用カメラ２１と、後俯瞰映像用カメラ２２と、左俯瞰映像用カメラ２３と、右俯瞰映像用カメラ２４とを有する。
【００１８】
第一モニタ３０は、リヤビューモニタ３１と、左サイドモニタ３２と、右サイドモニタ３３とを有する。リヤビューモニタ３１と、左サイドモニタ３２および右サイドモニタ３３とは、各々別体のモニタであっても、単体のモニタで構成されてもよい。
【００１９】
図２を参照して、後方カメラ１１と、左側後方カメラ１２と、右側後方カメラ１３と、前俯瞰映像用カメラ２１と、後俯瞰映像用カメラ２２と、左俯瞰映像用カメラ２３と、右俯瞰映像用カメラ２４とが設けられる位置について説明する。
【００２０】
後方カメラ１１は、車両の後方に後方を向いて配置され、車両の後方を撮影する。後方カメラ１１は、水平方向の画角が例えば９０〜１３５°、上下方向の画角が例えば４５〜９０°である。後方カメラ１１は、リヤビューモニタ３１に表示させる範囲より広い範囲の映像を撮影可能であるが、リヤビューモニタ３１を用いて車両の運転者が適切に後方を認識できるような範囲を切出してリヤビューモニタ３１に表示する。後方カメラ１１は、撮影した後方映像データを映像取得部１１０へ出力する。
【００２１】
左側後方カメラ１２は、自車両Ｍの左側方ＭＬに設けられた左カメラ支持部６０に後方を向いて配置され、車両の左側後方を撮影する。左カメラ支持部６０は、自車両Ｍのサイドミラーであってもよい。左側後方カメラ１２は、左サイドモニタ３２による確認範囲を撮影する。左側後方カメラ１２は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。左側後方カメラ１２は、左サイドモニタ３２に表示させる範囲より広い範囲の映像を撮影可能であるが、左サイドモニタ３２を用いて車両の運転者が適切に後方を認識できるような範囲を切出して左サイドモニタ３２に表示する。左側後方カメラ１２は、撮影した左側後方映像データを映像取得部１１０へ出力する。
【００２２】
右側後方カメラ１３は、自車両Ｍの右側方ＭＲに設けられた右カメラ支持部７０に後方を向いて配置され、車両の右側後方を撮影する。右カメラ支持部７０は、自車両Ｍのサイドミラーであってもよい。右側後方カメラ１３は、右サイドモニタ３３による確認範囲を撮影する。右側後方カメラ１３は、水平方向の画角が例えば１５〜４５°、上下方向の画角が例えば１５〜４５°である。右側後方カメラ１３は、右サイドモニタ３３に表示させる範囲より広い範囲の映像を撮影可能であるが、右サイドモニタ３３を用いて車両の運転者が適切に後方を認識できるような範囲を切出して右サイドモニタ３３に表示する。右側後方カメラ１３は、撮影した右側後方映像データを映像取得部１１０へ出力する。
【００２３】
後方カメラ１１と、左側後方カメラ１２と、右側後方カメラ１３とによって撮影された映像は、第一映像とも呼ばれる。
【００２４】
前俯瞰映像用カメラ２１は、俯瞰映像用カメラである。前俯瞰映像用カメラ２１は、自車両Ｍの前方に配置され、自車両Ｍの前方を中心とした周辺を撮影する。前俯瞰映像用カメラ２１は、例えば、１８０°程度の範囲を撮影する。前俯瞰映像用カメラ２１は、撮影した映像を映像取得部１１０へ出力する。
【００２５】
後俯瞰映像用カメラ２２は、俯瞰映像用カメラである。後俯瞰映像用カメラ２２は、自車両Ｍの後方に配置され、自車両Ｍの後方を中心とした周辺を撮影する。後俯瞰映像用カメラ２２は、例えば、１８０°程度の範囲を撮影する。後俯瞰映像用カメラ２２は、撮影した映像を映像取得部１１０へ出力する。
【００２６】
左俯瞰映像用カメラ２３は、俯瞰映像用カメラである。左俯瞰映像用カメラ２３は、左カメラ支持部６０に配置され、自車両Ｍの左側方を中心とした周辺を撮影する。左俯瞰映像用カメラ２３は、例えば、１８０°程度の範囲を撮影する。左俯瞰映像用カメラ２３は、撮影した映像を映像取得部１１０へ出力する。
【００２７】
右俯瞰映像用カメラ２４は、俯瞰映像用カメラである。右俯瞰映像用カメラ２４は、右カメラ支持部７０に配置され、自車両Ｍの右側方を中心とした周辺を撮影する。右俯瞰映像用カメラ２４は、例えば、１８０°程度の範囲を撮影する。右俯瞰映像用カメラ２４は、撮影した映像を映像取得部１１０へ出力する。
【００２８】
車両用表示システム１は、前俯瞰映像用カメラ２１と、後俯瞰映像用カメラ２２と、左俯瞰映像用カメラ２３と、右俯瞰映像用カメラ２４とによって、自車両Ｍの全方位を撮影する。
【００２９】
図３を参照して、リヤビューモニタ３１と、左サイドモニタ３２と、右サイドモニタ３３と、第二モニタ５０との概略について説明する。
【００３０】
リヤビューモニタ３１は、一例としては電子ルームミラーである。リヤビューモニタ３１を電子ルームミラーとして用いる場合は、後方を光学的な反射により確認するためのハーフミラーの有無は問わない。リヤビューモニタ３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。リヤビューモニタ３１は、車両用表示制御装置１００の表示制御部１６０から出力された映像信号に基づき、車両の後方映像を表示する。そのため、リヤビューモニタ３１は、運転者から視認容易な位置に配置されている。本実施形態では、リヤビューモニタ３１は、ウィンドシールドの車幅方向の中央上部に配置されている。または、リヤビューモニタ３１は、ダッシュボードやヘッドライナーに埋め込まれていてもよい。リヤビューモニタ３１には、タッチパネルが設けられていてもよい。
【００３１】
リヤビューモニタ３１は、大きさ、形状は限定されない。例えば、リヤビューモニタ３１は、従来の光学式のルームミラーと同様な大きさ、形状であってもよい。または、例えば、リヤビューモニタ３１は、従来の光学式のルームミラーに比べて車幅方向の幅が広くてもよい。または、例えば、リヤビューモニタ３１は、従来の光学式のルームミラーに比べて縦方向の幅が広くてもよい。
【００３２】
左サイドモニタ３２は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。左サイドモニタ３２は、車両用表示制御装置１００の表示制御部１６０から出力された映像信号に基づき、車両の左側後方映像を表示する。左サイドモニタ３２は、運転者から視認容易な位置に配置されている。本実施形態では、左サイドモニタ３２は、ダッシュボードの車幅方向の左側に配置されている。左サイドモニタ３２にはタッチパネルが設けられていてもよい。また、左サイドモニタ３２をリヤビューモニタ３１の左側に一体的に設けてもよい。
【００３３】
右サイドモニタ３３は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。右サイドモニタ３３は、車両用表示制御装置１００の表示制御部１６０から出力された映像信号に基づき、車両の右側後方映像を表示する。右サイドモニタ３３は、運転者から視認容易な位置に配置されている。本実施形態では、右サイドモニタ３３は、ダッシュボードの車幅方向の右側に配置されている。右サイドモニタ３３には、タッチパネルが設けられていてもよい。また、右サイドモニタ３３をリヤビューモニタ３１の左側に一体的に設けてもよい。
【００３４】
第二モニタ５０は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイなどを含むディスプレイである。第二モニタ５０は、車両用表示制御装置１００の表示制御部１６０から出力された映像信号に基づき、自車両Ｍの周辺の俯瞰映像を表示する。第二モニタ５０は、運転者から視認容易な位置に配置されている。本実施形態では、第二モニタ５０は、例えば、センターコンソール４０に配置されている。
【００３５】
再び図１を参照する。車両用表示制御装置１００は、映像取得部１１０と、俯瞰映像生成部１２０と、切出処理部１３０と、検出部１４０と、方向算出部１５０と、表示制御部１６０と、記憶部１７０とを備える。車両用表示制御装置１００は、ＣＰＵ(Central  Processing  Unit)を含む電子的な回路で実現することができる。
【００３６】
映像取得部１１０は、第一映像取得部１１１と、第二映像取得部１１２とを有する。
【００３７】
第一映像取得部１１１は、後方カメラ１１と、左側後方カメラ１２と、右側後方カメラ１３とによって撮影された映像を第一映像として取得する。第一映像取得部１１１は、取得した第一映像を切出処理部１３０と、検出部１４０とに出力する。
【００３８】
第二映像取得部１１２は、前俯瞰映像用カメラ２１と、後俯瞰映像用カメラ２２と、左俯瞰映像用カメラ２３と、右俯瞰映像用カメラ２４とによって撮影された映像を第二映像として取得する。第二映像取得部１１２は、取得した第二映像を俯瞰映像生成部１２０に出力する。
【００３９】
俯瞰映像生成部１２０は、第二映像取得部１１２から受けた第二映像に視点変換処理を行い、視点変換処理を行った複数の周辺映像の合成処理を行い、自車両Ｍの周辺を表示する表示範囲の俯瞰映像を生成する。俯瞰映像生成部１２０は、生成した俯瞰映像を表示制御部１６０に出力する。俯瞰映像生成部１２０は、視点変換処理部１２１と、俯瞰切出処理部１２２と、合成処理部１２３とを有する。
【００４０】
視点変換処理部１２１は、第二映像に対して、自車両Ｍを上方から見下ろすように視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部１２１は、視点変換処理を行った周辺映像を俯瞰切出処理部１２２に出力する。
【００４１】
俯瞰切出処理部１２２は、視点変換処理を行った周辺映像から所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。俯瞰切出処理部１２２は、切出処理を行った映像の映像データを合成処理部１２３に出力する。
【００４２】
合成処理部１２３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部１２３は、合成した映像に自車両映像である車両アイコンを表示した俯瞰映像を生成する。
【００４３】
切出処理部１３０は、第一映像取得部１１１が取得した第一映像の少なくとも一部を切出す。具体的には、切出処理部１３０は、第一映像からリヤビューモニタ３１と、左サイドモニタ３２と、右サイドモニタ３３に表示させるための映像を切出す。切出処理部１３０は、第一映像を横方向に切出してもよいし、縦方向に切出してもよい。切出処理部１３０は、切出した映像を表示制御部１６０に出力する。
【００４４】
図４を用いて、切出処理部１３０が映像を切出す範囲について説明する。図４は、第一カメラユニット１０の撮影範囲と、第一モニタ３０の表示範囲を説明するための図である。
【００４５】
範囲Ａは、左側後方カメラ１２の撮影範囲である。切出処理部１３０は、範囲Ａのうち、左サイドモニタ３２に表示させる映像として範囲Ａ１の映像を切出す。切出処理部１３０は、範囲Ａ１の映像を、左側後方表示用映像データとして表示制御部１６０に出力する。
【００４６】
範囲Ｂは、右側後方カメラ１３の撮影範囲である。切出処理部１３０は、範囲Ｂのうち、右サイドモニタ３３に表示させる映像として範囲Ｂ１の映像を切出す。切出処理部１３０は、範囲Ｂ１の映像を、右側後方表示用映像データとして表示制御部１６０に出力する。
【００４７】
範囲Ｃは、後方カメラ１１の撮影範囲である。切出処理部１３０は、範囲Ｃのうち、リヤビューモニタ３１に表示させる映像として範囲Ｃ１の映像を切出す。切出処理部１３０は、範囲Ｃ１の映像を、後方表示用映像データとして表示制御部１６０に出力する。
【００４８】
検出部１４０は、第一映像取得部１１１が取得した第一映像に対して物体認識処理を行い、警告対象物を検出する。警告対象物は、人物、車両などの障害物であり、運転に支障をきたすおそれのある物体である。検出部１４０は、例えば、自車両Ｍが後退している場合や、縦列駐車している場合には、自車両Ｍの両側の警告対象物を検出する。検出部１４０は、例えば、自車両Ｍが右左折する場合には、曲がり始める前は曲がる方向のみの警告対象物を検出し、曲がり始めたら自車両Ｍの両側の警告対象物を検出するようにしてもよい。検出部１４０は、例えば、車のみ、歩行者のみなど、特定の警告対象物のみを検出するようにしてもよい。検出部１４０は、例えば、左側通行である場合は、左側は車両と歩行者を検出し、右側は車のみを検出するようにしてもよい。すなわち、検出部１４０は、自車両Ｍの運転状況に応じて、検出条件を変えることができる。検出部１４０が警告対象物を検出する物体認識処理には、周知の技術を用いればよい。検出部１４０は、警告対象物を検出すると、警告対象物が検出されたことを示す信号を方向算出部１５０に出力する。
【００４９】
図５を用いて、警告対象物を検出する範囲について説明する。図５は、警告対象物を検出する範囲を説明するための図である。
【００５０】
図５には、左側後方カメラ１２の撮影範囲である範囲Ａと、左サイドモニタ３２の表示範囲である範囲Ａ１が示されている。図５に示すように、検出部１４０は、第一映像に基づいて警告対象物を検出しているので、左サイドモニタ３２の表示範囲外であっても警告対象物として人物Ｕを検出することができる。
【００５１】
方向算出部１５０は、検出部１４０が検出した警告対象物の第一映像における位置に基づいて、俯瞰映像における自車両から警告対象物の方向を算出する。具体的には、方向算出部１５０は、第一映像における座標計算によって俯瞰映像における自車両から警告対象物の方向を算出する。方向算出部１５０は、例えば、左サイドモニタ３２の表示範囲である範囲Ａ１を基点とすることによって、自車両Ｍから警告対象物の方向を算出する。方向算出部１５０は、自車両Ｍから警告対象物の方向を示す信号を表示制御部１６０に出力する。
【００５２】
表示制御部１６０は、後方表示用映像データをリヤビューモニタ３１に表示させる。表示制御部１６０は、左側後方表示用映像データを左サイドモニタ３２に表示させる。表示制御部１６０は、右側後方表示用映像データを右サイドモニタ３３に表示させる。
【００５３】
表示制御部１６０は、俯瞰映像生成部１２０が生成した俯瞰映像を第二モニタ５０に表示させる。表示制御部１６０は、例えば、後退時や、右左折時に俯瞰映像を第二モニタ５０に表示させる。表示制御部１６０は、例えば、交差点で所定の速度以下に減速された場合や、信号待ちで停車している場合に俯瞰映像を第二モニタ５０に表示させる。表示制御部１６０は、走行している場所が交差点であることを、例えば、カーナビゲーション装置から取得した位置情報に基づいて検出する。表示制御部１６０は、俯瞰映像において警告対象物のアイコンを表示させるとともに、自車両から警告対象物までの方向を表示させる。
【００５４】
表示制御部１６０は、例えば、シフトポジションがリバースであることを示す信号を受けることで、自車両Ｍが後退していることを検出する。表示制御部１６０は、例えば、シフトポジションがリバースから解除された信号を受けた場合に、第二モニタ５０に俯瞰映像を表示させる動作を終了する。
【００５５】
表示制御部１６０は、例えば、カーナビゲーション装置によって右左折を指示していることを検出することによって、自車両Ｍが右左折することを検出する。
【００５６】
表示制御部１６０は、例えば、俯瞰映像を第二モニタ５０に表示させるとともに、左サイドモニタ３２または右サイドモニタ３３に警告対象物が検知されたことを示す警告表示を表示してもよい。これにより、表示制御部１６０は、運転者に対して第二モニタ５０を見るよう促す。
【００５７】
表示制御部１６０は、例えば、警告対象物が検出された場合に、左サイドモニタ３２または右サイドモニタ３３に表示させる左側後方映像または右側後方映像の表示範囲を切り替えてもよい。具体的には、表示制御部１６０は、左サイドモニタ３２または右サイドモニタ３３に表示させる表示範囲を広くしてもよい。表示制御部１６０は、例えば、左サイドモニタ３２または右サイドモニタ３３に設けられたタッチパネルの操作や、他のインターフェースによる操作によって、左サイドモニタ３２または右サイドモニタ３３に表示させる表示範囲を広くする。表示制御部１６０は、例えば、車両用表示制御装置１００にマイクロフォンが設けられており、マイクロフォンによって運転者から指示された場合に左サイドモニタ３２または右サイドモニタ３３に表示させる表示範囲を広くする。
【００５８】
図６を用いて、表示制御部１６０が第二モニタ５０に表示させる俯瞰映像の一例について説明する。図６は、表示制御部１６０が第二モニタ５０に表示させる俯瞰映像の一例を示す図である。
【００５９】
図６に示す俯瞰映像３００には、前俯瞰映像用カメラ２１が撮影した前方映像４００と、後俯瞰映像用カメラ２２が撮影した後方映像５００と、左俯瞰映像用カメラ２３が撮影した左側映像６００と、右俯瞰映像用カメラ２４が撮影した右側映像７００が含まれている。俯瞰映像３００の中心には、自車両ＭのアイコンＩが示されている。
【００６０】
表示制御部１６０は、警告対象物である人物Ｕと、方向Ｖとを俯瞰映像３００に表示させることで、運転者に警告対象物が検出されてことを報知する。図６では、左側後方カメラ１２によって人物Ｕが撮影された場合を示している。この場合、表示制御部１６０は、左側後方カメラ１２の位置を基準位置とした、警告対象物の方向を表示させる。表示制御部１６０は、人物、車両、自転車など警告対象物の種類に応じて表示させるアイコンを変えてもよい。表示制御部１６０は、警告対象物のアイコンの代わりに、撮影した警告対象物を縮小して表示させてもよい。表示制御部１６０は、少なくとも警告対象物までの方向Ｖを表示させればよく、人物Ｕのアイコンは表示させなくてもよい。表示制御部１６０は、例えば、危険度に応じて方向を太くして表示させてもよいし、色を変化させて表示させてもよい。危険度は、例えば、検出部１４０が検出した警告対象物の第一映像における位置に基づいて設定すればよい。
【００６１】
表示制御部１６０は、後方カメラ１１で警告対象物が撮影された場合には、後方カメラ１１の位置を基準位置とした警告対象物の方向を表示させる。表示制御部１６０は、右側後方カメラ１３で警告対象物が検出された場合には、右側後方カメラ１３の位置を基準位置とした警告対象物の方向を表示させる。
【００６２】
再び図１を参照する。記憶部１７０は、車両用表示制御装置１００が車両用表示制御装置１００の各部を制御するためのプログラムを記憶している。記憶部１７０は、例えば、検出部１４０が警告対象物を検出するための辞書データを記憶している。記憶部１７０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、または、ハードディスク、ソリッドステートドライブ、光ディスクなどの記憶装置である。
【００６３】
図７を用いて、車両用表示制御装置１００の動作について説明する。図７は、車両用表示制御装置１００の動作の流れを示すフローチャートである。
【００６４】
まず、車両用表示制御装置１００は、第一カメラユニット１０から第一映像を取得し、第二カメラユニット２０から第二映像を取得する(ステップＳ１０１)。そして、車両用表示制御装置１００は、ステップＳ１０２に進む。
【００６５】
車両用表示制御装置１００は、第二映像に基づいて俯瞰映像を生成する(ステップＳ１０２)。そして、車両用表示制御装置１００は、ステップＳ１０３に進む。
【００６６】
車両用表示制御装置１００は、第一映像の少なくとも一部を切出す(ステップＳ１０３)。そして、車両用表示制御装置１００は、ステップＳ１０４に進む。
【００６７】
車両用表示制御装置１００は、第一映像に基づいて、警告対象物を検出する(ステップＳ１０４)。そして、車両用表示制御装置１００は、ステップＳ１０５に進む。
【００６８】
警告対象物が検出された場合(ステップＳ１０５の「Ｙｅｓ」)、車両用表示制御装置１００は、ステップＳ１０６に進み、俯瞰映像における自車両から警告対象物までの方向を算出する(ステップＳ１０６)。そして、車両用表示制御装置１００は、ステップＳ１０７に進む。一方、警告対象物が検出されなかった場合(ステップＳ１０５の「Ｎｏ」)、車両用表示制御装置１００は、図７の処理を終了する。
【００６９】
車両用表示制御装置１００は、ステップＳ１０３で切出した第一映像は、常時、第一モニタ３０に表示させている。また、車両用表示制御装置１００は、警告対象物の方向を第二モニタ５０に表示させる(ステップＳ１０７)。そして、車両用表示制御装置１００は、図７の処理を終了する。
【００７０】
上述のとおり、本実施形態は、自車両の後方の警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
【００７１】
[第二実施形態]
次に、図８を参照して、本発明の第二実施形態に係る車両用表示制御装置１００の動作について説明する。図８は、本発明の第二実施形態に係る車両用表示制御装置１００の第二モニタ５０が表示する画像の一例を示す図である。本発明の第二実施形態に係る車両用表示制御装置１００の構成は、本発明の第一実施形態に係る車両用表示制御装置１００と同じである。
【００７２】
図８に示す俯瞰映像３００には、警告対象物として、第一人物Ｕ１と、第二人物Ｕ２と、第三人物Ｕ３と、第四人物Ｕ４とが含まれている。すなわち、第二実施形態に係る車両用表示制御装置１００の検出部１４０は、複数の警告対象物を検出する。この場合、方向算出部１５０は、第一人物Ｕ１の方向Ｖ１を算出する。方向算出部１５０は、第二人物Ｕ２の方向Ｖ２を算出する。方向算出部１５０は、第三人物Ｕ３の方向Ｖ３を算出する。方向算出部１５０は、第四人物Ｕ４の方向Ｖ４を算出する。
【００７３】
表示制御部１６０は、第一人物Ｕ１の方向Ｖ１と、第二人物Ｕ２の方向Ｖ２と、第三人物Ｕ３の方向Ｖ３と、第四人物Ｕ４の方向Ｖ４を俯瞰映像３００に表示させることで、運転者に警告対象物が検出されてことを報知する。表示制御部１６０は、第一人物Ｕ１の方向Ｖ１と、第二人物Ｕ２の方向Ｖ２と、第三人物Ｕ３の方向Ｖ３と、第四人物Ｕ４の方向Ｖ４とをそれぞれ変化させて表示させてもよい。表示制御部１６０は、例えば、距離や移動方向などの危険度に応じて方向を太くして表示させてもよいし、色を変化させて表示させてもよい。表示制御部１６０は、複数の警告対象物のうち、所定の危険度を超えたものがある場合には、その警告対象物の方向のみを表示するようにしてもよい。
【００７４】
図９を用いて、第二実施形態に係る車両用表示制御装置１００の動作について説明する。図９は、第二実施形態に係る車両用表示制御装置１００の動作の流れの一例を示すフローチャートである。
【００７５】
ステップＳ２０１からステップＳ２０４は、ステップＳ１０１からステップＳ１０４と同じなので、説明は省略する。
【００７６】
警告対象物が検出された場合(ステップＳ２０５の「Ｙｅｓ」)、車両用表示制御装置１００は、ステップＳ２０６に進み、警告対象物が複数検出されたか否かを判定する(ステップＳ２０６)。一方、警告対象物が検出されない場合(ステップＳ２０５の「Ｎｏ」)、車両用表示制御装置１００は、図９の処理を終了する。
【００７７】
警告対象物が複数検出された場合(ステップＳ２０６の「Ｙｅｓ」)、車両用表示制御装置１００は、ステップＳ２０７に進み、俯瞰映像における自車両から各警告対象物の方向を算出する(ステップＳ２０７)。そして、車両用表示制御装置１００は、ステップＳ２０８に進む。
【００７８】
車両用表示制御装置１００は、ステップＳ２０３で切出した第一映像を第一モニタ３０に表示させ、各警告対象物の方向を第二モニタ５０に表示させる(ステップＳ２０８)。そして、車両用表示制御装置１００は、ステップＳ２０９に進む。
【００７９】
車両用表示制御装置１００は、自車両からの距離に応じて表示させた各警告対象物の表示を変化させる(ステップＳ２０９)。そして、車両用表示制御装置１００は、図９の処理を終了する。なお、ステップＳ２０９の処理は省略してもよい。
【００８０】
一方、ステップＳ２０６において、警告対象物が複数検出されなかった場合(ステップＳ２０６の「Ｎｏ」)、車両用表示制御装置１００は、ステップＳ２１０に進み、俯瞰映像における自車両から警告対象物までの方向を算出する(ステップＳ２１０)。そして、車両用表示制御装置１００は、ステップＳ２１１に進む。
【００８１】
車両用表示制御装置１００は、ステップＳ２０３で切出した第一映像を第一モニタ３０に表示させ、警告対象物の方向を第二モニタ５０に表示させる(ステップＳ２１１)。そして、車両用表示制御装置１００は、図９の処理を終了する。
【００８２】
上述のとおり、本実施形態は、第一モニタ３０に表示されていない複数の警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の各警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
【００８３】
また、本実施形態は、各警告対象物の危険度に応じて方向の表示を変化させることができる。これにより、運転者は、各警告対象物の危険度を把握することができるので、より安全に運転することができるようになる。
【００８４】
[第三実施形態]
次に、図１０を参照して、本発明の第三実施形態に係る車両用表示制御装置１００の動作について説明する。図１０は、本発明の第三実施形態に係る車両用表示制御装置１００の第二モニタ５０が表示する画像の一例を示す図である。本発明の第三実施形態に係る車両用表示制御装置１００の構成は、本発明の第一実施形態に係る車両用表示制御装置１００と同じである。
【００８５】
図１０に示す俯瞰映像３００には、左サイドモニタ３２が表示する左側後方映像の範囲である範囲Ａ１が示されている。すなわち、本実施形態では、表示制御部１６０は、方向算出部１５０が算出した人物Ｕの方向と、左サイドモニタ３２の表示範囲と対応付けて表示させる。
【００８６】
本実施形態では、検出部１４０は、第一映像取得部１１１が取得した第一映像のうち、左サイドモニタ３２が表示する後方映像の範囲外に対して物体認識処理を行い、警告対象物を検出してもよい。検出部１４０は、警告対象物の少なくとも一部が、左サイドモニタ３２が表示する後方映像の範囲外にある場合にも警告対象物として検出してもよい。
【００８７】
図１１を用いて、第三実施形態に係る車両用表示制御装置１００の動作について説明する。図１１は、第三実施形態に係る車両用表示制御装置１００の動作の流れの一例を示すフローチャートである。
【００８８】
ステップＳ３０１からステップＳ３０６は、ステップＳ１０１からステップＳ１０６と同じなので説明は省略する。
【００８９】
車両用表示制御装置１００は、検出された警告対象物の方向がステップＳ３０３で切出した映像に含まれているか判定する(ステップＳ３０７)。そして、車両用表示制御装置１００は、ステップＳ３０８に進む。
【００９０】
警告対象物が切出した映像に含まれている場合(ステップＳ３０８の「Ｙｅｓ」)、車両用表示制御装置１００は、図１１の処理を終了する。
【００９１】
一方、警告対象物が切出した映像に含まれていない場合(ステップＳ３０８の「Ｎｏ」)、車両用表示制御装置１００は、ステップＳ３０３で切出した第一映像を第一モニタ３０に表示させ、警告対象物の方向を第二モニタ５０に第一モニタ３０と対応付けて表示させる(ステップＳ３０９)。そして、車両用表示制御装置１００は、図１１の処理を終了する。
【００９２】
上述のとおり、本実施形態は、第一モニタ３０に表示されていない警告対象物を検出し、検出された警告対象物の方向を示す俯瞰映像を生成する。これにより、運転者は、後退して車庫入れする際などに、自車両と、自車両周辺の警告対象物との位置関係を容易に把握することができるので、安全に運転することができるようになる。
【符号の説明】
【００９３】
１  車両用表示システム
１０  第一カメラユニット
１１  後方カメラ
１２  左側後方カメラ
１３  右側後方カメラ
２０  第二カメラユニット
２１  前俯瞰映像用カメラ
２２  後俯瞰映像用カメラ
２３  左俯瞰映像用カメラ
２４  右俯瞰映像用カメラ
３０  第一モニタ
３１  リヤビューモニタ
３２  左サイドモニタ
３３  右サイドモニタ
５０  第二モニタ
６０  左カメラ支持部
７０  右カメラ支持部
１００  車両用表示制御装置
１１０  映像取得部
１１１  第一映像取得部
１１２  第二映像取得部
１２０  俯瞰映像生成部
１２１  視点変換処理部
１２２  俯瞰切出処理部
１２３  合成処理部
１３０  切出処理部
１４０  検出部
１５０  方向算出部
１６０  表示制御部
１７０  記憶部
３００  俯瞰映像
４００  前方映像
５００  後方映像
６００  左側映像
７００  右側映像
【図１】
2019185119.tif 000003
【図２】
2019185119.tif 000004
【図３】
2019185119.tif 000005
【図４】
2019185119.tif 000006
【図５】
2019185119.tif 000007
【図６】
2019185119.tif 000008
【図７】
2019185119.tif 000009
【図８】
2019185119.tif 000010
【図９】
2019185119.tif 000011
【図１０】
2019185119.tif 000012
【図１１】
2019185119.tif 000013