(57)【要約】【課題】出庫時に運転者の変化に応じて適切に俯瞰映像を表示させる。【解決手段】車両の周囲を撮影する複数のカメラからの映像データを取得する映像データ取得部４１と、映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部４４と、車両が後退して入庫したときにおける車両の運転者の第一運転者情報、および、車両が入庫状態から前進して出庫するときにおける運転者の第二運転者情報を取得する運転者情報取得部４３と、第一運転者情報と第二運転者情報とを比較して、車両の入庫時と出庫時の運転者を比較する比較部４５と、比較部４５が、車両が出庫するときの第二運転者情報が第一運転者情報と異なると判定した場合、出庫するときに俯瞰映像を表示パネル３１に表示させる表示制御部４８とを備える。【選択図】図１
2019029858.tif 000002
【特許請求の範囲】
【請求項１】
車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、
前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得部と、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較部と、
前記比較部が、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、
を備えることを特徴とする表示制御装置。
【請求項２】
前記運転者情報取得部は、前記車両の運転席に配置され、運転者を人物認識可能な情報を検出する運転席用検出部によって、入庫時の運転者を認識した情報を前記第一運転者情報として、出庫時の運転者を認識した情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者を認識した情報と出庫時の運転者を認識した情報とを比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像を表示部に表示させる、
請求項１に記載の表示制御装置。
【請求項３】
前記運転者情報取得部は、入庫時の運転者の顔位置の情報を前記第一運転者情報として、出庫時の運転者の顔位置の情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者の顔位置と出庫時の運転者の顔位置とを比較して、入庫時の運転者の顔位置と出庫時の運転者の顔位置とが上下方向に所定以上の位置の差があるか否かを判定し、
前記表示制御部は、前記比較部が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像を表示部に表示させる、
請求項１または２に記載の表示制御装置。
【請求項４】
前記運転者情報取得部は、前記車両の運転席の着座位置に向けて配置された前記運転席用検出部としての運転席用撮影部によって、入庫時の運転者を撮影した映像を前記第一運転者情報として、出庫時の運転者を撮影した映像を前記第二運転者情報として取得し、
前記比較部は、入庫時の運転者を撮影した映像と出庫時の運転者を撮影した映像とを比較することによって判定する、
請求項２または３に記載の表示制御装置。
【請求項５】
前記運転者情報取得部は、前記車両の運転席に着座された際に作用する重量情報と前記運転席の位置情報との少なくともどちらかを含む運転席情報を検出する運転席用検出部によって検出した、入庫時の前記運転席情報を前記第一運転者情報として、出庫時の前記運転席情報を前記第二運転者情報として取得し、
前記比較部は、入庫時の前記運転席情報と出庫時の前記運転席情報とを比較することによって判定する、
請求項２に記載の表示制御装置。
【請求項６】
請求項１から５のいずれか一項に記載の表示制御装置と、
前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともいずれかと、
を備えることを特徴とする表示制御システム。
【請求項７】
車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を含むことを特徴とする表示制御方法。
【請求項８】
車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、
前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、
前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、
前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、
前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップと、
を表示制御装置として動作するコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置、表示制御システム、表示制御方法およびプログラムに関する。
【背景技術】
【０００２】
車両の俯瞰画像を車両画像と共に表示する車両周辺表示装置に関する技術が知られている（例えば、特許文献１参照）。この技術は、車両が前進から後退に切り替わったとき、車両画像よりも後方について俯瞰画像の表示領域を広げる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０７６６４５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載のように、車両の俯瞰映像は、駐車区画への入庫時の駐車支援を主な目的とするため、駐車区画への後退入庫時に表示される。これにより、後退入庫時、運転者は、目視またはミラーにおける死角範囲を含む周辺状況を俯瞰映像によって確認する。
【０００５】
駐車区画からの前進出庫時は俯瞰映像が表示されないため、運転者は、目視またはミラーによって周辺状況を確認する。駐車区画からの前進出庫時は、後退入庫時に比べ操作が容易である。しかしながら、運転者が変わったことにより出庫時の運転者の運転技能や車両の慣れによっては、目視またはミラーによる確認に加えて、俯瞰映像によって周辺状況を確認することが望ましいこともある。また、駐車区画からの前進出庫時に、いつでも俯瞰映像を表示すると、入庫時と同一の運転者による出庫時、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまう。
【０００６】
本発明は、上記に鑑みてなされたものであって、出庫時に運転者の変化に応じて適切に俯瞰映像を表示させることを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得部と、前記映像データ取得部が取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成部と、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得部と、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較部と、前記比較部が、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成部が生成する俯瞰映像を表示部に表示させる表示制御部と、を備えることを特徴とする。
【０００８】
本発明に係る表示制御システムは、上記の表示制御装置と、前記映像データ取得部が映像データを取得する複数の撮影部、前記表示制御部が俯瞰映像を表示させる表示部の少なくともどちらかとを備える。
【０００９】
本発明に係る表示制御方法は、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを含む。
【００１０】
本発明に係るプログラムは、車両の周囲を撮影する複数の撮影部からの映像データを取得する映像データ取得ステップと、前記映像データ取得ステップで取得した映像データに視点変換処理および合成処理を行い俯瞰映像を生成する俯瞰映像生成ステップと、前記車両が後退して入庫したときにおける前記車両の運転者の第一運転者情報、および、前記車両が入庫状態から前進して出庫するときにおける前記運転者の第二運転者情報を取得する運転者情報取得ステップと、前記第一運転者情報と前記第二運転者情報とを比較して、前記車両の入庫時と出庫時の前記運転者を比較する比較ステップと、前記比較ステップで、前記車両が出庫するときの前記第二運転者情報が前記第一運転者情報と異なると判定した場合、出庫するときに前記俯瞰映像生成ステップで生成する俯瞰映像を表示部に表示させる表示制御ステップとを表示制御装置として動作するコンピュータに実行させる。
【発明の効果】
【００１１】
本発明によれば、出庫時に運転者の変化に応じて適切に俯瞰映像を表示させることができるという効果を奏する。
【図面の簡単な説明】
【００１２】
【図１】図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。
【図２】図２は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。
【図３】図３は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。
【図４】図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。
【図５】図５は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照して、本発明に係る表示制御装置４０、表示制御システム１、表示制御方法及びプログラムの実施形態を詳細に説明する。なお、以下の実施形態により本発明が限定されるものではない。
【００１４】
［第一実施形態］
図１は、第一実施形態に係る表示制御システムの構成例を示すブロック図である。表示制御システム１は、例えば、出庫時の運転者が入庫時の運転者と異なる場合などに適切に俯瞰映像を表示させる。表示制御システム１は、車両Ｖ１に搭載されている。表示制御システム１は、車両Ｖ１に載置されているものに加えて、可搬型で車両Ｖ１において利用可能な装置であってもよい。
【００１５】
図１を用いて、表示制御システム１について説明する。表示制御システム１は、前方カメラ（撮影部）１１と、後方カメラ（撮影部）１２と、左側方カメラ（撮影部）１３と、右側方カメラ（撮影部）１４と、運転席用カメラ（運転席用検出部）２１と、表示パネル（表示部）３１と、表示制御装置４０とを有する。
【００１６】
前方カメラ１１は、俯瞰映像用カメラである。前方カメラ１１は、車両Ｖ１の前方に配置され、車両Ｖ１の前方を中心とした周辺を撮影する。前方カメラ１１は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の前方に広い範囲を含む。前方カメラ１１は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。
【００１７】
後方カメラ１２は、俯瞰映像用カメラである。後方カメラ１２は、車両Ｖ１の後方に配置され、車両Ｖ１の後方を中心とした周辺を撮影する。後方カメラ１２は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の後方に広い範囲を含む。後方カメラ１２は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。
【００１８】
左側方カメラ１３は、俯瞰映像用カメラである。左側方カメラ１３は、車両Ｖ１の左側方に配置され、車両Ｖ１の左側方を中心とした周辺を撮影する。左側方カメラ１３は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の左側方に広い範囲を含む。左側方カメラ１３は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。
【００１９】
右側方カメラ１４は、俯瞰映像用カメラである。右側方カメラ１４は、車両Ｖ１の右側方に配置され、車両Ｖ１の右側方を中心とした周辺を撮影する。右側方カメラ１４は、例えば、１８０°程度の撮影範囲を撮影する。撮影範囲は、俯瞰映像１００の表示範囲より車両Ｖ１の右側方に広い範囲を含む。右側方カメラ１４は、撮影した映像を表示制御装置４０の映像データ取得部４１へ出力する。
【００２０】
前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで、車両Ｖ１の全方位を撮影する。
【００２１】
運転席用カメラ２１は、車両Ｖ１の運転席の着座位置に向けて配置されている。運転席用カメラ２１は、運転席に着座した運転者を人物認識可能に撮影する。言い換えると、運転席用カメラ２１によって撮影した映像は、運転者を人物認識可能な情報を含む。運転席用カメラ２１は、撮影した映像を表示制御装置４０の運転者情報取得部４３へ出力する。
【００２２】
表示パネル３１は、一例としてはナビゲーションシステムを含む他のシステムと共用した表示装置などである。表示パネル３１は、必要なタイミングで、車両Ｖ１の周囲を確認するためのモニタである。表示パネル３１は、車両Ｖ１の周囲を確認することができれば、様々な形態をとりうることができる。表示パネルの一例としては、電子ルームミラーを用いたり、インストルメントパネルの機能とすることも可能である。表示パネル３１は、例えば、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）または有機ＥＬ（Ｏｒｇａｎｉｃ  Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどを含むディスプレイである。表示パネル３１は、運転者から視認容易な位置に配置されている。本実施形態では、表示パネル３１は、車両Ｖ１の運転者前方の、ダッシュボード、インストルメントパネル、センターコンソールなどに配置されている。表示パネル３１は、表示制御装置４０の表示制御部４８から出力された映像信号に基づき、車両Ｖ１の俯瞰映像１００を表示する。
【００２３】
表示制御装置４０は、駐車を支援するための情報を提供する。より詳しくは、表示制御装置４０は、入庫時および出庫時に、俯瞰映像１００を生成し表示する。
【００２４】
表示制御装置４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）や映像処理用プロセッサなどで構成された演算処理装置（制御部）である。表示制御装置４０は、記憶部４９に記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。表示制御装置４０は、映像データ取得部４１と、自車両情報取得部４２と、運転者情報取得部４３と、俯瞰映像生成部４４と、比較部４５と、表示制御部４８と、内部メモリである記憶部４９とが含まれる。表示制御装置４０は、一または複数の装置で構成されていてもよい。
【００２５】
映像データ取得部４１は、車両Ｖ１の周辺を撮影した映像データを取得する。より詳しくは、映像データ取得部４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とが出力した映像データを取得する。映像データ取得部４１は、取得した映像データを俯瞰映像生成部４４に出力する。
【００２６】
自車両情報取得部４２は、車両Ｖ１のギア操作情報など、駐車支援表示トリガである駐車開始トリガまたは駐車終了トリガとなる車両情報を、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）や車両Ｖ１の状態をセンシングする各種センサなどから取得する。自車両情報取得部４２は、車両情報として、ＣＡＮや各種センサなどから取得した駐車時に行われたステアリング操作の操作情報を取得する。自車両情報取得部４２は、取得した車両情報を運転者情報取得部４３および表示制御部４８に出力する。
【００２７】
運転者情報取得部４３は、運転席用カメラ２１によって、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の運転者を認識した第一運転者情報、および、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の運転者を認識した第二運転者情報を取得する。より詳しくは、運転者情報取得部４３は、車両Ｖ１が後退して入庫したとき、運転席用カメラ２１で撮影した映像データを第一運転者情報として取得する。運転者情報取得部４３は、入庫時の第一運転者情報を記憶部４９で記憶させる。また、運転者情報取得部４３は、車両Ｖ１が入庫状態から前進して出庫するとき、運転席用カメラ２１で撮影した映像データを第二運転者情報として取得する。車両Ｖ１が後退して入庫した判断、および車両Ｖ１が前進して出庫する判断は、自車両情報取得部４２から取得した車両Ｖ１のギア操作情報やエンジンのオン／オフ情報などによって判断する。運転者情報取得部４３は、出庫時の第二運転者情報を記憶部４９で記憶させる。
【００２８】
第一運転者情報は、車両Ｖ１が後退して入庫したときにおける車両Ｖ１の運転者の顔を撮影した映像データである。
【００２９】
第二運転者情報は、車両Ｖ１が入庫状態から前進して出庫するときにおける車両Ｖ１の運転者の顔を撮影した映像データである。
【００３０】
車両Ｖ１が後退して入庫したことは、例えば、シフトポジションが「リバース」とされて、車両Ｖ１が後方に走行した後に、シフトポジションが「パーキング」または「ニュートラル」とされたこと、または、５秒以上の時間、速度がゼロとなったこと、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などで検出する。または、車両Ｖ１が後退して入庫したことは、ユーザ操作など任意のトリガで検出してもよい。
【００３１】
車両Ｖ１が入庫状態から前進して出庫することは、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などの入庫状態から、エンジン始動されたこと、シフトポジションが「ドライブ」にされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。または、車両Ｖ１が入庫状態から前進して出庫することは、ユーザ操作など任意のトリガで検出してもよい。
【００３２】
俯瞰映像生成部４４は、映像データ取得部４１で取得した周辺映像データに視点変換処理および合成処理を行い、俯瞰映像１００を生成する。俯瞰映像生成部４４は、入庫時、俯瞰映像１００を生成する。俯瞰映像生成部４４は、車両Ｖ１が出庫するときの第二運転者情報が第一運転者情報と異なると判定した場合、俯瞰映像１００を生成する。本実施形態では、俯瞰映像生成部４４は、比較部４５が、車両Ｖ１が出庫する際に運転者が入庫時の運転者と異なると判定した場合、俯瞰映像１００を生成する。俯瞰映像生成部４４は、生成した俯瞰映像１００を表示制御部４８に出力する。俯瞰映像生成部４４は、視点変換処理部４４１と、切出処理部４４２と、合成処理部４４３とを有する。
【００３３】
視点変換処理部４４１は、映像データ取得部４１で取得した周辺映像データに対して、車両Ｖ１を上方から見下ろすように視点変換処理を行う。より詳しくは、視点変換処理部４４１は、前方カメラ１１と後方カメラ１２と左側方カメラ１３と右側方カメラ１４とで撮影した周辺映像データに基づいて、視点変換処理を行った映像を生成する。視点変換処理の方法は、公知のいずれの方法でもよく、限定されない。視点変換処理部４４１は、視点変換処理を行った周辺映像データを切出処理部４４２に出力する。
【００３４】
切出処理部４４２は、視点変換処理を行った周辺映像データから所定の範囲の映像を切出す切出処理を行う。どの範囲を切出範囲とするかは、あらかじめ登録され記憶されている。切出処理部４４２は、切出処理を行った映像の映像データを合成処理部４４３に出力する。
【００３５】
合成処理部４４３は、切出処理を行った映像データを合成する合成処理を行う。合成処理部４４３は、合成した映像に車両アイコン１１０を表示した俯瞰映像１００を生成する。
【００３６】
図２を用いて、俯瞰映像１００について説明する。図２は、第一実施形態に係る表示制御システムの表示制御装置で生成した俯瞰映像の一例を示す図である。俯瞰映像１００は、車両Ｖ１から２ｍ程度の範囲を表示する。俯瞰映像１００は、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４と、前方映像１０１と後方映像１０２と左側方映像１０３と右側方映像１０４とで囲まれた中央部に位置する車両アイコン１１０とを含む。車両アイコン１１０は、車両Ｖ１の位置と向きとを示す。車両アイコン１１０は、前後方向を俯瞰映像１００の前後方向と平行にして、中央部に配置されている。
【００３７】
図１に戻って、比較部４５は、第一運転者情報および第二運転者情報を比較して、車両Ｖ１の入庫時と出庫時の運転者を比較する。本実施形態では、比較部４５は、入庫時の運転者を撮影した映像と出庫時の運転者を撮影した映像とを画像処理を行い比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定する。
【００３８】
表示制御部４８は、入庫時、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。表示制御部４８は、比較部４５が、車両Ｖ１が出庫するときの第二運転者情報が第一運転者情報と異なると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。本実施形態では、表示制御部４８は、比較部４５が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。
【００３９】
記憶部４９は、表示制御装置４０におけるデータの一時記憶などに用いられる。記憶部４９は、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ  Ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ハードディスク、光ディスクなどの記憶装置である。または、図示しない通信装置を介して無線接続される外部記憶装置であってもよい。
【００４０】
次に、図３、図４を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。図３は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。図４は、第一実施形態に係る表示制御システムの表示制御装置における処理の流れの他の例を示すフローチャートである。
【００４１】
表示制御システム１が起動されると、表示制御装置４０は、映像データ取得部４１で映像データを取得する。表示制御装置４０は、自車両情報取得部４２で車両情報を取得する。
【００４２】
まず、入庫時の処理の流れについて説明する。
【００４３】
表示制御装置４０は、運転者情報取得部４３で第一運転者情報を取得し、記憶部４９に記憶させる（ステップＳ１１）。そして、表示制御装置４０は、ステップＳ１２に進む。
【００４４】
表示制御装置４０は、後退を開始したか否かを判定する（ステップＳ１２）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、後退トリガの有無を判定する。後退トリガは、例えば、シフトポジションが「リバース」とされたこと、または、車両Ｖ１の進行方向が後方になったことで検出する。表示制御装置４０は、後退を開始していないと判定した場合（ステップＳ１２でＮｏ）、ステップＳ１２の処理を再度実行する。表示制御装置４０は、後退を開始したと判定した場合（ステップＳ１２でＹｅｓ）、ステップＳ１３に進む。
【００４５】
ステップＳ１２で後退を開始したと判定された場合（ステップＳ１２でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ１３）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ１４に進む。
【００４６】
表示制御装置４０は、入庫が完了したか否かを判定する（ステップＳ１４）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、シフトポジションが「パーキング」または「ニュートラル」であること、または、５秒以上の時間、速度がゼロであること、または、エンジン停止、または、サイドブレーキやフットブレーキの操作などを検出した場合、入庫が完了したと判定する。表示制御装置４０は、入庫が完了したと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ１４でＹｅｓ）、ステップＳ１５に進む。表示制御装置４０は、入庫が完了していないと判定した場合、映像表示を終了しないと判定し（ステップＳ１４でＮｏ）、ステップＳ１４の処理を再度実行する。
【００４７】
表示制御装置４０は、入庫が完了したと判定された場合（ステップＳ１４でＹｅｓ）、俯瞰映像表示を終了する（ステップＳ１５）。表示制御装置４０は、処理を終了する。
【００４８】
次に、出庫時の処理の流れについて説明する。
【００４９】
表示制御装置４０は、運転者情報取得部４３で第二運転者情報を取得し、記憶部４９に記憶させる（ステップＳ２１）。そして、表示制御装置４０は、ステップＳ２２に進む。
【００５０】
表示制御装置４０は、前進トリガの有無を判定する（ステップＳ２２）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガの有無を判定する。前進トリガは、例えば、エンジンが始動されたこと、シフトポジションが前進可能な「ドライブ」などにされたこと、サイドブレーキやフットブレーキが解除されたことなどで検出する。表示制御装置４０は、前進トリガがないと判定した場合（ステップＳ２２でＮｏ）、ステップＳ２２の処理を再度実行する。表示制御装置４０は、前進トリガがあると判定した場合（ステップＳ２２でＹｅｓ）、ステップＳ２３に進む。
【００５１】
ステップＳ２２で前進トリガがあると判定された場合（ステップＳ２２でＹｅｓ）、表示制御装置４０は、入庫からの前進であるか否かを判定する（ステップＳ２３）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、前進トリガを検出する直前の状態が、例えば、シフトポジションが「パーキング」または「ニュートラル」であった、または、５秒以上の時間、速度がゼロであった、または、エンジンが停止していた、または、サイドブレーキやフットブレーキが操作されていたと判定された場合、入庫からの前進であると判定する。または、表示制御装置４０は、記憶部４９に、第一運転者情報が記憶されている場合、入庫からの前進であると判定してもよい。表示制御装置４０は、入庫からの前進ではないと判定した場合（ステップＳ２３でＮｏ）、ステップＳ２２の処理を再度実行する。表示制御装置４０は、入庫からの前進であると判定した場合（ステップＳ２３でＹｅｓ）、ステップＳ２４に進む。
【００５２】
表示制御装置４０は、比較部４５で第一運転者情報と第二運転者情報とを比較させる（ステップＳ２４）。表示制御装置４０は、比較部４５で比較することによって、入庫時と出庫時との車両Ｖ１の運転者が同一であるか否かを判定する。表示制御装置４０は、ステップＳ２５に進む。
【００５３】
表示制御装置４０は、運転者が異なるか否かを判定する（ステップＳ２５）。表示制御装置４０は、比較部４５による比較の結果、運転者が同一であると判定した場合（ステップＳ２５でＮｏ）、処理を終了する。この場合、俯瞰映像１００は表示されない。表示制御装置４０は、比較部４５による比較の結果、運転者が異なると判定した場合（ステップＳ２５でＹｅｓ）、ステップＳ２６に進む。
【００５４】
表示制御装置４０は、前進を開始したか否かを判定する（ステップＳ２６）。表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、速度がゼロ以上であること、または、車両Ｖ１が前方に走行したことが検出された場合、前進を開始したと判定する。表示制御装置４０は、車両Ｖ１が前進していないと判定した場合（ステップＳ２６でＮｏ）、ステップＳ２６の処理を再度実行する。表示制御装置４０は、車両Ｖ１が前進したと判定した場合（ステップＳ２６でＹｅｓ）、ステップＳ２７に進む。
【００５５】
ステップＳ２６で前進を開始したと判定された場合（ステップＳ２６でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を開始する（ステップＳ２７）。より詳しくは、表示制御装置４０は、俯瞰映像生成部４４で俯瞰映像１００を生成し、表示制御部４８で俯瞰映像１００を表示パネル３１に表示させる。表示制御装置４０は、ステップＳ２８に進む。
【００５６】
俯瞰映像１００を表示パネル３１に表示させるタイミングについては、一例としてステップＳ２６を例示したが、車両Ｖ１がエンジン始動したとき、シフトポジションが「ドライブ」にされたとき、車両Ｖ１が前進を開始したときなど、出庫する際に周辺状況を確認するために適切なタイミングであれば任意である。
【００５７】
表示制御装置４０は、俯瞰映像表示の終了条件を満たすか否かを判定する（ステップＳ２８）。より詳しくは、表示制御装置４０は、自車両情報取得部４２で取得した自車両情報に基づいて、例えば、前進を開始した位置から所定距離以上走行したことや、車速が所定速度以上になったことを検出した場合、俯瞰映像表示の終了条件を満たすと判定する。表示制御装置４０は、俯瞰映像表示の終了条件を満たすと判定した場合、俯瞰映像表示を終了すると判定し（ステップＳ２８でＹｅｓ）、ステップＳ２９に進む。表示制御装置４０は、俯瞰映像表示の終了条件を満たしていないと判定した場合、映像表示を終了しないと判定し（ステップＳ２８でＮｏ）、ステップＳ２８の処理を再度実行する。
【００５８】
ステップＳ２８で俯瞰映像表示の終了条件を満たすと判定された場合（ステップＳ２８でＹｅｓ）、表示制御装置４０は、俯瞰映像表示を終了する（ステップＳ２９）。表示制御装置４０は、記憶部４９に記憶した第一運転者情報を削除する。そして、表示制御装置４０は、処理を終了する。
【００５９】
上述したように、本実施形態は、比較部４５が、入庫時の運転者と出庫時の運転者とが異なると判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に運転者の変化に応じて適切に俯瞰映像１００を表示させることができる。これにより、入庫時の運転者と出庫時の運転者とが異なった場合、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。
【００６０】
本実施形態によれば、出庫時に運転者の変化に応じて、俯瞰映像１００の表示が必要なときに限って俯瞰映像１００を表示する。このように、本実施形態は、入庫時と同一の運転者による出庫時、俯瞰映像を表示させる必要性が無い状況で俯瞰映像が表示されたり、ナビゲーションによる経路を確認したいときなどに俯瞰映像が表示されてしまうことを抑制することができる。
【００６１】
［第二実施形態］
図５を参照しながら、本実施形態に係る表示制御システム１について説明する。図５は、第二実施形態に係る表示制御システムの表示制御装置における処理の流れの一例を示すフローチャートである。表示制御システム１は、基本的な構成は第一実施形態の表示制御システム１と同様である。表示制御システム１は、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあるときに俯瞰映像１００を表示する点で第一実施形態と異なる。
【００６２】
運転席用カメラ２１は、車両Ｖ１に対する相対的な運転者の顔位置を認識可能に撮影する。例えば、運転席用カメラ２１は、車両Ｖ１において位置が固定された部分と運転者の顔とを被撮影物として撮影する。または、運転席用カメラ２１は、運転者の顔位置の変化を認識可能に撮影する。例えば、運転席用カメラ２１は、入庫時と出庫時とで、同じ撮影範囲で撮影する。このような運転席用カメラ２１で撮影された映像に画像処理を行うことによって、運転者の顔位置が取得される。ここで言う運転者の顔位置とは、運転者の目の位置と置き換えてもよい。
【００６３】
運転者情報取得部４３は、運転者の顔位置の情報を取得する。運転者情報取得部４３は、入庫時の運転者の顔位置の情報を第一運転者情報として、出庫時の運転者の顔位置の情報を第二運転者情報として取得する。
【００６４】
俯瞰映像生成部４４は、比較部４５が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像１００を生成する。
【００６５】
比較部４５は、画像処理を行い、入庫時の運転者の顔位置と出庫時の運転者の顔位置とを比較して、入庫時の運転者の顔位置と出庫時の運転者の顔位置とが上下方向に所定以上の位置の差があるか否かを判定する。例えば、所定以上の位置の差とは、５ｃｍとする。
【００６６】
表示制御部４８は、比較部４５が、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方にあると判定した場合、俯瞰映像１００を表示パネル３１に表示させる。
【００６７】
次に、図５を用いて、表示制御システム１の表示制御装置４０における処理の流れについて説明する。ステップＳ３１ないしステップＳ３４、ステップＳ３６ないしステップＳ３９の処理は、図４に示すフローチャートのステップＳ２１ないしステップＳ２４、ステップＳ２６ないしステップＳ２９と同様の処理を行う。
【００６８】
表示制御装置４０は、出庫時の運転者の顔位置は入庫時の運転者の顔位置より低いか否かを判定する（ステップＳ３５）。表示制御装置４０は、第一運転者情報と第二運転者情報とを比較して、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方ではないと判定される場合（ステップＳ３５でＮｏ）、処理を終了する。表示制御装置４０は、第一運転者情報と第二運転者情報とを比較して、入庫時の運転者の顔位置より出庫時の運転者の顔位置が所定以上、下方であると判定される場合（ステップＳ３５でＹｅｓ）、ステップＳ３６に進む。
【００６９】
上述したように、本実施形態は、比較部４５が、出庫時の運転者の顔位置が入庫時の運転者の顔位置より低いと判定した場合、俯瞰映像生成部４４が生成する俯瞰映像１００を表示パネル３１に表示させる。このように、本実施形態は、出庫時に運転者の顔位置の変化に応じて適切に俯瞰映像１００を表示させることができる。これにより、出庫時に運転者の顔位置が入庫時より低くなって、運転席から視認可能な範囲が変化したとしても、運転者が、目視またはミラーによる確認に加えて、俯瞰映像１００によって車両Ｖ１の周辺を適切に確認することができる。
【００７０】
図示した表示制御システム１の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置の処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
【００７１】
表示制御システム１の構成は、例えば、ソフトウェアとして、メモリにロードされたプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
【００７２】
上記に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものを含む。さらに、上記に記載した構成は適宜組み合わせが可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
【００７３】
運転者情報取得部４３は、運転席用カメラ２１によって撮影された映像データから第一運転者情報および第二運転者情報を取得するものとして説明したが、これに限定されない。
【００７４】
例えば、第一実施形態では、運転者が所持し、個々を識別する識別情報を有するスマートキーや情報端末などの電子機器から取得した識別情報によって運転者が異なるか否かを判定してもよい。より詳しくは、例えば、運転者が車内に持ち込んだ電子機器を運転席用検出部とする。運転者情報取得部４３は、電子機器から識別情報を取得して、入庫時の識別情報を第一運転者情報として、出庫時の識別情報を第二運転者情報として取得してもよい。
【００７５】
または、例えば、第一実施形態では、運転席の重量情報とプリセット位置を示す位置情報との少なくともいずれかを含む運転席情報によって運転者が異なるか否かを判定してもよい。より詳しくは、例えば、運転席に着座された際に作用する重量情報を含む運転席情報を検出する重量センサを運転席用検出部とする。運転者情報取得部４３は、重量センサによって検出した、入庫時の運転席情報を第一運転者情報として、出庫時の運転席情報を第二運転者情報として取得してもよい。または、例えば、運転席のプリセット位置を含む位置情報を検出するセンサを運転席用検出部とする。運転者情報取得部４３は、センサによって検出した、入庫時の運転席の位置情報を第一運転者情報として、出庫時の運転席の位置情報を第二運転者情報として取得してもよい。比較部４５は、入庫時の運転席情報と出庫時の運転席情報とを比較して、入庫時の運転者と出庫時の運転者とが同一であるか否かを判定する。
【００７６】
または、例えば、第二実施形態では、ルームミラーの位置情報を運転者の顔位置の情報としてもよい。より詳しくは、例えば、ルームミラーの位置情報を検出するセンサを運転席用検出部とする。運転者情報取得部４３は、センサによって検出した、入庫時のルームミラーの位置情報を第一運転者情報として、出庫時のルームミラーの位置情報を第二運転者情報として取得してもよい。
【００７７】
第一運転者情報は、車両Ｖ１が後退して入庫したとき、取得するものとして説明したがこれに限定されない。第一運転者情報は、車両Ｖ１が後退して入庫している駐車動作中に取得した情報に基づいて、入庫完了時の車両Ｖ１の周囲の障害物の情報を取得してもよい。
【００７８】
さらにまた、例えば、図示しないナビゲーションシステムの地図情報と車両Ｖ１の現在位置情報とから、車両Ｖ１の現在位置が駐車場であると判定された場合、または、映像データ取得部４１で取得した映像データに画像処理を行って、車両Ｖ１の現在位置が駐車場であると判定された場合、車両Ｖ１が入庫したと判定してもよい。
【符号の説明】
【００７９】
１        表示制御システム
１１      前方カメラ（撮影部）
１２      後方カメラ（撮影部）
１３      左側方カメラ（撮影部）
１４      右側方カメラ（撮影部）
２１      運転席用カメラ（運転席用検出部）
３１      表示パネル（表示部）
４０      表示制御装置
４１      映像データ取得部
４２      自車両情報取得部
４３      運転者情報取得部
４４      俯瞰映像生成部
４５      比較部
４８      表示制御部
４９      記憶部
【図１】
2019029858.tif 000003
【図２】
2019029858.tif 000004
【図３】
2019029858.tif 000005
【図４】
2019029858.tif 000006
【図５】
2019029858.tif 000007