(57)【要約】【課題】表示装置の画面の表示画像が、車両に対するいずれの方向の画像であるのか、一目して瞬時に判別することが可能な表示制御技術を提供する。【解決手段】車両に搭載された表示装置の表示動作を制御する表示制御装置は、前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する画像取得部と、前記撮影画像を前記表示装置の画面に表示画像として表示させるとともに、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる表示制御部と、を備える。【選択図】図１
2019186887.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載された表示装置の表示動作を制御する表示制御装置において、
前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する画像取得部と、
前記撮影画像を前記表示装置の画面に表示画像として表示させるとともに、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる表示制御部と、
を備える表示制御装置。
【請求項２】
前記表示制御部は、前記カメラの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための操作部を配置させ、前記表示画像がいずれの前記カメラの前記撮影画像であるかに基づき前記操作部の使用可否を制御する請求項１に記載の表示制御装置。
【請求項３】
前記車両の操作状態に係る操作情報を取得する操作情報取得部と、
前記車両周辺の他の物体に係る周辺情報を取得する周辺情報取得部と、
を備え、
前記表示制御部は、前記操作情報と、前記周辺情報とに基づき前記表示画像の周囲の前記車両に対する前記物体の方向と同じ位置に前記物体を表す指標を表示させる請求項１または請求項２に記載の表示制御装置。
【請求項４】
前記表示制御部は、前記操作情報と、前記物体の位置とに基づき前記物体を表す前記指標の態様を変更させる請求項３に記載の表示制御装置。
【請求項５】
前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標を表示させる位置を変更させる請求項３に記載の表示制御装置。
【請求項６】
前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標の態様を変更させる請求項３に記載の表示制御装置。
【請求項７】
車両に搭載された表示装置の表示動作を制御する表示制御方法において、
前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する工程と、
前記撮影画像を前記表示装置の画面に表示画像として表示させる工程と、
前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる工程と、
を含む表示制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示制御装置及び表示制御方法に関する。
【背景技術】
【０００２】
車両に複数のカメラを搭載し、各カメラで撮影された車両の周辺領域を示す撮影画像を車室内に搭載された表示装置に表示させる技術が種々提案されている。
【０００３】
例えば、特許文献１で提案された車両周辺視認装置は、モニタの画面の、カメラの撮影方向とは反対側の端部領域にマーク部を表示する。これにより、モニタの画面がカメラの撮影方向にシフトし、映像がどの方向のカメラで撮影されたものか判別することができる。また例えば、特許文献２で提案された車両周辺監視装置は、表示装置の画面に表示された画像が車両の周囲のどの範囲を撮像した画像であるかを表すアイコンを当該画像の下または横に表示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−４６５３２号公報
【特許文献２】特開２０１０−１４７５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、表示装置の画面に表示された撮影画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、瞬時に判別し難いことが課題であった。
【０００６】
本発明は、上記の課題に鑑みなされたものであり、表示装置の画面の表示画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能な表示制御技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る表示制御装置は、車両に搭載された表示装置の表示動作を制御する表示制御装置において、前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する画像取得部と、前記撮影画像を前記表示装置の画面に表示画像として表示させるとともに、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる表示制御部と、を備える構成（第１の構成）である。
【０００８】
また、上記第１の構成の表示制御装置において、前記表示制御部は、前記カメラの前記撮影方向位置に前記表示画像を当該カメラの前記撮影画像に切り替えるための操作部を配置させ、前記表示画像がいずれの前記カメラの前記撮影画像であるかに基づき前記操作部の使用可否を制御する構成（第２の構成）であっても良い。
【０００９】
また、上記第１または第２の構成の表示制御装置において、前記車両の操作状態に係る操作情報を取得する操作情報取得部と、前記車両周辺の他の物体に係る周辺情報を取得する周辺情報取得部と、を備え、前記表示制御部は、前記操作情報と、前記周辺情報とに基づき前記表示画像の周囲の前記車両に対する前記物体の方向と同じ位置に前記物体を表す指標を表示させる構成（第３の構成）であっても良い。
【００１０】
また、上記第３の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記物体の位置とに基づき前記物体を表す前記指標の態様を変更させる構成（第４の構成）であっても良い。
【００１１】
また、上記第３の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標を表示させる位置を変更させる構成（第５の構成）であっても良い。
【００１２】
また、上記第３の構成の表示制御装置において、前記表示制御部は、前記操作情報と、前記車両の速度及び前記物体の速度と、前記車両から前記物体までの距離とに基づき前記物体を表す前記指標の態様を変更させる構成（第６の構成）であっても良い。
【００１３】
また、本発明に係る表示制御方法は、車両に搭載された表示装置の表示動作を制御する表示制御方法において、前記車両に搭載された複数のカメラのいずれかで撮影された前記車両の周辺領域を示す撮影画像を取得する工程と、前記撮影画像を前記表示装置の画面に表示画像として表示させる工程と、前記表示画像を撮影している前記カメラの撮影方向に対応する前記表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標を表示させる工程と、を含む構成（第７の構成）である。
【発明の効果】
【００１４】
本発明の構成によれば、表示装置の画面の表示画像が、車両に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。
【図面の簡単な説明】
【００１５】
【図１】実施形態の表示制御装置の構成を示す図
【図２】カメラが車両に配置される位置を例示する図
【図３】車両の周辺領域を示す合成画像を生成する手法を説明するための図
【図４】表示制御装置が構成する表示装置の画面表示を例示する図
【図５】表示制御装置による表示装置の画面表示の動作例を示すフローチャート
【図６】表示制御装置による表示装置の画面表示の動作例を示すタイミングチャート
【図７】表示制御装置による表示装置の画面表示の動作状態を例示する図
【発明を実施するための形態】
【００１６】
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。
【００１７】
また、以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。
【００１８】
＜１．表示制御装置の概要＞
図１は、実施形態の表示制御装置１の構成を示す図である。表示制御装置１は、例えば表示装置２、センサ部３、撮影部４（車載カメラ）、画像処理装置５とともに車両に搭載される。表示制御装置１は、車両に搭載された表示装置２の表示動作を制御する。表示制御装置１は、例えば表示装置２、センサ部３、撮影部４及び画像処理装置５から各種情報を取得し、表示装置２に対して表示動作に係る制御信号を送信する。
【００１９】
表示装置２は、表示制御装置１から出力される表示用画像を受信する装置である。表示装置２は、例えば車両に搭載されるナビゲーション装置等の表示装置である。表示装置２は、表示部２１及び操作部２２を備える。表示部２１は、例えば液晶表示パネルであって、表示制御装置１から出力された表示用画像を画面表示する。操作部２２は、例えば表示部２１の表面に配置されたタッチパネルや、表示部２１の周囲に配置された機械式のボタン等を含み、外部から情報を入力することができる。
【００２０】
センサ部３は、センサ部３が搭載される車両に関する各種情報を検出する複数のセンサを有する。車両６に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ３１、車両の速度を検出する車速センサ３２、ステアリングの回転角を検出する舵角センサ３３、車両周辺の人や動物、車両、その他の物体を検出するクリアランスセンサ３４等が含まれる。
【００２１】
クリアランスセンサ３４は、例えば超音波センサ（ソナー）、赤外線等を用いた光センサ、レーダなどを利用し、車両周辺の人や動物、車両、その他の物体を検出することができる。クリアランスセンサ３４は、例えば車両のフロントバンパー、リアバンパー及びドアなどの複数箇所に埋設される。クリアランスセンサ３４は、送信波を車両周辺に向けて送信し、人や他の車両などで反射した反射波を受信することで、人や他の車両などの有無や方向、位置を検出する。また、車両周辺の人や動物、車両、その他の物体は、撮影部４の撮影画像を用いた画像認識に基づき検出されることにしても良い。
【００２２】
撮影部４は、車両周辺の状況を監視する目的で設けられる。撮影部４は、例えば４つのカメラ４１〜４４を備える。図２は、カメラ４１〜４４が車両６に配置される位置を例示する図である。
【００２３】
カメラ４１は車両６の前端に設けられる。このため、カメラ４１を前カメラ４１とも呼ぶ。前カメラ４１の光軸４１ａは上からの平面視で車両６の前後方向に沿って延びる。前カメラ４１は車両６の前方向を撮影する。カメラ４３は車両６の後端に設けられる。このため、カメラ４３を後カメラ４３とも呼ぶ。後カメラ４３の光軸４３ａは上からの平面視で車両６の前後方向に沿って延びる。後カメラ４３は車両６の後方向を撮影する。前カメラ４１及び後カメラ４３の取付位置は、車両６の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。
【００２４】
カメラ４２は車両６の右側ドアミラー６１に設けられる。このため、カメラ４２を右カメラ４２とも呼ぶ。右カメラ４２の光軸４２ａは上からの平面視で車両６の左右方向に沿って延びる。右カメラ４２は車両６の右方向を撮影する。カメラ４４は車両６の左側ドアミラー６２に設けられる。このため、カメラ４４を左カメラ４４とも呼ぶ。左カメラ４４の光軸４４ａは上からの平面視で車両６の左右方向に沿って延びる。左カメラ４４は車両６の左方向を撮影する。
【００２５】
カメラ４１〜４４のレンズとしては、例えば魚眼レンズが使用される。カメラ４１〜４４は、それぞれの水平方向の画角θが１８０度以上であるため、車両６の水平方向における全周囲を撮影することができる。
【００２６】
画像処理装置５は、カメラ４１〜４４で撮影された撮影画像を処理する装置である。画像処理装置５は、カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置５は、撮影部４から撮影画像を取得して処理する。画像処理装置５は、画像処理装置５で生成された画像を表示制御装置１に対して出力することができる。画像処理装置５は、画像生成部５１を備える。
【００２７】
画像生成部５１は、撮影部４で撮影された撮影画像に対して画像処理を行う。本実施形態では、画像生成部５１は、各種の画像処理が可能なハードウェア回路として構成される。本実施形態では、画像生成部５１は、車両６に搭載されたカメラ４１〜４４によって撮影された撮影画像に基づき、仮想視点から見た車両６の周辺領域を示す合成画像を生成する。
【００２８】
＜２．合成画像の生成＞
画像生成部５１が、仮想視点から見た車両６の周辺領域の様子を示す合成画像を生成する手法について説明する。図３は、車両６の周辺領域を示す合成画像ＣＰを生成する手法を説明するための図である。
【００２９】
前カメラ４１、右カメラ４２、後カメラ４３及び左カメラ４４によって、車両６の前方、右側方、後方及び左側方それぞれの周辺領域を示す４つの撮影画像Ｐ４１〜Ｐ４４が同時に撮影される。これら４つの撮影画像Ｐ４１〜Ｐ４４には、車両６の全周囲のデータが含まれる。画像生成部５１は、これら４つの撮影画像Ｐ４１〜Ｐ４４を取得する。
【００３０】
画像生成部５１は、これら４つの撮影画像Ｐ４１〜Ｐ４４に含まれるデータ（各画素の値）を、仮想的な三次元空間における立体的な曲面である投影面ＴＳに投影する。投影面ＴＳは、例えば略半球形状（お椀形状）をしており、その中心部（お椀の底部分）が車両６の位置として定められる。
【００３１】
投影面ＴＳでは、車両６の領域の外側の領域に、撮影画像のデータが投影される。撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の位置と、投影面ＴＳの各画素の位置とは予め対応関係が定められる。この対応関係を示すテーブルデータは、不図示の記憶部に予め記憶される。投影面ＴＳの各画素の値は、この対応関係と、撮影画像Ｐ４１〜Ｐ４４に含まれる各画素の値とに基づいて決定できる。
【００３２】
次に、画像生成部５１は、三次元空間に対して仮想視点ＶＰを設定する。仮想視点ＶＰは、視点位置と視線方向とで規定される。画像生成部５１は、任意の視点位置、且つ、任意の視線方向の仮想視点ＶＰを三次元空間に設定できる。画像生成部５１は、投影面ＴＳのうち、設定された仮想視点ＶＰから見た視野内に含まれる領域に投影されたデータを画像として切り出す。これにより、画像生成部５１は、任意の仮想視点ＶＰから見た合成画像を生成する。
【００３３】
例えば、図３に示すように、視点位置を車両６の直上、視線方向を直下とした仮想視点ＶＰａを想定した場合、車両６及び車両６の周辺領域を俯瞰する合成画像（俯瞰画像）ＣＰａを生成することができる。
【００３４】
合成画像ＣＰａ中に示す車両６の像６ｐは、予めビットマップなどのデータとして用意され、予め記憶される。合成画像の生成の際には、当該合成画像の仮想視点ＶＰの視点位置と視線方向とに応じた形状の車両６の像６ｐのデータが読み出されて、合成画像ＣＰａ中に含められる。
【００３５】
このようにして、画像生成部５１は、仮想の立体的な投影面ＴＳを用いることで、現実に近い臨場感のある合成画像ＣＰａを生成することができる。
【００３６】
また、車両６に搭載された複数のカメラ４１〜４４それぞれで撮影された複数の撮影画像に基づき生成された、車両６の周辺領域を示す合成画像ＣＰを用いて、車両６の周辺領域を確認することができる。これにより、ユーザーの位置から死角となる領域、例えばユーザーの位置から見て車両６によって遮蔽される領域なども確認することが可能である。
【００３７】
＜３．表示制御装置の詳細＞
表示制御装置１は、図１に示す画像取得部１１、操作情報取得部１２、周辺情報取得部１３、表示制御部１４及び記憶部１５を備える。
【００３８】
画像取得部１１は、カメラ４１〜４４のいずれかで撮影された車両の周辺領域を示す撮影画像を車両から取得する。本実施形態では、カメラ４１〜４４の数は４つである。さらに、画像取得部１１は、画像処理装置５で処理された画像を取得する。
【００３９】
操作情報取得部１２は、車両の操作状態に係る操作情報を車両６から受信する。車両６の操作情報としては、例えば車両６の変速装置のシフトレバーの操作位置（シフト位置）、車両６の速度（車速）、ステアリングの回転角（舵角）等が含まれる。これらの操作情報は、車両６のセンサ部３から受信する。
【００４０】
周辺情報取得部１３は、車両周辺の他の物体に係る周辺情報を車両６から取得する。車両６の周辺情報としては、例えば車両６周辺の人や動物、車両、その他の物体等に係る情報、すなわちそれらの物体の有無や方向、位置が含まれる。これらの周辺情報は、車両６のセンサ部３から受信する。
【００４１】
表示制御部１４は、表示装置２の表示動作を制御する。表示制御部１４は、例えばカメラ４１〜４４のいずれかで撮影された撮影画像や、画像処理装置５によって生成された合成画像を、表示装置２の画面の所定位置に表示画像として表示させる。また、表示制御部１４は、操作情報取得部１２が取得した操作情報、及び周辺情報取得部１３が取得した周辺情報に基づいて、表示装置２の画面の、表示画像の周囲における表示内容を制御する。表示制御装置１による表示装置２の表示動作を制御する手法の詳細については後述する。
【００４２】
記憶部１５は、例えばフラッシュメモリ等の不揮発性のメモリであり、各種の情報を記憶する。記憶部１５は、例えばファームウェアとしてのプログラム、表示制御部１４が表示装置２の表示動作を制御するための各種のデータ等を記憶する。また、記憶部１５は、画像取得部１１、操作情報取得部１２及び周辺情報取得部１３が処理を実行するために必要となる各種のデータを記憶する。
【００４３】
＜４．表示装置の画面表示構成＞
図４は、表示制御装置１が構成する表示装置２の画面表示を例示する図である。表示装置２の表示部２１の画面には、図４に示す画像表示部２１１及び情報表示部２１２が含まれる。
【００４４】
画像表示部２１１は、表示部２１の画面の所定位置、例えば中央部に配置される。すなわち、表示制御部１４によって、カメラ４１〜４４のいずれかの撮影画像が、表示部２１の画面の中央部に表示画像として表示される。画像表示部２１１は、画像処理装置５によって生成された俯瞰画像（合成画像）が表示されることにしても良い。画像表示部２１１は、例えば平面視矩形で構成される。
【００４５】
情報表示部２１２は、画像表示部２１１の周囲四方に配置される。情報表示部２１２は、車両６に係る各種情報が表示される。なお、表示部２１の画面は、車両６の平面図として定義される。これにより、矩形の画像表示部２１１の上辺側には車両６の前方に係る情報が表示され、下辺側には車両６の後方に係る情報が表示され、右辺側には車両６の右方に係る情報が表示され、左辺側には車両６の左方に係る情報が表示される。車両６に係る各種情報としては、操作情報に基づく指標と、周辺情報に基づく指標とが表示される。これらの指標は、液晶表示パネルである表示部２１の画面に表示された、例えばアイコン、ソフトキー等の画像で構成される。
【００４６】
車両６に係る各種情報を表す指標は、画像切替キーＦ１、Ｂ１、Ｌ１、Ｒ１、表示画像アイコンＦ２、Ｂ２、Ｌ２、Ｒ２、前左クリアランスセンサ検出アイコンＦ３、Ｌ３、前右クリアランスセンサ検出アイコンＦ４、Ｒ３、後左クリアランスセンサ検出アイコンＢ３、Ｌ４、後右クリアランスセンサ検出アイコンＢ４、Ｒ４、接近車両検出アイコンＦ５、Ｂ５、Ｌ５、Ｒ５、接近者検出アイコンＦ６、Ｂ６、Ｌ６、Ｒ６、を含む。なお、これらの符号の「Ｆ」は前を表し、「Ｂ」は後を表し、「Ｌ」は左を表し、「Ｒ」は右を表す。
【００４７】
画像切替キーＦ１、Ｂ１、Ｌ１、Ｒ１は、画像表示部２１１の表示画像をカメラ４１〜４４のいずれかの撮影画像に切り替えるためのソフトキーアイコンである。ユーザーは、情報表示部２１２に表示された画像切替キーをタッチパネル（操作部２２）を介してタッチして選択することで、画像表示部２１１の表示画像を切り替えることができる。すなわち、表示制御部１４は、カメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、表示画像を当該カメラの撮影画像に切り替えるための操作部２２を配置させる。本実施形態では、表示制御部１４は、表示装置２の表示画像の周囲四方の車両６に対するカメラの撮影方向と同じ位置に表示画像を当該カメラの撮影画像に切り替えるための操作部２２を配置させる。
【００４８】
さらに、表示制御部１４は、表示画像がいずれのカメラの撮影画像であるかに基づき操作部２２の使用可否を制御する。すなわち、表示制御部１４は、表示画像と同じ撮影画像に切り替えるための画像切替キーを情報表示部２１２に表示させない。
【００４９】
表示画像アイコンＦ２、Ｂ２、Ｌ２、Ｒ２は、画像表示部２１１の表示画像が車両６に対するいずれの方向のカメラの撮影画像であるかを示す半円形状のアイコンである。情報表示部２１２には、画像表示部２１１の表示画像を撮影しているカメラの撮影方向と同じ方向の表示画像アイコンいずれかが表示される。すなわち、表示制御部１４は、表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる。本実施形態では、表示制御部１４は、表示装置２の画面を車両６の平面図とした場合の、表示画像の周囲四方の車両６に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。
【００５０】
前左クリアランスセンサ検出アイコンＦ３、Ｌ３、前右クリアランスセンサ検出アイコンＦ４、Ｒ３、後左クリアランスセンサ検出アイコンＢ３、Ｌ４、後右クリアランスセンサ検出アイコンＢ４、Ｒ４はそれぞれ、車両６の前左方、前右方、後左方、後右方における他の物体の検出距離を示す円弧状のアイコンである。円弧状のアイコンは、車両６から検出した他の物体までの距離に基づき表示される同心の複数の円弧画像を含む。
【００５１】
車両６への他の物体の接近について詳細に言えば、車両６への外部からの他の物体の接近は、例えば物体が車両６から所定範囲内に進入したことに基づき判定される。車両６の所定範囲としては、例えば半径１０ｍ以内などといった範囲を任意に設定することができる。
【００５２】
また、車両６への外部からの他の物体の接近は、例えば車両６の速度及び物体の速度と、車両６から物体までの距離とに基づき判定される。物体の接近速度（車両６に対する物体の相対速度）と、物体までの距離とに基づいて、車両６への物体の予想到達時間が算出される。例えば、「物体までの距離」／「物体の接近速度」＝「予想到達時間」が１０秒以下となった場合、他の物体の車両６への接近が判定される。予想到達時間は、任意の時間に設定することができる。
【００５３】
各クリアランスセンサ検出アイコンは、他の物体が車両６から所定距離を超えて離れている場合、また予想到達時間が所定時間を超えている場合、表示されない。各クリアランスセンサ検出アイコンは、他の物体が車両６から所定距離以下に接近すること、また他の物体の予想到達時間が所定時間以下になることで表示される。さらに、各クリアランスセンサ検出アイコンは、他の物体が車両６に接近するにつれて表示される円弧画像の数が増える。
【００５４】
接近車両検出アイコンＦ５、Ｂ５、Ｌ５、Ｒ５は、車両６に他の車両が接近することを示すアイコンである。車両６に接近する物体が車両であることは、例えばカメラ４１〜４４の撮影画像を用いた画像認識に基づき検出される。各接近車両検出アイコンは、他の車両が車両６から所定距離以下に接近すること、また他の車両の予想到達時間が所定時間以下になることで表示される。さらに、各接近車両検出アイコンは、他の車両が車両６に接近するにつれて大きさや色を変更することにしても良い。
【００５５】
接近者検出アイコンＦ６、Ｂ６、Ｌ６、Ｒ６は、車両６に人が接近することを示すアイコンである。車両６に接近する物体が人であることは、例えばカメラ４１〜４４の撮影画像を用いた画像認識に基づき検出される。各接近者検出アイコンは、人が車両６から所定距離以下に接近すること、また人の予想到達時間が所定時間以下になることで表示される。さらに、各接近者検出アイコンは、人が車両６に接近するにつれて大きさや色を変更することにしても良い。
【００５６】
なお、本実施形態では、情報表示部２１２は、操作情報に基づく指標と、周辺情報に基づく指標とが、液晶表示パネルにおいてアイコン、ソフトキー等の画像で構成されることとしたが、この構成に限定されるわけではない。例えば、情報表示部２１２は、液晶表示パネルの周囲にＬＥＤ（Light Emitting Diode）等を用いて構成した機械式の表示、ボタン等であっても良い。
【００５７】
また、情報表示部２１２は、画像表示部２１１の表示画像を、車両６の周辺領域を示す俯瞰画像に切り替える画像切替キーを配置しても良い。
【００５８】
＜５．表示制御装置の動作フロー＞
図５は、表示制御装置１による表示装置２の画面表示の動作例を示すフローチャートである。表示制御装置１による表示装置２の画面表示の動作例について、図５の処理フローを参照しつつ説明する。
【００５９】
表示制御装置１は、動作を開始すると、カメラ４１〜４４それぞれから車両６の周辺領域を示す、複数の撮影画像を取得する（ステップＳ１０１）。表示制御装置１は、カメラ４１〜４４それぞれで撮影された撮影画像を画像取得部１１を介して取得し、記憶部１５に記憶させる。
【００６０】
次に、車両６の操作状態の検出を行う（ステップＳ１０２）。車両６の操作状態は、操作情報取得部１２が取得した車両６の操作情報に基づき検出される。車両６の操作情報は、車両６のセンサ部３のシフトセンサ３１、車速センサ３２、舵角センサ３３等から取得することができる。これにより、表示制御装置１は、例えば車両６の進行方向を認識する（ステップＳ１０３）。
【００６１】
次に、進行方向以外の画像切替キーがＯＮであるか否かが判別される（ステップＳ１０４）。進行方向以外の画像切替キーがＯＮではない場合（ステップＳ１０４のＮｏ）、表示制御装置１は、進行方向の撮影画像を表示装置２の画面に表示画像として表示させる（ステップＳ１０５）。
【００６２】
続いて、表示制御装置１は、表示装置２の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる（ステップＳ１０６）。本実施形態では、表示制御装置１は、表示装置２の画面を車両６の平面図とした場合の、表示画像の周囲四方の車両６に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。続いて、表示制御装置１は、表示装置２の画面において、進行方向の画像切替キーの表示をＯＦＦに、進行方向以外の他の画像切替キーの表示をＯＮにする（ステップＳ１０７）。
【００６３】
また、ステップＳ１０３において、進行方向以外の画像切替キーがＯＮである場合（ステップＳ１０３のＹｅｓ）、表示制御装置１は、ユーザーによって選択された方向の撮影画像を表示装置２の画面に表示画像として表示させる（ステップＳ１０８）。
【００６４】
続いて、表示制御装置１は、表示装置２の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す表示画像アイコンを表示させる（ステップＳ１０９）。本実施形態では、表示制御装置１は、表示装置２の画面を車両６の平面図とした場合の、表示画像の周囲四方の車両６に対する表示画像を撮影しているカメラの撮影方向と同じ位置に当該カメラの撮影方向を表す表示画像アイコンを表示させる。続いて、表示制御装置１は、表示装置２の画面において、選択方向の画像切替キーの表示をＯＦＦに、選択方向以外の他の画像切替キーの表示をＯＮにする（ステップＳ１１０）。
【００６５】
次に、表示制御装置１は、車両６への接近物があるか否かを判別する（ステップＳ１１１）。ここでは、周辺情報取得部１３が取得した車両６の周辺情報に基づき判別される。車両６の周辺情報は、車両６のセンサ部３のクリアランスセンサ３４、撮影部４の撮影画像を用いた画像認識等から取得することができる。これにより、表示制御装置１は、例えば車両６に接近する他の物体の有無や方向、位置に係る情報を取得する。そして、他の物体が車両６から所定距離以下に接近したか否か、また他の物体の予想到達時間が所定時間以下になったか否かが判別される。
【００６６】
車両６への接近物がある場合（ステップＳ１１１のＹｅｓ）、車両６の進行方向と、他の物体が接近する方向とが概ね同じであるか否かが判別される（ステップＳ１１２）。車両６の進行方向と、他の物体が接近する方向とが概ね同じである場合（ステップＳ１１２のＹｅｓ）、表示制御装置１は、車両６の進行方向に関して、接近物表示、すなわちクリアランスセンサ検出アイコン、接近車両検出アイコン、接近者検出アイコンを物体までの距離や種類に基づき表示ＯＮにする（ステップＳ１１３）。
【００６７】
車両６への接近物がない場合（ステップＳ１１１のＮｏ）、また車両６への接近物があるが、車両６の進行方向と、他の物体が接近する方向とが異なる場合（ステップＳ１１２のＮｏ）、表示制御装置１は、クリアランスセンサ検出アイコン、接近車両検出アイコン、接近者検出アイコンといった接近物表示をＯＦＦにする（ステップＳ１１４）。
【００６８】
そして、ステップＳ１０１に戻って、表示制御装置１は、再びカメラ４１〜４４の撮影画像を取得する。
【００６９】
＜６．表示制御装置による画面表示の動作例＞
図６は、表示制御装置１による表示装置２の画面表示の動作例を示すタイミングチャートである。なお、ここでは、ユーザーの車両操作及び表示操作と、後方からの車両接近とに基づく表示装置２の画面表示の動作の一例について説明する。
【００７０】
図６に示すように、まず時刻ｔ１でユーザーがシフト操作を行い、シフト位置を「Ｄ」レンジにした場合、画像表示部２１１の表示画像は前カメラ４１の撮影画像となり（ｏｎ）、情報表示部２１２に表示画像アイコンＦ２が表示される。すなわち、画像表示部２１１に後カメラ４３、左カメラ４４及び右カメラ４２の撮影画像は表示されず（ｏｆｆ）、情報表示部２１２に表示画像アイコンＢ２、Ｌ２、Ｒ２は表示されない。画像切替キーの表示に関して、前カメラ４１の画像切替キーＦ１は表示されず（ｏｆｆ）、後カメラ４３、左カメラ４４及び右カメラ４２の画像切替キーＢ１、Ｌ１、Ｒ１は表示される（ｏｎ）。
【００７１】
続いて、時刻ｔ２で周辺状況が変化し、後方から車両６に接近する他の車両を検出したこととする。この場合、シフト位置が「Ｄ」レンジであり、車両６の進行方向が前方であるので、後方の接近車両検出アイコンＢ５が表示されることはない。
【００７２】
続いて、時刻ｔ３でユーザーがシフト操作を行い、シフト位置を「Ｒ」レンジにした場合、画像表示部２１１の表示画像は後カメラ４３の撮影画像となり（ｏｎ）、情報表示部２１２に表示画像アイコンＢ２が表示される。すなわち、画像表示部２１１に前カメラ４１、左カメラ４４及び右カメラ４２の撮影画像は表示されず（ｏｆｆ）、情報表示部２１２に表示画像アイコンＦ２、Ｌ２、Ｒ２は表示されない。画像切替キーの表示に関して、後カメラ４３の画像切替キーＢ１は表示されず（ｏｆｆ）、前カメラ４１、左カメラ４４及び右カメラ４２の画像切替キーＦ１、Ｌ１、Ｒ１は表示される（ｏｎ）。そして、車両６の進行方向が後方となったことで、後方の接近車両検出アイコンＢ５が表示される（ｏｎ）。
【００７３】
続いて、時刻ｔ４でユーザーが表示操作を行い、画像表示部２１１の表示画像を前カメラ４１の撮影画像に切り替えた場合、画像表示部２１１の表示画像は前カメラ４１の撮影画像となり（ｏｎ）、情報表示部２１２に表示画像アイコンＦ２が表示される。すなわち、画像表示部２１１に後カメラ４３、左カメラ４４及び右カメラ４２の撮影画像は表示されず（ｏｆｆ）、情報表示部２１２に表示画像アイコンＢ２、Ｌ２、Ｒ２は表示されない。画像切替キーの表示に関して、前カメラ４１の画像切替キーＦ１は表示されず（ｏｆｆ）、後カメラ４３、左カメラ４４及び右カメラ４２の画像切替キーＢ１、Ｌ１、Ｒ１は表示される（ｏｎ）。シフト位置は「Ｒ」レンジであり、車両６の進行方向が引き続き後方のままであるので、後方の接近車両検出アイコンＢ５が表示される（ｏｎ）。
【００７４】
続いて、時刻ｔ５で周辺状況が変化し、後方の車両６への接近車両が検出範囲外となったこととする。この場合、シフト位置が「Ｒ」レンジであって、車両６の進行方向が後方であるが、後方の接近車両検出アイコンＢ５の表示は消える。
【００７５】
＜７．表示制御装置による画面表示の動作状態一覧＞
図７は、表示制御装置１による表示装置２の画面表示の動作状態を例示する図である。なお、図７の「表示カメラ」は、画像表示部２１１の表示画像がいずれの方向のカメラの撮影画像であるかを示す。前述同様、「表示カメラ」の「Ｆ」は前を表し、「Ｂ」は後を表し、「Ｌ」は左を表し、「Ｒ」は右を表す。「シフト位置」の「Ｄ」はドライブレンジを表し、「Ｒ」はリバースレンジを表し、「Ｎ」はニュートラルレンジを表し、「Ｐ」はパーキングレンジのシフト位置をそれぞれ表す。
【００７６】
図７によれば、例えば「ｃａｓｅ  １」は、画像表示部２１１の表示画像が「Ｆ」すなわち前カメラ４１の撮影画像であり、シフト位置が「Ｄ」レンジであり、車速が「０」である場合を示す。このとき、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、画像切替キーＦ１は表示されず（ｏｆｆ）、表示画像アイコンＦ２は表示される（ｏｎ）。前左クリアランスセンサ検出アイコンＦ３、前右クリアランスセンサ検出アイコンＦ４、接近車両検出アイコンＦ５、接近者検出アイコンＦ６は表示可能な状態であり（ｏｎ）、車両６の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【００７７】
「ｃａｓｅ  １」の情報表示部２１２の後方情報領域、すなわち図４の情報表示部２１２の下側では、画像切替キーＢ１は表示されて選択可能であり（ｏｎ）、表示画像アイコンＢ２は表示されない（ｏｆｆ）。後左クリアランスセンサ検出アイコンＢ３、後右クリアランスセンサ検出アイコンＢ４、接近車両検出アイコンＢ５、接近者検出アイコンＢ６は表示されない状態であり（ｏｆｆ）、車両６の後方で他の物体を検出しても、検出していなくても表示されない。
【００７８】
「ｃａｓｅ  １」の情報表示部２１２の左方情報領域及び右方情報領域、すなわち図４の情報表示部２１２の左側及び右側それぞれでは、画像切替キーＬ１、Ｒ１は表示されて選択可能であり（ｏｎ）、表示画像アイコンＬ２、Ｒ２は表示されない（ｏｆｆ）。前左クリアランスセンサ検出アイコンＬ３、前右クリアランスセンサ検出アイコンＲ３は表示可能な状態であり（ｏｎ）、車両６の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。後左クリアランスセンサ検出アイコンＬ４、後右クリアランスセンサ検出アイコンＲ４、接近車両検出アイコンＬ５、Ｒ５、接近者検出アイコンＬ６、Ｒ６は表示されない状態であり（ｏｆｆ）、車両６の後方で他の物体を検出しても、検出していなくても表示されない。
【００７９】
また、例えば「ｃａｓｅ  ６」は、画像表示部２１１の表示画像が「Ｆ」すなわち前カメラ４１の撮影画像であり、シフト位置が「Ｒ」レンジであり、車速が「＞０」であり、舵角が「＞０」である場合を示す。このとき、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、画像切替キーＦ１は表示されず（ｏｆｆ）、表示画像アイコンＦ２は表示される（ｏｎ）。車両６の後進中の外輪差が考慮されて、前左クリアランスセンサ検出アイコンＦ３、前右クリアランスセンサ検出アイコンＦ４は表示可能な状態であり（ｏｎ）、車両６の前方で他の物体を検出した場合は表示され、検出していない場合は表示されない。接近車両検出アイコンＦ５、接近者検出アイコンＦ６は表示されない状態であり（ｏｆｆ）、車両６の前方で他の物体を検出しても、検出していなくても表示されない。
【００８０】
「ｃａｓｅ  ６」の情報表示部２１２の後方情報領域、すなわち図４の情報表示部２１２の下側では、画像切替キーＢ１は表示されて選択可能であり（ｏｎ）、表示画像アイコンＢ２は表示されない（ｏｆｆ）。後左クリアランスセンサ検出アイコンＢ３、後右クリアランスセンサ検出アイコンＢ４、接近車両検出アイコンＢ５、接近者検出アイコンＢ６は表示可能な状態であり（ｏｎ）、車両６の後方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【００８１】
「ｃａｓｅ  ６」の情報表示部２１２の左方情報領域及び右方情報領域、すなわち図４の情報表示部２１２の左右それぞれでは、画像切替キーＬ１、Ｒ１は表示されて選択可能であり（ｏｎ）、表示画像アイコンＬ２、Ｒ２は表示されない（ｏｆｆ）。前左クリアランスセンサ検出アイコンＬ３、前右クリアランスセンサ検出アイコンＲ３は表示されない状態であり（ｏｆｆ）、車両６の前方で他の物体を検出しても、検出していなくても表示されない。後左クリアランスセンサ検出アイコンＬ４、後右クリアランスセンサ検出アイコンＲ４、接近車両検出アイコンＬ５、Ｒ５、接近者検出アイコンＬ６、Ｒ６は表示可能な状態であり（ｏｎ）、車両６の後方で他の物体を検出した場合は表示され、検出していない場合は表示されない。
【００８２】
上記のように、本実施形態の表示制御装置１は、表示制御部１４によって、表示装置２の表示画像を撮影しているカメラの撮影方向に対応する表示画像の周囲の位置である撮影方向位置に、当該カメラの撮影方向を表す指標（アイコン）を表示させる。詳細に言えば、例えば表示装置２の表示画像が前カメラ４１の撮影画像である場合、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、表示画像アイコンＦ２が表示される。情報表示部２１２の後方情報領域、左方情報領域及び右方情報領域、すなわち図４の情報表示部２１２の下側、左側及び右側それぞれでは、表示画像アイコンＢ２、Ｌ２、Ｒ２は表示されない。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。そして、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であるのかを、視線を移動することなく判別することができる。さらに、表示装置２の表示画像を切り替えた場合であっても、表示画像がいずれの方向の撮影画像であるのかを瞬時に判別することができ、視線を大きく移動させる必要がない。
【００８３】
例えば、車両６がリバース（後進）のシフト位置で後進中に、ドライバが周辺を確認している際、すなわち画面から目を離した際に、助手席者が画面を操作して表示画像として前カメラ４１の撮影画像を表示させることがある。このとき、実際には車両６の後方に障害物が存在するにもかかわらず、障害物が存在しない前カメラ４１の撮影画像が表示される場合がある。これにより、ドライバは画面の表示画像を後カメラ４３の撮影画像と勘違いして後進し、車両６の後方に存在する障害物に車両６が接触する虞がある。本実施形態の表示制御装置１は、このような車両６の進行方向と画面の表示画像の撮影方向とが異なる場合に、障害物の見落としによる接触を防止することができる。また、助手席者がいない場合でも、ドライバが画面から目を離した際に異常により画面が切り替わっても、障害物の見落としによる接触を防止することができる。
【００８４】
また、表示制御部１４は、カメラの撮影方向位置に表示画像を当該カメラの撮影画像に切り替えるための画像切替キー（操作部２２）を配置させ、表示画像がいずれのカメラの撮影画像であるかに基づき画像切替キー（操作部２２）の使用可否を制御する。詳細に言えば、例えば表示装置２の表示画像が前カメラ４１の撮影画像である場合、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、画像切替キーＦ１は表示されず、選択できない。情報表示部２１２の後方情報領域、左方情報領域及び右方情報領域、すなわち図４の情報表示部２１２の下側、左側及び右側それぞれでは、画像切替キーＢ１、Ｌ１、Ｒ１は表示されて選択可能である。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であるのか、一目して瞬時に判別することが可能である。さらに、ユーザーは、車両６の進行方向やシフト位置がいずれであっても、任意に所望する方向の撮影画像を表示装置２に表示させることができる。
【００８５】
そして、表示制御部１４は、車両６の操作情報と、周辺情報とに基づき表示装置２の表示画像の周囲四方の車両６に対する物体の方向と同じ位置に物体を表す指標（アイコン）を表示させる。詳細に言えば、例えばシフト位置が「Ｄ」レンジであり、車両６の前方で他の物体を検出した場合、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、前左クリアランスセンサ検出アイコンＦ３、前右クリアランスセンサ検出アイコンＦ４、接近車両検出アイコンＦ５、接近者検出アイコンＦ６のいずれかが表示される。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であっても、車両６周辺の他の物体の方向を明確に把握することが可能である。さらに、表示装置２の表示画像を切り替えた場合であっても、車両６周辺の他の物体の方向を明確に把握することができ、視線を大きく移動させる必要もない。
【００８６】
また、表示制御部１４は、車両６の操作情報と、車両６周辺の他の物体の位置とに基づき物体を表す指標（アイコン）の態様を変更させる。詳細に言えば、例えばシフト位置が「Ｄ」レンジであり、車両６の前方で他の物体を検出した場合、情報表示部２１２の前方情報領域、すなわち図４の情報表示部２１２の上側では、前左クリアランスセンサ検出アイコンＦ３、前右クリアランスセンサ検出アイコンＦ４が表示される。クリアランスセンサ検出アイコンは、他の物体が車両６に接近するにつれて表示される円弧画像の数が増える。また他の例として、接近車両検出アイコン、接近者検出アイコンの大きさや色を、他の物体が車両６に接近するにつれて変更させる。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であっても、車両６に接近する物体の距離を明確に把握することが可能である。
【００８７】
また、表示制御部１４は、車両６の操作情報と、車両６の速度及び物体の速度と、車両６から物体までの距離とに基づき物体を表す指標（アイコン）を表示させる位置を変更させる。車両６への外部からの他の物体の接近は、例えば車両６の速度及び物体の速度と、車両６から物体までの距離とに基づき算出された予想到達時間で判定される。例えば、シフト位置が「Ｄ」レンジであり、車両６の前方で他の物体を検出した場合において、他の物体の予想到達時間が所定時間以下となったとき、前左クリアランスセンサ検出アイコンＦ３、前右クリアランスセンサ検出アイコンＦ４、接近車両検出アイコンＦ５、接近者検出アイコンＦ６のいずれかが表示される。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であっても、車両６に接近する物体の方向を明確に把握することが可能である。
【００８８】
また、表示制御部１４は、車両６の操作情報と、車両６の速度及び物体の速度と、車両６から物体までの距離とに基づき物体を表す指標（アイコン）の態様を変更させる。これにより、表示装置２の画面の表示画像が、車両６に対するいずれの方向の周辺領域を示す撮影画像であっても、車両６に接近する物体の距離を明確に把握することが可能である。
【００８９】
＜８．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。
【００９０】
例えば、車両６の操作情報として、ウインカー操作に係る情報を用いても良い。これにより、表示制御装置１は、例えばウインカーの操作情報に基づき車両６の進行方向を認識することができる。
【００９１】
また、上記実施形態では、表示装置２の表示部２１の画面内において、画像表示部２１１の周囲に情報表示部２１２を設け、情報表示部２１２にキー及びアイコンを表示したが、表示部２１の画面内に情報表示部２１２を設けず、表示部２１の画面の周囲に情報表示部２１２を設け、キー及びアイコンを表示しても良い。この場合、キー及びアイコンをＬＥＤ等の発光素子で構成しても良い。
【００９２】
また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。
【符号の説明】
【００９３】
１      表示制御装置
２      表示装置
３      センサ部
４      撮影部
５      画像処理装置
６      車両
１１      画像取得部
１２      操作情報取得部
１３      周辺情報取得部
１４      表示制御部
１５      記憶部
２１      表示部
２２      操作部
４１、４２、４３、４４      カメラ
２１１      画像表示部
２１２      情報表示部
【図１】
2019186887.tif 000003
【図２】
2019186887.tif 000004
【図３】
2019186887.tif 000005
【図４】
2019186887.tif 000006
【図５】
2019186887.tif 000007
【図６】
2019186887.tif 000008
【図７】
2019186887.tif 000009