(57)【要約】【課題】車両の状態を客観的にわかりやすく表示する周辺監視装置を提供すること。【解決手段】実施形態の周辺監視装置は、車両に設けられた撮像装置により撮像された車両の周辺環境を示す画像と、車両の状態に対応する情報と、を取得する取得部と、車両の３次元形状を示す車両モデルを記憶する記憶部と、車両モデルを情報に基づいて加工する加工部と、周辺環境内の車両が存在する位置に対応する周辺環境を示す画像内の位置に、加工部により加工された車両モデルを重畳し、車両モデルが重畳された周辺環境を示す画像を車両の車室内に設けられた表示画面に表示する出力部と、を備えた。【選択図】図９
2018056794.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられた撮像装置により撮像された前記車両の周辺環境を示す画像と、車両の状態に対応する情報と、を取得する取得部と、
前記車両の３次元形状を示す車両モデルを記憶する記憶部と、
前記車両モデルを前記情報に基づいて加工する加工部と、
前記周辺環境内の前記車両が存在する位置に対応する前記周辺環境を示す画像内の位置に、前記加工部により加工された前記車両モデルを重畳し、前記車両モデルが重畳された前記周辺環境を示す画像を前記車両の車室内に設けられた表示画面に表示する出力部と、
を備える周辺監視装置。
【請求項２】
前記情報は、伸縮により車輪の位置決めを行う懸架装置の伸縮量を示す情報であり、
前記加工部は、前記車両モデルに含まれる前記車輪のモデルと車体のモデルとの間隔を、前記伸縮量に応じて変更する、
請求項１に記載の周辺監視装置。
【請求項３】
前記取得部は、前記車両に設けられた計測部により計測された路面の３次元形状をさらに取得し、
前記周辺環境を示す画像を前記取得部により取得された前記路面の３次元形状に投影した環境モデルを生成する生成部をさらに備え、
前記出力部は、前記生成部より生成された前記環境モデルを前記表示画面に表示する、
請求項２に記載の周辺監視装置。
【請求項４】
前記情報は、前記車両に設けられた灯火装置が点灯しているか消灯しているかを示す情報であり、
前記加工部は、前記車両モデルに含まれる前記灯火装置のモデルの色を、前記灯火装置が点灯しているか消灯しているかに応じて変更する、
請求項１に記載の周辺監視装置。
【請求項５】
前記情報は、前記車両に設けられたドアが開状態であるか閉状態であるかを示す情報であり、
前記加工部は、前記車両モデルに含まれる前記ドアのモデルと車体のモデルとの角度を、前記ドアが開状態であるか閉状態であるかに応じて変更する、
請求項１に記載の周辺監視装置。
【請求項６】
前記取得部は、前記車両に設けられた計測部により計測された障害物の位置をさらに取得し、
前記障害物によって制限された前記ドアの可動範囲を演算する演算部をさらに備え、
前記出力部は、前記演算部により演算された前記可動範囲を示す表示オブジェクトをさらに前記表示画面に表示する、
請求項５に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、車両の周辺監視装置に関する。
【背景技術】
【０００２】
従来、車両に設置されたカメラで車両の周辺環境を撮像し、撮像された画像を車両の車室内に設けられた表示画面を介して運転者に提供する技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−２１６５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
例えば、運転者は、車室内にいながら車両の状態を客観的に確認したい場合がある。その点、上述の技術は、改良の余地がある。
【０００５】
本発明の課題の一つは、車両の状態を客観的にわかりやすく表示する周辺監視装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の実施形態の周辺監視装置は、一例として、車両に設けられた撮像装置により撮像された車両の周辺環境を示す画像と、車両の状態に対応する情報と、を取得する取得部と、車両の３次元形状を示す車両モデルを記憶する記憶部と、車両モデルを情報に基づいて加工する加工部と、周辺環境内の車両が存在する位置に対応する周辺環境を示す画像内の位置に、加工部により加工された車両モデルを重畳し、車両モデルが重畳された周辺環境を示す画像を車両の車室内に設けられた表示画面に表示する出力部と、を備えた。周辺監視装置は、車両１の状態を表示画面に映っている車両１の画像にリアルタイムに反映させるので、車両の状態を客観的にわかりやすく表示することができる。
【０００７】
また、本発明の実施形態の周辺監視装置では、一例として、情報は、伸縮により車輪の位置決めを行う懸架装置の伸縮量を示す情報であり、加工部は、車両モデルに含まれる車輪のモデルと車体のモデルとの間隔を、伸縮量に応じて変更する。よって、ユーザは、車室内にいながら周辺環境に応じた車輪３の状態を把握することが可能となる。
【０００８】
また、本発明の実施形態の周辺監視装置では、一例として、取得部は、車両に設けられた計測部により計測された路面の３次元形状をさらに取得し、周辺監視装置は、周辺環境を示す画像を取得部により取得された路面の３次元形状に投影した環境モデルを生成する生成部をさらに備え、出力部は、生成部より生成された環境モデルを表示画面に表示する。よって、ユーザは、車輪が接地しているか否かを表示画面によって認識することが可能となる。
【０００９】
また、本発明の実施形態の周辺監視装置では、一例として、情報は、車両に設けられた灯火装置が点灯しているか消灯しているかを示す情報であり、加工部は、車両モデルに含まれる灯火装置のモデルの色を、灯火装置が点灯しているか消灯しているかに応じて変更する。よって、ユーザは、灯火装置の点灯／消灯を、表示画面によって確認することが可能となる。
【００１０】
また、本発明の実施形態の周辺監視装置では、一例として、情報は、車両に設けられたドアが開状態であるか閉状態であるかを示す情報であり、加工部は、車両モデルに含まれるドアのモデルと車体のモデルとの角度を、ドアが開状態であるか閉状態であるかに応じて変更する。よって、ユーザは、ドアが開状態であるか閉状態であるかを表示画面によって確認することが可能となる。
【００１１】
また、本発明の実施形態の周辺監視装置では、一例として、取得部は、車両に設けられた計測部により計測された障害物の位置をさらに取得し、周辺監視装置は、障害物によって制限されたドアの可動範囲を演算する演算部をさらに備え、出力部は、演算部により演算された可動範囲を示す表示オブジェクトをさらに表示画面に表示する。よって、ユーザは、ウインドウから顔を出して外を確認しなくても、安心してドアを開けることが可能となる。
【図面の簡単な説明】
【００１２】
【図１】図１は、第１の実施形態の周辺監視装置を搭載する車両の車室の一部が透視された状態の一例が示された斜視図である。
【図２】図２は、第１の実施形態の周辺監視装置を搭載する車両の一例が示された平面図（鳥瞰図）である。
【図３】図３は、第１の実施形態の周辺監視装置を搭載する車両のダッシュボードの一例であり、車両後方からの視野での図である。
【図４】図４は、第１の実施形態の周辺監視システムの構成の一例を示すブロック図である。
【図５】図５は、第１の実施形態の表示画面の表示例を示す図である。
【図６】図６は、第１の実施形態の表示画面の別の表示例を示す図である。
【図７】図７は、第１の実施形態の表示画面の別の表示例を示す図である。
【図８】図８は、第１の実施形態の表示画面の別の表示例を示す図である。
【図９】図９は、第１の実施形態の周辺監視装置としてのＥＣＵの機能的構成を示すブロック図である。
【図１０】図１０は、第１の実施形態のリングバッファの構造を示した図である。
【図１１】図１１は、第１の実施形態の周辺監視装置における、画像の保存処理の手順を示すフローチャートである。
【図１２】図１２は、第１の実施形態の周辺監視装置における、表示を制御する処理の手順を示すフローチャートである。
【図１３】図１３は、第２の実施形態の周辺監視装置としてのＥＣＵの機能的構成を示すブロック図である。
【図１４】図１４は、第２の実施形態の表示画面の表示例を示す図である。
【図１５】図１５は、第２の実施形態の表示画面の別の表示例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本実施形態の周辺監視装置を車両１に搭載した例をあげて説明する。
【００１４】
＜第１の実施形態＞
第１の実施形態の車両１は、例えば、不図示の内燃機関を駆動源とする自動車、すなわち内燃機関自動車であってもよいし、不図示の電動機を駆動源とする自動車、すなわち電気自動車または燃料電池自動車等であってもよいし、それらの双方を駆動源とするハイブリッド自動車であってもよいし、他の駆動源を備えた自動車であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置、例えばシステムや部品等を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、数、およびレイアウト等は、種々に設定することができる。
【００１５】
図１は、第１の実施形態の周辺監視装置を搭載する車両１の車室２ａの一部が透視された状態の一例が示された斜視図である。図２は、第１の実施形態の周辺監視装置を搭載する車両１の一例が示された平面図（鳥瞰図）である。図３は、第１の実施形態の周辺監視装置を搭載する車両１のダッシュボードの一例を示す図であり、車両１の後方からの視野での図である。図４は、第１の実施形態の周辺監視装置を有する周辺監視システム１００の構成の一例を示すブロック図である。
【００１６】
図１に例示されるように、車体２は、不図示のユーザが乗車する車室２ａを構成している。車室２ａ内には、ユーザとしての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、および変速操作部７等が設けられている。操舵部４は、例えば、ダッシュボードから突出したステアリングホイールであり、加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルであり、制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルであり、変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、および変速操作部７は、これらには限定されない。
【００１７】
また、図１および図３に例示されるように、車室２ａ内には、表示画面８を有するモニタ装置１０が設けられている。表示画面８は、例えば、ＬＣＤ（liquid  crystal  display）またはＯＥＬＤ（organic  electroluminescent  display）等によって構成される。また、表示画面８は透明なモニタ操作部９で覆われている。モニタ操作部９は、例えばタッチパネルである。ユーザは、モニタ操作部９を介して表示画面８に表示される画像を視認することができる。また、ユーザは、表示画面８に表示される画像に対応した位置で手指等でモニタ操作部９を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。モニタ装置１０は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１０は、タッチパネル以外のモニタ操作部を備え得る。例えば、モニタ装置１０は、他のモニタ操作部として、スイッチ、ダイヤル、ジョイスティック、または押しボタンが設けられていてもよい。モニタ装置１０は、例えば、ナビゲーションシステムやオーディオシステムと兼用され得る。
【００１８】
また、車室２ａ内において、操舵部４を支持するステアリングコラムの右側には、方向指示器に方向の指示を表示させる操作を受け付けるレバーである指示器操作部１９が設けられている。ユーザは、指示器操作部１９を上下方向に押し下げたり押し上げたりすることによって、所望の進路を方向指示器に表示させることができる。進路の指示は、進路方向の方向指示器の明滅によって表現される。また、指示器操作部１９の先端には、前照灯を点灯したり消灯したりする操作を受け付けるダイヤルである前照灯操作部２０が配設されている。ユーザは、前照灯操作部２０を回転させることによって、前照灯を点灯したり消灯したりすることができる。なお、モニタ操作部９と同様に、各種操作部１９、２０は、これらに限定されない。各種操作部１９、２０が配設される位置および操作方法は、任意に変更され得る。
【００１９】
また、図１、図２に示されるように、第１の実施形態では、例えば、車両１は、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。そして、例えば前輪３Ｆのタイヤ角が操舵部４の操作に対応して変化する。
【００２０】
また、第１の実施形態では、図２に示されるように、レーザレンジスキャナ１５と、撮像部１６（ここでは４つの撮像部１６ａ〜１６ｄ）と、が設けられている。各撮像部１６は、例えば、ＣＣＤ（charge  coupled  device）、またはＣＩＳ（ＣＭＯＳ  ｉｍａｇｅ  ｓｅｎｓｏｒ）、等の撮像素子を内蔵している撮像装置である。各撮像部１６は、撮像素子によって、周辺環境を示す画像を撮像することができる。各撮像部１６は、所定のフレームレートで、撮像と撮像された画像の出力とを実行することができる。
【００２１】
第１の実施形態では、撮像部１６ａは、車体２の前側の端部（例えばフロントグリル２ｃ）に配設されている。撮像部１６ａは、車両１の前方向の周辺環境を撮像することができる。ただし、座席２ｂに着座した運転者が正面を向く方向、すなわち運転者からみたフロントガラス側を、車両１の前方向および車体２の前側としている。撮像部１６ｂは、左側のドアミラー２ｆに設けられている。撮像部１６ｂは、車両１の左方向の周辺環境を撮像することができる。撮像部１６ｃは、リアトランクのドア２ｇの下方の壁部に設けられている。撮像部１６ｃは、リアバンパー２ｅに設けられていてもよい。撮像部１６ｃは、車両１の後方向の周辺環境を撮像することができる。撮像部１６ｄは、右側のドアミラー２ｆに設けられている。撮像部１６ｄは、車両１の右方向の周辺環境を撮像することができる。
【００２２】
なお、周辺環境は、車両１の周辺の状況をいう。一例では、周辺環境は、車両１の周辺の路面を含む。また、各撮像部１６が車両１の周辺環境が写っている画像を出力することができる限り、各撮像部１６の構成、撮像部１６の数、各撮像部１６の設置箇所、および各撮像部１６の向きは、上記した内容に限定されない。複数の撮像部１６が写すことができる範囲が重複してもよいし、重複していなくてもよい。
【００２３】
レーザレンジスキャナ１５は、路面の３次元形状を計測するための計測部の一例である。レーザレンジスキャナ１５は、例えば、フロントグリル２ｃにおいて、撮像部１６ａの近傍に設けられている。レーザレンジスキャナ１５は、路面（ここでは車両１の前方向の路面）の３次元形状を計測する。レーザレンジスキャナ１５は、内部に光源（レーザダイオード等）と受光素子とを備える。光源は、車両１の前方向の路面をカバーする領域に対し、３次元的にレーザ光を発射する。当該領域内に存在する物体にレーザ光があたると反射され、反射されたレーザ光（反射波）は受光素子によって受光される。受光素子からの情報はＥＣＵ（electronic  control  unit）１４に送られ、ＥＣＵ１４は、受光素子から送られてきた情報を評価、演算することで、路面の３次元形状を示す地形データを得ることができる。一例では、レーザレンジスキャナ１５は、レーザ光が照射された領域内のレーザ光を反射した各位置について距離および方向を示す、点群データを生成する。レーザレンジスキャナ１５は、生成した点群データをＥＣＵ１４に送る。なお、レーザレンジスキャナ１５による出力データは、点群データに限定されない。レーザレンジスキャナ１５は、地形データを出力するように構成されてもよい。
【００２４】
車両１の進路方向の路面の３次元形状を計測できる限り、レーザレンジスキャナ１５の構成、数、設置箇所、および向きは、上記した内容に限定されない。また、路面の３次元形状を計測する計測部としては、レーザレンジスキャナ１５に替えて、任意の装置が採用可能である。例えば、ステレオカメラが計測部として採用可能である。
【００２５】
また、図４に示されるように、周辺監視システム１００では、モニタ装置１０、ＥＣＵ１４、指示器操作部１９、前照灯操作部２０、シフトセンサ２１、車輪速センサ２２、アクセルセンサ２３、４個の車高センサ２４、４個のドアセンサ２５、舵角センサ２６、２個の加速度センサ２７、ブレーキシステム２８、および操舵システム２９が、車内ネットワーク３０を介して電気的に接続されている。車内ネットワーク３０は、例えば、ＣＡＮ（controller  area  network）として構成されている。ＥＣＵ１４は、車内ネットワーク３０を通じて制御信号を送ることで、ブレーキシステム２８等を制御することができる。また、ＥＣＵ１４は、車内ネットワーク３０を介して、シフトセンサ２１、車輪速センサ２２、アクセルセンサ２３、車高センサ２４、ドアセンサ２５、舵角センサ２６、加速度センサ２７、ブレーキセンサ２８ｂ、およびトルクセンサ２９ｂ、等からの検出情報と、モニタ操作部９、指示器操作部１９、および前照灯操作部２０等からの操作情報とを受け取ることができる。また、ＥＣＵ１４は、レーザレンジスキャナ１５からの点群データと、撮像部１６ａ〜１６ｄからの画像と、を受け取ることができる。
【００２６】
操舵システム２９は、少なくとも二つの車輪３を操舵するためのものである。操舵システム２９は、アクチュエータ２９ａと、トルクセンサ２９ｂとを有する。操舵システム２９は、ＥＣＵ１４等によって電気的に制御されて、アクチュエータ２９ａを動作させる。操舵システム２９は、例えば、電動パワーステアリングシステム、またはＳＢＷ（steer  by  wire）システム等である。また、操舵システム２９は、後輪操舵装置（ＡＲＳ：Active  Rear  Steering）であってもよい。アクチュエータ２９ａは、一つの車輪３を転舵してもよいし、複数の車輪３を転舵してもよい。トルクセンサ２９ｂは、例えば、運転者が操舵部４に与えるトルクを検出する。
【００２７】
シフトセンサ２１は、例えば、変速操作部７の可動部の位置を検出する。
【００２８】
車輪速センサ２２は、車輪３の回転量または単位時間当たりの回転数を検出する。
【００２９】
アクセルセンサ２３は、例えば、加速操作部５の可動部としてのアクセルペダルの位置を検出する。
【００３０】
４個のドアセンサ２５のそれぞれは、それぞれ異なるドア２ｄに配設されている。各ドアセンサ２５は、対応するドア２ｄが開状態であるか閉状態であるかを少なくとも検出する。なお、各ドアセンサ２５は、ドア２ｄが開いている角度を検出するものであってもよい。また、車両１に４以外の数のドア２ｄが設けられている場合には、ドアセンサ２５の数は４に限定されない。また、全てのドア２ｄにドアセンサ２５が設けられていなくてもよい。また、リアトランクのドア２ｇにドアセンサ２５が設けられていてもよい。
【００３１】
舵角センサ２６は、例えば、ステアリングホイール等の操舵部４の操舵量を検出する。舵角センサ２６は、運転者による操舵部４の操舵量、及び、自動操舵時の各車輪３の操舵量等の舵角情報を検出する。
【００３２】
２個の加速度センサ２７は、ピッチ角およびロール角を演算するための加速度を検出するものである。２個の加速度センサ２７のうちの一は、車両１の左右方向の加速度を検出する。２個の加速度センサ２７のうちの他は、車両１の前後方向の加速度を検出する。
【００３３】
ブレーキシステム２８は、アクチュエータ２８ａと、ブレーキセンサ２８ｂとを有する。ブレーキシステム２８は、アクチュエータ２８ａを介して、車輪３に制動力を与える。ブレーキセンサ２８ｂは、例えば、制動操作部６の可動部としてのブレーキペダルの位置を検出する。
【００３４】
４個の車高センサ２４のそれぞれは、不図示のそれぞれ異なる懸架装置（サスペンション）に配設されている。懸架装置は、伸縮可能であり、対応する車輪３の位置決めを少なくとも行うものである。懸架装置は、伸縮することによって、路面からの衝撃を緩衝することができる。各車高センサ２４は、対応する懸架装置の伸縮量を検出する。
【００３５】
ＥＣＵ１４は、例えば、コンピュータである。ＥＣＵ１４は、ＣＰＵ（Central  Processing  Unit）１４ａと、ＲＯＭ（Read  Only  Memory）１４ｂと、ＲＡＭ（Random  Access  Memory）１４ｃと、表示制御部１４ｄと、ＳＳＤ（Solid  State  Drive）１４ｅとを備える。ＣＰＵ１４ａ、ＲＯＭ１４ｂ及びＲＡＭ１４ｃは、同一パッケージ内に集積されていてもよい。
【００３６】
ＣＰＵ１４ａは、ＲＯＭ１４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ１４ａは、例えば、表示画面８に表示させる画像に関連した画像処理等を実行する。
【００３７】
ＲＯＭ１４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ１４ｃは、ＣＰＵ１４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部１４ｄは、ＥＣＵ１４での演算処理のうち、主として、撮像部１６から取得してＣＰＵ１４ａへ出力する撮像画像の処理、ＣＰＵ１４ａから取得して表示画面８に表示させる表示用画像のデータ変換等を実行する。ＳＳＤ１４ｅは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ１４の電源がオフされた場合にあってもＣＰＵ１４ａから取得したデータを維持する。
【００３８】
ここで、ＥＣＵ１４は、周辺監視装置の一例である。第１の実施形態の周辺監視装置の主たる特徴を説明する。
【００３９】
図５は、第１の実施形態の表示画面８の表示例を示す図である。本図のように、周辺監視装置は、表示画面８に、周辺環境を示す画像を表示し、車両１の外観を示す画像８１（以降、車両モデル画像８１）を周辺環境を示す画像に重畳して表示する。周辺監視装置は、車両１の３次元形状を示す車両モデル（車両モデル２１１）を予め記憶している。周辺監視装置は、車両モデル２１１と仮想視点とを仮想空間上に配置し、仮想視点から車両モデル２１１を見た場合に見える像を演算し、得られた像を車両モデル画像８１とする。即ち、車両モデル画像８１は、車両モデル２１１の表示の一例である。車両モデル画像８１と周辺環境を示す画像との関係は、実際の車両１と周辺環境との関係とに対応する。即ち、周辺監視装置は、周辺環境内の車両１が存在する位置に対応する周辺環境を示す画像内の位置に、車両モデル２１１を重畳し、車両モデル２１１が重畳された周辺環境を示す画像を、表示画面８に表示する。
【００４０】
ここで、周辺監視装置は、車両１の状態を取得し、取得した状態を車両モデル２１１に反映させることによって、車両１の状態を車両モデル画像８１に反映させる。車両１の状態とは、車両１の部品または車両１の設定の、外観的な様態を含む。周辺監視装置は、車両１の状態を、車両１の状態に対応する情報に基づいて判断する。車両１の状態に対応する情報は、各種センサの検出結果または各種操作部に入力された操作情報である。
【００４１】
一例では、車両１の状態は、各車輪３の位置を含む。各車輪３は、懸架装置の伸縮により、車体２に対し、主に上下方向に移動し得る。図６および図７は、第１の実施形態の表示画面８の別の表示例を示す図である。これらの図は、車両１が路外地形（オフロード）を走行している際の表示例を示している。図６によれば、車両モデル画像８１に含まれる車体２を示す部分（車体部分８２）に対する、右側の前輪３Ｆを示す部分（タイヤ部分８３）の位置が、標準位置と等しい。また、図７によれば、車体部分８２に対し、タイヤ部分８３が、標準位置よりも下方に位置している。即ち、図７の場合のおける車体部分８２とタイヤ部分８３との間の間隔Ｌ２は、図６の場合のおける車体部分８２とタイヤ部分８３との間の間隔Ｌ１よりも長くなっている。このように、周辺監視装置は、車両モデル画像８１に、各車輪３の上下方向の位置の変動をリアルタイムに反映させる。
【００４２】
なお、周辺監視装置は、各車輪３の状態が表示画面８を介して視認可能になるように、車体部分８２を透過表示してもよい。透過表示とは、透明または半透明に表示することである。図６、図７の例では、車体部分８２が半透明に表示されることにより、実際には車体２に隠れて見えないはずの左側の前輪３Ｆの状態が視認可能となっている。
【００４３】
また、別の一例では、車両１の状態は、前照灯の点灯／消灯を含む。周辺監視装置は、前照灯の点灯／消灯を、前照灯操作部２０への操作情報に基づいて判断することができる。前照灯が点灯している場合には、周辺監視装置は、表示画面８においても、車両モデル画像８１内の前照灯を示す部分（以降、前照灯部分）の様態を、点灯されていることが認識可能な様態に変更する。例えば、前照灯部分を黄色などの明るい色に着色する。前照灯が点灯していない場合には、周辺監視装置は、表示画面８においても、前照灯部分の様態を、消灯されていることが認識可能な様態に変更する。例えば、前照灯部分をグレーなどの暗い色に着色する。このように、周辺監視装置は、車両モデル画像８１に、前照灯の点灯／消灯の状態をリアルタイムに反映させる。
【００４４】
また、さらに別の一例では、車両１の状態は、方向指示器の指示／不指示を含む。周辺監視装置は、方向指示器の指示／不指示を、指示器操作部１９への操作情報に基づいて判断することができる。周辺監視装置は、方向指示器が明滅している場合には、車両モデル画像８１内の対応する方向指示器を示す部分（以降、方向指示器部分）の様態を、明滅していることが認識可能な様態に変更する。例えば、周辺監視装置は、表示画面８において、方向指示器部分を、明滅する様態で表示する。周辺監視装置は、方向指示器が明滅していない場合には、表示画面８においては、方向指示器部分を明滅しない様態で表示する。このように、周辺監視装置は、方向指示器の指示／不指示の状態を、車両モデル画像８１にリアルタイムに反映させる。
【００４５】
また、さらに別の一例では、車両１の状態は、各ドア２ｄの開状態／閉状態を含む。周辺監視装置は、各ドア２ｄの開状態／閉状態を、ドアセンサ２５からの検出情報に基づいて判断することができる。周辺監視装置は、あるドア２ｄが開状態になっているときには、車両モデル画像８１内の対応するドアの部分（以降、ドア部分）を開いている様態で表示画面８に表示する。また、周辺監視装置は、あるドア２ｄが閉状態になっているときには、対応するドア部分を閉じている様態で表示画面８に表示する。図８は、第１の実施形態の表示画面８の別の表示例を示す図である。この図によれば、ドア部分８４と車体部分８２の右側の側面との角度が約６０度となっており、これによって、運転席側のドア２ｄが開状態であることを示している。このように、周辺監視装置は、各ドア２ｄの開状態／閉状態を、車両モデル画像８１にリアルタイムに反映させる。なお、ドアセンサ２５としてドア２ｄの角度が検出可能なセンサが採用される場合には、周辺監視装置は、車両モデル画像８１内の対応するドア部分８４と車体部分８２の側面との角度を、検出された角度と一致せしめてもよい。
【００４６】
なお、周辺監視装置は、仮想視点が変更可能に構成され得る。例えば、周辺監視装置は、図５に示されるように、車両１の左斜め前に仮想視点が設定された場合の周辺環境および車両モデル画像８１を表示画面８に表示してもよいし、図６、図７に示されるように、車両１の右斜め後ろに仮想視点が設定された場合の周辺環境および車両モデル画像８１を表示画面８に表示してもよいし、図８に示されるように、車両１の上空に仮想視点が設定された場合の周辺環境および車両モデル画像８１を表示画面８に表示してもよい。周辺監視装置は、プリセットされたいくつかの仮想視点から所望の仮想視点が選択可能に構成されてもよいし、ユーザが例えばモニタ操作部９等を介して任意の仮想視点を入力可能に構成されてもよい。
【００４７】
このように、車両１の外観の状態が車両モデル画像８１にリアルタイムに反映されることで、ユーザは、車室２ａ内にいながら車両１の状態を客観的に確認することができるようになる。即ち、周辺監視装置は、車両１の状態を客観的にわかりやすく表示することができる。
【００４８】
さらに、第１の実施形態の周辺監視装置の別の特徴として、周辺監視装置は、車両１の床下を含む周辺環境を示す画像を表示画面８に立体的に表示する。具体的には、周辺監視装置は、車両１の床下を含む周辺環境を示す画像を地形データに投影することで、周辺環境を示す画像を立体的に表示する。周辺監視装置が、周辺環境を示す画像を立体的に表示するとともに各車輪３の上下動を車両モデル画像８１に反映させる。これによって、図６、７の画面表示が行われる。表示画面８に、車両１および周辺環境がともに立体的に、かつ重畳されて表示されることによって、ユーザは、各車輪３が接地しているか否かを表示画面８上で視認することが可能となり、周辺監視装置の利便性が向上する。
【００４９】
なお、周辺監視装置は、周辺環境を示す画像を、撮像部１６によって撮像された画像を用いて生成する。ここで、第１の実施形態では、いずれの撮像部１６でも車両１の床下の路面を示す画像をリアルタイムに撮像することができない。そこで、周辺監視装置は、過去に撮像部１６ａ〜１６ｄによって撮像された各画像を保存しておき、保存された各画像に基づいて、車両１の現在の床下の路面を示す画像を生成する。例えば車両１が直進する場合、あるタイミングに撮像部１６ａによって撮像された画像に写っている路面上を、その後のタイミングに車両１が通過する。周辺監視装置は、撮像部１６ａによって少し前のタイミングに撮像された画像を保存しておくことで、その画像を、車両１が通過中の路面を示す画像として使用することができる。なお、車両１の床下に別の撮像部を設けることで、周辺監視装置は、床下の路面を示す画像をその撮像部からリアルタイムに取得してもよい。また、周辺監視装置は、進路方向によっては、撮像部１６ａ以外の撮像部１６によって少し前のタイミングに撮像された画像から、車両１が通過中の路面を示す画像を取得してもよい。
【００５０】
また、レーザレンジスキャナ１５の検出範囲は、図２の設置例によれば、車両１の前方の路面を含む一部の範囲に限られている。地形データに関しても、周辺環境を示す画像と同様に、周辺監視装置は、車両１の床下を含む路面の地形データを、少し前のタイミングに検出したデータに基づいて生成する。なお、車両１の床下に別のレーザレンジスキャナ１５を設けることで、周辺監視装置は、そのレーザレンジスキャナ１５からの検出情報に基づいて床下の路面の地形データをリアルタイムに演算してもよい。また、車体２の左右側および後ろ側にもレーザレンジスキャナ１５が設けられていてもよい。
【００５１】
図９は、第１の実施形態の周辺監視装置としてのＥＣＵ１４の機能的構成を示すブロック図である。ＣＰＵ１４ａが、ＲＯＭ１４ｂ内に予め格納されたプログラムを実行することで、取得部２００、前処理部２０１、および表示処理部２０２を実現する。表示処理部２０２は、環境モデル生成部２０３、車両モデル加工部２０４、および出力部２０５を備える。また、ＥＣＵ１４は、一時データが格納される記憶部２１０を実現する。記憶部２１０は、例えばＲＡＭ１４ｃ上に確保される。なお、これらの機能的構成を実現するためのプログラムは、コンピュータが読み取り可能な、ＲＯＭ１４ｂ以外の任意の記録媒体を介して提供されてもよい。また、ＥＣＵ１４は、記憶部２１０上にリングバッファ２１２を実現する。また、ＥＣＵ１４は、記憶部２１０上に車両モデル２１１を格納する。例えば、車両モデル２１１は、ＳＳＤ１４ｅ内に予め格納されており、ＥＣＵ１４は、起動時に、車両モデル２１１をＳＳＤ１４ｅからＲＡＭ１４ｃ内の記憶部２１０にロードする。なお、取得部２００、前処理部２０１、表示処理部２０２、環境モデル生成部２０３、車両モデル加工部２０４、および出力部２０５のうちの一部または全部は、ハードウェア回路、またはハードウェア回路とソフトウェア（プログラム）との組み合わせによって実現されてもよい。
【００５２】
取得部２００は、撮像部１６から画像を取得する。また、取得部２００は、レーザレンジスキャナ１５から点群データを取得する。
【００５３】
また、取得部２００は、車両１が備える各種センサ、および車両１が備える各種操作部から、種々の情報を取得する。第１の実施形態の取得部２００は、車両１の状態に対応する情報として、車高センサ２４からの車高情報と、ドアセンサ２５からの開閉情報と、を取得する。また、取得部２００は、車両１の状態に対応する情報として、指示器操作部１９および前照灯操作部２０に入力された各種操作情報を取得する。また、取得部２００は、加速度センサ２７から加速度情報を取得する。
【００５４】
なお、取得部２００は、取得された時刻が略一致する画像、点群データ、各種検出情報および各種操作情報を、相互に対応付けておく。
【００５５】
前処理部２０１は、取得部２００が取得した各種情報のうちの任意の情報を適宜加工する。
【００５６】
第１の実施形態では一例として、前処理部２０１は、レーザレンジスキャナ１５から取得した点群データを、地形データに変換する。地形データは、例えば、路面の３次元形状を、ポリゴンモデルの手法で表現する。なお、３次元形状の表現手法は、ポリゴンモデルだけに限定されない。３次元形状の表現手法としては、例えば、サーフェスモデル、ワイヤーフレームモデル、ソリッドモデルなど、他の任意の手法が採用可能である。
【００５７】
また、前処理部２０１は、２個の加速度センサ２７から取得した加速度情報に基づいて、車両１の角度情報（ピッチ角およびロール角）を算出する。なお、ピッチ角とは、車両１の左右軸周りの傾きを示した角度であり、ロール角とは、車両１の前後軸周りの傾きを示した角度である。
【００５８】
また、前処理部２０１は、撮像部１６ａにより撮像された、車両１の前方の周辺環境を写した画像と、地形データと、に対し、ピッチ角およびロール角に基づき、補正を行う。画像および地形データは、車両１に設けられたレーザレンジスキャナ１５、撮像部１６の設置位置を視点としたものであるから、傾いた視点から周辺環境を写したものとなっている。前処理部２０１は、視点の傾きによって傾いて撮像された画像を、ピッチ角およびロール角に基づいて補正することで、撮像されたタイミングが異なる複数の画像間で視点の傾きを統一する。
【００５９】
また、前処理部２０１は、車両１の位置を推定する。車両１の位置の推定方法は、特定の方法に限定されない。ここでは一例として、前処理部２０１は、過去に撮像した画像と現在撮像した画像とを用いてオプティカルフローを演算し、演算されたオプティカルフローに基づいて画像を撮像したタイミング間の車両１の移動量を算出し、移動量に基づいて車両１の位置を推定する。なお、車両１の位置の推定方法はこれに限定されない。例えば、前処理部２０１は、図示しないＧＰＳの情報、車輪３の回転量、操舵情報、など、他の情報に基づいて車両１の位置を推定してもよい。
【００６０】
前処理部２０１は、補正された後の画像および地形データと、車両１の位置情報および角度情報（ピッチ角およびロール角）と、各種検出情報と、各種操作情報とを、対応付けてリングバッファ２１２に保存する。
【００６１】
図１０は、リングバッファ２１２の構造を示した図である。本図に示されるように、リングバッファ２１２には、画像と、当該画像の撮像時の地形データと、当該画像の撮像時の車両１の位置情報および角度情報と、各種検出情報と、各種操作情報と、が対応付けて蓄積される。リングバッファ２１２は、論理的にリング状に配置された記憶領域である。そして、リングバッファ２１２においては、前処理部２０１の保存要求に応じて、最も古く更新された領域に対して、当該保存要求された画像等を上書き保存していく。
【００６２】
第１の実施形態は、画像等をリングバッファ２１２に保存する間隔を制限するものではないが、例えば、どのタイミングにおいても通過中の路面が写っている画像および通過中の路面の凹凸を示す地形データを過去に保存された画像および地形データから少なくとも取得可能なように、保存の間隔は、長すぎない値に設定される。ここでは、最後にリングバッファ２１２に格納された画像を、リアルタイムの画像としてみなすことが可能なように、十分に短い時間間隔でリングバッファ２１２への保存が行われることとする。なお、リアルタイムの画像がリングバッファ２１２とは別のバッファを介して取得されるように構成される場合には、リングバッファ２１２に保存する間隔は上記に限定されない。
【００６３】
リアルタイムの画像とは、ユーザが現在のタイミングに撮像された画像であると見なすことが可能な画像であり、撮像されてから現在までの経過時間が無視できる程度に十分に小さい画像である。リングバッファ２１２に保存されている各画像のうちのリアルタイムの画像以外の画像を、過去の画像と表記する。即ち、リングバッファ２１２に保存されている各画像のうちの最後に保存された画像以外の画像は、過去の画像に該当する。また、リアルタイムの画像に対応付けられてリングバッファ２１２に保存されている地形データを、リアルタイムの地形データと表記する。また、過去の画像に対応付けられてリングバッファ２１２に保存されている地形データを、過去の地形データと表記する。
【００６４】
表示処理部２０２は、表示画面８に対する表示処理を行う。
【００６５】
環境モデル生成部２０３は、車両１の床下の路面を含む周辺環境を示す画像を生成する。環境モデル生成部２０３は、リアルタイムの画像および過去の画像をリングバッファ２１２から取得して、取得した各画像を合成することによって周辺環境を示す画像を生成する。画像の合成は、複数の画像をシームレスに接続することである。
【００６６】
また、環境モデル生成部２０３は、リアルタイムの地形データおよび過去の地形データをリングバッファ２１２から取得して、取得した各地形データを合成することによって、車両１の床下の路面を含む周辺環境の地形データを生成する。地形データの合成は、複数の地形データをシームレスに接続することである。
【００６７】
さらに、環境モデル生成部２０３は、生成した地形データに、生成した画像を、テクスチャマッピングなどの手法によって投影する。この処理によって生成された周辺環境の立体形状を表す情報を、環境モデルと表記する。なお、画像の範囲のうち、地形データが不足している部分がある場合は、環境モデル生成部２０３は、当該部分に対し、任意の手法で処理し得る。例えば環境モデル生成部２０３は、地形データが不足している部分を、平面形状で補完してもよい。
【００６８】
車両モデル加工部２０４は、車両１の状態に対応する情報に基づいて車両モデル２１１を加工する。具体的には、車両モデル加工部２０４は、リアルタイムの画像に対応付けられた角度情報、各種検出情報、および各種操作情報を取得する。そして、車両モデル加工部２０４は、車両モデル２１１の形状、色、傾き、またはそれらのいくつかを、各種検出情報または各種操作情報に基づいて加工する。換言すると、車両モデル加工部２０４は、車両モデル２１１の様態に、各種検出情報および各種操作情報から判断される車両１の状態を反映させる。また、車両モデル加工部２０４は、車両モデル２１１を、取得した角度情報に応じて傾ける。
【００６９】
なお、車両モデル２１１は、車両１の３次元形状を表すデータである。車両モデル２１１の３次元形状の表現手法は、上述の地形データと同様に、任意の手法が採用可能である。
【００７０】
出力部２０５は、環境モデル生成部２０３によって生成された環境モデルと、車両モデル加工部２０４によって加工された車両モデル２１１とを同一の仮想空間に配置する。そして、出力部２０５は、仮想空間に配置された環境モデルと車両モデル２１１とに基づいて、表示画面８に表示する画像フレームを生成し、生成した画像フレームを表示画面８に出力する。これにより、図５〜図８に示されるように、周辺環境を示す画像に車両モデル画像８１が重畳された画像が、表示画面８に出力される。なお、ここでは、仮想空間に環境モデルと車両モデル２１１とが配置された後に、仮想視点からの像を演算するとして説明するが、周辺環境を示す画像と車両モデル画像８１とを別々に生成し、その後、車両モデル画像８１が周辺環境を示す画像に重畳されてもよい。
【００７１】
次に、以上のように構成された第１の実施形態の周辺監視装置の動作について説明する。図１１は、第１の実施形態の周辺監視装置における、画像の保存処理の手順を示すフローチャートである。図１１の処理は、リングバッファ２１２への各種データの保存の周期毎に実行される。
【００７２】
まず、撮像部１６ａ〜１６ｄが、車両１の周辺環境を撮像する（Ｓ１０１）。特に撮像部１６ａは、車両１の進行方向のうち、路面を含む領域を撮像する。さらに、レーザレンジスキャナ１５が、車両１の前方向の路面の３次元形状を計測する（Ｓ１０２）。
【００７３】
続いて、取得部２００が、撮像部１６ａ〜１６ｄから画像を、レーザレンジスキャナ１５から計測結果である点群データを、各種センサから検出情報を、各種操作部から操作情報を、それぞれ取得する（Ｓ１０３）。検出情報は、例えば、４個の車高センサ２４からの車高情報、４個のドアセンサ２５からの開閉情報、および２個の加速度センサ２７からの加速度情報である。また、操作情報は、指示器操作部１９および前照灯操作部２０からの操作情報である。なお、検出情報の種類および操作情報の種類は、適宜変更することが可能である。
【００７４】
続いて、前処理部２０１が、点群データを地形データに変換する（Ｓ１０４）。
【００７５】
続いて、前処理部２０１が、取得部２００によって取得された検出情報のうちの加速度センサ２７からの加速度情報に基づいて、車両１のロール角およびピッチ角を算出する（Ｓ１０５）。そして、前処理部２０１が、取得部２００によって取得された画像と、変換によって得られた地形データに対して、ロール角およびピッチ角に応じた補正を行う（Ｓ１０６）。
【００７６】
さらに、前処理部２０１が、オプティカルフローに基づいて、前回に画像が撮像された時点から今回に画像が撮像された時点までの車両１の移動量を推定する（Ｓ１０７）。前述したように、移動量の推定方法はオプティカルフローを用いた手法だけに限定されない。
【００７７】
続いて、前処理部２０１は、リングバッファ２１２の最も古くに更新された領域に対して、補正した後の画像を、上書き形式で保存する（Ｓ１０８）。その際に、前処理部２０１は、補正後の地形データ、車両１の位置情報、車両１の角度情報、各種検出情報、および各種操作情報を、各画像に対応付けてリングバッファ２１２に保存する。なお、ここでは、一例として、車両１の位置情報は、現在の位置を基準（即ち原点）とした情報とするが、位置情報の基準は、これに限定されない。Ｓ１０８の処理においては、位置情報として、原点の位置情報を保存する。
【００７８】
続いて、前処理部２０１は、演算した移動量に基づき、リングバッファ２１２に保存されている過去の各画像の撮像時の位置情報を、現在の位置情報を基準とした位置情報に更新する（Ｓ１０９）。Ｓ１０９の処理によって、今回の保存の周期にかかる画像の保存処理が終了する。
【００７９】
図１２は、第１の実施形態の周辺監視装置における、表示を制御する処理の手順を示すフローチャートである。なお、本図は、表示画面８に一つの画像フレームを出力するまでの処理を示している。本図に示す一連の処理が所定の制御周期で繰り返し実行されることで、画像フレームが制御周期毎に切り替わり、その結果、ユーザは、表示画面８の表示内容を映像として認識することができる。制御周期は、例えば、リングバッファ２１２への画像の保存の周期と等しい。制御周期は、リングバッファ２１２への画像の保存の周期と異なっていてもよい。
【００８０】
まず、環境モデル生成部２０３は、リアルタイムの画像をリングバッファ２１２から取得する（Ｓ２０１）。即ち、環境モデル生成部２０３は、リングバッファ２１２から、最後に保存された画像を取得する。ここでは、環境モデル生成部２０３は、撮像部１６ａ〜１６ｄによって撮像された画像を取得する。
【００８１】
そして、環境モデル生成部２０３は、取得した撮像部１６ａ〜１６ｄによって撮像された画像を加工することによって、車両１の床下の部分を除く、周辺環境を示す画像を生成する（Ｓ２０２）。画像に対する加工は、切り抜き、マスキング、複数の画像の合成、画像の一部または全体のフィルタ処理、補正、ならびに視点変換、を含む。補正は、例えば、歪曲補正またはガンマ補正である。視点変換は、一例では、各撮像部１６によって得られた画像から鳥瞰画像など他の視点からみた画像を生成することである。一例では、環境モデル生成部２０３は、撮像部１６ａ〜１６ｄによって撮像された画像をシームレスに合成することによって、一枚の画像を生成する。
【００８２】
撮像部１６ａ〜１６ｄは、車両１の前方、左方、後方、および右方の周辺環境を写すので、撮像部１６ａ〜１６ｄによって得られた画像を合成することによって、死角となっている車両１の床下の部分を除いた、周辺環境を示す画像が得られる。死角部分は、車両１の床下部分よりも広くてもよく、その場合は、死角部分を示す部分は、後述の処理（Ｓ２０３、Ｓ２０４）によって補完されてもよい。
【００８３】
なお、環境モデル生成部２０３は、Ｓ２０２において、視点変換を行ってもよい。例えば、環境モデル生成部２０３は鳥瞰画像を生成してもよい。なお、以降、特に言及しないが、画像および地形データに関し、任意のタイミングで視点変換が実行され得る。また、画像および地形データに関し、一部分または全体に対し、任意のタイミングで視点変換以外の任意の加工が実行され得る。
【００８４】
続いて、環境モデル生成部２０３は、リングバッファ２１２に保存されている過去の画像のうちから、現在通過中の路面が写っている画像を取得する（Ｓ２０３）。なお、環境モデル生成部２０３は、任意の手法によって、リングバッファ２１２に保存されている過去の画像のうちから、現在通過中の路面が写っている画像を選択する。一例では、各画像に対応付けられている位置情報に基づいて、現在通過中の路面が写っている画像を選択する。
【００８５】
続いて、環境モデル生成部２０３は、取得した過去の画像に基づいて、Ｓ２０２の処理によって生成された画像のうちの現在の車両１の床下部分を補う（Ｓ２０４）。例えば、環境モデル生成部２０３は、取得した過去の画像から、現在通過中の路面、即ち現在の車両１の床下の路面、が写っている部分を切り出して、切り出した画像に対して適宜、視点変換を行い、視点変換後の画像をＳ２０２の処理によって生成された画像とシームレスに合成する。
【００８６】
なお、現在通過中の路面が分割されてそれぞれが別々の画像に写っている場合には、環境モデル生成部２０３は、それらの画像をすべて取得するようにしてもよい。別々の画像は、撮像した撮像部１６が異なる別々の画像であってもよいし、撮像したタイミングが異なる別々の画像であってもよい。Ｓ２０４の処理においては、環境モデル生成部２０３は、取得した複数の画像から現在通過中の路面が写っている部分をそれぞれ切り出して、切り出した複数の画像を用いて現在の車両１の床下部分を補う。
【００８７】
続いて、環境モデル生成部２０３は、リアルタイムの地形データをリングバッファ２１２から取得する（Ｓ２０５）。そして、環境モデル生成部２０３は、リングバッファ２１２に保存されている過去の地形データのうちから、現在通過中の路面の地形データを取得する（Ｓ２０６）。そして、環境モデル生成部２０３は、Ｓ２０５の処理によって取得した地形データと、Ｓ２０６の処理によって取得した地形データとをシームレスに合成する（Ｓ２０７）。
【００８８】
環境モデル生成部２０３は、地形データに関しても、画像の合成と同様に、３以上の地形データを合成してもよい。また、環境モデル生成部２０３は、合成前の各地形データに対して適宜、視点変換を含む加工を行ってもよい。
【００８９】
続いて、環境モデル生成部２０３は、Ｓ２０４の処理によって完成した、周辺環境を示す画像を、Ｓ２０６の処理によって完成した地形データに投影する（Ｓ２０８）。例えば、地形データにポリゴンモデルが採用されている場合、環境モデル生成部２０３は、地形を構成する多数の面のそれぞれに、周辺画像を示す画像のうちの対応する部分を貼り付ける。Ｓ２０７によって、環境モデルが完成する。
【００９０】
続いて、車両モデル加工部２０４は、リアルタイムの画像に対応付けられている各種検出情報および各種操作情報を、リングバッファ２１２から取得する（Ｓ２０９）。そして、車両モデル加工部２０４は、車両モデル２１１の形状、色、傾き、またはそれらのいくつかを、各種検出情報および各種操作情報に基づいて加工する（Ｓ２１０）。
【００９１】
Ｓ２１０の処理においては、一例では、車両モデル加工部２０４は、取得した検出情報に含まれる車高センサ２４からの車輪３毎の車高情報に基づいて、各車輪３の懸架装置の伸縮量を演算する。そして、車両モデル加工部２０４は、各車輪３の懸架装置の伸縮量に基づいて、各車輪３の位置を演算する。そして、車両モデル加工部２０４は、演算された各車輪３の位置を、車両モデル２１１に反映させる。例えば、各車輪３のモデルと車体２のモデルとの相対的な位置関係を自由に変更できるように、車両モデル２１１は、各車輪３のモデルと、車体２のモデルとをそれぞれ異なるデータとして含んでいる。ある車輪３が伸展している場合には、車両モデル加工部２０４は、車両モデル２１１に含まれる対応する車輪３のモデルの位置を、伸展した量に応じて下方に移動する。また、車輪３が収縮している場合には、車両モデル加工部２０４は、車両モデル２１１に含まれる対応する車輪３のモデルの位置を、収縮した量に応じて上方に移動する。このように、車両モデル加工部２０４は、車輪３のモデルと車体２のモデルとの間隔を、懸架装置の伸縮量に応じて変更する。
【００９２】
なお、車両モデル加工部２０４は、車両モデル２１１の所定部分を透明または半透明にしてもよい。例えば、車両モデル加工部２０４は、車両モデル２１１に含まれる車体２のモデルを透明または半透明にしてもよい。
【００９３】
また、Ｓ２１０の処理において、別の一例では、車両モデル加工部２０４は、前照灯操作部２０に入力された操作情報に基づいて、前照灯の点灯／消灯を判断する。車両モデル加工部２０４は、車両モデル２１１における前照灯に該当する部分（即ち前照灯のモデル）の色を、前照灯が点灯されているか消灯されているかに応じて変更する。
【００９４】
また、Ｓ２１０の処理において、さらに別の一例では、方向指示器の指示／不指示を含む。車両モデル加工部２０４は、指示器操作部１９に入力された操作情報に基づいて、方向指示器の指示／不指示を判断する。車両モデル加工部２０４は、車両モデル２１１における方向指示器に該当する部分（即ち方向指示器のモデル）の表示を、方向指示器の指示／不指示に応じて明滅させたりさせなかったりする。なお、車両モデル２１１における方向指示器に該当する部分を明滅させるとは、車両モデル２１１における方向指示器に該当する部分を点灯したり消灯したりすることを繰り返すことである。車両モデル加工部２０４は、車両モデル２１１における方向指示器に該当する部分を明滅させる場合において、今回生成する画像フレームにおいて方向指示器に該当する部分を点灯した様態にするか消灯した様態にするかを、過去に生成された画像フレームに応じて決定する。
【００９５】
また、Ｓ２１０の処理において、さらに別の一例では、例えば、車体２のモデルと各ドア２ｄのモデルとの相対的な位置関係を自由に変更できるように、車両モデル２１１は、車両モデル２１１における各ドアに該当する部分を、車両モデル２１１のうちの車体２の部分に該当するモデルとは別のデータとして含んでいる。車両モデル加工部２０４は、車両モデル２１１に含まれる対応するドアのモデルと、車両モデル２１１に含まれる車体２のモデルと、の角度を、各ドアセンサ２５からの検出情報に基づいて変更する。
【００９６】
Ｓ２１０の処理に続いて、車両モデル加工部２０４が、車両モデル２１１の傾斜角度を、取得した角度情報に応じて変更する（Ｓ２１１）。
【００９７】
続いて、出力部２０５が、環境モデルおよびＳ２１０の処理の後の車両モデル２１１を、同一の仮想空間内に配置する（Ｓ２１２）。配置の際には、出力部２０５は、実際の車両１と周辺環境との関係が、環境モデルと加工後の車両モデル２１１との関係に対応するように、環境モデルと加工後の車両モデル２１１との位置関係を調整する。環境モデルの作成の元となった画像は、リングバッファ２１２に格納される際に、当該画像が撮像されたタイミングにおける位置情報および角度情報と対応付けられている。また、各撮像部１６の光軸の向きは、既知または取得可能である。出力部２０５は、これらの情報に基づき、環境モデルと加工後の車両モデル２１１との位置関係を調整することができる。
【００９８】
続いて、出力部２０５が、仮想空間に仮想視点を設定し（Ｓ２１３）、仮想視点に基づいて、表示画面８に出力するための画像（画像フレーム）を演算する（Ｓ２１４）。出力部２０５は、演算によって得られた画像（画像フレーム）を表示画面８に出力し（Ｓ２１５）、表示を制御する処理が終了する。
【００９９】
以上述べたように、第１の実施形態によれば、周辺監視装置は、車両１の周辺環境を示す画像と、車両１の状態に対応する情報と、を取得し、取得した情報に応じて車両モデル２１１を加工する。そして、周辺監視装置は、加工された車両モデル２１１を、周辺環境を示す画像に重畳し、車両モデル２１１が重畳された周辺環境を示す画像を表示画面８に出力する。これにより、車両１の状態が車両モデル画像８１にリアルタイムに反映されるので、ユーザは、車室２ａ内にいながら車両１の状態を客観的に確認することができるようになる。即ち、周辺監視装置は、車両１の状態を客観的にわかりやすく表示することができる。
【０１００】
また、周辺監視装置は、車両１の状態に対応する情報として、懸架装置の伸縮量を取得する。そして、周辺監視装置は、懸架装置の伸縮量を、車両モデル２１１に含まれる車体２のモデルと車輪３のモデルとの間隔を変更する。これにより、ユーザは、車室２ａ内にいながら周辺環境に応じた車輪３の状態を把握することが可能となる。
【０１０１】
なお、周辺監視装置は、車体２のモデルと車輪３のモデルとの相対位置を変更する場合には、当該相対位置の変更前の位置に車輪３のモデルの残像を生成してもよい。一例では、車両モデル加工部２０４は、車輪３のモデルを相対位置の変更前の位置に複製し、複製された車輪３のモデルの透過度を、相対位置の変更後の位置に配置される車輪３のモデル（即ちリアルタイムの状態を示す車輪３のモデル）よりも高く設定する。これにより、位置の変動前のタイヤ部分８３が残像として表示画面８に表示されるので、ユーザは、車輪３の位置がどのように変化しているかを知ることが可能となる。なお、タイヤ部分８３の表示可能な残像の数は車輪３当たりに一つに限定されない。車輪３当たりに複数の残像が表示されてもよい。複数の残像のそれぞれは、それぞれ異なるタイミングにおける位置に対応する位置に表示されてもよいし、所定量だけ相対位置が変動する毎に残像が生成されて表示されてもよい。また、車両モデル加工部２０４が残像の透過度を時間経過とともに高く変化せしめることで、対応するタイヤ部分８３が時間とともに透明に近づいてゆき、最終的には表示画面８から消去されるようにしてもよい。なお、残像の消去の方法は上記だけに限定されない。
【０１０２】
また、車両１に車高調整装置が設けられてもよい。その場合において、車高調整装置が車高を変更中に、周辺監視装置は、懸架装置の伸縮量を逐次取得し、取得した伸縮量を車両モデル２１１にリアルタイムに反映する。車高の調整中に、車両モデル画像８１に車高の変化がリアルタイムに反映されることで、エンターテインメント性の高い演出を行うことができる。
【０１０３】
周辺監視装置は、車高センサ２４が故障している場合には、車両モデル２１１の加工に関し、任意の処理を実行し得る。例えば、車高センサ２４が故障している場合には、周辺監視装置は、車体２のモデルに対する車輪３のモデルの位置を基準位置とする。別の例では、車高センサ２４が故障している場合には、周辺監視装置は、故障している車高センサ２４に対応する車輪３のモデルを、通常とは異なる色で着色表示してもよい。
【０１０４】
また、周辺監視装置は、各車輪３の舵角または各車輪３の回転速度を、車輪３のモデルに反映するようにしてもよい。例えば、周辺監視装置は、舵角センサ２６からの舵角情報に応じて、車輪３のモデルの舵角を変更する。ユーザは、周辺環境と車輪３の舵角との対応を把握することが容易になる。また、例えば、周辺監視装置は、車輪速センサ２２による検出情報に応じて、車輪３のモデルを回転する様態で表示する。ユーザは、周辺環境に応じた車輪３の回転を把握することが可能となる。
【０１０５】
また、周辺監視装置は、周辺環境を示す画像を視点変換してそのまま表示画面８に出力してもよいが、周辺環境を示す画像を、周辺環境を立体的に示す画像に加工して出力する。具体的には、周辺監視装置は、レーザレンジスキャナ１５による路面の３次元形状の計測結果をさらに取得し、周辺環境を示す画像を、路面の３次元形状に投影することによって環境モデルを生成する。そして、周辺監視装置は、車両モデル２１１を、環境モデルとともに表示画面８に表示する。これにより、ユーザは、車輪３が接地しているか否かを表示画面８によって認識することが可能となる。
【０１０６】
なお、周辺監視装置は、車輪３が接地しているか否かを強調表示してもよい。一例では、周辺監視装置は、車輪３が接地しているか否かに応じて、車輪３のモデルの色を変更する。別の例では、周辺監視装置は、車輪３が接地しているか否かに応じて、車輪３のモデルの透過度を変更する。車輪３が接地しているか否かを判断する手法は、特定の手法に限定されない。一例では、周辺監視装置は、仮想空間に車両モデル２１１と環境モデルとを配置した後、車輪３のモデルと環境モデルとが接触しているか否かを、モデル間の位置関係から判断する。別の例では、周辺監視装置は、車輪速センサ２２による検出情報と車両１の移動量とから、車輪３が空転しているか否かを判断する。そして、周辺監視装置は、車輪３が空転しているか否かに応じて、車輪３が接地しているか否かを判断する。
【０１０７】
また、周辺監視装置は、車輪３がスリップしているか否かを強調表示してもよい。一例では、周辺監視装置は、車輪３がスリップしているか否かに応じて、車輪３のモデルの色を変更する。別の例では、周辺監視装置は、車輪３がスリップしているか否かに応じて、車輪３のモデルの透過度を変更する。例えば、周辺監視装置は、スリップしている車輪３のモデルの透過度を、スリップしていない車輪３のモデルの透過度よりも高くする。車輪３がスリップしているか否かを判断する手法は、特定の手法に限定されない。
【０１０８】
また、周辺監視装置は、方向指示器または前照灯などの灯火装置の操作部（指示器操作部１９、前照灯操作部２０）からの操作情報を、車両１の状態に対応する情報として取得する。周辺監視装置は、灯火装置が点灯しているか消灯しているかを、操作情報に基づいて判断する。周辺監視装置は、灯火装置が点灯しているか消灯しているかに応じて、車両モデル２１１に含まれる対応する灯火装置のモデルの色を変更する。これにより、ユーザは、灯火装置の点灯／消灯を、表示画面８によって確認することが可能となる。
【０１０９】
なお、尾灯、車幅灯、番号灯、前部霧灯、後部霧灯、制動灯、後退灯、駐車灯、補助制動灯、または非常点滅表示灯など、方向指示器および前照灯以外の灯火装置についても、点灯しているか消灯しているかに応じて、周辺監視装置は、車両モデル２１１に含まれる対応する灯火装置のモデルの色を変更してもよい。また、周辺監視装置は、灯火装置が点灯しているか消灯しているかを、操作情報以外の情報に基づいて判断してもよい。例えば、灯火装置が点灯しているか消灯しているかを検出するセンサを車両１に設け、周辺監視装置は、灯火装置が点灯しているか消灯しているかを、センサが出力する検出情報に基づいて判断してもよい。また、他の操作と対応して点灯／消灯される灯火装置に関しては、周辺監視装置は、当該他の操作を検出するセンサによる検出情報に基づいて灯火装置が点灯しているか消灯しているかを判断してもよい。また、方向指示器が明滅している場合、周辺監視装置は、車両モデル２１１に含まれる方向指示器の様態を、方向指示器の明滅と同期するように明滅させて表示してもよい。
【０１１０】
また、周辺監視装置は、ドアセンサ２５からの検出情報を、車両１の状態に対応する情報として取得する。ドアセンサ２５からの検出情報は、ドア２ｄが開状態であるか閉状態であるかを示す。周辺監視装置は、ドア２ｄのモデルと車体２のモデルとの角度を、ドア２ｄが開状態であるか閉状態であるかに応じて変更する。これにより、ユーザは、ドア２ｄが開状態であるか閉状態であるかを表示画面８によって確認することが可能となる。
【０１１１】
また、周辺監視装置は、ドアミラー２ｆが開状態であるか閉状態であるかに応じて、車両モデル２１１に含まれる対応するドアミラー２ｆのモデルの様態を変更してもよい。周辺監視装置は、ドアミラー２ｆの閉状態／開状態を、ドアミラー２ｆの開閉を操作するスイッチへの入力に基づいて判断することができる。また、周辺監視装置は、ワイパーブレードの動作など、他の部品の状態を、車両モデル２１１に含まれる対応するモデルの様態に反映させてもよい。また、周辺監視装置は、ドア２ｄに設置されたウインドウが開状態であるか閉状態であるかに応じて、車両モデル２１１に含まれる対応するウインドウのモデルの様態を変更してもよい。周辺監視装置は、ウインドウが開状態であるか閉状態であるかを、ウインドウを操作するスイッチへの入力に基づいて判断することができる。または、ウインドウが開状態であるか閉状態であるかを検出するセンサを設け、周辺監視装置は、当該センサによる検出情報に基づいてウインドウが開状態であるか閉状態であるかを判断してもよい。また、周辺監視装置は、ウインドウを操作するスイッチからの操作情報またはウインドウが開状態であるか閉状態であるかを検出するセンサセンサからの検出情報に基づいて、ウインドウが開いている量を取得し、取得した量を車両モデル２１１に含まれる対応するウインドウの様態に反映してもよい。
【０１１２】
また、以上では、車両モデル画像８１に反映される車両１の状態としては、車両１の外観的な様態であるとして説明したが、車両モデル画像８１に反映される車両１の状態はこれに限定されない。周辺監視装置は、実際の車両１において外観的に視認が困難な部品または外観的に視認が困難な設定を、車両モデル画像８１に反映してもよい。
【０１１３】
一例では、車両１の状態は、不図示の差動装置のロック／非ロックを含む。車両モデル２１１は、差動装置のモデルを含む。周辺監視装置は、車体２のモデルを半透明に表示し、かつ、懸架装置のモデルを表示する。ここで、周辺監視装置は、差動装置の表示に関し、ロック状態であるか非ロック状態であるかに応じて差動装置のモデルの表示様態を変える。例えば、差動装置がロック状態である場合には、周辺監視装置は、差動装置のモデルを赤く着色する。差動装置が非ロック状態である場合には、周辺監視装置は、差動装置のモデルを青く着色する。周辺監視装置は、差動装置がロック状態であるか非ロック状態であるかを、例えば、不図示のロック状態／非ロック状態の切り替えスイッチへの入力に基づいて判断することができる。
【０１１４】
別の例では、車両１の状態は、不図示の懸架装置の伸縮を含む。車両モデル２１１は、車輪３毎に懸架装置のモデルを含む。周辺監視装置は、車体２のモデルを半透明に表示し、かつ、車輪３毎の差動装置のモデルを表示する。そして、周辺監視装置は、各懸架装置の伸縮量を、リアルタイムに懸架装置のモデルに反映させる。
【０１１５】
このように、周辺監視装置は、外観的に視認が困難な部品または外観的に視認が困難な設定を、視認可能な様態で表示するようにしてもよい。
【０１１６】
＜第２の実施形態＞
図１３は、第２の実施形態の周辺監視装置としてのＥＣＵ１４の機能的構成を示すブロック図である。第２の実施形態の周辺監視装置は、表示処理部２０２に演算部２０６が追加されている点で、第１の実施形態と異なる。ここでは、第１の実施形態と異なる部分について重点的に説明し、重複する説明を省略する。
【０１１７】
第２の実施形態においては、レーザレンジスキャナ１５は、障害物の位置を計測する計測部として機能する。障害物の位置を計測する計測部としては、レーザレンジスキャナ１５に替えて、超音波ソナー、またはステレオカメラなど、任意の装置が採用可能である。
【０１１８】
演算部２０６は、レーザレンジスキャナ１５による計測結果から得られた地形データに基づき、ドア２ｄの可動範囲に存在する障害物の位置を取得する。障害物とは、ドア２ｄの開閉の障害となるものをいう。演算部２０６は、障害物の位置に基づいて、障害物によって制限された可動範囲を演算する。障害物によって制限された可動範囲とは、ドア２ｄを障害物に衝突させることなく当該ドア２ｄを開くことができる範囲である。
【０１１９】
出力部２０５は、障害物によって制限された可動範囲が表示画面８を介して認識可能なように、障害物によって制限された可動範囲を示す表示オブジェクトを表示画面８に表示する。
【０１２０】
図１４および図１５は、第２の実施形態の表示画面８の表示例を示す図である。図１４の例では、障害物によって制限された可動範囲のうちの最もドア２ｄを開いた位置が、ドア２ｄのモデルを点線で表現した表示オブジェクト８５によって示されている。また、図１５の例では、障害物によって制限された可動範囲が、ハッチングされた扇形の表示オブジェクト８６によって示されている。なお、障害物によって制限された可動範囲を示す表示オブジェクトの例はこれらに限定されない。
【０１２１】
このように、第２の実施形態によれば、周辺監視装置は、障害物の位置をさらに取得し、障害物によって制限されたドア２ｄの可動範囲を演算する。そして、周辺監視装置は、障害物によって制限されたドア２ｄの可動範囲を表示オブジェクトを表示画面８に表示する。これにより、ユーザは、ウインドウから顔を出して外を確認しなくても、安心してドア２ｄを開けることが可能となる。
【０１２２】
以上、本発明の実施形態を例示したが、上記実施形態および変形例はあくまで一例であって、発明の範囲を限定することは意図していない。上記実施形態や変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。また、各実施形態や各変形例の構成や形状は、部分的に入れ替えて実施することも可能である。
【符号の説明】
【０１２３】
１…車両、２…車体、２ａ…車室、２ｂ…座席、２ｃ…フロントグリル、２ｄ…ドア、２ｅ…リアバンパー、２ｆ…ドアミラー、２ｇ…ドア、３…車輪、３Ｆ…前輪、３Ｒ…後輪、４…操舵部、５…加速操作部、６…制動操作部、７…変速操作部、８…表示画面、９…モニタ操作部、１０…モニタ装置、１４…ＥＣＵ、１４ａ…ＣＰＵ、１４ｂ…ＲＯＭ、１４ｃ…ＲＡＭ、１４ｄ…表示制御部、１４ｅ…ＳＳＤ、１５…レーザレンジスキャナ、１６，１６ａ〜１６ｄ…撮像部、１９…指示器操作部、２０…前照灯操作部、２１…シフトセンサ、２２…車輪速センサ、２３…アクセルセンサ、２４…車高センサ、２５…ドアセンサ、２６…舵角センサ、２７…加速度センサ、２８…ブレーキシステム、２８ａ…アクチュエータ、２８ｂ…ブレーキセンサ、２９…操舵システム、２９ａ…アクチュエータ、２９ｂ…トルクセンサ、３０…車内ネットワーク、８１…車両モデル画像、８２…車体部分、８３…タイヤ部分、８４…ドア部分、８５，８６…表示オブジェクト、１００…周辺監視システム、２００…取得部、２０１…前処理部、２０２…表示処理部、２０３…環境モデル生成部、２０４…車両モデル加工部、２０５…出力部、２０６…演算部、２１０…記憶部、２１１…車両モデル、２１２…リングバッファ。
【図１】
2018056794.tif 000003
【図２】
2018056794.tif 000004
【図３】
2018056794.tif 000005
【図４】
2018056794.tif 000006
【図５】
2018056794.tif 000007
【図６】
2018056794.tif 000008
【図７】
2018056794.tif 000009
【図８】
2018056794.tif 000010
【図９】
2018056794.tif 000011
【図１０】
2018056794.tif 000012
【図１１】
2018056794.tif 000013
【図１２】
2018056794.tif 000014
【図１３】
2018056794.tif 000015
【図１４】
2018056794.tif 000016
【図１５】
2018056794.tif 000017