(57)【要約】【課題】表示画像内で移動体の画像を移動させるので、乗員が当該表示画像を見難い。【解決手段】周辺監視装置は、移動体の周辺を撮像して撮像画像を生成する撮像部と、前記移動体の移動に伴って前記移動体の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を前記撮像画像から生成して、前記周辺画像に前記移動体の位置を示す移動体画像を重畳させた表示画像を生成して、前記移動体画像の位置を前記表示画像内で固定して表示させる制御部と、を備える。【選択図】図４
2018061113.tif 000002
【特許請求の範囲】
【請求項１】
移動体の周辺を撮像して撮像画像を生成する撮像部と、
前記移動体の移動に伴って前記移動体の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を前記撮像画像から生成して、前記周辺画像に前記移動体の位置を示す移動体画像を重畳させた表示画像を生成して、前記移動体画像の位置を前記表示画像内で固定して表示させる制御部と、
を備える周辺監視装置。
【請求項２】
前記制御部は、第１仮想面と前記第１仮想面と交差する第２仮想面とを含む三次元の仮想投影面に投影した前記撮像画像を前記仮想視点から見た前記周辺画像を生成する
請求項１に記載の周辺監視装置。
【請求項３】
前記制御部は、前記仮想視点をユーザからの入力に基づいて移動させる
請求項１または２に記載の周辺監視装置。
【請求項４】
前記移動体の三次元の形状モデルである三次元移動体形状モデルを記憶する記憶部を備え、
前記移動体画像は、前記記憶部に予め記憶された前記三次元移動体形状モデルから生成する
請求項１から３のいずれか１項に記載の周辺監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周辺監視装置に関する。
【背景技術】
【０００２】
撮像画像から生成された車両等の移動体の周辺の画像とともに、移動体の画像を合成した表示画像を表示する周辺監視装置が知られている。このような周辺画像装置は、例えば、１枚の撮像画像から生成された周辺画像内で、移動体の移動に合わせて移動体の画像が移動する表示画像を表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１４／１５６２２０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の周辺監視装置は、表示画像内で移動体の画像を移動させるので、乗員が当該表示画像を見難いといった課題がある。
【０００５】
本発明は、上記に鑑みてなされたものであって、乗員が見易い表示画像を表示できる周辺監視装置を提供する。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明の周辺監視装置は、移動体の周辺を撮像して撮像画像を生成する撮像部と、前記移動体の移動に伴って前記移動体の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を前記撮像画像から生成して、前記周辺画像に前記移動体の位置を示す移動体画像を重畳させた表示画像を生成して、前記移動体画像の位置を前記表示画像内で固定して表示させる制御部と、を備える。
【０００７】
このように、周辺監視装置は、表示画像内で移動体画像の位置を固定するので、乗員に見易い表示画像を表示できる。
【０００８】
本発明の周辺監視装置では、前記制御部は、前記制御部は、第１仮想面と前記第１仮想面と交差する第２仮想面とを含む三次元の仮想投影面に投影した前記撮像画像を前記仮想視点から見た前記周辺画像を生成してもよい。これにより、周辺監視装置は、二次元の仮想投影面に投影した撮像画像から周辺画像を生成する場合に比べて、鉛直方向に延びる移動体の周辺の物体（例えば、電柱等）の画像の延びを表示画像内で抑制して、乗員が見易い周辺画像を生成できる。
【０００９】
本発明の周辺監視装置では、前記制御部は、前記制御部は、前記仮想視点をユーザからの入力に基づいて移動させてもよい。これにより、周辺監視装置は、ユーザの所望の仮想視点から見た周辺画像を含む表示画像を提供できる。
【００１０】
本発明の周辺監視装置では、前記移動体の三次元の形状モデルである三次元移動体形状モデルを記憶する記憶部を備え、前記移動体画像は、前記記憶部に予め記憶された前記三次元移動体形状モデルから生成してもよい。これにより、周辺監視装置は、三次元の移動体画像を重畳させることによって、より見易い表示画像を提供できる。
【図面の簡単な説明】
【００１１】
【図１】図１は、第１実施形態の車両の車室の一部が透視された状態が示された例示的な斜視図である。
【図２】図２は、車両の例示的な平面図である。
【図３】図３は、車両の構成を説明するブロック図である。
【図４】図４は、ＥＣＵの機能を示すブロック図である。
【図５】図５は、制御部が実行する画像表示処理のフローチャートである。
【図６】図６は、過去の撮像画像を投影する投影面を含む仮想空間を説明する図である。
【図７】図７は、仮想投影面を側方から見た側面図である。
【図８】図８は、画像生成部による周辺画像の生成を説明する図である。
【図９】図９は、画像生成部によって生成された周辺画像を含む表示画像の一例である。
【図１０】図１０は、図８から車両が移動した状態での画像生成部による表示画像の生成を説明する図である。
【図１１】図１１は、画像生成部によって更新された表示画像の一例である。
【図１２】図１２は、第１変形例の仮想投影面の側面図である。
【図１３】図１３は、第１変形例の仮想投影面の側面図である。
【図１４】図１４は、第２実施形態における仮想視点と仮想投影面との関係を示す図である。
【図１５】図１５は、仮想視点を車両の内側に設定した周辺画像に三次元の車両画像を重畳させた表示画像の一例である。
【図１６】図１６は、仮想視点を車両の外側に設定した周辺画像に三次元の車両画像を重畳させた表示画像の一例である。
【発明を実施するための形態】
【００１２】
以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。
【００１３】
＜第１実施形態＞
図１は、第１実施形態の車両１の車室２ａの一部が透視された状態が示された例示的な斜視図である。車両１は、例えば、内燃機関（エンジン、図示されず）を駆動源とする自動車（内燃機関自動車）であってもよいし、電動機（モータ、図示されず）を駆動源とする自動車（電気自動車、燃料電池自動車等）であってもよいし、それらの双方を駆動源とする自動車（ハイブリッド自動車）であってもよい。また、車両１は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置（システム、部品等）を搭載することができる。また、車両１における車輪３の駆動に関わる装置の方式、個数、及び、レイアウト等は、種々に設定することができる。
【００１４】
図１に示すように、車両１は、車体２と、操舵部４と、加速操作部５と、制動操作部６と、変速操作部７と、モニタ装置１１とを備える。
【００１５】
車体２は、不図示の乗員が乗車する車室２ａを構成している。車室２ａ内には、乗員としての運転者の座席２ｂに臨む状態で、操舵部４、加速操作部５、制動操作部６、変速操作部７、表示装置８、音声出力装置９、操作入力部１０等が設けられている。車体２は、前端部の下部に設けられたフロントバンパー及び後端部の下部に設けられたリアバンパー等を含む。
【００１６】
操舵部４は、例えば、ダッシュボードから突出したステアリングホイールである。加速操作部５は、例えば、運転者の足下に位置されたアクセルペダルである。制動操作部６は、例えば、運転者の足下に位置されたブレーキペダルである。変速操作部７は、例えば、センターコンソールから突出したシフトレバーである。なお、操舵部４、加速操作部５、制動操作部６、及び、変速操作部７は、これらには限定されない。
【００１７】
モニタ装置１１は、例えば、ダッシュボードの車幅方向すなわち左右方向の中央部に設けられている。モニタ装置１１は、例えば、ナビゲーションシステムまたはオーディオシステム等の機能を有してもよい。モニタ装置１１は、表示装置８、音声出力装置９、及び、操作入力部１０を有する。モニタ装置１１は、スイッチ、ダイヤル、ジョイスティック、及び、押しボタン等の不図示の操作入力部を有してもよい。
【００１８】
表示装置８は、画像情報に基づいて画像を表示する。表示装置８は、例えば、ＬＣＤ（Liquid  Crystal  Display）、または、ＯＥＬＤ（Organic  Electroluminescent  Display）等である。
【００１９】
音声出力装置９は、音声データに基づいて音声を出力する。音声出力装置９は、例えば、スピーカである。音声出力装置９は、モニタ装置１１以外の異なる車室２ａ内の位置に設けられていてもよい。
【００２０】
操作入力部１０は、乗員の入力を受け付ける。操作入力部１０は、例えば、タッチパネルである。操作入力部１０は、表示装置８の表示画面に設けられている。操作入力部１０は、表示装置８が表示する画像を透過可能に構成されている。これにより、操作入力部１０は、表示装置８の表示画面に表示される画像を乗員に視認させることができる。操作入力部１０は、表示装置８の表示画面に表示される画像に対応した位置を乗員が触れることによって入力した指示を受け付ける。
【００２１】
図２は、車両１の例示的な平面図である。図１及び図２に示すように、車両１は、例えば、四輪自動車であり、左右二つの前輪３Ｆと、左右二つの後輪３Ｒとを有する。四つの車輪３の全てまたは一部は、転舵可能である。
【００２２】
車両１は、複数の撮像部１５を備える。撮像部１５は、例えば、ＣＣＤ（Charge  Coupled  Device）、または、ＣＩＳ（CMOS  Image  Sensor）等の撮像素子を内蔵するデジタルカメラである。撮像部１５は、所定のフレームレートで生成される複数のフレーム画像を含む動画、または、静止画のデータを画像のデータとして出力できる。例えば、撮像部１５は、車両１の周辺を撮像した静止画を撮像画像として生成し、当該撮像画像のデータを出力する。撮像画像は、動画または静止画であってよい。撮像部１５は、それぞれ、広角レンズまたは魚眼レンズを有し、水平方向の１４０°〜１９０°の範囲を撮影することができる。撮像部１５の光軸は、斜め下方に向けて設定されている。従って、撮像部１５は、車両１が移動可能な路面を含む車両１の周辺の外部の環境を撮像した撮像画像データを出力する。
【００２３】
本実施形態では、４個の撮像部１５ａ、１５ｂ、１５ｃ、１５ｄが車両１に設けられている。車両１は、３個以下または５個以上の複数の撮像部１５を有してもよい。撮像部１５ａは、例えば、車両１の前部の中央部に設けられている。撮像部１５ａは、車両１の前方の周辺の環境を撮影する。撮像部１５ｂは、例えば、車両１の後部の中央部に設けられている。撮像部１５ｂは、車両１の後方の周辺の環境を撮影する。撮像部１５ｃは、車体２の左側の端部、例えば、左側のドアミラー２ｇに設けられている。撮像部１５ｃは、車両１の左側の周辺の環境を撮影する。撮像部１５ｄは、車体２の右側の端部、例えば、右側のドアミラー２ｈに設けられている。撮像部１５ｄは、車両１の右側の周辺の環境を撮影する。
【００２４】
図３は、車両１の構成を説明するブロック図である。図３に示すように、車両１は、車輪速センサ２２と、ＥＣＵ（Electronic  Control  Unit）２４と、車内ネットワーク２５とを更に備える。例えば、モニタ装置１１、撮像部１５、及び、ＥＣＵ２４は、周辺監視装置５０として機能する。
【００２５】
車輪速センサ２２は、車輪３の回転量や単位時間当たりの回転数を検出するセンサである。車輪速センサ２２は、検出した回転数を示す車輪速パルス数をセンサ値として出力する。車輪速センサ２２は、例えば、ホール素子などを用いて構成される。
【００２６】
ＥＣＵ２４は、例えば、コンピュータである。ＥＣＵ２４は、撮像部１５から撮像画像データを受信する。ＥＣＵ２４は、出力させる画像または音声に関するデータをモニタ装置１１へ送信する。ＥＣＵ２４は、ＣＰＵ（Central  Processing  Unit）２４ａと、ＲＯＭ（Read  Only  Memory）２４ｂと、ＲＡＭ（Random  Access  Memory）２４ｃと、表示制御部２４ｄと、音声制御部２４ｅと、ＳＳＤ（Solid  State  Drive）２４ｆとを備える。ＣＰＵ２４ａ、ＲＯＭ２４ｂ及びＲＡＭ２４ｃは、同一パッケージ内に集積されていてもよい。
【００２７】
ＣＰＵ２４ａは、ＲＯＭ２４ｂ等の不揮発性の記憶装置に記憶されたプログラムを読み出し、当該プログラムにしたがって各種の演算処理および制御を実行する。ＣＰＵ２４ａは、例えば、表示装置８に表示させる周辺監視用の画像等の画像処理を実行する。
【００２８】
ＲＯＭ２４ｂは、各プログラム及びプログラムの実行に必要なパラメータ等を記憶する。ＲＡＭ２４ｃは、ＣＰＵ２４ａでの演算で用いられる各種のデータを一時的に記憶する。表示制御部２４ｄは、ＥＣＵ２４での演算処理のうち、主として、撮像部１５で得られた画像の画像処理、表示装置８に表示させる表示用の画像のデータ変換等を実行する。音声制御部２４ｅは、ＥＣＵ２４での演算処理のうち、主として、音声出力装置９に出力させる音声の処理を実行する。ＳＳＤ２４ｆは、書き換え可能な不揮発性の記憶部であって、ＥＣＵ２４の電源がオフされた場合にあってもデータを維持する。
【００２９】
本実施形態では、ＥＣＵ２４は、ハードウェアとソフトウェア（制御プログラム）が協働することにより、車両１の制御全般を司る。例えば、ＥＣＵ２４は、車輪速センサ２２から取得したセンサ値に基づいて車両１の移動距離及び車速などを演算し、各種制御を実行する。ＥＣＵ２４は、撮像部１５が撮像した周辺の画像を含む撮像画像に基づいて、周辺画像を含む表示画像を生成して、表示装置８に表示させる。これにより、ＥＣＵ２４は、周辺監視装置５０としての機能を実現している。
【００３０】
車内ネットワーク２５は、例えば、ＣＡＮ（Controller  Area  Network）である。車内ネットワーク２５は、ＥＣＵ２４と、操作入力部１０と、車輪速センサ２２とを互いに制御信号及び操作信号等の情報を送受信可能に電気的に接続する。
【００３１】
図４は、ＥＣＵ２４の機能を示すブロック図である。図４に示すように、ＥＣＵ２４は、制御部３０と、記憶部３２とを有する。制御部３０は、ＣＰＵ２４ａ、表示制御部２４ｄ、及び、音声制御部２４ｅの機能として実現される。記憶部３２は、ＲＯＭ２４ｂ、ＲＡＭ２４ｃ、及び、ＳＳＤ２４ｆの機能として実現される。
【００３２】
制御部３０は、車両１の移動に伴って車両１の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を撮像画像から生成する。制御部３０は、生成した周辺画像に車両１の位置を示す車両画像（移動体画像の一例）を重畳させた表示画像を生成する。制御部３０は、車両画像の位置を表示画像内で固定して表示させる。制御部３０は、判定部５２と、画像生成部５４とを有する。制御部３０は、例えば、記憶部３２に格納された画像表示用のプログラムを読み込むことによって、判定部５２及び画像生成部５４として機能する。尚、判定部５２及び画像生成部５４の一部または全部をＡＳＩＣ（Application  Specific  Integrated  Circuit）を含む回路等のハードウェアによって構成してもよい。
【００３３】
判定部５２は、画像表示において必要な判定を実行する。具体的には、判定部５２は、周辺画像を含む表示画像を表示するか否かを判定する。例えば、判定部５２は、車両１の速度（即ち、車速）によって、周辺画像を含む表示画像を表示するか否かを判定する。尚、判定部５２は、変速操作部７のシフト位置等の他の状況によって、周辺画像を含む表示画像を表示するか否かを判定してもよい。また、判定部５２は、周辺画像を含む表示画像を更新するか否かを判定する。例えば、判定部５２は、車両１の移動距離に応じて、表示画像を更新するか否かを判定する。また、判定部５２は、周辺画像を含む表示画像の表示を終了するか否かを判定する。例えば、判定部５２は、車両１が停止したか否かに応じて、周辺画像を含む表示画像の表示を終了するか否かを判定する。
【００３４】
画像生成部５４は、表示装置８に表示させる表示画像を生成する。具体的には、画像生成部５４は、撮像部１５が撮像した撮像画像を取得する。画像生成部５４は、車両１の移動に伴って車両１の現在位置に対する相対的な位置に設定された仮想視点から見た周辺画像を撮像画像から生成する。例えば、画像生成部５４は、予め設定された仮想投影面に投影した撮影画像を仮想視点から見た画像を周辺画像として生成する。尚、画像生成部５４は、仮想投影面に撮影画像を投影した中間画像を作成せずに、ＧＰＵ（Graphics  Processing  Unit）等を使用して、上述の仮想投影面に投影した撮影画像を仮想視点から見た画像と同等の画像を周辺画像として生成してもよい。画像生成部５４は、生成した周辺画像に車両画像を重畳させた表示画像を生成する。ここで、画像生成部５４は、車両画像の位置を表示画像内で固定する。尚、車両画像は、例えば、予め記憶部３２に格納されている。画像生成部５４は、生成した表示画像を順次表示装置８に表示させる。
【００３５】
記憶部３２は、制御部３０が実行するプログラム及びプログラムの実行に必要なデータ等を格納する。例えば、記憶部３２は、画像表示用のプログラムを記憶する。記憶部３２は、周辺画像を含む表示画像を表示するか否かを判定するための閾値車速、撮像画像を投影する仮想投影面、及び、車両画像に関するデータを、画像表示用のプログラムの実行に必要なデータとして記憶する。記憶部３２は、ネットワーク上に設けられた記憶装置（例えば、クラウド）等であってもよい。
【００３６】
図５は、制御部３０が実行する画像表示処理のフローチャートである。制御部３０は、画像表示用のプログラムを読み込むことによって、判定部５２及び画像生成部５４として機能して、画像表示処理を実行する。
【００３７】
画像表示処理では、制御部３０の判定部５２は、周辺画像を含む表示画像を表示するか否かを判定する（Ｓ１０２）。例えば、判定部５２は、車輪速センサ２２から取得したセンサ値に基づいて算出した車速が予め定められた閾値車速未満か否かによって、周辺画像を含む表示画像を表示するか否かを判定する。閾値車速の一例は、１０ｋｍ／ｈである。この場合、判定部５２は、車速が閾値車速未満の場合、周辺画像を含む表示画像を表示すると判定する。一方、判定部５２は、車速が閾値車速以上の場合、周辺画像を含む表示画像を表示しないと判定する。尚、判定部５２は、操作入力部１０を介して受け付けた乗員の操作指示に基づいて、当該表示画像を表示するか否かを判定してもよい。
【００３８】
判定部５２は、周辺画像を含む表示画像を表示しないと判定すると（Ｓ１０２：Ｎｏ）、待機状態となる。一方、判定部５２は、周辺画像を含む表示画像を表示すると判定すると（Ｓ１０２：Ｙｅｓ）、表示指示を画像生成部５４へ出力する。
【００３９】
画像生成部５４は、判定部５２から表示指示を取得すると、周辺画像を生成する（Ｓ１０４）。例えば、画像生成部５４は、撮像部１５が撮像した過去の撮像画像を記憶部３２から取得して、仮想投影面に投影した当該撮像画像を仮想視点から見た画像を周辺画像として生成する。
【００４０】
図６は、過去の撮像画像を投影する仮想投影面６０を含む仮想空間６６を説明する図である。図７は、仮想投影面６０を側方から見た側面図である。図６に矢印で示すＸＺをＸ方向及びＺ方向とする。図７に矢印で示すＹをＹ方向とする。図６は、仮想空間６６における車両１及び車両１の周辺の概略の平面図である。
【００４１】
例えば、画像生成部５４は、撮像画像が撮像されたときの車両１の位置である撮像位置ＰＴ０に存在した車両１の撮像部１５が撮像した過去の撮像画像を記憶部３２から取得する。画像生成部５４は、予め設定された仮想投影面６０に関する情報（例えば、仮想投影面６０の大きさ及び位置等の情報）を記憶部３２から取得する。画像生成部５４は、図６に示す三次元の仮想空間６６内において、撮像位置ＰＴ０の進行方向側（例えば、前方側）に三次元の仮想投影面６０を設定する。仮想投影面６０は、第１仮想面６２と、第１仮想面６２と連続する第２仮想面６４とを含む。第１仮想面６２は、ＸＺ面（即ち、水平面）と平行な面である。第２仮想面６４は、ＹＺ面（即ち、鉛直面）と平行な面である。即ち、第２仮想面６４は、第１仮想面６２と交差する。第１仮想面６２の進行方向側の端部は、第２仮想面６４の下端部と連結されている。画像生成部５４は、三次元の仮想投影面６０に投影した過去の撮像画像を仮想視点から見た画像を周辺画像として生成する。
【００４２】
具体的に画像生成部５４による周辺画像７２ａの生成について説明する。図８は、画像生成部５４による周辺画像７２ａの生成を説明する図である。図８は、仮想空間６６において、図６の撮像位置ＰＴ０から太線矢印ＡＲ１に沿って仮想位置ＰＴ１まで移動した状態における車両１及び車両１の周辺の概略の平面図である。尚、図８では、撮像位置ＰＴ０の車両１を点線で示す。
【００４３】
画像生成部５４は、図８に示すように、実空間（例えば、ワールド座標）における車両１の現在位置に応じた車両１の仮想位置ＰＴ１を仮想空間６６内に設定する。画像生成部５４は、仮想投影面６０に投影した撮像画像を、車両１の仮想位置ＰＴ１に基づいて設定された仮想視点ＶＶ１から見た画像を周辺画像７２ａとして生成する。例えば、画像生成部５４は、仮想視点ＶＶ１を起点とし、当該起点から進行方向（例えば、前方）に沿った方向として定められる仮想視線の両側の領域から予め定められた設定角度の領域（例えば、図８のドット領域）で見える画像を周辺画像７２ａとして生成する。尚、画像生成部５４は、仮想視点ＶＶ１の位置を車両１の現在位置または仮想位置ＰＴ１に応じて任意で設定してよい。本実施形態の画像生成部５４は、車両１の現在位置または仮想位置ＰＴ１に対する仮想視点ＶＶ１の相対位置を固定して、車両１の移動に伴って仮想視点ＶＶ１の位置を移動させている。例えば、画像生成部５４は、仮想視点ＶＶ１の位置を平面視における車両１の中心軸の後方１ｍ及び高さ２ｍとしている。本実施形態では、仮想視点ＶＶ１が仮想位置ＰＴ１と一致しているが、これに限定されない。
【００４４】
次に、画像生成部５４は、生成した周辺画像７２ａに車両１の画像である車両画像７４を重畳させて、表示画像を生成する（Ｓ１０６）。
【００４５】
図９は、画像生成部５４によって生成された周辺画像７２ａを含む表示画像７０ａの一例である。画像生成部５４は、生成した周辺画像７２ａ内の車両１の仮想位置ＰＴ１に車両１の画像である車両画像７４を重畳させて、図９に示す表示画像７０ａを生成する。尚、図９において、車両画像７４はドット領域及び点線の枠で示すが、これに限定されない。画像生成部５４は、第２仮想面６４に投影された撮像画像上に水平線７６を付与した表示画像７０ａを生成してもよい。
【００４６】
画像生成部５４は、生成した図９に示す表示画像７０ａを表示装置８に表示させる（Ｓ１０８）。
【００４７】
判定部５２は、表示画像７０ａを更新するか否かを判定する（Ｓ１１０）。例えば、判定部５２は、車輪速センサ２２から取得したセンサ値から算出した車速に基づいて、車両１の移動距離を算出する。判定部５２は、移動距離が予め定められた閾値距離以上か否かによって、表示画像７０ａを更新するか否かを判定する。判定部５２は、移動距離が閾値距離未満の場合、表示画像７０ａを更新しないと判定する。一方、判定部５２は、移動距離が閾値距離以上の場合、表示画像７０ａを更新すると判定する。
【００４８】
判定部５２は、表示画像７０ａを更新しないと判定すると（Ｓ１１０：Ｎｏ）、表示画像７０ａの表示を終了するか否かを判定する（Ｓ１１２）。例えば、判定部５２は、車両１が停止したか否かに基づいて、表示画像７０ａの表示を終了するか否かを判定する。判定部５２は、表示画像７０ａの表示を終了しないと判定すると（Ｓ１１２：Ｎｏ）、ステップＳ１１０を繰り返す。
【００４９】
判定部５２は、表示画像７０ａを更新すると判定すると（Ｓ１１０：Ｙｅｓ）、更新指示を画像生成部５４へ出力する。
【００５０】
画像生成部５４は、更新指示を取得すると、上述した表示画像７０ａの生成方法によって新たな周辺画像７２ｂを生成して、表示画像７０ｂを更新する（Ｓ１０４、Ｓ１０６）。例えば、画像生成部５４は、毎回異なる撮像画像を用いて周辺画像のみを変化させてもよい。また、画像生成部５４は、同じ仮想空間６６の仮想投影面６０に投影した同じ撮像画像を、車両１の移動に伴って移動させた仮想視点から見た画像を新たな周辺画像７２ｂとして生成して表示画像７０ｂを更新してもよい。換言すれば、画像生成部５４は、１枚の撮像画像から複数の周辺画像７２ａ、７２ｂを生成してもよい。
【００５１】
具体的に画像生成部５４による表示画像７０ｂの生成及び更新について説明する。図１０は、図８から車両１が移動した状態での画像生成部５４による表示画像７０ｂの生成を説明する図である。図１１は、画像生成部５４によって更新された表示画像７０ｂの一例である。以下の説明で、表示画像７０ａ、７０ｂを区別する必要がない場合、表示画像７０と記載する。同様に、周辺画像７２ａ、７２ｂを区別する必要がない場合、周辺画像７２と記載する。
【００５２】
図１０に示すように、車両１が矢印ＡＲ２に沿って仮想位置ＰＴ２まで移動した場合でも、画像生成部５４は、移動した車両１の現在位置に基づいて移動させた仮想視点ＶＶ２から、同じ仮想空間６６の仮想投影面６０に投影された同じ撮像画像を見た画像を、周辺画像７２ｂとして生成してよい。画像生成部５４は、生成した周辺画像７２ｂ内の車両１の仮想位置ＰＴ２に対応する位置に車両画像７４を重畳させて、図１１に示す表示画像７０ｂを生成して更新する。ここで、図１１に示すように、画像生成部５４は、車両画像７４の位置を表示画像７０ｂ内で移動させずに固定する。即ち、図９及び図１１の表示画像７０ａ、７０ｂ内において、車両画像７４の位置及び形状は同じである。換言すれば、画像生成部５４は、表示画像７０ａ、７０ｂ内において、周辺画像７２ａ、７２ｂのみを変化させている。
【００５３】
画像生成部５４は、更新した表示画像７０ｂを表示装置８に表示させる（Ｓ１０８）。これにより、画像生成部５４は、判定部５２から更新指示を取得する限り、車両画像７４が固定された表示画像７０を生成して更新する。
【００５４】
判定部５２は、ステップＳ１１２において、表示画像７０の表示を終了すると判定すると（Ｓ１１２：Ｙｅｓ）、表示画像７０の表示を終了して、画像表示処理を終了する。
【００５５】
上述したように、周辺監視装置５０では、制御部３０が、表示画像７０内で車両画像７４の位置を固定した表示画像７０を生成している。これにより、周辺監視装置５０は、車両１が移動して、周辺画像７２が変化しても、車両画像７４の位置が固定された乗員が見易い表示画像７０を提供できる。
【００５６】
周辺監視装置５０は、画像生成部５４が移動する仮想視点ＶＶから見た複数の周辺画像７２を仮想投影面６０に投影された一の撮像画像から生成する場合、周辺画像７２を生成するための制御部３０の処理の負荷を低減することができる。
【００５７】
周辺監視装置５０では、制御部３０が、連続する第１仮想面６２及び第２仮想面６４を有する三次元の仮想投影面６０に投影した撮像画像を仮想視点ＶＶから見た画像を周辺画像７２として生成している。これにより、周辺監視装置５０は、二次元の仮想投影面に投影した撮像画像から周辺画像を生成する場合に比べて、乗員が見易い周辺画像７２を生成できる。特に、車両１の周辺に鉛直方向に延びる物体（例えば、電柱）が存在する場合、二次元に投影した物体の画像は実際の物体に比べて延びる。一方、制御部３０は、第２仮想面６４を有する仮想投影面６０に投影することにより、当該物体の画像の延びを抑制して、見易い周辺画像７２を生成できる。
【００５８】
＜第１変形例＞
次に、上述した第１実施形態の仮想投影面６０を変形した第１変形例の仮想投影面６０ｂについて説明する。図１２は、第１変形例の仮想投影面６０ｂの側面図である。図１２に示すように、仮想投影面６０ｂは、お椀型であって、第１仮想面６２と、第２仮想面６４ｂとを有する。第２仮想面６４ｂは、鉛直方向に沿って曲がる曲面状に形成されている。例えば、第２仮想面６４ｂは、進行方向（図１２に示す例では、＋Ｚ方向）に突出した曲面状に形成されている。第２仮想面６４ｂの下端部は、第１仮想面６２の進行方向側の端部と連結されている。制御部３０は、同じ仮想投影面６０ｂに投影した撮像画像を、車両１の移動に伴って移動させる仮想視点から見た複数の画像を複数の周辺画像として生成してもよい。
【００５９】
＜第２変形例＞
次に、上述した第１実施形態の仮想投影面６０を変形した第２変形例の仮想投影面６０ｃについて説明する。図１３は、第２変形例の仮想投影面６０ｃの側面図である。図１３に示すように、仮想投影面６０ｃは、第２仮想面６４を有する。換言すれば、仮想投影面６０ｃは、第１実施形態の仮想投影面６０から第１仮想面６２を省略した構成となる。制御部３０は、仮想投影面６０ｃに投影した撮像画像を、車両１の移動に伴って移動させる仮想視点から見た複数の画像を複数の周辺画像として生成してもよい。
【００６０】
＜第２実施形態＞
周辺画像７２の生成方法が第１実施形態と異なる第２実施形態について説明する。図１４は、第２実施形態における仮想視点と仮想投影面との関係を示す図である。第２実施形態の表示画像処理を図５のフローチャートに沿って説明する。
【００６１】
図１４に示すように、制御部３０の画像生成部５４は、車両１の現在位置に基づいて、仮想視点ＶＶ３を設定する。画像生成部５４は、当該仮想視点ＶＶ３に基づいて、平面状の仮想投影面６０ｄを設定する。画像生成部５４は、図６に示す過去の撮像位置ＰＴ０で撮像した撮像画像を仮想投影面６０ｄに投影した視点画像を周辺画像７２として生成する（Ｓ１０４）。画像生成部５４は、当該周辺画像７２及び車両画像７４を含む表示画像７０を生成して、表示する（Ｓ１０６、Ｓ１０８）。
【００６２】
この後、車両１の移動に伴って表示画像を更新する場合（Ｓ１１０：Ｙｅｓ）、画像生成部５４は、図５に示すようにステップＳ１０４以降の処理を繰り返すことにより、仮想視点及び仮想投影面を新たに設定して、同じ撮像画像から表示画像７０を生成して更新する。換言すれば、画像生成部５４は、車両１の移動に伴って移動させる仮想視点ＶＶ３、・・のそれぞれに基づいて設定された複数の仮想投影面６０ｄ、・・に撮像画像を投影して生成した複数の視点画像を複数の周辺画像７２として生成する。尚、本実施形態においても、画像生成部５４は、車両画像７４の位置を表示画像内で固定する。
【００６３】
上述の実施形態の各構成の機能、接続関係、配置、及び、個数等は適宜変更してよい。また、各実施形態または変形例を組み合わせてもよい。
【００６４】
例えば、上述の実施形態では、画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・の位置を、平面視における車両１の中心軸の後方１ｍ及び高さ２ｍとして設定したが、これに限定されない。画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・を起点とする仮想視線の方向を車両１の進行方向としたが、これに限定されない。例えば、画像生成部５４は、仮想視点ＶＶ１、ＶＶ２、・・を起点とする仮想視線の方向を撮像部１５の向き（例えば、撮像部１５のレンズの光軸方向）としてもよい。これにより、制御部３０は、上述の表示画像７０を見た乗員の違和感を低減できる。特に、制御部３０は、撮像部１５が現在撮像している周辺画像と、上述の表示画像７０とを切り替えて表示する場合、視点及び視線がずれないので、乗員の違和感をより低減できる。
【００６５】
上述の実施形態では、画像生成部５４が、１つの撮像部１５が撮像した撮像画像から生成した周辺画像７２を含む表示画像７０を生成する例を示したが、これに限定されない。例えば、画像生成部５４は、複数の撮像部１５が撮像した複数の撮像画像から生成した周辺画像を含む表示画像を生成してもよい。
【００６６】
上述の実施形態では、画像生成部５４が設定した仮想視点ＶＶから見た周辺画像７２を含む表示画像７０を表示する例を示したが、これに限定されない。例えば、画像生成部５４は、ユーザがタッチパネル等の操作入力部１０によって入力した指示による、車両１の現在位置を基準とした仮想視点から見た周辺画像を含む表示画像を生成して表示させてもよい。この場合、画像生成部５４は、車両１の現在位置を基準として設定された仮想視点であって、１つの注視点の方向を見る仮想視点をユーザの入力に合わせて、例えば円周上で移動させて周辺画像を含む表示画像を生成してよい。また、画像生成部５４は、車両１の現在の位置を基準として設定された複数の仮想視点の中からユーザが選択した仮想視点から見た周辺画像を生成してもよい。これにより、画像生成部５４はユーザの所望の仮想視点から見た周辺画像を含む表示画像を提供できる。
【００６７】
上述の実施形態では、二次元の車両画像７４を例に挙げて説明したがこれに限定されない。例えば、画像生成部５４は、記憶部３２に予め記憶された三次元移動体形状モデルから車両画像を生成してもよい。三次元移動体形状モデルは、車両１の三次元の形状モデルである。
【００６８】
図１５は、仮想視点ＶＶを車両１の内側に設定した周辺画像２７２に三次元の車両画像２７４を重畳させた表示画像２７０の一例である。画像生成部５４は、例えば、図１５に示すように、仮想視点ＶＶを車両１の内側に設定して、進行方向（例えば、前方）を見た周辺画像２７２に三次元の車両画像２７４（点線参照）を重畳させて、表示画像２７０を生成してもよい。これにより、画像生成部５４は、より見易い表示画像２７０を提供できる。
【００６９】
図１６は、仮想視点ＶＶを車両１の外側に設定した周辺画像３７２に三次元の車両画像３７４を重畳させた表示画像３７０の一例である。画像生成部５４は、例えば、図１６に示すように、仮想視点ＶＶを車両１の外側（例えば、車両１の左側）に設定して、進行方向（例えば、前方）を見た周辺画像３７２に三次元の車両画像３７４（点線参照）を重畳させて、表示画像３７０を生成してもよい。これにより、画像生成部５４は、より見易い表示画像３７０を提供できる。また、車両画像２７４、３７４を半透明にて重畳することで、車両画像２７４、３７４と撮像部１５に写る対象物との位置関係を把握しやすくすることができる。
【００７０】
本発明の実施形態及び変形例を説明したが、これらの実施形態及び変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００７１】
１…車両
１５…撮像部
３０…制御部
３２…記憶部
５０…周辺監視装置
６０…仮想投影面
６２…第１仮想面
６４…第２仮想面
６６…仮想空間
７０…表示画像
７２…周辺画像
７４…車両画像
２７０…表示画像
２７２…周辺画像
２７４…車両画像
３７０…表示画像
３７２…周辺画像
３７４…車両画像
ＡＲ１…太線矢印
ＡＲ２…矢印
ＰＴ０…撮像位置
ＰＴ１…仮想位置
ＰＴ２…仮想位置
ＶＶ１…仮想視点
ＶＶ２…仮想視点
ＶＶ３…仮想視点
【図１】
2018061113.tif 000003
【図２】
2018061113.tif 000004
【図３】
2018061113.tif 000005
【図４】
2018061113.tif 000006
【図５】
2018061113.tif 000007
【図６】
2018061113.tif 000008
【図７】
2018061113.tif 000009
【図８】
2018061113.tif 000010
【図９】
2018061113.tif 000011
【図１０】
2018061113.tif 000012
【図１１】
2018061113.tif 000013
【図１２】
2018061113.tif 000014
【図１３】
2018061113.tif 000015
【図１４】
2018061113.tif 000016
【図１５】
2018061113.tif 000017
【図１６】
2018061113.tif 000018