(57)【要約】【課題】車両下の状況も把握することができる表示用画像を生成することができる表示処理装置を提供する。【解決手段】  取得部５１は、車両１に搭載される少なくとも１つのカメラ２ａ〜２ｄから、車両の周辺を撮像した撮像画像を取得する。第１の生成部５２は、最新の撮像時点での撮像画像に基づき、車両の室内における第１の視点から見た画像である第１の変換画像を生成する。算出部５３は、車両の変位を算出する。第２の生成部５４は、最新の撮像時点よりも前に撮像された撮像画像と、変位と、に基づき、最新の撮像時点での第１の視点から見た画像であって車両下を含む領域の画像である第２の変換画像を生成する。表示処理部５８は、第１の変換画像と第２の変換画像とを合成した表示用画像を、車両の乗員が視認可能な表示装置に表示させる。【選択図】図１
2019087980.tif 000002
【特許請求の範囲】
【請求項１】
車両（１）に搭載される表示処理装置（５）であって、
前記車両に搭載される少なくとも１つの撮像装置（２ａ〜２ｄ）から、前記車両の周辺を撮像した撮像画像を取得するように構成された取得部（５１）と、
最新の撮像時点での前記撮像画像に基づき、前記車両の室内における第１の視点から見た画像である第１の変換画像を生成するように構成された第１の生成部（５２）と、
前記車両の変位を算出するように構成された算出部（５３）と、
前記最新の撮像時点よりも前に撮像された前記撮像画像と、前記変位と、に基づき、前記最新の撮像時点での前記第１の視点から見た画像であって車両下を含む領域の画像である第２の変換画像を生成するように構成された第２の生成部（５４）と、
前記第１の変換画像と前記第２の変換画像とを合成した表示用画像を、前記車両の乗員が視認可能な表示装置に表示させるように構成された表示処理部（５８）と、
を備える、表示処理装置。
【請求項２】
請求項１に記載の表示処理装置であって、
前記第２の生成部は、
前記撮像画像を、前記車両の上方における第２の視点から見たトップビュー画像に変換するように構成された第１の変換部（５５）と、
撮像時点が互いに異なる複数の前記トップビュー画像を合成した履歴合成画像を生成する合成部（５６）と、
前記履歴合成画像を、前記第１の視点から見た画像に変換することで、前記第２の変換画像を生成するように構成された第２の変換部（５７）と、
を備える、表示処理装置。
【請求項３】
請求項１又は請求項２に記載の表示処理装置であって、
前記表示処理部は、前記表示用画像における前記第１の変換画像では埋まらない領域の全部を埋める前記第２の変換画像が生成されるまでは、前記第２の変換画像に代えて所定の背景画像を合成した前記表示用画像を前記表示装置に表示させるように構成される、表示処理装置。
【請求項４】
請求項１又は請求項２に記載の表示処理装置であって、
前記表示処理部は、前記表示用画像における前記第１の変換画像では埋まらない領域の少なくとも一部を埋める前記第２の変換画像が生成されるまでは、前記第２の変換画像に代えて所定の背景画像を合成した前記表示用画像を前記表示装置に表示させ、前記第２の変換画像が生成された場合、前記所定の背景画像の少なくとも一部に代えて前記第２の変換画像を合成した前記表示用画像を前記表示装置に表示させるように構成される、表示処理装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の表示処理装置であって、
前記表示処理部は、前記第１の変換画像と前記第２の変換画像とを識別可能な態様で前記表示用画像を前記表示装置に表示させるように構成される、表示処理装置。
【請求項６】
請求項５に記載の表示処理装置であって、
前記表示処理部は、前記第２の変換画像の輝度を低く調整した前記表示用画像を前記表示装置に表示させるように構成される、表示処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両に搭載される表示処理装置に関する。
【背景技術】
【０００２】
特許文献１には、異なる２つの仮想視点からみた同一の箇所が２つの各画像の中央部に表示され、車両のドライバが確認したい箇所の状況を正確に把握できる画像を生成する画像生成装置が開示されている。この画像生成装置においては、車両のドライバの視点位置近傍を視点位置とし、該視点位置から所定方向を視点方向とする仮想視点ＶＰａに基づいて生成される合成画像ＩＭａ、及び、車両の外部の位置を視点位置とし、仮想視点ＶＰａの視線方向の延長線上に位置する特定箇所を指し示す方向を視線方向とする仮想視点ＶＰｂに基づいて生成される合成画像ＩＭｂが表示用画像としてディスプレイに表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許５９７７１３０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、車載カメラは車体に車外へ向けて配置されるため車両下は撮像できず、車両下の画像は車載カメラが撮像する自車両周辺の撮像画像には含まれない。そのため、上述した画像生成装置により生成される表示用画像において車両下の画像は表示されず、車両下の状況を把握することは困難であった。
【０００５】
本開示の一局面は、車両下の状況も把握することができる表示用画像を生成することができる表示処理装置を提供することを目的としている。
【課題を解決するための手段】
【０００６】
本開示の一態様は、車両（１）に搭載される表示処理装置（５）であって、取得部（５１）と、第１の生成部（５２）と、算出部（５３）と、第２の生成部（５４）と、表示処理部（５８）と、を備える。取得部は、車両に搭載される少なくとも１つの撮像装置（２ａ〜２ｄ）から、車両の周辺を撮像した撮像画像を取得するように構成される。第１の生成部は、最新の撮像時点での撮像画像に基づき、車両の室内における第１の視点から見た画像である第１の変換画像を生成するように構成される。算出部は、車両の変位を算出するように構成される。第２の生成部は、最新の撮像時点よりも前に撮像された撮像画像と、変位と、に基づき、最新の撮像時点での第１の視点から見た画像であって車両下を含む領域の画像である第２の変換画像を生成するように構成される。表示処理部は、第１の変換画像と第２の変換画像とを合成した表示用画像を、車両の乗員が視認可能な表示装置に表示させるように構成される。
【０００７】
このような構成によれば、第１の視点から見た画像であっても、第２の生成部により生成された過去の画像を用いた車両下を含む領域の画像(履歴画像)を合成することにより、車両下を含み得る車両の周辺の画像である表示用画像が生成される。したがって、車両下の状況も概ね把握することができる。
【図面の簡単な説明】
【０００８】
【図１】表示処理装置の構成を示すブロック図である。
【図２】各カメラの設置位置を表す図である。
【図３】画像表示処理のフローチャートである。
【図４】第１の画像変換処理のフローチャートである。
【図５】第２の画像変換処理のフローチャートである。
【図６】画像履歴合成処理のフローチャートである。
【図７】２つのカメラを用いた履歴合成画像の生成方法を表す図である。
【図８】表示用画像を表す図である。
【図９】１つのカメラを用いた履歴合成画像の生成方法を表す図である。
【発明を実施するための形態】
【０００９】
以下、本開示の例示的な実施形態について図面を参照しながら説明する。
［１．構成］
図１に示す車両１は、前方カメラ２ａ、後方カメラ２ｂ、左側方カメラ２ｃ、右側方カメラ２ｄ、車速センサ３、舵角センサ４、表示処理装置５及び表示装置６を備える。
【００１０】
各カメラ２ａ〜２ｄは、車両１の周辺を撮像する撮像装置であり、撮像画像を表す信号をＬＶＤＳ通信線などを介して表示処理装置５へ出力する。前方カメラ２ａ、後方カメラ２ｂ、左側方カメラ２ｃ及び右側方カメラ２ｄは、図２に示すように、車両１の前方、後方、左側方及び右側方をそれぞれ撮像するように配置される。
図２に示すように、前方カメラ２ａは車両１の周囲のうち、前方を撮影する。撮像された前方画像２１の表示可能範囲２１Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。
右側方カメラ２ｄは、車両１の周囲のうち、右側方を撮影する。撮影された右側方画像２２の表示可能範囲２２Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲２１Ａの一部と、表示可能範囲２２Ａの一部とは重複している。重複している範囲を重複範囲３１とする。重複範囲３１は、例えば、９０度である。
左側方カメラ２ｃは、車両１の周囲のうち、左側方を撮影する。撮像された左側方画像２３の表示可能範囲２３Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲２３Ａの一部と、表示可能範囲２１Ａの一部とは重複している。重複している範囲を重複範囲３２とする。重複範囲３２は、例えば、９０度である。
後方カメラ２ｂは、車両１の周囲のうち、後方を撮影する。撮像された後方画像２４の表示可能範囲２４Ａは、例えば、魚眼レンズなどを使用し、ほぼ１８０度である。表示可能範囲２４Ａの一部と、表示可能範囲２２Ａの一部とは重複している。重複している範囲を重複範囲３３とする。重複範囲３３は、例えば、９０度である。
また、表示可能範囲２４Ａの一部と、表示可能範囲２３Ａの一部とは重複している。重複している範囲を重複範囲３４とする。重複範囲３４は、例えば、９０度である。
【００１１】
車速センサ３は、車両１の走行速度を検出するためのセンサである。車速センサ３は、走行速度に応じた信号をＣＡＮなどの車載通信ＬＡＮを介して表示処理装置５へ出力する。なお、ＣＡＮは登録商標である。
舵角センサ４は、車両１のステアリングの操舵角を検出するためのセンサである。舵角センサ４は、検出された操舵角に応じた信号をＣＡＮなどの車載通信ＬＡＮを介して表示処理装置５へ出力する。
【００１２】
表示処理装置５は、図示しないＣＰＵ、ＲＯＭ、ＲＡＭ、フラッシュメモリ等を有する周知のマイクロコンピュータを中心に構成される。ＣＰＵは、非遷移的実体的記録媒体であるＲＯＭに格納されたプログラムを実行する。当該プログラムが実行されることで、当該プログラムに対応する方法が実行される。具体的には、表示処理装置５は当該プログラムに従い、後述する図３に示す画像表示処理を実行する。なお、表示処理装置５は、１つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
【００１３】
表示処理装置５は、ＣＰＵがプログラムを実行することで実現される機能の構成として、取得部５１、第１の生成部５２、算出部５３、第２の生成部５４、第１の変換部５５、合成部５６、第２の変換部５７及び表示処理部５８を備える。表示処理装置５に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
【００１４】
表示装置６は、画像を表示するためのディスプレイであり、車両１のドライバなどが視認できる位置に設けられ、ＬＶＤＳ通信線などを介して表示処理装置５と繋がっている。
［２．処理］
次に、表示処理装置５が実行する画像表示処理について、図３のフローチャートを用いて説明する。この画像表示処理は、例えば、イグニッションスイッチによるオン操作又はユーザによる表示指令操作、開錠操作などに基づき実行される。
【００１５】
Ｓ１１では、表示処理装置５は、各カメラ２ａ〜２ｄから撮像画像をそれぞれ取得する。なお、Ｓ１１が取得部５１としての処理に相当する。
Ｓ１２では、表示処理装置５は、第１の画像変換処理を実行する。
【００１６】
ここで、第１の画像変換処理の具体的内容について、図４のフローチャートを用いて説明する。
Ｓ２１では、表示処理装置５は、Ｓ１１で取得した撮像画像を第１の視点から見た画像に変換した第１の変換画像を生成する。第１の視点とは、車両１の室内における仮想視点であり、第１の視点から見た画像とは、車室内から車外を見るような斜視図である。各カメラ２ａ〜２ｄは車体に車外へ向けて配置されるため、撮像画像には車両直近や車両下の画像は含まれない。従って、第１の視点から見た画像は、車両下を含まない車両１の周辺の画像となる。
【００１７】
具体的には、Ｓ１１で取得された車両１の前方、後方、左側方及び右側方の４つの撮像画像は、各カメラ２ａ〜２ｄの撮像範囲が重複する部分の撮像画像の透過率を調整したり、予め決めた境界線を用いるなどの方法で、合成される。すなわち、各カメラ２ａ〜２ｄによるそれぞれの撮像画像は、その撮像画像に含まれる各画素の位置との対応関係があらかじめ定められ、車両１の周辺に配置される仮想的な３次元の立体曲面に投影されることにより合成される。設定された仮想視点からの視線方向に応じて、立体曲面における必要な領域が画像として切り出される。これにより、第１の視点から見た第１の変換画像が生成される。ここで、第１の変換画像は、変換後即座に表示用画像として使用されるため、ほぼ撮像時と同じ表示内容となり、ほぼリアルタイムな画像となる。
【００１８】
Ｓ２２では、表示処理装置５は、第１の変換画像をフラッシュメモリへ保存した後、第１の画像変換処理を終了し、処理をＳ１３へ移行する。なお、Ｓ２１，Ｓ２２が第１の生成部５２としての処理に相当する。
【００１９】
図３に戻り、Ｓ１３では、表示処理装置５は、第２の画像変換処理を実行する。
ここで、第２の画像変換処理の具体的内容について、図５のフローチャートを用いて説明する。
【００２０】
Ｓ３１では、表示処理装置５は、Ｓ１１で取得した各カメラ２a〜２ｄによる撮像画像を第２の視点から見た画像にそれぞれ変換したトップビュー画像を生成する。第２の視点とは、車両１の車外における視点であり、車両１の上方から真下に見た視点、いわゆるトップビューである。なお、Ｓ３１が第１の変換部５５としての処理に相当する。
【００２１】
Ｓ３２では、表示処理装置５は、トップビュー画像をフラッシュメモリへ保存する。
Ｓ３３では、表示処理装置５は、車速センサ３及び舵角センサ４から取得した走行速度及び操舵角の情報に基づいて、移動距離及び回転角度で示される車両１の変位を算出する。なお、Ｓ３３が算出部５３としての処理に相当する。
【００２２】
Ｓ３４では、表示処理装置５は、画像履歴合成処理を実行する。
ここで、画像履歴合成処理の具体的内容について、図６のフローチャートを用いて説明する。
【００２３】
Ｓ４１では、表示処理装置５は、車両１の進行方向が正かつ舵角方向が正であるか否かを判定する。なお、車両１の進行方向が正とは、車両１が前方に進行している場合である。一方、車両１の進行方向が負とは、車両１が後方に進行している場合である。また、舵角方向が正とは、車両１が左に旋回している場合である。一方、舵角方向が負とは、車両１が右に旋回している場合である。なお、舵角方向が正には、車両１が旋回せずに前方又は後方へ進行する状態も含まれる。
【００２４】
表示処理装置５は、Ｓ４１で車両１の進行方向が正かつ舵角方向が正であると判定した場合には、Ｓ４２へ移行し、前方カメラ２ａ及び左側方カメラ２ｃを選択した後、処理をＳ４８に移行する。
【００２５】
一方、表示処理装置５は、Ｓ４１で車両１の進行方向が正かつ舵角方向が正でないと判定した場合には、処理をＳ４３へ移行し、車両１の進行方向が正かつ舵角方向が負であるか否かを判定する。
【００２６】
表示処理装置５は、Ｓ４３で車両１の進行方向が正かつ舵角方向が負であると判定した場合には、処理をＳ４４へ移行し、前方カメラ２ａ及び右側方カメラ２ｄを選択した後、処理をＳ４８に移行する。
【００２７】
一方、表示処理装置５は、Ｓ４３で車両１の進行方向が正かつ舵角方向が負でないと判定した場合には、処理をＳ４５へ移行し、車両１の進行方向が負かつ舵角方向が正であるか否かを判定する。
【００２８】
表示処理装置５は、Ｓ４５で車両１の進行方向が負かつ舵角方向が正であると判定した場合には、処理をＳ４６へ移行し、後方カメラ２ｂ及び左側方カメラ２ｃを選択した後、処理をＳ４８に移行する。
【００２９】
一方、表示処理装置５は、Ｓ４５で車両１の進行方向が負かつ舵角方向が正でないと判定した場合、つまり車両１の進行方向が負かつ舵角方向が負であると判定した場合には、処理をＳ４７へ移行し、後方カメラ２ｂ及び右側方カメラ２ｄを選択した後、処理をＳ４８に移行する。
【００３０】
Ｓ４８では、表示処理装置５は、撮像時点が互いに異なる複数のトップビュー画像を異なる撮像時点間の変位に基づいて位置をずらして合成し、最新の撮像時点での第２の視点から見た画像である履歴合成画像を生成する。履歴合成画像とは、最新の撮像時点での第２の視点から見た車両下を含み得る画像である。なお、Ｓ４８が合成部５６としての処理に相当する。ここで行われる履歴合成とは、すなわち、ｔ時点でのトップビュー画像において、移動により撮像可能範囲外となった部分の画像をｔ−１時点でのトップビュー画像を用いて補完するものである。この撮像範囲外の領域を過去の画像から補完する履歴合成の技術については、例えば特開２００２−３７３３２７号公報や特開２００３−１９１８１０号公報に記載されるごとく、処理されるものである。
【００３１】
ここで、図７に示すように、車両１の進行方向が正かつ舵角方向が正であり、前方カメラ２ａ及び左側方カメラ２ｃが選択された場合を例として具体的に下記のとおり説明する。Ｓ３３で算出した車両１の変位に基づいて、フラッシュメモリに保存されている前方カメラ２ａの時刻ｔ１におけるトップビュー画像である第１のトップビュー画像の位置をずらして、移動後のトップビュー画像である移動後トップビュー画像を生成する。そして、新たに撮像されてフラッシュメモリに保存された時刻ｔ２におけるトップビュー画像である第２のトップビュー画像と、移動後トップビュー画像と、を合成して履歴合成画像を生成する。つまり、第２のトップビュー画像に対応する新たな前方カメラ２ａの視野の外に、今回の車両１の移動により前方カメラ２ａの視野の外となった部分、すなわち、移動後トップビュー画像の一部を書き込むようにして、履歴合成画像を生成する。本実施形態では、履歴合成画像の生成は０．１秒おきに行われる。なお、選択された左側方カメラ２ｃを用いて、履歴合成画像における前方カメラ２ａを用いて埋めることができない視野外の領域が補完される。
【００３２】
表示処理装置５は、Ｓ４８で履歴合成画像を生成し、画像履歴合成処理を終了し、処理をＳ３５へ移行する。なお、本実施形態では、車両の変位方向から使用するカメラ画像を選択して、選択されたカメラ画像のみを使用してトップビューの履歴合成画像を生成したが、４つのカメラ全ての画像を使用し、トップビューの履歴合成画像を生成してもよい。
図５に戻り、Ｓ３５では、表示処理装置５は、履歴合成画像を第１の視点から見た第２の変換画像を生成する。第２の変換画像とは、第１の視点から見た車両下を含み得る画像である。なお、Ｓ３５が第２の変換部５７としての処理に相当し、Ｓ３１，Ｓ３５，Ｓ４８が第２の生成部５４としての処理に相当する。
【００３３】
Ｓ３６では、表示処理装置５は、第２の変換画像をフラッシュメモリへ保存した後、第２の画像変換処理を終了し、処理をＳ１４に移行する。なお、Ｓ１２とＳ１３は直列処理であっても並列処理であってもよい。
図３に戻り、Ｓ１４では、Ｓ１２で生成した第１の変換画像における車両下に相当するカメラの死角領域を特定し、Ｓ１３で生成した第２の変換画像の内、特定した領域に対応する画像領域を第１の変換画像へ合成し、表示用画像を生成する。なお、表示処理装置５は、第２の変換画像の特定領域を第１の変換画像へ合成する際に、フラッシュメモリに保存された第２の変換画像の輝度を低く調整した上で、第１の変換画像へ合成し、表示用画像を生成する。そして、表示処理装置５は、あらかじめフラッシュメモリに記憶されている車両１の半透過の車体の画像を重畳させた表示用画像を表示装置６に表示させる。なお、第２の変換画像の輝度を低く調整するのは、表示用画像において第１の変換画像と第２の変換画像とを識別可能な態様とするためである。
【００３４】
図８に示すように、表示用画像において第１の変換画像が表示される領域を領域Ａとし、表示用画像における第１の変換画像では埋まらない領域、つまり表示用画像において第２の変換画像が表示される領域を領域Ｂとする。図８においては、領域Ａと領域Ｂとの境界が、表示用画像には表示されない破線で図示されており、破線の外側が領域Ａであり、破線の内側が領域Ｂである。なお、領域Ｂが車両下を表示する領域である。
【００３５】
また、Ｓ１４では、表示処理装置５は、領域Ｂの全部を埋める第２の変換画像がフラッシュメモリに保存されていない場合には、領域Ｂの全部を埋める第２の変換画像が生成されるまでは、第２の変換画像に代えて所定の背景画像、例えば黒塗りの画像を合成した表示用画像を表示装置６に表示させる。なお、領域Ｂの少なくとも一部を埋める第２の変換画像がフラッシュメモリに保存されている場合、背景画像の少なくとも一部に代えて第２の変換画像を合成した、つまり背景画像に第２の変換画像を上書きすることにより生成した表示用画像を表示装置６に表示させてもよい。なお、Ｓ１４が表示処理部５８としての処理に相当する。
【００３６】
Ｓ１５では、表示処理装置５は、画像表示処理の終了条件が成立するか否かを判定する。具体的には、イグニッションスイッチがオフや別表示の操作が行われたか否かを判定する。表示処理装置５は、終了条件が成立しない、つまりイグニッションスイッチのオフ操作や別表示操作が行われていないと判定した場合、処理をＳ１１に戻す。
【００３７】
一方、表示処理装置５は、Ｓ１５で終了条件が成立する、つまりイグニッションスイッチのオフ操作や別表示操作が行われたと判定した場合には、画像表示処理を終了する。なお、イグニッションスイッチのオフ操作が行われたとしても、周囲の状況が確認できるよう、所定時間又は施錠操作が行われるまで表示を継続させた後、表示処理を終了してもよい。
［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
【００３８】
（３ａ）本実施形態では、第１の生成部５２により、最新の撮像時点での撮像画像に基づき、車両１の室内における第１の視点から見た画像である第１の変換画像が生成される。また、第２の生成部により、最新の撮像時点よりも前に撮像された撮像画像と、車両１の変位と、に基づき、最新の撮像時点での第１の視点から見た画像であって車両下を含み得る画像である第２の変換画像が生成される。そして、表示処理部により、第１の変換画像と第２の変換画像とを合成した表示用画像が表示装置６に表示される。
【００３９】
このような構成によれば、第１の視点から見た、車両下を含まない車両１の周辺の画像である第１の変換画像と、車両下を含み得る画像である第２の変換画像と、が合成される。これにより、第１の視点から見た画像であって車両下を含み得る車両１の周辺の画像である表示用画像が生成される。したがって、車両下の状況もドライバは把握することができる。
【００４０】
（３ｂ）本実施形態では、車両１の周辺を撮像した撮像画像が第２の視点から見たトップビュー画像に変換される。そして、撮像時点が互いに異なる複数のトップビュー画像が異なる撮像時点間の車両１の変位に基づいて位置をずらして合成された画像である履歴合成画像が生成される。
【００４１】
このような構成によれば、撮像画像の遠近感の影響を受けない車両下の画像が履歴合成画像の生成に用いられる。したがって、表示用画像において違和感の少ない車両下の画像を領域Ｂに表示することができる。
【００４２】
（３ｃ）本実施形態では、領域Ｂの全部を埋める第２の変換画像が生成されるまで、第２の変換画像に代えて背景画像を合成した表示用画像を表示装置６に表示させる。このような構成によれば、車両下の未完成の画像を表示しないようにすることができる。
【００４３】
（３ｄ）本実施形態では、第１の変換画像と第２の変換画像とを識別可能な態様で表示用画像を表示装置６に表示させる。このような構成によれば、表示用画像において、最新の撮像時点における撮像画像を表示する領域Ａと、最新の撮像時点における撮像画像でない画像を表示する領域Ｂと、の境界を明確にすることができる。また、識別可能な態様として、第２の変換画像の輝度を低く調整することで、車両１の周辺の画像が表示される領域Ａに対して、車両下の画像が表示される領域Ｂが暗く表示される。したがって、ドライバが車両下の画像であることを直感的に認識しやすくすることができる。
【００４４】
（３ｅ）本実施形態では、画像履歴合成処理において、画像の合成において用いる２つのカメラが車両１の変位に基づいて選択される。そして、履歴合成画像における一つのカメラを用いて埋めることができない視野外の領域は、二つ目のカメラを用いて補完される。このような構成によれば、４つのカメラを用いた場合と比較して、処理負荷を軽減しつつ、視野外の領域も生じにくくすることできる。
【００４５】
［４．他の実施形態］
以上、本開示の実施形態について説明したが、本開示は、上記実施形態に限定されることなく、種々の形態を採り得ることは言うまでもない。
【００４６】
（４ａ）上記実施形態では、車両１は前方カメラ２ａ、後方カメラ２ｂ、左側方カメラ２ｃ及び右側方カメラ２ｄの４つのカメラを備える構成を例示したが、例えば、一つ又は２つのカメラを備える構成であってもよい。
【００４７】
（４ｂ）上記実施形態では、表示処理装置５が第２の変換画像の輝度を低く調整することで、表示用画像における第１の変換画像と第２の変換画像とを識別可能にする構成を例示したが、識別方法はこれに限定されるものではない。例えば、表示用画像に半透過で重畳される車両１の車体の画像のうち領域Ｂと重なる部分の色を変更して重畳することにより、領域Ｂにおける第２の変換画像の輝度を調整してもよい。また、例えば、表示用画像に領域Ｂを囲む枠を図８に示す破線部分に表示させてもよい。
【００４８】
（４ｃ）表示処理装置５は、最新の撮像時点における撮像画像でない画像を表示する領域Ｂに移動体が含まれる場合、移動体の存在の信頼度が低いため、移動体の周辺の画素で移動体を塗り潰してもよい。
【００４９】
（４ｄ）表示処理装置５は、領域Ｂに非接触充電器が含まれる場合、表示用画像に特定のマークを重畳させてもよい。
（４ｅ）上記実施形態では、二つのカメラを用いて履歴合成画像を生成する構成を例示したが、例えば、一つのカメラを用いて履歴合成画像を生成する構成であってもよい。例えば、図９に示すように、前方カメラ２ａのみを用いて履歴合成画像を生成する場合、履歴合成画像における前方カメラ２ａを用いて埋めることができない視野外の領域は補完されない。しかし、履歴合成画像よりも狭い領域を表示用画像に使用することにより、視野外の補完が必要となくなる。
【００５０】
（４ｆ）上記実施形態では、背景画像として真っ黒な画像が表示される構成を例示したが、背景画像はこれに限定されるものではない。例えば、イグニッションスイッチのオン操作や表示開始指示操作などで画像表示が開始した場合、イグニッションスイッチのオフ時や別表示操作時などの前回の画像表示処理で保存されていた第２の変換画像が表示される構成であってもよい。その場合、色、コントラスト、輝度やアイコン重畳表示などで補完画像の鮮度がわかる態様で表示を行ってもよい。
【００５１】
（４ｇ）上記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
【００５２】
（４ｈ）本開示は、上述した表示処理装置５の他、当該表示処理装置５を構成要素とするシステム、当該表示処理装置５としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、画像生成方法など、種々の形態で実現することができる。
【符号の説明】
【００５３】
１…車両、２ａ…前方カメラ、２ｂ…後方カメラ、２ｃ…左側方カメラ、２ｄ…右側方カメラ、３…車速センサ、４…舵角センサ、５…表示処理装置、６…表示装置、２１…前方画像、２１Ａ〜２４Ａ…表示可能範囲、２２…右側方画像、２３…左側方画像、２４…後方画像、３１〜３４…重複範囲、５１…取得部、５２…第１の生成部、５３…算出部、５４…第２の生成部、５５…第１の変換部、５６…合成部、５７…第２の変換部、５８…表示処理部。
【図１】
2019087980.tif 000003
【図２】
2019087980.tif 000004
【図３】
2019087980.tif 000005
【図４】
2019087980.tif 000006
【図５】
2019087980.tif 000007
【図６】
2019087980.tif 000008
【図７】
2019087980.tif 000009
【図８】
2019087980.tif 000010
【図９】
2019087980.tif 000011