(57)【要約】【課題】表示装置に表示される画像の違和感を低減することが可能な技術を提供すること。【解決手段】表示制御装置９は、撮影鳥瞰画像に自車両の影があるか否かを判定し、撮影鳥瞰画像に自車両の影がある場合には、キャプチャ部分として、自車両の影のない第１鳥瞰画像を用いて、履歴鳥瞰画像を作成する。一方、撮影鳥瞰画像に自車両の影が無い場合には、キャプチャ部分として、自車両の影の無い第２鳥瞰画像を用いて、履歴鳥瞰画像を作成する。これによって、実際に構造物等の影がある場合には、構造物等の影のある表示鳥瞰画像を表示できるので、表示鳥瞰画像の違和感を低減できる。【選択図】図３
2017117315.tif 000002
【特許請求の範囲】
【請求項１】
自車両の周辺における所定の撮影領域を撮影し、前記自車両内の表示装置（７）に表示する表示制御装置（９）であって、
前記自車両に搭載されたカメラ（３、７）から撮影画像を繰り返し取得する撮影画像取得部（２１）と、
前記撮影画像取得部が繰り返し取得した前記撮影画像に鳥瞰変換を施して、前記撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する鳥瞰変換部（２３）と、
前記自車両から入力された自車両の挙動を示す車両挙動情報に基づいて、前記自車両の移動量を算出する移動量算出部（２５）と、
前記鳥瞰変換部により逐次作成される前記撮影鳥瞰画像の少なくとも一部であるキャプチャ部分を、前記自車両の前記移動量に基づいて位置をずらしつつ合成して履歴鳥瞰画像を作成する履歴画像作成部（２７）と、
最新の前記撮影鳥瞰画像と前記履歴鳥瞰画像とを合成した鳥瞰画像である表示鳥瞰画像を作成する表示画像作成部（２９）と、
前記表示鳥瞰画像を前記表示装置に表示させる表示処理部（３１）と、
を備え、
前記履歴画像作成部は、
前記撮影鳥瞰画像に前記自車両の影があるか否かを判定する自車影判定部（２９）と、
前記撮影鳥瞰画像に前記自車両の影がある場合には、前記キャプチャ部分として、前記撮影鳥瞰画像のうち前記自車両の影のない領域の第１鳥瞰画像を用いて、前記履歴鳥瞰画像を作成し、前記撮影鳥瞰画像に自車両の影がない場合には、前記キャプチャ部分として、前記撮影鳥瞰画像の少なくとも一部の第２鳥瞰画像を用いて、前記履歴鳥瞰画像を作成する画像修正部（３５）と、
を備えた表示制御装置。
【請求項２】
請求項１に記載の表示制御装置であって、
前記自車影判定部は、前記撮影鳥瞰画像に影があるか否かを判定し、前記影がある場合に、前記影が前記自車両の影か否かを判定する、表示制御装置。
【請求項３】
請求項１または請求項２に記載の表示制御装置であって、
前記自車影判定部は、前記自車両から伸びる影を前記自車両の影と判定する、表示制御装置。
【請求項４】
請求項３に記載の表示制御装置であって、
前記自車影判定部は、前記自車両から伸びる影が所定期間にわたって連続して前記撮影鳥瞰画像に表示された場合に、前記影を前記自車両の影と判定する、表示制御装置。
【請求項５】
請求項１から請求項４までのいずれか１項に記載の表示制御装置であって、
前記自車影判定部は、前記撮影鳥瞰画像において、前記自車両から離れた位置にある影を前記自車両以外の物体の影と判定する、表示制御装置。
【請求項６】
請求項１から請求項５までのいずれか１項に記載の表示制御装置であって、
前記履歴画像作成部は、前記撮影鳥瞰画像を前記自車両に近い隣接部分と該隣接部分より前記自車両から遠い遠方部分とに区分して、前記隣接部分の画像を前記第２鳥瞰画像とし、前記遠方部分の画像を前記第１鳥瞰画像とする、表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲の画像を表示装置に表示する表示制御装置に関する。
【背景技術】
【０００２】
従来、車両（即ち、自車両）に取り付けられたカメラで自車両の周囲を繰り返し撮影し、その撮影画像を自車両の上方から見下ろす視点の画像（即ち、鳥瞰画像）に鳥瞰変換し、その鳥瞰変換後の鳥瞰画像を車室内の表示装置に表示させる技術が知られている。
【０００３】
この技術では、カメラで自車両の周囲を全て撮影できない場合には、現時点でカメラで撮影した画像（即ち、リアル画像）と過去にカメラで撮影した画像（即ち、履歴画像）とを組み合わせて、鳥瞰画像である合成画像を作成し、その合成画像を表示装置に表示している。
【０００４】
ところが、上述した技術では、リアル画像に自車両の影が存在する場合には、自車両の移動に伴ってその影が履歴画像に残像として表示されるので、合成画像では実際よりも拡大された影の画像が表示される。
【０００５】
そこで、近年では、特許文献１に開示されるように、リアル画像の影の有無に応じて、リアル画像と履歴画像とを使い分けることにより、自車両の影が拡大してしまう可能性を低減する技術が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１３−２４６４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した特許文献１の技術では、自車両の影が拡大することを抑制できるが、影自体の表示が抑制されることにより逆に違和感が生じることがある。
つまり、従来技術では、自車両の影とそれ以外の建物等の構造物や木等のような移動しない物体（例えば、固定された物体）の影とを区別せずに、全ての影の表示を抑制しているので、通常では、構造物等の物体の影があると思われる位置にその影が表示されないことがある。そのため表示装置に表示された画像に違和感があることがある。
【０００８】
本発明は、こうした問題に鑑みてなされたものであり、表示装置に表示される画像の違和感を低減することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の表示制御装置は、自車両の周辺における所定の撮影領域を撮影し、自車両内の表示装置（７）に表示する表示制御装置（９）であって、撮影画像取得部（２１）と鳥瞰変換部（２３）と移動量算出部（２５）と履歴画像作成部（２７）と表示画像作成部（２９）と表示処理部（３１）とを備える。また、履歴画像作成部は、自車影判定部（３３）と画像修正部（３５）とを備える。
【００１０】
撮影画像取得部は、自車両に搭載されたカメラから撮影画像を繰り返し取得する。
鳥瞰変換部は、撮影画像取得部が繰り返し取得した撮影画像に鳥瞰変換を施して、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。
【００１１】
移動量算出部は、自車両から入力された自車両の挙動を示す車両挙動情報に基づいて、自車両の移動量を算出する。
履歴画像作成部は、鳥瞰変換部により逐次作成される撮影鳥瞰画像の少なくとも一部であるキャプチャ部分を、自車両の移動量に基づいて位置をずらしつつ合成して履歴鳥瞰画像を作成する。
【００１２】
表示画像作成部は、最新の撮影鳥瞰画像と履歴鳥瞰画像とを合成した鳥瞰画像である表示鳥瞰画像を作成する。
表示処理部は、表示鳥瞰画像を表示装置に表示させる。
【００１３】
自車影判定部は、撮影鳥瞰画像に自車両の影があるか否かを判定する。
画像修正部は、撮影鳥瞰画像に自車両の影がある場合には、キャプチャ部分として、撮影鳥瞰画像のうち自車両の影のない領域の第１鳥瞰画像を用いて、履歴鳥瞰画像を作成する。また、撮影鳥瞰画像に自車両の影がない場合には、キャプチャ部分として、撮影鳥瞰画像の少なくとも一部の第２鳥瞰画像を用いて、履歴鳥瞰画像を作成する。
【００１４】
この構成によれば、撮影鳥瞰画像に自車両の影があるか否かを判定し、撮影鳥瞰画像に自車両の影がある場合には、キャプチャ部分として、撮影鳥瞰画像のうち自車両の影のない領域の第１鳥瞰画像を用いて、履歴鳥瞰画像を作成する。
【００１５】
従って、撮影鳥瞰画像に自車両の影がある場合は、その自車両の影を含む撮影鳥瞰画像が履歴鳥瞰画像に合成されることを防ぐことができる。よって、履歴鳥瞰画像において自車両の影が拡大することを抑制できるので、表示鳥瞰画像の違和感を低減できる。
【００１６】
一方、撮影鳥瞰画像に自車両の影が無い場合には、キャプチャ部分として、撮影鳥瞰画像の少なくとも一部の第２鳥瞰画像、例えば第１鳥瞰画像とは異なる領域の画像を用いて、履歴鳥瞰画像を作成することができる。
【００１７】
従って、撮影鳥瞰画像に自車両の影が無い場合は、例えば自車両の影以外の構造物等のような移動しない物体の影を含む撮影鳥瞰画像又は影の無い撮影鳥瞰画像と履歴鳥瞰画像とを合成して表示鳥瞰画像を作成できる。これによって、例えば実際に構造物等の影がある場合には、構造物等の影のある表示鳥瞰画像を表示できるので、表示鳥瞰画像の違和感を低減できる。
【００１８】
このように、本発明では、撮影鳥瞰画像に自車両の影がある場合や構造物等の影がある場合には、それぞれの場合に応じて実際の印象に近い表示鳥瞰画像を作成できるので、表示鳥瞰画像における違和感を大きく低減できるという効果がある。
【００１９】
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【図面の簡単な説明】
【００２０】
【図１】実施形態の表示制御装置を含む表示制御システムを示すブロック図である。
【図２】表示装置に表示される表示鳥瞰画像に対応する記憶領域を示す説明図である。
【図３】実施形態の表示制御装置で実施される表示制御処理を示すフローチャートである。
【図４】表示鳥瞰画像において自車両の影の状態を示す説明図である。
【図５】履歴鳥瞰画像の更新の方法を示す説明図である。
【図６】表示鳥瞰画像の構成を示す説明図である。
【図７】車両が後進する場合において、表示鳥瞰画像中に影の変化を示す説明図である。
【図８】車両が前進する場合において、表示鳥瞰画像中に影の変化を示す説明図である。
【発明を実施するための形態】
【００２１】
以下に本発明の実施形態を図面とともに説明する。
［１．実施形態］
［１−１．構成］
まず、本実施形態の表示制御装置のシステム構成について説明する。
【００２２】
図１に示すように、本実施形態における表示制御システム１は、車両の周辺の画像を表示するシステムであり、車両に搭載された、前方カメラ３、後方カメラ５、表示装置７、表示制御装置９を備える。以下では、表示制御システム１が搭載された車両を「自車両」という。
【００２３】
前方カメラ３は、自車両の先端付近に固定して搭載されたカメラである。この前方カメラ３は、自車両の周囲、具体的には、自車両の前方の所定の撮影範囲を繰り返し撮影し、撮影の結果得た撮影画像のデータを表示制御装置９へ出力する。
【００２４】
同様に、後方カメラ５は、自車両の後端付近に固定して搭載されたカメラである。この後方カメラ５は、自車両の周囲、具体的には、自車両の後方の所定の撮影範囲を繰り返し撮影し、撮影の結果得た撮影画像のデータを表示制御装置９へ出力する。
【００２５】
ここでは、前方カメラ３及び後方カメラ５を備えた例について説明するが、本実施形態は、前方カメラ３又は後方カメラ５の一方のみを備えた例にも適用できる。
なお、本実施形態では、前方カメラ３及び後方カメラ５は、一定時間間隔（例えば、１／３０秒周期）で撮影範囲を撮影する。また、表示制御装置９へ出力された撮影画像は、後述するように、表示制御装置９により鳥瞰画像に変換される。
【００２６】
表示装置７は、種々の画像を表示可能なディスプレイであり、表示された画像を車内のドライバ等が視認できるような位置に設けられる。本実施形態では、表示装置７には、後述するように、表示制御装置９から入力される鳥瞰画像であって自車両の周辺、詳しくは、前後のカメラ３、５の撮影範囲外も含む範囲を表す鳥瞰画像が表示される。なお、この表示装置７に表示される鳥瞰画像が、表示鳥瞰画像である。
【００２７】
表示制御装置９は、入力信号処理部１１、画像処理部１３、記憶部１５、出力信号処理部１７を備える電子制御装置である。
入力信号処理部１１は、前後のカメラ３、５から入力された撮影画像を画像処理部１３へ出力するためのインターフェースである。
【００２８】
画像処理部１３は、周知のＣＰＵ、ＲＯＭ及びＲＡＭ等を構成要素とするマイクロコンピュータを備える。
なお、画像処理部１３の各種の機能は、ＣＰＵが非遷移的実体的記録媒体に格納されたプログラムを実行する実行することにより実現される。この例では、ＲＯＭが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、プログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理部１３を構成するマイクロコンピュータの数は１つでも複数でもよい。
【００２９】
画像処理部１３は、ＲＯＭに記録されているプログラムに従いＣＰＵが処理を実行することで、撮影画像取得部２１、鳥瞰変換部２３、移動量算出部２５、履歴画像作成部２７、表示画像作成部２９、表示処理部３１として機能する。なお、履歴画像作成部２７は、自車影判定部３３及び画像修正部３５としても機能する。
【００３０】
撮影画像取得部２１は、前後のカメラ３、５から入力信号処理部１１を介して撮影画像を繰り返し取得する。
鳥瞰変換部２３は、撮影画像取得部２１が繰り返し取得した撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から真下又は斜め下に見下ろす視点の鳥瞰画像に逐次変換する。つまり、鳥瞰変換部２３は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。
【００３１】
移動量算出部２５は、自車両から入力されたシフトレンジの情報、車速の情報とステアリング角又はヨーレートの情報等を含む車両挙動情報に基づいて、自車両の移動量を算出する。
【００３２】
履歴画像作成部２７は、鳥瞰変換部２３により逐次作成される撮影鳥瞰画像の一部であるキャプチャ部分を、自車両の移動量に基づいて位置をずらしつつ合成することにより、撮影位置の異なる撮影鳥瞰画像をつなぎ合わせた履歴鳥瞰画像を作成する。
【００３３】
自車影判定部３３は、撮影鳥瞰画像に影があるか否かを判定し、影がある場合には、その影が自車両による影があるか否かを判定する。
画像修正部３５は、後に詳述するように、履歴鳥瞰画像を作成する際に、撮影鳥瞰画像に自車両の影がある場合には、キャプチャ部分として、撮影鳥瞰画像のうち自車両の影のない領域の第１鳥瞰画像を用いて、履歴鳥瞰画像を作成する。
【００３４】
一方、撮影鳥瞰画像に自車両の影がない場合やその影が自車両以外の構造物等の影の場合には、キャプチャ部分として、後述するように、撮影鳥瞰画像のうち第１鳥瞰画像とは異なる第２鳥瞰画像を用いて、履歴鳥瞰画像を作成する。
【００３５】
なお、撮影鳥瞰画像は、自車両の周囲のうち、自車両の前方及び後方における所定の範囲についての最新の状況を表す。これに対し、履歴鳥瞰画像は、最新の状況ではないものの、例えば自車両の側方などのように、撮影鳥瞰画像ではカバーされない自車両の周囲の状況を表すことができる。
【００３６】
上述した撮影鳥瞰画像や履歴鳥瞰画像は、記憶部１５に記憶される。
ここで、記憶部１５には、図２に示すように、各種鳥瞰画像を記憶するための記憶領域として、リアル領域４１、履歴領域４３、出力領域４５があらかじめ確保されている。なお、記憶部１５としては、例えばＥＥＰＲＯＭ等を採用できる。
【００３７】
これらの領域４１〜４５は、記憶部１５において別個の独立した領域として確保されているが、図２では、これらの領域４１〜４３に記憶可能な鳥瞰画像のサイズ、換言すれば、自車両を基準とした鳥瞰画像の位置を、理解しやすくするために重ねて示している。
【００３８】
リアル領域４１は、鳥瞰変換部２３により作成された最新の撮影鳥瞰画像を記憶するための領域である。
このリアル領域４１は、自車両の前方と後方に対応して両方に設定されている。このうち、図２の上方に、前方カメラ３で撮影された撮影画像から得られた撮影鳥瞰画像を記憶する前方用のリアル領域４１Ｆを示す。また、図２の下方に、後方カメラ５で撮影された撮影画像から得られた撮影鳥瞰画像を記憶する後方用のリアル領域４１Ｒを示す。
【００３９】
履歴領域４３は、履歴画像作成部２７により作成された履歴鳥瞰画像を記憶するための領域である。履歴領域４３が記憶可能な履歴鳥瞰画像のサイズ、換言すれば、履歴鳥瞰画像により表すことが可能な自車両を中心とする範囲は、自車両の全周を含む範囲であって自車両の前後左右方向を含む範囲に設定されている。
【００４０】
なお、履歴領域４３のうち、前方用のリアル領域４１Ｆと後方用のリアル領域４１Ｒとの間に示される領域が、自車両の側方の鳥瞰画像を記憶する側方用の履歴領域４３ａである。
【００４１】
出力領域４５は、履歴鳥瞰画像と撮影鳥瞰画像とを合成した鳥瞰画像である後述する表示鳥瞰画像を記憶するための領域である。なお、本実施形態では、説明を簡単にするために、履歴領域４３は、出力領域４３と同じ範囲の鳥瞰画像を記憶するとしている。
【００４２】
従って、表示装置７には、出力領域４５に記憶された表示鳥瞰画像が、図２に示すように表示される。なお、表示鳥瞰画像の中心、即ち、自車両の位置には、自車両の平面図形である自車画像Ｊが表示される。
【００４３】
本実施形態では、前述したように、履歴鳥瞰画像は、撮影鳥瞰画像の一部であるキャプチャ部分を合成することにより作成されるが、撮影鳥瞰画像におけるキャプチャ部分の位置は固定ではない。
【００４４】
すなわち、図２に示すように、自車両による影がない場合には、履歴鳥瞰画像の作成に用いられるキャプチャ部分は、自車両の前方又は後方の撮影鳥瞰画像において、自車両側の縁部を含む部分に設定される。すなわち、キャプチャ部分は、前方又は後方の撮影鳥瞰画像における隣接部分、詳しくは、図２のハッチングで示される前隣接部分４１Ｆｂ又は後隣接部分４１Ｒａに設定される。なお、この前隣接部分４１Ｆｂ又は後隣接部分４１Ｒａに記憶される画像が第２鳥瞰画像である。
【００４５】
一方、自車両による影がある場合には、その影は自車両から延びるように形成されるので、履歴鳥瞰画像の作成に用いられるキャプチャ部分は、その影を含まないように、自車両の前方又は後方の撮影鳥瞰画像において、自車両から遠い部分に設定される。すなわち、キャプチャ部分は、前方又は後方の撮影鳥瞰画像における遠方部分、詳しくは、前遠方部分４１Ｆａ又は後遠方部分４１Ｒｂに設定される。なお、この前遠方部分４１Ｆａ又は後遠方部分４１Ｒｂに記憶される画像が第１鳥瞰画像である。
【００４６】
前記キャプチャ部分は、設定される場所に関係なく一定の形状である。つまり、形状が固定されている。つまり、キャプチャ部分は、自車両の左右方向に伸びた短冊状である。詳しくは、前隣接部分４１Ｆｂ、後隣接部分４１Ｒａ、前遠方部分４１Ｆａ、後遠方部分４１Ｒｂは、自車両の左右方向に伸びた同じ形状の短冊状である。
【００４７】
表示画像作成部２９は、最新の撮影鳥瞰画像と履歴鳥瞰画像とを合成した鳥瞰画像である表示鳥瞰画像を作成する。表示画像作成部２９により作成された表示鳥瞰画像は、記憶部１５の出力領域４５に記憶される。
【００４８】
表示処理部３１は、記憶部１５の出力領域４５に記憶された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に表示させる。
以上が、画像処理部１３の有する機能である。画像処理部１３は、後述する表示制御処理を実行することでこれらの機能を発揮する。
【００４９】
出力信号処理部１７は、画像処理部１３の表示画像作成部２９により作成された表示鳥瞰画像を表示装置７へ出力するためのインターフェースである。
［１−２．処理］
次に、画像処理部１３が実行する表示制御処理について、図３のフローチャートを用いて説明する。
【００５０】
本表示制御処理は、自車両のイグニッションスイッチがオンにされた時点に開始される。
ここでは、自車両をバックさせた場合（即ち、後進）を例に挙げて説明するが、自車両を前進させた場合の処理も、移動方向が逆であることを除けば、基本的に同様な処理である。なお、図３ではステップをＳと記す。
【００５１】
まず、自車両のシフト位置がリバース（即ち、後退位置）である場合において、ステップ１００では、前後のカメラ３、５から最新の撮影画像をそれぞれ１枚取得する。
続くステップ１１０では、ステップ１００で取得した最新の両撮影画像に周知の鳥瞰変換を施して、前方及び後方の撮影鳥瞰画像を作成する。
【００５２】
続くステップ１２０では、進行方向である後方の撮影鳥瞰画像、即ち後隣接部分４１Ｒａ及び後遠方部分４１Ｒｂからなる後方用のリアル領域４１Ｒに対応する後方の撮影鳥瞰画像に、影があるか否かを判定する。ここで肯定判断されるとステップ１３０に進み、一方否定判断されるとステップ１５０に進む。
【００５３】
ここで、後方の撮影鳥瞰画像に影が存在するか否かは、周知の方法で判定すればよい。この周知の方法としては、例えば特開２０１０−２３７９７９号公報に記載の影検出技術が挙げられる。
【００５４】
なお、ここで、進行方向である後方の撮影鳥瞰画像に対してのみ影の判定を行うのは、自車両の影が履歴鳥瞰画像に蓄積されるのは、進行方向である後方の撮影鳥瞰画像だからである。つまり、進行方向ではない前方の撮影鳥瞰画像は履歴鳥瞰画像に蓄積されないので、そのまま表示すればよいからである。
【００５５】
ステップ１３０では、撮影鳥瞰画像に存在する影が自車両による影か否かを判定する。詳しくは、後隣接部分４１Ｒａの領域に対応する部分の撮影鳥瞰画像に、自車両による影があるか否かを判定する。ここで肯定判断されるとステップ１４０に進み、一方否定判断されるとステップ１５０に進む。
【００５６】
ここで、自車両の影か否かは、その影が自車両から伸びているか否かによって判定できる。例えば図４に示すように、右斜め前方に光源（例えば、太陽）がある場合には、自車両の左後方に影ができる。この影は必ず自車両から延びているので、自車両の後端から影が伸びている場合には、その影が自車両から延びていると判定することができる。
【００５７】
実際の判定では、自車両の後端として、後隣接部分４１Ｒａの図４における上端（即ち、前端）において自車両の幅の範囲内を設定し、この前端の範囲内から影が延びている場合には、その影が自車両から延びているとしている。
【００５８】
なお、影が、「後隣接部分４１Ｒａの前端の前記範囲内から延びている」ことは、当該範囲内の前端に隣接する１又は複数列の画素のうち、幅方向の所定個の画素が影を示している値であるか否かによって判定できる。
【００５９】
ステップ１４０では、後隣接部分４１Ｒａの領域に対応する部分の撮影鳥瞰画像に自車両の影があるので、履歴鳥瞰画像の作成に用いるキャプチャ部分として、自車両の影の無い後遠方部分４１Ｒｂに対応する部分の撮影鳥瞰画像（即ち、第１鳥瞰画像）を採用して、履歴領域４３に記憶する。
【００６０】
一方、ステップ１５０では、後方の撮影鳥瞰画像に影が無いか又は後隣接部分４１Ｒａの領域に対応する部分の撮影鳥瞰画像に自車両の影が無いので、履歴鳥瞰画像の作成に用いるキャプチャ部分として、自車両に近く且つ自車両の影の無い後隣接部分４１Ｒａの領域に対応する部分の撮影鳥瞰画像（即ち、第２鳥瞰画像）を採用して、履歴領域４３に記憶する。
【００６１】
このように、キャプチャ部分は、撮影鳥瞰画像に自車両の影が存在する場合と無い場合とで異なった位置に設定される。
また、後述するように、ステップ１００〜ステップ１９０の処理は、自車両のシフト位置がリバースである間に繰り返し実行される。
【００６２】
なお、履歴領域４３に履歴鳥瞰画像が記憶されていない状態、例えば第１周期目の処理では、ステップ１４０又はステップ１５０の処理は、キャプチャ部分を履歴鳥瞰画像として記憶する処理となる。一方、履歴領域４３に履歴鳥瞰画像が記憶されている状態、例えば第２周期目以降の処理では、図５に示すように、履歴領域４３において履歴鳥瞰画像に最新のキャプチャ部分を上書きすることで、履歴鳥瞰画像を更新する処理となる。
【００６３】
また、本実施形態では、ステップ１００〜ステップ１９０の処理が実行される周期が、自車両の移動量と連動している。具体的には、自車両のタイヤが、撮影鳥瞰画像におけるキャプチャ部分の縦幅、即ち、自車両の上下方向に沿った方向の幅（例えば、５ピクセル）の分だけ回転するごとに１周期分の処理が行われる。そのため、履歴領域４３において過去及び最新のキャプチャ部分が隙間なく並び、履歴鳥瞰画像に空白、即ち、キャプチャ部分が記憶されていない部分が生じないようになっている。
【００６４】
ステップ１６０で、画像処理部１３は、出力領域４５において、リアル領域４１に記憶された最新の撮影鳥瞰画像と履歴領域４３に記憶された履歴鳥瞰画像とを合成し、合成した鳥瞰画像である表示鳥瞰画像を作成する。
【００６５】
具体的には、図６に示すように、画像処理部１３は、まず履歴領域４３に記憶された履歴鳥瞰画像を出力領域４５に記憶する。その後、画像処理部１３は、リアル領域４１に記憶された最新の撮影鳥瞰画像を出力領域４５に記憶し、これにより履歴鳥瞰画像に最新の撮影鳥瞰画像が上書きされる。なお、本実施形態では、その上に更に自車画像Ｊやガイドラインを含む他画像が重畳されて記憶される。
【００６６】
続くステップ１７０では、出力領域４５に記憶された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に表示させる。
続くステップ１８０では、自車両から入力された車両挙動情報に基づいて、自車両の移動量、即ち位置及び向きの変化を算出する。例えば、シフトレンジの情報、車速の情報とステアリング角又はヨーレートの情報などの車両挙動情報に基づいて、自車両の移動量を算出する。ここでいう移動量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の移動量、つまり、撮影画像の取得間隔における移動量を示す。
【００６７】
続くステップ１９０では、自車両の移動量に基づいて、履歴領域４３内で履歴鳥瞰画像を移動させる。
ここで、画像処理部１３は、履歴領域４３に記憶されている履歴鳥瞰画像の自車両を基準とした位置を、自車両の移動量に基づいて、現在の自車両の位置に対応するように変化させる。これにより、図３の処理の開始当初では存在していなかった撮影範囲外の画像が増加する。また、例えば、自車両の移動に回転が含まれている場合は、自車両の回転量に応じて履歴鳥瞰画像を回転させる。
【００６８】
画像処理部１３は、ステップ１９０の処理を実行すると前述したステップ１００に戻り、ステップ１１０以降の処理を繰り返す。
なお、履歴領域４３に、表示装置７に表示する表示鳥瞰画像の画像データとして十分な画像データが蓄積されていない段階では、表示装置７には表示鳥瞰画像を表示しないようにする。
【００６９】
［１−３．表示画面］
次に、上述した表示制御処理によって表示装置７の表示画面に表示される画像について説明する。
【００７０】
＜後進の場合＞
図７に示すように、自車両の右斜め前方に光源があるときに、後進する場合を考える。
このとき、例えば、図７の左図に示すように、自車両の前方の撮影鳥瞰画像に構造物の影があり、自車両の後方の撮影鳥瞰画像に自車両の影がある場合を例に挙げる。
【００７１】
図７の左図に示すような場合は、表示装置７に表示される表示鳥瞰画像では、自車両（即ち、自車画像Ｊ）の前方には、前方のカメラ３による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、構造物による影があるが、そのまま表示される。
【００７２】
一方、自車両の後方には、後方のカメラ５による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、自車両の影があるが、そのまま表示される。
次に、自車両が後進した場合には、図７の右図に示すような表示鳥瞰画像が表示される。
【００７３】
つまり、自車両の前方には、前方のカメラ３による最新の撮影鳥瞰画像が表示されるが、構造物の影は自車両の移動に伴って、自車両から離れた位置に表示される。
一方、自車両の後方には、後方のカメラ５による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、自車両の影があるが、そのまま表示される。
【００７４】
このとき、上述した表示制御処理によって、自車両の影を含む後隣接部分４１Ｒａの画像データは履歴領域４３に記憶されないので、表示鳥瞰画像において、自車画像Ｊの側方に自車両の影の一部（例えば、影の左端）が表示されない。
【００７５】
＜前進の場合＞
図８に示すように、自車両の右斜め前方に光源があるときに、前進する場合を考える。
このとき、例えば、図８の左図に示すように、自車両の前方の撮影鳥瞰画像に構造物の影があり、自車両の後方の撮影鳥瞰画像に自車両の影がある場合を例に挙げる。
【００７６】
図８の左図に示すような場合は、表示装置７に表示される表示鳥瞰画像では、自車両の前方には、前方のカメラ３による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、構造物による影があるが、そのまま表示される。
【００７７】
一方、自車両の後方には、後方のカメラ５による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、自車両の影があるが、そのまま表示される。
次に、自車両が前進した場合には、図８の右図に示すような表示鳥瞰画像が表示される。
【００７８】
つまり、自車両の前方には、前方のカメラ３による最新の撮影鳥瞰画像が表示されるが、構造物の影は自車両の移動に伴って自車両に近づく。詳しくは、構造物の影は、例えば路面上の文字や模様等と同様であるので、前方のカメラ３による最新の撮影鳥瞰画像がそのまま表示される。
【００７９】
また、自車両の側方の領域には、過去の撮影鳥瞰画像を移動させた履歴鳥瞰画像が表示されるが、この履歴鳥瞰画像には路面の模様等と同様に構造物の影が含まれている。つまり、構造物の影は、表示鳥瞰画像において、自車両の移動に伴って、その移動量に対応した位置に表示される。
【００８０】
一方、自車両の後方には、後方のカメラ５による最新の撮影鳥瞰画像が表示される。この最新の撮影鳥瞰画像には、自車両の影があるが、そのまま表示される。
［１−４．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
【００８１】
（１ａ）本実施形態では、撮影鳥瞰画像に自車両の影があるか否かを判定し、撮影鳥瞰画像に自車両の影がある場合には、キャプチャ部分として、自車両から遠く且つ自車両の影がない領域の第１鳥瞰画像を用いて、履歴鳥瞰画像を作成する。
【００８２】
従って、撮影鳥瞰画像に自車両の影がある場合は、その自車両の影を含む撮影鳥瞰画像が履歴鳥瞰画像に合成されることを防ぐことができる。よって、履歴鳥瞰画像において自車両の影が拡大することを抑制できるので、表示鳥瞰画像の違和感を低減できる。
【００８３】
一方、撮影鳥瞰画像に自車両の影が無い場合には、キャプチャ部分として、自車両に近く且つ自車両の影の領域の第２鳥瞰画像を用いて、履歴鳥瞰画像を作成することができる。
【００８４】
従って、撮影鳥瞰画像に自車両の影が無い場合は、例えば自車両の影以外の構造物の影を含む撮影鳥瞰画像又は影の無い撮影鳥瞰画像と履歴鳥瞰画像とを合成して表示鳥瞰画像を作成できる。これによって、例えば実際に構造物等の影がある場合には、構造物等の影のある表示鳥瞰画像を表示できるので、表示鳥瞰画像の違和感を低減できる。
【００８５】
このように、本実施形態では、撮影鳥瞰画像に自車両の影がある場合や構造物等の影がある場合には、それぞれの場合に応じて実際の印象に近い表示鳥瞰画像を作成できるので、表示鳥瞰画像における違和感を大きく低減できるという効果がある。
【００８６】
（１ｂ）本実施形態では、撮影鳥瞰画像に影があるか否かを判定し、影がある場合に、その影が自車両の影か否かを判定するので、自車両の影を容易に検出することができる。
（１ｃ）本実施形態では、自車両から伸びる影を自車両の影と判定するので、自車両の影を精度よく検出することができる。
【００８７】
（１ｄ）本実施形態では、自車両から離れた位置にある影を自車両以外の構造物等の影と判定するので、自車両以外の建物等の構造物や木等のような移動しない物体の影を精度よく検出できる。
【００８８】
（１ｅ）本実施形態では、撮影鳥瞰画像を自車両に近い隣接部分と隣接部分より自車両から遠い遠方部分とに区分している。また、隣接部分の画像を第２鳥瞰画像とし、遠方部分の画像を第１鳥瞰画像としている。
【００８９】
従って、自車両の影がある場合には第１鳥瞰画像を用い、自車両の影がない場合には第２鳥瞰画像を用いることにより、履歴鳥瞰画像を作成して、違和感の少ない表示鳥瞰画像を作成することができる。
【００９０】
［１−５．特許請求の範囲と実施形態との関係］
本実施形態における、表示装置７、表示制御装置９、カメラ３、５、撮影画像取得部２１、鳥瞰変換部２３、移動量算出部２５、履歴画像作成部２７、表示画像作成部２９、表示処理部３１、自車影判定部３３、画像修正部３５が、それぞれ、本発明における、表示装置、表示制御装置、カメラ、撮影画像取得部、鳥瞰変換部、移動量算出部、履歴画像作成部、表示画像作成部、表示処理部、自車影判定部、画像修正部の一例に相当する。
【００９１】
［２．他の実施形態］
以上、本発明の実施形態について説明したが、本発明は前記実施形態に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。
【００９２】
（２ａ）例えば、上記実施形態では、前後のカメラを用いて表示鳥瞰画像を作成する例について述べたが、本発明は、前方カメラ又は後方カメラの一方のカメラのみを用いた実施形態にも適用できることは勿論である。
【００９３】
（２ｂ）また、自車影判定部では、自車両から伸びる影が所定期間にわたって連続して撮影鳥瞰画像に表示された場合に、その影を自車両の影と判定してもよい。これにより、自車両の影の検出精度が向上する。
【００９４】
（２ｃ）さらに、前記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の前記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
【００９５】
（２ｄ）また、上述した表示制御装置の他、当該表示制御装置を構成要素とするシステム、当該表示制御装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、車両制御を行う方法など、種々の形態で本発明を実現することもできる。
【００９６】
また、表示制御装置が実行する機能の一部又は全部を、一つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
【符号の説明】
【００９７】
７…表示装置、９…表示制御装置、３…前方カメラ、５…後方カメラ、１３…画像処理部、１５…記憶部、２１…撮影画像取得部、２３…鳥瞰変換部、２５…移動量算出部、２７…履歴画像作成部、２９…表示画像作成部、３１…表示処理部、２９…自車影判定部、３５…画像修正部
【図１】
2017117315.tif 000003
【図２】
2017117315.tif 000004
【図３】
2017117315.tif 000005
【図４】
2017117315.tif 000006
【図５】
2017117315.tif 000007
【図６】
2017117315.tif 000008
【図７】
2017117315.tif 000009
【図８】
2017117315.tif 000010