(57)【要約】【課題】車両の挙動が不安定な状況下において、過去に撮影された履歴画像を用いて合成鳥瞰画像を作成するのに好適な技術を提供する。【解決手段】画像処理部は、自車両の周辺の撮像画像を鳥瞰変換した画像である撮影鳥瞰画像を繰返し取得する。また、所定条件に応じて定められるタイミングごとに、進行方向前方の所定領域に対応する鳥瞰画像である履歴画像を取得する。具体的には、車両の挙動に関する不安定条件が成立していない通常時において、所定の第１周期ごとに履歴画像を取得する。一方、不安定条件が成立している状況下では、前記第１周期よりも遅いタイミングで履歴画像を取得する。そして、画像処理部は、蓄積された履歴画像の中から、最新の撮影鳥瞰画像の非撮影領域に対応する領域を抽出し、抽出された領域を非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成する。【選択図】  図３
2018064229.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載されたカメラ（２〜５）によって前記車両の周辺における所定の撮影範囲が撮影された画像である撮影画像を周期的に取得するように構成された撮影画像取得部（２１，Ｓ１００）と、
前記撮影画像取得部により周期的に取得された撮影画像に鳥瞰変換を施して、前記車両の周囲を鳥瞰したである撮影鳥瞰画像を逐次作成するように構成された鳥瞰変換部（２３，Ｓ１０２）と、
所定の条件に応じて定められるタイミングごとに、前記撮影画像取得部により取得された撮影画像のうち前記車両の進行方向前方における所定の領域に対応する鳥瞰画像である履歴画像を取得するように構成された履歴画像取得部（３５，Ｓ１１０〜Ｓ１１４）と、
前記履歴画像取得部により取得された少なくとも１つの履歴画像を記憶するように構成された履歴画像記憶部（４３）と、
前記車両の挙動を表す情報に基づいて、前記車両の移動量を算出するように構成された移動量算出部（２５，Ｓ１０４）と、
最新の撮影鳥瞰画像において前記カメラの撮影範囲に含まれない範囲に対応する非撮影領域について、前記履歴画像記憶部に記憶されている履歴画像の中から前記非撮影領域に対応する領域を前記移動量算出部により算出された移動量に基づいて抽出し、抽出された前記領域を前記非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成するように構成された表示画像作成部（２９，Ｓ１１６）と、
前記表示画像作成部により作成された表示鳥瞰画像を、前記車両に備えられた表示装置に表示させるように構成された表示処理部（３１，Ｓ１１８）と、
前記車両の状態を表す状態情報に基づいて、前記車両の挙動が特定の不安定な状態に該当するか否かを判定するように構成された判定部（３３，Ｓ１０８）とを備え、
前記判定部によって前記不安定な状態に該当しないと判定されている条件下では、前記履歴画像取得部は、前記カメラによって撮影画像が撮像される周期に対応した所定の第１周期ごとに最新の前記撮影鳥瞰画像から前記履歴画像を取得する一方、前記判定部によって前記不安定な状態に該当すると判定されている条件下では、前記履歴画像取得部は、前記第１周期より遅いタイミングで最新の前記撮影鳥瞰画像から前記履歴画像を取得するように構成されている、表示制御装置。
【請求項２】
前記判定部によって前記不安定な状態に該当すると判定されている条件下において、前記履歴画像取得部は、前記履歴画像記憶部に記憶されている最新の履歴画像に写された撮影範囲が、前記車両の移動に伴って前記撮影鳥瞰画像における前記非撮影領域に対して予め定められた更新位置に到達したときに、最新の前記撮影鳥瞰画像から次の履歴画像を取得するように構成されている、
請求項１に記載の表示制御装置。
【請求項３】
前記判定部によって前記不安定な状態に該当すると判定されている条件下において、前記履歴画像取得部は、最後に前記履歴画像が取得された時点から前記第１周期より長い所定の更新時間が経過したときに、最新の前記撮影鳥瞰画像から次の履歴画像を取得するように構成されている、
請求項１又は請求項２に記載の表示制御装置。
【請求項４】
前記判定部は、前記車両が走行している路面が悪路に該当する場合、又は前記車両において横滑りが検知されたことを条件に前記不安定な状態に該当すると判定するように構成されている、
請求項１ないし請求項３の何れか１項に記載の表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、車両の周囲の画像を表示装置に表示させる表示制御装置に関する。
【背景技術】
【０００２】
従来、車両に取付けられたカメラで当該車両（すなわち、自車両）の周辺の画像を撮影し、その撮影画像を自車両の上方から見下ろす視点の画像である鳥瞰画像に変換して、その鳥瞰画像を車室内に備えられた表示装置に表示させる技術が知られている。
【０００３】
また、特許文献１には、カメラの撮影範囲に含まれない自車両の下側の路面の情報を、過去に撮影された画像を用いて補完する技術が記載されている。具体的には、過去に取得された鳥瞰画像（すなわち、履歴画像）から現時点で取得された鳥瞰画像（すなわち、リアル画像）の視野から外れる移動領域を抽出し、車両の移動量だけ履歴画像の移動領域をずらしてリアル画像に描画することで合成鳥瞰画像を作成する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−３３６６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の技術では、カメラにより撮影された画像を取得する度に、時間的に連続する２つの鳥瞰画像の間で履歴画像の移動領域を抽出する処理を繰返すことになっている。すなわち、カメラから画像が入力される度に履歴画像が更新され、更新された履歴画像から抽出された新たな移動領域がリアル画像に描画される。また、カメラの撮影範囲から外れる非撮影領域が広範囲に及ぶ場合、異なる時刻に撮影された複数の履歴画像からそれぞれ抽出した移動領域を時系列に繋ぎ合わせることによって、合成鳥瞰画像を作成することができる。
【０００６】
しかしながら、上記先行技術には次のような問題がある。例えば、砂利道や石畳のような凹凸や段差のある道を車両が走行した場合、車両が揺れ動いて挙動が不安定となる。車両の挙動が不安定となることで、その時々で地面に対するカメラの位置が変化し、カメラにより撮影される路面の写り方が変わってしまう。そうなると、履歴画像から抽出された移動領域に写る路面が、リアル画像や他のタイミングで抽出された移動領域に写る路面と連続的に繋がらなくなり、合成鳥瞰画像において路面が不連続に描画されてしまう。この問題は、特許文献１に記載のようにカメラから画像が入力される度に履歴画像が更新される場合において顕著に現れる。
【０００７】
本開示は、上述の問題を解決するためになされたものである。本開示は、車両の挙動が不安定な状況下において、過去に撮影された履歴画像を用いて合成鳥瞰画像を作成するのに好適な技術を提供する。
【課題を解決するための手段】
【０００８】
本開示の一態様に係る表示制御装置は、撮影画像取得部（２１，Ｓ１００）、鳥瞰変換部（２３，Ｓ１０２）、履歴画像取得部（３５，Ｓ１１０〜Ｓ１１４）、履歴画像記憶部（４３）、移動量算出部（２５，Ｓ１０４）、表示画像作成部（２９，Ｓ１１６）、表示処理部（３１，Ｓ１１８）、判定部（３３，Ｓ１０８）を備える。なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
【０００９】
撮影画像取得部は、車両に搭載されたカメラ（２〜５）によって車両の周辺における所定の撮影範囲が撮影された画像である撮影画像を周期的に取得するように構成されている。鳥瞰変換部は、撮影画像取得部により周期的に取得された撮影画像に鳥瞰変換を施して、車両の周囲を鳥瞰したである撮影鳥瞰画像を逐次作成するように構成されている。履歴画像取得部は、所定の条件に応じて定められるタイミングごとに、撮影画像取得部により取得された撮影画像のうち車両の進行方向前方における所定の領域に対応する鳥瞰画像である履歴画像を取得するように構成されている。
【００１０】
履歴画像記憶部は、履歴画像取得部により取得された少なくとも１つの履歴画像を記憶するように構成されている。移動量算出部は、車両の挙動を表す情報に基づいて、車両の移動量を算出するように構成されている。表示画像作成部は、履歴画像記憶部に記憶されている履歴画像の中から、現時点で取得された撮影鳥瞰画像の非撮影領域に対応する領域を車両の移動量に基づいて抽出する。そして、表示画像作成部は、抽出された領域を非撮影領域に合成することにより、表示のための鳥瞰画像である表示鳥瞰画像を作成するように構成されている。表示処理部は、表示画像作成部により作成された表示鳥瞰画像を、車両に備えられた表示装置に表示させるように構成されている。
【００１１】
判定部は、車両の状態を表す状態情報に基づいて、車両の挙動が特定の不安定な状態に該当するか否かを判定するように構成されている。そして、前記判定部によって前記不安定な状態に該当しないと判定されている条件下では、前記履歴画像取得部は、前記カメラによって撮影画像が撮像される周期に対応した所定の第１周期ごとに最新の前記撮影鳥瞰画像から前記履歴画像を取得するように構成されている。一方、前記判定部によって前記不安定な状態に該当すると判定されている条件下では、前記履歴画像取得部は、前記第１周期より遅いタイミングで最新の前記撮影鳥瞰画像から前記履歴画像を取得するように構成されている。
【００１２】
本開示に係る表示制御装置によれば、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを車両の挙動が不安定でない通常時よりも遅くすることが可能である。このようにすることで、非撮影領域において同時刻に撮影された履歴画像から合成される範囲が通常時よりも広くなり、異なる時刻に撮影された履歴画像が繋ぎ合わせられる回数が低減される。したがって、撮像鳥瞰画像及び履歴画像から合成された表示鳥瞰画像において、非撮影領域に描画された路面の画像が不連続になることを抑制できる。
【図面の簡単な説明】
【００１３】
【図１】表示システムの構成を表すブロック図。
【図２】表示制御処理の手順を表すフローチャート。
【図３】通常時における表示鳥瞰画像の合成方法を表す説明図。
【図４】不安定時における表示鳥瞰画像の合成方法を表す説明図。
【発明を実施するための形態】
【００１４】
以下、本開示の実施形態を図面に基づいて説明する。なお、本開示は下記の実施形態に限定されるものではなく様々な態様にて実施することが可能である。
［表示システムの構成の説明］
本開示の実施形態としての表示制御装置９を含む表示システム１の構成について、図１を参照しながら説明する。表示システム１は、車両の周辺が撮影された画像を表示する車載装置である。図１に例示されるとおり、表示システム１は、４つのカメラ２，３，４，５、表示装置７、表示制御装置９を備える。各カメラ２〜５及び表示装置７は、表示制御装置９に接続されている。以下では、表示システム１が搭載された車両を「自車両」という。
【００１５】
４つのカメラ２〜５は、前カメラ２、後カメラ３、左カメラ４、右カメラ５として、自車両の前、後、左、右にそれぞれ固定して搭載されている。各カメラ２〜５は、自車両の前方、後方、左側方、右側方をそれぞれの撮影範囲として、自車両の全周囲を隈無く撮影できるように配置されている。ただし、自車両の下側に隠れる路面については、カメラ２〜５の撮影範囲に含まれない。
【００１６】
各カメラ２〜５は、一定の時間間隔（例えば、１／３０秒周期）でそれぞれの撮影範囲を繰り返し撮影し、撮影の結果得た撮影画像のデータを表示制御装置９へ出力する。また、表示制御装置９へ出力された撮影画像は、後述するように、表示制御装置９により鳥瞰画像に変換される。なお、本実施形態では、自車両の前後左右それぞれにカメラを備えた事例について説明するが、例えば、前後のみ、あるいは前方又は後方の一方のみを備えた事例についても実施可能である。
【００１７】
表示装置７は、種々の画像を表示する機能を有するディスプレイである。この表示装置７は、表示された画像を車内の運転者等の乗員が視認可能な位置に設けられる。表示装置７には、表示制御装置９から入力される自車両の周辺を含む範囲を表す鳥瞰画像が表示される。なお、この表示装置７に表示される鳥瞰画像が、表示鳥瞰画像である。
【００１８】
表示制御装置９は、入力信号処理部１１、画像処理部１３、記憶部１５、出力信号処理部１７を備える電子制御装置である。入力信号処理部１１は、各カメラ２〜５から入力された撮影画像を画像処理部１３へ出力するためのインタフェースである。
【００１９】
画像処理部１３は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ、入出力インタフェース等を中心に構成された情報処理装置である。画像処理部１３は、例えば、コンピュータシステムとしての機能が集約されたマイクロコントローラ等により具現化される。画像処理部１３の機能は、ＣＰＵがＲＯＭや半導体メモリ等の非遷移的実体的記憶媒体に格納されたプログラムを実行することにより実現される。なお、画像処理部１３を構成するマイクロコントローラの数は１つでも複数でもよい。
【００２０】
画像処理部１３は、機能の構成要素として、撮影画像取得部２１と、鳥瞰変換部２３と、移動量算出部２５と、履歴画像取得部２７と、表示画像作成部２９と、表示処理部３１とを備える。また、履歴画像取得部２７は、判定部３３及び画像取得部３５としての機能を備える。なお、画像処理部１３を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を論理回路やアナログ回路等を組合せたハードウェアを用いて実現してもよい。
【００２１】
撮影画像取得部２１は、各カメラ２〜５から入力信号処理部１１を介して撮影画像を繰り返し取得する。鳥瞰変換部２３は、撮影画像取得部２１が繰り返し取得した撮影画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から真下又は斜め下に見下ろす視点の鳥瞰画像に逐次変換する。つまり、鳥瞰変換部２３は、撮影画像の鳥瞰画像である撮影鳥瞰画像を逐次作成する。移動量算出部２５は、自車両から入力されたシフトレンジの情報、車速の情報とステアリング角又はヨーレートの情報等を含む車両挙動情報に基づいて、自車両の移動量を算出する。
【００２２】
履歴画像取得部２７は、車両の走行状況に応じた所定のタイミングで、鳥瞰変換部２３により作成された撮影鳥瞰画像から自車両の進行方向前方の一部領域を履歴画像として抽出し、記憶部１５の履歴領域４３に時系列に格納する。なお、履歴画像取得部２７は、自車両が前進している時には、自車両の前側の撮影範囲を履歴画像として取得し、自車両が後進している時には、自車両の後ろ側の撮影範囲を履歴画像として取得する。
【００２３】
判定部３３は、自車両の走行状況に応じて、自車両の挙動が特定の不安定な状態であることを示す不安定条件が成立するか否かを判定する。具体的には、判定部３３は、自車両に備えられたジャイロセンサや、加速度センサ、車高センサ等による計測結果で表される挙動に基づき、自車両が凸凹の多い悪路を走行していると判断した場合、不安定条件が成立すると判定する。また、車輪速センサによる計測結果に基づいて自車両が横滑りしていると判断した場合、不安定条件が成立すると判定する。あるいは、ナビゲーションシステム等で用いられる地図データに基づき、自車両が走行中の道路が悪路に該当する場合、不安定条件が成立すると判定するように構成してもよい。
【００２４】
画像取得部３５は、判定部３３による判定結果に応じたタイミングで、撮影鳥瞰画像から履歴画像を抽出し、記憶部１５の履歴領域４３に時系列に保存する。具体的には、不安定条件が不成立である場合、すなわち、通常の走行状態においては、画像取得部３５は、撮影画像取得部２１において撮影画像が取得されるごと（例えば、１／３０秒周期）に履歴画像を取得する。以下、通常時において画像取得部３５が履歴画像を更新する周期を標準周期という。
【００２５】
一方、不安定条件が成立した場合、すなわち、走行状態が不安定な状況下においては、画像取得部３５は、標準周期よりも長い時間間隔で履歴画像を取得する。具体的には、画像取得部３５は、前に取得された履歴画像の撮影範囲を自車両の移動量に応じて移動させ、当該履歴画像の撮影範囲が所定位置に到達したときに新たな履歴画像を取得する。あるいは、画像取得部３５は、標準周期よりも長く設定された時間間隔ごとに新たな履歴画像を取得する。
【００２６】
なお、撮影鳥瞰画像は、自車両の周囲のうち、自車両の前後左右方向における所定の範囲についての最新の状況を表す。これに対し、履歴画像は、最新の状況ではないものの、自車両の移動によって自車両の下側に潜り込んだ場所のように、撮影鳥瞰画像ではカバーされない範囲の状況を表すことができる。
【００２７】
記憶部１５は、上述した撮影鳥瞰画像や履歴画像、後述する表示鳥瞰画像を記憶するための記憶装置である。記憶部１５には、各種画像を記憶するための記憶領域として、リアル領域４１、履歴領域４３、出力領域４５があらかじめ確保されている。
【００２８】
リアル領域４１は、鳥瞰変換部２３により作成された最新の撮影鳥瞰画像を記憶するための領域である。履歴領域４３は、履歴画像取得部２７により取得作成された履歴画像を記憶するための領域である。履歴領域４３には、最新の履歴画像から過去の一定期間分の履歴画像の時系列が保存される。なお、履歴領域４３が本開示における履歴画像記憶部に相当する。出力領域４５は、履歴鳥瞰画像と撮影画像とを合成して作成される鳥瞰画像である表示鳥瞰画像を記憶するための領域である。表示装置７には、出力領域４５に記憶された表示鳥瞰画像が表示される。
【００２９】
表示画像作成部２９は、撮影鳥瞰画像と履歴画像とを合成した鳥瞰画像である表示鳥瞰画像を作成する。自車両の周辺が撮影された撮影鳥瞰画像において、自車両の下側に隠れる範囲は各カメラ２〜３の撮影範囲に含まれないため、撮影鳥瞰画像の中央部分は空白となる。以下、この空白部分を非撮影領域という。表示画像作成部２９は、履歴領域４３に蓄積されている履歴画像の時系列から、自車両の移動量に基づいて非撮影領域に対応する領域を抽出する。そして、表示画像作成部２９は、各履歴画像から抽出された領域を繋ぎ合わせることで、非撮影領域全体に対応する範囲の画像である補填画像を作成し、この補填画像を最新の撮影鳥瞰画像の非撮影領域に合成することで表示鳥瞰画像を作成する。表示画像作成部２９により作成された表示鳥瞰画像は、記憶部１５の出力領域４５に記憶される。
【００３０】
表示処理部３１は、記憶部１５の出力領域４５に記憶された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に表示させる。以上が、画像処理部１３の有する機能である。画像処理部１３は、後述する表示制御処理を実行することでこれらの機能を実現する。出力信号処理部１７は、画像処理部１３により作成された表示鳥瞰画像を表示装置７へ出力するためのインタフェースである。
【００３１】
［表示制御処理の説明］
表示制御装置９の画像処理部１３が実行する表示制御処理の手順について、図２のフローチャートを参照しながら説明する。表示制御処理は、所定の指示がなされることで開始され、入力信号処理部１１を介して各カメラ２〜５からの撮影画像が入力されるごとに繰返し実行される。すなわち、表示制御処理は、各カメラ２〜５により撮影される画像のフレームレート（例えば、毎秒３０フレーム）に同期して実行される。なお、この表示制御処理は、自車両が前進する場合及び後進する場合の何れについても適用可能である。
【００３２】
Ｓ１００では、画像処理部１３は、各カメラ２〜５により撮影された最新の撮影画像をそれぞれ１フレームずつ取得する。なお、Ｓ１００は、撮影画像取得部２１の機能として実行される処理である。Ｓ１０２では、画像処理部１３は、Ｓ１００において取得された撮影画像に鳥瞰変換を施すことにより、自車両の全周囲を上方から見下ろす視点の撮影鳥瞰画像を作成する。なお、Ｓ１０２は、鳥瞰変換部２３の機能として実行される処理である。ここで作成された撮影鳥瞰画像は、リアルタイム画像として記憶部１５のリアル領域４１に保存される。
【００３３】
Ｓ１０４では、画像処理部１３は、自車両から入力された車両挙動情報に基づいて、前回の自車両の移動量を算出する。なお、Ｓ１０４は、移動量算出部２５の機能として実行される処理である。具体的には、移動量算出部２５は、シフトレンジの情報、車速の情報と操舵角又はヨーレートの情報等の車両挙動情報に基づいて、自車両の移動量を算出する。ここでいう移動量とは、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の位置及び向きの変化である。
【００３４】
Ｓ１０６では、画像処理部１３は、Ｓ１０４において算出された移動量に応じて、記憶部１５の履歴領域に蓄積されている各履歴画像の位置を移動させる。具体的には、履歴画像に写されている撮影範囲と自車両との相対的な位置関係を、前回の撮影画像の取得タイミングから今回の撮影画像の取得タイミングまでの期間における自車両の移動量の分だけ移動させ、最新の状態に更新する。
【００３５】
Ｓ１０８では、画像処理部１３は、自車両の挙動について不安定条件が成立するか否かを判定する。なお、Ｓ１０８は、履歴画像取得部２７の判定部３３の機能として実行される処理である。ここで、不安定条件が成立していない場合（すなわち、Ｓ１０８：ＮＯ）、画像処理部１３はＳ１１４に進む。
【００３６】
Ｓ１１４では、画像処理部１３は、リアル領域４１に保存されている最新の撮影鳥瞰画像から、履歴画像として保存する領域に該当する部分を抽出し、抽出された履歴画像を履歴領域４３に保存する。ここでは、画像処理部１３は、自車両が前進している場合には、自車両の前側に設定された撮影範囲に対応する画像を履歴画像として取得する。一方、自車両が後進している場合には、自車両の後側に設定された撮影範囲に対応する画像を履歴画像として取得する。画像処理部１３は、取得した履歴画像を、履歴領域４３に格納されている履歴画像の時系列に最新の履歴画像として保存する。
【００３７】
Ｓ１１６では、画像処理部１３は、リアル領域４１に保存されている最新の撮影鳥瞰画像であるリアルタイム画像と、履歴領域４３に保存されている各履歴画像とを合成することにより、表示鳥瞰画像を作成する。なお、Ｓ１１６は、表示画像作成部２９の機能として実行される処理である。
【００３８】
ここで、不安定条件が成立していない状況下で表示画像作成部２９が表示鳥瞰画像を作成する事例について、図３を参照しながら説明する。図３に例示されるとおり、自車両周辺の最新の撮影鳥瞰画像であるリアルタイム画像Ａの中央部には、自車両の下側に隠れた部分に相当する非撮影領域Ｂが存在する。
【００３９】
一方、不安定条件が成立していない通常の走行時においては、画像処理部１３に繰返し入力される撮影画像について、撮影画像のフレームレートと同じ標準周期ごとに履歴画像が毎回取得され、履歴領域４３が逐次更新される。これにより、図３に例示されるように、連続するフレームに対応する時系列の履歴画像群Ｃが履歴領域４３に蓄積される。表示画像作成部２９は、蓄積された履歴画像群Ｃのうち、新しい履歴画像から非撮影領域Ｂに対応する一部領域を順次繋ぎ合わせることで、非撮影領域Ｂに対応する補填画像Ｄを作成する。
【００４０】
図３の事例では、補填画像Ｄは、フレームタイミングごとに連続して取得された履歴画像それぞれから抽出された領域Ｆ１〜Ｆ１０が、自車両の進行方向に沿って順次に繋ぎ合わせられることによって作成されている。そして、表示画像作成部２９は、リアルタイム画像Ａの中の非撮影領域Ｂに補填画像Ｄをはめ込むことにより、図３に例示されるように、表示鳥瞰画像Ｅを合成する。
【００４１】
図２のフローチャートの説明に戻る。Ｓ１１８では、画像処理部１３は、記憶部１５の出力領域４５に保存された表示鳥瞰画像を、出力信号処理部１７を介して表示装置７に出力し、表示装置７において表示させる。なお、Ｓ１１８は、表示処理部３１の機能として実行される処理である。Ｓ１１８の後、画像処理部１３は、今回のフレームタイミングにおける表示制御処理を終了し、次のフレームタイミングにおいてＳ１００から再開する。
【００４２】
一方、Ｓ１０８において不安定条件が成立している判定された場合（すなわち、Ｓ１０８：ＹＥＳ）、画像処理部１３はＳ１１０に進む。Ｓ１１０では、画像処理部１３は、履歴領域４３に蓄積されている最新の履歴画像について、当該履歴画像の撮影範囲の自車両に対する相対的な位置が、所定の履歴画像更新位置に到達したか否かを判定する。この履歴画像更新位置は、自車両の位置に対応する非撮影領域を基準とする所定の位置であり、自車両の進行方向（すなわち、前進又は後進）に応じて予め定められている。なお、Ｓ１１６は、画像取得部３５の機能として実行される処理である。
【００４３】
最新の履歴画像の撮影範囲が履歴画像更新位置に到達していない場合（Ｓ１１０：ＮＯ）、画像処理部１３はＳ１１２に進む。Ｓ１１２では、画像処理部１３は、履歴画像更新時期が到来したか否かを判定する。この履歴画像更新時期は、不安定時において履歴画像を更新すべき時間時期を規定するものであり、最後に履歴画像の更新を行った時刻から所定時間が経過したタイミングに設定されている。ただし、履歴画像更新時期の周期は、通常時において履歴画像を更新する標準周期よりも長い時間間隔が設定されているものとする。なお、Ｓ１１６は、画像取得部３５の機能として実行される処理である。
【００４４】
履歴画像更新時期が到来していない場合（すなわち、Ｓ１１２：ＮＯ）、画像処理部１３はＳ１１４をスキップしてＳ１１６に進む。以降、画像処理部１３は、Ｓ１１６において表示鳥瞰画像を作成し、Ｓ１１８において表示鳥瞰画像を出力した後、今回のフレームタイミングにおける表示制御処理を終了する。
【００４５】
一方、Ｓ１１０において最新の履歴画像の撮影範囲が履歴画像更新位置に到達したと判定された場合（すなわち、Ｓ１１０：ＹＥＳ）、又は、履歴画像更新時期が到来したと判定された場合（すなわち、Ｓ１１２：ＹＥＳ）、画像処理部１３はＳ１１４に進む。以降、画像処理部１３は、Ｓ１１４において新たな履歴画像を取得し、Ｓ１１６において表示鳥瞰画像を作成し、Ｓ１１８において表示鳥瞰画像を出力した後、今回のフレームタイミングにおける表示制御処理を終了する。
【００４６】
上述のとおり、本実施形態では、悪路走行や横滑り等の不安定条件が成立している状況下では、一定距離以上を移動又は履歴画像更新時期が到来しない限り、履歴画像の更新が行われないようになっている。結果的に、通常の走行時と比較して履歴画像が更新される周期が遅くなる。ここで、不安定条件が成立している状況下で表示画像作成部２９が表示鳥瞰画像を作成する事例について、図４を参照しながら説明する。図４は、フレームタイミングごとの連続する時刻Ｔ０〜Ｔ７について、各時刻において取得された撮影鳥瞰画像であるリアルタイム画像Ａ０〜Ａ７と、この期間に取得される履歴画像との位置関係の推移を模式的に表している。
【００４７】
図４に例示されるとおり、時刻Ｔ０において、画像処理部１３が矢印で示す進行方向の前側の撮影範囲から履歴画像Ｃ０を取得したと想定する。なお、図４において、符号５０は、履歴画像更新位置を表している。また、符号Ｂ０〜Ｂ７は、各時刻におけるリアルタイム画像Ａ０〜Ａ７の中央に分布する非撮影領域であり、自車両の下側に隠れる範囲を表している。図４事例では、履歴画像更新位置５０は、非撮影領域Ｂ０〜Ｂ７の進行方向側の先端部から、進行方向の反対方向へ履歴画像の撮影範囲の長さと同じ距離だけ進んだ位置に設定されているものとする。ただし、この距離は、撮影画像が入力される１周期分の時間に自車両が進む距離よりも十分に長い距離とする。
【００４８】
次の時刻Ｔ１，Ｔ２，Ｔ３の期間において、自車両の移動に伴い履歴画像Ｃ０の自車両に対する相対的な位置が推移する。画像処理部１３は、各時刻Ｔ１，Ｔ２，Ｔ３において、履歴画像Ｃ０から非撮影領域Ｂ１〜Ｂ３に重なる一部領域を補填画像として、各時刻のリアルタイム画像Ａ１〜Ａ３にそれぞれ合成することにより、表示鳥瞰画像を作成する。ただし、時刻Ｔ１〜Ｔ３の期間では、新たな履歴画像の取得が行われない。その結果、最後に取得された履歴画像Ｃ０から非撮影領域に合成される画像の範囲が徐々に拡大する。
【００４９】
次の時刻Ｔ４において、履歴画像Ｃ０の撮影範囲が履歴画像更新位置５０に到達したことにより、画像処理部１３が次の履歴画像Ｃ４を取得する。また、画像処理部１３は、各時刻Ｔ４において、履歴画像Ｃ０から非撮影領域Ｂ４に重なる一部領域を補填画像として、リアルタイム画像Ａ４に合成することにより、表示鳥瞰画像を作成する。
【００５０】
次の時刻Ｔ５，Ｔ６，Ｔ７の期間において、自車両の移動に伴い履歴画像Ｃ０，Ｃ４の自車両に対する相対的な位置が推移する。画像処理部１３は、各時刻Ｔ４，Ｔ５，Ｔ６において、履歴画像Ｃ０，Ｃ４から非撮影領域Ｂ５〜Ｂ７に重なる一部領域を補填画像として、各時刻のリアルタイム画像Ａ５〜Ａ７にそれぞれ合成することにより、表示鳥瞰画像を作成する。ただし、時刻Ｔ５〜Ｔ７の期間では、最後に取得された履歴画像Ｃ４が履歴画像更新位置５０に到達していないため、新たな履歴画像の取得が行われていない。その結果、最後に取得された履歴画像Ｃ４から非撮影領域に合成される画像の範囲が徐々に拡大する。
【００５１】
［効果］
実施形態の表示制御装置９によれば、以下の効果を奏する。
悪路の走行や横滑り等、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを通常時よりも遅くすることが可能である。このようにすることで、非撮影領域において同時刻に撮影された履歴画像から合成される範囲が通常時よりも広くなり、異なる時刻に撮影された履歴画像が繋ぎ合わせられる回数が低減される。したがって、合成された表示鳥瞰画像において、非撮影領域に描画された路面の画像が不連続になることを抑制できる。
【００５２】
また、車両の挙動が不安定な状況下において、履歴画像を更新するタイミングを、自車両の移動量及び時間間隔によって決定できる。このようにすることで、自車両の移動状況等に応じた柔軟な態様にて履歴画像を更新することができる。
【００５３】
［変形例］
上記各実施形態における１つの構成要素が有する機能を複数の構成要素に分担させたり、複数の構成要素が有する機能を１つの構成要素に発揮させたりしてもよい。また、上記各実施形態の構成の一部を省略してもよい。また、上記各実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加、置換等してもよい。なお、特許請求の範囲に記載の文言から特定される技術思想に含まれるあらゆる態様が、本開示の実施形態である。
【００５４】
上述した表示制御装置９を構成要件とするシステム、表示制御装置９としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、表示制御方法等の種々の形態で本開示を実現することもできる。
【００５５】
上述の実施形態では、４つのカメラ２〜５により撮影された画像から撮影鳥瞰画像を作成する事例について説明した。これに限らず、４つよりも少ない又は多いカメラにより撮影された画像に基づいて鳥瞰画像を作成する構成であってもよい。
【００５６】
上述の実施形態では、表示制御処理において、履歴画像が更新位置に到達したか否かを判定するＳ１１０の処理と、履歴画像更新時期が到来したか否かを判定するＳ１１２の処理とを両方実施する事例について説明した。これに限らず、Ｓ１１０又はＳ１１２の何れか一方のみを実施する構成であってもよい。
【符号の説明】
【００５７】
１…表示システム、２…前カメラ、３…後カメラ、４…左カメラ、５…右カメラ、７…表示装置、９…表示制御装置、１１…入力信号処理部、１３…画像処理部、１５…記憶部、１７…出力信号処理部、２１…撮影画像取得部、２３…鳥瞰変換部、２５…移動量算出部、２７…履歴画像取得部、２９…表示画像作成部、３１…表示処理部、３３…判定部、３５…画像取得部、４１…リアル領域、４３…履歴領域、４５…出力領域、Ａ…リアルタイム画像、Ｂ…非撮影領域、Ｃ…履歴画像、Ｄ…補填画像、Ｅ…表示鳥瞰画像。
【図１】
2018064229.tif 000003
【図２】
2018064229.tif 000004
【図３】
2018064229.tif 000005
【図４】
2018064229.tif 000006