(57)【要約】【課題】運転者が周辺画像に表示された移動体を視認した際に、その移動体が自車両に接近しているのか否かを瞬時に認識させること。【解決手段】周辺画像表示装置の画像処理部４が、少なくとも１つ以上の時点で撮像された車両の周辺画像に含まれる移動体を示す画像を、少なくとも１つ以上の時点よりも後の時点で撮像された移動体を含む車両の周辺画像に重畳した重畳画像のデータを生成し、表示部５が、生成されたデータに基づき重畳画像を表示し、移動体を示す画像は、後の時点で撮像された車両の周辺画像に含まれる移動体の画像とは表示態様が異なる画像であり、重畳画像においては、車両に対して移動体の相対位置が変化した方向に沿って、撮像された順に、移動体を示す画像、および、後の時点で撮像された移動体の画像が並んでいる。【選択図】図１
2020141155.tif 000002
【特許請求の範囲】
【請求項１】
１以上の時点で撮像された車両の周辺画像に含まれる移動体を示す画像を、前記１以上の時点よりも後の時点で撮像された前記移動体を含む前記車両の周辺画像に重畳した重畳画像のデータを生成する画像処理部と、
前記画像処理部により生成されたデータに基づき前記重畳画像を表示する表示部と、
を備え、
前記移動体を示す画像は、前記後の時点で撮像された前記車両の周辺画像に含まれる移動体の画像とは表示態様が異なる画像であり、
前記重畳画像においては、前記車両に対して前記移動体の相対位置が変化した方向に沿って、撮像された順に、前記移動体を示す画像、および、前記後の時点で撮像された前記移動体の画像が並んでいる
周辺画像表示装置。
【請求項２】
前記重畳画像は、前記１以上の時点で撮像された前記車両の周辺画像における移動体の位置と同じ位置に前記移動体を示す画像が重畳された画像である請求項１に記載の周辺画像表示装置。
【請求項３】
前記画像処理部は、前記１以上の時点で撮像された車両の周辺画像に含まれる移動体の画像を加工することにより前記移動体を示す画像のデータを生成する請求項１または２に記載の周辺画像表示装置。
【請求項４】
前記画像処理部は、所定のフレーム間隔で撮像された前記車両の周辺画像から、前記移動体を示す画像のデータを生成する請求項３に記載の周辺画像表示装置。
【請求項５】
前記所定のフレーム間隔は、前記車両に対する前記移動体の相対速度に応じて決定される請求項４に記載の周辺画像表示装置。
【請求項６】
前記画像処理部は、前記移動体を示す画像のデータとして前記移動体を半透明化させた画像のデータを生成する請求項３〜５のいずれか１項に記載の周辺画像表示装置。
【請求項７】
前記画像処理部は、前記重畳画像が前記表示部により表示された後、前記重畳画像において、撮影された順に前記移動体を示す画像が消去された画像のデータを生成し、前記表示部は、前記移動体を示す画像が消去された画像のデータが生成される度に、生成されたデータに基づき前記移動体を示す画像が消去された画像を表示する請求項１〜６のいずれか１項に記載の周辺画像表示装置。
【請求項８】
前記画像処理部は、前記重畳画像が前記表示部により表示された後、前記重畳画像において、撮影された順に前記移動体を示す画像の透過率が大きくされた画像のデータを生成し、前記表示部は、前記透過率が大きくされた画像のデータが生成される度に、生成されたデータに基づき前記透過率が大きくされた画像を表示する請求項１〜７のいずれか１項に記載の周辺画像表示装置。
【請求項９】
前記表示部は、前記車両の運転者の視線が前記表示部に向けられた場合に、前記重畳画像を表示する請求項１〜８のいずれか１項に記載の周辺画像表示装置。
【請求項１０】
前記表示部は、前記車両の方向指示器に対する操作がされた場合に、前記重畳画像を表示する請求項１〜９のいずれか１項に記載の周辺画像表示装置。
【請求項１１】
前記表示部は、前記車両と前記移動体との間の距離が所定の距離以下である場合に、前記重畳画像を表示する請求項１〜１０のいずれか１項に記載の周辺画像表示装置。
【請求項１２】
前記表示部は、前記車両が自動運転から手動運転へと切り替えられた場合に、前記重畳画像を表示する請求項１〜１１のいずれか１項に記載の周辺画像表示装置。
【請求項１３】
前記表示部は、前記車両が走行状態と停止状態との間で状態が変化した場合に、前記重畳画像を表示する請求項１〜１１のいずれか１項に記載の周辺画像表示装置。
【請求項１４】
前記画像処理部は、現時点で撮像された前記車両の周辺画像に前記移動体が含まれない場合に、前記移動体を示す画像を消去した画像のデータを生成し、前記表示部は、生成されたデータに基づき前記移動体を示す画像を消去した画像を表示する請求項１〜１３のいずか１項に記載の周辺画像表示装置。
【請求項１５】
前記画像処理部は、前記車両の舵角量が所定の舵角量以上である場合に、前記移動体を示す画像を消去した画像のデータを生成し、前記表示部は、生成されたデータに基づき前記移動体を示す画像を消去した画像を表示する請求項１〜１４のいずれか１項に記載の周辺画像表示装置。
【請求項１６】
前記画像処理部は、前記車両の走行車線が変更された場合に、前記移動体を示す画像を消去した画像のデータを生成し、前記表示部は、生成されたデータに基づき前記移動体を示す画像を消去した画像を表示する請求項１〜１５のいずれか１項に記載の周辺画像表示装置。
【請求項１７】
前記画像処理部は、前記車両の舵角量に応じて、前記後の時点で撮像された前記車両の周辺画像に前記移動体を示す画像を重畳する位置を補正する請求項１〜１６のいずれか１項に記載の周辺画像表示装置。
【請求項１８】
前記画像処理部は、前記車両に接近する前記移動体を示す画像のみを前記後の時点で撮像された前記車両の周辺画像に重畳した重畳画像のデータを生成する請求項１〜１７のいずれか１項に記載の周辺画像表示装置。
【請求項１９】
前記画像処理部は、前記車両との間の距離が所定の範囲内にある前記移動体のみを前記後の時点で撮像された前記車両の周辺画像に重畳した前記重畳画像のデータを生成する請求項１〜１８のいずれか１項に記載の周辺画像表示装置。
【請求項２０】
車両の周辺画像を撮像する撮像装置、および表示装置と接続する表示制御装置であって、
前記表示制御装置の動作を制御する制御回路を備え、
前記制御回路は、
前記撮像装置から複数の時点で撮像された前記周辺画像を取得し、
前記複数の時点の中の１以上の時点で撮像された前記車両の周辺画像に含まれる移動体を示す画像を、前記１以上の時点よりも後の時点で撮像された前記移動体を含む前記車両の周辺画像に重畳した重畳画像のデータを生成し、
生成された前記データに基づいて、前記表示装置に前記重畳画像を表示させ、
前記移動体を示す画像は、前記後の時点で撮像された前記車両の周辺画像に含まれる移動体の画像とは表示態様が異なる画像であり、
前記重畳画像においては、前記車両に対して前記移動体の相対位置が変化した方向に沿って、撮像された順に、前記移動体を示す画像、および、前記後の時点で撮像された前記移動体の画像が並んでいる、
表示制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の周辺画像を表示するための周辺画像表示装置に関するものである。
【背景技術】
【０００２】
従来、自車両の周辺を走行している車両の画像をディスプレイに表示する周辺画像表示装置が知られている。このような周辺画像表示装置は、運転者が周囲の交通状況をすみやかに把握することを支援するものである。
【０００３】
例えば、特許文献１には、自車両が自動運転から手動運転へと切り替わる際に、後方カメラの画像とともに、自車両と自車両の周辺を走行している車両との位置関係を示す周辺他車配置画像をメータクラスタディスプレイに表示する技術が開示されている。この周辺他車配置画像では、他の車両を示す画像から延びた矢印によって、自車両に対する他の車両の相対速度の大きさと方向が表されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１８２９０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１に記載された従来技術では、後方カメラの画像に映し出された車両が周辺他車配置画像で示された車両のうち、どの車両に対応するのかを瞬時に把握することが困難であった。また、後方カメラの画像に映し出された車両が自車両に対して接近しているのか、あるいは、遠ざかっているのかを瞬時に運転者に認識させることが困難であった。
【０００６】
本発明は、上記従来の課題を解決するためになされたものであり、運転者が自車両の周辺画像に表示された移動体の画像を視認した際に、その移動体が自車両に接近しているのか遠ざかっているのかを瞬時に認識させることができる周辺画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の周辺画像表示装置は、１以上の時点で撮像された車両の周辺画像に含まれる移動体を示す画像を、１以上の時点よりも後の時点で撮像された移動体を含む車両の周辺画像に重畳した重畳画像のデータを生成する画像処理部と、画像処理部により生成されたデータに基づき重畳画像を表示する表示部と、を備え、移動体を示す画像は、後の時点で撮像された車両の周辺画像に含まれる移動体の画像とは表示態様が異なる画像であり、重畳画像においては、車両に対して移動体の相対位置が変化した方向に沿って、撮像された順に、移動体を示す画像、および、後の時点で撮像された移動体の画像が並んでいることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、運転者が周辺画像に表示された移動体の画像を視認した際に、その移動体が自車両に対して接近しているのか遠ざかっているのかを瞬時に認識させることができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１における周辺画像表示装置の各部の機能を示すブロック図
【図２】移動体を示す画像の記憶処理の一例を示すフローチャート
【図３】移動体を示す画像を記憶する記憶処理の一例を示すイメージ図
【図４】本発明の実施の形態１における画像重畳処理の一例を示すフローチャート
【図５】移動体を示す画像を周辺画像に重畳した重畳画像の一例を示す図
【図６】移動体が検知されていないときの周辺画像の一例を示す図
【図７】本発明の実施の形態２における周辺画像表示装置の各部の機能を示すブロック図
【図８】本発明の実施の形態２における画像重畳処理の一例を示すフローチャート
【図９】本発明の実施の形態３における周辺画像表示装置の各部の機能を示すブロック図
【図１０】本発明の実施の形態３における画像重畳処理の一例を示すフローチャート
【発明を実施するための形態】
【００１０】
（実施の形態１）
以下、本発明の実施の形態１に係る周辺画像表示装置について説明する。図１は、本発明の実施の形態１における周辺画像表示装置の各部の機能を示すブロック図である。
【００１１】
本発明の周辺画像表示装置は、撮像部１と、移動体検知部２と、記憶部３と、画像処理部４と、表示部５とを備えている。
【００１２】
撮像部１は、自車両の後方を撮像する撮像装置である。撮像部１は、例えば、１秒あたり６０フレームのフレームレートで画像を撮像するＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  ＭＯＳ）カメラなどを利用した後方カメラである。
【００１３】
なお、ここでは、撮像部１が自車両の後方を撮像することとしたが、後方に限らず、他の方向を撮像することとしてもよい。また、以下では、撮像部１が撮像した周辺画像を表示する場合について説明するが、周辺画像表示装置が他の装置から周辺画像を取得して表示することとしてもよい。
【００１４】
移動体検知部２は、撮像部１で撮像された周辺画像を画像解析することにより自車両周辺の車両や歩行者などの移動体を検知する検知装置である。また、移動体検知部２は、ミリ波レーダや赤外線レーザなどのセンサであってもよい。
【００１５】
ミリ波レーダを採用することで、遠方の移動体や夜間における移動体の検知が可能となる。一方、赤外線レーザを採用することで、降雨時や霧が発生したときなど視界不良時にも移動体を検知することができる。さらに、カメラと各種センサとの組み合わせによって移動体を検知するようにしてもよい。これにより、様々な環境下において安定的に移動体を検知することが可能となる。
【００１６】
記憶部３は、メモリやハードディスク装置などの記憶装置である。記憶部３は、後述する画像処理部４で生成された画像のデータなどを記憶する。
【００１７】
画像処理部４は、撮像部１で撮像した周辺画像から移動体の画像を抽出する。また、画像処理部４は、周辺画像に含まれる移動体の画像を所定の透過率の半透明画像に加工して、移動体を示す画像のデータを生成する。透過率は、固定値としてもよいし、適宜設定可能な値としてもよい。
【００１８】
また、移動体の画像の加工処理は半透明化処理に限られず、移動体の画像が実際に撮像部１で撮像されたものと表示態様が異なる画像とする処理であればよい。
【００１９】
例えば、加工処理は、移動体の画像を線画化する処理であってもよく、移動体の画像の輪郭線のみを描画する処理であってもよい。また、それらの画像における線が、点線または破線にされてもよい。さらに、移動体の画像に着色処理が施されてもよい。あるいは、これらの処理が適宜組み合わされてもよい。
【００２０】
また、移動体を示す画像は、周辺画像から抽出して加工されたものに限られない。例えば、記憶部３に記憶された円形、矩形などの図形であってもよい。また、その大きさは、周辺画像に表示された移動体の画像に対応させればよい。
【００２１】
また、画像処理部４は、少なくとも１つ以上の時点で撮像された車両の周辺画像に含まれる移動体を示す画像を、上記少なくとも１つ以上の時点よりも後の時点で撮像された移動体を含む車両の周辺画像に重畳した重畳画像のデータを生成する。
【００２２】
後に詳しく説明するが、この重畳画像においては、車両に対して移動体の相対位置が変化した方向に沿って、撮像された順に、移動体を示す画像、および、上記後の時点で撮像された移動体の画像が並んでいる。
【００２３】
そのため、運転者が後述する表示部５に表示された重畳画像を視認した際に、自車両の周辺にある移動体が自車両に対して接近しているのか遠ざかっているのかを瞬時に認識させることができる。
【００２４】
さらに、画像処理部４は、重畳画像が後述する表示部５により表示された後、重畳画像において、撮影された順に移動体を示す画像が消去された画像のデータを生成する。そして、移動体を示す画像が消去された画像のデータが生成される度に、生成された画像が表示部５により表示される。この移動体を示す画像の消去処理についても後に詳しく説明する。
【００２５】
表示部５は、電子ミラーシステムやバックモニタシステムなどに用いられる液晶ディスプレイなどの表示装置である。例えば、表示部５には、上述した重畳画像が表示される。
【００２６】
なお、移動体検知部２、記憶部３、および画像処理部４を表示制御装置として構成してもよい。この場合、表示制御装置は、撮像装置としての撮像部１および表示装置としての表示部５に接続される。ここで、表示制御装置はＣＰＵなどの制御回路を備え、この制御回路が移動体検知部２および画像処理部４として機能する。
【００２７】
つぎに、本発明の実施の形態１に係る周辺画像表示処理の処理手順について説明する。図２は、移動体を示す画像の記憶処理の一例を示すフローチャートである。
【００２８】
本記憶処理では、まず、移動体検知部２が、撮像部１により撮像された周辺画像に移動体が含まれるか否かを画像認識処理により検知する（ステップＳ１０）。
【００２９】
移動体が検知されない場合（ステップＳ１０においてＮｏの場合）、移動体が検知されるまで、本ステップが実行される。移動体が検知された場合（ステップＳ１０においてＹｅｓの場合）、画像処理部４は、周辺画像から移動体の画像を抽出する（ステップＳ２０）。
【００３０】
その後、画像処理部４は、抽出した画像を半透明化する画像処理を実行する（ステップＳ３０）。
【００３１】
なお、移動体の画像を半透明化する処理は、移動体を示す画像を抽出する前に実行してもよい。具体的には、画像処理部４は、周辺画像を半透明化した後に、周辺画像から移動体を示す画像を抽出することとしてもよい。
【００３２】
また、画像処理部４は、移動体検知部２が検知した全ての移動体の画像を周辺画像から抽出せずに、例えば、自車両からの距離が所定の範囲内にある移動体に対応する画像のみを抽出し、重畳画像のデータを生成してもよい。
【００３３】
または、画像処理部４は、自車両に接近する移動体に対応する画像のみを抽出してもよい。これにより、運転者に、安全上、特に注意すべき移動体を瞬時に認識させることができる。
【００３４】
次に、画像処理が施された移動体を示す画像が記憶部３に格納される（ステップＳ４０）。このとき、移動体の画像が表示されていた周辺画像上の位置に関する座標データが、半透明化処理の結果得られた移動体を示す画像とともに記憶部３に格納される。
【００３５】
その後、移動体検知部２は、所定時間が経過したか否かを判定し（ステップＳ５０）、未だ所定時間が経過してない場合（ステップＳ５０においてＮｏの場合）、所定時間が経過するまでステップＳ５０の処理を実行する。
【００３６】
所定時間が経過した場合は（ステップＳ５０においてＹｅｓの場合）、移動体検知部２は、ステップＳ１０の移動体検知処理を再び実行する。
【００３７】
なお、ステップＳ５０における所定時間は、周辺画像に移動体の画像が含まれる場合に、何フレーム毎に移動体の画像の抽出を実行するかを設定する値である。
【００３８】
例えば、フレームレートが６０［ｆｐｓ］であり、ｍフレーム毎に移動体の画像の抽出を実行する場合は、所定時間をｍ／６０［ｓ］よりもわずかに短い時間に設定する。ｍは、何フレーム毎に周辺画像から移動体の画像を抽出するかを設定する値である。
【００３９】
図３は、移動体を示す画像がｍフレーム毎に記憶部３に記憶される際のイメージ図である。図３の上段、中段、下段にはそれぞれ、フレーム番号がｎ−３ｍ、ｎ−２ｍ、ｎ−ｍのフレームに相当する周辺画像１０、１１、１２が示されている。
【００４０】
ここで、ｎは、現時点で撮像された周辺画像のフレーム番号を示している。ｎは、周辺画像の撮像開始後、フレームレートに応じた時間間隔で１ずつ増えるカウンタの値である。
【００４１】
図３に示すように、各時点における周辺画像１０、１１、１２において移動体が検知された場合、移動体の画像１０１、１１１、１２１が抽出される。その後、移動体の画像１０１、１１１、１２１に半透明化処理が施され、移動体を示す画像１０２、１１２、１２２が記憶部３に格納される。
【００４２】
図４は、本発明の実施の形態１における画像重畳処理の一例を示すフローチャートである。図４に示した画像重畳処理によって、後に説明する図５に示したような重畳画像の表示制御が行われる。本画像重畳処理において、変数ｎ、ｍは、上述したｎ、ｍと同様の変数である。変数ｋは、周辺画像に重畳される移動体を示す画像１０２，１１２，１２２の数を示す。例えば、３つの移動体を示す画像１０２，１１２，１２２を周辺画像に重畳した重畳画像のデータを生成する場合は、ｋを３に設定する。
【００４３】
ここで、ｍは、自車両に対する移動体の相対速度の大きさに応じて決定してもよい。例えば、相対速度の大きさが小さい場合には、移動体を示す画像１０２，１１２，１２２同士が重なって表示される可能性がある。
【００４４】
この場合、ｍの値を大きくして、移動体の画像１０１，１１１，１２１を抽出するフレーム間隔を大きくすることにより、移動体を示す画像１０２，１１２，１２２それぞれを離間して表示させることができる。これにより、自車両に対する移動体の相対位置の変化の方向を運転者に認識させやすくすることができる。
【００４５】
一方、自車両に対する移動体の相対速度の大きさが大きい場合は、移動体を示す画像１０２，１１２，１２２同士が大きく離れて表示される可能性がある。この場合、ｍの値を小さくすることにより、移動体を示す画像１０２，１１２，１２２同士が大きく離れて表示されることを防ぐことができる。
【００４６】
図４に示す画像重畳処理では、まず、画像処理部４は、カウンタ値であるｎの値を読み込む（ステップＳ１００）。
【００４７】
次に、画像処理部４は、周辺画像に重畳する移動体を示す画像１０２，１１２，１２２の個数を示す値ｋ、および、何フレーム毎に周辺画像１０，１１，１２から移動体の画像１０１，１１１，１２１を抽出するかを示す値ｍを初期値に設定する（ステップＳ１１０）。ここでは、ｋ、ｍの初期値を共に３とした場合について説明する。
【００４８】
次に、画像処理部４は、移動体検知部２により移動体が検知されたか否かを判定する（ステップＳ１２０）。移動体が検知されなかった場合（ステップＳ１２０においてＮｏの場合）、画像処理部４は、表示部５が重畳画像を表示中か否かを判定する（ステップＳ１７０）。
【００４９】
表示部５が重畳画像を表示中である場合（ステップＳ１７０においてＹｅｓの場合）、画像処理部４は、重畳画像に含まれる移動体を示す画像１０２，１１２，１２２を消去する（ステップＳ１８０）。すなわち、図６に示すように、移動体が表示部５に表示される領域から外れると移動体を示す画像１０２，１１２，１２２は消去される。移動体が自車両の周辺に存在せず、移動体が検知されなくなった場合、移動体に対して注意を払う必要がないため、このような処理を行う。
【００５０】
一方、表示部５が重畳画像を表示中でない場合（ステップＳ１７０においてＮｏの場合）、ステップＳ１００以降の処理が継続される。
【００５１】
なお、ステップＳ１８０では、画像処理部４は、重畳画像における移動体を示す画像１０２，１１２，１２２を消去するとともに、記憶部３に格納された移動体を示す画像１０２，１１２，１２２の画像データも消去する。
【００５２】
ステップＳ１２０において、移動体が検知された場合（ステップＳ１２０においてＹｅｓの場合）、画像処理部４は、フレーム番号がｎ−ｋｍ、ｎ−（ｋ−１）ｍ、ｎ−（ｋ−２）ｍ、・・・、ｎ−ｍであるｋ個のフレームから抽出された移動体を示す画像が記憶部３に蓄積されているか否かを判定する（ステップＳ１３０）。
【００５３】
例えば、現在の周辺画像のフレーム番号がｎ＝６０であるものとすると、３フレーム分の移動体を示す画像１０２，１１２，１２２を重畳するためには、５１フレーム、５４フレーム及び５７フレームの周辺画像１０，１１，１２から抽出された移動体を示す画像１０２，１１２，１２２が記憶部３に蓄積されている必要がある。
【００５４】
上記ｋ個のフレームから抽出された移動体を示す画像１０２，１１２，１２２が記憶部３に記憶されていない場合（ステップＳ１３０においてＮｏの場合）、画像処理部４は、再びステップＳ１００以降の処理を実行する。
【００５５】
上記ｋ個のフレームから抽出された移動体を示す画像１０２，１１２，１２２が記憶部３に記憶されている場合（ステップＳ１３０においてＹｅｓの場合）、画像処理部４は、上記ｋ個のフレームから抽出された移動体を示す画像１０２，１１２，１２２を現在の周辺画像に重畳して重畳画像のデータを生成する（ステップＳ１４０）。
【００５６】
図５は、本発明の実施の形態に係る重畳画像１３の一例を示す図である。図５には、第ｎフレームの周辺画像に第ｎ−３ｍ、第ｎ−２ｍおよび第ｎ−ｍフレームの周辺画像１０，１１，１２から抽出された移動体を示す画像１０２，１１２，１２２が重畳された重畳画像１３が示されている。
【００５７】
この重畳画像１３は、図４に示した重畳処理におけるステップＳ１３０において、第ｎ−３ｍ、第ｎ−２ｍおよび第ｎ−ｍの３フレーム分の移動体を示す画像１０２，１１２，１２２が記憶部３に記憶にされていると判定された結果、ステップＳ１４０において、これらの画像１０２，１１２，１２２が、周辺画像に重畳されたものである。
【００５８】
図４の説明に戻ると、次に、画像処理部４は、ｋが１より大きいか否かを判定する（ステップＳ１５０）。ｋが１より大きい場合（ステップＳ１５０においてＹｅｓの場合）、画像処理部４は、ｋの値を１だけ減少させる（ステップＳ１９０）。
【００５９】
そして、画像処理部４は、所定時間が経過したか否かを判定する（ステップＳ２００）。所定時間が経過していない場合（ステップＳ２００においてＮｏの場合）、画像処理部４は、所定時間が経過するまでステップＳ２００の処理を実行する。所定時間が経過した場合（ステップＳ２００においてＹｅｓの場合）、画像処理部４は、再びステップＳ１２０の処理を実行する。
【００６０】
すなわち、ステップＳ１５０においてＮｏと判定されるまで、ステップＳ１４０において移動体を示す画像１０２，１１２，１２２が周辺画像１０，１１，１２から抽出された順、すなわち、古い順に１つずつ消去された重畳画像１３のデータが生成され、重畳画像１３が表示される。
【００６１】
ｋが１より大きくない場合（ステップＳ１５０においてＮｏの場合）、画像処理部４は、所定時間が経過したか否かを判定する（ステップＳ１６０）。
【００６２】
所定時間が経過していない場合（ステップＳ１６０においてＮｏの場合）、画像処理部４は、所定時間が経過するまでステップＳ１６０の処理を実行する。所定時間が経過した場合（ステップＳ１６０においてＹｅｓの場合）、画像処理部４は、周辺画像に重畳された移動体を示す画像１２２、および、記憶部３に格納された移動体を示す画像１０２，１１２，１２２の画像データを消去して（ステップＳ１８０）、再び、ステップＳ１００以降の処理を実行する。
【００６３】
ステップＳ１５０においてＮｏと判定されるのは、残り１フレーム分の移動体を示す画像１２２が重畳画像１３に表示されている場合である。残り１フレーム分の移動体を示す画像１２１が重畳表示されている場合には、画像処理部４は、所定期間の経過後、該画像を消去し、再びステップＳ１００以降の処理を実行する。
【００６４】
なお、重畳画像１３上に表示される移動体を示す画像１０２，１１２，１２２の位置は、移動体を示す画像１０２，１１２，１２２とともに記憶部３に記憶された座標データに基づいて決定される。
【００６５】
具体的には、図３に示す周辺画像１０，１１，１２に表示された移動体の画像１０１，１１１，１２１の位置と、図５に示す重畳画像１３に表示された移動体を示す画像１０２，１１２，１２２の表示位置は画面の左上隅の点を基準とした座標系において同じである。
【００６６】
これにより、重畳画像１３においては、車両に対して移動体の位置が変化した方向に沿って、撮像された順に、移動体を示す画像１０２，１１２，１２２、および、現時点で撮像された移動体の画像１５が並んで表示される。
【００６７】
したがって、自車両に対して移動体の相対位置が変化した方向、すなわち、他の車両が自車両に接近しているのか遠ざかっているのかを運転者に瞬時に認識させることができる。
【００６８】
ただし、重畳画像１３に表示される移動体を示す画像１０２，１１２，１２２の位置は、周辺画像１０，１１，１２が撮像された時点における周辺画像１０，１１，１２中の移動体の位置と上述した座標系において厳密に同じ位置である必要はない。
【００６９】
例えば、重畳画像１３上において、移動体を示す画像１０２，１１２，１２２の大部分が互いに重なって表示されてしまう場合は、車両に対して移動体の相対位置が変化した方向に沿って移動体を示す画像１０２，１１２，１２２をずらして表示させてもよい。
【００７０】
また、移動体を示す画像１０２，１１２，１２２を消去する態様は、瞬時に消去する態様に限らず、移動体を示す画像１０２，１１２，１２２の透過率を段階的または連続的に大きくして消去するようにしてもよい。
【００７１】
（実施の形態２）
図７は、本発明の実施の形態２における周辺画像表示装置の各部の機能を示すブロック図である。なお、実施の形態１と重複する構成については、説明を省略する。
【００７２】
実施の形態２のおける周辺画像表示装置は、撮像部１と、移動体検知部２と、記憶部３と、画像処理部４と、表示部５に加え、視認検知部６と、方向指示器検知部７と、運転切替検知部８とを備えている。
【００７３】
視認検知部６は、車両の運転者の視線が表示部５に向けられたことを検知する検知装置である。
【００７４】
視認検知部６は、例えば、表示部５付近に設置された小型カメラで撮像された画像の画像解析を行って視線検知処理を行う視線検知装置である。
【００７５】
方向指示器検知部７は、車両の方向指示スイッチに対してなされた操作を検知する検知装置である。運転切替検知部８は、車両の運転状態が切り替えられたことを検知する検知装置である。運転状態の切替には、自動運転と手動運転との間の切替、走行状態と停止状態との間の切替などが含まれる。
【００７６】
図８は、本発明の実施の形態２における画像重畳処理を示すフローチャートである。なお、図８に示したフローチャートは、図４に示したフローチャートにステップＳ１３０１からステップＳ１３０４の処理を追加したものであり、図４に示したフローチャートと重複する部分については説明を省略する。
【００７７】
実施の形態２では、実施の形態１と同様に、ステップＳ１００からステップＳ１２０の処理を実行した後に、ステップＳ１３０の処理が実行される。
【００７８】
ステップＳ１３０においてＹｅｓと判定された場合、画像処理部４は、ｋが３であるか否かを判定する（ステップＳ１３０１）。ｋが３でない場合（ステップＳ１３０１においてＮｏの場合）、画像処理部４は、ステップＳ１４０以降の処理を実行する。
【００７９】
ｋが３である場合（ステップＳ１３０１においてＹｅｓの場合）、視認検知部６は、運転者の視線が表示部５に向けられたか否かを判定する（ステップＳ１３０２）。
【００８０】
運転者の視線が表示部５に向けられた場合（ステップＳ１３０２においてＹｅｓの場合）、画像処理部４は、ステップＳ１４０以降の処理を実行する。
【００８１】
運転者の視線が表示部５に向けられていない場合（ステップＳ１３０２においてＮｏの場合）、方向指示器検知部７は、方向指示スイッチに対する操作がされたか否かを判定する（ステップＳ１３０３）。
【００８２】
方向指示スイッチに対する操作がなされた場合（ステップＳ１３０３においてＹｅｓの場合）、画像処理部４は、ステップＳ１４０以降の処理を実行する。
【００８３】
方向指示スイッチに対する操作がなされていない場合（ステップＳ１３０３においてＮｏの場合）、運転切替検知部８は、運転状態が切り替えられたか否かを判定する（ステップＳ１３０４）。
【００８４】
運転状態が切り替えられた場合（ステップＳ１３０４においてＹｅｓの場合）、画像処理部４は、ステップＳ１４０以降の処理を実行する。運転状態が切り替えられていない場合（ステップＳ１３０４においてＮｏの場合）、再び、ステップＳ１００以降の処理が実行される。
【００８５】
このような処理を実行することにより、運転者の視線が検知されたこと、方向指示スイッチが操作されたこと、または、運転状態が切り替えられたことを契機として、移動体を示す画像１０２，１１２，１２２が周辺画像に重畳された重畳画像１３が表示され、移動体が自車両に対して接近しているのか遠ざかっているのかを運転者に瞬時に認識させることができる。
【００８６】
なお、図８には示されていないが、自車両と移動体との間の距離が所定の距離以下である場合に、移動体が自車両に対して接近していることを運転者に認識させるため、ステップＳ１４０以降の処理を実行することにより重畳画像１３の表示がなされるようにしてもよい。
【００８７】
（実施の形態３）
図９は、本発明の実施の形態３における周辺画像表示装置の各部の機能を示すブロック図である。なお、実施の形態３に係る周辺画像表示装置は、本発明の実施の形態２に係る周辺画像表示装置に舵角検知部９が追加されたものであり、重複する部分については説明を省略する。
【００８８】
舵角検知部９は、ステアリングホイールの基準位置からの回転角度を検知する検知装置である。また、舵角検知部９は、車輪の基準位置からの傾き角度を検知するものであってもよい。
【００８９】
図１０は、本発明の実施の形態３における画像重畳処理を示すフローチャートである。なお、図１０に示すフローチャートは、図８に示したフローチャートにステップＳ１３１１からステップＳ１３１３の処理を追加したものであり、重複する部分については説明を省略する。
【００９０】
実施の形態３では、実施の形態２と同様に、ステップＳ１００からステップＳ１２０の処理を実行した後に、ステップＳ１３０の処理が実行される。
【００９１】
ステップＳ１３０においてＹｅｓと判定された場合、舵角検知部９は、蛇角量が０より大きいか否かを判定する（ステップＳ１３１１）。蛇角量が０より大きくなければステップＳ１３０１の処理に移り、これ以降は、実施の形態２と同様の処理が実行される。
【００９２】
舵角量が０より大きい場合（ステップＳ１３１１においてＹｅｓの場合）、舵角検知部は、舵角量が所定値ａより大きいか否かを判定する（ステップＳ１３１２）。
【００９３】
舵角量が所定値ａより大きい場合（ステップＳ１３１２においてＹｅｓの場合）、画像処理部４は、重畳画像１３に含まれる移動体を示す画像１０２，１１２，１２２を消去するとともに、記憶部３に蓄積されている移動体を示す画像１０２，１１２，１２２の画像データを消去する（ステップＳ１８０）。
【００９４】
舵角量が所定値ａより大きくない場合（ステップＳ１３１２においてＮｏの場合）、画像処理部４は、重畳画像１３に含まれる移動体を示す画像１０２，１１２，１２２の位置を補正する（ステップＳ１３１３）。その後、ステップＳ１３０１の処理に移り、以降、実施の形態２と同様の処理を実行する。
【００９５】
実施の形態３は、重畳画像１３を表示する契機の有無を判定する前に、ステアリングホイールの舵角量に基づいて、重畳画像１３に重畳される移動体を示す画像１０２，１１２，１２２の位置を補正するか、移動体を示す画像１０２，１１２，１２２を消去するか、または、重畳位置の補正を行わずに移動体を示す画像１０２，１１２，１２２を表示するかの判定を実行するものである。
【００９６】
舵角量が所定値ａより大きい時に移動体を示す画像１０２，１１２，１２２を消去する理由は、移動体を示す画像１０２，１１２，１２２と現在の移動体の画像１５との位置関係を正しく表示できない可能性があるからである。
【００９７】
例えば、図５に示した重畳画像１３が表示されているときに、ステアリングホイールの舵角量が所定値ａより大きい角度で操作され、自車両が左側車線に車線変更した場合、自車両に対する移動体の相対位置が変わることにより、移動体の画像１５は重畳画像１３の中心付近に表示されることになる。
【００９８】
つまり、移動体は、走行レーンを変更していないにもかかわらず、移動体の画像１５が表示される位置が変更されるので、運転者に混乱を来す可能性がある。このようなことを防ぐために、蛇角量が所定値ａより大きい場合には、移動体を示す画像１０２，１１２，１２２を重畳画像１３から消去している。
【００９９】
また、舵角量が０よりも大きく所定値ａ以下の角度であるときは、重畳された移動体を示す画像１０２，１１２，１２２と現在の移動体の画像１５との位置関係に若干のずれが生じている可能性がある。
【０１００】
例えば、図５に示した重畳画像１３が表示されているときに、０よりも大きくａ以下の舵角量でステアリングホイールが左側に操作されて走行車線内で走行位置が変更された場合、移動体は道路の左側車線を継続して走行しているにもかかわらず、移動体を示す画像１０２，１１２，１２２が路肩画像上に重畳して表示される可能性がある。
【０１０１】
これにより、重畳画像１３が不自然なものとなり、運転者に混乱を来す可能性がある。このようなことを防ぐために、蛇角量が０よりも大きくａ以下の角度で操作された場合には、画像処理部４は、重畳画像１３に含まれる移動体を示す画像１０２，１１２，１２２の重畳位置を補正する。
【０１０２】
例えば、画像処理部４は、重畳画像１３に表示された移動体を示す画像１０２，１１２，１２２が道路画像上に表示されるように補正する。あるいは、画像処理部４は、移動体の画像１５に追従する位置に移動体を示す画像１０２，１１２，１２２が表示されるように位置を補正する。
【０１０３】
なお、図１０のステップＳ１３１１の処理は、舵角量が厳密に０よりも大きいか否かを判定するものに限定されない。例えば、舵角量が、ステアリングホイールの遊び分を考慮した所定の値よりも大きいか否かを判定するものであってもよい。また、車両がおおよそ走行レーン内を走行しているか否かを判定するために設定された所定の値よりも舵角量が大きいか否かを判定するものであってもよい。
【０１０４】
以上、実施の形態１〜３について説明したが、本発明はこれらの実施の形態に限定されるものではない。
【０１０５】
例えば、実施の形態３では、舵角量を検知して移動体を示す画像を消去する処理を行ったが、撮像部１で撮像された周辺画像の画像認識を行うことにより走行レーンが変更されたか否か検知して、自車両の走行レーンが変更された場合に重畳画像上の移動体を示す画像１０１，１１１，１２１を消去するようにしてもよい。
【０１０６】
また、実施の形態１〜３では、撮像部１を後方カメラとして説明したが、撮像部１は後方カメラに限られず、前方カメラ、または、側方カメラであってもよい。
【０１０７】
また、前方カメラ、左右の側方カメラ、および、後方カメラで撮像された画像を合成して、周辺画像を恰も車両を上方から撮像したように見える俯瞰画像としてもよい。
【０１０８】
特に、運転者が自車両を駐車する場合など、運転状態が停止状態から後進状態に切り替えられた際に周辺画像を俯瞰画像とすることにより、車両周辺を移動する歩行者や自転車が自車両に接近しているのか遠ざかっているのかを瞬時に運転者に認識させることが可能となる。
【０１０９】
また、駐車時は、舵角量が大きくなる可能性が高いことから、駐車時は舵角量を検知して移動体を示す画像１０２，１１２，１２２を消去しなくてもよく、移動体を示す画像１０２，１１２，１２２の位置を補正しなくてもよい。
【０１１０】
以上、本発明に係る実施形態について図面を参照して詳述してきたが、上述した周辺画像表示装置の機能は、コンピュータプログラムにより実現され得る。
【０１１１】
具体的には、上述した周辺画像表示装置の機能をプログラムにより実現するコンピュータの読取装置が、上記機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置に記憶させる。あるいは、ネットワークカードが、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記機能を実現するためのプログラムを記憶装置に記憶させる。
【０１１２】
そして、ＣＰＵが、記憶装置に記憶されたプログラムをＲＡＭにコピーし、そのプログラムに含まれる命令をＲＡＭから順次読み出して実行することにより、上記機能が実現される。
【産業上の利用可能性】
【０１１３】
本発明は、周辺状況を視認するため周辺画像表示装置に広く応用可能である。
【符号の説明】
【０１１４】
１  撮像部
２  移動体検知部
３  記憶部
４  画像処理部
５  表示部
６  視認検知部
７  方向指示器検知部
８  運転切替検知部
９  舵角検知部
１０，１１，１２  周辺画像
１３  重畳画像
１５  現在の移動体の画像
１０１，１１１，１２１  移動体の画像
１０２，１１２，１２２  移動体を示す画像
【図１】
2020141155.tif 000003
【図２】
2020141155.tif 000004
【図３】
2020141155.tif 000005
【図４】
2020141155.tif 000006
【図５】
2020141155.tif 000007
【図６】
2020141155.tif 000008
【図７】
2020141155.tif 000009
【図８】
2020141155.tif 000010
【図９】
2020141155.tif 000011
【図１０】
2020141155.tif 000012