(57)【特許請求の範囲】
【請求項１】
車両周辺の画像を撮影する撮影手段と、画像を表示する表示手段とを備えた車両において、前記撮影手段により撮影された画像を処理して前記表示手段に表示する車両周辺表示装置であって、
前記撮影手段で撮影した画像を、前記撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像を逐次生成する鳥瞰図画像生成手段と、
該鳥瞰図画像生成手段により生成された前記鳥瞰図画像のうち、時間的に連続する少なくとも２つの鳥瞰図画像における一致領域の移動距離および移動方向を表す移動ベクトルを求めるとともに蓄積し、該蓄積した複数の移動ベクトルに基づき当該車両の移動状態を表す車両移動パラメータを算出し、前記車両移動パラメータに基づき当該車両の予測進路を予測する進路予測手段と、
該進路予測手段にて予測した前記予測進路を前記表示手段に表示する表示処理手段と、
を備えたことを特徴とする車両周辺表示装置。
【請求項２】
前記鳥瞰図画像生成手段により生成された第１鳥瞰図画像と、該第１鳥瞰図画像の生成時よりも後に生成された第２鳥瞰図画像とを比較して、その一致領域と不一致領域とを判別する領域判別手段と、
該領域判別手段により判別された前記不一致領域を前記第２鳥瞰図画像に加味した車両周辺鳥瞰画像を作成する周辺画像作成手段と、を備え、
前記表示処理手段が、前記予測進路を前記車両周辺鳥瞰画像に重ね合わせた予測進路合成画像を、前記表示手段に表示すること、
を特徴とする請求項１に記載の車両周辺表示装置。
【請求項３】
前記撮影手段により撮影される画像は、車両の後方の画像であること、を特徴とする請求項１または請求項２に記載の車両周辺表示装置。
【請求項４】
前記表示手段に前記予測進路合成画像を表示する場合に、自車両を示す画像を加えて表示すること、
を特徴とする請求項１から請求項３のいずれかに記載の車両周辺表示装置。
【請求項５】
コンピュータを、前記請求項１から請求項４のいずれかに記載の車両周辺表示装置における各手段として機能させるためのプログラム。
【請求項６】
コンピュータを、前記請求項１から請求項４のいずれかに記載の車両周辺表示装置における各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の周辺を撮影して車両周辺画像をモニタに表示する車両周辺表示装置、コンピュータを車両周辺表示装置の各手段として機能させるためのプログラムおよび記録媒体に関するものである。
【０００２】
【従来の技術】
従来より、車両の周辺を撮影して、車内に備えられる表示装置に表示する車両周辺表示装置としては、例えば、車両の後部に取り付けたカメラで車両後方の様子を撮影し、カメラで撮影した後方カメラ画像をそのままモニタに出力（表示）する車両周辺表示装置が知られている。
【０００３】
そして、後方カメラ画像を表示する車両周辺表示装置は、例えば、車両を後進させて駐車場（駐車枠内）に車両を入れる後進駐車操作の際に、運転者からの死角に存在する車両後方の障害物を表示できることから、後進駐車操作を行う運転者を支援することが可能である。
【０００４】
また、後方カメラ画像を表示する車両周辺表示装置としては、後進駐車操作の際に、車両の後進予測進路を車両カメラ画像にスーパーインポーズ表示する装置が提案されている（特開２０００−１６８４７５号公報参照）。そして、車両の後進予測進路の予測方法については、車両に備えられたステアリング舵角センサにより操舵輪の舵角を検出し、検出した操舵輪の舵角に基づいて予測する方法が知られている。
【０００５】
このように後進予測進路が表示可能な車両周辺表示装置を用いることで、運転者は後進予測進路を知ることができ、障害物等を避けて車両を後進させることができることから、後進駐車操作が不得意な運転者であっても、比較的容易に後進駐車操作を行うことができる。
【０００６】
【発明が解決しようとする課題】
しかし、上述の車両周辺表示装置においては、後進予測進路を予測するためにステアリング舵角センサを備える必要があるため、部品点数が増大して装置のコストが高くなるという問題がある。
【０００７】
また、ステアリング舵角センサを備えていない既存の車両に対して、ステアリング舵角センサを追加設置することは容易ではないことから、既存の車両に対して後進予測進路が表示可能な車両周辺表示装置を搭載することは困難であるとともに、センサを追加設置する際には高額の設置費用が必要となる。
【０００８】
なお、駐車操作時における車両周辺の表示は、後進駐車操作時に限らず、前進駐車操作時にも、運転者を支援することができる。例えば、運転者が初心者であり、壁に囲まれた幅の狭い駐車領域に右折（あるいは左折）しながら進入して駐車する場合には、車両前方角部と駐車領域を囲む壁との距離を正確に把握できずに衝突する可能性が高い。このような状況下で、車両と壁の位置を鳥瞰図画像で表示することで、初心者である運転者は、車両と壁との位置関係を容易に把握することができ、前進駐車操作を支援することが可能となる。
【０００９】
そこで、本発明は上記問題に鑑みなされたものであり、車両の操舵輪の舵角を検出するためのセンサ等を備えることなく車両の予測進路を予測でき、安価で既存の車両への搭載が容易である車両周辺表示装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
かかる目的を達成するためになされた請求項１に記載の発明は、撮影手段により撮影された車両周辺の画像を処理して表示手段に表示する車両周辺表示装置であり、撮影時刻の異なる車両周辺画像における一致領域の移動距離および移動方向に基づいて、車両の予測進路を予測する点に特徴がある。
【００１１】
つまり、請求項１に記載の車両周辺表示装置は、撮影手段で撮影した車両周辺の画像を処理して表示手段に表示するにあたり、まず、鳥瞰図画像生成手段が、撮影手段で撮影した画像を撮影手段を視点として投影した地上面座標系のデータに変換して鳥瞰図画像を生成する。次に、進路予測手段が、時間的に連続する少なくとも２つの鳥瞰図画像における一致領域の移動距離および移動方向を表す移動ベクトルを求めるとともに蓄積し、この蓄積した複数の移動ベクトルに基づき車両の移動状態を表す車両移動パラメータを算出し、車両移動パラメータに基づき車両の予測進路を予測する。そして、表示処理手段が、進路予測手段にて予測した予測進路を表示手段に表示している。
【００１２】
ここで、２つの鳥瞰図画像における一致領域とは、同一の撮影対象を表示している表示領域のことであり、この一致領域は、車両の移動に応じて移動することになる。よって、時間的に連続する少なくとも２つの鳥瞰図画像における一致領域の移動距離および移動方向は、車両の移動距離および移動方向と密接に関係することから、移動ベクトルに基づいて車両の移動距離および移動方向を判別することが可能である。なお、移動方向に関しては、一致領域の移動方向と車両の移動方向とは反対方向となる。
【００１３】
このため、車両周辺表示装置は、蓄積された移動ベクトルを用いることで車両の過去の移動軌跡を判別でき、また、判別した過去の移動軌跡に基づいて未来の移動軌跡である予測進路を予測することが可能となる。なお、予測進路は、たとえば、線形予測法などを用いて予測することができる。
【００１４】
このように、撮影時刻の異なる画像に基づいて車両の予測進路を予測することで、ステアリング舵角センサ等を車両に設けることなく、車両の予測進路を予測することができる。
したがって、本発明（請求項１）の車両周辺表示装置によれば、車両の予測進路を予測するにあたり、ステアリング舵角センサ等のセンサを車両に設ける必要が無くなることから、装置の部品点数の増大を抑制でき、コスト上昇を抑えることができる。また、ステアリング舵角センサ等のセンサが不要であることから、この車両周辺表示装置は、既存の車両に対する追加設置を比較的容易に実現することができる。
【００１５】
そして、上述（請求項１）の車両周辺表示装置においては、請求項２に記載のように、領域判別手段が、鳥瞰図画像生成手段により生成された第１鳥瞰図画像と、この第１鳥瞰図画像の生成時よりも後に生成された第２鳥瞰図画像とを比較して、その一致領域と不一致領域とを判別し、周辺画像作成手段が、領域判別手段により判別された不一致領域を第２鳥瞰図画像に加味した車両周辺鳥瞰画像を作成して、表示処理手段が、予測進路を車両周辺鳥瞰画像に重ね合わせた予測進路合成画像を表示手段に表示するとよい。
【００１６】
つまり、車両周辺鳥瞰画像は、最新の車両周辺状況を表す最新情報である第２鳥瞰図画像に対して、過去の車両周辺状況を表す第１鳥瞰図画像における不一致領域を加味したものであり、車両周辺のより広域な範囲の状況を表すことができる。このため、車両周辺鳥瞰画像を表示装置に表示することで、運転者に対して車両周辺に関するより多くの情報を提供することができる。
【００１７】
そして、車両周辺鳥瞰画像に対して予測進路を重ね合わせた予測進路合成画像は、広域な車両周辺の状況に加えて、車両の予測進路と車両周辺の障害物等との位置関係に関する情報を、運転者に対して提供することができる。
よって、本発明（請求項２）の車両周辺表示装置によれば、運転者は、車両の予測進路と車両周辺の障害物等との位置関係を容易に把握でき、衝突の危険を回避してより安全に車両を運転することができる。
【００１８】
ここで、上述（請求項１または請求項２）の車両周辺表示装置においては、撮影手段の設置位置が車両の前後左右のいずれであっても、車両の移動に伴い一致領域が移動することから、移動ベクトルを求めることは可能である。しかし、運転者が、車両の予測進路および車両周囲の画像を必要とする状況の一つとしては、車両を後進させながら所定の駐車領域に車両を移動させる後進駐車操作時が挙げられる。
【００１９】
そこで、上述（請求項１または請求項２）の車両周辺表示装置においては、請求項３に記載のように、撮影手段により撮影される画像が車両の後方の画像であるとよい。
つまり、車両後方の画像を撮影することで、運転者は車両後方の障害物などを早期に発見することが可能となるとともに、予測進路と障害物等との位置関係をより正確に把握することができ、この結果、後進駐車操作時における運転者の負担を軽減することができる。
【００２０】
よって、請求項３に記載の車両周辺表示装置によれば、運転者に対して車両の後進予測進路の周囲状況を提供することができ、運転者はより安全に後進駐車操作を行うことができる。
また、上述（請求項１から請求項３のいずれか）の車両周辺表示装置は、請求項４に記載のように、表示手段に予測進路合成画像を表示する場合に、自車両を示す画像を加えて表示するとよい。
【００２１】
これにより、自車両と周囲配置物との相対位置関係が画像として明確に表示されることになり、運転者は、自車両の位置を容易に把握することができる。
よって、本発明（請求項４）の車両周辺表示装置によれば、運転者が自車両の位置を容易に把握でき、駐車操作時等における運転者の負担をさらに軽減することが可能となる。
【００２２】
次に、請求項５に記載の発明は、コンピュータを、請求項１から請求項４のいずれかに記載の車両周辺表示装置における各手段として機能させるためのプログラムである。
つまり、上述した車両周辺表示装置の各手段（鳥瞰図画像生成手段、進路予測手段、表示処理手段、領域判別手段、周辺画像作成手段）をコンピュータシステムにて実現する機能は、例えば、コンピュータシステム側で起動するプログラムとして備えることができる。従って、このプログラムを利用することにより、好適な車両周辺表示を行うことができる。
【００２３】
さらに、請求項６に記載の発明は、コンピュータを、請求項１から請求項４のいずれかに記載の車両周辺表示装置における各手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
コンピュータシステムで実行されるプログラムは、例えば、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータシステムにロードして起動することにより用いることができる。この他、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として前記プログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭをコンピュータシステムに組み込んで用いても良い。
【００２４】
【発明の実施の形態】
以下に、本発明を適用した車両周辺表示装置１の実施例を説明する。
本実施例の基本的なシステム構成を図１および図２を用いて説明する。
図１に示す様に、本実施例の車両周辺表示装置１は、自動車（以下、車両Ｃという）の後部に配置されたカメラ２（例えばＣＣＤカメラ）と、車内のダッシュボード等に配置された車載モニタ３（例えば液晶ディスプレイ）と、画像処理を行う画像処理ユニット５を備えている。
【００２５】
そして、画像処理ユニット５は、マイクロコンピュータを主要部とする画像データの処理を行う電子装置であり、機能ブロック図は図２に示すように表すことができる。図２に示すように、画像処理ユニット５は、機能的には、カメラ２で撮影した画像データの座標変換を行って鳥瞰図画像を生成する座標変換部１１と、時間的に連続した２つの鳥瞰図画像を取り込んでその比較を行うマッチング部１３と、その２つの鳥瞰図画像の不一致部分からカメラ２の視野から外れた領域を推定する領域推定部１５と、前記２つの鳥瞰図画像の一致部分から車両の予測経路を予測する進路予測部１７と、車載モニタ３に表示する画像を描画する描画部１９と、を備えている。なお、画像処理ユニット５は、カメラ２と一体の構造となっていてもよい。
【００２６】
座標変換部１１は、カメラ２で撮影した車両周辺の実際の映像を鳥瞰図画像に変換する処理を行っており、従来技術（例えば、特願平１０−２１１８４９号公報に記載の技術）である透視変換を用いて画像の座標変換を行うことで、鳥瞰図画像を生成する。
【００２７】
マッチング部１３は、後述するブロックマッチング法により、撮影時刻の異なる２つの鳥瞰図画像の比較を行い、それぞれの画像が一致する領域（以下、一致領域）と画像が一致しない領域（不一致領域）とを判別すると共に、一致領域に基づいて移動ベクトルを算出している。そして、マッチング部１３は、一致領域と不一致領域に関する情報を領域推定部１５に送り、移動ベクトルに関する情報を進路予測部１７に送るように処理を行う。
【００２８】
領域推定部１５は、マッチング部１３で比較を行った２つの鳥瞰図画像のうちの撮影時刻が古い鳥瞰図画像における不一致領域を、撮影時刻の新しい鳥瞰図画像に付加した車両周辺鳥瞰画像を生成する。生成した車両周辺鳥瞰画像の情報は、描画部１９に送信される。
【００２９】
進路予測部１７は、後述する予測進路算出処理を実行することで、マッチング部１３で算出された移動ベクトルに基づき、車両の予測進路を予測する。そして、予測進路の情報を描画部１９に送信する。
描画部１９は、領域推定部１５から受信する車両周辺鳥瞰画像に進路予測部１７から受信する予測進路を重ね合わせた予測進路合成画像を生成すると共に、車載モニタ３に予測進路合成画像を表示する。
【００３０】
ここで、第１鳥瞰図画像ＦＬ１と第１鳥瞰図画像ＦＬ１の生成時よりも後に生成された第２鳥瞰図画像ＦＬ２とを比較して、移動ベクトルＭＶを算出する方法を、図３に示す説明図に基づき説明する。
本実施例での移動ベクトルの算出は、いわゆるブロックマッチング法を用いている。ブロックマッチング法は、例えば、第２鳥瞰図画像ＦＬ２の表示領域の一部であるマクロブロックＭＢＬ（図３では、１６×１６画素）と、第１鳥瞰図画像ＦＬ１の表示領域のうちマクロブロックＭＢＬよりも大きい探索範囲ＳＡ（図３では、３２×３２画素）とを比較し、探索範囲ＳＡのうち、マクロブロックＭＢＬに最も似ている部分を特定する方法である。
【００３１】
具体的には、図３に示すように、第２鳥瞰図画像ＦＬ２の表示領域の一部であるマクロブロックＭＢＬと、第１鳥瞰図画像ＦＬ１の探索範囲ＳＡのうちマクロブロックＭＢＬと同じ大きさの比較領域ＣＡとの間で、対応する各画素をすべて比較し、各画素の比較差分値の合計値を算出する。そして、探索範囲ＳＡにおける比較領域ＣＡを１画素ずつ上下方向および左右方向に順次移動させながら、探索範囲ＳＡのすべての領域における比較差分合計値を算出し、比較差分合計値が最も小さい比較領域ＣＡを、マクロブロックＭＢＬとの一致領域と判断する。この結果、第１鳥瞰図画像ＦＬ１における一致領域の位置から第２鳥瞰図画像におけるマクロブロックＭＢＬの位置にかけての移動方向および移動距離が判明し、この移動方向および移動距離を移動ベクトルＭＶとする。
【００３２】
そして、第２鳥瞰図画像ＦＬ２においてマクロブロックＭＢＬを複数箇所に設定して、それぞれのマクロブロックＭＢＬごとに移動ベクトルＭＶを算出し、これら複数の移動ベクトルＭＶに基づき、第１鳥瞰図画像ＦＬ１から第２鳥瞰図画像ＦＬ２にかけての車両移動パラメータＭＶＡを算出する。なお、車両の移動は、ある地点を中心とする回転移動と見なすことができるため、本実施例における車両移動パラメータは、回転中心、回転角度および回転半径で表される。
【００３３】
なお、本実施例の車両周辺表示装置１では、第２鳥瞰図画像ＦＬ２におけるマクロブロックＭＢＬを１５箇所に設定している。
このようにして、車両移動パラメータＭＶＡを算出する処理は、マッチング部１３にて実行される。
【００３４】
次に、車両Ｃが円周方向に移動した場合における、鳥瞰図画像に含まれる画像領域の移動概念を示す説明図を図４に示す。なお、図４（ａ）は、移動前の車両Ｃおよび移動前の鳥瞰図画像に含まれる第１画像領域ＦＬＡ１を示し、図４（ｂ）は、移動後の車両Ｃ、第１画像領域ＦＬＡ１および移動後の鳥瞰図画像に含まれる第２画像領域ＦＬＡ２を示している。
【００３５】
そして、車両Ｃは、図４（ａ）に示す状態から点Ｏを回転中心とし、回転半径Ｒとして回転角度θだけ回転移動すると、図４（ｂ）に示す位置に移動することになる。このとき、移動前の第１画像領域ＦＬＡ１と、移動後の第２画像領域ＦＬＡ２とにおける同一格子点は、図４（ｂ）に示す矢印のように移動することになり、画像領域における複数の格子点の移動距離および移動方向は、車両Ｃの回転中心、回転角度および回転半径に応じて、各格子点毎にそれぞれ異なるものとなる。換言すれば、複数の格子点のそれぞれの移動距離および移動方向が定まれば、車両移動パラメータＭＶＡを特定することができことになり、複数の移動ベクトルを用いることで、複数の格子点のそれぞれの移動距離および移動方向に基づき、車両移動パラメータＭＶＡを特定することができる。
【００３６】
なお、複数の格子点が、前述の図３に示すマクロブロックＭＢＬに相当するものである。また、画像領域における複数の格子点の移動距離および移動方向は、車両の実際の移動方向とは方向が反対となることを考慮して、車両移動パラメータＭＶＡを算出する。
【００３７】
次に、車両Ｃを後進させて駐車区画ＰＡに駐車する後進駐車操作時における鳥瞰図画像についての説明図を、図５（ａ）および図５（ｂ）に示す。なお、図５（ａ）は、後進駐車操作の開始直後である時刻ｔ１における第１鳥瞰図画像ＦＬ１であり、図５（ｂ）は、時刻ｔ１から一定時間が経過した時刻ｔ２における第２鳥瞰図画像ＦＬ２である。
【００３８】
また、図５（ａ）には、時刻ｔ１における撮影領域である第１画像領域ＦＬＡ１を点線で囲まれた領域として示し、図５（ｂ）には、第１画像領域ＦＬＡ１を点線で、時刻ｔ２における撮影領域である第２画像領域ＦＬＡ２を一点鎖線で囲まれた領域として示している。さらに、図５（ｂ）において、第１画像領域ＦＬＡ１と第２画像領域ＦＬＡ２とが重なり合う領域が一致領域ＡＣであり、第１画像領域ＦＬＡ１および第２画像領域ＦＬＡ２のうち一致領域ＡＣ以外の領域が不一致領域である。このうち、一致領域ＡＣは、網掛け模様を付して表している。
【００３９】
そして、図５（ａ）および図５（ｂ）から判るように、最新の撮影領域である第２画像領域ＦＬＡ２のみでなく、不一致領域を付加することにより、車両周辺における広い範囲の鳥瞰図画像を表示することができる。
また、図５（ａ）および図５（ｂ）から判るように、車両の移動に応じて画像領域の位置が変化することから、この画像領域の位置の変化について、前述したブロックマッチング法を用いることで、第１鳥瞰図画像ＦＬ１から第２鳥瞰図画像ＦＬ２にかけての複数の移動ベクトルＭＶを算出できることが判る。そして、算出した複数の移動ベクトルＭＶを用いることで、車両が移動した際の車両移動パラメータＭＶＡを求めることができる。
【００４０】
次に、画像処理ユニット５の進路予測部１７にて実行される予測進路算出処理の処理内容を、図６に示すフローチャートを用いて説明する。なお、予測進路算出処理は、画像処理ユニット５が起動されると共に進路予測部１７にて処理が開始される。
【００４１】
なお、画像処理ユニット５が起動されるのは、後進駐車操作の開始時期であり、例えば、車両Ｃのシフトレンジがリバース（後進）であるか否かを判断し、シフトレンジがリバースとなった時点を後進駐車操作の開始時期である判定する。また、画像処理ユニット５が起動されると、進路予測部１７の他に、座標変換部１１、マッチング部１３、領域推定部１５および描画部１９がそれぞれの処理を開始する。
【００４２】
そして、予測進路算出処理が開始されると、まず、Ｓ１１０（Ｓはステップを表す）では、カウンタｎを初期化（カウンタｎに０を代入）する。なお、このカウンタｎは、蓄積した車両移動パラメータＭＶＡの個数をカウントするためのものである。
【００４３】
次のＳ１２０では、マッチング部１３で生成された最新の車両移動パラメータＭＶＡのデータを、第ｎ車両移動パラメータＭＶＡｎとして取り込む処理を行う。なお、第ｎ車両移動パラメータＭＶＡｎにおける「ｎ」は、カウンタｎと同じ数字を表している。
【００４４】
続くＳ１３０では、カウンタｎをインクリメント（１加算）する。
次のＳ１４０では、カウンタｎが所定データ数Ｆより大きいか否かを判断しており、カウンタｎが所定データ数Ｆより大きい場合には肯定判定されてＳ１５０に移行し、カウンタｎが所定データ数Ｆ以下である場合には否定判定されてＳ１６０に移行する。なお、所定データ数Ｆには、進路予測に必要な移動ベクトルの個数（例えば、１０個以上）が設定されている。
【００４５】
そして、Ｓ１４０で肯定判定されてＳ１５０に移行すると、Ｓ１５０では、最新のＦ個の車両移動パラメータ（ＶＭＡｎ-F＋1 からＶＭＡｎまで）を用いて、線形予測法に基づき、車両Ｃの予測進路を予測する。なお、進路予測には、線形予測法以外の予測方法を用いても良い。
【００４６】
また、Ｓ１４０で否定判定されるか、あるいはＳ１５０の処理が終了すると、Ｓ１６０に移行し、Ｓ１６０では、Ｓ１２０で取り込んだ最新の第ｎ車両移動パラメータＭＶＡｎを、画像処理ユニット５の内部に備えられる図示しない記憶領域（メモリ）に蓄積する処理を行う。この時、記憶領域には、最大でＦ個の車両移動パラメータが蓄積可能であり、（Ｆ＋１）個目の車両移動パラメータを蓄積する際には、最も古い車両移動パラメータを消去して最新の車両移動パラメータを蓄積している。この結果、記憶領域に蓄積されるＦ個の車両移動パラメータは、常に最新の状態となる。
【００４７】
そして、Ｓ１６０の処理が終了すると、Ｓ１２０に移行し、再び車両移動パラメータを取り込む処理を行う。この後は、Ｓ１２０からＳ１６０までの処理を繰り返し実行することで、最新のＦ個の車両移動パラメータに基づき車両Ｃの予測進路を更新する。
【００４８】
このあと、進路予測部１７では、画像処理ユニット５が停止するまで、上述した予測進路算出処理が継続して実行され、画像処理ユニット５の停止とともに予測進路算出処理も停止する。
なお、画像処理ユニット５が停止されるのは、後進駐車操作の終了時期であり、例えば、車両Ｃのシフトレンジがリバース（後進）から他のレンジに変更されると後進駐車操作が終了したと判定する。
【００４９】
ここで、予測進路を車両周辺鳥瞰画像に重ね合わせた予測進路合成画像ＭＦＬは、例えば、図５（ｃ）に示すように車載モニタ３に表示される。このように、駐車区画ＰＡに対して予測進路ＤＬが重なることで、運転者は車両Ｃが的確に駐車区画ＰＡに進入することを確認でき、後進駐車操作時の運転者の負担を軽減することが可能となる。
【００５０】
なお、このとき、領域推定部１５は、最新の鳥瞰図画像に基づき車両Ｃの現在位置を判定し、車両Ｃの現在位置に関する情報を描画部１９に送っており、描画部１９は、車両Ｃの現在位置を予測進路合成画像に対して重ね合わせて、車載モニタ３に表示する。
【００５１】
以上、説明したように、本実施例の車両周辺表示装置１によれば、撮影時刻の異なる２つの鳥瞰図画像を用いて移動ベクトルを算出すると共に蓄積し、蓄積した移動ベクトルに基づき車両の過去の移動軌跡を判別して、判別した過去の移動軌跡に基づいて未来の移動軌跡である予測進路を予測している。つまり、撮影した画像の変化に基づき、車両の未来の移動軌跡である予測進路を予測している。
【００５２】
よって、本実施例の車両周辺表示装置１を用いる場合には、車両の予測進路を予測するにあたり、ステアリング舵角センサ等のセンサを車両に設ける必要が無くなることから、装置の部品点数の増大を抑制でき、コスト上昇を抑えることができる。また、ステアリング舵角センサ等のセンサが不要であることから、この車両周辺表示装置１は、既存の車両に対する追加設置を比較的容易に実現することができる。
【００５３】
また、本実施例の車両周辺表示装置１は、領域推定部１５にて生成した車両周辺鳥瞰画像を表示するため、運転者に対してより広域な車両周辺に関する情報を提供することができる。さらに、予測進路を重ね合わせた予測進路合成画像を表示するため、運転者は、車両の予測進路と車両周辺の障害物等との位置関係を容易に把握でき、衝突の危険を回避してより安全に車両を運転することができる。
【００５４】
そして、本実施例の車両周辺表示装置１は、カメラ２が車両後部に配置されていることから、運転者は車両後方の障害物などを早期に発見することが可能となるとともに、予測進路と車両後方の障害物等との位置関係をより正確に把握することができ、この結果、後進駐車操作時における運転者の負担を軽減することができる。
【００５５】
また、本実施例の車両周辺表示装置１は、車両Ｃの現在位置が、予測進路合成画像に対して重ね合わせ表示されることから、車両Ｃと周囲配置物との相対位置関係を画像として明確に表示することができる。これにより、運転者は、周囲配置物に対する自車両の位置を容易に把握することができ、駐車操作時等における負担がさらに軽減される。
【００５６】
なお、本実施例の車両周辺表示装置においては、カメラ２が特許請求の範囲における撮影手段に相当し、車載モニタ３が表示手段に相当し、座標変換部１１が鳥瞰図画像生成手段に相当し、マッチング部１３および進路予測部１７が進路予測手段に相当し、描画部１９が表示処理手段に相当し、マッチング部１３が領域判別手段に相当し、周辺画像作成手段が描画部１９に相当するものである。
【００５７】
以上、本発明の実施例について説明したが、本発明は、上記実施例に限定されることはなく、種々の態様をとることができる。
例えば、コンピュータを、車両周辺表示装置の画像処理ユニット５での各処理（画像の座標変換処理、予測進路や移動ベクトルの算出処理など）の実行手段として機能させるためのプログラムについても、本発明の範囲に含まれる。このプログラムを利用することにより、コンピュータシステムを用いた好適な車両周辺表示を行うことができる。
【００５８】
また、コンピュータを、車両周辺表示装置の画像処理ユニット５での各処理の実行手段として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体についても、本発明の範囲に含まれる。コンピュータシステムで実行されるプログラムは、例えば、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録することができる。そして、記録媒体に記録したプログラムを必要に応じてコンピュータシステムにロードして起動することにより、コンピュータシステムを用いた好適な車両周辺表示を行うことができる。
【００５９】
なお、ＲＯＭやバックアップＲＡＭをコンピュータ読み取り可能な記録媒体として前記プログラムを記録しておき、このＲＯＭあるいはバックアップＲＡＭをコンピュータシステムに組み込んで用いても良い。
そして、マッチング部は、撮影時刻の異なる２つの鳥瞰図画像の比較を行い、それぞれの画像が一致する領域（以下、一致領域）と画像が一致しない領域（不一致領域）とを判別すると共に、一致領域に基づき移動ベクトルを算出できれば良く、判別方法は、ブロックマッチング法に限定されることなく、他の判別方法を用いても良い。
【００６０】
また、領域推定部は、２個以上の鳥瞰図画像を用いて車両周辺鳥瞰画像を生成するよう構成しても良い。例えば、車両周辺鳥瞰画像と最新の鳥瞰図画像との不一致領域を判別し、車両周辺鳥瞰画像に対して最新の鳥瞰図画像における不一致領域を付加する処理を繰り返し行うことで、最新の車両周辺鳥瞰画像を生成しても良い。つまり、前回の車両周辺鳥瞰画像に対して、新たな不一致領域を逐次付加することで、最新の鳥瞰図画像を生成するのである。この場合、車両周辺鳥瞰図像は、過去の全ての鳥瞰図画像に基づき生成されることになり、不一致領域が付加されるに従い表示可能な領域が広がることから、更に広範囲の車両周辺の状況を運転者に提供することが可能となる。
【００６１】
さらに、車両周辺表示装置は、コンピュータを用いて構成されたカーナビゲーション装置と一体に構成してもよい。つまり、後進駐車操作時には、カーナビゲーションシステムとしての処理は少なく、コンピュータの処理負荷が低くなることから、車両周辺表示装置としての各処理を実行することができる。この結果、１台のコンピュータを無駄なく有効に利用することができ、車両周辺表示装置とカーナビゲーション装置とを別個独立に備える場合に比べて車載機器を設置するスペースを縮小することができる。
【図面の簡単な説明】
【図１】  車両周辺表示装置の主要構成を示す説明図である。
【図２】  車両周辺表示装置の主要構成および画像処理ユニットの機能ブロックを示す説明図である。
【図３】  ２つの画像の一致領域を検出する方法を示す説明図である。
【図４】  （ａ）は、移動前の車両および移動前の第１画像領域を示す説明図であり、（ｂ）は、移動後の車両、移動前の第１画像領域および移動後の第２画像領域を示す説明図である。
【図５】  （ａ）は、時刻ｔ１における第１鳥瞰図画像であり、（ｂ）は、時刻ｔ２における第２鳥瞰図画像であり、（ｃ）は、予測進路合成画像である。
【図６】  画像処理ユニットの進路予測部にて実行される予測進路算出処理の処理内容を、示すフローチャートである。
【符号の説明】
１…車両周辺表示装置、２…カメラ、３…車載モニタ、５…画像処理ユニット、１１…座標変換部、１３…マッチング部、１５…領域推定部、１７…進路予測部、１９…描画部、Ｃ…車両。
【図１】
0003838884.tif 000002
【図２】
0003838884.tif 000003
【図３】
0003838884.tif 000004
【図４】
0003838884.tif 000005
【図５】
0003838884.tif 000006
【図６】
0003838884.tif 000007