(57)【要約】【課題】運転者に対して障害物までの距離及び障害物の位置する方向を分かり易く正確に認識させることができる駐車アシスト装置及び駐車アシスト方法を提供する。【解決手段】この駐車アシスト装置１Ａは、自車両に設置され自車両周辺を撮像するカメラ５Ｌ，５Ｒと、カメラ５Ｌ，５Ｒの撮像画像に基づき自車両から撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算する画像認識部７と、画像認識部７の計算結果に基づき自車両と障害物との位置関係を表した俯瞰図を作成する画像作成部９と、自車両に設置され画像作成部９により作成された俯瞰図を表示する表示装置１５とを備える。【選択図】　　　　図１
2004104478.tif 000002
【特許請求の範囲】
【請求項１】
自車両に設置され自車両周辺を撮像する撮像手段と、
前記撮像手段により撮像された複数の撮像画像に基づき、前記自車両から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算する画像認識手段と、
前記画像認識手段の計算結果に基づき、前記自車両と前記障害物との位置関係を表した俯瞰図を作成する画像作成手段と、
前記自車両に設置され前記画像作成手段により作成された前記俯瞰図を表示する表示手段と、
を備えることを特徴とする駐車アシスト装置。
【請求項２】
前記画像作成手段は、前記自車両と前記障害物とをそれぞれシンボル化した図絵画像によって前記俯瞰図上に表示することを特徴とする請求項１に記載の駐車アシスト装置。
【請求項３】
前記自車両のハンドルの切れ角に基づき、前記自車両の予想進路を計算する予想進路計算手段と、
前記予想進路計算手段により計算された前記予想進路を前記表示手段に表示された前記俯瞰図上に重ねて表示する画像合成手段と、
を更に備えることを特徴とする請求項１又は請求項２に記載の駐車アシスト装置。
【請求項４】
前記撮像手段の撮像画像を前記俯瞰図と共に前記表示手段に表示する画像合成手段を更に備えることを特徴とする請求項１乃至請求項３の何れかに記載の駐車アシスト装置。
【請求項５】
前記撮像手段は、互いに異なる位置に設置され共に略同一方向に向けられた複数のカメラからなり、
前記画像認識手段は、前記複数のカメラ間の相対的な位置に関する情報と前記複数のカメラの各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算することを特徴とする請求項１乃至請求項４の何れかに記載の駐車アシスト装置。
【請求項６】
前記自車両の移動に伴う前記撮像手段の変位を一定時間毎に計算する変位計算手段とを更に備え、
前記撮像手段は、単一のカメラからなり、
前記画像認識手段は、前記単一のカメラにより前記一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記変位計算手段により前記一定時間毎に計算される前記カメラの変位とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算することを特徴とする請求項１乃至請求項４の何れかに記載の駐車アシスト装置。
【請求項７】
自車両に設置された撮像手段により自車両周辺を撮像し、その撮像手段により撮像された複数の撮像画像に基づき前記自車両から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算し、その計算結果に基づき前記自車両と前記障害物との位置関係を表した俯瞰図を作成し、その俯瞰図を前記自車両に設置された表示手段に表示することを特徴とする駐車アシスト方法。
【請求項８】
前記自車両と前記障害物とをそれぞれシンボル化した図絵画像によって前記俯瞰図上に表示することを特徴とする請求項７に記載の駐車アシスト方法。
【請求項９】
前記自車両のハンドルの切れ角に基づき前記自車両の予想進路を計算し、その予想進路を前記表示手段に表示された前記俯瞰図上に重ねて表示することを特徴とする請求項７又は請求項８に記載の駐車アシスト方法。
【請求項１０】
前記撮像手段の撮像画像を前記俯瞰図と共に前記表示手段に表示することを特徴とする請求項７乃至請求項９の何れかに記載の駐車アシスト方法。
【請求項１１】
前記撮像手段を、互いに異なる位置に設置され共に略同一方向に向けられた複数のカメラにより構成し、
前記複数のカメラ間の相対的な位置に関する情報と前記複数のカメラの各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算することを特徴とする請求項７乃至請求項１０の何れか記載の駐車アシスト方法。
【請求項１２】
前記自車両の移動に伴う前記撮像手段の変位を一定時間毎に計算し、
前記撮像手段を単一のカメラにより構成し、
前記カメラにより前記一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記一定時間毎に計算される前記カメラの前記変位とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算することを特徴とする請求項７乃至請求項１０の何れかに記載の駐車アシスト方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、駐車時の運転を支援する駐車アシスト装置及び駐車アシスト方法に関する。
【０００２】
【従来の技術】
従来より、この種の駐車アシスト装置としては、車両の角部に超音波センサーを設置し、この超音波センサーにより検出される障害物の接近状況を運転者にブザー等を用いて報知することで障害物との衝突を防止させる所謂コーナーセンサーシステムや、車両後部にカメラを設置し、このカメラにより撮像される車両後方の撮像画像を車室内の表示装置に表示し運転者に視認させることで障害物との衝突を防止させる所謂リアビューカメラシステムが知られている。
【０００３】
【発明が解決しようとする課題】
上記コーナーセンサーシステムは、障害物の接近状況（障害物までの距離）を運転者に報知するだけで、障害物の位置する方向については運転者に正確に認識させることはできない。
【０００４】
他方、上記リアビューカメラシステムは、障害物の位置する方向は運転者に正確に認識させることができるが、障害物までの距離については、略水平方向からの視点で撮像される画像が表示装置に表示されるため、その表示画像から障害物までの距離を正確に認識するには運転者の経験と感を必要とし、だれもが分かり易く正確に認識できるものではない。これは運転者が直接視認できる前向き駐車に於いても同様である。
【０００５】
そこで、この発明の課題は、運転者に対して障害物までの距離及び障害物の位置する方向を分かり易く正確に認識させることができる駐車アシスト装置及び駐車アシスト方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するためには、請求項１に記載の駐車アシスト装置は、自車両に設置され自車両周辺を撮像する撮像手段と、前記撮像手段により撮像された複数の撮像画像に基づき、前記自車両から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算する画像認識手段と、前記画像認識手段の計算結果に基づき、前記自車両と前記障害物との位置関係を表した俯瞰図を作成する画像作成手段と、前記自車両に設置され前記画像作成手段により作成された前記俯瞰図を表示する表示手段と、を備えるものである。
【０００７】
請求項２に記載の駐車アシスト装置は、前記画像作成手段は、前記自車両と前記障害物とをそれぞれシンボル化した図絵画像によって前記俯瞰図上に表示するものである。
【０００８】
請求項３に記載の駐車アシスト装置は、前記自車両のハンドルの切れ角に基づき、前記自車両の予想進路を計算する予想進路計算手段と、前記予想進路計算手段により計算された前記予想進路を前記表示手段に表示された前記俯瞰図上に重ねて表示する画像合成手段と、を更に備えるものである。
【０００９】
請求項４に記載の駐車アシスト装置は、前記撮像手段の撮像画像を前記俯瞰図と共に前記表示手段に表示する画像合成手段を更に備えるものである。
【００１０】
請求項５に記載の駐車アシスト装置は、前記撮像手段は、互いに異なる位置に設置され共に略同一方向に向けられた複数のカメラからなり、前記画像認識手段は、前記複数のカメラ間の相対的な位置に関する情報と前記複数のカメラの各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算するものである。
【００１１】
請求項６に記載の駐車アシスト装置は、前記自車両の移動に伴う前記撮像手段の変位を一定時間毎に計算する変位計算手段とを更に備え、前記撮像手段は、単一のカメラからなり、前記画像認識手段は、前記単一のカメラにより前記一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記変位計算手段により前記一定時間毎に計算される前記カメラの変位とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算するものである。
【００１２】
請求項７に記載の駐車アシスト方法は、自車両に設置された撮像手段により自車両周辺を撮像し、その撮像手段により撮像された複数の撮像画像に基づき前記自車両から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算し、その計算結果に基づき前記自車両と前記障害物との位置関係を表した俯瞰図を作成し、その俯瞰図を前記自車両に設置された表示手段に表示するものである。
【００１３】
請求項８に記載の駐車アシスト方法は、前記自車両と前記障害物とをそれぞれシンボル化した図絵画像によって前記俯瞰図上に表示するものである。
【００１４】
請求項９に記載の駐車アシスト方法は、前記自車両のハンドルの切れ角に基づき前記自車両の予想進路を計算し、その予想進路を前記表示手段に表示された前記俯瞰図上に重ねて表示するものである。
【００１５】
請求項１０に記載の駐車アシスト方法は、前記撮像手段の撮像画像を前記俯瞰図と共に前記表示手段に表示するものである。
【００１６】
請求項１１に記載の駐車アシスト方法は、前記撮像手段を、互いに異なる位置に設置され共に略同一方向に向けられた複数のカメラにより構成し、前記複数のカメラ間の相対的な位置に関する情報と前記複数のカメラの各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算するものである。
【００１７】
請求項１２に記載の駐車アシスト方法は、前記自車両の移動に伴う前記撮像手段の変位を一定時間毎に計算し、前記撮像手段を単一のカメラにより構成し、前記カメラにより前記一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記一定時間毎に計算される前記カメラの前記変位とから、三角測量の原理に基づき、前記障害物までの距離及び該障害物の位置する方向を計算するものである。
【００１８】
【発明の実施の形態】
＜第１の実施の形態＞
図１は本発明の第１の実施の形態に係る駐車アシスト装置の構成概略図、図２は図１の各カメラの設置位置の一例図、図３及び図４はそれぞれ図１の各カメラの撮像画像の一例図、図５は図１の表示装置の表示画像の一例図である。
【００１９】
この実施の形態に係る駐車アシスト装置１Ａは、図１及び図２に示す如く、自車両３に設置され自車両周辺を撮像する第１及び第２のカメラ（複数のカメラ）５Ｌ，５Ｒと、第１及び第２のカメラ５Ｌ，５Ｒの撮像画像に基づき画像認識により自車両３から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算する画像認識部７と、画像認識部７の計算結果に基づき自車両３と前記障害物との相対的な位置関係を表した俯瞰図を作成する画像作成部９と、自車両３のハンドルの切れ角に基づき自車両３の予想進路を計算する予想進路計算部１１と、各構成要素９，１１の処理結果を合成（編集）する画像合成部１３と、自車両３の車室内に設置され画像合成部１３で合成された画像を表示する表示装置１５とを備える。
【００２０】
第１及び第２のカメラ５Ｌ，５Ｒは、図２に示す様に、例えば自車両３の後部に於ける互いに異なる位置に配置され、ともにその撮像方向（撮像光軸）が例えば車両後方の略同一方向に向けられて設置される。より詳細には、各カメラ５Ｌ，５Ｒは、例えばともに同じ高さで同じ前後位置に位置されて互いに一定間隔あけて左右に並べられて配置され、例えばともにその撮像方向が略水平方向に自車両３の真後ろに向けられて設定される。ここでは、カメラ５Ｌ（５Ｒは、車両後方に向いて左側（右側）に設定される。尚、図２中の５Ｌａ，５Ｒａはそれぞれ、カメラ５Ｌ，５Ｒの例えば水平画角を示す。
【００２１】
画像認識部７は、例えば所謂ステレオ法（ここでは２つのカメラを用いる所謂２眼視によるステレオ法）を用いて前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向を計算する。ステレオ法とは、同一対象物を異なる視点から撮像して得た複数の撮像画像（ここでは左右一対のカメラ５Ｌ，５Ｒにより撮像される左右一対の撮像画像）を用いて、当該対象物の各撮像画像上での位置を検出し（即ち各撮像画像間での同一対象部分の対応付け（所謂マッチング）をし）、それら位置の情報から得られる視差（両眼視差）を用いて三角測量の原理に基づき、当該対象物の表面（カメラに写る表面）の３次元空間での位置（即ち当該対象物点までの距離、当該対象物の位置する方向及び当該対象物の高さ等の３次元情報）を計算する計算手法である。
【００２２】
即ち、画像認識部７は、左右一対のカメラ５Ｌ，５Ｒにより例えば同時に撮像される左右一対の撮像画像に対し、例えば右の撮像画像（これを基準画像とする）中の各画像ブロック（例えば１６×１６画素の部分画像領域）に映る対象物と同じ対象物が映る左の撮像画像（これを比較画像とする）中の画像ブロック（同じく１６×１６画素の部分画像領域）を特定し、左右の撮像画像間での同一対象部分の対応付け（マッチング）をする。
【００２３】
より詳細には、例えば、画像認識部７は、図４に示す様に右の撮像画像１７Ｒ側では各画像ブロック１７Ｒａを碁盤格子状に（即ち互いに重畳しない様に）取り、図３に示す様に左の撮像画像１７Ｌ側では各画像ブロック１７Ｌａを互いに画像上上下方向又は左右方向に例えば一画素ずつずらして重畳する様に取り、右の撮像画像１７Ｒの各画像ブロック１７Ｒａに対し、左の撮像画像１７Ｌ中の全ての画像ブロック１７Ｌａとの間で、画像ブロック中の同じ位置に配列する各画素間の輝度の差の絶対値の総和を計算し、その総和が最小となる（即ち最もマッチする）左の撮像画像１７Ｌ側の画像ブロック１７Ｌａを右の撮像画像１７Ｒの当該画像ブロック１７Ｒａに映る対象物と同一対象物が映る左の撮像画像１７Ｌ側の画像ブロック１７Ｌａと決定（特定）し、左右の撮像画像１７Ｌ，１７Ｒ間のマッチングを行う。尚、図３及び図４では各画像ブロック１７Ｌａ，１７Ｒａは便宜上大きく図示される。
【００２４】
尚、この実施の形態では、各カメラ５Ｌ，５Ｒは左右に並べて配置されるため、左右の各撮像画像１７Ｌ，１７Ｒにそれぞれ映る同一対象物の位置は、左右の撮像画像１７Ｌ，１７Ｒ間で左右方向だけにずれる。これを考慮し、画像認識部７に於いて、右の撮像画像１７Ｒの各画像ブロック１７Ｒａに対し、左の撮像画像１７Ｌの全ての画像ブロック１７Ｌａとの間で各画素の輝度の差分絶対値の総和を計算させずに、その画像ブロック１７Ｒａと同じ画像上の上下方向の位置に位置する左の撮像画像１７Ｌ中の各画像ブロック１７Ｌａとの間でだけで輝度の差分絶対値の総和を計算させ、その中でその総和が最小となる左の撮像画像１７Ｌ側の画像ブロック１７Ｌａをその画像ブロック１７Ｒａに映る対象物と同一対象物が映る左の撮像画像１７Ｌ側の画像ブロック１７Ｌａと決定してもよい。この様にすれば左右の撮像画像１７Ｌ，１７Ｒ間のマッチングの処理時間を短縮できる。
【００２５】
そして、画像認識部７は、右の撮像画像１７Ｒの各画像ブロック１７Ｒａに対し、その画像ブロック１７Ｒａの撮像画像１７Ｒ上での位置とその画像ブロック１７Ｒａに対応する左の撮像画像１７Ｌ側の画像ブロック１７Ｌａの撮像画像１７Ｌ上での位置及びカメラ５Ｌ，５Ｒ間の距離から、三角測量の原理に基づき、その画像ブロック１７Ｒａに映る対象物の表面の３次元空間での位置を計算する。この計算を右の撮像画像１７Ｒの全ての画像ブロック１７Ｒａに対して行うことで右の撮像画像１７Ｒに映る全ての対象物の表面までの距離、該対象物の位置する方向及び該対象物の高さが求まる。即ち、右の撮像画像１７Ｒに映る全ての障害物（ここでは停車車両１９，壁２１）の表面までの距離、障害物１９，２１の位置する方向及び障害物１９，２１の高さが求まる。尚、各画像ブロック１７Ｒａ，１７Ｌａの撮像画像１７Ｒ，１７Ｌ上での位置は、例えば各画像ブロック１７Ｒａ，１７Ｌａの例えば中心位置の撮像画像１７Ｒ，１７Ｌ上での位置により定義される。
【００２６】
尚、画像認識部７は、例えば、所定の高さ（自車両の通行の妨げとなる高さ）以上の対象物だけを障害物とは見なし、前記所定の高さ未満の対象物は障害物と見なさない。これにより停車車両１９や柱（図示省略）や壁２１等の目的とする対象物だけが適切に障害物と見なされる。
【００２７】
画像作成部９は、俯瞰図として例えば平面図を作成する。より詳細には、画像作成部９は、図５に示す様に、自車両３と障害物１９，２１とをそれぞれシンボル化した絵図画像３ａ，１９ａ，２１ａで表し、画像認識部７の計算結果に基づき自車両３と障害物１９，２１との相対的な位置関係（即ち自車両３と障害物１９，２１の表面との距離関係及び自車両３と障害物１９，２１との方向関係）を考慮して、自車両３と障害物１９，２１とを含む平面図２３を作成する。ここでは、自車両３は自動車形状の絵図画像３ａにより表示され、障害物１９，２１はその占有領域を型取った絵図画像１９ａ，２１ａにより表示される。
【００２８】
画像合成部１３は、図５に示す様に、画像作成部９により作成された平面図２３上に予想進路計算部１１により計算された自車両３の予想進路の軌跡２５を重畳合成し、その合成画像を表示装置１５に表示する。又、画像合成部１３は、所定の操作スイッチからの指示に応じて、図５に示す様に、例えば右のカメラ５Ｒの撮像画像（実画像：基準画像）１７Ｒを上記平面図２３と共に表示装置１５に同時表示する。尚、同時表示の仕方としては、例えば、右のカメラ５Ｒの撮像画像１７Ｒ上の一部領域に上記平面図２３を重ねて表示してもよく、又は、表示画面を例えば左右に２分割して上記平面図２３と右のカメラ５Ｒの撮像画像１７Ｒとを左右に並べて表示してもよい。
【００２９】
尚、平面図２３は、時間の経過に伴って又は自車両３の移動に伴って順次更新されて表示装置１５に表示される。又、平面図２３上に重畳合成される自車両３の予想進路の軌跡２５も、自車両３のハンドルの切り角の変化に応じて更新される。
【００３０】
以上のように構成された駐車アシスト装置１Ａによれば、自車両３に設置されたカメラ５Ｌ，５Ｒにより撮像される自車両周辺についての複数の撮像画像１７Ｌ，１７Ｒに基づき、自車両３から撮像画像１７Ｌ，１７Ｒに映り込んだ障害物（ここでは１９，２１）までの距離及び該障害物の位置する方向が計算され、その計算結果に基づき自車両３とその障害物１９，２１との位置関係を表した俯瞰図２３が作成され、その俯瞰図２３が自車両３に設置された表示装置１５に表示されるため、運転者に対して自車両３と障害物１９，２１との位置関係を分かり易く正確に認識させることができる。
【００３１】
又、自車両３と障害物１９，２１とがそれぞれシンボル化した図絵画像３ａ，１９ａ，２１ａによって俯瞰図２３上に表示されるため、運転者に対して自車両３と障害物１９，２１との位置関係を視覚的に分かり易く正確に認識させることができる。
【００３２】
又、自車両３のハンドルの切れ角に基づき自車両３の予想進路が計算され、その予想進路の軌跡２５が表示装置１５に表示された俯瞰図２３上に重ねて表示されるため、的確な自車両３の誘導を行える。
【００３３】
又、例えばカメラ５Ｒの撮像画像（実画像）１７Ｒが俯瞰図２３と共に表示装置１５に表示されるため、運転者に対して実画像１７Ｒと俯瞰図２３とを比較させながら自車両３と障害物１９，２１との位置関係を認識させることができ、より分かり易く正確に自車両３と障害物１９，２１との位置関係を認識させることができる。
【００３４】
又、撮像手段が互いに異なる位置に設置され共に略同一方向に向けられた２つのカメラ５Ｌ，５Ｒからなり、それら２つのカメラ５Ｌ，５Ｒ間の相対的な位置に関する情報とそれら２つのカメラ５Ｌ，５Ｒの各撮像画像１７Ｌ，１７Ｒに映る同一障害物１９，２１の当該各撮像画像１７Ｌ，１７Ｒ上での位置に関する情報とから、三角測量の原理に基づき、その障害物１９，２１までの距離及びその障害物１９，２１の位置する方向が計算されるため、高速で精度良く障害物１９，２１までの距離及び該障害物１９，２１の位置する方向を計算できる。
【００３５】
尚、この実施の形態では、２つのカメラを用いた場合で説明したが３つ以上のカメラを用いてもよい。その場合は、１つを基準画像用カメラとし、残り全てを比較画像用カメラとする。そして、基準画像用カメラにより撮像された基準画像中の各画像ブロックに対し、残り全ての比較画像用カメラにより撮像された各比較画像中の全ての画像ブロックとの間でマッチングを行って最もマッチするものを、基準画像側のその画像ブロックに映る対象物と同一対象物が映る比較画像側の画像ブロックと決定する。そして、基準画像側の当該画像ブロックの基準画像上での位置と、基準画像側の当該画像ブロックに対応する比較画像側の画像ブロックのその比較画像上での位置と、基準画像用カメラと基準画像側の当該画像ブロックに対応する比較画像側の画像ブロックを含む比較画像を撮像した比較画像用カメラとの相対的な位置関係を用いて、２つのカメラを用いた場合と同様に、三角測量の原理に基づき、基準画像側の当該画像ブロックに映る対象物の３次元空間上での位置を計算する。
【００３６】
この様に３つ以上のカメラを用いる場合（比較画像用カメラを２つ以上用いる場合）は、一の比較画像用カメラにより撮像された比較画像には基準画像に映る対象物が映らない状況でも、他の比較画像用カメラにより撮像された比較画像には映っている場合があり、当該他の比較画像を用いることで、基準画像と比較画像間のマッチングを適切に行うことができ、精度の良いマッチングを行える。
【００３７】
尚、この実施の形態では、カメラ５Ｌ，５Ｒの撮像方向を略水平方向に向ける場合で説明したが、カメラ５Ｌ，５Ｒの撮像方向を例えば下方に傾けてカメラ５Ｌ，５Ｒを設置する場合は、その俯角を考慮して三角測量の計算をすればよい。
【００３８】
尚、駐車アシスト方法もこの実施の形態の範疇に含まれることは言うまでもないことである。
【００３９】
＜第２の実施の形態＞
図６は本発明の第２の実施の形態に係る駐車アシスト装置の構成概略図、図７は図６のカメラの設置位置の一例及び図６のカメラの自車両移動時の撮像方向の変化の一例を示す図である。
【００４０】
この実施の形態に係る駐車アシスト装置１Ｂは、所謂単眼視によるステレオ法（単一のカメラにより撮像される撮像画像を用いたステレオ法）を用いて障害物までの距離及び該障害物の位置する方向を検出するものであり、図６に示す様に、上記第１の実施の形態に係る駐車アシスト装置１Ａと比べて、自車両周辺を撮像するカメラとしてカメラ（撮像手段）５を１つだけ備える点と、更にカメラ変位計算部２７を備える点が相違する以外は同様に構成される。以下、上記駐車アシスト装置１Ａと同一構成部分については同一符号を付して説明を省略し、異なる構成部分だけ説明する。
【００４１】
カメラ５は、図７に示す様に、例えば自車両３の後部に位置され、その撮像方向が例えば車両後方（例えば略水平方向の真後ろ方向）に向けられて設置される。尚、図７中の５ａはカメラ５の例えば水平画角を示す。
【００４２】
カメラ変位計算部２７は、例えば自車両３の車速及び旋回角度（ハンドルの切れ角）に基づき、自車両３の移動に伴うカメラ５の変位（カメラ５の移動距離及び移動方向、換言すればカメラ５の対象物（障害物）に対する前後変位量及び左右変位量）を一定時間毎に計算する。
【００４３】
この実施の形態に係る画像認識部７Ｂは、上記第１の実施の形態に係る画像認識部７と比べて、カメラ５の撮像画像のうち、上記一定時間毎に撮像される各撮像画像を順に基準画像とし、その基準画像の撮像時点から上記一定時間後に撮像される撮像画像を比較画像とする点と、三角測量の計算に使用されるカメラ間の距離としてカメラ変位計算部２７により計算されるカメラ５の変位（即ち当該基準画像の撮像時点と当該比較画像の撮像時点との間の上記一定時間に於けるカメラ５の変位）を用いる点が異なる以外は同様に、同じマッチングのやり方及び三角測量の原理に基づいた計算により、基準画像に映る全ての障害物までの距離、該障害物の位置する方向を計算する。
【００４４】
尚、この実施の形態では、自車両３の移動に伴って基準画像の撮像されるカメラ位置と比較画像の撮像されるカメラ位置とが同一対象物に対して前後にずれる場合があり、これに起因して、基準画像と比較画像とに映る同一対象物の大きさが異なることが起こる。そのため、基準画像と比較画像間のマッチングをする際には、例えば画像認識部７Ｂに於いて、例えばカメラ変位計算部２７により計算されるカメラ５の上記前後変位量に基づき、例えば比較画像の画像サイズを拡大又は縮小して基準画像と比較画像とに映る同一対象物の大きさが同じ程度になる様に補正してからマッチングをする様にしてもよい。この様にすれば、マッチングの精度を高めることができて誤マッチングを防止できる。
【００４５】
以上のように構成された駐車アシスト装置１Ｂによれば、上記第１の実施の形態に係る駐車アシスト装置１Ａと同様の効果を奏する他、撮像手段が単一のカメラ５にからなり、その単一のカメラ５により一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記一定時間毎に計算されるそのカメラ５の変位とから、三角測量の原理に基づき、その障害物までの距離及びその障害物の位置する方向が計算されるため、廉価な構成で比較的高速で精度良く障害物までの距離及び該障害物の位置する方向を計算できる。
【００４６】
尚、この実施の形態では、一定時間間隔で撮像された２つの撮像画像を用いた場合で説明したが、一定時間間隔で撮像された３つ以上の撮像画像を用いてもよい。その場合は、１つを基準画像とし、残り全てを比較画像とする。そして、上記第１の実施の形態に於いて３つ以上のカメラを用いる場合と同様の手法により、基準画像中の各画像ブロックに映る対象物の３次元空間上での位置を計算する。この様に３つ以上の撮像画像を用いる場合（比較画像を２つ以上用いる場合）は、一の比較画像には基準画像に映る対象物が映らない状況でも、他の比較画像には映っている場合があり、当該他の比較画像を用いることで、基準画像と比較画像間のマッチングを適切に行うことができ、精度の良いマッチングを行える。
【００４７】
尚、駐車アシスト方法もこの実施の形態の範疇に含まれることは言うまでもないことである。
【００４８】
【発明の効果】
請求項１及び請求項７に記載の発明によれば、自車両に設置された撮像手段により撮像される自車両周辺についての複数の撮像画像に基づき、自車両から前記撮像画像に映り込んだ障害物までの距離及び該障害物の位置する方向が計算され、その計算結果に基づき自車両と前記障害物との位置関係を表した俯瞰図が作成され、その俯瞰図が自車両に設置された表示手段に表示されるため、運転者に対して自車両と障害物との位置関係を分かり易く正確に認識させることができる。
【００４９】
請求項２及び請求項８に記載の発明によれば、自車両と障害物とがそれぞれシンボル化した図絵画像によって俯瞰図上に表示されるため、運転者に対して視覚的に分かり易く自車両と障害物との位置関係を認識させることができる。
【００５０】
請求項３及び請求項９に記載の発明によれば、自車両のハンドルの切れ角に基づき自車両の予想進路が計算され、その予想進路が表示手段に表示された俯瞰図上に重ねて表示されるため、的確な自車両の誘導を行える。
【００５１】
請求項４及び請求項１０に記載の発明によれば、撮像手段の撮像画像（実画像）が俯瞰図と共に表示手段に表示されるため、運転者に対して実画像と俯瞰図とを比較させながら自車両と障害物との位置関係を認識させることができ、より分かり易く正確に自車両と障害物との位置関係を認識させることができる。
【００５２】
請求項５及び請求項１１に記載の発明によれば、撮像手段が互いに異なる位置に設置され共に略同一方向に向けられた複数のカメラにからなり、それら複数のカメラ間の相対的な位置に関する情報とそれら複数のカメラの各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報とから、三角測量の原理に基づき、その障害物までの距離及びその障害物の位置する方向が計算されるため、高速で精度良く障害物までの距離及び該障害物の位置する方向を計算できる。
【００５３】
請求項６及び請求項１２に記載の発明によれば、撮像手段が単一のカメラにからなり、その単一のカメラにより一定時間毎に撮像される各撮像画像に映る同一障害物の当該各撮像画像上での位置に関する情報と前記一定時間毎に計算されるそのカメラの変位とから、三角測量の原理に基づき、その障害物までの距離及びその障害物の位置する方向が計算されるため、廉価な構成で比較的高速で精度良く障害物までの距離及び該障害物の位置する方向を計算できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る駐車アシスト装置の構成概略図である。
【図２】図１の各カメラの設置位置の一例図である。
【図３】図１の第２のカメラの撮像画像の一例図である。
【図４】図１の第１のカメラの撮像画像の一例図である。
【図５】図１の表示装置の表示画像の一例図である。
【図６】本発明の第２の実施の形態に係る駐車アシスト装置の構成概略図である。
【図７】図６のカメラの設置位置の一例及び図６のカメラの自車両移動時の撮像方向の変化の一例を示す図である。
【符号の説明】
１Ａ，１Ｂ　駐車アシスト装置
３　自車両
５Ｌ，５Ｒ，５　カメラ
７，７Ｂ　画像認識部
９　画像作成部
１１　予想進路計算部
１３　画像合成部
１５　表示装置
１７Ｒ，１７Ｌ　撮像画像
１９，２１　障害物
２３　平面図
２５　予想経路の軌跡
【図１】
2004104478.tif 000003
【図２】
2004104478.tif 000004
【図３】
2004104478.tif 000005
【図４】
2004104478.tif 000006
【図５】
2004104478.tif 000007
【図６】
2004104478.tif 000008
【図７】
2004104478.tif 000009