(57)【要約】【課題】単一の撮像手段によっても、誤差累積がなく高精度で移動体の位置及び姿勢を特定し、移動体における所望の位置での視界を確保する。【解決手段】一つの撮像手段ＣＤにより移動中に周辺を撮像した画像から、特徴点抽出手段ＰＤにて特定平面内の少なくとも四つの特徴点を抽出し、移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を特徴点追跡手段ＰＦによって追跡し、その追跡結果に基づき、移動状態特定手段ＭＢにて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段の相対的な位置及び姿勢を特定する。この第１及び第２の状態での撮像手段の位置及び姿勢、第１の状態の画像における所定対象の特徴点の平面座標、並びに第２の状態の画像における所定対象の特徴点に対応する平面座標に基づき、３次元座標推定手段ＲＣにて所定対象の特徴点の３次元座標を推定する。【選択図】        図１
2004198211.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し前記移動体の移動中に周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像から特定平面内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、前記移動体が第１の状態から第２の状態に移動したときに前記特徴点抽出手段が抽出した前記特徴点を追跡する特徴点追跡手段と、該特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段とを備えたことを特徴とする移動体周辺監視装置。
【請求項２】
前記移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段を備えたことを特徴とする請求項１記載の移動体周辺監視装置。
【請求項３】
前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備え、前記特定視界作成手段が、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備したことを特徴とする請求項２記載の移動体周辺監視装置。
【請求項４】
前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記撮像手段の画像情報に基づき、前記移動体の周囲に接近する障害物を検出する障害物検出手段を備え、前記特定視界作成手段が、前記障害物検出手段が検出した前記障害物を含むように前記特定の視界を作成することを特徴とする請求項２記載の移動体周辺監視装置。
【請求項５】
前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記移動状態特定手段の特定情報に基づき前記移動体の移動軌跡を推定する軌跡推定手段を備え、前記特定視界作成手段が、前記軌跡推定手段の推定移動軌跡を前記特定の視界に重合する重合手段を具備し、前記表示手段が、前記推定移動軌跡を前記特定の視界に重合した画像を表示することを特徴とする請求項２記載の移動体周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜表示する装置に好適な移動体周辺監視装置に係る。
【０００２】
【従来の技術】
従来から、車両の周辺を監視するため、例えば車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献１（特開２００１−１８７５５３）には、車両の移動中に、単一のカメラによって、異なる第１および第２の地点での周辺画像を、時系列的に視差付けされた第１および第２の画像として撮像する撮像装置、それぞれの画像に撮像された立体物を検出し特定する立体物特定部と、第１の地点から第２の地点まで車両の移動データを算出する車両位置算出部と、立体物の第１および第２の画像上での位置と、車両の移動データとを用いて、車両から立体物までの距離を算出する立体物距離算出部と、撮像装置によって撮像された画像および立体物距離算出部で算出されたデータに基づいて、運転者に伝達するための第３の画像を生成するようにした駐車支援装置が提案されている。これにより、２つの画像に撮像された立体物に対して三角測量の原理で正確に上記立体物までの距離を算出することができる旨記載されている。
【０００３】
これに関し、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、下記の非特許文献１には、ステレオによる立体形状計測について解説されている。この非特許文献１には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００４】
同様に、下記の非特許文献２にも、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算する技術が開示されており、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００５】
また、下記の非特許文献３には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【０００６】
更に、下記の非特許文献４には、「移動ロボットにおけるジャイロとオドメトリのデータを組み合わせる方法」と題し、ジャイロによる測定と車輪エンコーダ（オドメトリ）による測定を簡単且つ有効に組み合わせる方法が開示されている。
【０００７】
また、下記の非特許文献５における「1.3 Projective transformations 」(p.11〜)及び「7.3 Action of a projective camera on quadrics」(P.190〜)の記載によれば、同一の対象物が映っている２視点の画像間の変換はホモグラフィーＨによって表すことができる旨説明されている。
【０００８】
そして、下記の非特許文献６の「3.4 Calibrating Cameras(p.51〜p.58)」には、ホモグラフィー行列（透視投影行列）からカメラの内部パラメータと外部パラメータを計算することができる旨説明されている。
【０００９】
【特許文献１】
特開２００１−１８７５５３号公報
【非特許文献１】
「情報処理」Vol.37 No.7 (１９９６年７月号)における出口光一郎著「２．ステレオの仕掛けを解き明かす」
【非特許文献２】
「空間データの数理」 (金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行)における１６１頁及び１６２頁に記載の「ステレオ視による３次元復元」
【非特許文献３】
「情報処理」Vol.37 No.8 (１９９６年８月号)における出口光一郎著「３．動画像の扱い」
【非特許文献４】
J.Borenstein 及び L.Feng  著、「Gyrodometery:A New Method forCombining Data from Gyros Odometry in Mobile Robot」、Preceeding of the IEEE International Conference on Roboticsand Automation, Minneapolis, Apr.22-28, 1996, pp.423-428
【非特許文献５】
Richard Hartley 及びAndrew Zisserman 著、「Multiple ViewGeometry in Computer Vision」、2000年 Cambridge UniversityPress発行（ISBN: 0521623049）
【非特許文献６】
Olivier Faugeras  著、「Three-Dimensional Computer Vision: A Geometric Viewpoint」、 1993年 MIT Press発行
【００１０】
【発明が解決しようとする課題】
前掲の特許文献１に記載の装置においては、２つの画像に撮像された立体物に対する距離を算出する手段が開示されており、測距センサを設ける必要はないが、画像に撮像された立体物を検出し特定する立体物特定部と、車両の移動データを算出する車両位置算出部と、車両から立体物までの距離を算出する立体物距離算出部によって、車両から立体物までの距離を算出することとしている。具体的には、車両がａ地点にある時に撮像された画像Ａを、車両の移動データを用いてｂ地点から撮像されたように画像変換し、画像Ｃを算出すると説明されているように、結局は、２つの画像のずれと移動データに基づき幾何学的に車両から立体物までの距離を算出することとしている。
【００１１】
また、前掲の特許文献１では、車両の移動を検出するために、舵角センサとパルスカウンタを介した車輪速センサを用い、車両の移動距離と回転方向を算出することとされているが、これらのセンサを用いる場合には以下のような問題が残る。先ず、車輪速センサは微速時における検出精度が低く、車輪径のアンバランスに起因する左右の車輪速センサの出力差、荷重による実効車輪径の不確定性、実効的なホイールベースの不確定性が不可避である。また、舵角センサと旋回半径との関係においては非線形でない領域が存在する。加えて、操舵角が変化して車両の動きとして反映されるまでの応答に遅延が生ずる。更に、舵角センサと車輪速センサ自体では前進又は後退を判別できない。
【００１２】
そして、前掲の特許文献１では舵角センサの出力に基づき旋回半径を計算し、車輪速センサの出力パルス数をカウント(積分)して移動距離を計算することとしているが、上記の車輪速センサの特性上、到達すべき目標位置に近づくほど、また、その目標位置が出発位置から遠いほど積分誤差が増大することになる。
【００１３】
一方、前掲の特許文献２に記載のステレオにおいては、例えば左右に配置したカメラは固定されており、その相対的な位置及び姿勢は既知であることが前提である。そして、左右のカメラで撮影された対象物の画像で同一の点を同定すること（これがステレオ対応と呼ばれる）によって対象物までの距離を三角測量の原理で求めることとされている。
【００１４】
これに対し、前述の非特許文献６に記載の画像処理技術を利用すれば、例えば単眼（１台のカメラ）によっても障害物の３次元形状を復元し得るように構成することができる。従って、このような画像処理技術を、車両等の移動体の周辺を監視する装置に適切に組み入れることができれば、上記の問題を解決することができる。しかし、単眼によるモーションステレオでは、カメラの位置及び姿勢は移動によって変化し、一定ではない。そこで移動前後での相対的なカメラの位置及び姿勢を何らかの方法で検出する必要がある。
【００１５】
この点に関し、例えば非特許文献４には、ヨーレイトセンサ（ジャイロ）と車輪速センサ（エンコーダ）の利用が開示されているが、ヨーレイトセンサにはゼロ点のドリフトがあるため、時間経過につれて誤差の累積が増大する旨記載されている。また、車輪速センサのみでは比較的大きな誤差が生ずるので、車両の位置及び姿勢の検出が困難となるとされている。このため、非特許文献４では、両者の差成分を演算することによって実用的には障害がない程度の誤差に抑えることとされている。
【００１６】
一方、非特許文献５の記載によれば、同一の対象物に対する２視点の画像間の変換はホモグラフィーＨによって表すことができ、その変換のためのホモグラフィーを求めるには最低４個の点が同一平面内に含まれていればよい。換言すれば、特定平面内に少なくとも４点が含まれておれば、一方のカメラの位置に対する他方のカメラの位置（相対位置関係）を演算することができ、一方の画像から他方の画像を演算することができるということもできる。そして、非特許文献６の記載によれば、ホモグラフィー行列からカメラの内部パラメータと外部パラメータを計算することができる。
【００１７】
そこで、本発明は、移動体の周辺を監視する移動体周辺監視装置において、単一の撮像手段によって撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を誤差累積がなく高精度で特定し得るように構成することを課題とする。
【００１８】
また、本発明は、単一の撮像手段によっても、誤差累積がなく高精度で移動体の位置及び姿勢を特定すると共に、移動体における所望の位置での視界を確保し、適切に画像表示を行い得る移動体周辺監視装置を提供することを課題とする。
【００１９】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載のように、移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し前記移動体の移動中に周辺を撮像し画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像から特定平面内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、前記移動体が第１の状態から第２の状態に移動したときに前記特徴点抽出手段が抽出した前記特徴点を追跡する特徴点追跡手段と、該特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段とを備えることとしたものである。
【００２０】
尚、前記撮像手段が撮像した前記四つの特徴点を含む前記特定平面としては、路面もしくは壁面である。そして、前記四つの特徴点としては、路面もしくは壁面に描かれ、あるいは形成された、白線、凹凸、段差、模様等のほか、汚れ、影等の路面上のパターンの輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がるコーナー（変曲点）がある。また、前記の移動体には、車両のほか、移動ロボット等を含む。
【００２１】
更に、前記請求項１記載の移動体周辺監視装置に対し、請求項２に記載のように、前記移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段を備えたものとするとよい。
【００２２】
そして、前記請求項２記載の移動体周辺監視装置に対し、請求項３に記載のように、前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記移動体の運転者による前記特定の視界に係る指示を入力する指示入力手段を備えたものとし、前記特定視界作成手段が、前記指示入力手段の入力結果に応じて前記特定の視界を前記運転者の指示に基づく視界に切り替える切替手段を具備するように構成するとよい。
【００２３】
また、前記請求項２記載の移動体周辺監視装置に対し、請求項４に記載のように、前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記撮像手段の画像情報に基づき、前記移動体の周囲に接近する障害物を検出する障害物検出手段を備えたものとし、前記特定視界作成手段が、前記障害物検出手段が検出した前記障害物を含むように前記特定の視界を作成する構成としてもよい。
【００２４】
あるいは、前記請求項２記載の移動体周辺監視装置に対し、請求項５に記載のように、前記３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段と、前記移動状態特定手段の特定情報に基づき前記移動体の移動軌跡を推定する軌跡推定手段を備えたものとし、前記特定視界作成手段が、前記軌跡推定手段の推定移動軌跡を前記特定の視界に重合する重合手段を具備し、前記表示手段が、前記推定移動軌跡を前記特定の視界に重合した画像を表示するように構成するとよい。
【００２５】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、例えば図５に示す車両１に搭載され、駐車案内装置に供される。図１において、本実施形態の移動体周辺監視装置は、移動体（図５の車両１）に搭載し移動体の移動中に周辺を撮像し画像情報を出力する少なくとも一つの撮像手段ＣＤと、この撮像手段ＣＤが撮像した画像から特定平面内の少なくとも四つの特徴点を抽出する特徴点抽出手段ＰＤと、移動体が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤが抽出した前記特徴点を追跡する特徴点追跡手段ＰＦと、特徴点追跡手段ＰＦの追跡結果に基づき、第１の状態で撮像した画像の前記特徴点の平面座標及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤの相対的な位置及び姿勢を特定する移動状態特定手段ＭＢと、この移動状態特定手段ＭＢで特定した第１の状態及び第２の状態における撮像手段ＣＤの位置及び姿勢、第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに第２の状態で撮像した画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標を推定する３次元座標推定手段ＲＣとを備えている。そして、３次元座標推定手段ＲＣが推定した所定対象の特徴点に基づき移動体の周辺を監視するように構成されている。
【００２６】
具体的には、図１に示すように、３次元座標推定手段ＲＣが推定した所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段ＳＶと、この特定視界作成手段ＳＶが作成した特定の視界を画像に表示する表示手段ＶＤを備え、この表示手段ＶＤによって、移動体の周辺を監視することができる。尚、撮像手段ＣＤとしては、後述するｃｃｄカメラ等がある。また、表示手段ＶＤとしては、移動体に搭載するモニタ（図示せず）がある。更に、特定視界作成手段ＳＶに基づき表示手段ＶＤが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【００２７】
図２は本発明の他の実施形態の全体構成を示すもので、これも、例えば図５に示す車両１に搭載され、駐車案内装置に供される。本実施形態の移動体周辺監視装置は、図１の構成に加え、図２に示すように、移動体（図５の車両１）の運転者による特定の視界に係る指示を入力する指示入力手段ＳＥを備え、特定視界作成手段ＳＶは、指示入力手段ＳＥの入力結果に応じて特定の視界を運転者の指示に基づく視界に切り替える切替手段ＣＨを具備している。指示入力手段ＳＥとしては、メカニカルスイッチ（図示せず）を用いることができ、表示手段ＶＤとしてモニタ（図示せず）が用いられた場合には、モニタ表示画像上に構成するタッチパネルスイッチを用いることもできる。更には、音声認識装置によって指示入力手段ＳＥを構成することもできる。
【００２８】
図３は本発明の更に他の実施形態の全体構成を示すもので、これも、例えば図５に示す車両１に搭載され、駐車案内装置に供される。本実施形態の移動体周辺監視装置は、図１の構成に加え、図３に示すように、撮像手段ＣＤの画像情報に基づき、移動体（図５の車両１）の周囲に接近する障害物を検出する障害物検出手段ＵＮを備え、特定視界作成手段ＳＶは、障害物検出手段ＵＮが検出した障害物を含むように特定の視界を作成するものである。上記障害物検出手段ＵＮは、撮像手段ＣＤの画像情報から、移動体に対して相対的に所定距離内に接近した障害物を検出し、例えば、移動体を中心とする所定の領域内に障害物が存在すると判定されたときに、その障害物を含む視界の画像を自動的に表示するように構成することができる。
【００２９】
また、図４は本発明の別の実施形態の全体構成を示すもので、これも、例えば図５に示す車両１に搭載され、駐車案内装置に供される。本実施形態の移動体周辺監視装置は、図１の構成に加え、図４に示すように、移動状態特定手段ＭＢの特定情報に基づき移動体（図５の車両１）の移動軌跡を推定する軌跡推定手段ＴＲを備えたものである。そして、特定視界作成手段ＳＶは、軌跡推定手段ＴＲの推定移動軌跡を特定の視界に重合する重合手段ＯＬを具備し、表示手段ＶＤが、推定移動軌跡を特定の視界に重合した画像を表示するように構成されている。軌跡推定手段ＴＲが推定する移動軌跡としては、例えば車両の走行予想軌跡があり、これについては図２１乃至図２３を参照して後述する。
【００３０】
上記の移動体が車両である場合には、移動体周辺監視装置は図５及び図６に示す駐車案内装置に供することができる。図５は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１の後部には、その周辺を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像手段ＣＤを構成する）が装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図５に示すように車両１に搭載された筐体中に収容され、図１乃至図４に記載の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ、特定視界作成手段ＳＶ、表示手段ＶＤ、切替手段ＣＨ、重合手段ＯＬ及び軌跡推定手段ＴＲが構成されている。
【００３１】
また、ステアリングホイール３の操舵角を検出する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着され、更に、各車輪の回転速度を検出する車輪速度センサ（代表して７で示す）が装着されており、これらの検出舵角及びオン信号が電子制御装置１０に供給される。そして、運転者から視認可能な車両１内の所定位置にモニタ８が配置されており、電子制御装置１０の出力信号に応じてモニタ８に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ８が図１乃至図４の表示手段ＶＤとして機能している。更に、車両１内の所定位置にスピーカ９が配置されており、電子制御装置１０の出力信号に応じてスピーカ９から駐車案内用の音声情報が出力される。
【００３２】
図６は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。上記のＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３３】
本実施形態においては、車両１周辺の環境を表示するカメラ２の画像信号が画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。
【００３４】
而して、図１の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ及び特定視界作成手段ＳＶはＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。特徴点抽出手段ＰＤにおいては、撮像手段ＣＤたるカメラ２で撮像された画像から特定平面内の少なくとも四つの特徴点が抽出される。そして、特徴点追跡手段ＰＦによって、移動体が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤで抽出された上記四つの特徴点が追跡される。この特徴点追跡手段ＰＦの追跡結果に基づき、移動状態特定手段ＭＢにおいて、第１の状態で撮像した画像における上記四つの特徴点の平面座標及び第２の状態で撮像した画像における上記四つの特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の相対的な位置及び姿勢が特定される。
【００３５】
即ち、図７の左側に示すように、移動体が移動中に、カメラ２によって第１の状態（第１のカメラ位置）で撮像された画像Ｖ１内に含まれる特定平面内（例えば路面内）で４点（以上）の特徴点が抽出される。次に、図７の右側に示すように、特定平面内の４点の特徴点が視界に入る第２の状態（第２のカメラ位置）で撮像された画像Ｖ２内において、第１のカメラ位置で抽出された４点の特徴点が追跡される。これらの特徴点の抽出と追跡に関しては、図９を参照して後述する方法と同様に行われる。而して、第１及び第２の状態（二つの位置）における画像から、特定平面内の４点（以上）の特徴点を抽出することができ、しかも各特徴点が両画像間で対応が取れているので、ホモグラフィーＨを演算することができる。
【００３６】
このホモグラフィーＨからは、第１及び第２の状態（二つのカメラ位置）間の相対的なカメラの外部パラメータを導くことができる。即ち、一旦ホモグラフィー行列（透視投影行列）が得られれば、その結果からカメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）を計算することができることは前掲の非特許文献６で解説されているので、ここでは省略する。この手順に従えば、第１の状態（第１のカメラ位置）と第２の状態（第２のカメラ位置）の相対的な位置及び姿勢（即ち、Ｘ，Ｙ，Ｚ座標上の各軸に対する並進成分ｔｘ，ｔｙ，ｔｚと回転成分ｒ１，ｒ２，ｒ３）を計算することができる。これらの並進成分及び回転成分は、後述のベクトルＴ及びＲ（図８に示す）を構成する。
【００３７】
而して、特徴点追跡手段ＰＦにて、図５の車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像（図７のＶ１）から前記特徴点の座標が検出されると共に、第２の状態で撮像された画像（図７のＶ２）での前記特徴点に対応する座標が検出される。この場合において、抽出すべき特徴点は、例えば路面上の亀裂や小石、縁石のエッジ等に生ずるパターンとすればよい。これらは通常、多数存在し、特徴点に供し得る対象は多数存在する。従って、同一路面上に少なくとも四つの特徴点があれば、それらを二つの視点で抽出すればよい。
【００３８】
これにより、移動状態特定手段ＭＢにおいて、画像情報のみを用いて撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の移動状態を特定することができる。特に、風景中の４点以上の目印、例えば、路面上の白線、影、道路端エッジ、凹凸を利用して、車両１の移動前後での相対的な位置及び姿勢を正確に検出できるのみでなく、車両１の移動に伴い順次別の目印に移行することとすればよいので、従来のように初期位置に対して誤差が累積していくことはない。このように、本実施形態によれば、単独で車両１の位置及び姿勢を検出することができるが、もちろん、車輪速度センサ７や操舵角センサ４、ヨーレイトセンサ（図示せず）等のセンサと併用することとしてもよい。
【００３９】
而して、従来の操舵角センサや車輪速度センサを用いて車両の位置及び姿勢を推定する手段においては、出発位置からの距離が長いほど誤差が累積されて増大するのに対し、本実施形態によれば、移動体（車両１）に搭載された撮像手段（カメラ２）によって得られた画像情報を用いて、特定平面（路面又は壁面）内に含まれる白線、凹凸、段差、模様等の構造物、又は、汚れ、影等の路面上のパターンの輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がる変曲点（コーナー）の何れかを用い、且つ、移動毎に新しい特徴点を抽出して目標位置に到達するので、移動体（車両１）の位置及び姿勢の計測誤差を少なくすることができる。
【００４０】
そして、３次元座標推定手段ＲＣにおいては、移動状態特定手段ＭＢで特定された第１及び第２の状態における撮像手段の位置及び姿勢、第１の状態で撮像された画像における所定対象（他の車両等の画像の一部、又は画像全体）の特徴点の平面座標、並びに第２の状態で撮像された画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標が推定される。
【００４１】
この３次元座標の推定、即ち３次元再構成は、例えば前述の非特許文献２に記載のように、上記第１及び第２の状態の画像を用いて三角測量の原理に基づいて行われるものであり、図８及び図９を参照して以下に説明する。図８において、少なくとも２つのカメラ位置（左右のｏ及びｏ'で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ1，ｍ2とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Scene）中の３次元の点Ｍは各画像間で同定する必要がある。また、本実施形態のようにカメラ２のみ（単眼カメラ）によって３次元の再構成を行う場合には、画像中から対象物体の特徴点（Point of Interest）の抽出とその追跡が必要である。即ち、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）は予め測定することにより設定されるが、カメラの外部パラメータ（カメラの配置）は、前述のように、特徴点の抽出と追跡を基に演算されるホモグラフィーＨから導かれる。そして、これらを前提に３次元再構成が行われる。尚、カメラの内部パラメータもホモグラフィーＨから導くようにしてもよい。
【００４２】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、前述のステレオ対応を用いることができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００４３】
対象視界からの特徴点の抽出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を抽出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象であり、上記の所定対象である。このような特徴点の抽出には下記［数１］式に示す行列Ａによる自動相関（Auto-correlation）を用いることができる。行列Ａは画像中の点ｐ(x,y)を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（図示せず）であり、この行列はこれらの特徴点を抽出するものである。尚、下記［数１］式において、Ｉ(x,y)は画像の関数、Ｉxはｘ軸に沿った画像の勾配、Ｉyはｙ軸に沿った画像の勾配、(xk,yk) は(x,y)を中心としたウインドウＷ中の画像点を夫々表わす。
【００４４】
【数１】
2004198211.tif 000003
【００４５】
次に、特徴点の追跡（Feature Tracking）に関し、u＝[x,y]T が画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４６】
【数２】
2004198211.tif 000004
【００４７】
上記の［数２］式において、δ(u)はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（translation）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（displacement vector）を表わす。
【００４８】
【数３】
2004198211.tif 000005
【００４９】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Tracker）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する。尚、下記［数４］式のＷは、点ｕを中心とする特徴点抽出のためのウインドウを表わす。
【００５０】
【数４】
2004198211.tif 000006
【００５１】
図９はトラッキングの一例を説明するもので、トラック（Tracks）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって抽出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において抽出された特徴点の集合から開始し、前の画像（図９のImg Ａ）での特徴点は次の画像（図９のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００５２】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図８に示すようになる。
【００５３】
【数５】
2004198211.tif 000007
【００５４】
図８において、第２のカメラ座標系（図８の右側）は第１のカメラ座標系（図８の左側）をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００５５】
図８に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ1，ｍ2にあるとする。この状態で、第２のカメラ座標系の原点０'から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ2で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第１のカメラ座標系に関してはＲｍ2である。従って、図８より下記［数６］式の関係が成立する。
【００５６】
【数６】
2004198211.tif 000008
【００５７】
上記［数６］式から、距離Ｚ，Ｚ'が下記［数７］式のように計算される。
【００５８】
【数７】
2004198211.tif 000009
【００５９】
このようにして、２つの視点から画像面上の投影像の座標ｍ1，ｍ2から３次元空間上の距離Ｚ，Ｚ'を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００６０】
而して、前述のように特定される第１の状態及び第２の状態における車両１（カメラ２）の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像の特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の３次元座標が推定される。
【００６１】
そして、前述の特定視界作成手段ＳＶによって、周辺状況を含む３次元環境内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段ＶＤたるモニタ８に表示される。この場合において、例えば図１０に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元環境マップ（図１０の破線の格子）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図１０にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。尚、図１０乃至図１４において、破線の格子で示した３次元環境マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している。
【００６２】
図１１は、車両１の左前方コーナーに仮想カメラ２ｂが配置された場合、及び左後方コーナーに仮想カメラ２ｃが配置された場合に、移動後の車両１からみた３次元環境マップにおいて、これらの仮想カメラ２ｂ及び２ｃの視界に入る領域（表示視界Ｓｂ及びＳｃ）を示す。同様に、図１２は、仮想カメラ２ｄが車両１の側方に配置された場合に、移動後の車両１からみた３次元環境マップにおいて、仮想カメラ２ｄの視界に入る領域（表示視界Ｓｄ）を示す。
【００６３】
図１０乃至図１２の例では、実際のカメラ２の画角と類似する視界が設定されているが、図１３の仮想カメラ２ｅのように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない車両１の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図１４に示すように車両１の上空部分に仮想カメラ２ｆを配置して３６０度の表示視界Ｓｆを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【００６４】
上記のように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）、表示し得るように構成されている。例えば、図１５において、車両１が２点鎖線で示す位置から矢印方向に後退し実線で示す位置まで移動したとすると、２点鎖線で示す位置で撮像された２点鎖線の領域Ｓｐには障害物ＯＢが存在するので、この位置では障害物ＯＢを含む画像が形成される。しかし、移動後の車両１の位置で撮像される領域Ｓｎには障害物ＯＢが存在しなくなっているので、モニタ８（図５）の表示画像には障害物ＯＢが含まれなくなる。この状態から、車両１が更に図１５の矢印方向に後退すると、車両１の左後方のコーナーから左前方にかけて障害物ＯＢが接近することになるが、モニタ８の表示画像からは外れており、見えなくなっている。
【００６５】
上記のような状況において、図１３に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると、図１６及び図１７に示すように、車両１の両コーナー部分も含む画像となる。尚、図１６は、図１５に２点鎖線で示す位置の車両１の後部及び障害物ＯＢが表示されたもので、図１７は、図１５に実線で示す位置（移動後）の車両１の後部及び障害物ＯＢが表示されたものである。図１７に示すように、障害物ＯＢの車両１に対する相対的位置は、２点鎖線で示す位置（移動前の図１６の位置）から図１７の矢印方向に相対移動し、実線で示す位置となっていることが分かる。これにより、障害物ＯＢはカメラ２による実際の視界から外れているにも拘わらず、運転者はこれをモニタ８で確認することができる。
【００６６】
而して、本実施形態においては、図２に示す指示入力手段ＳＥ及び切替手段ＣＨによって、モニタ８の表示画像が実際のカメラ２で撮像された画像から、図１６及び図１７に示すようなバーチャル画像に適宜切り替え可能に構成されている。具体的には、図１８に示すように、後方視界の通常の画像（図示省略）に加え、左右に「左コーナー」及び「右コーナー」というタッチパネルスイッチが表示されたモニタ８の通常の表示画面（Ａ）に対し、運転者が何れかのタッチパネルスイッチに触れると画面が切り替わり、コーナー部分のバーチャル画像が表示された切替画面（Ｂ）が表れるように構成されている。これにより、例えば運転者が通常の表示画面（Ａ）の「左コーナー」の表示に触れると、切替画面（Ｂ）の拡大画像に切り替わるので、左コーナーの障害物ＯＢを確認することができる。このように、拡大表示とすることが望ましいが、図１６の表示が左右に移動する態様としてもよく、音声と共に報知することとしてもよい。
【００６７】
更に、前述のように車両１周辺の障害物ＯＢの状況を３次元的に認識できていることを利用し、至近距離に存在する障害物がカメラ２の視界から外れたときに、自動的に、カメラ２の視界より外側の状況をバーチャル画像として表示させることができる。例えば図１９に示すように、道路の左側に縦列駐車を行う場合において、車両１を後退させた後に矢印方向（左方向）に旋回するとき、前方左コーナーが他の車両ＯＶの後部に接触するおそれがある。このような場合において、図３に示すように障害物検出手段ＵＮを備えた構成とすることにより、車両１に対して相対的に所定距離内に接近する他の車両ＯＶは障害物として認識され、特定視界作成手段ＳＶでは、この車両ＯＶを含む視界が作成される。而して、自動的に、もしくは運転者の指示に応じて、図２０に示すように前方左コーナー部分のバーチャル画像をモニタ８に表示させることができる（切り替えることができる）。
【００６８】
尚、上記図２０のバーチャル画像は、前述のように、車両１が図１９に示す領域の前方まで前進した後に後退する際に、カメラ２によって撮像された他の車両ＯＶを含む環境情報が３次元環境マップとしてメモリ（図示せず）に格納されているので、この３次元環境マップでの車両１の位置（座標）及び姿勢（方向）が特定される。そして、３次元環境マップにおいて、車両１の前方左コーナーと他の車両ＯＶの後部との距離が所定距離未満となったと判定されると、自動的に、図２０に示すバーチャル画像がモニタ８に表示される。このとき、同時に音声で案内することとしてもよい。更に、電子制御装置１０において、車両１と他の車両ＯＶが「接触するおそれあり」と判定されたときに、例えば警報と共に、モニタ８に警告が表示されるように構成してもよい。また、自車両から所定距離の領域内に他の障害物（例えば他の車両ＯＶ）が存在すると判定された場合には、その障害物を含む視界のバーチャル画像を自動的に表示するように構成することもできる。この場合にも、音声で案内し、あるいは警告と共に報知することができる。
【００６９】
更に、図４に示すように移動状態特定手段ＭＢの特定情報に基づき移動体の移動軌跡を推定する軌跡推定手段ＴＲを備え、特定視界作成手段ＳＶが、軌跡推定手段ＴＲの推定移動軌跡を特定の視界に重合する重合手段ＯＬを具備した構成とすることにより、例えば道路の右側に縦列駐車を行う場合に、図２１乃至図２３に示すように、駐車案内用の推奨コースＲＣ及び車両１の予想移動軌跡ＥＣを重合してバーチャル画像表示するように構成することができる。本実施形態では、軌跡推定手段ＴＲによって画像から移動体の移動軌跡を推定することができるが、図５に示す操舵角センサ４の検出操舵角等の車両１の操作状況を示す情報に基づき、車両１の後退時の予想軌跡ＥＣを演算することとしてもよい。この予想軌跡ＥＣの演算は、従来の駐車案内方法と同様に構成することができるので説明は省略する。
【００７０】
図２１は車両１の側部斜め上方からみた鳥瞰図状のバーチャル画像で、図２２は車両１の真上からみたバーチャル画像、図２３は車両１の前部上方から後方をみたバーチャル画像で、駐車スペースをＰＳで示している。これらのバーチャル画像は、後方のカメラ２のみであっても、車両１が図２１乃至図２３のモニタ画像に示す領域の前方まで前進した後に後退するまでに、前述のようにカメラ２によって撮像された車両１周辺の環境情報が３次元環境マップとしてメモリに格納されるので、その後は図２１乃至図２３に示す領域内のバーチャル画像を適宜モニタ８に表示することができる。
【００７１】
以上のように、上記の各実施形態においては１台のカメラ２のみによってモニタ８にバーチャル画像で表示できることから、車両１のコーナー部分等の、技術的、意匠的に搭載が困難な部分にカメラを搭載する必要はない。しかも、カメラ２の搭載位置及び方向に依存することなく、カメラ２によって撮像された車両１周辺の環境情報に基づき、所望のバーチャル画像をモニタ８に適宜表示することができる。従って、図５に示したバックカメラのほか、サイドカメラ、フロントカメラ等を利用することができ、特定のカメラに限定されるものではない。
【００７２】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、移動体に搭載し該移動体の移動中に周辺を撮像し画像情報を出力する少なくとも一つの撮像手段が撮像した画像から、特定平面内の少なくとも四つの特徴点を抽出し、移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を追跡し、その追跡結果に基づき、第１の状態で撮像した画像の前記特徴点の平面座標及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１及び第２の状態における撮像手段の相対的な位置及び姿勢を特定するように構成されており、画像認識によって撮像手段ひいては移動体の位置及び姿勢を検出することができるので、単一の撮像手段によっても、誤差累積がなく高精度で移動体の位置及び姿勢を特定することができる。
【００７３】
そして、請求項２に記載の移動体周辺監視装置においては、更に３次元座標推定手段を備え、第１及び第２の状態における撮像手段の位置及び姿勢、第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに第２の状態で撮像した画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標を推定するように構成されているので、単一の撮像手段によっても、誤差累積がなく高精度で移動体の位置及び姿勢を特定することができると共に、移動体における所望の位置での視界を確保し、適切に画像表示を行なうことができる。
【００７４】
更に、請求項３に記載のように構成すれば、運転者の指示に応じて容易に所望の視界に切り替えることができる。あるいは、請求項４に記載のように構成すれば、移動体の周囲に接近する障害物を含む視界の画像を、必要に応じて適宜表示することができる。
【００７５】
更に、請求項５に記載のように構成すれば、移動体の推定移動軌跡を特定の視界に重合した画像を容易に表示することができる。従って、例えば駐車案内装置に適用すれば、表示手段を介して障害物を確実に回避するように案内することができるので、運転者は表示手段を参照しながら容易に所定位置に駐車することができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の移動体周辺監視装置の他の実施形態の構成を示すブロック図である。
【図３】本発明の移動体周辺監視装置の更に他の実施形態の構成を示すブロック図である。
【図４】本発明の移動体周辺監視装置の別の実施形態の構成を示すブロック図である。
【図５】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図６】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図７】本発明の一実施形態において、移動体が移動中に、１台のカメラで第１及び第２のカメラ位置で撮像した画像から、特定平面内の４点以上の特徴点を抽出しホモグラフィーＨを演算するときの幾何学的な関係を示す説明図である。
【図８】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図９】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【図１０】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１１】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図１２】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１３】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図１４】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの３６０度の表示視界を示す平面図である。
【図１５】本発明の一実施形態において、車両が後退したときの表示視界の変化の一例を示す平面図である。
【図１６】図１５に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１７】図１５に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１８】本発明の一実施形態において、タッチパネルスイッチが表示されたモニタの通常の表示画面（Ａ）から拡大画像が表示された切替画面（Ｂ）への変化の一例を示す平面図である。
【図１９】本発明の一実施形態において、車両の進行方向に対して左側に縦列駐車を行う場合の車両の動作の一例を示す平面図である。
【図２０】図１９に示すように車両を後退後に矢印方向に旋回するとき、前方左コーナー部分のバーチャル画像をモニタに表示させた一例を示す平面図である。
【図２１】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の側部斜め上方からみたバーチャル画像で示す一例の平面図である。
【図２２】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の真上からみたバーチャル画像で示す一例の平面図である。
【図２３】本発明の一実施形態において、車両の進行方向に対して右側に縦列駐車を行う状況を、車両の前部上方から後方をみたバーチャル画像で示す一例の平面図である。
【符号の説明】
ＣＤ  撮像手段，  ＰＤ  特徴点抽出手段，  ＰＦ  特徴点追跡手段，
ＭＢ  移動状態特定手段，  ＲＣ  ３次元座標推定手段，
ＳＶ  特定視界作成手段，  ＶＤ  表示手段，  １  車両，  ２  カメラ，
３  ステアリングホイール，  ４  操舵角センサ，  ５  シフトレバー，
６  シフトレバースイッチ，  ７  車輪速度センサ，  ８  モニタ，
９  スピーカ，  １０  電子制御装置
【図１】
2004198211.tif 000010
【図２】
2004198211.tif 000011
【図３】
2004198211.tif 000012
【図４】
2004198211.tif 000013
【図５】
2004198211.tif 000014
【図６】
2004198211.tif 000015
【図７】
2004198211.tif 000016
【図８】
2004198211.tif 000017
【図９】
2004198211.tif 000018
【図１０】
2004198211.tif 000019
【図１１】
2004198211.tif 000020
【図１２】
2004198211.tif 000021
【図１３】
2004198211.tif 000022
【図１４】
2004198211.tif 000023
【図１５】
2004198211.tif 000024
【図１６】
2004198211.tif 000025
【図１７】
2004198211.tif 000026
【図１８】
2004198211.tif 000027
【図１９】
2004198211.tif 000028
【図２０】
2004198211.tif 000029
【図２１】
2004198211.tif 000030
【図２２】
2004198211.tif 000031
【図２３】
2004198211.tif 000032