(57)【要約】【課題】監視領域に投影した光パターンを撮像手段によって撮像し、その画像に基づき撮像手段ひいては移動体の位置及び姿勢を特定する。【解決手段】移動体が移動中に、光パターン投影手段ＬＴによって特定平面ＦＳ上に対し所定の光パターンＬＰを投影し、撮像手段ＣＤが撮像した画像の中から、光パターンＬＰ内の少なくとも四つの特徴点を特徴点抽出手段ＰＤによって抽出する。移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段ＰＦによって追跡する。この追跡結果に基づき、移動状態特定手段ＭＢにて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、撮像手段ＣＤひいては移動体の相対的な位置及び姿勢を特定する。【選択図】        図１
2004198212.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも一部を抽出して追跡するパターン追跡手段と、該パターン追跡手段の追跡結果に基づき前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段とを備えたことを特徴とする移動体周辺監視装置。
【請求項２】
前記パターン追跡手段は、前記撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、前記移動体が第１の状態から第２の状態に移動したときに前記特徴点抽出手段が抽出した特徴点を追跡する特徴点追跡手段を具備し、前記移動状態特定手段は、前記特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定するように構成して成り、前記移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段とを備えたことを特徴とする請求項１記載の移動体周辺監視装置。
【請求項３】
移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、該特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段と、該移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段と、該３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えたことを特徴とする移動体周辺監視装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、移動体周辺を監視する移動体周辺監視装置に関し、特に、移動体周辺の環境を監視し、移動体における所望の位置での視界を画像表示する移動体周辺監視装置に係る。例えば、車両の周辺を監視し駐車時に障害となる物体等を適宜表示する装置に好適な移動体周辺監視装置に係る。
【０００２】
【従来の技術】
従来から、移動体例えば車両の周辺を監視するため、画像処理による環境認識技術が適用された技術が知られている。例えば、車両後方にカメラを装着し、その画像を運転席に設置したモニタに表示する装置が種々提案されており、既に市販されている。例えば、下記の特許文献１（特開平５−２０１２９８）には、レーザ光入射により監視領域に輝点パターンを投影するパターン光投光器と、該輝点パターンを撮像する撮像機と、該撮像機から得られる画像を処理して障害物や溝あるいは人等の存在を検知するデータ処理部とを備えた車両周辺監視装置が提案されている。
【０００３】
また、下記の特許文献２（特開平４−７１０００）には、車両の走行速度に応じて投影された道路上のスリット光を撮像手段で撮像し、撮像された道路画像から抽出されたスリット光の形状やその変化を解析することによって車両前方の障害物等を検出する車両用状況認識装置が開示されている。
【０００４】
一方、画像処理技術の分野においては、２台のカメラから３次元形状を復元する技術が知られている。例えば、下記の非特許文献１には、ステレオによる立体形状計測について解説されている。この非特許文献１には、その前提として、２つのカメラそれぞれの結像の特性（レンズの焦点距離、画像中心、画素サイズなど）、２つのカメラの位置、姿勢、そして２つの画像での対応が分かれば、その対応する点の空間での位置が決定できる旨記載されている。
【０００５】
同様に、下記の非特許文献２にも、２台のカメラから撮った画像間の対応関係から三角測量の原理で物体の３次元形状を計算する技術が開示されており、ロボットの制御のために画像から３次元情報を抽出する方法として最も基本的な手段の一つであるとして、原理が解説されている。
【０００６】
また、下記の非特許文献３には、上記のステレオと同じ原理に基づき、動画像から対象の３次元形状が復元できると記載されている。特に、動画像として画像の系列が与えられていると、対象の運動の追跡が可能になり、２枚の画像だけが与えられた場合より対応点の抽出が容易である旨説明されている。
【０００７】
更に、下記の非特許文献４には、「移動ロボットにおけるジャイロとオドメトリのデータを組み合わせる方法」と題し、ジャイロによる測定と車輪エンコーダ（オドメトリ）による測定を簡単且つ有効に組み合わせる方法が開示されている。
【０００８】
また、下記の非特許文献５における「1.3 Projective transformations 」(p.11〜)及び「7.3 Action of a projective camera on quadrics」(P.190〜)の記載によれば、同一の対象物が映っている２視点の画像間の変換はホモグラフィーＨによって表すことができる旨説明されている。
【０００９】
そして、下記の非特許文献６の「3.4 Calibrating Cameras(p.51〜p.58)」には、ホモグラフィー行列（透視投影行列）からカメラの内部パラメータと外部パラメータを計算することができる旨説明されている。
【００１０】
【特許文献１】
特開平５−２０１２９８号公報
【特許文献２】
特開平４−７１０００号公報
【非特許文献１】
「情報処理」Vol.37 No.7 (１９９６年７月号)における出口光一郎著「２．ステレオの仕掛けを解き明かす」
【非特許文献２】
「空間データの数理」 (金谷健一著。１９９５年３月１０日初版第１刷。朝倉書店発行)における１６１頁及び１６２頁に記載の「ステレオ視による３次元復元」
【非特許文献３】
「情報処理」Vol.37 No.8 (１９９６年８月号)における出口光一郎著「３．動画像の扱い」
【非特許文献４】
J.Borenstein 及び L.Feng  著、「Gyrodometery:A New Method forCombining Data from Gyros Odometry in Mobile Robot」、Preceeding of the IEEE International Conference on Roboticsand Automation, Minneapolis, Apr.22-28, 1996, pp.423-428
【非特許文献５】
Richard Hartley 及びAndrew Zisserman 著、「Multiple View Geometry  in Computer Vision」、2000年 Cambridge University Press発行（ISBN: 0521623049）
【非特許文献６】
Olivier Faugeras  著、「Three-Dimensional Computer Vision: A Geometric Viewpoint」、 1993年 MIT Press発行
【００１１】
【発明が解決しようとする課題】
前掲の特許文献１に記載の装置においては、レーザー光による輝点パターンを路面に投影し、別の位置に配置したカメラでその輝点パターンを撮影することにより障害物を検出することとしている。この特許文献１では、所定の積載状態における輝点パターンの四隅の位置に対するせり出し量を計測することによって、車両の沈み込みに起因する見かけの障害物の大きさの変化を補正処理し、誤警報を発生しないようにしている。しかし、これによれば「撮像機の路面からの高さ変化」には対応することはできるが、車両にロール角やピッチ角が生じたときには正しく補正することはできず、問題が残る。
【００１２】
また、前掲の特許文献２に記載の装置においては、車両の前方にスリット光を投じるスリット光投影手段と撮像手段を設け、投影されたスリット光の形状変化を検出することにより、障害物、悪路、先行車両等を検出することとしている。しかし、この文献には、車両自体に姿勢変化が生じたときの誤差をどのように低減させるかについては何ら開示されておらず、自車の姿勢変化に対する物体の大きさや距離の計測誤差には対処できない。
【００１３】
結局、上記特許文献１及び２の何れの装置においても、車両姿勢の変化に対応して誤差を低減することに関しては不十分である。従って、移動体に搭載されたカメラによって走行路面や障害物を認識するとき、カメラの搭載位置（高さ）や光軸の方向が一定と仮定したり、変化する場合でもチルト角度のみであるというような限定条件を設定することになるため、高精度で認識することは困難である。
【００１４】
ところで、前述の非特許文献６に記載の画像処理技術を利用すれば、例えば単眼（１台のカメラ）によっても障害物の３次元形状を復元し得るように構成することができる。しかし、単眼によるモーションステレオでは、カメラの位置及び姿勢は移動によって変化し、一定ではない。そこで移動前後での相対的なカメラの位置及び姿勢を何らかの方法で検出する必要がある。この点に関し、例えば非特許文献４には、ヨーレイトセンサ（ジャイロ）と車輪速センサ（エンコーダ）の利用が開示されているが、ヨーレイトセンサにはゼロ点のドリフトがあるため、時間経過につれて誤差の累積が増大する旨記載されている。また、車輪速センサのみでは比較的大きな誤差が生ずるので、車両の位置及び姿勢の検出が困難となるとされている。このため、非特許文献４では、両者の差成分を演算することによって実用的には障害がない程度の誤差に抑えることとされている。
【００１５】
一方、非特許文献５の記載によれば、同一の対象物に対する２視点の画像間の変換はホモグラフィーＨによって表すことができ、その変換のためのホモグラフィーを求めるには最低四個の点が同一平面内に含まれていればよい。換言すれば、特定平面内に少なくとも四点が含まれておれば、一方のカメラの位置に対する他方のカメラの位置（相対位置関係）を演算することができ、一方の画像から他方の画像を演算することができるということもできる。そして、非特許文献６の記載によれば、ホモグラフィー行列からカメラの内部パラメータと外部パラメータを計算することができる。
【００１６】
そこで、本発明は、移動体の周辺を監視する移動体周辺監視装置において、監視領域に対し光パターンを投影し、この光パターンを撮像手段によって撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を特定し得るように構成することを課題とする。
【００１７】
また、本発明は、監視領域に対し光パターンを投影し、この光パターンを撮像手段によって撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を特定し、単一の撮像手段によっても、移動体における所望の位置での視界を確保し、適切に画像表示を行い得る移動体周辺監視装置を提供することを課題とする。
【００１８】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載のように、移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも一部を抽出して追跡するパターン追跡手段と、該パターン追跡手段の追跡結果に基づき前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段とを備えることとしたものである。
【００１９】
尚、前記光パターン投影手段が投影する前記特定平面は、路面もしくは壁面である。また、前記光パターンとしては、自動車においてはテールランプユニットあるいはリヤ・コンビネーションランプユニット等、灯火装置のレンズカットによって生成され、走行路面上に投影される光パターンを利用することができる。あるいは、ヘッドランプユニット、テールランプユニット等の灯火装置に投影用光源を組み込み、この投影用光源による光パターンを利用することができる。更に、既設の灯火装置とは独立して投影用光源を設け、この投影用光源によって走行路面上に投影される光パターンを利用することとしてもよい。
【００２０】
また、前記光パターンに供される光は、可視光及び赤外光の少なくとも一方とするとよい。そして、前記撮像手段としては、可視光に対する感度を有するカメラ、赤外光に対し感度を有する感度のあるカメラ、又は可視光と赤外光の両者に対する感度を有するカメラを用いるとよい。尚、前記移動体には、車両のほか、移動ロボット等を含む。
【００２１】
更に、前記請求項１記載の移動体周辺監視装置において、請求項２に記載のように、前記パターン追跡手段は、前記撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、前記移動体が第１の状態から第２の状態に移動したときに前記特徴点抽出手段が抽出した特徴点を追跡する特徴点追跡手段を具備し、前記移動状態特定手段は、前記特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定するように構成し、前記移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段を備えたものとするとよい。
【００２２】
尚、前記光パターン内の四つの特徴点としては、路面上の光パターンの輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がるコーナー（変曲点）がある。
【００２３】
そして、請求項３に記載のように、移動体に搭載し該移動体の周辺を監視する移動体周辺監視装置において、前記移動体に搭載し、前記移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し所定の光パターンを投影する光パターン投影手段と、前記移動体に搭載し前記監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段と、該撮像手段が撮像した画像の中から、前記光パターン投影手段が前記特定平面上に投影した前記所定の光パターン内の少なくとも四つの特徴点を抽出する特徴点抽出手段と、該特徴点追跡手段の追跡結果に基づき、前記第１の状態で撮像した画像の前記特徴点の平面座標及び前記第２の状態で撮像した画像の前記特徴点の平面座標に応じて、前記第１の状態及び前記第２の状態における前記撮像手段の相対的な位置及び姿勢を特定する移動状態特定手段と、該移動状態特定手段で特定した前記第１の状態及び前記第２の状態における前記撮像手段の位置及び姿勢、前記第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに前記第２の状態で撮像した画像における前記所定対象の特徴点に対応する平面座標に基づき、前記所定対象の特徴点の３次元座標を推定する３次元座標推定手段と、該３次元座標推定手段が推定した前記所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段と、該特定視界作成手段が作成した特定の視界を画像に表示する表示手段とを備えたものとしてもよい。
【００２４】
【発明の実施の形態】
以下、本発明の移動体周辺監視装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、例えば図５に示す車両１に搭載され、駐車案内装置に供される。図１において、本実施形態の移動体周辺監視装置は、移動体（図５の車両１）に搭載し、移動体周辺に設定する所定の監視領域の一部を構成する特定平面ＦＳに対し所定の光パターンＬＰを投影する光パターン投影手段ＬＴと、移動体に搭載し監視領域を撮像して画像情報を出力する少なくとも一つの撮像手段ＣＤと、この撮像手段ＣＤが撮像した画像の中から、光パターン投影手段ＬＴが特定平面ＦＳ上に投影した所定の光パターンＬＰ内の少なくとも一部を抽出して追跡するパターン追跡手段ＰＴと、このパターン追跡手段ＰＴの追跡結果に基づき撮像手段ＣＤの相対的な位置及び姿勢を特定する移動状態特定手段ＭＢを備えている。
【００２５】
パターン追跡手段ＰＴは、図１に一点鎖線内に示すように、撮像手段ＣＤが撮像した画像の中から、光パターン投影手段ＬＴが特定平面ＦＳ上に投影した所定の光パターンＬＰ内の少なくとも四つの特徴点を抽出する特徴点抽出手段ＰＤと、移動体が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤが抽出した前記特徴点を追跡する特徴点追跡手段ＰＦを具備したもので、移動状態特定手段ＭＢは、特徴点追跡手段ＰＦの追跡結果に基づき、第１の状態で撮像した画像の前記特徴点の平面座標及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤひいては移動体の相対的な位置及び姿勢を特定するように構成されている。
【００２６】
そして、図１に破線で示すように、移動状態特定手段ＭＢで特定した第１の状態及び第２の状態における撮像手段ＣＤの位置及び姿勢、第１の状態で撮像した画像における所定対象の特徴点の平面座標、並びに第２の状態で撮像した画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標を推定する３次元座標推定手段ＲＣが設けられている。更に、この３次元座標推定手段ＲＣが推定した所定対象の特徴点の３次元座標に基づき特定の視界を作成する特定視界作成手段ＳＶと、この特定視界作成手段ＳＶが作成した特定の視界を画像に表示する表示手段ＶＤが設けられており、この表示手段ＶＤによって、移動体の周辺を監視することができる。尚、表示手段ＶＤとしては、移動体に搭載するモニタ（図示せず）がある。また、特定視界作成手段ＳＶに基づき表示手段ＶＤが作成する画像は、予め設定された一つ以上の視界における画像であり、その拡大、縮小、回転、視点移動等の変換処理を行った画像を含む。
【００２７】
上記の移動体が車両である場合には、移動体周辺監視装置は図５及び図６に示す駐車案内装置に供することができる。図５は本実施形態の駐車案内装置を搭載した車両１の全体構成を示すもので、車両１周辺に設定する所定の監視領域の一部を構成する特定平面（図１のＦＳ）に対し所定の光パターン（図１のＬＰ）を投影する光パターン投影手段（図１のＬＴ）として、リヤ・コンビネーションランプユニット（以下コンビネーションランプという）２０が用いられる。そして、車両１周辺の監視領域を撮像し画像を取得するカメラ２（例えばｃｃｄカメラで上記の撮像手段ＣＤを構成する）が車両１の後部に装着されており、画像情報が電子制御装置１０に供給される。この電子制御装置１０は、図５に示すように車両１に搭載された筐体中に収容され、図１に記載の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ、特定視界作成手段ＳＶ及び表示手段ＶＤが構成されている。
【００２８】
上記のコンビネーションランプ２０は、そのレンズカットによって、図２に破線で示すような格子状の光パターンＬＰが走行路面上に投影される。この光パターンＬＰは主として赤色の可視光であるが、赤外光の割合が多く、パターン認識に好適である。これに対応し、本実施形態のカメラ２は可視光と赤外光の両者の感度を有することが望ましい。あるいは、コンビネーションランプ２０に代えて、ヘッドランプユニット（図示せず）等の灯火装置に投影用光源（図示せず）を組み込み、この投影用光源による光パターンを利用することができる。更に、既設の灯火装置とは独立して投影用光源（図示せず）を設け、この投影用光源によって走行路面上に投影される光パターンを利用することもできる。
【００２９】
図５に示すように、更に、ステアリングホイール３の操舵角を検出する操舵角センサ４が車両１に装着されると共に、シフトレバー５がリバース位置とされたときにオンとなるシフトレバースイッチ６が装着され、更に、各車輪の回転速度を検出する車輪速度センサ（代表して７で示す）が装着されており、これらの検出舵角及びオン信号が電子制御装置１０に供給される。そして、運転者から視認可能な車両１内の所定位置にモニタ８が配置されており、電子制御装置１０の出力信号に応じてモニタ８に駐車案内用の視覚情報が表示される。即ち、本実施形態においては、モニタ８が図１の表示手段ＶＤとして機能している。更に、車両１内の所定位置にスピーカ９が配置されており、電子制御装置１０の出力信号に応じてスピーカ９から駐車案内用の音声情報が出力される。
【００３０】
図６は、上記の駐車案内装置のシステム構成図であり、電子制御装置１０の構成を示すものである。上記の操舵角センサ４、シフトレバースイッチ６及び車輪速度センサ７は、図示しない入力インターフェースを介して電子制御装置１０内のＣＰＵ１１に接続されており、図示しない出力インターフェースを介して、モニタ８が電子制御装置１０内のスーパーインポーズ部１４に接続され、スピーカ９が音声出力部１５を介してＣＰＵ１１に接続されている。カメラ２は、図示しない入力インターフェースを介して、画像認識部１２、グラフィックス描画部１３及びスーパーインポーズ部１４に接続されている。上記のＣＰＵ１１、画像認識部１２、グラフィックス描画部１３、スーパーインポーズ部１４及び音声出力部１５は相互にバスバーによって接続されている。尚、メモリ等は示していないが、各部の情報は所定期間蓄積され、適宜読み出し可能に構成されている。
【００３１】
本実施形態においては、上記の光パターンＬＰを含み車両１周辺の監視対象等を撮像したカメラ２の画像信号が、画像認識部１２を介してＣＰＵ１１に供給されると共に、車輪速度センサ７等の出力信号がＣＰＵ１１に供給され、ＣＰＵ１１にて演算処理される。このＣＰＵ１１の演算結果に基づき、グラフィックス描画部１３において、カメラ２の画像から抽出される同期信号に応じて３次元のグラフィックスが描画される。また、ＣＰＵ１１においては、駐車案内のための演算処理が行われ、その演算結果に基づくグラフィックスがグラフィックス描画部１３にて描画される。そして、グラフィックス描画部１３にて描画されるグラフィックスとカメラ２の画像とが適宜スーパーインポーズ部１４にて重畳され、モニタ８の画面に描画される。尚、この場合、カメラ画像は表示されず、グラフィック画像のみが表示されるように設定することも可能である。
【００３２】
而して、図１の特徴点抽出手段ＰＤ、特徴点追跡手段ＰＦ、移動状態特定手段ＭＢ、３次元座標推定手段ＲＣ及び特定視界作成手段ＳＶはＣＰＵ１１、画像認識部１２及びグラフィックス描画部１３によって構成されている。特徴点抽出手段ＰＤにおいては、撮像手段ＣＤたるカメラ２で撮像された画像から、特定平面ＦＳ上の光パターンＬＰ（図１及び図２に破線で示す）内の少なくとも四つの特徴点が抽出される。本実施形態では、例えば、特定平面ＦＳ上の光パターンＬＰ内に含まれる輪郭線上の点が抽出される。そして、移動体（車両１）が第１の状態から第２の状態に移動したときに特徴点抽出手段ＰＤで抽出された上記四つの特徴点が、特徴点追跡手段ＰＦによって追跡される。この特徴点追跡手段ＰＦの追跡結果に基づき、移動状態特定手段ＭＢにおいて、第１の状態で撮像した画像における上記四つの特徴点の平面座標及び第２の状態で撮像した画像における上記四つの特徴点の平面座標に応じて、第１の状態及び第２の状態における撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の相対的な位置及び姿勢が特定される。
【００３３】
即ち、図２に示すように、移動体（車両１）が移動中に、コンビネーションランプ２０によって特定平面ＦＳ（例えば路面）上に対し所定の光パターンＬＰが投影される。そして、図２の左側に示すように、カメラ２によって第１の状態（第１のカメラ位置）で撮像された画像Ｖ１内に含まれる特定平面ＦＳ上の光パターンＬＰ内で４点（以上）の特徴点が抽出される。次に、図２の右側に示すように、上記と同一の特定平面ＦＳ上の光パターンＬＰ内の４点の特徴点が視界に入る第２の状態（第２のカメラ位置）で撮像された画像Ｖ２内において、第１のカメラ位置で抽出された４点の特徴点が追跡される。これらの特徴点の抽出と追跡に関しては、図４を参照して後述する方法と同様に行われる。而して、第１及び第２の状態（二つの位置）における画像から、同一の特定平面ＦＳ上の光パターンＬＰ内の４点（以上）の特徴点を抽出することができ、しかも各特徴点が両画像間で対応が取れているので、ホモグラフィーＨを演算することができる。
【００３４】
このホモグラフィーＨからは、第１及び第２の状態（二つのカメラ位置）間の相対的なカメラの外部パラメータを導くことができる。即ち、一旦ホモグラフィー行列（透視投影行列）が得られれば、その結果からカメラの内部パラメータ（スケールファクタ、光軸位置座標等）と外部パラメータ（カメラの配置）を計算することができることは前掲の非特許文献６で解説されているので、ここでは省略する。この手順に従えば、第１の状態（第１のカメラ位置）と第２の状態（第２のカメラ位置）の相対的な位置及び姿勢（即ち、Ｘ，Ｙ，Ｚ座標上の各軸に対する並進成分ｔｘ，ｔｙ，ｔｚと回転成分ｒ１，ｒ２，ｒ３）を計算することができる。これらの並進成分及び回転成分は、後述のベクトルＴ及びＲ（図３に示す）を構成する。
【００３５】
而して、特徴点追跡手段ＰＦにて、図５の車両１が第１の状態から第２の状態に移動したときに撮像手段ＣＤたるカメラ２によって第１の状態で撮像された画像（図２のＶ１）から前記特徴点の座標が検出されると共に、第２の状態で撮像された画像（図２のＶ２）での前記特徴点に対応する座標が検出される。この場合において、抽出すべき特徴点は、特定平面ＦＳ上に投影された光パターンＬＰ内に多数存在する。従って、光パターンＬＰ内の少なくとも四つの特徴点を用い、それらを二つの視点で抽出すればよい。
【００３６】
これにより、移動状態特定手段ＭＢにおいて、画像情報のみを用いてカメラ２ひいては車両１の移動状態を特定することができる。特に、コンビネーションランプ２０によって特定平面ＦＳ上に投影された光パターンＬＰ内の少なくとも四つの特徴点を利用することによって、車両１の移動前後での相対的な位置及び姿勢を正確に検出することができる。そして、車両１の移動に伴い順次別の目印に移行することとすれば、初期位置に対して誤差が累積していくことはない。このように、本実施形態によれば、単独で車両の位置及び姿勢を検出することができるが、もちろん、車輪速度センサ７や操舵角センサ４、ヨーレイトセンサ（図示せず）等のセンサと併用することとしてもよい。
【００３７】
而して、本実施形態によれば、光パターン投影手段（コンビネーションランプ２０）によって特定平面ＦＳ（路面又は壁面）上に対し所定の光パターンＬＰが投影され、移動体（車両１）に搭載された撮像手段（カメラ２）によって得られた画像情報を用いて、特定平面ＦＳ上の光パターンＬＰ内に含まれる輪郭線上の点、複数の輪郭線が交差する点（十字交点）、もしくは大きく曲がる変曲点（コーナー）の何れかを用い、且つ、移動毎に新しい特徴点を抽出して目標位置に到達するので、移動体（車両１）の位置及び姿勢の計測誤差を少なくすることができる。
【００３８】
即ち、車両１に搭載のコンビネーションランプ２０によって投影された光パターンＬＰを、カメラ２によって撮像することとしているので、移動状態特定手段ＭＢにおいて、路面に対するカメラ２の外部パラメータを全て推定することができる。この結果、車両１が走行中に、路面の凹凸や段差を乗り越えたときに車両１の姿勢が変化した場合、あるいは乗員数や積載量の変化によって車両１の姿勢が変化した場合にも、適応的にカメラ２の外部パラメータを校正することができる。従って、３次元座標推定手段ＲＣ等と共に、信頼性の高い周辺監視装置を構成することができる。この３次元座標推定手段ＲＣにおいては、移動状態特定手段ＭＢで特定された第１及び第２の状態における撮像手段ＣＤ（カメラ２）ひいては移動体（車両１）の位置及び姿勢、第１の状態で撮像された画像における所定対象（他の車両等の画像の一部、又は画像全体）の特徴点の平面座標、並びに第２の状態で撮像された画像における所定対象の特徴点に対応する平面座標に基づき、所定対象の特徴点の３次元座標が推定される。
【００３９】
３次元座標推定手段ＲＣにおける３次元座標の推定、即ち３次元再構成は、例えば前述の非特許文献２に記載のように、上記第１及び第２の状態の画像を用いて三角測量の原理に基づいて行われるものであり、図３及び図４を参照して以下に説明する。図３において、少なくとも２つのカメラ位置（左右のｏ及びｏ'で示す）から空間中の同一の点Ｍを観測しているとき、各カメラの画像で観測された点ｍ1，ｍ2とそれぞれのカメラの光学中心とを結んだ空気中の光線を定義でき、各光線の交点は空間中の点の位置Ｍを表す。ここで、対象視界（Scene）中の３次元の点Ｍは各画像間で同定する必要がある。また、本実施形態のようにカメラ２のみ（単眼カメラ）によって３次元の再構成を行う場合には、画像中から対象物体の特徴点（Point of Interest）の抽出とその追跡が必要である。即ち、カメラの内部パラメータ（スケールファクタ、光軸位置座標等）は予め測定することにより設定されるが、カメラの外部パラメータ（カメラの配置）は、前述のように、特徴点の抽出と追跡を基に演算されるホモグラフィーＨから導かれる。そして、これらを前提に３次元再構成が行われる。尚、カメラの内部パラメータもホモグラフィーＨから導くようにしてもよい。
【００４０】
次に、対象視界の動きからの３次元構造の復元に関し、時系列画像のそれぞれがどの位置及び姿勢で撮影されたものであるかは、デッドレコニングシステムにより対応が取られて校正されていれば、前述のステレオ対応を用いることができる。但し、３次元視界の中の同一の点が含まれるように撮影された時系列画像において、その画像列の中から同一の点を見つけることが必要である。即ち、これらの同一の点の対応を取ることによって、対象視界の３次元構造を復元することができる。
【００４１】
対象視界からの特徴点の抽出に関しては、画像の中から、対象視界の特徴となるべきいくつかの特徴点を抽出することになる。この場合の特徴点とは、画像のシーケンスに沿って追跡可能な適切な特徴を有する対象であり、上記の所定対象である。このような特徴点の抽出には下記［数１］式に示す行列Ａによる自動相関（Auto-correlation）を用いることができる。行列Ａは画像中の点ｐ(x,y)を含むウインドウ領域Ｗ中に含まれる画像信号の導関数を平均化するように機能するので、これを用いて最適な特徴点を得る。即ち、追跡に適する特徴点は、一般にはコーナーや直線の交点（図示せず）であり、この行列はこれらの特徴点を抽出するものである。尚、下記［数１］式において、Ｉ(x,y)は画像の関数、Ｉxはｘ軸に沿った画像の勾配、Ｉyはｙ軸に沿った画像の勾配、(xk,yk) は(x,y)を中心としたウインドウＷ中の画像点を夫々表わす。
【００４２】
【数１】
2004198212.tif 000003
【００４３】
次に、特徴点の追跡（Feature Tracking）に関し、u＝[x,y]T が画像点の座標であるような画像列Ｉ(u,t)を考慮する。サンプル周期が十分短ければ微小時刻後の画像ではその輝度値は変化しないと仮定し、下記［数２］式が成り立つ。
【００４４】
【数２】
2004198212.tif 000004
【００４５】
上記の［数２］式において、δ(u)はモーションフィールド（３次元の動きベクトルの画像への投影）を表す。サンプル周期が十分に短いので、下記［数３］式に示すように、モーションは並進（translation）のみで近似することができる。尚、［数３］式のｄは変移ベクトル（displacement vector）を表わす。
【００４６】
【数３】
2004198212.tif 000005
【００４７】
選択された各特徴点に対し、また、画像列での追跡された各点のペアに対して、その変移ベクトルｄを計算するため、トラッカー（Tracker）が用いられる。実際には、ノイズの影響により画像のモーションモデルは完全には表せないので［数２］式は十分に機能しない。従って、下記［数４］式に示すように、差の自乗和(Sum of Square Difference)によって変移ベクトルｄを計算する。そして、この［数４］式の残渣を最小にする変移ベクトルｄを求め、その方向に特徴点を追跡する。尚、下記［数４］式のＷは、点ｕを中心とする特徴点抽出のためのウインドウを表わす。
【００４８】
【数４】
2004198212.tif 000006
【００４９】
図４はトラッキングの一例を説明するもので、トラック（Tracks）とは画像列中で同一の対象を示す点の集合であり、各トラックの画像点は夫々の３次元点の投影像である。トラックは画像列の中で見失うことは許されないが、追跡する点が画像から外れたり、隠れたり、ノイズ等によって抽出できない場合には、トラッキングを停止せざるを得ない。ここでは、最初の画面において抽出された特徴点の集合から開始し、前の画像（図４のImg Ａ）での特徴点は次の画像（図４のImg Ｂ）で追跡される。画像（Img Ａ）のうちの一部のトラックが停止すると、画像（Img Ｂ）において新しい特徴点を探すことになり、この新しい各特徴点はその後のトラッキングの起点となる。
【００５０】
そして、３次元構造の再構成に関しては、３次元空間中の位置Ｍの点の距離がＺであるとき、その画像上の投影位置をｍとすると下記［数５］式の関係が成り立つ。下記の［数５］式において、距離ｆは焦点距離と呼ばれるが、ここではｆ＝１なる単位長さを用いて簡単化している。このようにモデル化すると、２台のカメラで空間中の（物体の頂点等の）特徴点を撮影する幾何学的な関係は図３に示すようになる。
【００５１】
【数５】
2004198212.tif 000007
【００５２】
図３において、第２のカメラ座標系（図３の右側）は第１のカメラ座標系（図３の左側）をその原点の周りにＲだけ回転してからＴだけ平行移動して得られる位置にある。尚、このベクトルＴは基線ベクトルと呼ばれる。パラメータ｛Ｔ，Ｒ｝は２つのカメラ視点の相対的な位置姿勢関係を表しているので、１台のカメラを移動しながら撮影することとした場合は、デッドレコニングシステムにより計測することができる。
【００５３】
図３に示すように、ある３次元空間中の位置Ｍのそれぞれの画像面上の投影像がｍ1，ｍ2にあるとする。この状態で、第２のカメラ座標系の原点０'から見た特徴点の方向は第２のカメラ座標系に関してベクトルｍ2で表されるが、第２のカメラ座標系は第１のカメラ座標系に対してＲだけ回転しているから、第１のカメラ座標系に関してはＲｍ2である。従って、図３より下記［数６］式の関係が成立する。
【００５４】
【数６】
2004198212.tif 000008
【００５５】
上記［数６］式から、距離Ｚ，Ｚ'が下記［数７］式のように計算される。
【００５６】
【数７】
2004198212.tif 000009
【００５７】
このようにして、２つの視点から画像面上の投影像の座標ｍ1，ｍ2から３次元空間上の距離Ｚ，Ｚ'を復元することができる。そして、前述のトラックは対象視界中の特徴点群であるから、全てのトラックに関して上記［数７］式を計算すれば、３次元的な構造を復元することができる。
【００５８】
而して、前述のように特定される第１の状態及び第２の状態における車両１（カメラ２）の位置及び姿勢と、夫々の状態でカメラ２によって撮像された画像の特徴点の抽出と追跡によって特定される画像間の対応点に基づき、上記のように処理され、撮像領域内に存在する物体が特定され、撮像領域の３次元座標が推定される。
【００５９】
そして、前述の特定視界作成手段ＳＶによって、周辺状況を含む３次元環境内における車両１の任意の位置で、任意の方向に向けてカメラが装着されたと仮定した場合の特定の視界が作成され、この仮想カメラから見た視界の画像が、表示手段ＶＤたるモニタ８に表示される。この場合において、例えば図７に示すように、車両１の後方に仮想カメラ２ａが配置されているとしたときに、移動後の車両１から見た３次元環境マップ（図７の破線の格子）において、どの領域が仮想カメラ２ａの視界に入っているかが分かる。換言すれば、図７にＳａで示す領域が、仮想カメラ２ａの視界に入り、モニタ８にバーチャル画像として表示し得る領域（以下、表示視界という）である。尚、図７乃至図１１において、破線の格子で示した３次元環境マップの中には、カメラ２で撮像された他の車両、障害物、建物等も存在するが、これらは図示を省略している。
【００６０】
図８は、車両１の左前方コーナーに仮想カメラ２ｂが配置された場合、及び左後方コーナーに仮想カメラ２ｃが配置された場合に、移動後の車両１からみた３次元環境マップにおいて、これらの仮想カメラ２ｂ及び２ｃの視界に入る領域（表示視界Ｓｂ及びＳｃ）を示す。同様に、図９は、仮想カメラ２ｄが車両１の側方に配置された場合に、移動後の車両１からみた３次元環境マップにおいて、仮想カメラ２ｄの視界に入る領域（表示視界Ｓｄ）を示す。
【００６１】
図７乃至図９の例では、実際のカメラ２の画角と類似する視界が設定されているが、図１０の仮想カメラ２ｅのように、１８０度の表示視界Ｓｅを設定することもできる。これにより、実際のカメラ２では視界に入らない車両１の両コーナー部分をも視界に入れたバーチャル画像を表示するように構成することができる。更に、図１１に示すように車両１の上空部分に仮想カメラ２ｆを配置して３６０度の表示視界Ｓｆを設定し、この視界のバーチャル画像を表示するように構成することもできる。
【００６２】
上記のように形成されるバーチャル画像は、車両１の移動、即ち仮想カメラ２ａ等の移動に伴う視界の移動に応じて変化することになるが、本実施形態においては、移動中に撮像した障害物を含むバーチャル画像を、状況に応じて適宜（移動後も）、表示し得るように構成されている。例えば、図１２において、車両１が２点鎖線で示す位置から矢印方向に後退し実線で示す位置まで移動したとすると、２点鎖線で示す位置で撮像された２点鎖線の領域Ｓｐには障害物ＯＢが存在するので、この位置では障害物ＯＢを含む画像が形成される。しかし、移動後の車両１の位置で撮像される領域Ｓｎには障害物ＯＢが存在しなくなっているので、モニタ８（図５）の表示画像には障害物ＯＢが含まれなくなる。この状態から、車両１が更に図１２の矢印方向に後退すると、車両１の左後方のコーナーから左前方にかけて障害物ＯＢが接近することになるが、モニタ８の表示画像からは外れており、見えなくなっている。
【００６３】
上記のような状況において、図１０に示すような車両１の上方に仮想カメラ２ｅが配置されたときのバーチャル画像をモニタ８に表示すると、図１３及び図１４に示すように、車両１の両コーナー部分も含む画像となる。尚、図１３は、図１２に２点鎖線で示す位置の車両１の後部及び障害物ＯＢが表示されたもので、図１４は、図１２に実線で示す位置（移動後）の車両１の後部及び障害物ＯＢが表示されたものである。図１４に示すように、障害物ＯＢの車両１に対する相対的位置は、２点鎖線で示す位置（移動前の図１０の位置）から図１４の矢印方向に相対移動し、実線で示す位置となっていることが分かる。これにより、障害物ＯＢはカメラ２による実際の視界から外れているにも拘わらず、運転者はこれをモニタ８で確認することができる。
【００６４】
以上のように、上記の実施形態においては、カメラ２の搭載位置及び方向に依存することなく、カメラ２によって撮像された車両１周辺の環境情報に基づき、所望のバーチャル画像をモニタ８に適宜表示することができる。尚、カメラ２としては、図５に示したバックカメラのほか、サイドカメラ、フロントカメラ等を利用することができ、特定のカメラに限定されるものではない。
【００６５】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の移動体周辺監視装置においては、移動体周辺に設定する所定の監視領域の一部を構成する特定平面に対し、光パターン投影手段によって所定の光パターンを投影し、撮像手段によって監視領域を撮像した画像の中から、光パターン内の少なくとも一部を、パターン追跡手段により抽出して追跡し、この追跡結果に基づき、移動状態特定手段にて撮像手段の相対的な位置及び姿勢を特定するように構成されているので、監視領域に投影した光パターンを撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を適切に特定することができる。
【００６６】
特に、請求項２に記載のように構成すれば、光パターン内の少なくとも四つの特徴点を特徴点抽出手段によって抽出し、移動体が第１の状態から第２の状態に移動したときに抽出した前記特徴点を、特徴点追跡手段によって追跡し、この追跡結果に基づき、移動状態特定手段にて、第１及び第２の状態で撮像した画像の前記特徴点の平面座標に応じて、第１及び第２の状態における撮像手段ひいては移動体の相対的な位置及び姿勢を適切に特定することができる。
【００６７】
そして、請求項３に記載のように構成すれば、監視領域に投影した光パターンを撮像した画像に基づき、撮像手段ひいては移動体の位置及び姿勢を適切に特定することができると共に、移動体における所望の位置での視界を確保し、画像認識によって移動体の位置及び姿勢を検出することができるので、例えば単一の撮像手段によっても、誤差累積がなく高精度に移動体位置を追跡することができ、移動体における所望の位置での視界を確保し、適切に画像表示を行なうことができる。
【図面の簡単な説明】
【図１】本発明の移動体周辺監視装置の一実施形態の構成を示すブロック図である。
【図２】本発明の一実施形態において、移動体が移動中に、特定平面上に対し所定の光パターンを投影し、１台のカメラで第１及び第２のカメラ位置で撮像した画像から、特定平面上の光パターン内の４点以上の特徴点を抽出しホモグラフィーＨを演算するときの幾何学的な関係を示す説明図である。
【図３】本発明の一実施形態における三次元再構成に関し、２台のカメラで空間中の物体の特徴点を撮影するときの幾何学的な関係を示す説明図である。
【図４】本発明の一実施形態における三次元再構成に関し、トラッキング状況の一例を示す説明図である。
【図５】本発明の移動体周辺監視装置を駐車案内装置に適用したときの一実施形態として、駐車案内装置を搭載した車両を透視して示す斜視図である。
【図６】本発明の一実施形態に係る駐車案内装置の構成を示すブロック図である。
【図７】本発明の一実施形態において、車両の後方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図８】本発明の一実施形態において、車両の左前方コーナー及び左後方コーナーに仮想カメラが配置されたときの表示視界を示す平面図である。
【図９】本発明の一実施形態において、車両の側方に仮想カメラが配置されたときの表示視界を示す平面図である。
【図１０】本発明の一実施形態において、車両の後方上部に仮想カメラが配置されたときの１８０度の表示視界を示す平面図である。
【図１１】本発明の一実施形態において、車両の上空部分に仮想カメラが配置されたときの３６０度の表示視界を示す平面図である。
【図１２】本発明の一実施形態において、車両が後退したときの表示視界の変化の一例を示す平面図である。
【図１３】図１２に２点鎖線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【図１４】図１２に実線で示す位置の車両の後部及び障害物が表示された画像の一例を示す平面図である。
【符号の説明】
ＬＴ  光パターン投影手段，  ＣＤ  撮像手段，  ＰＴ  パターン追跡手段，
ＰＤ  特徴点抽出手段，  ＰＦ  特徴点追跡手段，  ＭＢ  移動状態特定手段，
ＲＣ  ３次元座標推定手段，  ＳＶ  特定視界作成手段，  ＶＤ  表示手段，
１  車両，  ２  カメラ，  ３  ステアリングホイール，  ４  操舵角センサ，
５  シフトレバー，  ６  シフトレバースイッチ，  ７  車輪速度センサ，
８  モニタ，  ９  スピーカ，  １０  電子制御装置，
２０  コンビネーションランプ
【図１】
2004198212.tif 000010
【図２】
2004198212.tif 000011
【図３】
2004198212.tif 000012
【図４】
2004198212.tif 000013
【図５】
2004198212.tif 000014
【図６】
2004198212.tif 000015
【図７】
2004198212.tif 000016
【図８】
2004198212.tif 000017
【図９】
2004198212.tif 000018
【図１０】
2004198212.tif 000019
【図１１】
2004198212.tif 000020
【図１２】
2004198212.tif 000021
【図１３】
2004198212.tif 000022
【図１４】
2004198212.tif 000023