(57)【特許請求の範囲】
【請求項１】
車両に搭載され、カメラの視野が重なるように配置された、少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する３次元座標取得装置において、
前記少なくとも２台のカメラの内の１台のカメラが取得した画像から、複数の第１の特徴点を抽出する特徴点抽出手段、
該抽出された前記第１の特徴点の３次元座標を演算推定する第１の３次元座標演算手段、
前記第１の３次元座標演算手段は、前記１台のカメラが経時的に取得した２枚の画像に共通に表示されている前記第１の特徴点を抽出し、それら抽出された第１の特徴点を前記画像間で互いに対応付けて両画像間の対応点と推定する処理及び自車の運動量を推定する処理に基づいて前記第１の特徴点の３次元座標を演算推定し、
前記少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から複数の第２の特徴点を、前記第１の特徴点と少なくともその一部の特徴点が一致するように抽出し、それら第２の特徴点を前記２枚の画像の中で対応付ける対応点推定手段、
前記第２の特徴点の対応関係から基礎行列を演算し、該基礎行列から前記２台のカメラ間の仮の並進位置ずれ量と回転ずれ量を仮のキャリブレーション値として推定演算する、仮キャリブレーション手段、
該仮のキャリブレーション値に基づいて、前記第２の特徴点の仮の３次元座標を推定演算する、仮３次元座標推定手段、
前記第１の特徴点と前記第２の特徴点のなかで、互いに一致する同一の特徴点について、前記第１の３次元座標演算手段と仮３次元座標推定手段によりそれぞれ演算された３次元座標を比較して、前記２台のカメラ間の距離スケールを推定する、カメラ間距離スケール推定手段、
前記推定された前記２台のカメラ間の距離スケール及び、前記仮３次元座標推定手段により推定演算された前記第２の特徴点の仮の３次元座標に基づいて、前記第２の特徴点の３次元座標を演算推定する、第２の３次元座標演算手段、
を有する、３次元座標取得装置。
【請求項２】
前記第１の３次元座標演算手段はフロー推定手段を有し、該フロー推定手段が、抽出された第１の特徴点を前記画像間で互いに対応付けて両画像間の対応点と推定する処理を、前記第１の特徴点の前記画像間におけるフローを推定することで行い、
前記第１の特徴点の３次元座標は、該推定されたフローに基づいて演算推定することを特徴とする、請求項１記載の３次元座標取得装置。
【請求項３】
車両に搭載され、カメラの視野が重なるように配置された、少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する３次元座標取得装置において、
前記少なくとも２台のカメラの内の１台のカメラが取得した画像から、路面に属する複数の特徴点を第１の特徴点として抽出する路面特徴点抽出手段、
該抽出された前記第１の特徴点の３次元座標を演算推定する第１の３次元座標演算手段、
前記第１の３次元座標演算手段は、前記抽出された第１の特徴点と該第１の特徴点を捕捉したカメラの設置パラメータから、それら第１の特徴点の３次元座標を演算する、路面特徴点座標演算手段を有し、
前記少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から複数の第２の特徴点を、前記第１の特徴点と少なくともその一部の特徴点が一致するように抽出し、それら第２の特徴点を前記２枚の画像の中で対応付ける対応点推定手段、
前記対応点推定手段は、前記路面に属する第１の特徴点を第２の特徴点として抽出し、それら第２の特徴点を前記２枚の画像の中で対応付ける路面対応点推定手段を有し、
前記第２の特徴点の対応関係から基礎行列を演算し、該基礎行列から前記２台のカメラ間の仮の並進位置ずれ量と回転ずれ量を仮のキャリブレーション値として推定演算する、仮キャリブレーション手段、
該仮のキャリブレーション値に基づいて、前記第２の特徴点の仮の３次元座標を推定演算する、仮３次元座標推定手段、
前記第１の特徴点と前記第２の特徴点のなかで、互いに一致する同一の特徴点について、前記第１の３次元座標演算手段と仮３次元座標推定手段によりそれぞれ演算された３次元座標を比較して、前記２台のカメラ間の距離スケールを推定する、カメラ間距離スケール推定手段、
前記推定された前記２台のカメラ間の距離スケール及び、前記仮３次元座標推定手段により推定演算された前記第２の特徴点の仮の３次元座標に基づいて、前記第２の特徴点の３次元座標を演算推定する、第２の３次元座標演算手段、
を有する、３次元座標取得装置。
【請求項４】
前記フロー推定手段と対応点推定手段の間に、どちらか一方の推定手段が抽出した前記特徴点を他方の推定手段に、当該他方の推定手段で使用する前記特徴点として出力する特徴点出力手段を設けて、構成した、請求項２記載の３次元座標取得装置。
【請求項５】
車両に搭載され、カメラの視野が相互に重なるように、所定の相対的な幾何位置を保つ形で配置された少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する３次元座標取得装置において、
前記少なくとも２台のカメラの内の１台のカメラが取得した画像から、複数の第１の特徴点を抽出する特徴点抽出手段、
前記車両の移動に伴って前記１台のカメラが並進位置ずれ量と回転ずれ量を伴って移動した際に、経時的に取得した２枚の画像に共通に表示されている前記第１の特徴点を抽出し、それら第１の特徴点の前記画像間におけるフローを推定するフロー推定手段、
前記推定されたフローに基づいて、前記抽出された前記第１の特徴点の仮の３次元座標を演算推定する仮３次元座標推定手段
前記少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から複数の第２の特徴点を、前記第１の特徴点と少なくともその一部の特徴点が一致するように抽出し、それら第２の特徴点を前記２枚の画像の中で対応付ける対応点推定手段、
前記２台のカメラ間の、前記所定の相対的な幾何位置に基づいて、前記第２の特徴点の３次元座標を推定演算する、第１の３次元座標演算手段、
前記第１の特徴点と前記第２の特徴点のなかで、互いに一致する同一の特徴点について、前記仮の３次元座標演算推定手段により演算された仮の３次元座標と前記第１の３次元座標演算手段により演算された３次元座標とを比較してカメラの移動量スケールを推定する、スケール推定手段、
前記推定されたカメラの移動量スケール及び、前記仮の３次元座標推定手段により推定演算された前記第１の特徴点の仮の３次元座標に基づいて、前記第１の特徴点の３次元座標を演算推定する、第２の３次元座標演算手段、
を有する、３次元座標取得装置。
【請求項６】
前記少なくとも２台のカメラは、その光軸が互いに外向きとなるように、かつそれらのカメラの視野がその光軸の前方でその一部が重なる形で配置されている、
請求項１乃至５のうち、何れか１項記載の３次元座標取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられた２台以上のカメラにより得られた画像を用いて、車両周辺の３次元座標を取得する３次元座標取得装置に係わり、特にカメラ間の相対的な位置関係を取得するキャリブレーション機能を有する３次元座標取得装置に関する。
【背景技術】
【０００２】
従来から、車両にカメラを搭載し、車両前方や後方の画像を撮影し、周辺の環境を３次元的に認識するシステムが開発されている。カメラで３次元座標(距離)を測定する方法としては、２台以上のカメラを利用するステレオ視(以後、複眼ステレオとする)が一般的である。例えば、特許文献１には車両に搭載したステレオカメラで撮像した画像を処理して車外の対象物の三次元位置を測定する技術が開示されている。
【０００３】
複眼ステレオの場合、空間的に離れた位置に置かれた複数台のカメラで画像を撮影し、物体の特徴的な点(コーナなど、以後「特徴点」とする)やテクスチャの視差を利用して、いわゆる三角測量の原理で３次元座標(距離)を計算することができる。その際には、カメラ間の相対的な幾何情報(カメラ間の並進位置ずれ量及びカメラ光軸の回転ずれ量)が必要となり、これらは事前にキャリブレーション(校正)して得られる。
【０００４】
ステレオキャリブレーションの手法は従来から数多く提案されている。例えば、特許文献２では、距離が既知の調整用パターンを撮影して、カメラの取り付け位置のずれを調整する装置が開示されている。
【０００５】
【特許文献１】特開平５−１１４０９９号公報
【特許文献２】特開平１０−１１５５０６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
複眼ステレオでは、事前のキャリブレーションが必要で、これには一般的に手間がかかり、さらに例えば、特許文献２に示されるように、距離が既知のテストパターンが必要になる。
【０００７】
そこで、本発明は、ハードウエア等の追加やテストパターンを必要とすることなく、ステレオカメラのキャリブレーションを行うことが出来る３次元座標取得装置を提供することを目的とする。尚、ここでキャリブレーションするのはカメラ間の相対幾何情報(並進位置ずれと回転ずれ)のみである。カメラ内部パラメータ(焦点距離や画角)は既知である必要がある。
【課題を解決するための手段】
【０００８】
３次元座標取得装置を構成する２台のカメラで得られた画像中の特徴点の対応関係から、基礎行列（両カメラ間の相対的幾何情報を含んでいる）を導出し、カメラ間の位置ずれ量と回転ずれ量を推定することは可能である。しかし、その際に得られる位置ずれ量の大きさは、（例えば１に）正規化されたものとなり、そのままでは三角測量による距離測定はできない。そこで、この位置ずれ量の大きさ（スケール）を、単眼ステレオの結果を利用して推定する。
【０００９】
ここで、単眼ステレオ(別称、モーションステレオ、SfM(Structure
from Motion))とは、１台のカメラで別時刻・別視点から撮影された複数枚の画像を利用することによりステレオ視が実現できる技術である。
【００１０】
また路面（路面は平面であると仮定）に対するカメラの設置パラメータ(高さや俯角)が既知ならば、画像中の路面に属する特徴点を利用することにより、より演算負荷の軽い方法で、位置ずれ量の大きさ(スケール)を推定できる。また２台のカメラ間の相対位置関係が既知の場合には、同様の手法を、複眼ステレオと単眼ステレオを入れ替えて利用する、つまり複眼ステレオの結果を利用して単眼ステレオのキャリブレーションを行う、ことも可能である。
【００１１】
尚、本発明ではカメラの内部パラメータ(焦点距離、画角など)は既知である必要がある。
【発明の効果】
【００１２】
ハードウエアの追加なく、単眼ステレオの結果を利用して、自動的に複眼ステレオカメラのキャリブレーション(２台のカメラ間の相対位置関係の取得)が可能となる。また、また路面に対するカメラの設置パラメータ(高さや俯角)が既知ならば、画像中の路面に属する特徴点を利用して、より演算負荷の軽い手法でキャリブレーションが可能となる。また上記とは逆に、２台のカメラ間の相対位置関係が既知の場合には、ハードウエアの追加なく、複眼ステレオの結果を利用して、自動的に単眼ステレオのキャリブレーション(１台のカメラの移動量の取得)を行うことも可能である。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づき、本発明の実施例を説明する。
【００１４】
図１は、３次元座標取得装置の一例を示すブロック図、図２は、３次元座標取得装置の別の例を示すブロック図、図３は、図１の３次元座標取得装置における、処理の流れを示すフローチャート、図４は、３次元座標取得装置の車両への装着例を示す平面図、図５は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図、図６は、カメラ座標系を示す図、図７は、３次元座標取得装置の車両への別の装着例を示す平面図、図８は、３次元座標取得装置の更に別の例を示すブロック図である。
【００１５】
３次元座標取得装置１は、図４に示すように、カメラの視野が重なるように適当に配置された２台のカメラ３Ａ、３Ｂを有している（なお、カメラの数は、２台以上であっても良いが、最低でも２台は必要である）。カメラ３Ａ、３Ｂ間の設置距離等の相対的な位置関係は当然不明であるとする。
【００１６】
カメラ３Ａには、図１に示すように、単眼ステレオ処理部５及び２眼ステレオ処理部６が接続しており、単眼ステレオ処理部５及び２眼ステレオ処理部６には、カメラ間距離スケール推定手段７が接続している。
【００１７】
単眼ステレオ処理部３は、カメラ３Ａ（あるいは３Ｂ，あるいは両方、以後は３Ａの場合で説明）に接続されたフロー推定手段９，自車運動量推定手段１０及び、前述のカメラ間距離スケール推定手段７に接続された３次元座標推定手段１１を有しており、２眼ステレオ処理部６は、カメラ３Ａ、３Ｂに接続された対応点推定手段１２、仮キャリブレーション手段１３、仮３次元座標推定手段１５及び３次元座標推定手段１６を有している。仮３次元座標推定手段１５及び３次元座標推定手段１６は、前述のカメラ間距離スケール推定手段７に接続されている。
【００１８】
なお、図１のカメラ３Ａ．３Ｂ以外の、フロー推定手段９，自車運動量推定手段１０、３次元座標推定手段１１、対応点推定手段１２、仮キャリブレーション手段１３、仮３次元座標推定手段１５、３次元座標推定手段１６及び、カメラ間距離スケール推定手段７は、ＣＰＵを有するコンピュータが、例えば図３に示す処理のフローチャートに基づいて作成されたプログラムを実行することにより、仮想的に実現される機能を模式的に表示したものであるが、各手段を半導体などの集積回路を用いたハードウエアとして構成しても良い。
【００１９】
３次元座標取得装置１は、以上のような構成を有するので、３次元座標取得装置１の車両２への搭載時又は、カメラ３Ａ、３Ｂの配置位置変更等に伴って、３次元座標取得装置１のキャリブレーションを行ないながら、周囲物標の３次元座標を取得する場合には、まず、車両に取り付けられたカメラ３Ａ，３Ｂで、一定時刻ごとに車外の周辺の状況を撮影する。カメラ３Ａ，３Ｂにより捕捉された画像は所定のフレームレート(単位時間あたりに撮影する枚数)で記録され、図示しないメモリに格納される。
【００２０】
次に、１台のカメラ３Ａで取得された時系列画像を利用して、画像中の特徴点の３次元座標を算出するために設けられている単眼ステレオ処理部５の、フロー推定手段９により、図３のステップＳ１に示すように、連続画像中の特徴点を追跡し、特徴点のフローを推定する処理を行う。
【００２１】
フロー推定手段９は、公知の手法を用いてカメラ３Ａで得られた撮影（取得）時刻の異なる２枚の画像（図５参照）を比較して、両方の画像で共通に表示されていると判断される点（画像の一部であり、画像中の特徴的な点、例えば、コーナ部、尖った先端部、明度、彩度の変化点など）を特徴点（任意の点で可）として多数抽出し、それらの特徴点を異なる画像間で互いに対応付けて両画像間の対応点と推定する処理からなる、対応点の推定処理を行う。これは一般的にオプティカルフロー推定(あるいは単にフロー推定)と呼ばれるものであり、KLT(Kanade Lucas-Tomashi)法がよく利用される。フローの例を、図５に示す。図５からも明らかであるが、フローは１時刻前の画像と現時刻における画像間で、特徴点が移動した軌跡である。
【００２２】
次に、自車運動量推定手段１０において、図３のステップＳ２に示すように、カメラ３Ａの移動量を推定する。カメラの移動量とは、移動前後のカメラ間のX,Y,Z軸方向の並進移動量、およびX,Y,Z軸周りの回転量である（図６参照）。カメラは車両に固定されているので、カメラ移動量と自車移動量は同じ意味で用いている。自車(カメラ)運動量の推定方法としては、車輪速センサ等のセンサを利用する方法（例えば、特開２００１−１８７５５３公報参照）や、画像中のフローを利用する方法がある。この方法としては、例えば、路面に属する対応点の移動状態を示すフローを利用して、カメラを搭載した自車両の移動量を計算する方法などが知られている（例えば、T.Suzuki(Toyota),T.Kanade, 'Measurement of Vehicle Motion and
Orientation using Optical Flow', IEEE conference on ITS, 1999）。また、基礎行列を利用する方法としては、(山口(豊田中研) 他、‘車載単眼カメラによる前方車両の障害物検出’、情報処理学会研究報告、2005.11)などがある。なお、基礎行列から直接得られる並進移動量は１に正規化されており、別途その大きさ(スケール)を推定する必要がある。スケールを推定する方法としては、車輪速センサや車速センサ等のセンサからの出力を利用するものや、路面フローを使用する方法などが挙げられる。
【００２３】
次に、図３のステップＳ４で、単眼ステレオ処理部９の３次元座標推定手段１１において、フロー推定手段９で得られた特徴点のフローと、自車運動量推定手段１０で得られた自車運動量、カメラ内部パラメータ（焦点距離や画角など（これらは既知とする））を用いて、特徴点までの３次元座標を公知の手法（例えば、金谷健一「画像理解-３次元認識の数理-」，森北出版，ISBN4-627-82140-9；に開示された手法）で求める。
【００２４】
一方、３次元座標取得装置１は、１台のカメラ２Ａを用いた前述した単眼ステレオ処理部５による、車両周囲の対象物の３次元座標取得処理と並行して、２台のカメラ３Ａ、３Ｂにより捕捉された画像から、２眼ステレオ処理部６により、車両周囲の対象物の３次元座標取得処理を実行する。
【００２５】
この処理は、まず、カメラ３Ａ、３Ｂを用いて、車両周辺の状況を撮影する。これは、前述した単眼ステレオ処理部５によるカメラ３Ａを介した画像取得動作と並行して行うことが出来る。即ち、カメラ３Ａで取得された画像のデータは、同じデータが単眼ステレオ処理部５及び２眼ステレオ処理部６に、並行して出力され、単眼ステレオ処理部５では、カメラ３Ａからの画像のみで車両周囲の対象物の３次元座標取得処理を行い、２眼ステレオ処理部６は、カメラ３Ａに加えて、同時に動作しているカメラ３Ｂからの画像に基づいて車両周囲の対象物の３次元座標取得処理を行う。
【００２６】
それには、まず、図３のステップＳ５で、２眼ステレオ処理部６の対応点推定手段１２において、２台のカメラで同時刻に撮影（取得）された画像中の特徴点の対応付けを行う。例えばHarris法などのコーナ検出フィルタを用いて画像中の特徴的な点（特徴点）を抽出し、その点を中心にブロックを設定し、画像間でブロックマッチングなどの相関演算を行う手法などがある。なお、特徴点の選択方法は、前述した単眼ステレオ処理部５によるフロー推定手段９と同様である。
【００２７】
この際、単眼ステレオ処理部５のフロー推定手段９で選択された特徴点の少なくとも一部が、対応点抽出手段１２で抽出された特徴点と一致するようにしておく。なお、特徴点の選択基準は、単眼ステレオ処理部５及び２眼ステレオ処理部６において、通常同一の基準を用いるので、結果的に選択される特徴点は、両処理部５，６において重複する点が多数存在することとなるので、それらを照合して、両処理部５，６において、一致する特徴点について、その画像上における位置などの特徴点情報を適宜なメモリに格納しておいても良い。
【００２８】
なお、フロー推定手段９と対応点抽出手段１２の間に、どちらか一方が選択した特徴点の少なくとも一部を他方の推定手段側に、当該他方の推定手段で使用する特徴点として出力する、特徴点出力手段（どちらかの推定手段９，１２に内蔵）を設け、単眼ステレオ処理部５及び２眼ステレオ処理部６で、共通の特徴点を使用するように構成しても良い。すると、単眼ステレオ処理部５及び２眼ステレオ処理部６での共通の特徴点の演算を容易かつ確実に行うことが出来る。また、どちらか一方の推定手段９又は１２で特徴点を抽出して、他方の推定手段１２又は９では、当該抽出された特徴点をそのまま使用することが出来るので、特徴点の抽出演算を大幅に減らすことが出来、コンピュータの演算負荷を低減させることが出来る。
【００２９】
次に、２眼ステレオ処理部６の仮キャリブレーション手段１３において、２台のカメラ３Ａ、３Ｂ間の仮の並進位置ずれ量t’と回転ずれ量rを推定する(t’とrはともに３つの要素をもつベクトル。詳細は後述)。ここで仮となっている理由は後述する。仮キャリブレーション手段１３では、まず基礎行列Ｆを求め（図３のステップＳ６）、次に基本行列Ｅを求め、最後に基本行列Ｅを仮の並進位置ずれ量ｔ’と回転ずれ量rに分解する（図６のステップ７）。
【００３０】
まず、図３のステップＳ６に示すように、基礎行列Ｆ(Fundamental Matrix)を推定する。基礎行列Ｆとは、２台のカメラ３Ａ、３Ｂ間の並進位置ずれ量、回転ずれ量及び両カメラの内部パラメータから得られる3×3の行列であり、並進位置ずれ量を、t=[Tx,Ty,Tz]T(Tは転置を表す)、回転ずれ量をγ=[θ ψ φ] [rad]、カメラ内部行列をＡ(３×３の行列)とした場合、基礎行列Ｆは（１）式で計算できる。
【００３１】
【数１】
0004814669.tif 000002
inv(・)は行列・の逆行列を求める演算である。ただし、
【００３２】
【数２】
0004814669.tif 000003
【００３３】
【数３】
0004814669.tif 000004
［数２］中の×は外積演算を表す。なお、Tx,Ty,TzはそれぞれX,Y,Z軸方向の並進位置ずれ量、θ、ψ、φはぞれぞれ、Y軸周り回転(ヨー回転)角[rad]、X軸周り回転(ピッチ回転)角[rad]、Z軸回り回転(ロール回転)角[rad]である(図６参照)。軸及び回転の向きは仮のものであり、任意の構成が可能である。
【００３４】
このように、基礎行列Ｆはカメラ間の幾何情報を含んでおり、基礎行列が得られれば、逆にt,rを推定することができる。ただし、実際は(1)式を利用して基礎行列を直接求めることはできない(tおよびrは(当然)未知であるから)ので、別の手法を用いて基礎行列を求める。基礎行列Ｆを求める方法には、２画像間の８点の特徴点の対応関係を利用して線形方程式を解く８点アルゴリズムや、より多くの特徴点の対応関係を用いて最小２乗法を利用する方法などがある。
【００３５】
次に、ステップＳ７において、基礎行列Ｆから並進位置ずれ量ｔと回転ずれ量rを導出する。基礎行列を求める方法、基礎行列からtおよびrを導出する方法についての詳細は「金谷健一, '画像理解-３次元認識の数理-',森北出版,
ISBN4-627-82140-9」及び、「徐剛, '写真から作る３次元CG', 近代科学社, ISBN4-7649-0286-9等」などに譲る。ただし、上記手法で得られる並進位置ずれ量（仮にt’とする）は、その大きさが(１に)正規化されている。これが、先に＜仮＞と言った理由である。つまり、並進位置ずれ量の大きさ(スケール)は別途求める必要がある。本発明では、このスケール(Scとする)を単眼ステレオ視の結果を利用して推定する。
【００３６】
以下にスケールScを求める方法を説明する。仮キャリブレーション手段１３で得られた仮のキャリブレーション値、即ち仮の並進位置ずれ量t’と回転ずれ量rと対応点推定手段１２で得られた特徴点の対応関係(視差情報)を利用して、図３のステップＳ８に示すように、各特徴点までの仮の３次元座標を算出する。仮の３次元座標の計算は、単眼ステレオ処理部９の３次元座標推定手段１１と同様の手法（公知）を利用する。
【００３７】
次に、図３のステップＳ９に示すように、カメラ間距離スケール推定手段７は、単眼ステレオ処理部５で抽出された特徴点と、２眼ステレオ処理部６で抽出された特徴点のうち、互いに一致する同一の特徴点について、３次元座標推定手段１１で得られた当該特徴点の３次元座標と、仮３次元座標推定手段１５で得られた当該特徴点の仮３次元座標を比較し、スケールＳｃを推定する。
【００３８】
即ち、単眼ステレオ処理部５で得られた、ある特徴点のカメラからの距離をDsとする。一方、当該特徴点について２眼ステレオ処理部６で得られた仮の距離がDmとなったとする。実際、DmとDsは等しいはずなので、カメラ間の実際のスケールはSc=Ds/Dmとなる。つまり正確なカメラ３Ａ、３Ｂ間の並進位置ずれ量はt=Sc×t’となる。特徴点が複数ある場合は、まず全ての特徴点を利用してスケールを求め、それらの平均値や中央値、あるいは別途計算した信頼度(視差が大きい程信頼度大、距離が近いほど信頼度大など)によって重みを付けた、加重平均値などを最終的なスケールとする。以上で、２台のカメラ３Ａ、３Ｂ間の正確な相対幾何関係（ｔとｒ）が求められ、キャリブレーションが完了する。
【００３９】
次に、図３のステップＳ１０で、３次元座標推定手段１６は、前記得られたカメラ間距離スケールＳｃを用いて、仮３次元座標推定手段１５で得られた画像中の各特徴点の仮３次元座標を補正し実際の３次元座標を算出する。
【００４０】
図２に、３次元座標取得装置１の別の例を示す。図１に示したものと、同一の部分には同一の符号を付して当該部分の説明を省略する。
【００４１】
図２の３次元座標取得装置１は、図１の装置と比して、フロー推定手段９と自車運動量推定手段１０が、路面特徴点抽出手段１７に代わっている。この路面特徴点抽出手段１７では、カメラ３Ａで得られた画像中から、路面に属する特徴点を抽出する。仮に路面に属する特徴点を捕捉したカメラ３Ａの、路面(路面は平面と仮定)に対する設置パラメータ(カメラ高、カメラ俯角、ヨー角など)が既知であれば、１枚の静止画からでも特徴点の３次元座標(距離)を直ちに計算することができるので、単眼ステレオ処理（フロー推定手段９及び自車運動量推定手段１０を用いて、特徴点の３次元座標を推定する処理）が不要となり、演算負荷が軽くなる。
【００４２】
２眼ステレオ処理部６側での処理は、図１の場合と同様である。つまり上記の路面上の特徴点と同じ特徴点の仮３次元座標を、２眼ステレオ処理部６側でも求め、両者を比較することで、カメラ間距離スケールScを推定する。
【００４３】
なお、カメラ間距離スケール推定手段７によるスケール推定処理は、即ち図３のステップＳ１から図ステップＳ９までの処理を、経時的に複数回行ない、その結果を統合することにより、より精度の高いキャリブレーションが可能となる。
【００４４】
なお、ステレオカメラ３Ａ、３Ｂのキャリブレーションは毎時刻行う必要はない。そこで、１度キャリブレーションが完了したら、以後、キャリブレーションは行わないようにすることも出来る。また、処理の過程で得られた基礎行列Ｆから得られるエピポーラ拘束を利用すれば、複眼ステレオにおける画像間の特徴点の対応推定の演算量を大幅に減らすことができる。
【００４５】
また、先の実施例とは全く逆のことも可能である。つまり２台のカメラ間の相対位置関係が既知(つまり複眼ステレオカメラがキャリブレーション済み)の場合には、複眼ステレオで計算した３次元座標値を利用して、単眼ステレオ視のキャリブレーション（自車移動量推定に当たる）を行うことが出来る（図８）。即ち、本明細書で言う、キャリブレーション処理は、複眼ステレオによる処理に際して、並設された２台のカメラ間の位置関係を求める場合にのみ適用されるものではない。単眼ステレオによる３次元座標推定処理に際して、(基礎行列から直接得られた)１に正規化されたカメラの仮の並進移動量の実際の大きさ(スケール)を推定する際にも、本手法を適用することが出来る。この場合、スケール推定のためだけに、車輪速センサなどの特別なハードウエアを用意する必要がなくなる利点がある。
【００４６】
例えば図７のように、２台のカメラ３Ａ、３Ｂのカメラの光軸３ｃ，３ｄが互いに外向きとなるように、かつそれらカメラの視野が光軸３ｃ，３ｄの前方で一部が重なる形で配置されるように、カメラ３Ａ、３Ｂを設置し、車両進行方向は複眼ステレオ視（複眼ステレオ領域ＷＳ）、それ以外は単眼ステレオ視（単眼ステレオ領域ＳＳ）を行う場合を考える。この場合、複眼ステレオが可能な前方領域ＷＳにおいて、相対的な設置位置関係（幾何位置関係）が判明しているカメラ３Ａ，３Ｂを用いた複眼ステレオ処理部６で、対応点推定手段１２により抽出された対応点、２台のカメラの幾何位置関係とカメラ内部パラメータから、３次元座標推定手段１６で対応点、即ち物標の実際の３次元座標を推定し、同時に、単眼ステレオ処理部５で、フロー推定手段９及び仮自車運動量推定手段１９で、カメラ３Ａ（又はカメラ３Ｂ）の仮の運動量、即ち仮の並進位置ずれ量及び回転位置ずれ量を、基礎行列を利用して（車輪速センサなどを用いることなく）、演算推定する。この仮の運動量に基づいて、仮３次元座標推定手段２０で、物体（特徴点）の仮の３次元座標値を推定する。
【００４７】
次に、カメラ移動量スケール推定手段２１は、フロー推定手段９の特徴点と対応点推定手段１２で用いた特徴点のなかで、互いに一致する同一の特徴点について、仮の３次元座標演算推定手段２０により演算された仮の３次元座標と２眼ステレオ処理部６の３次元座標推定手段１６により演算された３次元座標とを比較して、カメラの移動量スケール（カメラの実際の移動量の大きさ）を推定する処理を行う。
【００４８】
次に、単眼ステレオ処理部５の３次元座標推定手段１１において、仮３次元座標推定手段２０で求められた、カメラ３Ａ（及びカメラ３Ｂ）の１に正規化された仮の並進移動量と回転量に基づく特徴点の仮の３次元座標を、実際の３次元座標値に補正する。これで、図７の車両前方以外(つまり単眼ステレオのみが可能な単眼ステレオ領域ＳＳ)の物体の３次元座標が求まる。これにより、ステレオ視によるより広い範囲の物標の３次元座標の取得が可能となる。
【産業上の利用可能性】
【００４９】
本発明は、車両に搭載され、２台以上のカメラを用いて車両周辺物の３次元座標を取得する３次元座標取得装置に利用することが出来る。
【図面の簡単な説明】
【００５０】
【図１】図１は、３次元座標取得装置の一例を示すブロック図。
【図２】図２は、３次元座標取得装置の別の例を示すブロック図。
【図３】図３は、図１の３次元座標取得装置における、処理の流れを示すフローチャート。
【図４】図４は、３次元座標取得装置の車両への装着例を示す平面図。
【図５】図５は、車両に取り付けられたカメラにより取得される画像の一例及びそれらから生成されたフローを示す図。
【図６】図６は、自車の並進移動量と回転移動量の座標上の関係を示す図。
【図７】図７は、３次元座標取得装置の車両への別の装着例を示す平面図。
【図８】図８は、３次元座標取得装置の更に別の例を示すブロック図。
【符号の説明】
【００５１】
１……３次元座標取得装置
２……車両
３Ａ、３Ｂ……カメラ
９……フロー推定手段
１０……自車運動量推定手段
１１……３次元座標推定手段
１２……対応点推定手段
１３……仮キャリブレーション手段
１５、２０……仮３次元座標推定手段
１６……３次元座標推定手段
１７……路面特徴点抽出手段
【図１】
0004814669.tif 000005
【図２】
0004814669.tif 000006
【図３】
0004814669.tif 000007
【図４】
0004814669.tif 000008
【図５】
0004814669.tif 000009
【図６】
0004814669.tif 000010
【図７】
0004814669.tif 000011
【図８】
0004814669.tif 000012