(57)【要約】【課題】複眼ステレオと単眼ステレオの技術を融合して利用する３次元座標取得装置の提供【解決手段】  車両に搭載され、所定の設置距離で配置された、少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する装置において、少なくとも２台のカメラの内の１台のカメラが経時的に取得した２枚の画像から、車両周辺の物標の３次元座標を推定演算する単眼ステレオ処理部、少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から、車両周辺の物標の３次元座標を推定演算する複眼ステレオ処理部、それら単眼ステレオ処理部及び複眼ステレオ処理部に接続され、それら処理部でそれぞれ演算推定された物標の３次元座標を、所定の基準で選択、統合して、求めるべき前記物標の３次元座標と推定し、その結果を出力する、結果統合・切替手段、を有する。【選択図】    図１
2007263657.tif 000002
【特許請求の範囲】
【請求項１】
車両に搭載され、所定の設置距離で配置された、少なくとも２台のカメラを有し、該少なくとも２台のカメラで取得された複数の画像を用いて、該車両周辺の物標の３次元座標を推定取得する３次元座標取得装置において、
前記少なくとも２台のカメラの内の１台のカメラが経時的に取得した２枚の画像から、前記車両周辺の物標の３次元座標を推定演算する単眼ステレオ処理部、
前記少なくとも２台のカメラの内の２台のカメラが同時に取得した２枚の画像から、前記車両周辺の物標の３次元座標を推定演算する複眼ステレオ処理部、
それら単眼ステレオ処理部及び複眼ステレオ処理部に接続され、それら処理部でそれぞれ演算推定された前記物標の３次元座標を、所定の基準で選択、統合して、求めるべき前記物標の３次元座標と推定し、その結果を出力する、結果統合・切替手段、
を有する、３次元座標取得装置。
【請求項２】
前記結果統合・切替手段は、前記車両の移動の有無を検出するセンサを有し、
前記センサにより、前記車両が停止しているものと判断された場合には、前記複眼ステレオ処理部で演算された前記車両周辺の物標の３次元座標を採用し、前記センサにより、前記車両が移動しているものと判断された場合には、前記単眼ステレオ処理部及び／又は前記複眼ステレオ処理部で演算された前記車両周辺の物標の３次元座標の推定演算結果に基づいて、求めるべき前記物標の３次元座標を推定する、座標推定演算手段を有する、
請求項１記載の３次元座標取得装置。
【請求項３】
前記単眼ステレオ処理部は、
前記１台のカメラが経時的に取得した２枚の画像の特徴点を抽出し、それら特徴点の前記画像間におけるフローを推定するフロー推定手段、
該推定されたフローに基づいて前記車両周辺の物標の３次元座標を推定演算する、単眼座標推定演算手段、を有し、
前記複眼ステレオ処理部は、
２台のカメラが同時に取得した２枚の画像の特徴点を抽出し、それら特徴点を前記２枚の画像の中で対応付ける対応点推定手段、
該推定された対応点に基づいて前記車両周辺の物標の３次元座標を推定演算する、複眼座標推定演算手段、を有し、
前記フロー推定手段と対応点推定手段の間に、どちらか一方の推定手段が抽出した前記特徴点を他方の推定手段に、当該他方の推定手段で使用する前記特徴点として出力する特徴点出力手段を設けて、構成した、請求項１記載の３次元座標取得装置。
【請求項４】
前記単眼ステレオ処理部と複眼ステレオ処理部の間に、演算推定された３次元座標を互いに出力することが自在な、演算結果交換手段を設け、
前記単眼ステレオ処理部及び複眼ステレオ処理部は、前記演算結果交換手段により出力される、他方の処理部での３次元座標の推定結果を自らの処理部での推定結果に反映させることを可能にしたことを特徴とする、請求項１記載の３次元座標取得装置。
【請求項５】
前記少なくとも２台のカメラは、その光軸が互いに外向きとなるように、かつそれらのカメラの視野がその光軸の前方でその一部が重なる形で配置されている、
請求項１乃至４のうち、何れか１項記載の３次元座標取得装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両に取り付けられたカメラにより捕捉された画像を用いて、車両周辺物の３次元座標を取得する３次元座標取得装置に係わり、特に２台以上のカメラを用いて車両周辺物の３次元座標を取得する３次元座標取得装置に関する。
【背景技術】
【０００２】
従来から、車両にカメラを搭載し、車両前方や後方の画像を撮影し、車両周辺の環境を３次元的に認識するシステムが開発されている。カメラで３次元座標(距離)を測定する方法としては、２台以上のカメラを利用するステレオ視(以後、複眼ステレオとする)が一般的である。例えば、車両に搭載したステレオカメラで撮像した画像を処理して車外の対象物の３次元座標位置を測定する技術が知られている（例えば、特許文献１参照）。
【０００３】
複眼ステレオの場合、空間的に離れた位置に置かれた複数台のカメラで画像を撮影し、物体の特徴的な点（コーナなど、以後、単に「特徴点」と言う）やテクスチャの視差を利用して、いわゆる三角測量の原理で３次元座標（距離）を計算することが出来る。
【０００４】
また、１台のカメラで３次元座標(距離)を測定する方法として、単眼ステレオ(別称、モーションステレオ、SfM(Structure from Motion))と呼ばれる技術がある。１台のカメラで別時刻・別視点から撮影された複数枚の画像を利用することによりステレオ視が実現できる技術である。例えば、この技術を用いた駐車支援システムが特許文献２及び特許文献３に開示されている。
【特許文献１】特開平５−１１４０９９公報
【特許文献２】特開２００１−１８７５５３公報
【特許文献３】特開２００４−１９８２１１公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
複眼ステレオの場合、距離の推定精度はカメラ間の設置距離(ベースライン長)に依存する。ベースラインを長くすることで、視差が大きくなり、距離推定精度も向上する。しかし、車に搭載することを考えると、このベースラインはあまり大きくできない。
【０００６】
単眼ステレオの場合、１台のカメラで済むので、カメラの設置に関して制約はほとんどない。また、観測時間を長くとることにより視差を稼ぐことができる。しかし車両が停止している場合は利用できないという欠点がある。
【０００７】
本発明は、複眼ステレオと単眼ステレオの技術を融合して利用することにより、両者の欠点を補い、さらに高精度な３次元座標取得装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
図５は、１台の３次元座標取得装置を車両正面部（面）に配置した例を示す平面図、図６は、１台の３次元座標取得装置を車両正面部（面）に配置した別の例を示す平面図、図７は、４台の３次元座標取得装置を車両の前後左右部（面）に配置した例を示す平面図である。
【０００９】
単眼ステレオと複眼ステレオでそれぞれ３次元座標を計算し、その結果を単純に切り替え、あるいは統合する。例えば、車両が静止している場合は、複眼ステレオの結果、車両が移勤している場合は、単眼ステレオと複眼ステレオの結果を統合する。また例えば、複眼ステレオが可能な領域は複眼ステレオの結果を利用し、それ以外の領域では単眼ステレオの結果を利用する（図５参照）。また例えば、図６に示すように、カメラペア２Ａ、２Ｂを、その光軸２ｃ、２ｄを互いに外向きになるように、かつ、各カメラ２Ａのカメラ視野Ａとカメラ２Ｂのカメラ視野Ｂが車両の前方（カメラペア２Ａ、２Ｂが車両の側面に装着されていた場合には、車両の側方外側）、即ちその光軸２ｃ、２ｄの前方でその一部が重なる形となるように、配置することにより、図５に示すように、カメラペア２Ａ、２Ｂを、その光軸２ｃ、２ｄを互いに並行に配置した場合に比して、両カメラ２Ａ、２Ｂの合計されたカメラ視野を広げつつ、車両前方（側面装着の場合には、側方外側）については複眼ステレオにより精度の高い３次元座標推定を行うようにすることもできる。また例えば、図７に示すように、車両の前後左右にカメラを配置し、単眼ステレオの結果と複眼ステレオの結果を組み合わせることにより、比較的少数のカメラで、ほぼ死角のないステレオ視を実現することができる。
【００１０】
結果を統合する場合は、状況(対象物のカメラからの距離、車速度、フローの数や精度)に応じて両者の重みを代えるなどする。
【００１１】
また、単眼ステレオと複眼ステレオの途中処理結果を利用して、演算コストの削減および推定精度の向上を行うようにする。
【発明の効果】
【００１２】
ステレオカメラが車両に設置済みであれば、車両の移動状態、周囲の状況、求めるべき座標位置の遠近などに応じて、ハードウエアの追加なくして、より付加価値の高い３次元座標取得装置が実現できる。また、カメラ配置の工夫により、少数のカメラにより広視野角な３次元座標取得装置が実現できる。また、最終結果だけではなく、途中結果の段階で情報を共有、融合することで、より精度の高い推定が期待できる。
【発明を実施するための最良の形態】
【００１３】
以下、図面に基づき、本発明の実施例を説明する。
【００１４】
図１は、３次元座標取得装置の一例を示す図、図２は、３次元座標取得装置の別の例を示す図、図３は、３次元座標取得装置の処理の一例を示すフローチャート、図4は、単眼ステレオカメラで取得される画像とそれら画像から得られるフローを示す図である。また、図８は、図６に対応する左右カメラ画像で得られるフローの一例を示す図である。
【００１５】
車両に搭載される３次元座標取得装置１は、図１に示すように、車両（図示せず）前方に所定の設置距離Ｌだけ離れた形で配置された２台のカメラ２Ａ、２Ｂを有しており（なお、カメラの数は、２台以上であっても良いが、最低でも２台は必要である）、カメラ２Ａには、単眼ステレオ処理部３及び複眼ステレオ処理部５が接続している。カメラ２Ｂには、前記した複眼ステレオ処理部５が接続され、単眼ステレオ処理部３及び複眼ステレオ処理部５には、結果統合・切替手段６が接続している。
【００１６】
単眼ステレオ処理部３は、カメラ２Ａに接続されたフロー推定手段７，自車運動量推定手段９及び結果統合・切替手段６に接続された３次元座標推定手段１０を有しており、複眼ステレオ処理部５は、２台のカメラ２Ａ、２Ｂに接続された対応点推定手段１１及び前述の結果統合・切替手段６に接続された３次元座標推定手段１２を有している。
【００１７】
なお、図１のカメラ２Ａ．２Ｂ以外の、フロー推定手段７，自車運動量推定手段９、３次元座標推定手段１０、対応点推定手段１１、３次元座標推定手段１２、結果統合・切替手段６は、ＣＰＵを有するコンピュータが、例えば図３に示す処理のフローチャートに基づいて作成されたプログラムを実行することにより、仮想的に実現される機能を模式的に表示したものであるが、各部を半導体などの集積回路を用いたハードウエアとして構成しても良い。
【００１８】
３次元座標取得装置１は、以上のような構成を有するので、まず、１台のカメラ２Ａで捕捉した画像から、当該画像に捕捉された物標などの対象物の３次元座標を演算推定するには、まず、カメラ２Ａを用いて、車両の移動に伴って時々刻々変化する車両周辺の状況を撮影する。カメラ２Ａにより捕捉された画像は所定のフレームレート(単位時間あたりに撮影する枚数)で記録され、図示しないメモリに格納される。
【００１９】
例えば車両前方に取り付けられたカメラで、一定時刻ごとに車両周辺の画像を撮影取得する（図４）。次に、図３に示すステップＳ１に示すように、フロー推定手段７は、公知の手法を用いて前記カメラで得られた撮影（取得）時刻の異なる２枚の画像（図４参照）を比較して、両方の画像で共通に表示されていると判断される点（画像の一部であり、画像中の特徴的な点、例えば、コーナ部、尖った先端部、明度、彩度の変化点など）を特徴点（任意の点で可）として多数抽出し、それらの特徴点を異なる画像間で互いに対応付けて両画像間の対応点と推定する処理からなる、対応点の推定処理を行う。これは一般的にオプティカルフロー推定(あるいは単にフロー推定)と呼ばれるものであり、KLT(Kanade Lucas-Tomashi)法がよく利用される。フローの例を、図４に示す。図４からも明らかであるが、フローは１時刻前の画像と現時刻における画像間で、特徴点が移動した軌跡である。
【００２０】
次に、自車運動量推定手段９では、図３のステップＳ２に示すように、フロー推定手段７で得られたフローを利用して自車の運動量、即ちカメラの移動量を推定する。カメラの移動量とは、移動前後のカメラ間のX,Y,Z軸方向の並進位置ずれ量、およびX,Y,Z軸周りの回転ずれ量である。カメラは車に固定されているので、カメラ移動量と自車移動量は同じ意味で用いている。自車（カメラ）運動量の推定方法としては、車輪速センサ等から取得される車両の移動距離を示すセンサ情報を利用する方法（例えば、特開２００１−１８７５５３公報）や、画像中の特徴点のフローを利用する方法がある。この方法としては、例えば、路面に属する対応点の移動状態を示すフローを利用して、カメラを搭載した自車両の移動量を計算する方法などが知られている（例えば、T.Suzuki(Toyota),T.Kanade, 'Measurement of Vehicle Motion and
Orientation using Optical Flow', IEEE conference on ITS, 1999）。また、基礎行列を利用する方法としては、(山口(豊田中研) 他、‘車載単眼カメラによる前方車両の障害物検出’、情報処理学会研究報告、2005.11)などがある。
【００２１】
次に、図３のステップＳ３で、単眼ステレオ処理部９の３次元座標推定手段１０において、フロー推定手段７で得られた特徴点のフローと、自車運動量推定手段９で得られた自車運動量、カメラ内部パラメータ（焦点距離や画角など（これらは既知とする））を用いて、特徴点までの３次元座標を公知の手法（例えば、金谷健一「画像理解-３次元認識の数理-」，森北出版，ISBN4-627-82140-9；に開示された手法）で求める。
【００２２】
一方、３次元座標取得装置１は、１台のカメラ２Ａを用いた前述した単眼ステレオ処理部３による、車両周囲の対象物の３次元座標取得処理と並行して、２台のカメラ２Ａ、２Ｂにより捕捉された画像から、複眼ステレオ処理部５により、車両周囲の対象物の３次元座標取得処理を実行する。
【００２３】
この処理は、まず、カメラ２Ａ、２Ｂを用いて、車両周辺の状況を撮影する。これは、前述した単眼ステレオ処理部３によるカメラ２Ａを介した画像取得動作と並行して行うことが出来る。即ち、カメラ２Ａで取得された画像のデータは、同じデータが単眼ステレオ処理部３及び複眼ステレオ処理部５に、並行して出力され、単眼ステレオ処理部３では、カメラ２Ａからの画像のみで車両周囲の対象物の３次元座標取得処理を行い、複眼ステレオ処理部５は、カメラ２Ａに加えて、同時に動作しているカメラ２Ｂからの画像に基づいて車両周囲の対象物の３次元座標取得処理を行う。
【００２４】
次いで、図４のステップＳ４で、複眼ステレオ処理部５の対応点推定手段１１において、２台のカメラで同時刻に撮影（取得）された画像中の特徴点の対応付けを行う。例えばHarris法などのコーナ検出フィルタを用いて画像中の特徴的な点（特徴点）を抽出し、その点を中心にブロックを設定し、画像間でブロックマッチングなどの相関演算を行う手法などがある。なお、特徴点の選択方法は、前述した単眼ステレオ処理部３によるフロー推定手段７と同様である。
【００２５】
次に複眼ステレオ処理部５の３次元座標推定手段１２において、上記得られた特徴点の対応関係（視差情報）と、カメラの設置情報（カメラ間の位置ずれおよび回転ずれ（これらは事前にキャリブレーションにより取得済みとする））、カメラ内部情報（焦点距離、画角など）を用いて、公知の手法を用いて各特徴点の３次元座標を算出する。
【００２６】
次に、３次元座標取得装置１は、結果統合・切替手段６に、単眼ステレオ処理部３で得られた車両の周囲の物体についての３次元座標、即ち単眼位置情報と、複眼ステレオ処理部５で得られた３次元座標、即ち複眼位置情報のどちらかを選択、あるいは統合させる処理を行わせる（図３のステップＳ６）。
【００２７】
例えば、図示しない車速センサなどにより車両が停止していることが検知された場合には、結果統合・切替手段６は、単眼ステレオ処理部３の演算結果は使えないものと判断し、複眼ステレオ処理部５からの演算結果のみを採用して、車両周囲の物体の３次元座標を推定する。
【００２８】
そして、車速センサなどにより車両が移動していることが検知された場合には、結果統合・切替手段６は、単眼ステレオ処理部３及び複眼ステレオ処理部５の両方の演算結果を利用出来るものと判断し、単眼ステレオ処理部３及び／又は複眼ステレオ処理部５からの演算結果から、車両周囲の物体（物標）の３次元座標を推定する。
【００２９】
この際の、推定方法は、各種の態様が考えられるが、単純な方法としては、どちらか一方の推定結果を選択して、物標の３次元座標とする方法や、単眼ステレオ処理部３及び複眼ステレオ処理部５からの演算結果から、車両周囲の物体について、同一の特徴点と見なされる特徴点についての両処理部３，５の演算結果を集めて、それらの平均を求めて、当該特徴点についての３次元座標とすることなどが考えられる。一般的に、カメラ２Ａ、２Ｂで取得される車両周囲の物体の画像については、その後の画像処理が単眼ステレオ処理であっても、複眼ステレオ処理であっても、選択される物体の特徴点は、一致することが多いものと考えられるので、前記した処理により、単眼ステレオ処理部３及び複眼ステレオ処理部５による高精度な３次元座標取得が可能となる。
【００３０】
なお、結果統合・切替手段６で最終的に推定された車両の周囲の物標の３次元座標位置は、後段の処理のために図示しないインターフェースを介して適宜な制御手段に出力される。
【００３１】
また、複眼ステレオの座標推定精度が高い車両近辺については、複眼ステレオ処理部５の３次元座標推定手段１２の演算結果を採用し、それ以外の中遠方は、座標推定精度が相対的に高くなる単眼ステレオ処理部３の３次元座標推定手段１２の演算結果を採用するか、単眼ステレオ処理部３と複眼ステレオ処理部５の演算結果を、適宜な重みで統合採用するようにしても良い(図５)。
【００３２】
車両停止時には複眼ステレオのみ利用可能であるが、そもそも車両停止時には遠方の状況を知る必要はないため、カメラ間距離(ベースライン長)を短く設定できる。車速が上がるに従いより遠距離を見たい場合は、単眼ステレオの結果を用いればよい。また、図６のようなカメラ構成(カメラペア２Ａ，２Ｂが、その光軸２ｃ、２ｄがお互いに外向きなるように設置)にした場合、車両正面については複眼ステレオ視で高い精度を実現しつつ、それ以外は単眼ステレオ視を利用して広角なステレオシステムが構成できる。一般的に車両正面(進行)方向のフローは大きさが小さく（図８参照）、単眼ステレオ視では精度がでにくいが、この構成ではその問題を回避することが出来る。
【００３３】
複眼ステレオで遠方まで観測したい場合、カメラ間距離を長くする必要がある。また例えば、図７に示すように、車両の前後左右にカメラを配置し、単眼ステレオの結果と複眼ステレオの結果を組み合わせることにより、比較的少数のカメラで、ほぼ死角のないステレオ視を実現することができる。
【００３４】
図２に、３次元座標推定装置１の別の例を示す。図１に示したものと、同一の部分には同一の符号を付して当該部分の説明を省略する。
【００３５】
図１の実施例と比較して、単眼ステレオ処理部３と複眼ステレオ処理部５の間で途中結果を利用する形になっている。即ち、フロー推定手段７と対応点抽出手段１１の間に、どちらか一方が選択した特徴点を他方の推定手段側に、当該他方の推定手段で使用する特徴点として出力する、特徴点出力手段（どちらかの推定手段７，１１に内蔵）を設け、単眼ステレオ処理部３及び複眼ステレオ処理部５で、共通の特徴点を使用するようにすると、共通の特徴点の３次元座標を単眼ステレオ処理部３及び複眼ステレオ処理部５で演算することとなり、推定演算精度の向上が期待出来る。また、どちらか一方の推定手段７又は９で特徴点を抽出して、他方の推定手段９又は７では、当該抽出された特徴点をそのまま使用することが出来るので、特徴点の抽出演算を半減させることが出来、コンピュータの演算負荷を低減させることが出来る。
【００３６】
また、同様に、単眼ステレオ処理部３の３次元座標推定手段１０と複眼ステレオ処理部５の３次元座標推定手段１２との間に演算推定された３次元座標を互いに出力することが自在な、演算結果交換手段（各推定手段１０，１２に内蔵）を設け、単眼ステレオ処理部３と複眼ステレオ処理部５との間で、演算結果を交換することにより、他方の処理部での３次元座標の推定結果を、自らの処理部での推定結果に反映させて、誤りや誤差を除去することが可能となり、推定演算精度の向上が期待出来る。
【産業上の利用可能性】
【００３７】
本発明は、車両に搭載され、２台以上のカメラを用いて車両周辺物の３次元座標を取得する３次元座標取得装置に利用することが出来る。
【図面の簡単な説明】
【００３８】
【図１】図１は、３次元座標取得装置の一例を示す図。
【図２】図２は、３次元座標取得装置の別の例を示す図。
【図３】図３は、３次元座標取得装置の処理の一例を示すフローチャート、
【図４】図３は、単眼ステレオカメラで取得される画像とそれら画像から得られるフローを示す図。
【図５】図５は、１台の３次元座標取得装置を車両正面部（面）に配置した例を示す平面図。
【図６】図６は、１台の３次元座標取得装置を車両正面部（面）に配置した別の例を示す平面図。
【図７】図７は、４台の３次元座標取得装置を車両の前後左右部（面）に配置した例を示す平面図。
【図８】図８は、図６に対応する左右カメラ画像で得られるフローの一例を示す図。
【符号の説明】
【００３９】
１……ステレオ画像処理装置
２Ａ、２Ｂ……カメラ
２ｃ、２ｄ……光軸
３……単眼ステレオ処理部
５……複眼ステレオ処理部
６……結果統合・切替手段
７……フロー推定手段
９……単眼座標推定演算手段（自車運動量推定手段）
１０……単眼座標推定演算手段、演算結果交換手段（３次元座標推定手段）
１１……対応点推定手段
１２……複眼座標推定演算手段、演算結果交換手段（３次元座標推定手段）
【図１】
2007263657.tif 000003
【図２】
2007263657.tif 000004
【図３】
2007263657.tif 000005
【図４】
2007263657.tif 000006
【図５】
2007263657.tif 000007
【図６】
2007263657.tif 000008
【図７】
2007263657.tif 000009
【図８】
2007263657.tif 000010