(57)【特許請求の範囲】
【請求項１】
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
重畳処理部と、
前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記重畳処理部は、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、
前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、
前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算装置。
【請求項２】
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
重畳処理部と、
前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、
前記重畳処理部は、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、
前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算装置。
【請求項３】
前記複数の基準画像は異なる対象物を撮影した画像であることを特徴とする請求項１または２に記載の演算装置。
【請求項４】
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、
重畳処理ステップと、
前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、
前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップと
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記重畳処理ステップは、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、
前記対応点指定ステップは、前記基準重畳画像と前記比較重畳画像における対応点を指定し、
前記外部標定要素算出ステップは、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算方法。
【請求項５】
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、
前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、
重畳処理ステップと、
前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップと
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記対応点指定ステップでは、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、
前記重畳処理ステップは、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、
前記外部標定要素算出ステップは、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算方法。
【請求項６】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
重畳処理部と、
前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記重畳処理部は、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、
前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、
前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する演算装置として動作させるプログラム。
【請求項７】
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、
前記基準画像と前記比較画像における対応点を指定する対応点指定部と、
重畳処理部と、
前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部と
を備え、
前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、
前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、
前記重畳処理部は、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、
前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する演算装置として動作させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学機器の位置と姿勢を求める技術に関する。
【背景技術】
【０００２】
ＩＭＵ（慣性計測装置:Inertial Measurement Unit）、カメラ、レーザスキャナ等の光学機器を搭載した車両を走行させ、その際にＩＭＵで車両の位置を計測し、同時に周囲の状況を光学機器により計測し、地図空間情報等を得る技術が知られている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−４０８８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の技術においては、カメラのシステムに固定された座標系における外部標定要素（位置と姿勢）が予め既知であることが必要である。一般には、予め工場においてＩＭＵ、カメラおよびレーザスキャナ等のセッティングが行われ、その際に外部標定要素を求める作業（キャリブレーション）が行われる。しかしながら、ユーザ側の要望として、カメラの位置や姿勢をユーザの側で設定したい場合や変更したい場合がある。このような場合、カメラの車両への固定が終了した段階でキャリブレーションを行う必要がある。
【０００５】
しかしながら、一般的なキャリブレーションの作業は煩雑であり、ユーザ側で行うのは負担が大きい。このような背景において、本発明は簡素な手順によりカメラの外部標定要素を得ることができる技術を得ることを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、重畳処理部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部とを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記重畳処理部は、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算装置である。
【０００７】
請求項２に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、重畳処理部と、前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部とを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、前記重畳処理部は、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算装置である。
【０００８】
請求項３に記載の発明は、請求項１または２に記載の発明において、前記複数の基準画像は異なる対象物を撮影した画像であることを特徴とする。
【０００９】
請求項４に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、重畳処理ステップと、前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップとを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記重畳処理ステップは、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、前記対応点指定ステップは、前記基準重畳画像と前記比較重畳画像における対応点を指定し、前記外部標定要素算出ステップは、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算方法である。
【００１０】
請求項５に記載の発明は、移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得ステップと、前記基準画像と前記比較画像における対応点を指定する対応点指定ステップと、重畳処理ステップと、前記基準画像と前記比較画像とに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出ステップとを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記対応点指定ステップでは、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、前記重畳処理ステップは、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、前記外部標定要素算出ステップは、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出することを特徴とする演算方法である。
【００１１】
請求項６に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、重畳処理部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部とを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記重畳処理部は、前記複数の時刻に撮影された前記基準画像の複数を重ね合わせた基準重畳画像および前記複数の時刻に撮影された前記比較画像の複数を重ね合わせた比較重畳画像を作成し、前記対応点指定部は、前記基準重畳画像と前記比較重畳画像における対応点を指定し、前記外部標定要素算出部は、前記基準重畳画像と前記比較重畳画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する演算装置として動作させるプログラムである。
【００１２】
請求項７に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを移動体に固定され、前記移動体に対する外部標定要素が取得された第１のカメラを用い、前記移動体を移動させながら測定対象物を撮影することで得られた基準画像、および前記移動体に固定され、前記移動体に対する外部標定要素が取得されていない第２のカメラを用い、前記移動体を移動させながら前記第１のカメラと同時に前記測定対象物を撮影することで得られた比較画像を得る画像取得部と、前記基準画像と前記比較画像における対応点を指定する対応点指定部と、重畳処理部と、前記基準画像と前記比較画像の前記対応点に基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する外部標定要素算出部とを備え、前記基準画像と前記比較画像とは、複数の時刻において同時に撮影され、前記対応点指定部は、前記同時に撮影された前記基準画像と前記比較画像における対応点を指定し、前記重畳処理部は、前記複数の時刻において得られた前記同時に撮影された前記基準画像と前記比較画像における対応点のデータを重ね合わせた重畳対応点データを得、前記外部標定要素算出部は、前記重畳対応点データに基づき相互標定を行い、既知のスケールによる縮尺調整により前記第２のカメラの外部標定要素を算出する演算装置として動作させるプログラムである。
【発明の効果】
【００１３】
本発明によれば、簡素な手順によりカメラの外部標定要素を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態の概念図である。
【図２】演算部のブロック図である。
【図３】撮影した画像のイメージ図である。
【図４】処理の手順の一例を示すフローチャートである。
【図５】相互標定の原理を示す説明図である。
【図６】処理の手順の一例を示すフローチャートである。
【図７】指定された対応点を示すイメージ図である。
【発明を実施するための形態】
【００１５】
（構成）
図１には、実施形態の概念図が示されている。図１には、車両１００が示されている。車両１００には、計測システム１１０が取り付けられている。計測システム１１０は、基台（ベース）上にＧＮＳＳユニット１１１、演算部１２０、カメラ１１２、カメラ１１３、およびＩＭＵユニット１１４が取り付けられた構造を有している。
【００１６】
ＧＮＳＳユニット１１１は、ＧＮＳＳ（Global Navigation Satellite System）を構成する航法衛星からの航法信号を受信し、自身の位置情報と校正された高精度の時刻情報を出力する。演算部１２０は、後述する演算機能を有する。
【００１７】
カメラ１１２は、基準カメラであり、特定の方向に向けて固定され、動画撮影を行う。勿論、カメラ１１２は、静止画を撮影することもできる。カメラ１１２は車両１００（ＩＭＵ１１４）に対して固定され、車両１００（ＩＭＵ１１４）に対する外部標定要素は予め取得されている。カメラ１１２としては、周囲３６０°を撮影する全周カメラやより広い角度範囲を撮影する広角カメラを用いることもできる。
【００１８】
ＩＭＵ１１４は、慣性計測装置であり、加速度を検出し、自身の位置の変化、向きの変化を計測する。ＩＭＵ１１４は、車両１００に対して固定され、車両１００に対する位置と姿勢は、予め取得されている。ＩＭＵ１１４は、予め地上座標系上で校正されている。地上座標系というのは、地上に固定された絶対座標系であり、ＧＮＳＳユニットにより測位される地上での位置を記述する３次元直交座標系である。ＩＭＵ１１４は、ＧＮＳＳユニット１１１から得られる位置情報と時刻情報に基づき特定のタイミングで校正される。
【００１９】
カメラ１１３は、外部標定要素の取得対象となるカメラである。カメラ１１３は、動画撮影および静止画の撮影が可能であり、ユーザにより車両１００の任意の位置に取り付けられている。この例において、カメラ１１３は、計測システム１１０の基台上に配置されているが、車両１００上の他の場所に設置することもできる。但し、カメラ１１３は、カメラ１１２と同じ対象物を撮影できる位置と姿勢とする必要がある。
【００２０】
また、後述する既知のスケールによる縮尺調整を行うために、カメラ１１２とカメラ１１３との間の距離は既知である必要がある。よって、ユーザは、カメラ１１２との間の距離が既知の複数の候補位置の中からカメラ１１３の設置位置を選択する、あるいはカメラ１１３を設置後に、カメラ１１２とカメラ１１３との間の距離を測定する必要がある。なお、後述するように、同時刻にカメラ１１２が撮影した画像とカメラ１１３が撮影した画像との間の対応点を複数指定する処理が行われるが、画像中の複数の対応点間の距離の１つ以上が既知である場合（たとえば、距離の判っているスケールの両端を対応点とした場合）、この対応点間の既知の距離を用いて縮尺調整が可能となる。この場合、カメラ１１２とカメラ１１３との間の距離が未知であってもよい。
【００２１】
演算部１２０、カメラ１１２、カメラ１１３およびＩＭＵ１１４には、ＧＮＳＳユニット１１１からＧＮＳＳを利用した同期信号が提供され、各装置は同期して動作することが可能である。なお、同期信号を発生する装置を用意し、そこからの同期信号に基づき各部に同期しての動作を行わせる構成も可能である。また、図示省略されているが、演算部１２０は、画像データ等に基づき、車両１００が走行した周囲環境の３次元データを得る機能を有している。この３次元データを用いることで、車両１００が走行した環境の３次元モデルを作成することができる。
【００２２】
演算部１２０は、コンピュータとして機能するハードウェアであり、ＣＰＵ、メモリ、各種インタフェース、その他必要な電子回路を備えている。演算部１２０は、図２に示す各機能部を備えたハードウェアとして捉えることができる。なお、図２に示す各機能部は、ソフトウェア的に構成されていてもよいし、その一または複数が専用のハードウェアで構成されていてもよい。演算部１２０の機能を実行するためのプログラムは、演算部１２０内のメモリに記憶されている。また、当該メモリには、予め取得したカメラ１１２等の外部標定要素等に係るデータが記憶されている。なお、演算部１２０を動作させるプログラムを外部の記憶媒体に記憶させ、そこから提供する形態も可能である。
【００２３】
演算部１２０は、画像データ取得部１２１、重畳処理部１２２、対応点指定部１２３、外部標定要素算出部１２４を備えている。画像データ取得部１２１は、カメラ１１２およびカメラ１１３からの画像データを取得する。
【００２４】
重畳処理部１２２は、複数の時刻においてカメラ１１２が撮影した複数の画像を重ね、基準重畳画像を得る処理、および複数の時刻においてカメラ１１３が撮影した複数の画像を重ね、比較重畳画像を得る処理を行う。図３には、カメラ１１２が時刻ｔ１、時刻ｔ２、時刻ｔ３において撮影した３枚の基準画像と、これら３枚の基準画像を重ね合わせた基準重畳画像と、カメラ１１３が時刻ｔ１、時刻ｔ２、時刻ｔ３において撮影した３枚の比較画像と、これら３枚の比較画像を重ね合わせた比較重畳画像の一例が示されている。ここで、カメラ１１２とカメラ１１３とはタイミングを合わせて同時に撮影を行っている。また、基準画像（カメラ１１２が撮影）と比較画像（カメラ１１３が撮影）とでは、視点が異なるので、同じ撮影対象物であっても見え方が少し異なっている。
【００２５】
対応点指定部１２３は、カメラ１１２が撮影した画像とカメラ１１３が撮影した画像の中における共通の特徴点（対応点）の指定を行う。この例では、基本重畳画像と比較重畳画像とにおける共通の特徴点が対応点として指定される。共通の特徴点の選択は、ユーザが行う場合と、ソフトウェア処理により自動的に行う場合とが可能である。
【００２６】
外部標定要素算出部１２４は、カメラ１１２とカメラ１１３が撮影した画像に基づく相互標定および既知のスケールによる縮尺調整を用いてカメラ１１３の外部標定要素を算出する。この例では、基準重畳画像と比較重畳画像とに基づく相互標定および既知のスケールによる縮尺調整を行い、カメラ１１３の外部標定要素の算出が行われる。
【００２７】
（処理の一例）
図４は、処理の手順の一例を示すフローチャートである。まず、車両１００を適当な環境下（例えば、路面１３０上）で走行させ、その際の複数の時刻において、カメラ１１２とカメラ１１３を用いてのビル１３１等の撮影対象物の撮影を行う。この撮影は、カメラ１１２とカメラ１１３とで同期して行い、また２つのカメラにおいて同じ撮影対象物が撮影視野内に入る条件で行う。また、異なる時刻では、異なる画像が撮影されるようにする。例えば、２つのカメラを同期させて動画撮影を行い、同期した複数のフレーム画像の画像データを得る。
【００２８】
図３には、一例として時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２とカメラ１１３とで同時に撮影が行われた場合が示されている。ここで、カメラ１１２が撮影した画像を基準画像と呼び、カメラ１１３が撮影した画像を比較画像と呼ぶ。
【００２９】
カメラ１１２が撮影した基準画像とカメラ１１３が撮影した比較画像の画像データは、画像データ取得部１２１で取得され、演算部１２０内に取り込まれる（ステップＳ４０１）。画像データを得たら、各時刻に撮影した基準画像を重ね合わせ、基準重畳画像を得る。また、各時刻に撮影した比較画像を重ね合わせ、比較重畳画像を得る（ステップＳ４０２）。すなわち、時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２が撮影した基準画像を重ね合わせて基準重畳画像を得る。また、時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１３が撮影した比較画像を重ね合わせて比較重畳画像を得る。この処理は、重畳処理部１２２において行われる。図３には、基準重畳画像と比較重畳画像の一例が示されている。
【００３０】
基準重畳画像と比較重畳画像を得たら、２つの画像における対応点の指定が行われる（ステップＳ４０３）。この処理は、対応点指定部１２３において行われる。対応点の選択がユーザによって行われる場合は、例えば以下のような処理が行われる、まず、図示しない端末のディスプレイ上の左半分に基準重畳画像が表示され右半分に比較重畳画像が表示される。ユーザは、この左右の画像を比較し、当該端末が備えるＧＵＩ（グラフィカルユーザインターフェース）を操作することで対応する点（共通な特徴点：対応点）を選択する。この場合、ユーザによって選択された対応点が対応点指定部１２３において指定される。ここで、対応点は、６点以上が指定される。
【００３１】
対応点が指定されたら、相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素を求める（ステップＳ４０４）。この処理は、外部標定要素算出部１２４において行われる。図５は、相互標定の原理を説明する説明図である。相互標定では、左右２枚の画像において６点以上の対応点を指定し、この６点以上の対応点（標定要素：パスポイント）を一致させることで、ステレオモデルを作成する。このステレオモデルが得られることで、左右２枚の画像を得た２つのカメラの位置と姿勢の相対関係が求まる。
【００３２】
相互標定では、投影中心Ｏ１とＯ２と基準点Ｐを結ぶ２本の光線が同一平面内になければならいという共面条件を用いる。数１に、共面条件式を示す。なお、ここで例えば左画像が基準重畳画像であり、右画像が比較重畳画像である。
【００３３】
【数１】
0006433200.tif 000002
【００３４】
図５に示すように、モデル座標系の原点を左側の投影中心Ｏ１にとり、右側の投影中心Ｏ２を結ぶ線をＸ軸にとるようにする。縮尺は、基線長（２つのカメラ間の距離）を単位長さとする。このとき、パラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合、左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要はない。このような条件にすると、数１の共面条件式は数２のようになり、この式を解けば各パラメータが求められる。
【００３５】
【数２】
0006433200.tif 000003
【００３６】
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｃの間には、次の数３に示すような座標変換の関係式が成り立つ。
【００３７】
【数３】
0006433200.tif 000004
【００３８】
これらの式を用いて、次の手順により、未知パラメータ（相互標定要素）を求める。
（１）未知パラメータ（κ１，φ１，κ２，φ２，ω２）の初期近似値は通常０とする。
（２）数１の共面条件式を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を数２により求め、観測方程式をたてる。
（３）最小二乗法をあてはめ、近似値に対する補正量を求める。
（４）近似値を補正する。
（５）補正された近似値を用いて、（１）〜（４）までの操作を収束するまで繰り返す。
【００３９】
上記の計算に既知のスケールを適用することにより縮尺調整が行われ、左側のカメラ（カメラ１１２に対応）と右側のカメラ（カメラ１１３に対応）との相対的な外部標定要素の関係が求まる。上述した相互標定の演算では、前提として基線長（２つのカメラ間の距離）を単位長さとしているので、ステレオモデルの縮尺は任意値である。そこで、既知のスケールを与えることで、縮尺を実際の対象物に合わせることができる。この処理が縮尺調整である。この例では、既知のスケールとしては、カメラ１１２と１１３との間の距離（基線長の値）が用いられる。なお、既知のスケールとして、異なる対応点間の距離を用いることもできる。異なる対応点間の距離としては、距離が既知な２点が同一画面中に写るように撮影を行い、この２点を対応点として指定した場合が挙げられる。例えば、長さが既知の物体をカメラ１１２と１１３で撮影し、その両端を対応点として指定することで、この両端の対応点間の距離が既知のスケールとなる。
【００４０】
ここでカメラ１１２に相当する左側のカメラのＩＭＵ１１４に対する外部標定要素は既知であるので、上記の計算により求めたカメラ１１２とカメラ１１３の外部標定要素の関係から、カメラ１１３のＩＭＵ１１４に対する外部標定要素を求めることができる。
【００４１】
以上の技術によれば、車両１００の走行中に時刻を合わせてカメラ１１２とカメラ１１３で共通の対象物を撮影し、得られた画像に基づいて相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素の算出が行われる。上記の例では、移動しながら複数の画像を得、それを重ねることで、特徴点を顕著化でき、相互標定の精度を高めることができる。また、移動しながら異なる時刻に異なる画像を得、それを重ねたものから対応点を得ることで、対応点の各カメラからの距離が多様なものとなり、誤差の発生が抑えられる。
【００４２】
また、対応点の指定をソフトウェア処理により行う場合、車両１００を走行させながら上記の処理を行ってキャリブレーションを行い、その後にそのままカメラ１１３を用いた計測に移行することができる。例えば、車両１００にカメラ１１３を設置し、その後に走行を開始してカメラ１１３のキャリブレーションを行うために撮影を行い、そのままの状態で図４の処理を行うことで、特段の作業を行わずにカメラ１１３の外部標定要素を取得することができる。
【００４３】
２．第２の実施形態
重畳処理部１２２で行われる処理の他の例を以下に説明する。図６には、演算部１２０で行われる処理の手順の一例が示されている。まず、車両１００を適当な環境下（例えば、路面１３０上）で走行させ（図１参照）、その際の複数の時刻において、カメラ１１２とカメラ１１３を用いてのビル１３１等の撮影対象物の撮影を行う。この撮影は、カメラ１１２とカメラ１１３とで同期して行い、また２つのカメラにおいて同じ撮影対象物が撮影視野内に入る条件で行う。また、異なる時刻では、異なる画像が撮影されるようにする。例えば、２つのカメラを同期させて動画撮影を行い、同期した複数のフレーム画像の画像データを得る（ステップＳ６０１）。
【００４４】
図７には、一例として時刻ｔ１、時刻ｔ２、時刻ｔ３においてカメラ１１２とカメラ１１３とで同時に撮影が行われた場合が示されている。ここで、カメラ１１２が撮影した画像を基準画像と呼び、カメラ１１３が撮影した画像を比較画像と呼ぶ。ここまでは、第１の実施形態と同じである。
【００４５】
カメラ１１２と１１３を用いて、異なる時刻での画像データを得たら、各時刻におけるカメラ１１２から得た画像とカメラ１１３から得た画像との間における対応点の指定が行われる（ステップＳ６０２）。対応点の指定は、図２の対応点指定部１２３において行われる。対応点の指定の方法は、第１の実施形態の場合と同じである。
【００４６】
図７には、時刻ｔ１における基準画像と比較画像との間において●印で示される対応点の指定が行われ、時刻ｔ２における基準画像と比較画像との間において●印で示される対応点の指定が行われ、更に同様に時刻ｔ３における基準画像と比較画像との間において●印で示される対応点の指定が行われた場合の例が示されている。
【００４７】
各時刻における基準画像と比較画像における対応点の指定を行ったら、指定された対応点のデータを重ね重畳対応点データを作成する（ステップＳ６０３）。本実施形態では、この処理が重畳処理部１２２において行われる。図７（ｄ）には、基準画像と比較画像とで対応が指定された図７（ａ）〜（ｃ）の対応点のデータを重ねたものが示されている。なお、重畳対応点データとした段階で、対応点が６点以上となるように、図７（ａ）〜（ｃ）における対応点の指定が行われている。
【００４８】
図７（ｄ）に示す基準画像側の重畳対応データおよび比較画像側の重畳対応点データを得たら、相互標定および既知のスケールによる縮尺調整によりカメラ１１３の外部標定要素を求める（ステップＳ６０４）。この処理は、外部標定要素算出部１２４において行われる。この処理は、第１の実施形態におけるステップＳ４０４の処理と同じである。
【００４９】
３．第３の実施形態
第１および第２の実施形態において、カメラ１１３のＩＭＵ１１４に対する位置が判っているが、その姿勢が未知である場合に、第１および第２の実施形態の場合と同様な手法によりカメラ１１３のＩＭＵ１１４に対する外部標定要素を求めることができる。
【００５０】
４．その他
外部標定要素の算出の対象となるカメラが複数あってもよい。この場合、各カメラの外部標定要素を得た後でバンドル調整を行うことで誤差の分配を行い、求める外部標定要素の精度を高めることができる。
【００５１】
対応する特徴点として、マーカやターゲットを利用してもよい。カメラ１１２とカメラ１１３との間の距離を計測により求めてもよい。この距離の計測の方法としては、レーザ光を用いる方法や三角測量の原理を用いる方法等が挙げられる。例えば、三角測量の原理を用いる場合、ＩＭＵ座標系における外部標定要素を取得した第３のカメラを用い、この第３のカメラとカメラ１１２とを用いてカメラ１１３を対象としたステレオ写真測量を行うことで、カメラ１１３のＩＵＭ座標系における位置を算出する。
【００５２】
カメラ１１２が撮影した基準画像の１枚とカメラ１１３が撮影した比較画像の１枚とを対象に相互標定を行うことも可能である。なおこの場合、撮影対象物や撮影環境にもよるが、重畳画像や重畳対応点データを用いる場合に比較して標定の精度は低下する可能性がある。
【００５３】
近年、車両から周囲の三次元情報を取得し、車両の自動運転や運転の補助を行う技術が知られている。この技術に利用される車載カメラの外部標定要素の取得に本発明を利用することもできる。
【産業上の利用可能性】
【００５４】
本発明は、カメラの外部標定要素を求める技術に利用可能である。
【符号の説明】
【００５５】
１００…車両、１１０…計測システム、１１１…ＧＮＳＳユニット、１１２…カメラ、１１３…カメラ、１１４…ＩＭＵユニット、１２０…演算部、１３０…路面。
【図１】
0006433200.tif 000005
【図２】
0006433200.tif 000006
【図３】
0006433200.tif 000007
【図４】
0006433200.tif 000008
【図５】
0006433200.tif 000009
【図６】
0006433200.tif 000010
【図７】
0006433200.tif 000011