(57)【要約】【課題】３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要のない、簡単な構成のカメラキャリブレーション装置及び方法を提供する。【解決手段】複数のステレオカメラ４，５に共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、ステレオカメラ４，５の中心の座標系でそれぞれ計測する。このようにして計測されたステレオカメラ４，５ごとの位置データは、ステレオカメラ４，５の座標系の配置が互いに相違するために数値的には互いに相違するが、分布の形状は同一である。したがって、位置データの分布の様子を数値化するために、位置データを主成分分析して、ステレオカメラに共通の座標系を構成し、共通の座標系を経由してステレオカメラ４，５の座標系間の相対的配置を推定する。【選択図】図２
2005308641.tif 000002
【特許請求の範囲】
【請求項１】
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション装置であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測する手段と、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定する手段とを具えることを特徴とするカメラキャリブレーション装置。
【請求項２】
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション方法であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測するステップと、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定するステップとを具えることを特徴とするカメラキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像取得に用いるカメラの種々の特性及びパラメータを求めるカメラキャリブレーション装置及び方法に関する。
【背景技術】
【０００２】
カメラキャリブレーションには、レンズによって生じる光学的な歪を推定する作業、焦点距離、画像中心等のカメラ固有のパラメータを推定する作業、及びカメラの位置・姿勢を表すパラメータを推定する作業がある。
【０００３】
従来、カメラの位置・姿勢を表すパラメータ、すなわち、並進ベクトル及び回転行列を推定するに際し、３次元形状が既知のキャリブレーション物体を用いている（例えば、非特許文献１，２参照）
【０００４】
図１は、従来のカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。図１では、複数のステレオカメラの共通視野内において、３次元位置が既知であるキャリブレーション物体１の４個の計測点ｏ，ｐ１，ｐ２，ｐ３を与える。なお、点ｏと点ｐ１、点ｏと点ｐ２及び点ｏと点ｐ３で構成される三つのベクトルは互いに直交しているものとする。なお、図１及び後に説明する図２において、ｉは、１以上の自然数を表すものとし、ｊは、ｉより大きい自然数を表すものとする。
【０００５】
４個の計測点ｏ，ｐ１，ｐ２，ｐ３の３次元位置を、それぞれのステレオカメラ中心の座標系のおいて計測し、第ｉ番目のステレオカメラ２で計測したこれら４個の計測点を
2005308641.tif 000003
と表す。これらの点は、
2005308641.tif 000004
とする３次元座標値を有するものとする。
【０００６】
この場合、各カメラで計測された点同士の対応をとる必要がある。すなわち、従来の手法では、点
2005308641.tif 000005
と点
2005308641.tif 000006
及び点
2005308641.tif 000007
と点
2005308641.tif 000008
が３次元空間内の同一の点であるという情報が必要となる。これらの情報を基にして、これら４点から構成される三つのベクトルを
2005308641.tif 000009
と表すものとする。
【０００７】
ここで
2005308641.tif 000010
と
2005308641.tif 000011
はそれぞれ、第ｉ番目のステレオカメラ２の座標系ΣＳｉから共有座標系ΣＷへの回転行列及び並進ベクトルを表すものとする。これらの回転行列及び並進ベクトルは、上記４点の情報を用いて次のように表すことができる。
【数１】
2005308641.tif 000012
【０００８】
これらの関係を用いて、第ｉ番目のステレオカメラ２の座標系ΣＳｉから第ｊ番目のステレオカメラ３の座標系ΣＳｊへの回転行列
2005308641.tif 000013
と
2005308641.tif 000014
はそれぞれ次のように表すことができる。
【数２】
2005308641.tif 000015
このようにして、２個のステレオカメラ２，３の座標系間の相対位置を表す回転行列及び並進ベクトルを求めることができるようになる。
【非特許文献１】高橋裕信等  「ロボットビジョンのためのカメラキャリブレーション」、日本ロボット学会誌  Vol. 10, No. 2, pp.177~pp. 184, 1992
【非特許文献２】R. Tsai. A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses, IEEE Journal of Robotics and Automation, Vol. 3, No. 4, pp.323-344, 1987
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来のカメラキャリブレーション装置における並進ベクトル及び回転行列の推定する際には、共通座標系を構築するために、３次元位置が既知の計測点及びこれら計測点の対応を与える必要がある。また、複数のカメラ間の相対的配置を推定するためには、カメラ間で画像取得する際に同期をとる必要がある。
【００１０】
本発明の目的は、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要のない、簡単な構成のカメラキャリブレーション装置及び方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明によるカメラキャリブレーション装置は、
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション装置であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測する手段と、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定する手段とを具えることを特徴とする。
【００１２】
本発明によるカメラキャリブレーション方法は、
共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーション方法であって、
前記共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、前記ステレオカメラの中心の座標系でそれぞれ計測するステップと、
これら位置データを主成分分析して、前記ステレオカメラに共通の座標系を構成し、この共通の座標系を経由して前記ステレオカメラの座標系間の相対的配置を推定するステップとを具えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、共通の計測範囲を有するように配置された複数のステレオカメラのカメラキャリブレーションを行うに際し、共通の計測範囲で運動する物体の移動軌跡中の複数の位置データを、ステレオカメラの中心の座標系でそれぞれ計測する。
【００１４】
このようにして計測されたステレオカメラごとの位置データは、ステレオカメラの座標系の配置が互いに相違するために数値的には互いに相違するが、分布の形状は同一である。したがって、位置データの分布の様子を数値化するために、位置データを主成分分析して、ステレオカメラに共通の座標系を構成し、共通の座標系を経由してステレオカメラの座標系間の相対的配置を推定することによって、並進ベクトル及び回転行列を推定することができる。
【００１５】
その結果、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要がなくなり、カメラキャリブレーションを簡単な構成で行うことができるようになる。
【発明を実施するための最良の形態】
【００１６】
本発明によるカメラキャリブレーション装置及び方法の実施の形態を、図面を参照して詳細に説明する。
図２は、本発明によるカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。本発明は、複数のステレオカメラの主成分分析に基づくキャリブレーションによってステレオカメラ間の相対的な位置関係を推定するものである。
【００１７】
既に説明したように、複数のステレオカメラの共通視野内で環境内に固定された座標系ができれば、ステレオカメラ間の相対的な位置関係を推定することができる。したがって、共通視野内において計測対象の点を運動させ、それぞれのステレオカメラ中心の座標系において、運動中の点の３次元位置を計測する。ステレオカメラを用いることによって、計測点の３次元位置を取得することができる。
【００１８】
計測された点の３次元位置のデータが、第ｉ番目のステレオカメラ４に関してＮｉ個取得できたとする。ここで、これらＮｉ個の点を
2005308641.tif 000016
と表すことにし、
【数３】
2005308641.tif 000017
とする３次元座標値を有するものとする。この際、ステレオカメラの各々で計測された点同士の対応をとる必要がない。すなわち、点
2005308641.tif 000018
と
2005308641.tif 000019
とは、３次元空間内の同一の点であるという条件を満足する必要がない。
【００１９】
それぞれのステレオカメラの座標系におけるＮｉ個の３次元座標データを主成分分析する。すなわち、Ｎｉ個の３次元座標データの共分散行列Ｃｉを計算し、共分散行列を固有値分解する。固有値分解の結果得られる固有ベクトルを、
2005308641.tif 000020
とする。固有ベクトルの性質から、これら三つの固有ベクトルは互いに直交している。また、共分散行列を求めるときに、既に求められている平均値ベクトルを
【数４】
2005308641.tif 000021
とする。ここで、以下のような関係が成立する。
【数５】
2005308641.tif 000022
【００２０】
このようにして求められる、各ステレオカメラの座標系に関する平均値ベクトルの示す３次元空間中の位置及び３個の固有ベクトルが表す３次元空間内での方向は、実際には全て同一のものを表している。このことは、各ステレオカメラの座標系からある一つの座標系（「共有座標系」と称する。）を観測していることに相当し、この共有座標系を経由してステレオカメラの座標系間の相対的な配置を推定することができる。
【００２１】
ここで、
2005308641.tif 000023
と
2005308641.tif 000024
はそれぞれ、第ｉ番目のステレオカメラ４の座標系ΣＳｉから共有座標系ΣＥへの回転行列及び並進ベクトルを表すものとする。これら回転行列及び並進ベクトルは、上記固有ベクトル及び平均値ベクトルを用いて以下のように表すことができる。
【数６】
2005308641.tif 000025
【００２２】
これらの関係を用いて、第ｉ番目のステレオカメラ４の座標系ΣＳｉから第ｊ番目のステレオカメラ５の座標系ΣＳｊへの回転行列
2005308641.tif 000026
と並進ベクトル
2005308641.tif 000027
はそれぞれ、以下のように表すことができる。
【数７】
2005308641.tif 000028
このようにして、二つのステレオカメラ４，５の座標系間の相対的配置を表す回転行列及び並進ベクトルを求めることができる。
【００２３】
次に、２個のステレオカメラ（以下、「ステレオカメラａ」及び「ステレオカメラｂ」と称する。）の共通視野内で、任意に動かした色のついた計測点の移動軌跡をステレオカメラごとに記録した実験の結果を説明する。図３は、ステレオカメラａにおける移動軌跡を示す図であり、図４は、ステレオカメラｂにおける移動軌跡を示す図である。この実験において、ステレオカメラａでは１００個の移動軌跡データが取得され、ステレオカメラｂでは７６個の移動軌跡データが取得された。これら移動軌跡データから、図２を用いて説明した計算手法によって、ステレオカメラａとステレオカメラｂとの間の相対的な配置を表す回転行列及び並進ベクトルを求める。
【００２４】
求められた回転行列及び並進ベクトルによって推定されたステレオカメラａ及びステレオカメラｂの相対的な配置を、図５に示す。また、求められた回転行列及び並進ベクトルを評価するために、共通視野内において、計測点を四つの場所１〜４でステレオカメラａ及びステレオカメラｂを用いて計測し、ステレオカメラｂで計測された移動軌跡データをステレオカメラａの座標系に関する移動軌跡データに変換して、変換された移動軌跡データとステレオカメラａで計測された移動軌跡データとが一致するか否かを確かめた。なお、計測点の計測を１００回行い、その平均値を計測点の３次元位置とした。表１は、ステレオカメラａでの計測位置及び座標変換後のステレオカメラｂの計測位置を示す。
【表１】
2005308641.tif 000029
表１に示すように、変換された移動軌跡データとステレオカメラａで計測された移動軌跡データとがほぼ一致していることがわかる。
【００２５】
本実施の形態によれば、３次元位置が既知の計測点及びこれら計測点の対応を与える必要並びにカメラ間で画像取得する際に同期をとる必要がないので、カメラキャリブレーションを簡単な構成で行うことができる。
【００２６】
本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。
例えば、上記実施の形態において、３次元座標系として直交座標系で計測する場合について説明したが、極座標系で計測する場合についても本発明を適用することができる。
【産業上の利用可能性】
【００２７】
本発明を、様々な情報システムで用いられる非接触３次元位置計測装置、生物の行動計測装置、ヒューマンインタフェース装置等の分野に応用することができる。
【図面の簡単な説明】
【００２８】
【図１】従来のカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。
【図２】本発明によるカメラキャリブレーション装置における並進ベクトル及び回転行列の推定原理を説明するための図である。
【図３】ステレオカメラａにおける移動軌跡を示す図である。
【図４】ステレオカメラｂにおける移動軌跡を示す図である。
【図５】求められた回転行列及び並進ベクトルによって推定されたステレオカメラａ及びステレオカメラｂの相対的な配置を示す。
【符号の説明】
【００２９】
１  キャリブレーション物体
２，３，４，５  ステレオカメラ
【図１】
2005308641.tif 000030
【図２】
2005308641.tif 000031
【図３】
2005308641.tif 000032
【図４】
2005308641.tif 000033
【図５】
2005308641.tif 000034