(57)【要約】【課題】被写体の位置が変化しても、その都度３次元座標位置が既知の被写体を撮影せずに、被写体の３次元位置を検出できるカメラキャリブレーション装置を提供する。【解決手段】３次元位置が既知である被写体光像をステレオカメラ部１で得た投影像のカメラパラメータを検出する初期カメラパラメータ検出部２と投影像の被写体光像位置を対応点座標として検出する対応点検出部５とカメラパラメータと対応点座標から修正カメラパラメータを検出するカメラパラメータ検出部４と、対応点座標と修正カメラパラメータとから被写体光像の３次元位置を検出する３次元位置情報検出部６とステレオカメラ部１のカメラにより３次元座標位置が既知の被写体光像から検出したカメラパラメータと３次元座標系位置が任意の被写体光像をステレオカメラ部１の１のカメラで撮像して得た対応点座標とから修正カメラパラメータを検出して被写体光像３次元位置を検出する。【選択図】      図１
2006090756.tif 000002
【特許請求の範囲】
【請求項１】
第1のカメラと第２のカメラを用いて、同一の被写体画像を撮像して立体画像を得る際に、前記第1のカメラで撮像して得た情報に基づいて、前記第２のカメラで前記被写体画像を撮像するためにキャリブレーションを行うキャリブレーション装置において、
前記第1のカメラを用いて第1の焦点距離で前記被写体画像を撮像することにより得られた位置情報を求める位置検出部と、
前記第１のカメラの転送部から前記位置情報を前記第２のカメラに転送させて、前記カメラと前記被写体画像との位置情報を求めて、前記第1のカメラに連動して前記被写体画像を前記第1の焦点距離に対応した前記第２のカメラの第２の焦点距離で撮像する前記第２のカメラの条件のキャリブレーションを行う情報検出キャリブレ部とを備えたことを特徴とするカメラキャリブレーション装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２台のカメラを用いたステレオカメラ部により被写体の３次元情報を求めるカメラキャリブレーション装置に関するものである。
【背景技術】
【０００２】
従来、２つのカメラを用いて被写体の３次元情報を求めるステレオカメラ部では、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータ等が必要であり、これらのパラメータを総合してカメラパラメータと言う。被写体の３次元情報を求めるために、このカメラパラメータを求めることをカメラキャリブレーションと言う。
【０００３】
カメラキャリブレーションでは、図４に示すように予め３次元座標（ワールド座標と称する）位置の分かっている被写体を、複数のカメラから構成されるステレオカメラ部で撮像して複数の投影像を求め、この複数の投影像と３次元座標位置から、カメラパラメータを求めていた。
そしてカメラパラメータから投影像内における所定の画像位置の対応する点の３次元情報を求めていた。
【０００４】
このステレオカメラ部を監視やロボットの視覚に用いる場合では、任意の位置にある被写体を撮像して得たカメラの投影像から、この投影像内における所定の画像位置の対応する点の３次元情報を求める際には、まず撮像した被写体の３次元位置を認識することが必要である。しかし、任意の位置にある被写体を撮像すると、被写体の３次元位置を認識することが出来ないため、任意の位置にある被写体を撮像して得たカメラの投影像からこの投影像内における所定の画像位置の対応する点の３次元情報を求めることは出来ない。
【０００５】
このため、必ず任意の位置にある被写体の近くにある３次元座標位置が既知の被写体を撮影し、カメラキャリブレーションを行ってから、任意の位置にある被写体と３次元座標位置が既知の被写体とを同一面の投影像としてステレオカメラ部で撮影することにより任意の位置にある被写体の３次元位置を認識していた。
【０００６】
特許文献１には、予め複数の焦点距離毎に投影像と３次元座標系との位置の対応関係を定めておき、任意の位置にある被写体の３次元座標の位置を焦点距離の補間により求める方法が示されているが、３次元座標位置が既知の被写体を撮影してキャリブレーションを行った範囲内で３次元座標の位置を認識していた。
この特許文献１によれば、焦点距離を可変にして物体を撮像する撮像装置により、複数の特定焦点距離により物体を撮像して得られた２次元座標系の投影像の各位置と、上記物体の３次元座標系における各位置との位置情報関係を求めるキャリブレーション方法であり、そして上記複数の特定焦点距離を除く複数の他の焦点距離における上記位置情報対応関係を補間により求めるものである。
【特許文献１】特開平１０−３２０５５８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した様に従来のカメラキャリブレーションにおいては、任意の位置にある被写体を撮像して得たステレオカメラ部の投影像から、この投影像内における所定の画像位置に対応する点の３次元情報を認識することが出来ないため、撮像しようとする任意の位置の被写体が移動するたびに、３次元座標位置が既知の被写体を同時に撮影しなければならないと言う問題点があった。
【０００８】
そこで本発明は、上記のような問題点を解消するためになされたもので、撮像しようとする任意の位置の被写体の位置が移動しても、その都度３次元座標位置が既知の被写体を撮影しなくても、被写体の所定の画像位置に対応する点の３次元位置情報を検出できるカメラキャリブレーション装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための手段として、本発明は、第1のカメラと第２のカメラを用いて、同一の被写体画像を撮像して立体画像を得る際に、前記第1のカメラで撮像して得た情報に基づいて、前記第２のカメラで前記被写体画像を撮像するためにキャリブレーションを行うキャリブレーション装置において、前記第1のカメラを用いて第1の焦点距離で前記被写体画像を撮像することにより得られた位置情報を求める位置検出部と、前記第１のカメラの転送部から前記位置情報を前記第２のカメラに転送させて、前記カメラと前記被写体画像との位置情報を求めて、前記第1のカメラに連動して前記被写体画像を前記第1の焦点距離に対応した前記第２のカメラの第２の焦点距離で撮像する前記第２のカメラの条件のキャリブレーションを行う情報検出キャリブレ部とを備えたことを特徴とするカメラキャリブレーション装置を提供する。
【発明の効果】
【００１０】
本発明によれば、ステレオカメラ部のズームレンズの焦点距離が変化しても、３次元座標位置が既知の被写体を撮影することなくカメラパラメータを求めて被写体の３次元位置情報を検出するカメラキャリブレーション装置を得ることが出来る。
【発明を実施するための最良の形態】
【００１１】
以下に本発明の実施形態に係るカメラキャリブレーション装置について図１〜図３を用いて説明する。図１は本発明の実施形態におけるカメラキャリブレーション装置のシステム構成を示す図である。図２は被写体の各座標軸に示す位置を示す図である。図３は本発明の実施形態におけるカメラキャリブレーション装置の操作手順を示すフローチャート図である。
そして図１のカメラキャリブレーション装置は、ズームレンズを用いた２台のカメラからなるステレオカメラ部１、カメラの初期状態におけるカメラパラメータを求める初期カメラパラメータ検出部２、ズームレンズの焦点距離を変更するズームレンズ制御部３、一方のズームレンズの焦点距離を変化させた後のカメラパラメータを求めるカメラパラメータ検出部４、２つのカメラにおける投影像間の対応を求める対応点検出部５、被写体の３次元位置情報を求める３次元位置検出部６より構成される。
【００１２】
まず、図１に示すカメラキャリブレーション装置は、複数のカメラを有するステレオカメラ部１を用いて被写体光像を撮像して得た複数の投影像からカメラパラメータを検出し、カメラパラメータから被写体光像の３次元位置情報を得るカメラキャリブレーション装置に於いて、３次元座標系における位置が既知である被写体光像を前記ステレオカメラ部１で撮像して得た投影像におけるカメラパラメータを検出して記憶する初期カメラパラメータ検出部２と、投影像における被写体光像の位置を対応点の座標として検出する対応点検出部５と、カメラパラメータと対応点の座標から修正カメラパラメータを検出するカメラパラメータ検出部４と、対応点の座標と修正カメラパラメータとから被写体光像の３次元位置情報を検出する３次元位置情報検出部６と、を少なくとも有し、ステレオカメラ部１の複数のカメラにより、３次元座標系における位置が既知である被写体光像から検出したカメラパラメータと、３次元座標系における位置が任意の被写体光像をステレオカメラ部１の１のカメラで撮像して得た対応点の座標とから修正カメラパラメータを検出して被写体光像の３次元位置情報を検出するものである。
【００１３】
図１及び図２を用いてカメラキャリブレーション装置を詳細に説明する。
まず図１に示すように、図示していない３次元座標が既知の被写体光像をステレオカメラ部１で撮像する。次にステレオカメラ部１から撮像時に得た撮像信号、カメラ位置情報、ズームレンジ制御部３からの焦点距離、ズーム比情報等による画像データＳ２を初期カメラパラメータ検出部２に送り、初期カメラパラメータ検出部２では予め供給されている被写体の３次元座標データＳ０とこの画像データＳ２により焦点距離、画像中心、画素サイズ等の初期状態における内部パラメータ、及び、カメラ位置、姿勢等の外部パラメータを求めこの内部パラメータ、外部パラメータからカメラパラメータＳ３を算出する。
【００１４】
このようにして、カメラの初期状態におけるカメラパラメータＳ３を求める。このカメラパラメータＳ３は、図３に示すようにステレオカメラ部１で撮像する３次元座標が既知の被写体の３次元位置を３次元座標（ワールド座標）位置系での原点とし、水平方向をｘｉ軸，垂直方向をｙｉ軸、光軸方向をｚｉ軸とした、３次元座標位置系ｘｉｙｉｚｉを設定する。このときのステレオカメラ部１における２つのカメラで３次元座標が既知の被写体を撮像して焦点を合わせたときの焦点距離Ｆｎｉを原点として、カメラ座標系ｘｎｉｙｎｉｚｎｉを設定するとともに、カメラで撮像した被写体光像における２次元の投影像の水平方向をｕｎｉ、垂直方向をｖｎｉとした座標系ｕｎｉｖｎｉをそれぞれ設定する。
【００１５】
そして、ステレオカメラ部１の撮像範囲内にありズームレンズ制御部３は固定のままで撮像出来るワールド座標内の被写体の３次元座標をＰ（ｘｊ，ｙｊ，ｚｊ）とすると、ステレオカメラ部１によって撮像された被写体の投影像の位置から、被写体対応点位置が、カメラ０座標では焦点距離Ｆ０ｉにおいてＰ０ｊ（ｕ０ｊ、ｖ０ｊ）、カメラ１座標では焦点距離Ｆ１ｉにおいてＰ１ｊ（ｕ１ｊ，ｖ１ｊ）の位置として対応点検出部５により検出され、この被写体対応点位置データと画像データＳ２を対応点検出部５の対応点の座標Ｓ４として出力する。
【００１６】
次に対応点の座標Ｓ４はカメラパラメータ検出部４に加えられ初期状態におけるカメラパラメータＳ３と比較修正されて、修正カメラパラメータＳ６として出力され３次元位置情報検出部６に加えられる。初期状態ではそのまま通過する。
そして、３次元位置情報検出部６には対応点検出部５の対応点の座標Ｓ４も加えられ、修正カメラパラメータＳ６と対応点の座標Ｓ４とにより被写体の３次元座標をＰ（ｘｊ，ｙｊ，ｚｊ）を求める。
【００１７】
カメラの初期状態では、カメラパラメータＳ３は、画像データＳ２と被写体の３次元座標データＳ０から求められるから、修正カメラパラメータＳ６はカメラパラメータＳ３に等しく、対応点の座標Ｓ４に含まれる画像データは、画像データＳ２に等しいから、３次元位置情報検出部６によって求められる被写体の３次元座標はステレオカメラ部１で撮像した初期の被写体の３次元座標に等しい。
【００１８】
次に、任意の被写体をステレオカメラ部１で撮像する。そしてズームレンズ部３によりステレオカメラ部１に設置された２台のカメラのどちらか１台のカメラ(例えばカメラ０とする)で任意の被写体に焦点を合わせ、そのカメラの焦点距離Ｆｏｉを焦点距離Ｆｏｉ‘に変更する。そして、任意の被写体を撮像した画像データＳ２‘をカメラ部１から対応点検出部５に送り任意の被写体における対応点の座標Ｓ４’を求める。
【００１９】
そして、対応点検出部５で検出した対応点の座標Ｓ４‘と初期カメラパラメータ検出部２で求めたカメラパラメータＳ３とをカメラパラメータ検出部４へ送り修正カメラパラメータＳ５’を生成し、この修正カメラパラメータＳ５‘と対応点検出部５で検出した対応点の座標Ｓ４’を３次元位置情報検出部６に送り、任意の被写体の３次元位置情報を得る。
【００２０】
このようにして、ステレオカメラ部１の片方のカメラで任意の座標位置の被写体を撮像して得た画像データと、既知の座標位置の被写体をステレオカメラ部１の２台のカメラで撮像して得た画像データとから任意の座標位置の３次元位置情報を容易に得ることが出来る。
【００２１】
次に、図３を用いて更に詳細にカメラキャリブレーション装置について説明する。
まずカメラの初期状態におけるカメラパラメータを求める（Ｓ１０）。
カメラパラメータは、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータから構成されている。
【００２２】
カメラの初期状態におけるカメラパラメータを求める際に、まず、図２に示すようにカメラで撮像する被写体の３次元位置を最初に３次元座標（ワールド座標）位置系ｘｉｙｉｚｉの原点０として設定し、このときのカメラ（ｉ＝０，１）の焦点Ｆｎｉを原点とし、水平方向をｘｎｉ軸，垂直方向をｙｎｉ軸、光軸方向をｚｎｉ軸としてカメラ座標系ｘｎｉｙｎｉｚｎｉを設定し、カメラで撮像した被写体光像の投影像の座標系ｕｎｉｖｎｉをそれぞれ設定する。
【００２３】
そして図２に示すように、被写体の任意の点Ｐにおける３次元座標をｘｉｙｉｚｉとし、この被写体の任意の点Ｐにおける投影像としての点Ｐ０の座標をｕ０ｉ、ｖ０ｉとし、内部パラメータをＡ０ｉ、外部パラメータをＥ０ｉとする。点Ｐ０の座標ｕ０ｉ、ｖ０ｉは光学歪みのない場合で実際には光学歪みを含んだ座標ｕｄｉ，ｖｄｉとなる。
この３次元座標をｘｉｙｉｚｉをＸ０，Ｙ０，Ｚ０、投影像座標ｕ０ｉ、ｖ０ｉをｕｉ、ｖｉとした３次元座標と投影座標の関係は次に示す式(１)で表される。
【００２４】
【数１】
2006090756.tif 000003
【００２５】
式(１)におけるＡｉは次の式で算出される。
【００２６】
【数２】
2006090756.tif 000004
【００２７】
そして式(２)におけるＥｉは次の式で算出される。
【００２８】
【数３】
2006090756.tif 000005
【００２９】
また、光学歪みを含んだ式は次に示す式（２）にて表される。
【００３０】
【数４】
2006090756.tif 000006
【００３１】
次にどちらか一方のカメラの焦点距離を変化させた場合のカメラパラメータを求める。
仮に焦点距離が変化しないカメラをカメラ０、焦点距離を変化させるカメラをカメラ１とする。このときのカメラ０の焦点距離をｆ０、カメラ１の焦点距離をｆ１とし、焦点距離が変化した後のカメラ１の焦点距離をｆ１‘とする（Ｓ１１）。
【００３２】
まず、最初に２つのカメラ間の投影画像Ｉ０とＩ１の投影画像より、カメラ１の投影画像Ｉ１をｆ１／ｆ０の倍率で大きさの補正を行った後、次の式（３）によりカメラ０とカメラ１の相関の高い画素を中心とする対応点の相関ｃを求める（Ｓ１２）。
相関ｃは値の小さいほうが相関は高くなる。また予め閾値ｃ０を設定しておきこの閾値ｃ０より大きい場合は対応点なしとする。
【００３３】
【数５】
2006090756.tif 000007
【００３４】
次に求めた投影画像間の対応関係から新たなパラメータを求める（Ｓ１３）。
まず、投影画像Ｉ０上の対応点（ｕｎ，ｖｎ）、投影画像Ｉ１上の対応点（ｕｎ‘，ｖｎ’）とする。（ｎ＝０，１，．．．，Ｎ）
そして、内部パラメータの行列Ａ０，Ａ１、３次元座標位置に対する回転行列Ｒ、Ｒ０、Ｒ１、平行移動ベクトルｔ、Ｔ、Ｔ０、Ｔ１とすると、２つのカメラの相対的な位置関係を示す基礎行列Ｆは次に示す式（４）により表される。
【００３５】
【数６】
2006090756.tif 000008
【００３６】
式（４）に示す基礎行列Ｆ対応点は次の式（５）により表される。
【００３７】
【数７】
2006090756.tif 000009
【００３８】
従って次に示す式（６）を最小とするように最適化を行い、ｆ１‘、ｋ１を求める（Ｓ１４）。
【００３９】
【数８】
2006090756.tif 000010
【００４０】
最適化は例えばsimulated annealing法を用い次の手順で行う。
・  ｍ番目の温度Tm=Tm-1- ΔTとする。（ΔT＞０）
・  f1’、k1’の初期値をf1’0、k1’0とし適当な値を設定する。(例えば、焦点距離を変化させる前の値)
・  m番目の値f1’ｍ、k1’ｍが決まったら、次の手段でｍ＋１番目の値f1’ｍ＋１、k1’ｍ＋１
を決める。
（あ）f1’ｍ、k1’ｍをランダムにわずか変更した値ｘ、yをとる。
（い）ΔE＝E(x,y)-E(f1’ｍ、k1’ｍ)を計算
（う）もしΔE≦０なら、f1’ｍ＋１＝ｘ、k1’ｍ＋１＝ｙとおく。
（え）もしΔE＞０なら、
[更新]  確率exp(-ΔE/Tm+1)でf1’ｍ＋１＝ｘ、k1’ｍ＋１＝ｙとおく。
[未更新]   確率1-exp(-ΔE/Tm+1)でf1’ｍ＋１＝f1’ｍ、k1’ｍ＋１＝k1’ｍとおく。
・  十分な回数繰り返しで得られたf1’ｍ、k1’ｍを最適解の候補とする。
このようにして求めたf1’ｍ、k1’ｍを式（６）の最小値としてｆ１‘、ｋ１’に代入すればよい。
【００４１】
次に被写体の３次元座標位置を求める。式(６)で求めた焦点距離ｆ１‘、ｋ１を用いた内部パラメータをＡ１’とする（Ｓ１５）。
【００４２】
更にカメラの焦点距離を移動させる場合はＳ１１に戻って繰り返す。
焦点距離の変更による対応点の探索を容易にするためには焦点距離を±５％程度を目安にして変化させてカメラパラメータを求め、焦点距離を大きく変化させる場合はこの小さな焦点距離の変化を繰り返して行えば良い。
【００４３】
投影画像Ｉ０上の対応点（ｕｎ，ｖｎ）、投影画像Ｉ１上の対応点（ｕｎ‘，ｖｎ’）に対応する被写体の対応点をＰｎとし、その３次元座標位置をＸｎＹｎＺｎとすると次に示す式(７)、式（８）が成り立つ。
【００４４】
【数９】
2006090756.tif 000011
【００４５】
【数１０】
2006090756.tif 000012
【００４６】
この式(７)、式（８）を用いて最小二乗法によりＸｎＹｎＺｎを求める。
従って、焦点距離を変化させた場合のカメラパラメータを、新たにカメラで撮像して基準となる既知の３次元座標位置を設定し直さなくても求めることが出来る（Ｓ１６）。
【図面の簡単な説明】
【００４７】
【図１】本発明の実施形態におけるカメラキャリブレーション装置のシステム構成を示す図である。
【図２】被写体の各座標軸に示す位置を示す図である。
【図３】本発明の実施形態におけるカメラキャリブレーション装置の操作手順を示すフローチャート図である。
【図４】被写体の３次元座標位置とカメラの投影座標を示す図である。
【符号の説明】
【００４８】
１・・・ステレオカメラ部、２・・・初期カメラパラメータ検出部、３・・・ズームレンズ制御部、４・・・カメラパラメータ検出部、５・・・対応点検出部、６・・・３次元位置検出部
【図１】
2006090756.tif 000013
【図２】
2006090756.tif 000014
【図３】
2006090756.tif 000015
【図４】
2006090756.tif 000016