(57)【特許請求の範囲】
【請求項１】
複数のステレオカメラからの画像を入力として３次元計測を行うために、複数の位置姿勢に置かれたステレオカメラの計測結果を、同じ座標系に統合するための座標変換に必要な各ステレオカメラの位置姿勢パラメータを計測する校正方法において、
すべてのステレオカメラの視野を横断する光の軌跡を各ステレオカメラによって計測し、
その光の直進性による拘束条件を使った位置姿勢パラメータの計算を行うことで多数のステレオカメラの相互の座標変換行列を計算する校正方法。
【請求項２】
請求項１に記載の校正方法において、投影する光を１線状光とし、光によって照射された各ステレオカメラの視野内に置かれた３点以上の被照射点の位置を計測しそれらの点に平面をあてはめることにより、複数のステレオカメラごとに計算される平面が同一平面になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに当該平面の法線方向に並ばない２点以上の共有点を用いて相互の座標変換行列を計算する校正方法。
【請求項３】
請求項１に記載の校正方法において、投影する光を１点状光とし、光によって照射された各ステレオカメラの視野内に置かれた２点以上の被照射点の位置を計測しそれらの点に直線をあてはめることにより、複数のステレオカメラごとに計算される直線が同一直線になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに当該直線上にない１点以上の共有点を用いて相互の座標変換行列を計算する校正方法。
【請求項４】
請求項１に記載の校正方法において、投影する光を平行でない複数点状光とし、光によって照射された各ステレオカメラの視野内に置かれた各点状光あたり２点以上の被照射点の位置を計測しそれらの点に２直線をあてはめることにより、複数のステレオカメラごとに計算される２直線が同一の２直線になるような拘束をかけて相互の座標変換行列を計算する校正方法。
【請求項５】
請求項１に記載の校正方法において、投影する光を平行に近い複数点状光とし、光によって照射された各ステレオカメラの視野内に置かれた各点状光あたり２点以上の被照射点の位置を計測しそれらの点に２直線をあてはめることにより、複数のステレオカメラごとに計算される２直線が同一の２直線になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに１点以上の共有点を用いて座標変換行列を計算する校正方法。
【請求項６】
請求項３〜５のいずれかに記載の校正方法において、直線のあてはめは、点列の直線性を評価する評価関数Sを
S=-b2/b1
とする校正方法。ただし、b1およびb2は、
b1=-(a00+a11+a22)
b2=(a00*a11+a11*a22+a22*a00-a12*a21-a02*a20-a01*a10)
であり、さらにaij(i,j=0..2)は、共分散行列の要素
【数１】
0005311365.tif 000004
xi(i=0..2)は点の３次元座標を表す。
【請求項７】
複数のステレオカメラからの画像を入力として３次元計測を行うために、複数の位置姿勢に置かれたステレオカメラの計測結果を、同じ座標系に統合するための座標変換に必要な各ステレオカメラの位置姿勢パラメータを計測する校正システムにおいて、
すべてのステレオカメラの視野を横断する光の軌跡を各ステレオカメラによって計測する手段と、
その光の直進性による拘束条件を使った位置姿勢パラメータの計算を行うことで多数のステレオカメラ相互の座標変換行列を計算する手段と、
から成る校正システム。
【請求項８】
請求項７に記載の校正システムにおいて、投影する光を１線状光とし、光によって照射された各ステレオカメラの視野内に置かれた３点以上の被照射点の位置を計測しそれらの点に平面をあてはめることにより、複数のステレオカメラごとに計算される平面が同一平面になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに当該平面の法線方向に並ばない２点以上の共有点を用いて相互の座標変換行列を計算する校正システム。
【請求項９】
請求項７に記載の校正システムにおいて、投影する光を１点状光とし、光によって照射された各ステレオカメラの視野内に置かれた２点以上の被照射点の位置を計測しそれらの点に直線をあてはめることにより、複数のステレオカメラごとに計算される直線が同一直線になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに当該直線上にない１点以上の共有点を用いて相互の座標変換行列を計算する校正システム。
【請求項１０】
請求項７に記載の校正システムにおいて、投影する光を平行でない２点状光とし、光によって照射された各ステレオカメラの視野内に置かれた各点状光あたり２点以上の被照射点の位置を計測しそれらの点に２直線をあてはめることにより、複数のステレオカメラごとに計算される２直線が同一の２直線になるような拘束をかけて相互の座標変換行列を計算する校正システム。
【請求項１１】
請求項７に記載の校正システムにおいて、投影する光を平行に近い２点状光とし、光によって照射された各ステレオカメラの視野内に置かれた各点状光あたり２点以上の被照射点の位置を計測しそれらの点に２直線をあてはめることにより、複数のステレオカメラごとに計算される２直線が同一の２直線になるような拘束をかけ、さらに隣接するステレオカメラの視野ごとに１点以上の共有点を用いて相互の座標変換行列を計算する校正システム。
【請求項１２】
請求項９〜１１のいずれかに記載の校正システムにおいて、直線のあてはめは、点列の直線性を評価する評価関数Sを
S=-b2/b1
とする校正システム。ただし、b1およびb2は、
b1=-(a00+a11+a22)
b2=(a00*a11+a11*a22+a22*a00-a12*a21-a02*a20-a01*a10)
であり、さらにaij(i,j=0..2)は、共分散行列の要素
【数２】
0005311365.tif 000005
xi(i=0..2)は点の３次元座標を表す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラからの画像を入力として３次元計測を行うステレオカメラにおいて、複数のステレオカメラの３次元計測結果を同一の座標に統合し、一つのステレオカメラでは全体を計測不可能な対象物に対して、計測を可能にするステレオカメラの校正方法および校正システムに関する。
【背景技術】
【０００２】
ステレオカメラは、２個以上のカメラから入力した画像を用いて画像中に映った点の二次元の位置から三角測量の原理で三次元の座標値を計算する装置である。一セットのステレオカメラのカメラ間は固定されており、あらかじめ相互の位置関係などのパラメータを校正しておくことで三次元の座標値を計算することができる。（非特許文献１）
【０００３】
ステレオカメラの精度はカメラ間距離、画像解像度、対象物までの距離によって決まる。カメラ間距離を大きく、画像解像度を高く、対象物までの距離を小さくすれば測定精度は高くなる。
測定対象が大きい場合、一セットのステレオカメラで計測しようとすると、対象物までの距離を大きくしたりレンズを広角にして画像解像度を低くしたりしなければならず、計測精度は低くなる。対象物までの距離が大きくなることで相対的なカメラ間距離が小さくなる効果があり、これも計測精度を低くする。
【０００４】
従ってステレオカメラで大きい対象物（鋼板、建築物、船舶など）を高精度に計測するためには複数セットのステレオカメラを用意するか、一セットのステレオカメラを複数地点に移動して測定する必要がある。いずれの場合にも複数のステレオカメラの計測結果を同一の座標に変換しなければ全体の正確な形状にはならない。これは、各ステレオカメラセットのカメラ座標系とワールド座標系の間の座標変換パラメータを求めることと等価である。なお、おのおののステレオカメラにおいては校正がなされているものとする。図１は、複数ステレオカメラによる計測例を示した図である。この例では、巨大対象物２を計測するために視野の限定された個別に校正が済んだステレオカメラC0,C1,C2を用意して全体の測定をしている。各ステレオカメラの計測結果は３で示すようにステレオカメラ相互の座標の不一致によってずれた結果になる。ステレオカメラ間の座標変換パラメータを得て計測結果３を変換することにより統合された結果４を得ることができる。
【０００５】
校正する簡便な方法は隣接するステレオカメラの計測空間が一部重複するようにおき、この空間に三点以上の計測点を設け、それが一致するように座標変換のパラメータを計算するという方法である。しかし、この方法ではどうしても計測空間の端に共有計測点をおかなければならず、共有計測点の３次元座標計測に避けられない誤差により、計測空間の反対側ではより大きな誤差が生じる。その結果、計測結果が重複部分を中心に折れ曲がるような結果となる（図２）。図２は、従来法による隣接するステレオカメラの計測結果の統合時に発生する誤差を示した図である。ここでは2個のステレオカメラC0,C1を計測範囲が重なるように置いてある。両者の計測範囲の重なる部分に三個の共有計測点Q0,1をおき、各ステレオカメラで計測して単独の3次元計測結果３を得る。単独の3次元計測結果３の中に存在する共有計測点Q0,1の誤差が最小になるような座標変換パラメータをもとめる。この座標変換パラメータを使って同じステレオカメラ群で計測した巨大対象物２を統合すると、共有計測点に近い部分では小さな誤差になるが、遠い部分では誤差が大きくなり、その結果として共有部分を中心に対象物が折れ曲がるような計測結果が得られる。
【０００６】
また、複数のステレオカメラ全体にわたる校正治具を用意してそれを基準に校正する方法もある（特許文献1）。しかし、この特許文献１の実施例に記載のように人間程度の大きさのものであれば実現も可能だが、鋼板などの数十メートルの大きさを対象にする場合には、治具の取り扱いの問題や治具それ自体のゆがみが生じないようにしなければならないという問題があり現実的ではない。
【０００７】
座標変換をした点が直線に近いかどうかを評価する場合に直線までの距離の二乗和を評価としてもとめることが一般的であるが、ニュートン法によりパラメータ推定の計算をおこなうためには、パラメータによって一次微分および二次微分が可能な評価式が必要になる。
【非特許文献１】井口征士,佐藤宏介著「３次元画像計測」：照晃堂
【特許文献１】特開2003-294433号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
解決しようとする問題点は、巨大な対象物を高精度に三次元計測するマルチステレオカメラにおいてステレオカメラ間校正が従来法では高精度にできない点である。
本発明は、複数のステレオカメラの視野を横断する光（線状光または）点状光を投影し、その軌跡を拘束条件として校正をすることで、固体の治具では困難なサイズの校正治具と等価な効果を得ることを目的としている。
【課題を解決するための手段】
【０００９】
本発明では、手段の一つとして１線状光を投影する場合、線状光の軌跡は平面となるので、この軌跡上にターゲットをおき、その位置を各ステレオカメラで計測することで、各ステレオカメラの座標系における平面の方程式が計算できる。複数セットのステレオカメラで同様に平面の方程式を計算し、それらが同一の平面となるように拘束して相互の座標変換のパラメータ（平行移動３自由度および回転３自由度）を計算する。平面が共通という条件だけでは、平面の法線まわりの回転（１自由度）および平面内の平行移動（２自由度）が残るので、これを解決するために隣接するステレオカメラの重複する計測範囲に最低二個の平面の法線方向に並ばない点をおき、それを両側のステレオカメラで計測して座標変換後の位置が重なるようにすることで完全に拘束することができる。
【００１０】
手段の一つとして１点状光を投影する場合、点状光の軌跡は直線となるので、この軌跡上にターゲットをおき、その位置を各ステレオカメラで計測することで、各ステレオカメラの座標系における直線の方程式が計算できる。複数セットのステレオカメラで同様に直線の方程式を計算し、それらが同一の直線となるように拘束して相互の座標変換のパラメータ（平行移動３自由度および回転３自由度）を計算する。直線が共通という条件だけでは、直線の接線まわりの回転（１自由度）および直線の接線方向の平行移動（１自由度）が残るので、これを解決するために隣接するステレオカメラの重複する計測範囲に最低１個の直線上にない点をおき、それを両側のステレオカメラで計測して座標変換後の位置が重なるようにすることで完全に拘束することができる。
【００１１】
手段の一つとして平行でない複数点状光を投影する場合、点状光の軌跡は複数直線となるので、この軌跡上にターゲットをおき、その位置を各ステレオカメラで計測することで、各ステレオカメラの座標系における複数直線の方程式が計算できる。複数セットのステレオカメラで同様に複数直線の方程式を計算し、それらが同一の組となる複数直線となるように拘束して相互の座標変換のパラメータ（平行移動３自由度および回転３自由度）を計算する。平行でない複数直線が共通という条件だけで完全な拘束が可能である。
【００１２】
手段の一つとして平行に近い複数点状光を投影する場合、点状光の軌跡は平行に近い複数直線となるので、この軌跡上にターゲットをおき、その位置を各ステレオカメラで計測することで、各ステレオカメラの座標系における平行に近い複数直線の方程式が計算できる。複数セットのステレオカメラで同様に直線の方程式を計算し、それらが同一の複数直線の組となるように拘束して相互の座標変換のパラメータ（平行移動３自由度および回転３自由度）を計算する。平行に近い複数直線が共通という条件だけでは、直線の接線方向の平行移動（１自由度）が残るので、これを解決するために隣接するステレオカメラの重複する計測範囲に最低１個の直線上にない点をおき、それを両側のステレオカメラで計測して座標変換後の位置が重なるようにすることで完全に拘束することができる。
【００１３】
上記の手段のすべてにおいて、校正に用いる計測点の正確な位置があらかじめ既知である必要はない。直線性評価の近似式は、あらかじめおおまかな座標変換によって近似的に直線とみなせる位置にある一つの点状光によって照射された点群に対して座標変換パラメータによる1次微分および2次微分可能な評価関数を与え、この結果、ニュートン法による計算を簡便にする。
【発明の効果】
【００１４】
本発明によって複数のステレオカメラ間の高精度な座標変換パラメータが得られることにより、大きな対象物に対しても高精度な三次元計測が可能となる。
また、直線性を評価する関数により、座標変換パラメータにより一次および二次微分可能な簡便な直線性評価が行え、ニュートン法による近似が可能になる。
【発明を実施するための最良の形態】
【００１５】
［実施形態1］
図３は、線状光9を投影した複数ステレオカメラの統合方法を示した図である。左側に線状光光源Lがあり、数セットのステレオカメラCi(i=0,..n-1)(iはステレオカメラの番号)の計測範囲を横切る形で投影されている。光源には線状光9を投影できるものであれば種類を問わないが、遠くまで安定したビームを投影するためにはレーザー光が望ましい。
【００１６】
それぞれのステレオカメラはあらかじめ単体で校正が済んでおり、計測範囲内の画像から三次元座標を計算可能なパラメータが得られている。図３には複数のステレオカメラが並んでいるが、これは一台のステレオカメラを移動してもよい。各々のステレオカメラで線状光9によって照射された三点以上の被照射点Piの三次元座標を計測する。図において、３は、単独ステレオカメラによる３次元計測結果を示し、４は、統合結果を示している。
【００１７】
また、隣り合うステレオカメラの共通視野に入るように二点以上の計測点Qiを置き、三次元座標を計測する。この計測点は線状光9によって照らされた点である必要はない。ただし、これらの点は線状光が構成する平面の法線方向に並んでいてはいけない。
ステレオカメラごとに座標変換のパラメータ（６自由度）を用意し、それらによって変換された点が平面上に並ぶもっとも適した値を計算する。たとえば、誤差評価関数をSとすると、
S = w0*S0 + w1*S1
ただし、S0は座標変換後のPiが平面とどれだけ離れたかを評価する関数、S1は別のステレオカメラによって計測された計測点Qiの対応するもの同士の座標変換後の距離を評価する関数である。w0およびw1は重み係数である。PiとQiは一部を共通にすることができる。すなわち、Piの点のいくつかを計測範囲の共通部分におき、Qiの点として計算に使う。
【００１８】
［実施形態2］
図４は、１点状光を投影した複数ステレオカメラの統合方法を示した図である。左側に点状光光源Lがあり、ステレオカメラの計測範囲を横切る形で投影されている。光源には点状光を投影できるものであれば種類を問わないが、遠くまで安定したビームを投影するためにはレーザー光が望ましい。それぞれのステレオカメラはあらかじめ単体で校正が済んでおり、計測範囲内の画像から三次元座標を計算可能なパラメータが得られている。図には複数のステレオカメラが並んでいるが、これは一台のステレオカメラを移動してもよい。
【００１９】
各々のステレオカメラで点状光によって照射された二点以上の被照射点Piの三次元座標を計測する。この際、光線をさえぎる位置にスクリーンとなる物体をおいてそれを順次移動させてもよいし、光線が煙などを通過するようにして光線の軌跡を可視化してもよい。また、隣り合うステレオカメラの共通視野に入るように一点以上の計測点Qiを置き、三次元座標を計測する。ただし、これらの点は点状光上にあってはいけない。ステレオカメラごとに座標変換のパラメータ（６自由度）を用意し、それらによって変換された点が平面上に並ぶもっとも適した値を計算する。たとえば、誤差評価関数をSとすると、
S = w0*S0 + w1*S1
ただし、S0は座標変換後のPiが直線とどれだけ離れたかを評価する関数、S1は別のステレオカメラによって計測された計測点Qiの対応するもの同士の座標変換後の距離を評価する関数である。w0およびw1は重み係数である。
Qiは直線上にない点なので、PiとQiは共通にすることができない。
【００２０】
［実施形態3］
図５は、平行でない２点状光を投影した複数ステレオカメラの統合方法を示した図である。左側に点状光光源が二個(Lk(k=0,1))あり、ステレオカメラの計測範囲を横切る形で投影されている。光線は計測範囲内で光線間の間隔が十分に変化する程度に交差する角度がついている。光源には点状光を投影できるものであれば種類を問わないが、遠くまで安定したビームを投影するためにはレーザー光が望ましい。
【００２１】
それぞれのステレオカメラはあらかじめ単体で校正が済んでおり、計測範囲内の画像から三次元座標を計算可能なパラメータが得られている。図には複数のステレオカメラが並んでいるが、これは一台のステレオカメラを移動してもよい。
各々のステレオカメラで点状光によって照射された二点以上の被照射点Pi,kの三次元座標を計測する。この際、光線をさえぎる位置にスクリーンとなる物体をおいてそれを順次移動させてもよいし、光線が煙などを通過するようにして光線の軌跡を可視化してもよい。ステレオカメラごとに座標変換のパラメータ（６自由度）を用意し、それらによって変換された点が平面上に並ぶもっとも適した値を計算する。たとえば、誤差評価関数をSとすると、
S = w0*S0 + w1*S1
ただし、S0は直線0上の座標変換後のPi,0が直線0とどれだけ離れたかを評価する関数、S1は直線1上の座標変換後のPi,1が直線1とどれだけ離れたかを評価する関数である。w0およびw1は重み係数である。
【００２２】
この例では光源の数は二個であるが、それより多くてもよい。その場合、Sの式の項数は光源の数だけ増える。また、その場合、すべてのステレオカメラの計測範囲をすべての光線が横切る必要はないが、すべてのステレオカメラの計測範囲に最低二本の光線が横切り、かつおのおのの光線は最低二セットのステレオカメラの計測範囲で観測され、かつステレオセットの集合を任意の二つの集合に分けたときに両方の集合で計測可能な光線が最低二本ある必要がある。
【００２３】
［実施形態4］
図６は、平行に近い２点状光を投影した複数ステレオカメラの統合方法を示した図である。左側に点状光光源が二個(Lk(k=0,1))あり、ステレオカメラの計測範囲を横切る形で投影されている。光線10は計測範囲内で平行に近い配置になっている。光源には点状光を投影できるものであれば種類を問わないが、遠くまで安定したビームを投影するためにはレーザー光が望ましい。
【００２４】
それぞれのステレオカメラはあらかじめ単体で校正が済んでおり、計測範囲内の画像から三次元座標を計算可能なパラメータが得られている。図には複数のステレオカメラが並んでいるが、これは一台のステレオカメラを移動してもよい。各々のステレオカメラで点状光によって照射された二点以上の被照射点Pi,kの三次元座標を計測する。この際、光線をさえぎる位置にスクリーンとなる物体をおいてそれを順次移動させてもよいし、光線が煙などを通過するようにして光線の軌跡を可視化してもよい。
【００２５】
また、隣り合うステレオカメラの共通視野に入るように一点以上の計測点Qiを置き、三次元座標を計測する。
ステレオカメラごとに座標変換のパラメータ（６自由度）を用意し、それらによって変換された点が平面上に並ぶもっとも適した値を計算する。たとえば、誤差評価関数をSとすると、
S = w0*S0 + w1*S1+ w2*S2
ただし、S0は座標変換後のPi0が直線0とどれだけ離れたかを評価する関数、S1は座標変換後のPi1が直線1とどれだけ離れたかを評価する関数、S2は別のステレオカメラによって計測された計測点Qiの対応するもの同士の座標変換後の距離を評価する関数である。w0, w1およびw2は重み係数である。Qiは任意の場所におくことができ、PikとQiは共通にすることができる。
【００２６】
［実施形態5］
直線性を評価する式の近似方法を用いるときは、直線をあてはめようとする点列が十分に直線に近い状態にする。その状態で点列の共分散行列Aを次のように計算する。
【数１】
0005311365.tif 000002
ただし、
【数２】
0005311365.tif 000003
である。３ｘ３行列である共分散行列Aの固有値をλ0、λ1およびλ2とすると、それらは点列の３つの主軸方向の分散と等しい。したがって、λ0＞λ1＞λ2であれば、点列が十分に直線に近ければλ0＞＞λ1＞λ2という近似がなりたつ。この近似が成り立つ範囲では、
b1=-(λ0+λ1+λ2)≒-λ0
b2=λ0λ1+λ1λ2+λ2λ0≒λ0(λ1+λ2)
であるので、請求項にある-b1/b2 は、λ1+λ2と近似できる。幾何学的には、この量は点列からあてはめた直線までの距離の二乗和と等価になる。
【産業上の利用可能性】
【００２７】
本発明は、巨大な建造物、たとえば橋、飛行機、船、鋼材、などの製品の計測や検査に適用できる。
【図面の簡単な説明】
【００２８】
【図１】複数ステレオカメラによる計測例を示した図である。
【図２】従来法による隣接するステレオカメラの計測結果の統合時に発生する誤差を示した図である。
【図３】線状光を投影した複数ステレオカメラの統合方法を示した図である（実施形態１）。
【図４】１点状光を投影した複数ステレオカメラの統合方法を示した図である（実施形態2）。
【図５】平行でない２点状光を投影した複数ステレオカメラの統合方法を示した図である（実施形態3）。
【図６】平行に近い２点状光を投影した複数ステレオカメラの統合方法を示した図である（実施形態4）。
【符号の説明】
【００２９】
２  巨大対象物体
３  単独ステレオカメラによる３次元計測結果
４  統合結果
９  線状光
１０  点状光
Ci  ステレオカメラ
Qi  共有計測点
Pi  被照射点
L、Li  線状光源又は点状光源
【図１】
0005311365.tif 000006
【図２】
0005311365.tif 000007
【図３】
0005311365.tif 000008
【図４】
0005311365.tif 000009
【図５】
0005311365.tif 000010
【図６】
0005311365.tif 000011