(57)【要約】      （修正有）【課題】撮像装置に入射する光線軌跡を検出して撮像装置の位置と方位を校正する手段を提供すること。【解決手段】撮像系校正装置は，２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する画像入力手段と，該パターン板に固定構造化パターンもしくは時系列変化するパターンを表示する為のパターン発生手段と，該画像入力して得た観測画像の少なくとも２点以上の画素に対応する該各パターン板上の対応位置を同定する対応付け手段を有し，かつ，該各画素に対応する該各パターン板の位置を使って該各画素への光路軌跡を算出する光線算出手段と，該光路軌跡を使って該撮像装置の外部パラメータもしくは内部パラメータもしくは両パラメータを校正するパラメータ算出手段を備えたことを特徴とする。【選択図】図１
2009069135.tif 000002
【特許請求の範囲】
【請求項１】
２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する画像入力手段と，該パターン板に固定構造化パターンもしくは時系列変化するパターンを表示する為のパターン発生手段と，該画像入力して得た観測画像の少なくとも２点以上の画素に対応する該各パターン板上の対応位置を同定する対応付け手段を有し，かつ，該各画素に対応する該各パターン板上の位置を使って該各画素への光路軌跡を算出する光線算出手段と，該光路軌跡を使って該撮像装置の外部パラメータもしくは内部パラメータもしくは両パラメータを校正するパラメータ算出手段を備えたことを特徴とする撮像系校正装置
【請求項２】
請求項１に記載の画像入力手段は，１枚のパターン板を移動して２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する手段，もしくは，複数のパターン板を順次変更して２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する手段，もしくは，少なくとも１つが光透過性を有する複数のパターン板を設置して２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する手段，もしくは，複数のパターン板を設置しておき，光学部品を使って該複数のパターン板のパターンを同時にもしくは切り替えて画像入力するものであることを特徴とする撮像系校正装置
【請求項３】
請求項２に記載の光学部品はミラーもしくはハーフミラーもしくはプリズムであることを特徴とする撮像系校正装置
【請求項４】
請求項１に記載のパターン発生手段により発生されるパターンは少なくとも部分的には周期的パターンであって，該周期パターンの位相は時系列に変化するものであることを特徴とし，かつ，請求項１に記載の撮像装置は位相の変化に伴い時系列に画像入力する手段を有することを特徴とする撮像系校正装置
【請求項５】
請求項１に記載の画像入力手段は、形状と置かれた位置が予め既知である光学部品を構成部品の一つとして兼ね備えられ，請求項１に記載の撮像装置は該光学部品を介してパターン板の虚像を観測し画像入力するものであることを特徴とする撮像系校正装置
【請求項６】
請求項１に記載の内部パラメータはレンズの光学歪パラメータを含むことを特徴とする撮像系校正装置
【請求項７】
請求項４に記載の周期パターンは鋸状波形パターンであることを特徴とする撮像系校正装置
【請求項８】
請求項１に記載の画像入力手段と，パターン発生手段と，対応付け手段と，光線算出手段と，パラメータ算出手段の，少なくとも１つの手段を実現するためのプログラムが記録されていることを特徴とする記録媒体
【発明の詳細な説明】
【技術分野】
【０００１】本発明は撮像装置の位置方位歪等の外部および内部パラメータの校正手段に関するものである。
【背景技術】
【０００２】  ２次元撮像機器（簡単の為，以下，カメラと総称する）の位置，方位は外部パラメータと呼ばれ，その校正は立体視計測の際には必須のものである。従来は，表面に点や格子が書かれたマーク板を予め決めた位置に設置し，そのマーク板をカメラで撮像し，仮定または計算により推定したカメラパラメータを使って算出されるマーク板画像のマーク座標が実画像上のマーク座標と一致するようにカメラパラメータを逐次近似計算で求めていた。しかし初期値の与え方によっては大きな誤差が発生し，また処理時間もかかる欠点がある。又，内部パラメータ，特に歪パラメータが予め既知である必要がある。このため，遂次近似計算ではなく，行列の最小自乗近似を使う解析的手法が開発され，現在は主にこれが利用されている。この解析的手法では，外部パラメータを内部パラメータからは独立に校正することが出来ないと言う最大の欠点がある。このため，内部パラメータを固定したままで外部パラメータを求めることが出来ない。換言すれば，実画像上の雑音，マーク板上のマーク位置の物理的誤差，さらに画像上でのマーク位置の読み取り誤差により，外部パラメータ算出誤差が少なからず発生し，その誤差を内部パラメータが吸収する形となる。すなわち，カメラ本体だけを移動したのに移動の度に，絶対に変るはずのない内部パラメータが変化する結果となる。理想的シミュレーション上ではおそらく現れないことであるが，実画像を使った実用面ではしばしばこの問題が発生している。このように，従来は，内部パラメータとは独立に外部パラメータを校正することが出来ず，校正精度が不安定であるという問題があった。また，従来の校正方法により校正されたカメラを使って立体視計測をすると校正誤差により物体の絶対位置に大きな計測誤差が発生することがしばしばあった。
【発明の開示】
【発明が解決しようとする課題】
【０００３】本発明は撮像装置に入射する光線軌跡を検出して撮像装置の位置と方位を校正する手段を提供することを目的とする。
【課題を解決するための手段】  撮像系校正装置は，２ヶ所以上でのパターン板のパターンを撮像装置により観測して画像入力する画像入力手段と，該パターン板に固定構造化パターンもしくは時系列変化するパターンを表示する為のパターン発生手段と，該画像入力して得た観測画像の少なくとも２点以上の画素に対応する該各パターン板上の対応位置を同定する対応付け手段を有し，かつ，該各画素に対応する該各パターン板の位置を使って該各画素への光路軌跡を算出する光線算出手段と，該光路軌跡を使って該撮像装置の外部パラメータもしくは内部パラメータもしくは両パラメータを校正するパラメータ算出手段を備えている。
【発明の効果】  画像上の各画素に入射する光線のレンズ入射までの光線軌跡を算出できるため、レンズ歪に依らずにレンズ主点位置と方位を知ることが出来る。また、光線のレンズ主点付近での光線の収束性を見える形で知ることが出来る。また、光線軌跡と画素との対応が定量的に明確な為、レンズ歪をも求めることが出来る。
【発明を実施するための最良の形態】
【実施例】
【０００５】本発明の第１の実施例を第１図を用いて説明する。左側にカメラ１が置かれ，右側の２箇所にパターン板２，３が置かれている。パターン板２，３には，パターン発生装置４により生成された構造化パターンが表示されており，カメラ１で観測される。パターン発生装置４として使われる代表的な例はパソコンである。また，パターン板２，３の実例はパソコンの液晶モニタである。観測される像は画像入力装置５で入力保存され，処理装置６により校正のための処理が実行される。【０００６】画像上の画素（ｉ，ｊ）に対応するパターン板２，３上のパターン位置ｐ１，ｐ２は処理装置６内の対応点処理部により求められる。一方、対応点ｐ１，ｐ２を通過した光はレンズ７の主点を通ってセンサ８上の位置（ｓ１，ｓ２）に入射する。センサ上の位置と画像上の画素の座標は１対１に対応しており，観測された画像点座標（ｉ，ｊ）からセンサ上の位置（ｓ１，ｓ２）を求めることができる。そこで、以降，画像上の画素（ｉ，ｊ）に対応するセンサ上の位置（ｓ１，ｓ２）に入射することを、説明を簡単にするため、単に画素（ｉ，ｊ）に入射すると表現することとする。画素（ｉ，ｊ）に入射した光の光線方程式はｐ１，ｐ２を通過する直線として処理装置６内の光線算出部で算出される。このように各画素に入射する光の光線軌跡を特定することが出来る。【０００７】処理装置６での校正値算出部の処理内容を説明する。カメラの光軸を画素（ｉ０，ｊ０）に対応する光線方向とすれば（ｉ０，ｊ０）に入射する光線軌跡の方向がカメラの光軸であり，その方向がカメラの方位となる。この結果，第１図のＸ，Ｚ各軸周りの回転角が決定される。（ｉ０，ｊ０）は光軸点と呼ばれる。説明の都合上，以降，ｉ０＝ｊ０＝０とする。この光線軌跡に誤差があると心配される場合には光軸点近接する複数の画素の光線軌跡を使って光軸を決定する。次に，Ｙ軸周りの回転を求めるため，先ず，カメラ方位をワールド座標の軸，図ではＹ軸に一致するようにカメラ方位を回転移動する。そして，カメラの（０，０）を通る縦または横座標軸上の各画素に入射する光線が光軸上の１断面を切る切断点を算出する。その切断点はある直線上に乗っているので，その直線式を算出する。その直線と，第１図上でのＺまたはＸ軸となす角度がカメラの光軸周りの回転角となる。以上により，外部パラメータであるカメラ方位の世界座標軸周りの回転角を決定することが出来る。【０００８】各画素に入射する光線軌跡はレンズ主点で集束する。そこで，光軸に垂直な平面を作り，各光線軌跡がその平面を切る切断点位置を求めて，切断点分布を得る。そして，切断点のばらつきを算出する。このばらつき量として，分布の重心からの距離の和などを用いる。平面を光軸に沿って移動しながらバラつき量算出し、平面位置とばらつき量の関係を得る。その関係からばらつき量が最小になる平面位置を求め、そのときの平面とカメラ光軸との交点をレンズ主点として決定できる。【０００９】光軸に垂直な平面は一般に世界座標軸のどの軸にも方向が一致しないので，切断点を求める際に、予めカメラの光軸を世界座標系の１つの軸に一致するようにカメラ移動をしてからレンズ主点を求めることも叶野である。光線軌跡も移動しなければならない欠点があるが，交点算出は簡単になる利点がある。この場合について説明する。先ず，カメラ方位をＹ軸に一致するように移動・回転させる。このとき，各光線軌跡も同じ量だけ移動・回転操作をする必要がある。次に，Ｙ軸上のある位置ｑにおいてＹ軸に垂直な平面を作り，各光線が切る切断点の分布を得，切断点のばらつきを算出する。このばらつき量として分布の重心からの距離の和などを用いる。ばらつき量と位置ｑとの関係を求め，ばらつき量が最小になるｑの位置を算出する。次にカメラを先ほど移動・回転した順序とは逆に、同じ量だけ回転・移動してカメラの位置と方位を元に戻す。このとき，ばらつき最小位置ｑもカメラの回転・移動に伴い座標変換する。移動した先の位置がレンズ主点として決定される。【００１０】第２の実施例を，第２図を使って説明する。第１図ではパターン板２，３をカメラ１の前方に設置しなければならないといる制約があった。しかし，第２図では前方にミラー９を置いて，パターン板２，３を例えば図のようにカメラ１の横方向に設置することが出来る。カメラ１はミラー９を介してパターン板２，３上の各パターンの虚像を観測する。光線軌跡は虚像からの光線として算出することが出来る。パターン板を固定して置きたいときや，場所が狭くてパターン板を自由に動かせない場合に，この構成が都合よい。ミラーの代わりにハーフミラーやプリズムを使用できることは言うまでもない。【００１１】第３図は本願の撮像系校正装置を使って物体計測した実施例を表している。カメラ１と１１を、パターン板２，３を使用して前記した手順で校正した後に，物体１２の位置，形状を立体視計測した物体計測装置の実例である。【００１２】第４図はパターン板上のパターンの横方向断面分布の一部の実例を示したものである。横方向に正弦波または鋸状の縞状繰り返しパターン波形を表示している。その位相をシフトしながらパターン画像を入力する。これにより画像上の横方向の位置のパターン板横方向対応位置が決定できる。また，同様に縦方向に正弦波または鋸状の縞状繰り返しパターン波形を表示して，縦方向の対応位置がわかる。両者を合成すると，パターン板上の各位置において画像上の対応点が算出できる。横縞と縦縞を色などにより区別したうえで組み合わせてパターンを表示しパターン板と画像とを対応付けすることも可能である。この実例では，構造化パターンを局部パターン形状や色分布構造を使って構成し対応点処理する方法に比べ，対応点の位置分解能が高いという特徴がある。なお、繰り返しパターンは正弦波や鋸波に限定されない。位相検出できる繰り返しパターンであれば良い。【００１３】説明の簡単化のためレンズは単レンズを仮定する。レンズに入射し画像センサの各画素に入る光線のレンズ入射前の各光線はパターン板２枚により同定される。このため，レンズ主点はレンズ歪に無関係に決定できる。また，もしもレンズ歪がない場合には各画素に対するレンズ前の入射光線を画像センサに直線延長しセンサとの交点を得れば，それが対応する画素の位置に一致する。しかしレンズ歪があるとセンサ上の交点と画像上の画素との対応が一致しなくなる。この位置ずれから歪係数を算出することが出来る。【００１４】レンズに入射してから画素に至る光線軌跡は通常のカメラでは不可能であるが，予めレンズ構成や構成光学部品の形状等が分かっている場合には入射方向と入射位置および画素位置を使ってレンズへの光線入射後の光線軌跡を算出することが可能である。このことはレンズの検査のみならず，レンズと一緒に組み合わされた光学部品あるいはレンズ以外の光学部品だけで構成された光学系の検査に有用であることは明らかである。【００１５】第１〜３図で示した実施例では撮像装置として光学カメラを用いたが、赤外線カメラ、Ｘ線カメラなどの２次元センサに適用可能なことは言うまでもない。また、パターン板は２枚に限らない。各光線軌跡を得るときに、雑音や、サンプリング誤差、量子化誤差により精度が低下する。精度を上げるためにパターン板を増やすことは有効である。【００１６】第４図に記載した実施例では画像とパターン板の対応点処理のため鋸状パターンを表示して処理したが、必ずしも鋸波形でなくても良い。例えば正弦波パターンであっても構わない。また、対応点処理対象となる画素数は任意であってよい。但し、精度を上げるには多くの画素を使用したほうが良い。逆に最小は理論上は２画素である。【００１７】  対応点処理の方法として、実施例では位相シフト法を使用した。この代わりに、構造化パターンを表示し、観測されるパターンの構造を比較して対応付けすることが出来る。また、時系列にストライプまたは区間分けしたパターンを変更する時系列コード化パターンを使うことも出来る。【００１８】  レンズ主点位置と方位がレンズ歪に依らずに求められた。このため、パターン板からの各光線の実際の画像上の位置と歪がない場合の算出位置を比較することにより、レンズ歪を検出することが出来る。【００１９】本願の撮影系校正装置では，パターン発生のためのソフトウェア，入力した画像から校正パラメータを算出するソフトウェアを有し，これらソフトウェアは撮影系校正にとって極めて重要である。それに伴い，これらソフトウェアを保存した記録媒体を管理保守することが求められることは言うまでもない。
【産業上の利用可能性】本発明は撮像系を使って計測・表示するのに必須の校正法であるため、産業上の利用可能性が高い。
【図面の簡単な説明】第１図は、本発明の第１の実施例を説明するための図である。第２図は、本発明の第２の実施例を説明するための図である。第３図は、本発明の撮像系校正装置を使って物体計測した実施例を示した図である。第４図は、パターン板上のパターンの横方向断面分布の一部の実例を示した図である。
【符号の説明】
１：    カメラ２、３：パターン板４：    パターン発生装置５：    画像入力装置６：    処理装置７：    レンズ８：    センサー９：    ミラー１１：  カメラ１２：  物体
【図１】
2009069135.tif 000003
【図２】
2009069135.tif 000004
【図３】
2009069135.tif 000005
【図４】
2009069135.tif 000006