(57)【特許請求の範囲】
【請求項１】
少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートを、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する抽出部と；前記抽出部にて抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部と；前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める精密マーク位置測定部と；前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記カメラのキャリブレーション要素を算出する演算処理部と；を備え、
前記第１マークは、前記キャリブレーション用チャートを４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置された、
キャリブレーション装置。
【請求項２】
前記概略マーク位置測定部は、射影変換により前記第２マークの概略位置を求めるように構成した請求項１記載のキャリブレーション装置。
【請求項３】
前記精密マーク位置測定部は、テンプレートマッチング又は重心位置検出の少なくとも一方を用いて、前記第２マーク位置を決定するように構成した請求項１又は請求項２に記載のキャリブレーション装置。
【請求項４】
前記演算処理部は、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、当該第２マークにおけるディストーションを演算する請求項１ないし請求項３の何れか１項に記載のキャリブレーション装置。
【請求項５】
前記演算処理部は、前記レンズのキャリブレーション要素を算出する際に、精密マーク位置測定部によって位置が算出された第２マークのうち適切な第２マークを選択するように構成した請求項１ないし請求項４の何れか１項に記載のキャリブレーション装置。
【請求項６】
前記キャリブレーション要素は、前記レンズの焦点距離、主点位置、前記レンズの歪曲パラメータの少なくとも一つを含む請求項１ないし請求項５の何れか１項に記載のキャリブレーション装置。
【請求項７】
さらに前記演算処理部で求めたキャリブレーション要素に基づき、前記キャリブレーションを行うカメラで撮影された画像を前記レンズ収差が補償された画像に修正する画像処理部を有する請求項１ないし請求項６の何れか１項に記載のキャリブレーション装置。
【請求項８】
さらにキャリブレーション要素又は前記第２マークにおけるディストーションを表示する表示部を有する請求項１ないし請求項７の何れか１項に記載のキャリブレーション装置。
【請求項９】
少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートを、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する第１ステップと；前記抽出された第１マークから射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置を求める第２ステップと；前記キャリブレーション用画像に対して、第２マークの概略位置近傍で第２マーク位置を正確に求める第３ステップと；前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記カメラのキャリブレーション要素を算出する第４ステップと；を有し、
前記第１マークは、前記キャリブレーション用チャートを４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置された、
キャリブレーション方法。
【請求項１０】
前記カメラのレンズは標準レンズ又は広角レンズであり；前記キャリブレーション用チャートには、相互に所定距離だけ離れた前記第１マークが設けられており；前記レンズにより前記キャリブレーション用チャートを撮影する際の撮影方向が、前記レンズの焦点距離を正確に算出できる角度として選定される；請求項９に記載のキャリブレーション方法。
【請求項１１】
前記レンズの撮影方向は；前記第１マークの一つを正面として撮影する第１の撮影方向と；前記第１マークと前記所定距離だけ離れた他の第１マークを正面にカメラ位置を設けて、且つ前記レンズの撮影方向を前記第１マークに前記レンズの光軸が向くようにする第２の撮影方向と；を含む請求項１０に記載のキャリブレーション方法。
【請求項１２】
前記レンズは望遠レンズであり；前記キャリブレーション用チャートには、相互に所定距離だけ離れた前記第１マークが設けられており；前記レンズによる前記キャリブレーション用チャートを撮影する位置として、前記レンズと前記キャリブレーション用チャートとの撮影距離を基準として略１／３程度の距離相当の間隔を前記レンズの光軸と直角方向に確保し；一方の撮影位置を第１の撮影方向とし、他方の撮影位置を第２の撮影方向として撮影する；請求項９に記載のキャリブレーション方法。
【請求項１３】
少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートであって；
前記第１マークは、前記キャリブレーション用チャートを４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置された、
カメラのキャリブレーションに使用されるキャリブレーション用チャート。
【請求項１４】
前記第１マークと第２マークは、平面型ディスプレイに表示される画像に表示される請求項１３に記載のキャリブレーション用チャート。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、カメラやデジタルカメラ等で撮影された画像のレンズ収差を補正する場合や画像により計測を行うのに用いられるキャリブレーション装置及び方法に関し、特にカメラの内部パラメータ｛例えば、レンズの主点位置、画面距離（焦点距離）、歪曲パラメータ等｝を簡易に測定できるキャリブレーション装置及び方法に関する。
また、本発明は、カメラの内部パラメータを簡易に測定するためのキャリブレーション装置やキャリブレーション方法に用いて好適な、平面的なキャリブレーション用チャートに関する。
【０００２】
【従来の技術】
従来から、写真測量や写真計測の分野では、収差の少ない画像を得ることが重要である。そこで、写真測量や写真計測の分野では、撮影用カメラのレンズとして収差が少ない高精度のレンズを使用している。さらに、写真測量分野では、精密に計測された３次元上に配置された多数の点を複数方向から計測することにより、カメラの内部パラメータ（主点位置、画面距離、歪曲パラメータ）を解析的に求めている。また、写真計測の分野で用いられる計測用カメラの場合は、製作されたカメラを精密に計測することにより、カメラの内部パラメータを求めている。
【０００３】
【発明が解決しようとする課題】
しかしながら、写真測量分野のように精密に計測された３次元上の測定点を撮影計測して、カメラ内部パラメータを求める方法では、以下の課題がある。
▲１▼３次元上に測定点（ターゲット）が配置されている。そこで、複数方向から撮影すると死角が生じて、画像間でみえないターゲットが生じる。
▲２▼撮影された画像において、３次元上の測定点相互の位置関係に逆転が生じる場合があり、測定点の計測や各画像間の対応付けが困難で、自動化できない。
▲３▼そこで、相当の熟練をした作業員により、測定点の計測や各画像間の対応付けを行っている。すると、カメラの内部パラメータを得るために、高額のコストと長時間の作業が必要となってくる。
また、製作された計測用カメラを精密に計測する方法も、専用の冶工具が必要なだけでなく、熟練を要し特殊な設備のある機関でしか計測できず、計測専用カメラとして高価になるという課題がある。
【０００４】
そこで、近年では、３次元上の測定点に代わるものとして、シートに印刷された２次元の測定点を計ることにより、レンズ収差を計測するキャリブレーション方式が提案されている。しかし、シートに印刷された測定点を計測することによりレンズ収差を求める方法は、測定点が２次元状に配置されているために、計測できるパラメータがレンズ収差に限られている為、レンズの焦点距離が測定できないという課題がある。レンズの焦点距離は、立体視できる画像の組を用いて３次元計測を行う場合に必要なパラメータである。また、２次元の測定点を用いてレンズの焦点距離を算出する計算式も存在しているが、精度が不安定で、レンズの焦点距離を安定して正確に計測することが困難であるという課題があった。
【０００５】
さらに、シートに印刷された２次元の測定点を撮影して、立体視できる画像の組を撮影するレンズのレンズ収差を計測した場合に、測定された各種パラメータにキャリブレーションに過誤が発生している場合がある。しかし、キャリブレーションの過誤を発見することは、２次元の測定点を印刷したシートを用いたのでは困難であるという課題があった。
【０００６】
本発明の第１の目的は、上述する課題を解決したもので、汎用のカメラやデジタルカメラにおいて、レンズ収差を補正するのに必要な内部パラメータを簡便に測定できるキャリブレーション装置及びキャリブレーション方法を提供することである。
また、本発明の第２の目的は、カメラの内部パラメータを簡易に測定するためのキャリブレーション装置やキャリブレーション方法に用いて好適な、平面的なキャリブレーション用チャートを提供することである。
【０００７】
本発明のキャリブレーション装置は、第１の目的を達成するもので、図１及び図２に示すように、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャート１を、キャリブレーションを行うカメラ２で、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する抽出部４と、抽出部４にて抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部５と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める精密マーク位置測定部６と、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、カメラ２のキャリブレーション要素を算出する演算処理部７とを備え、前記第１マークは、キャリブレーション用チャート１を４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置されている。
【０００８】
このように構成された装置においては、キャリブレーションを行うカメラ２で、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャート１を少なくとも２方向から撮影したキャリブレーション用画像を用意する。抽出部４は、キャリブレーション用画像から第１マークを抽出する。概略マーク位置測定部５は、第１マークを用いた射影変換により、キャリブレーション用画像における前記第２マークの概略位置を求める。精密マーク位置測定部６は、第２マークの概略位置近傍で第２マーク位置の撮影されている位置を求める。レンズ収差の影響は第２マーク位置毎に違うため、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置とに違いを生じるためである。演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応するキャリブレーション用画像における第２マークの位置から、レンズのキャリブレーション要素を算出する。このキャリブレーション要素を用いるとカメラ２に対するレンズ収差補償を含んだキャリブレーションが行える。
【０００９】
好ましくは、本発明の概略マーク位置測定部２は、射影変換により第２マークの概略位置を求めるように構成されていると、第２マークの概略位置が射影変換によって簡単に求められる。なお、カメラ２のレンズ収差は、概略マーク位置測定部５で概算された位置と現実のキャリブレーション用画像上の位置との違いとして現れる。
【００１０】
好ましくは、本発明の精密マーク位置測定部６は、テンプレートマッチング又は重心位置検出の少なくとも一方を用いて、第２マーク位置を決定するように構成されているとよい。第２マークが不定形の形状であったり、キャリブレーション用画像上で不鮮明に写っている場合には、第２マークの重心位置を用いることで、第２マーク位置が安定して正確に得られる。
【００１１】
好ましくは、本発明の演算処理部７は、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、当該第２マークにおけるディストーションを演算するように構成されているとよい。ここで、ディストーションとは結像位置の偏差、レンズに現れるザイデルの５収差等による歪である。
【００１２】
好ましくは、本発明の演算処理部７は、前記レンズのキャリブレーション要素を算出する際に、精密マーク位置測定部によって位置が算出された第２マークのうち適切な第２マークを選択するように選択するように構成されているとよい。この第２マークの選択には、例えばバンドル調整法を用いるのが良い。バンドル調整法によれば、各撮影位置のカメラの外部標定要素を求めることと、第２マークの位置が適切なものと不適切なものとの分別を同時に行うことが可能となる。
【００１３】
好ましくは、本発明のキャリブレーション要素は、前記レンズの焦点距離、主点位置、前記レンズの歪曲パラメータの少なくとも一つを含むように構成されているとよい。当該第２マークにおけるディストーションに寄与するのは、レンズの焦点距離、主点位置、或いはレンズの歪曲パラメータであるためである。
【００１４】
好ましくは、本発明のキャリブレーション装置は、さらに演算処理部７で求めたキャリブレーション要素に基づき、キャリブレーションを行うカメラで撮影された画像を前記レンズ収差を補償した画像に修正する画像処理部８を有するように構成されているとよい。画像処理部８を設けると、カメラで撮影する画像から、レンズ収差の影響を除去でき、特に立体視用写真のように僅かの像位置の歪みが大きな標高誤差として現れる分野に用いて好適である。
【００１５】
好ましくは、本発明のキャリブレーション装置は、さらにキャリブレーション要素又は前記第２マークにおけるディストーションを表示する表示部９を有するように構成されているとよい。表示部９を設けると、操作者にとって演算結果の良否が直感的に判断でき、便利である。
【００１６】
本発明のキャリブレーション方法は、第１の目的を達成するもので、図７に示すように、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャート１を、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する第１ステップ（Ｓ４０）と、前記抽出された第１マークから射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置を求める第２ステップ（Ｓ５０）と、前記キャリブレーション用画像に対して、第２マークの概略位置近傍で第２マーク位置を正確に求める第３ステップ（Ｓ６９）と、キャリブレーション用チャート１における第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記カメラのキャリブレーション要素を算出する第４ステップ（Ｓ９０）と、を有し、前記第１マークは、キャリブレーション用チャート１を４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置されている。
【００１７】
好ましくは、本発明のキャリブレーション方法において、例えば図５に示すように、カメラ２のレンズは各種レンズ（広角レンズ、標準レンズ、望遠レンズ）であり、キャリブレーション用チャート１には、相互に所定距離だけ離れた前記第１マークが設けられており、前記レンズによりキャリブレーション用チャート１を撮影する際の撮影方向が、前記レンズの焦点距離を正確に算出できる角度として選定されるとよい。
【００１８】
好ましくは、本発明のキャリブレーション方法において、例えば図５（Ａ）、図６に示すように、さらに各種レンズの撮影方向は、前記第１マークの一つ（Ｉ）を正面として撮影する第１の撮影方向と、前記第１マークと前記所定距離ｄだけ離れた他の第１マーク（II,III,IV,V）を正面にカメラ位置を設けて、且つ前記レンズの撮影方向を前記第１マーク（Ｉ）に前記レンズの光軸が向くようにする第２の撮影方向とを含むと、カメラ２に所望の角度を正確に付することができ、高さ（奥行き）方向の変化を確実にし、焦点距離を正確に算出できる。
【００１９】
好ましくは、本発明のキャリブレーション方法において、例えば図５（Ｂ）に示すように、前記レンズは標準レンズ又は望遠レンズであり、キャリブレーション用チャート１には、相互に所定距離だけ離れた前記第１マークが設けられており、前記レンズによるキャリブレーション用チャート１を撮影する位置として、前記第１マークの一つとしての正面（Ｉ）の位置を基準として、前記レンズとキャリブレーション用チャート１との撮影距離（Ｈ）の略１／３程度の間隔（Ｈ／３）がある、他の第１マークに対向する位置（II,III,IV,V）を選定する。そして、前記第１マークの一つとしての正面（Ｉ）を第１の撮影方向とし、他の第１マークの撮影位置（II,III,IV,V）において、それぞれ第１マーク（１ｅ）を向いた方向を第２乃至第５の撮影方向として撮影するとよい。
【００２０】
本発明のキャリブレーション用チャート１は、第２の目的を達成するもので、図２に示すように、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するキャリブレーション用チャートであって、前記第１マークは、キャリブレーション用チャート１を４区分に等分したときの各象限のうち少なくとも３つ以上の象限に分散して配置され、前記キャリブレーション用チャート上の前記第２マークの総数は、前記第１マークの総数より多く配置され、カメラのキャリブレーションに使用される。カメラのキャリブレーションとしては、例えば請求項１ないし請求項８の何れか１項に記載のキャリブレーション装置や、請求項９ないし請求項１２の何れか１項に記載のキャリブレーション方法がある。好ましくは、第１マーク及び第２マークは、略平面上に形成されると、キャリブレーション用チャートの取扱いが容易になる。好ましくは、第１マークと第２マークは、平面型ディスプレイ（例えば液晶ディスプレイ）に表示される画像に表示される構成とすると、平面型ディスプレイはシートに比較して伸縮性が極めて小さいため、第１マークと第２マークが平面型ディスプレイに正確に表示される。
【００２７】
【発明の実施の形態】
以下図面を用いて本発明を説明する。図１は本発明の第１の実施の形態を説明する全体構成ブロック図である。図において、キャリブレーション用チャートとしてのチャート１は、平面上のシートに第１マークと第２マークが印刷されている。第１マークは、概略マーク位置測定及び校正用写真組の画像相互の対応付けに利用されると共に、カメラ２がチャート１を撮影した撮影角度を決めるために利用される。第１マークは、チャート１の少なくとも３箇所に設けられるもので、好ましくはチャート１を４区分に等分したときの各象限に設けると良い。
【００２８】
第２マークは、カメラ２によって撮影されたチャート１の画像データの位置を指定するもので、ターゲットとも呼ばれており、好ましくは均等の密度で満遍なくチャート１に配置する。第２マークは、チャート１の３０箇所以上に設けられるのが好ましく、さらに好ましくは１００〜２００箇所程度にするとよい。しかし、第２マークを徒に多く設けると、第２マーク自体が小さくなって見難くなると共に、レンズ収差の測定演算時間も長くなるため、実際上の上限は存在しており、例えば１０００個である。
【００２９】
なお、チャート１は、平面シートに代えて、例えばノートパソコンのような平面的な表示画面を有する機器に、第１マークと第２マークが表示された平面シートの画像表示を用いてもよい。液晶表示画面のようにガラスを用いた画面は、紙やプラスチックに比較して湿度や温度による平面の伸縮が極めて少ないため、チャート１の表示装置として適している。また、液晶表示画面として携帯型パソコンの表示画面を用いると、表示精度がよい点に加えて、可搬性に優れているので、作業現場であっても防水や衝撃に注意すれば、通常の使用に耐える。チャート１の詳細については、後で説明する。
【００３０】
カメラ２は、キャリブレーションの対象となるカメラで、典型的には汎用の光学式カメラやデジタルカメラのように、レンズ収差が写真測量や写真計測用の撮影用カメラに比較して、大きいものである。カメラ２は、広角レンズや標準レンズでもよく、また望遠レンズを備えていても良い。画像データ記憶部３は、カメラ２によって撮影されたチャート１の画像データを記憶する記憶装置で、例えば磁気ディスク、ＣＤ−ＲＯＭのような電磁気的記憶媒体が用いられる。画像データ記憶部３に記憶される画像データは、チャート１をカメラ２にてステレオ視できるように撮影したステレオ画像データであることが好ましく、典型的には左撮影位置２Ｌと右撮影位置２Ｒの一組の撮影位置によって撮影されている。好ましくは、画像データ記憶部３では、カメラ２がチャート１を撮影した撮影角度が判別できる態様で校正用写真組の画像が記憶されているとよい。
【００３１】
キャリブレーション装置は、抽出部４、概略マーク位置測定部５、精密マーク位置測定部６、演算処理部７、画像処理部８、マーク座標記憶部１０並びにレンズ収差補償パラメータ記憶部１１を備えると共に、外部機器として画像データ記憶部３や表示部９を備えている。キャリブレーション装置には、例えばＣＰＵとしてインテル社製のペンティアム（登録商標）やセレロン（登録商標）を搭載したコンピュータを用いるとよい。
【００３２】
抽出部４は、画像データ記憶部３に格納される画像データから第１マークを抽出して、第１マークの画像座標値を求める第１マーク抽出処理を行う。第１マーク抽出処理は、概略マーク位置測定部５による第２マークの概略位置算出と対応付けの前処理として行われる。この第１マークの画像座標値は、マーク座標記憶部１０に記憶される。なお、第１マークが第２マークと共通の図柄を含んでいる場合には、第１マーク内の第２マーク位置によって第１マークの画像座標値とするとよい。抽出部４による第１マーク抽出処理の詳細は、後で説明する。
【００３３】
概略マーク位置測定部５は、抽出部４にて抽出された第１マークの画像座標値から射影変換を行って外部標定要素を求め、単写真標定の定理、並びに共線条件式を用いて、第２マークの概略位置を演算して、校正用写真組の画像相互の対応付けを行う。概略マーク位置測定部５による第２マークの概略位置演算処理の詳細は、後で説明する。
【００３４】
精密マーク位置測定部６は、校正用写真組の画像に対して第２マークの認識を行い、重心位置検出法等によって第２マークの位置を精密に演算する。演算処理部７は、精密マーク位置測定部６にて演算された第２マークの位置が、チャート１の画像データにおける他の第２マークの位置と著しい齟齬が生じていた場合には、齟齬の生じた第２マークの位置を除外する機能を有する。また、演算処理部７は、精密マーク位置測定部６にて演算された第２マークのうち、キャリブレーションに適切な第２マークを抽出して、外部標定要素と対象点座標を同時調整すると共に、カメラの内部パラメータを演算する。演算されたカメラの内部パラメータは、レンズ収差補償パラメータ記憶部１１に格納すると良い。カメラの内部パラメータには、主点位置、画面距離、歪曲パラメータがある。なお、ここでは歪曲パラメータのみを求めているが、ザイデルの５収差を構成する球面収差、コマ、非点収差、像面のそりについても、求めても良い。演算処理部７にて求められた内部パラメータは、表示部９にてグラフィック表示される。なお、精密マーク位置測定部６、並びに演算処理部７のカメラの内部パラメータ演算処理に関しての詳細は、後で説明する。
【００３５】
画像処理部８は、演算処理部７にて求められた内部パラメータを用いて、カメラ２によって撮影された画像（特に、チャート１以外の画像）のデータ画像を再配列する。すると、カメラ２によって撮影された画像が、レンズ収差の大部分が除去された歪の著しく少ない画像として、表示部９に表示される。表示部９は、ＣＲＴや液晶ディスプレイのような画像表示装置である。マーク座標記憶部１０には、第１マークの画像座標値が記憶されていると共に、第２マークの管理番号並びにその画像座標値が記憶されている。レンズ収差補償パラメータ記憶部１１には、演算処理部７にて演算されたカメラ２の内部パラメータが記憶されている。
【００３６】
次に、キャリブレーション用チャートとしてのチャート１について説明する。ここでは、チャート１として紙やプラスチックシートに所定のマークを印刷してある場合を例に説明するが、平面画面に所定のマークを配列した画像を表示するものでもよい。
図２は、キャリブレーション用チャートの一例を示す平面図である。チャート１は、平面的なシート形状であって、表側に視認容易な第１マークと多数の点から構成される第２マークが印刷されている。ここでは、第１マークはチャート１に総計５個配置されるもので、外形菱形で、中心部分に第２マークと共通の図柄が描かれている。第１マーク１ａ、１ｂ、１ｃ、１ｄは、チャート１を４象限に区分したとき、各象限に設けられるもので、第１マーク１ａは左上象限、第１マーク１ｂは右上象限、第１マーク１ｃは左下象限、第１マーク１ｄは右下象限に位置している。第１マーク１ｅは、各象限と共通となる原点位置に設けられている。例えば第１マーク１ａ、１ｂ、１ｃ、１ｄは、第１マーク１ｅに対して等距離ｄの位置に設けられている。チャート１が矩形であるとして、第１マーク１ａ、１ｂと第１マーク１ｅとの縦方向の間隔をｈ、第１マーク１ｃ、１ｄと第１マーク１ｅとの縦方向の間隔をｌとする。このとき、第１マーク１ａ、１ｂ、１ｃ、１ｄと第１マーク１ｅとの距離ｄは、以下の関係を充足する。
ｄ＝（ｈ２＋ｌ２）１／２                （１）
【００３７】
第１マークと第２マークは、予め所望の寸法で印刷するか、もしくは寸法を計測しておく。第１マークと第２マークの印刷位置の数値は、キャリブレーション装置のマーク座標記憶部１０に読込んで、概略マーク位置測定部５において概略位置測定と対応づけのために利用される。なお、チャート１は、コンピュータの記憶装置に画像データとして記憶させておき、キャリブレーションする場所において印刷して使用しても良い。第１マークと第２マークの位置は、予めキャリブレーション装置の中に記憶してあるものを使い、その記憶された座標にてシートに印刷すれば、計測作業は不要になるので作業は簡単なものになる。あるいは、チャート１を精密に計測して、第１マークと第２マークの座標位置を測定し、その座標値をマーク座標記憶部１０に格納して利用する構成としてもよい。
【００３８】
第１マークは、概略マーク位置測定及び対応付けに利用されるだけでなく、撮影方向を決める視標としても利用される。さらに、第１マークの外形菱形の中心部分は第２マークと共通の図柄とすることにより、精密マーク位置測定部６で精密測定する際のテンプレートとして使用される。
【００３９】
図３は第１マークの一例を示す説明図で、（Ａ）は菱形、（Ｂ）は４本の矢印、（Ｃ）は黒塗り矩形を示している。図３（Ａ）、（Ｂ）では、第１マークは第２マークと共通の図柄を囲むように菱形又は４本の矢印を配置し、作業者にとって視認容易になるように配慮してある。このように視認容易な図柄とすることで、第１マークの抽出が容易なものとなると共に、カメラ２の撮影方向として広い撮影角度の中から一つの撮影角度を選択しても、撮影された画像から第１マークを見逃すことがない。図３（Ｃ）では、第１マークは黒塗り矩形とし、中心部の図柄は第２マークとは反転した色彩になっているが、このようにしても検出は容易である。また、精密マーク位置測定部５にて測定する際にも、図３（Ｃ）の図柄に対しては、第１マークの階調を反転することにより、第２マークのテンプレートとすることができる。
【００４０】
図４は第２マークの一例を示す説明図で、（Ａ）は黒丸『●』、（Ｂ）はプラス『＋』、（Ｃ）は二重丸『◎』、（Ｄ）は英文字『Ｘ』、（Ｅ）は星印『★』、（Ｆ）は黒塗り四角『■』、（Ｇ）黒塗り三角形『▲』、（Ｈ）は黒塗り菱形『◆』を示している。第２マークは、チャート１に満遍なく多数配置されるので、精密位置計測のしやすいものであれば、各種の図柄を採択して良い。
【００４１】
続いて、キャリブレーション対象となるカメラ２によって、チャート１を撮影する手順について説明する。図５はレンズ収差を計測する場合のカメラ配置を説明する図で、（Ａ）はカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのカメラ間隔を示した図である。チャート１を異なる撮影角度から撮影した画像として、２枚以上の画像があれば、キャリブレーションが可能となる。好ましくは、チャート１としてシートに印刷された平面チャートを用いる場合には、３以上の撮影角度方向から撮影することによって、各キャリブレーション要素、特に焦点距離、の測定値が安定し、かつ信頼性の高いものになる。
【００４２】
各種レンズのレンズ収差を計測する場合は、図５（Ａ）に示すような５方向、即ち正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）から撮影する。カメラ２の光軸と平面チャートとの撮影入射角は、実際の撮影現場での奥行き精度を１ｃｍ程度に設定すると、１０度〜３０度の範囲が好ましく、他方レンズの焦点深度との関係でピントの合う距離も限られていることも考慮すると、１２度〜２０度の範囲がさらに好ましい。典型的には、カメラ２の光軸と平面チャートとの撮影入射角として１５度を採用するとよい。
【００４３】
以下、図６を参照して各種レンズのカメラによるチャート１の撮影手順を説明する。図６は、（Ａ１）、（Ａ２）、（Ａ３）、（Ａ４）にてカメラの画像を示し、カメラ画像に対応するチャート１とカメラ２の位置関係を（Ｂ１）、（Ｂ２）、（Ｂ３）、（Ｂ４）にて示している。なお、番号（Ｉ）〜（Ｖ）は図５（Ａ）のカメラ位置に対応している。
【００４４】
（Ｉ）：正面から、チャート１の第１マークと第２マーク全てが一杯に入るよう撮影する（図６（Ａ１）、（Ｂ１））。第１マークと第２マークをなるべく一杯に、撮影画像のすみまでいれることにより、レンズ周辺部までのディストーション補正が確実になる。そこで、カメラの焦点距離に応じて、撮影距離Ｈが変化する。
（II）：次に、一般的に標準レンズ及び望遠レンズを使用した場合、正面のカメラ位置を中心として、撮影距離Ｈの１／３程度離れた位置にカメラを移動させて、例えば左上象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える（図６（Ａ２）、（Ｂ２））。但し、一般的に広角レンズを使用した際に、撮影距離Ｈが約１ｍ以内の場合は、カメラ位置は目的とする第１マークが正面に来るようにカメラ２を移動させればよい。そして、カメラ２のカメラ位置をそのままにして、中央にある第１マーク１ｅが中心となるようにカメラ２の方向を向ける（図６（Ａ３）、（Ｂ３））。次に、カメラ２をチャート１に近づけるように移動して、カメラ２の撮影画像に対して第１マークと第２マークが一杯に入るようにして撮影する（図６（Ａ４）、（Ｂ４））。
【００４５】
（III）：右上象限の第１マーク１ｂが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。（IV）：左下象限の第１マーク１ｃが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
（Ｖ）：右下象限の第１マーク１ａが撮影中心となるようにカメラ位置を変える。そして、カメラをそのまま中央にある第１マーク１ｅが中心となるようにカメラの方向を向け、第１マークと第２マークが一杯に入るようにして撮影する。
このような手順によって、カメラ２の角度が必要な撮影角度の差として確保できるので、焦点距離が確実に測定できるようになる。
【００４６】
次に、チャート１としてシートに印刷された平面チャート、又は表示した平面的画面を用いる場合における、第１マークを利用した撮影手順の利点について説明する。通常、平面のシートに印刷されたマークを撮影する場合、カメラ２に所望の角度がつけられないため、結果として画面距離（焦点距離）を正確に求めることができない。即ち、焦点距離方向（高さ、奥行き方向）に変化がないと、カメラの内部パラメータの計算値には拘束するものがないので、カメラの内部パラメータが算出されても著しく信頼性のないものとなる。そこで、三次元状に配置されたターゲットを計測して焦点距離を求めるのであるが、三次元状に配置されたターゲットは『発明が解決すべき課題』の欄で述べたように、計測が困難で自動化ができないだけでなく、作成するのも容易ではない。
【００４７】
これに対して平面チャート１では、第１マークと第２マークを印刷したシート又は表示した平面的画面を用いているので、三次元状に配置されたターゲットの場合に発生していた各ターゲット間の関連付けの困難性という問題は解消される。次に、第１マークを利用して撮影すると、カメラ２に所望の角度を付することができ、高さ（奥行き）方向の変化を確実にし、焦点距離を正確に算出できる。例えば、カメラ２の角度をチャート１に対して１０度以上傾けることができれば、本発明のキャリブレーション装置においては、焦点距離を確実に求めることができる。
【００４８】
ここで、カメラ２とチャート１の間隔Ｈは、標準レンズや広角レンズの焦点距離ｆから定められる。例えば、焦点距離が３５ｍｍの標準レンズでは、撮影距離Ｈは９０ｃｍ程度になる。チャート１に設けられた第１マークの相互間隔ｄは、例えば２０ｃｍであるから、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度として約１０度が確保される。
なお、撮影方向の傾斜角度の上限は焦点深度などによって定まる。即ち、撮影方向の傾斜角度が大きいとカメラ２と第１マーク間の距離が各第１マークによって相違し、画像に写る第１マークの像がボケてしまう。そこで、撮影方向の傾斜角度の上限は、例えば３０度となる。実際の撮影手順は上記（Ｉ）〜（Ｖ）に示した通りで、カメラの画面一杯に第１マークと第２マークが入るように撮影すれば、自ずと上記条件になるので、撮影距離と位置の条件が満足される。
【００４９】
望遠レンズや標準レンズのレンズ収差を計測する場合は、撮影レンズの画角が狭くなり、角度がつかなくなるため、正面（Ｉ）から左上（II）等に撮影方向を傾けるとき、撮影角度としての１０度が確保されなくなる。即ち、焦点距離が長い場合にはカメラ２とチャート１の撮影距離Ｈが１ｍ以上であって、第１マークの相互間隔ｄが２０ｃｍ程度に過ぎないためである。そこで、図５（Ｂ）に示すように、正面のカメラ位置を中心として、左側のカメラ位置（II）、（IV）と、右側のカメラ位置（III）、（Ｖ）を定める。この際に、左右のカメラ位置の間隔を正面（Ｉ）の位置からそれぞれ撮影距離Ｈの１／３程度とった位置にカメラを設置して、上述の左上（II）、左下（IV）及び右上（III）、右下（Ｖ）での撮影を行えばよい。カメラの光軸は、チャート１の法線方向と一致させればよいが、チャート１方向を向けても良い。
【００５０】
なお、上記の実施の形態においては、撮影位置として正面（Ｉ）、左上（II）、右上（III）、左下（IV）、右下（Ｖ）の５方向の場合を示したが、撮影位置は最低の場合には左右２方向あればよく、また３方向以上でもよい。左右２方向の場合も、撮影角度として約１０度が確保されるようにしてチャート１の撮影を行う。
【００５１】
次に、本発明のキャリブレーション装置における全体処理の流れについて説明する。図７はキャリブレーション装置を用いたキャリブレーション方法を説明するフローチャートである。まず、レンズ収差の補償対象となるカメラ２によって、チャート１を撮影する（Ｓ１０）。撮影手法は、標準レンズや広角レンズの場合には図５（Ｂ）で説明した撮影手順、望遠レンズの場合には図６で説明した撮影手順による。カメラ２によって撮影された各撮影方向の画像データは、一旦画像データ記憶部３に格納される。次に、キャリブレーション装置は、画像データ記憶部３に格納された画像データを読込んで、表示部９に表示する（Ｓ２０）。そして、操作者は表示部９に表示された画像から、ターゲットの対応付け及び計測を行う画像を選択する（Ｓ３０）。そして、抽出部４により、選択された画像につき第１マーク抽出処理を行う（Ｓ４０）。
【００５２】
（Ｉ）：第１マーク抽出処理
第１マーク抽出処理では、測定対象面に設定されたチャート１の平面座標とその画像座標（カメラ側）との二次射影変換式を決定するため、平面座標上の第１マークのうち、最低３点以上を画像データ上で計測する。ここでは、第１マークの中に第２マークを含んでいるので、含まれた第２マークの位置を指定することで、正確に第１マークの位置を指定する。第１マーク抽出処理は、次のＩ−iからＩ−ivまでの処理を第１マークの点数分繰り返す。例えば、図２に示すチャート１では、左右各２点の第１マーク１ａ、１ｂ、１ｃ、１ｄについて行う。
【００５３】
Ｉ−i…操作者は表示部１５０に表示された全体画像上で、検出したい第１マーク中の第２マークにマウスのカーソル位置を合わせクリックし、第１マークの概略位置を求める。
Ｉ−ii…Ｉ−iで求められた画像座標を中心として、拡大画像より第２マークを含んだ、局所となる画像を切り出して、表示する。このとき、第２マークを含む画像を第２マーク精密位置測定のテンプレートとして使うことができる。
Ｉ−iii…Ｉ−iiで表示した拡大画像に対して、第１マークの重心位置にマウスのカ−ソル位置を合わせクリックし、この画像座標を第１マークの重心位置とする。なお、後続の処理で概略位置対応付けを行うために、Ｉ−iiiでの位置あわせは厳密でなくともよい。
Ｉ−iv…次に、マーク座標記憶部１３５に記憶された第２マークの管理番号と対応させるために、Ｉ−iiiで計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このとき、入力された第２マークの管理番号には、Ｉ−iiiで計測された第１マークの重心位置が基準点座標として記憶される。
【００５４】
なお、第１マーク抽出処理では、例えばチャート１上の第１マークの計測順序を予め決めておけば、第２マークの管理番号を入力せずとも、抽出部４側で自動採番処理が可能である。また、第１マーク抽出処理では、操作者が作業しやすいように、例えば、表示部９に表示されている選択画像を二つに分割し、片側に図２のような全体画像、もう一方側に図３（Ａ）、（Ｂ）のような拡大画像を表示するようにすれば、位置計測がしやすくなる。
【００５５】
次に、第１マーク抽出処理の他の処理手順として、拡大画像を用いないで図２のような全体画像だけで計測する方式がある。この場合、Ｉ−iの処理を行うと共に、Ｉ−ivにおいてＩ−iで計測された第１マークの重心位置に対応する第２マークの管理番号を入力する。このようにすると、拡大画像を用いないため、Ｉ−ii、Ｉ−iiiの処理が省略できる。ただし全体画像表示なので、第１マークが小さく表示されるため、操作者の好みで拡大画像を利用するかしないか判断すればよい。
【００５６】
次に、第１マーク抽出処理を抽出部４により自動処理する場合を説明する。まず、第１マークのうち第２マークを含まない外枠部分をテンプレートとして登録する。この登録は、例えば先に説明した、第１マーク抽出処理における最初の第１マークをテンプレート画像として登録すればよい。すると、テンプレートマッチング処理にて、残りの第１マークを自動で計測することができる。また、第１マークの場合の位置対応付けは、第１マークの位置が画像上から明確であるため容易に行える。例えば図２の第１マーク配置であれば、その検出座標から５点の第１マークの対応付けを行うのは容易である。なお、テンプレートマッチングの処理については、後で説明する第２マーク精密位置測定におけるターゲットの認識処理（Ｓ６２）と同様なので、説明を省略する。
【００５７】
続いて、第１マーク抽出処理を抽出部４によりさらに自動処理する場合を説明する。第１マーク抽出処理における第１マークのテンプレート画像を、予め抽出部４に登録しておく。すると、第１マークのテンプレート画像を用いて、テンプレートマッチングの処理により第１マークが個別に抽出されるので、Ｉ−iの第１マークを指定する作業は全て省略することも可能である。即ち第１マークが第２マークに対して明確に異なるマークであれば、仮想のテンプレート画像を抽出部４が持つことによっても、自動処理が可能となる。
しかしながら、第１マークは最低３点以上計測すればよいので、マニュアルによる作業でも、簡単な作業である。
【００５８】
図７に戻り、概略マーク位置測定部５により第２マーク概略位置測定と対応付けを行う（Ｓ５０）。第２マーク概略位置測定と対応付けは、外部標定要素を求める工程（II−１）と、第２マークの概算位置を演算する工程（II−２）を含んでいる。
（II−１）：外部標定要素を求める工程
概略マーク位置測定部５では、Ｓ４０で求めた第１マークの画像座標と対応する基準点座標を式（２）に示す二次の射影変換式に代入し、観測方程式をたてパラメ−タ−ｂ１〜ｂ８を求める。
Ｘ＝（ｂ１・ｘ＋ｂ２・ｙ＋ｂ３）／（ｂ７・ｘ＋ｂ８・ｙ＋１）
Ｙ＝（ｂ４・ｘ＋ｂ５・ｙ＋ｂ６）／（ｂ７・ｘ＋ｂ８・ｙ＋１）  （２）
ここで、ＸとＹは基準点座標、ｘとｙは画像座標を示している。次に、基準点座標と画像座標の関係を説明する。図９（Ａ）は中心投影における画像座標系と対象座標系の説明図である。中心投影の場合、投影中心点Ｏｃを基準にしてチャート１の置かれる基準点座標系としての対象座標系５２と、カメラ２のフィルム又はＣＣＤが置かれる画像座標系５０が図９（Ａ）のような位置関係にある。対象座標系５２における基準マークのような対象物の座標を（Ｘ，Ｙ，Ｚ）、投影中心点Ｏｃの座標を（Ｘ0，Ｙ0，Ｚ0）とする。画像座標系５０における座標を（ｘ，ｙ）、投影中心点Ｏｃから画像座標系５０までの画面距離をＣとする。ω、φ、κは、画像座標系５０の対象座標系５２を構成する３軸Ｘ，Ｙ，Ｚに対するカメラ撮影時の傾きを表すもので、外部標定要素と呼ばれる。
【００５９】
そして、式（２）のパラメ−タ−ｂ１〜ｂ８を用いて、式（３）より次の外部標定要素を求める。
ω＝ｔａｎ-1（Ｃ・ｂ８）
φ＝ｔａｎ-1（−Ｃ・ｂ７・ｃｏｓω）
κ＝ｔａｎ-1（−ｂ４／ｂ１）  （φ＝０のとき）
κ＝ｔａｎ-1（−ｂ２／ｂ５）  （φ≠０、ω＝０のとき）
κ＝ｔａｎ-1｛−（Ａ１・Ａ３−Ａ２・Ａ４）／（Ａ１・Ａ２−Ａ３・Ａ４）｝（φ≠０、ω≠０のとき）
【００６０】
Ｚ0＝Ｃ・ｃｏｓω・｛（Ａ２２＋Ａ３２）／（Ａ１２＋Ａ４２）｝１/２＋Ｚｍ
Ｘ0＝ｂ３−(ｔａｎω・ｓｉｎκ／ｃｏｓφ−ｔａｎφ・ｃｏｓκ)×(Ｚｍ−Ｚ0)
Ｙ0＝ｂ６−(ｔａｎω・ｃｏｓκ／ｃｏｓφ−ｔａｎφ・ｓｉｎκ)×(Ｚｍ−Ｚ0) （３）
ただし、Ａ１＝１＋ｔａｎ２φ、Ａ２＝Ｂ１＋Ｂ２・ｔａｎφ／ｓｉｎω、Ａ３＝Ｂ４＋Ｂ５・ｔａｎφ／ｓｉｎω、Ａ４＝ｔａｎφ／（ｃｏｓφ・ｔａｎω）とする。また、Ｚｍは第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点の平均標高とする。ここでは、第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の基準点は平面座標上なので、標高一定の面と仮定できる。Ｃは焦点距離で、前述の画面距離に相当している。
【００６１】
（II−２）：第２マークの概算位置を演算する工程
次に、単写真標定の原理から、対象座標系５２で表される地上の対象物（Ｘ，Ｙ，Ｚ）に対する、画像座標系５０で表される傾いたカメラ座標系におけるカメラ座標（ｘｐ、ｙｐ、ｚｐ）は、式（４）で与えられる。
【数１】
0004224260.tif 000002
ここで、Ｘ0、Ｙ0、Ｚ0は、前述したように、図９（Ａ）に示すような投影中心点Ｏｃの地上座標とする。
【００６２】
ここで、式（３）で求めたカメラの傾き（ω、φ、κ）を、式（４）中に代入し、回転行列の計算をして、回転行列の要素ａ11〜ａ33を求める。
【００６３】
次に、求めた回転行列の要素ａ11〜ａ33と式（３）で求めたカメラの位置（Ｘ0、Ｙ0、Ｚ0）、及びタ−ゲットの基準点座標（Ｘ，Ｙ，Ｚ）を共線条件式｛式（５）｝に代入し、タ−ゲットの画像座標（ｘ、ｙ）を求める。ここで、共線条件式とは、投影中心、写真像及び地上の対象物が一直線上にある場合に成立する関係式である。これにより、レンズ収差がない場合の第２マークの位置が算出されるので、レンズ収差のある現実のカメラで撮影した画像におけるタ−ゲットの概略の画像座標が求める。
ｘ＝−Ｃ・｛ａ11（Ｘ−Ｘ0）＋ａ12（Ｙ−Ｙ0）＋ａ13（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ0）＋ａ33（Ｚ−Ｚ0）｝
ｙ＝−Ｃ・｛ａ21（Ｘ−Ｘ0）＋ａ22（Ｙ−Ｙ0）＋ａ23（Ｚ−Ｚ0）｝／ ｛ａ31（Ｘ−Ｘ0）＋ａ32（Ｙ−Ｙ0）＋ａ33（Ｚ−Ｚ0）｝ （５）
【００６４】
ところで、式（３）中のｔａｎ-1の演算では解が二つ求めるため、カメラの傾き（ω、φ、κ）はそれぞれ２つ解をもち全通りの計算を行う。そして、第１マーク抽出処理で計測した第１マーク１ａ、１ｂ、１ｃ、１ｄ４点の画像座標と、式（５）で求めた対応する４点の画像座標との残差の比較により、正解となるω、φ、κを算出する。
なお、ここでは射影変換式として二次の射影変換式を用いて説明したが、本発明はこれに限定されるものではなく、三次の射影変換式等の他の射影変換式を利用しても良い。
【００６５】
また、概略マーク位置測定部５では、例えばマーク座標記憶部１０に格納されている基準点座標ファイルに付加してある第２マークの管理番号を、各第１マークのタ−ゲット（第２マーク）に割り振ることにより、第２マークの対応づけを行う。
【００６６】
図７に戻り、精密マーク位置測定部６によって第２マークの精密位置測定を行う（Ｓ６０）。以下、図８を用いて第２マークの精密位置測定の処理手順を詳細に説明する。まず、精密マーク位置測定部６は、第２マークとしてのタ−ゲットを認識する（Ｓ６２）。このターゲット認識には、例えば正規化相関を用いたテンプレ−トマッチングを用いる。以下、ターゲット認識の詳細について説明する。
【００６７】
（III）ターゲット認識
図９（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。まず、第１マーク抽出処理（Ｓ４０）で計測した第１マーク、例えば第１マーク１ａ、１ｂ、１ｃ、１ｄ４点のタ−ゲットの重心位置の中から、任意のタ−ゲットを選ぶ。正規化相関のテンプレ−ト画像は、選ばれたターゲットの重心位置（画像座標）を中心とする、Ｍ×Ｍ画素の画像とする。また、第２マーク概略位置測定（Ｓ５０）で算出したタ−ゲットの概略位置（画像座標）を中心として、Ｎ×Ｎ画素の画像を対象画像とする。
【００６８】
次に、対象画像に対して、式（６）に示す正規化相関によるテンプレ−トマッチングを施し、相関値が最大となる位置を求める。この相関値が最大値となる位置にて重ね合わせが達成され、最大値となる位置にてタ−ゲットが認識されたとみなす。ここでのテンプレ−ト画像の中心座標を等倍画像上の画像座標に換算し、検出点とする。
Ａ＝｛Ｍ２×Σ（Ｘｉ×Ｔｉ）−ΣＸｉ×ΣＴｉ｝／
［｛Ｍ２×ΣＸｉ２−（ΣＸｉ)２｝×｛Ｍ２×ΣＴｉ２−（ΣＴｉ)２｝］
（６）
ここで、Ａは相関値、Ｍはテンプレ−ト画像の正方サイズ、Ｘｉは対象画像、Ｔｉはテンプレ−ト画像とする。また、画像の正方サイズＮ、Ｍは可変であるが、処理時間の高速化をはかるため、Ｎ、Ｍはタ−ゲットが十分格納できるのを前提にできるだけ小さくするのがよい。
【００６９】
図８に戻り、第２マークの精密位置測定を行うために、第２マークのサブピクセルエッジ検出を行う（Ｓ６４）。第２マークのサブピクセルエッジ検出を行う対象画像は、Ｓ６２でタ−ゲットと認識された検出点を中心としてＮ×Ｎ画素の画像とする。対象画像に存在する濃淡波形に、式（７）に示すガウス関数の二次微分であるラプラシアン・ガウシアン・フィルタ（ＬＯＧフィルタ）を施し、演算結果の曲線の２箇所のゼロ交差点、つまりエッジをサブピクセルで検出する。ここで、サブピクセルとは一画素よりも細かい精度で位置検出を行うことを言う。
∇２・Ｇ（ｘ）＝｛（ｘ２−２σ２）／２πσ６｝・ｅｘｐ（−ｘ２／２σ２）  （７）
ここで、σはガウス関数のパラメ−タ−である。
【００７０】
次に、ターゲットの重心位置を検出し（Ｓ６６）、戻しとする（Ｓ６８）。ここでは、式（７）を用いて求めたｘ、ｙ方向のエッジ位置より、その交点をタ−ゲットの重心位置とする。なお、第２マークの精密位置測定は、Ｓ６２〜Ｓ６６に開示した処理に限定されるものではなく、他の重心位置検出法、例えばモーメント法やテンプレートマッチング法をさらに改良して利用するなど、どのような求め方をしても良い。
【００７１】
図７に戻り、全タ−ゲット重心位置の確認をし、一見明白な過誤のないことを確認する（Ｓ７０）。即ち、ターゲット認識されたターゲットの位置検出が適切であるか確認する。操作者による確認の便宜のために、検出されたターゲットの位置を表示部９に表示する。過誤がない場合には、Ｓ８０に行く。過誤があれば、不適切なターゲットの位置を修正する（Ｓ７５）。例えば、Ｓ６２で演算された相関値が低いターゲットや、重心検出位置が概略検出位置とあまりにかけ離れてしまったターゲットは、表示部９上にそのターゲット表示を赤くするなど、操作者に明確にわかるように表示する。すると、過誤のあったターゲットに関しては、操作者によるマニュアルにて計測しなおす（マウスで重心位置を指定する）。なお、ここで過誤のあったターゲット位置を無理に修正しなくとも、あとのキャリブレーションパラメータを求めるためのＳ９０の処理過程によっても、異常点として検出されるので、取り除くことが可能である。
【００７２】
そして、Ｓ３０〜Ｓ７５の処理を、レンズ収差の測定に必要な画像分繰り返す（Ｓ８０）。例えば、撮影された画像が５枚であれば、全ての５枚について繰り返しても良く、またレンズ収差の測定に必要な画像分に到達していれば、撮影された画像の全部を繰り返して処理しなくてもよい。
【００７３】
レンズ収差の測定に必要な画像分の計測処理を終了したら、次に演算処理部７のカメラの内部パラメータ演算処理を用いて、レンズ収差のキャリブレーション要素を求める処理に移る（Ｓ９０）。ここでは、キャリブレーション要素の演算対象として、チャート１上の第２マークについて、概略マーク位置測定部５と精密マーク位置測定部の処理により対応づけがなされ重心位置が求められている全ての第２マークについて行う。
【００７４】
（IV）：カメラの内部パラメータ演算処理（セルフキャリブレーション付きバンドル調整法）
演算処理部７のカメラの内部パラメータ演算処理としては、例えば写真測量分野で使用されている「セルフキャリブレーション付きバンドル調整法」を用いる。ここで、「バンドル調整」とは、被写体、レンズ、ＣＣＤ面を結ぶ光束（バンドル）は同一直線上になければならないという共線条件に基づき、各画像の光束１本毎に観測方程式をたて、最小２乗法によりカメラの位置と傾き（外部標定要素）と第２マークの座標位置を同時調整する方法である。「セルフキャリブレーション付き」とはさらに、キャリブレーション要素、即ちカメラの内部定位（レンズ収差、主点、焦点距離）を求めることができる方法である。セルフキャリブレーション付きバンドル調整法（以下単に「バンドル調整法」という）の共線条件基本式は、次の（式８）と（式９）である。
【００７５】
【数２】
0004224260.tif 000003
【数３】
0004224260.tif 000004
【００７６】
この（式８）と（式９）は、第１マーク抽出処理で説明した単写真標定の共線条件式（５）を基本式とするものである。即ちバンドル調整法は、（式８）と（式９）を用いて、複数画像から最小二乗近似して、各種解を算出する手法であり、各撮影位置のカメラの外部標定要素を同時に求めることが可能となる。即ち、カメラのキャリブレーション要素を求めることが可能となる。
【００７７】
次に、内部定位の補正モデル（レンズ収差）として、放射方向レンズ歪を有する場合の一例を次の（式１０）に示す。
【数４】
0004224260.tif 000005
補正モデルはこれに限らず、使用レンズにあてはまるものを選択すればよい。これら計算は、基準点を地上座標と画像座標で６点以上あれば、逐次近似解法によって算出される。なお、演算処理部７では、逐次近似解法の閾値によって、閾値以上となった場合の誤差の大きいチャート１上の第２マークを省くことによって、正確なキャリブレーション要素を求めることが可能となる。そこで、ターゲット位置重心位置確認（Ｓ７０）において、誤差の大きい第２マークとして検出されなかった場合でも、Ｓ９０にて過誤のある第２マークを検出して、除去することが可能である。
【００７８】
図７に戻り、演算処理部７によるキャリブレーション要素を求める演算処理結果を判断し（Ｓ１００）、演算処理が収束しなかったり、或いは得られたキャリブレーション要素が適正と思われないものであった場合、Ｓ１１０にて対処する。Ｓ１１０では、過誤のある第２マークを含む画像を選択する。Ｓ９０におけるキャリブレーション終了時点で、演算処理部７によりどの画像のどの第２マークに過誤があるか判明しているので、その各画像における該当ターゲット検出点を表示して、確認する。
【００７９】
そして、操作者はマニュアル操作にて過誤のある第２マークを修正する（Ｓ１２０）。即ち、過誤のある第２マークの重心位置座標がずれて表示されているので、過誤のある第２マークとして表示されているマークを、適性として表示されている重心位置に移動させることで、修正が行われる。そして、過誤のある第２マークの位置修正が完了したか判断し（Ｓ１３０）、完了していればＳ９０のキャリブレーション要素演算に戻り、キャリブレーション要素を演算しなおす。他方、他に修正箇所があれば、Ｓ１１０に戻って、過誤のある第２マークの位置修正操作を繰り返す。
【００８０】
キャリブレーション要素を求める演算処理結果が適性であれば、結果を表示部９に表示する（Ｓ１４０）。図１０は、キャリブレーション要素の演算処理結果の一例を示す説明図である。例えば、表示部９への表示には、キャリブレーション要素である焦点距離、主点位置、歪曲パラメータを表示する。レンズ収差を示すディストーションについては、補正前曲線１０２、補正後曲線１０４、理想に補正された場合１０６、についてグラフィック表示するとわかりやすい。
【００８１】
さらに、キャリブレーションした結果に基づいて、ディストーション補正した画像を、画像処理部８にて作成して表示部９に表示することもできる。こうすれば、ディストーションの大きいカメラにて撮影した画像も、ディストーション補正されて表示する画像表示装置を提供することが可能となる。
【００８２】
次に、本発明のキャリブレーション結果診断装置について説明する。キャリブレーション結果診断装置は、キャリブレーション装置により計測されたレンズに対するキャリブレーション要素を利用して、当該レンズで撮影した立体視可能な画像データにより三次元計測する場合の精度を確認する場合に好適である。即ち、キャリブレーション結果診断装置は、厳密にキャリブレーションを行い、精度よく三次元計測を行いたい場合や、平面チャートを用いて計測したレンズに対するキャリブレーション要素に過誤がないかさらに検証したい場合に利用する。
【００８３】
図１１は本発明のキャリブレーション結果診断装置の一実施の形態を説明する構成ブロック図である。図において、立体基準チャート２０は、ターゲット２０ａ〜２０ｈの位置が三次元的に正確に測定されているもので、ターゲットの数、高さ、並びに平面的な座標は三次元計測に適するように適宜に定められている。カメラ２２は、立体基準チャート２０をステレオ撮影するもので、レンズ収差の補償対象となるカメラ２と同種のカメラを用いて、且つカメラ２と同じ焦点距離で撮影するのが良い。基準ステレオ画像データ２４は、立体基準チャート２０をカメラ２２にてステレオ視できるように撮影した画像データで、典型的には左撮影位置２２Ｌと右撮影位置２２Ｒの一組の撮影位置によって撮影されている。
【００８４】
ターゲット位置測定部２６では、基準ステレオ画像データ２４に撮影されているターゲット２０ａ〜２０ｈを抽出して、このターゲット２０ａ〜２０ｈの画像座標系での位置を測定する。表示部２８は、ＣＲＴや液晶等の表示装置で、例えば基準ステレオ画像データ２４やターゲット位置測定部２６で測定された立体基準チャート２０のターゲット位置を表示する。演算処理部３０は、ターゲット位置測定部２６で測定されたターゲット２０ａ〜２０ｈの画像座標系での位置情報から、相互標定や絶対標定に必要なパラメータを演算するもので、レンズ収差補償パラメータ記憶部１１に記憶されたキャリブレーション要素が用いられる。キャリブレーション要素は、キャリブレーション装置により計測されたレンズに対するものである。演算処理部３０での標定用演算には、航空写真測量等で使用されるステレオ画像による表面形状の凸凹測定に必要な演算手法が用いられる。
【００８５】
立体基準チャートターゲット記憶部３２には、立体基準チャート２０の全ターゲット２０ａ〜２０ｈの位置が記憶されている。キャリブレーション判定部としての収差補償パラメータ適性度判定部３４は、演算処理部３０で演算された立体基準チャート２０のターゲット位置と、立体基準チャートターゲット記憶部３２に記憶されたターゲット２０ａ〜２０ｈの位置とを比較して、レンズ収差補償パラメータ記憶部１１に記憶されたキャリブレーション要素によるレンズ収差の補償が適切であるか判定する。
【００８６】
ステレオ画像生成手段３６は、演算処理部３０にて相互標定された基準ステレオ画像データ２４を読込んで、基準ステレオ画像データ２４のステレオ画像を生成するもので、例えば画像演算処理を高速に行うプロセッサが使用される。ここでステレオ画像とは、カメラ２２で撮影された右撮影方向と左撮影方向の一組のステレオ撮影された画像を偏位修正して、立体視できるように調整したものをいう。立体画像表示部３８は、ステレオ画像生成手段３６により形成された立体画像を立体表示する画像装置である。なお、ターゲット位置測定部２６、演算処理部３０、収差補償パラメータ適性度判定部３４並びにステレオ画像生成手段３６は、デジタル図化機あるいはパソコンの中に構成することもできる。
【００８７】
図１２は本発明のキャリブレーション結果診断装置を用いたキャリブレーション結果診断を説明するフローチャートである。まず、キャリブレーション結果診断装置に基準ステレオ画像データ２４を読込ませる（Ｓ２００）。このとき、立体基準チャートターゲット記憶部３２に対して、基準ステレオ画像データ２４に表示されたターゲット２０ａ〜２０ｈの正確な位置を入力しておくとよい。
【００８８】
次に、ターゲット位置測定部２６によって、基準ステレオ画像データ２４を表示部２８に表示する（Ｓ２１０）。この際に、ターゲット位置測定部２６は基準ステレオ画像データ２４にターゲットとして認識された画素を操作者が識別しやすいように画像処理してもよい。
【００８９】
次に、ターゲット位置測定部２６によって、基準ステレオ画像データ２４の左右（ステレオ）画像の各画像における対応するターゲット座標をそれぞれ計測する（Ｓ２２０）。典型的には、操作者が表示部２８に表示された画像上で、マウスを用いてターゲットを指示すると、ターゲット位置測定部２６によってターゲットの画像座標値が読み取られる。なお、ターゲット座標の画像座標値は、予め基準ステレオ画像データ２４の段階で、各画像毎に読込んで、ターゲット座標値としてキャリブレーション結果診断装置に入力してもよい。
【００９０】
次に、演算処理部３０によって、読込まれたターゲットの画像座標値により相互標定の演算処理を行う（Ｓ２３０）。この際に、読込まれたターゲットの画像座標値に対して演算処理部３０によって、レンズ収差補償パラメータ記憶部１１に記憶されたキャリブレーション要素によるレンズ収差の補償がなされる。また、立体基準チャートターゲット記憶部３２に記憶されたターゲット２０ａ〜２０ｈの正確な位置を用いると、演算処理部３０によって、絶対標定が可能となる。相互標定であればモデル座標値が、絶対標定であれば三次元座標値での比較が可能となる。なお、キャリブレーション装置により計測されたレンズに対するキャリブレーション要素が劣悪であれば、立体視自体が行えない状態であるため、標定ができないという事実によっても確認可能となる。
【００９１】
（Ｖ）：相互標定
ここで、相互標定の詳細について説明する。標定計算は航空写真測量等で用いられているもので、相互標定と絶対標定の２段階計算により、左右それぞれの撮像装置の位置等が求められる。相互標定では、以下の共面条件式によりステレオ撮影パラメータを求める。
【００９２】
図１３はモデル座標系ＸＹＺと左右のカメラ座標系ｘｙｚを用いて標定計算を説明する図である。モデル座標系ＸＹＺの原点Ｏを左側の投影中心にとり、右側の投影中心を結ぶ線をＸ軸にとるようにする。縮尺は、基線長ｌを単位長さにとる。このとき求めるパラメータは、左側のカメラのＺ軸の回転角κ１、Ｙ軸の回転角φ１、右側のカメラのＺ軸の回転角κ２、Ｙ軸の回転角φ２、Ｘ軸の回転角ω２の５つの回転角となる。この場合左側のカメラのＸ軸の回転角ω１は０なので、考慮する必要ない。
【００９３】
【数５】
0004224260.tif 000006
このような条件にすると、（式１１）の共面条件式は（式１２）のようになり、この式を解けば各パラメータが求める。
【数６】
0004224260.tif 000007
ここで、モデル座標系ＸＹＺとカメラ座標系ｘｙｚの間には、次に示すような座標変換の関係式が成り立つ。
【数７】
0004224260.tif 000008
【００９４】
（式１１）〜（式１３）の式を用いて、次の手順により、未知パラメータを求める。
Ｖ−１…初期近似値は通常０とする。
Ｖ−２…共面条件式（式１２）を近似値のまわりにテーラー展開し、線形化したときの微分係数の値を（式１３）中の２つの式により求め、観測方程式をたてる。
Ｖ−３…最小二乗法をあてはめ、近似値に対する補正量を求める。
Ｖ−４…近似値を補正する。
Ｖ−５…補正された近似値を用いて、Ｖ−２〜Ｖ−５までの操作を収束するまで繰り返す。
【００９５】
以上の相互標定計算において、レンズ収差補償パラメータ記憶部１１に記憶されたキャリブレーション要素、即ちチャート１により求められたキャリブレーション要素を利用して計算する。具体的には、主点位置及びレンズ収差値Δｘ、Δｙはキャリブレーション要素により補正して計算する。また、画面距離（焦点距離）ｃもそのキャリブレーション値を利用して計算する。
【００９６】
さらに、絶対標定を行う場合には、立体基準チャートターゲット記憶部３２に記憶されたターゲット２０ａ〜２０ｈの位置を用いる。すると、縮尺が分るので、ターゲットの実座標上の三次元値を用いての比較が可能となる。
【００９７】
図１２に戻り、収差補償パラメータ適性度判定部３４により、レンズ収差補償パラメータ記憶部１１に記憶されたキャリブレーション要素によるレンズ収差の補償が適切であるか判定する（Ｓ２４０）。即ち、収差補償パラメータ適性度判定部３４は、演算処理部３０で演算された立体基準チャート２０のターゲット位置と、立体基準チャートターゲット記憶部３２に記憶されたターゲット２０ａ〜２０ｈの位置とを比較して、許容される誤差の範囲内であれば「適性」とする。許容される誤差の範囲は、計測条件から求めることができるが、好ましくはレンズ収差を補償した撮影データを利用する者の許容誤差範囲によって判定する。なお、チャート１によるキャリブレーション要素が誤差を含んでいれば、上述した相互標定演算が収束しない場合がありうる。その際は、収差補償パラメータ適性度判定部３４により、「不適性」として判定する。
【００９８】
ここでキャリブレーション要素の判定を終了してもよいが、以上の相互標定データと立体基準チャートターゲット記憶部３２に記憶されたターゲット２０ａ〜２０ｈの位置を利用して、ステレオ画像を作成し、確認することも可能となる。ステレオ画像を作成する場合は、さらに以下の処理を行う。
【００９９】
ステレオ画像生成手段３６により、基準ステレオ画像データ２４のステレオ画像を作成する（Ｓ２５０）。相互標定による外部標定要素演算によって、ステレオ画像の位置と傾きがわかるので、さらにキャリブレーション要素を加味して、ステレオ画像生成手段３６により最終的なステレオ画像を作成する。
【０１００】
そして、表示部２８に作成したステレオ画像を表示させる（Ｓ２６０）。あるいは画像データを出力させる。表示部２８に立体画像モニタがあれば、ここにステレオ画像を表示して視覚的に確認することができる。この場合、チャート１によるキャリブレーション要素が悪ければ、立体視のできない（例えば縦視差の除去できていない）画像が表示されるので確認できる。あるいは、基準座標位置と計算した測定座標位置を表示することによっても、立体的な位置の違いを表示部２８上で確認可能となる。仮に、ステレオモニタが無ければ、ステレオ画像データを出力して、他の表示装置にて表示確認も可能となる。
【０１０１】
表示されたステレオ画像をみて、気に入らない精度であれば、チャート１とカメラ２を利用したキャリブレーション作業全体をやり直して、レンズ収差のキャリブレーション要素を求める。
【０１０２】
図１４は本発明のキャリブレーション結果診断装置の第２の実施の形態を説明する構成ブロック図である。なお、図１４において前記図１１と同一作用をするものには同一符号を付して、説明を省略する。図において、基準演算処理部３１は、基準ステレオ画像データと共に用意された基準キャリブレーション要素を用いて、基準ステレオ画像データの標定演算を行い、基準点のモデル座標値又は三次元座標値を求める。収差補償パラメータ適性度判定部３４は、演算処理部３０で演算された基準点のモデル座標値又は三次元座標値と、基準演算処理部３１で演算された基準点のモデル座標値又は三次元座標値とを比較して、キャリブレーション要素の適否判断を行う。
【０１０３】
このように構成された装置においては、カメラ２２のレンズに対する基準キャリブレーション要素が予め用意されている。そして、収差補償パラメータ適性度判定部３４に用いる立体基準チャート２０における基準点の座標値が、基準演算処理手段３１で演算された基準点のモデル座標値又は三次元座標値として与えられる。そこで、例えばレンズ製造の分野の品質管理のように、多量にレンズを取扱う場合の個別レンズのキャリブレーション要素のバラツキを管理するのに適している。
【０１０４】
なお、本発明のキャリブレーション結果診断装置に用いられる基準ステレオ画像データ２４として、カメラ２と同じタイプのカメラによって、カメラ２と同じ焦点距離で予め撮影した２枚の基準ステレオ画像データを用いる場合を説明したが、本発明はこれに限定されるものではなく、例えば立体基準チャート２０の基準ステレオ画像座標データでもよい。また、立体基準チャートターゲット記憶部３２に立体基準チャート２０の全ターゲットの位置を記憶させて、レンズ収差のキャリブレーション要素によりレンズ収差を補償して観測したターゲットの位置と比較する場合を説明したが、本発明はこれに限定されるものではなく、例えば立体視できる程度にレンズ収差が補償されていればよい用途では、立体基準チャート２０の全ターゲットの位置情報を用いなくても良い。
【０１０５】
また、基準ステレオ画像データ、基準ステレオ画像座標データ、基準キャリブレーション要素等の基準データは、立体基準チャート２０を所持しない需要者に対しては、使用するカメラにあわせてフレキシブルディスク、ＣＤ−ＲＯＭ、Ｗｅｂサイトからのインターネットによるダウンロード等で供給するとよい。
【０１０６】
【発明の効果】
以上説明したように、本発明のキャリブレーション装置によれば、キャリブレーション用チャートを、キャリブレーションを行うカメラで、少なくとも２方向から撮影したキャリブレーション用画像から第１マークを抽出する抽出部と、前記抽出部にて抽出された第１マークを用いた射影変換により、前記キャリブレーション用画像における前記第２マークの概略位置をもとめる概略マーク位置測定部と、前記キャリブレーション用画像に対して、前記第２マークの概略位置近傍で前記第２マーク位置の撮影されている位置を求める精密マーク位置測定部と、前記キャリブレーション用チャートにおける第２マークの位置と、この第２マークに対応する前記キャリブレーション用画像における第２マークの位置から、前記レンズのキャリブレーション要素を算出する演算処理部と備える構成としているので、レンズ収差を補正するのに必要なキャリブレーション要素が簡便に測定できる。そこで、特に立体視のように僅かなレンズ収差でも問題となる用途において、レンズ収差の大きな安価なレンズでステレオ撮影した画像であっても、キャリブレーション要素を用いてレンズ収差の影響の少ない画像として作成することができ、容易に立体視できる。
【０１０７】
また、キャリブレーション用チャートは、少なくとも３箇所以上設けられた第１マークと、該第１マークに対して外観上識別可能に設けられた第２マークを有するという簡易な形態であるため、立体的に基準点が配置された立体基準チャートを用いてレンズ収差を測定する場合に比較して、キャリブレーションが簡便に行える。
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態を説明する全体構成ブロック図である。
【図２】  キャリブレーション用チャートの一例を示す平面図である。
【図３】  第１マークの一例を示す説明図である。
【図４】  第２マークの一例を示す説明図である。
【図５】  レンズ収差を計測する場合のカメラ配置を説明する図で、（Ａ）はカメラ配置を示した立体図であり、（Ｂ）は一般的に標準レンズ及び望遠レンズを使用したときのカメラ間隔を示した図である。
【図６】  標準レンズや広角レンズのカメラによるチャートの撮影手順の説明図で、（Ａ１）〜（Ａ４）はカメラの画像、（Ｂ１）〜（Ｂ４）はカメラ画像に対応するチャートとカメラの位置関係を示している。
【図７】  キャリブレーション装置を用いたキャリブレーション方法を説明するフローチャートである。
【図８】  第２マークの精密位置測定の処理手順を説明する詳細フロー図である。
【図９】  （Ａ）は中心投影における画像座標系と対象座標系の説明図、（Ｂ）はターゲット認識に用いられる正規化相関のテンプレ−ト画像と対象画像の説明図である。
【図１０】  キャリブレーション要素の演算処理結果の一例を示す説明図である。
【図１１】  本発明のキャリブレーション結果診断装置の一実施の形態を説明する構成ブロック図である。
【図１２】  本発明のキャリブレーション結果診断装置を用いたキャリブレーション結果診断を説明するフローチャートである。
【図１３】  モデル座標系ＸＹＺと左右のカメラ座標系ｘｙｚを用いて標定計算を説明する図である。
【図１４】  本発明のキャリブレーション結果診断装置の第２の実施の形態を説明する構成ブロック図である。
【符号の説明】
１  チャート（キャリブレーション用チャート）
２  カメラ
３  画像データ記憶部
４  抽出部
５  概略マーク位置測定部
６  精密マーク位置測定部
７  演算処理部
８  画像処理部
９  表示部
２０  立体基準チャート
２２  カメラ
２６  ターゲット位置測定手段
３０  演算処理手段
３２  立体基準チャートターゲット記憶部
３４  収差補償パラメータ適性度判定部（キャリブレーション判定部）
【図１】
0004224260.tif 000009
【図２】
0004224260.tif 000010
【図３】
0004224260.tif 000011
【図４】
0004224260.tif 000012
【図５】
0004224260.tif 000013
【図６】
0004224260.tif 000014
【図７】
0004224260.tif 000015
【図８】
0004224260.tif 000016
【図９】
0004224260.tif 000017
【図１０】
0004224260.tif 000018
【図１１】
0004224260.tif 000019
【図１２】
0004224260.tif 000020
【図１３】
0004224260.tif 000021
【図１４】
0004224260.tif 000022