(57)【要約】【課題】狭い空間であっても、簡単で高精度なカメラカメラキャリブレーションを行なうことができるキャリブレーション装置を提供する。【解決手段】カメラ１６の視野内に配置され、３次元基準座標系において３次元位置が確定した１台のモニタ１２と、モニタ１２に設けられ、３次元基準座標系において３次元位置が確定した基本四角形と、カメラ１６によって基本四角形を含むモニタ１２の画面を撮影することによって、モニタ１２の画面にカメラ１６で撮影したカメラ画像を再帰構造で表示し、基本四角形の３次元位置と、モニタ１２に再帰構造で表示されたカメラ画像中の基本四角形の２次元画像位置のそれぞれと、カメラ１６の焦点距離に基づいて、カメラ１６の姿勢行列を求める計算部１４とを有する。【選択図】      図１
2009042162.tif 000002
【特許請求の範囲】
【請求項１】
モニタと、
キャリブレーション対象のカメラで撮影されるターゲットと、
前記モニタの画面及び前記ターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力部と、
３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶部と、
前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御部と、
前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算部と、
を有するキャリブレーション装置。
【請求項２】
前記計算部は、
前記再帰的カメラ画像中の前記複数のターゲット領域について、外側からＫ番目までの前記複数のターゲット領域の２次元画像位置を検出する検出部と、
ｋ番目（但し、ｋ＝１，２，・・・Ｋである）の前記複数のターゲット領域の２次元画像位置と、（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置とに基づいて、前記ｋ番目の前記複数のターゲット領域の２次元画像位置から前記（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置への射影行列を求める射影行列計算部と、
前記モニタの３次元位置と、前記複数のターゲットの３次元位置と、前記射影行列とに基づいて前記カメラの姿勢を表す姿勢行列を求める姿勢行列計算部と、
を有する請求項１記載のキャリブレーション装置。
【請求項３】
前記計算部は、前記カメラの姿勢と前記ターゲットの３次元位置とから前記カメラの３次元位置を求める、
請求項１記載のキャリブレーション装置。
【請求項４】
前記ターゲットが、前記モニタの画面上に表示された四角形の各頂点である、
請求項１記載のキャリブレーション装置。
【請求項５】
前記姿勢と前記位置に基づいて、前記カメラの姿勢と位置とを再調節する再調節部を、
有する請求項１記載のキャリブレーション装置。
【請求項６】
モニタの画面及びキャリブレーション対象のカメラで撮影されるターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力ステップと、
３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶ステップと、
前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御ステップと、
前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算ステップと、
を有するキャリブレーション方法。
【請求項７】
前記計算ステップは、
前記再帰的カメラ画像中の前記複数のターゲット領域について、外側からＫ番目までの前記複数のターゲット領域の２次元画像位置を検出する検出ステップと、
ｋ番目（但し、ｋ＝１，２，・・・Ｋである）の前記複数のターゲット領域の２次元画像位置と、（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置とに基づいて、前記ｋ番目の前記複数のターゲット領域の２次元画像位置から前記（ｋ＋１）番目の前記複数のターゲット領域の２次元画像位置への射影行列を求める射影行列計算ステップと、
前記モニタの３次元位置と、前記複数のターゲットの３次元位置と、前記射影行列とに基づいて前記カメラの姿勢を表す姿勢行列を求める姿勢行列計算ステップと、
を有する請求項６記載のキャリブレーション方法。
【請求項８】
前記計算ステップは、前記カメラの姿勢と前記ターゲットの３次元位置とから前記カメラの３次元位置を求める、
請求項６記載のキャリブレーション方法。
【請求項９】
前記ターゲットが、前記モニタの画面上に表示された四角形の各頂点である、
請求項６記載のキャリブレーション方法。
【請求項１０】
前記姿勢と前記位置に基づいて、前記カメラの姿勢と位置とを再調節する再調節ステップを、
有する請求項６記載のキャリブレーション方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラのキャリブレーション装置及びその方法に関する。
【背景技術】
【０００２】
対象物体の位置や距離等を画像を用いて計測する画像計測技術は、ロボットや自動車の自律走行等に適用可能な技術であり、国内外を問わず盛んに研究開発が行なわれている。例えば、画像を用いて周囲の障害物の正確な位置等が計測できれば、ロボットの安全な移動を実現する上で極めて有用である。
【０００３】
高精度な画像計測を行なうためには、基準となる座標系に対するカメラの位置や姿勢を予め計測しておく必要がある。この作業を「カメラキャリブレーション」と呼ぶ。カメラキャリブレーションは、複数のカメラの幾何学的な関係を拘束条件として利用するステレオ視においても不可欠である。
【０００４】
従来、カメラキャリブレーションは、形状既知物体等を用いて３次元位置が既知な複数のサンプル点を撮影し、各サンプル点の画像上の投影位置を求め、これらのデータからカメラの位置、向き、及び、必要ならば焦点距離等の内部パラメータを算出するという手順で行なう。
【０００５】
高精度なキャリブレーションのためには、空間的な広がりのある複数のサンプル点が必要である。このため、これらのサンプル点を含むような広い空間を確保しなければならないという問題点があった。
【０００６】
そこで、上記問題点を解決するために特許文献１では、狭いスペースでの高精度なキャリブレーションの実現を意図している。この特許文献１は、２枚の鏡を互いの映像が映るように正対させる、いわゆる「合わせ鏡」を用いて生成した多数のパターンを利用する方法が開示されている。２枚の鏡によって広い空間を擬似的に作り出すこの方法では、合わせ鏡を置くスペースがあれは良いため、従来よりも狭い空間でキャリブレーション可能である。しかしながら、この特許文献１の方法では、２枚の鏡を極めて正確に対向させなければならないという問題点がある。
【特許文献１】特開２００４−１９１３５４公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記のように従来のキャリブレーション方法の多くは広い空間が必要とし、例えば自動車にカメラシステムを搭載する場合には、工場の製造ラインにてカメラを取り付けた後、屋外に移動してキャリブレーション用の画像を撮影するといった煩雑な作業が必要となる問題点があった。
【０００８】
また、特許文献１の方法では、２枚の鏡の向きを正確に合わせる必要があり、その条件が非常に厳しく現実的でないという問題点があった。
【０００９】
そこで、本発明は上記問題点に鑑み、狭い空間であっても、簡単で高精度なカメラカメラキャリブレーションを行なうことができるキャリブレーション装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、モニタと、キャリブレーション対象のカメラで撮影されるターゲットと、前記モニタの画面及び前記ターゲットを視野に含むようにキャリブレーション対象のカメラで撮影されたリアルタイムのカメラ画像を入力する入力部と、３次元基準座標系での前記モニタの３次元位置、前記３次元基準座標系での前記ターゲットの３次元位置、及び、前記カメラの焦点距離を記憶する記憶部と、前記カメラ画像を前記モニタの画面に表示することにより、前記ターゲットにそれぞれ対応する複数のターゲット領域を再帰的に含む再帰的カメラ画像を求める表示制御部と、前記モニタの３次元位置と、前記ターゲットの３次元位置と、前記再帰的カメラ画像中の前記複数のターゲット領域のそれぞれの２次元画像位置と、前記カメラの焦点距離に基づいて、前記カメラの姿勢を求める計算部と、を有するキャリブレーション装置である。
【発明の効果】
【００１１】
本発明によれば、狭い空間であっても、簡単で高精度なカメラキャリブレーションが可能となる。
【発明を実施するための最良の形態】
【００１２】
本発明の一実施形態のキャリブレーション装置１０について図１〜図９に基づいて説明する。
【００１３】
（１）キャリブレーション装置１０の構成
キャリブレーション装置１０の概略構成を図１に示す。
【００１４】
キャリブレーション装置１０は、図１のように、モニタ１２と計算部１４とを備えている。
【００１５】
キャリブレーション装置１０によるカメラキャリブレーションの手順を図２のフローチャートに示し、以下各ステップについて説明する。
【００１６】
（２）カメラ１６の設置
カメラキャリブレーションの対象となるカメラ１６は、モニタ１２の前方に設置し、カメラ１６の向きはモニタ１２の画像を表示する画面と正対させる。そして、カメラ１６の視野の大部分をモニタ１２が占めるようにカメラ１６とモニタ１２間の距離を調節する。
【００１７】
本実施形態では図３に示すように、カメラ１６をモニタ１２の十分近くに設置し、カメラ１６の視野（ＦＯＶ）全体をモニタ１２の画面が占めているものとする。また、カメラ１６の光軸が、モニタ１２の画面の法線方向とできるだけ一致するように置く。すなわち、カメラ１６の撮像面とモニタ１２の画面が平行になるように設置する。
【００１８】
なお、カメラ１６の位置、姿勢を正確に算出するのがキャリブレーション装置１０の目的であり、この時点での調整は厳密に行なう必要はなく、目視で十分である。
【００１９】
図１に示すように、カメラ１６とモニタ１２は、計算部１４を介して接続されており、カメラ１６で撮影したカメラ画像をモニタ１２に表示する。
【００２０】
また、モニタ１２の画面中のカメラ画像の外側にはカメラキャリブレーションに用いる目印（ターゲット）を表示する。
【００２１】
本実施形態では、図３に示すように、カメラ画像（Ｃａｍｅｒａ  ｖｉｅｗ）の外側に矩形（Ｒｅｃｔａｎｇｌｅ．４つの内角が全て９０度の四角形）を表示している。以下ではこの矩形を「基本四角形」と呼ぶ。そして、この基本四角形の４個の頂点が、ターゲットに対応する。
【００２２】
モニタ１２の画面上に表示された基本四角形の４つの頂点の３次元基準座標系に対する位置は既知とする。３次元基準座標系については後から説明する。
【００２３】
なお、基本四角形の各辺には、後に説明する画像処理が容易となるように適当な色を付けても良いし、コントラストが明確になるように背景色を工夫しても良い。
【００２４】
（３）カメラ画像の取得
カメラ１６を上記のように配置した後に、モニタ１２の画面に表示されたカメラ画像を、そのカメラ１６自身で撮影する。撮影されるカメラ画像の一例を図４に示す。
【００２５】
カメラ１６とモニタ１２が互いに向き合った状態において、(a) カメラ１６でモニタ１２の画面を撮影、(b) その撮影したカメラ画像をモニタ１２の画面で表示、(c) カメラ１６でモニタ１２の画面を撮影、(d) その撮影したカメラ画像をモニタ１２の画面で表示、・・・、という無限ループが発生するため、図４のような四角形の繰り返しパターンが撮影される。以下、この繰り返しパターンを、本明細書では「再帰構造」という。
【００２６】
カメラ１６の撮像面とモニタ１２の画面が厳密に平行であれは互いに相似な基本四角形が観測されるが、カメラ１６の位置と姿勢は目視により調節されており、これら２つの平面を人手を介して厳密に平行することは事実上不可能であるため、カメラ１６の撮像面上の基本四角形には歪みが生じる。この歪みは外側から内側に向かうにしたがって大きくなる。カメラ１６の位置と姿勢によって、繰り返しパターンが異なって発生する。
【００２７】
他の繰り返しパターンの３つの例を図７に示す。
【００２８】
第１の例は、図７の中央図の示すように、カメラ１６の撮像面とモニタ１２の画面が厳密に平行であり、かつ、両者の水平、垂直方向も完全に一致し、さらに、モニタ１２上の画面の中心と、カメラ１６の中心からモニタ１２の画面に下ろした垂線の足が一致する理想な場合に観測される画像である。
【００２９】
第２の例は、図７の右下図に示すように、カメラ１６の位置がモニタ１２の画面の中央からずれている画像であり、カメラ１６の位置がモニタ１２の画面の中央からずれている場合に観測される。
【００３０】
第３の例は、図７の左下図に示すように、カメラ１６の光軸回りの回転によって発生するパターンである。
【００３１】
このように、モニタ１２に対するカメラ１６の位置や姿勢によって異なる繰り返しパターンが発生することを利用し、繰り返しパターンの形状を用いてカメラ１６の位置と姿勢を求めるのが本実施形態の特徴である。
【００３２】
なお、本実施形態では、カメラ１６のレンズの焦点距離ｆ等の内部パラメータは既知であり、カメラキャリブレーションで求めるカメラパラメータは、外部パラメータ、すなわち３次元基準座標系に対するカメラ１６の３次元位置と、３本の単位ベクトルで定義される姿勢であるとする。
【００３３】
（４）画像処理
図４に示すように、基本四角形の再帰構造を表示する入力画像を処理して複数の四角形を抽出する。
【００３４】
モニタ１２の画面で表示されたこれらの再帰構造の四角形は、外側から内側に進むにつれてサイズが小さくなり、画像処理による抽出が困難となるので、ある一定のサイズを持つ四角形をＫ個を外側から取り出す。各四角形は、入力画像からエッジを検出後、直線当てはめを各辺について行なうことにより抽出する。
【００３５】
Ｋ個の四角形の抽出方法は任意であるが、以下のような手順で処理を行なうと効率的である。
【００３６】
まず、モニタ１２の画面にカメラ画像を表示しない状態で、その画面をカメラ１６で撮影する。この時点で撮影した画像上に存在する四角形はモニタ１２の画面に表示した基本四角形のみであり、その抽出は容易である。後に詳細に説明するが、モニタ１２の画面からカメラ１６で撮影した画像への変換は２次元射影変換で表され、４つの点の対応関係から、一意に決まる。そこで、上記で抽出した四角形を用いて、この２次元射影変換を求めておく。
【００３７】
次に、モニタ１２の画面にカメラ画像を表示した状態で、その画面をカメラ１６で撮影すると、上記で説明した基本四角形の再帰構造が観測される。１番外側の四角形は既に抽出されているので、２番目以降の四角形が抽出対象となる。隣合う２つの四角形間の変換はいずれも同一であり、上記のモニタ１２の画面からカメラ１６で撮影した画像への射影変換と、撮影した画像からモニタ１２の画面へのスケール変換から構成される。ここで、射影変換は上記で既に求めているため、スケール変換のみ考慮して四角形を抽出すればよい。
【００３８】
（５）パラメータの算出
モニタ１２の画面に表示した基本四角形と、基本四角形の画像上の投影像（画像処理により抽出したＫ個の四角形）からカメラ１６の位置と姿勢のパラメータを算出する。
【００３９】
（５−１）定義
図５に３次元基準座標系の定義を示す。３次元基準座標系の設定方法は任意であるが、本実施形態では３次元基準座標系の原点をモニタ１２の左上端とし、モニタ１２の画面をＸＹ平面、モニタ１２の画面の法線方向をＺ軸とする。
【００４０】
また、この３次元基準座標系において、基本四角形Ｘ（１）の４個の頂点のそれぞれの３次元位置が上記したように既知である。
【００４１】
カメラ１６の位置をｔ＝（ｔＸ，ｔＹ，ｔＺ）Ｔとする。但し、Ｔは転置記号である。
【００４２】
カメラ１６の姿勢を正規直交基底ｉ，ｊ，ｋとする。
【００４３】
これら３本のベクトルからなる行列Ｍ＝（ｉＴ，ｊＴ,ｋＴ）Ｔを定義する。行列Ｍはカメラ１６の姿勢を表すことから「姿勢行列」と呼ぶ。
【００４４】
そして、カメラ１６の位置ｔと姿勢行列Ｍが求めるカメラパラメータである。
【００４５】
（５−２）３次元上の位置と画像上の２次元画像位置との関係
３次元空間中の点Ｘ＝（Ｘ，Ｙ，Ｚ）Ｔの画像への投影点ｘ＝（ｘ，ｙ）Ｔは、式（１）（２）により与えられる。なお、計算を簡単にするために既知のレンズの焦点距離をｆ＝１とする。
【数１】
2009042162.tif 000003
【００４６】
モニタ１２上の平面はＸＹ平面と一致するのでＺ＝０である。つまり、モニタ１２上の点（Ｘ，Ｙ，０）Ｔの投影点（ｘ，ｙ）Ｔは、式（３）で与えられる。
【数２】
2009042162.tif 000004
【００４７】
以下では表現の簡略化のため同次座標表現を用いる。すなわちモニタ１２上の点（Ｘ，Ｙ）、画像上の点（ｘ，ｙ）を各々Ｘ＝（Ｘ，Ｙ，１）Ｔ、ｘ＝（ｘ，ｙ，１）Ｔによって表す。これを用いると式（３）は、
【数３】
2009042162.tif 000005
【００４８】
と表現できる。ここで、
【数４】
2009042162.tif 000006
【００４９】
である。モニタ１２上の点Ｘ＝（Ｘ，Ｙ，１）Ｔは、式（４）が示す２次元射影変換を受け、画像の点ｘ＝（ｘ，ｙ，１）Ｔに投影される。
【００５０】
（５−３）カメラの撮像面上の四角形とモニタ１２の画面上の四角形との関係
図６が示すように、カメラの撮像面上の一番外側の四角形の点をｘ（１）とし、以下、２番目、３番目の四角形の点をｘ（２），ｘ（３）のように、外側からｋ番目の四角形をｘ（ｋ）と表す。そして、カメラの撮像面、すなわち、カメラ画像中のｘ（１）、ｘ（２）、ｘ（３）、・・・ｘ（Ｋ）の位置は、上記したように画像処理において検出しておく。
【００５１】
一方、モニタ１２の画面上の四角形も外側からＸ（１），Ｘ（２），Ｘ（３）と表現する。Ｘ（１）はモニタ１２上のカメラ画像の外側に表示した基本四角形であり、Ｘ（２），Ｘ（３），・・・はモニタ１２上のカメラ画像内に表示された四角形である。なお、上記したように、基本四角形Ｘ（１）の４個の頂点のそれぞれの３次元位置は既知である。
【００５２】
モニタ１２の画面上において、外側からｋ番目の四角形のＸ（ｋ）のカメラ画像への投影がｘ（ｋ）なので、式（４）より、
【数５】
2009042162.tif 000007
【００５３】
となる。
【００５４】
また、モニタ１２の画面上で２番目外側の四角形Ｘ（２）は、カメラの撮像面上で一番外側の四角形の点のｘ（１）を、モニタ１２上で拡大表示したものである。
【００５５】
一般化すると、モニタ１２の画面上でｋ番目の外側の四角形Ｘ（ｋ）は、カメラ１６の撮像面上で（ｋ−１）番目の外側の四角形ｘ（ｋ−１）を投影したものなので、
【数６】
2009042162.tif 000008
【００５６】
となる。但し、Ｓは拡大を表す行列であり、係数ｓを用いて次式により表現される。
【数７】
2009042162.tif 000009
【００５７】
但し、（ｃｘ，ｃｙ，１）Ｔは画像中心のモニタ画像上への投影点を表す。式（８）、（９）から式（１１）を得る。
【数８】
2009042162.tif 000010
【００５８】
である。Ｐ’もＰと同様に２次元射影変換を表す。
【００５９】
（５−３）カメラ１６の姿勢行列Ｍの算出
上記の式（１１）と、上記の画像処理によって抽出したＫ個の四角形ｘ（ｋ）（但し、ｋ＝１，２・・・，Ｋである）からカメラ１６の姿勢行列Ｍを求める。
【００６０】
ｋ番目の四角形の４つの頂点をｘ１（ｋ），ｘ２（ｋ），ｘ３（ｋ），ｘ４（ｋ）と表す。なお、カメラ画像中のｘ１（ｋ），ｘ２（ｋ），ｘ３（ｋ），ｘ４（ｋ）の２次元画像位置を上記したように予め画像処理で検出しておく。
【００６１】
ｋ番目の四角形とその一つ内側にある（ｋ−１）番目の四角形の各頂点の対応関係と式（１１）から、
【数９】
2009042162.tif 000011
【００６２】
を得る。各頂点の対応関係から上記２本の方程式が得られ、それが４頂点あるので１対の四角形から８つの方程式を得る。
【００６３】
さらに、Ｋ個の四角形の中には互いに隣接する四角形の組は（Ｋ−１）通りあるので、合計８×（Ｋ−１）本の方程式を得る。
【００６４】
これらの方程式を連立させて射影変換Ｐ’を求める。但し、Ｐ’は射影変換であり、その要素には定数倍の不定性がある。すなわち、例えば、ｗ＝ｔ３’として、
【数１０】
2009042162.tif 000012
【００６５】
とおいたときのｈ１１〜ｈ３２が一意に決まる。
【００６６】
姿勢行列Ｍの第１列（ｒ１１，ｒ２１，ｒ３１）は単位ベクトルだから、
【数１１】
2009042162.tif 000013
【００６７】
式（１５）（１６）と式（１４）とから、
（ｒ１１，ｒ２１，ｒ３１）＝ｗ’（ｈ１１，ｈ２１，ｈ３１），
（ｒ１２，ｒ２２，ｒ３２）＝ｗ’（ｈ１２，ｈ２２，ｈ３２）      （１７）
として姿勢行列Ｍの第１列と第２列の要素を求める。但し、ｗ’＝ｗ／ｓである。
【００６８】
姿勢行列Ｍの第３列（ｒ１３，ｒ２３，ｒ３３）は、
（ｒ１３，ｒ２３，ｒ３３）＝（ｒ１１，ｒ２１，ｒ３１）×（ｒ１２，ｒ２２，ｒ３２）      
（１８）
という関係式から求める。なお、式（１８）の×はベクトルの外積を表す。
【００６９】
以上によって、カメラ画像中のｘ（１）、ｘ（２）、ｘ（３）、・・・ｘ（Ｋ）の２次元画像位置を画像処理で検出し、焦点距離ｆと基本四角形Ｘ（１）の４個の頂点のそれぞれの３次元位置に基づいて、姿勢行列Ｍの各要素が全て求まる。
【００７０】
ｗ’の符号によって２つの姿勢行列Ｍが算出されることになるが、物理的な意味から妥当な方を選択する。例えば、カメラ１６の撮像面の横方向を表すｉ＝（ｒ１１，ｒ１２，ｒ１３）はＸ軸方向にほぼ一致することからｗ’の符号を一意に定めることができる。
【００７１】
（５−４）カメラ１６の位置ｔの算出
カメラ１６の位置ｔ＝（ｔＸ，ｔＹ，ｔＺ）は式（４）を用いて算出する。モニタ１２上の基本四角形の頂点Ｘｉ（１）とその投影点ｘｉ（１）を式（４）に代入すると、
【数１２】
2009042162.tif 000014
【００７２】
式（１９）は２つの方程式を表す。４つの頂点を用いると８本の方程式を得る。カメラ１６の姿勢Ｍは既に求めているのでこれも用いて８本の連立方程式をｔ＝（ｔＸ，ｔＹ，ｔＺ）Ｔについて解いてカメラ１６の位置を求める。
【００７３】
上記の手順により、本実施形態の目的であるカメラキャリブレーション、すなわち、モニタ１２に対するカメラ１６の位置と姿勢の算出が可能となる。
【００７４】
（６）評価方法
算出したカメラパラメータの妥当性を以下の方法により評価することも可能である。
【００７５】
まず、モニタ１２の画面上の画面分の中心が算出したカメラ１６の位置ｔからモニタ１２平面に下ろした垂線の足と一致するように、基本四角形Ｘ（１）と共に画面分を移動させ、さらに、Ｘ（１）を下記のように変換する。
【数１３】
2009042162.tif 000015
【００７６】
表現の簡略化のため、上付き数字「（１）」は省略している。Ｘ’の画像への投影は式（２１）で与えられる。
【数１４】
2009042162.tif 000016
【００７７】
一方、３つの姿勢ベクトルが３次元基準座標系のＸ，Ｙ，Ｚ軸に一致する理想的なカメラ１６（以下で、「理想カメラ１６」と呼ぶ）の姿勢行列Ｍは式（２２）のようになる。
【数１５】
2009042162.tif 000017
【００７８】
これと式（４）から基本四角形を理想カメラ１６で撮影したときの投影点ｘ”は式（２３）のようになる。
【数１６】
2009042162.tif 000018
【００７９】
式（２１）と式（２３）からｘ’とｘ”は一致する。つまり、基本四角形を式（２０）により変換すると、変換後の四角形の投影図は、理想カメラ１６で基本四角形を撮影した場合の投影像と同一となり、繰り返しパターンは図７中央上のようになる。つまり、観測された繰り返しパターンの相似性や各辺の方向の不変性から、算出したカメラパラメータの妥当性を評価することができる。
【００８０】
（７）再計算方法
このような理想的な繰り返しパターンが観測されるまで再計算を行なって精度を改善することも可能である。図８に再計算を含む場合のキャリブレーションの手順を示す。
【００８１】
パラメータ算出後、その前回から更新量の大きさ等で終了判定を行ない、再計算の必要があると判定された場合には、基本四角形の形状を式（２０）により変形し、変形後の四角形を用いて計算を行なう。
【００８２】
このような手順によると、繰り返しパターンが理想的な形状に近付いていくため、四角形の各辺が水平線、または垂直線となり、画像処理による直線抽出が容易となり、かつ、抽出精度が高くなる。
【００８３】
（８）変更例１
キャリブレーション装置１０は複数のカメラ１６のキャリブレーションも可能である。
【００８４】
図９にステレオのカメラ１６のキャリブレーションの外観を示す。キャリブレーションはカメラ１６毎に独立に実施する。
【００８５】
左のカメラ１６のキャリブレーションを行なうときには、モニタ１２左画像を表示する。右のカメラ１６のキャリブレーションを行なうときには、右画像を表示する。各カメラ１６に関する処理の手順は、単一のカメラ１６の場合と同一である。
【００８６】
（９）変更例２
本実施形態では、モニタ１２の内部に画面を設定し、画面の外側に描画した四角形をキャリブレーションのターゲットとして用いたが、画像をモニタ１２全体に表示し、モニタ１２の外枠をターゲットとしても良い。
【００８７】
（１０）変更例３
上記実施形態では、基本四角形の各頂点をターゲットとしたが、このターゲットは３点以上であればよく、また、四角形に限らず、三角形、多角形でもよい。
【００８８】
（１１）変更例３
本実施形態では自動的にカメラ１６の位置と姿勢を算出する方法について説明したが、カメラ１６とモニタ１２が作り出すこのような無限の繰り返しパターンを用いて、人手によりカメラ１６のモニタ１２に対する姿勢を調整することもできる。
【００８９】
例えば、複数のカメラ１６の向きを揃えたい場合は、通常、遠方の物体を目標を用いる必要があるため、広い空間が必要となるが、繰り返しパターンを観測しながら向きを調節すれば、狭い空間でも比較的正確に向きを揃えることができる。
【００９０】
また、上記で計算されたカメラ１６の姿勢に基づいて、カメラ移動装置、または、人がカメラ１６の位置を調節してもよい。
【００９１】
（１２）他の変更例
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【００９２】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【００９３】
さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００９４】
その他、本発明の要旨を逸脱しない範囲で変形を実施できる。
【００９５】
（１３）応用例
キャリブレーション装置１０の応用例としては、例えば、車両にステレオ視の２台のカメラが搭載されている場合に、このキャリブレーション装置１０を用いることができる。
【００９６】
具体的には、車両の前にモニタ１２を上記条件が満たされるように配置して、カメラキャリブレーションを求める。
【図面の簡単な説明】
【００９７】
【図１】本発明の一実施形態のキャリブレーション装置の説明図である。
【図２】キャリブレーション装置によるカメラキャリブレーションの処理の手順のフローチャートである。
【図３】カメラの視野、矩形ターゲット、画面分の位置関係を示す説明図である。
【図４】キャリブレーション装置により撮影されるカメラ画像を説明図である。
【図５】キャリブレーション装置で使用する３次元基準座標系を説明するための図である。
【図６】モニタの画面上とカメラ画像上の繰り返しパターンの幾何学的関係を説明するための図である。
【図７】計算部における処理を説明するための図である。
【図８】キャリブレーション装置によるキャリブレーションの処理の手順のフローチャートである。
【図９】ステレオカメラのカメラキャリブレーションを説明するための図である。
【符号の説明】
【００９８】
１０    キャリブレーション装置
１２    モニタ
１４    計算部
１６    カメラ
【図１】
2009042162.tif 000019
【図２】
2009042162.tif 000020
【図３】
2009042162.tif 000021
【図４】
2009042162.tif 000022
【図５】
2009042162.tif 000023
【図６】
2009042162.tif 000024
【図７】
2009042162.tif 000025
【図８】
2009042162.tif 000026
【図９】
2009042162.tif 000027