(57)【要約】【課題】  指標をカメラの光軸に対して垂直な平面に配置しなくてもカメラに係るパラメータをより正確に校正する為の技術を提供すること。【解決手段】  複数の指標が含まれるパターン画像から指標を検出し、検出された指標の撮影画像における第１の位置を求める（Ｓ５０２）。撮像装置に係るパラメータを用いて撮影画像における指標の位置を示す第２の位置を計算する（Ｓ５０５）。撮像装置のレンズの放射性わい曲歪みのパラメータを固定した状態で、第１の位置と第２の位置との差を用いて、撮像装置のレンズの放射性わい曲歪みのパラメータ以外のパラメータを補正する（Ｓ５０６）。補正されたパラメータを用いて撮影画像における指標の位置を示す第３の位置を求める（Ｓ５０９）。第１の位置と第３の位置との差を用いて、放射性わい曲歪みのパラメータを補正する（Ｓ５１０）。【選択図】  図５
2007034985.tif 000002
【特許請求の範囲】
【請求項１】
複数の指標が含まれるパターン画像を撮像装置により撮影することで得られる撮影画像を取得する取得工程と、
前記撮影画像から前記指標を検出し、前記検出された指標の該撮影画像における第１の位置を求める検出工程と、
前記撮像装置に係るパラメータを用いて前記撮影画像における前記指標の位置を示す第２の位置を計算する計算工程と、
前記パラメータに含まれる前記撮像装置のレンズの放射性わい曲歪みのパラメータを固定した状態で、前記第１の位置と前記第２の位置との差を用いて、前記撮像装置のレンズの放射性わい曲歪みのパラメータ以外の前記パラメータを補正する第１の補正工程と、
前記第１の補正工程で補正されたパラメータを用いて前記撮影画像における前記指標の位置を示す第３の位置を計算する第２の計算工程と、
前記第１の位置と前記第３の位置との差を用いて、前記放射性わい曲歪みのパラメータを補正する第２の補正工程とを備えることを特徴とする情報処理方法。
【請求項２】
撮影画像中の校正用パターンを認識する工程と、
アスペクト比が補正された画像面上での長さを基準に、レンズ歪みを補正するモデル式のパラメータと、透視投影変換パラメータとを同時に推定する工程と、
を有する画像からのカメラの内部パラメータ校正方法。
【請求項３】
複数の画像に撮影された校正用パターンを認識する工程を有することを特徴とする請求項２に記載の画像からのカメラの内部パラメータ校正方法。
【請求項４】
アスペクト比パラメータおよびレンズ歪みパラメータを求める情報処理方法であって、
校正用パターン画像を撮影することにより得られる撮影画像を取得する取得工程と、
撮影画像に基づきアスペクト比パラメータを計算する第１の計算工程と、
前記推定されたアスペクト比パラメータを用いて、前記撮影画像に基づきレンズ歪みパラメータを計算する第２の計算工程とを有することを特徴とする情報処理方法。
【請求項５】
前記取得工程は、複数の撮影画像を取得し、
前記複数の撮影画像における撮影装置の位置・姿勢を計算する第３の計算工程を有し、
前記第１の計算工程は、前記計算された撮影装置の位置・姿勢に基づき、前記アスペクト比パラメータを計算することを特徴とする請求項４記載の情報処理方法。
【請求項６】
請求項１、４、５の何れかに記載の情報処理方法を、コンピュータにて実現するためのプログラム。
【請求項７】
複数の指標が含まれるパターン画像を撮像装置により撮影することで得られる撮影画像を取得する取得手段と、
前記撮影画像から前記指標を検出し、前記検出された指標の該撮影画像における第１の位置を求める検出手段と、
前記撮像装置に係るパラメータを用いて前記撮影画像における前記指標の位置を示す第２の位置を計算する計算手段と、
前記パラメータに含まれる前記撮像装置のレンズの放射性わい曲歪みのパラメータを固定した状態で、前記第１の位置と前記第２の位置との差を用いて、前記撮像装置のレンズの放射性わい曲歪みのパラメータ以外の前記パラメータを補正する第１の補正手段と、
前記第１の補正手段で補正されたパラメータを用いて前記撮影画像における前記指標の位置を示す第３の位置を計算する第２の計算手段と、
前記第１の位置と前記第３の位置との差を用いて、前記放射性わい曲歪みのパラメータを補正する第２の補正手段とを備えることを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に係るパラメータを校正するための技術に関するものである。
【背景技術】
【０００２】
一般に使用されるカメラのレンズは、理想的なピンホールカメラではないため、カメラで撮像された画像には、レンズに起因する樽型歪み等の歪が含まれる事が多く、理想的な透視投影とはなっていない。よって、コンピュータなどで画像処理をする場合には、画像の歪みを校正するという処理がよく行われる。
【０００３】
従来からこのような処理のために校正用パターンを撮影し、画像から歪み、カメラの透視投影変換パラメータを求めるという方法が用いられている。非特許文献１にはこのような従来の画像の歪の校正方法について記述されている。非特許文献１に開示されている校正方法では例えば、歪みのモデルとして以下のような式が使われる。
【０００４】
ｘ’＝ｋ２×（ｘｉ−ｃｘ）
ｙ’＝ｋ２×（ｙｉ−ｃｙ）
ｄ＝１−ｋ１（ｘ’２＋ｙ’２）    （式１）
ｘｏ＝ｘ’×ｄ＋ｃｘ
ｙｏ＝ｙ’×ｄ＋ｃｙ
ここで、（ｘｉ、ｙｉ）は歪みのない理想的な位置、（ｘｏ、ｙｏ）は歪んだ位置を表す。
【０００５】
パラメータを推定する基本的な手順は以下の通りである。
【０００６】
Ａ）  初期値（ｃｘ、ｃｙ、ｋ１、ｋ２）を用意。
【０００７】
Ｂ）  グリッド状の観測点（ｘｏ、ｙｏ）から、Ａ）の歪みパラメータを用いて歪み補正後の点（ｘｃ、ｙｃ）を求める。
【０００８】
Ｃ）  グリッド点を（ｘｃ、ｙｃ）へと変換するHomographyを最小二乗により求める。
【０００９】
Ｄ）  グリッド点をＣ）のHomographyにより変換する（ｘｈ、ｙｈ）を求める。
【００１０】
ここで、Ｃ）とＤ）の処理は、歪みが残っている（ｘｃ、ｙｃ）を線形近似する操作に相当する。
【００１１】
Ｅ）  （ｘｈ、ｙｈ）をＡ）の歪みパラメータにより逆補正して、（ｘｈｏ、ｙｈｏ）を求める。
【００１２】
Ｆ）  （ｘｏ、ｙｏ）と（ｘｈｏ、ｙｈｏ）の差を用いて、歪みパラメータをニュートン法により最適化する。
【００１３】
しかしながら、以上のようにしてカメラ歪みを求めるためには、カメラの光軸に対して垂直な平面に分布する既知のマーカを撮像するなどの前提条件が必要であり、校正用パターンを垂直に置けていない場合には誤差が生じる。
【００１４】
また、カメラの透視投影変換パラメータをその後別に求めなければならないため、歪みパラメータおよび透視投影変換パラメータを求めるために校正を２回行わなければならない。２回目の校正には、垂直な校正用パターンだけではなく、複数の姿勢の校正用パターンを撮像する事が望ましいため、手間のかかる作業となる。
【００１５】
図３は、以上説明した、従来の歪みパラメータ計算処理のフローチャートである。
【００１６】
先ず、校正用のパターンを撮像することで、実写画像を取得する（ステップＳ３０１）。次に、この取得した実写画像中における指標（観測点）を認識し、その位置を取得する（ステップＳ３０２）。次に、上述の方法でもって校正パラメータ（歪みパラメータ）を求める（ステップＳ３０３）。そして求めた校正パラメータを保存する（ステップＳ３０４）。
【００１７】
更に、同図のフローチャートに従った処理の後に、カメラの透視投影変換パラメータを求める必要がある。
【００１８】
また上記の例ではアスペクト比に誤差が有る場合が考慮されておらず、アスペクト比が正確に１：１でない場合には、歪みパラメータに誤差が含まれてしまう。
【００１９】
その他の従来例としては、非特許文献２がある。非特許文献２には、カメラの透視投影変換パラメータと歪みパラメータを同時に求める方法が開示されている。しかしながら、ここでもアスペクと比は考慮されておらず、アスペクト比の誤差が、カメラの透視投影変換パラメータと歪みパラメータの誤差の原因となってしまう。
【非特許文献１】S.Uchiyama,K.Takemoto,K.Satoh,H.Yamamoto, and H.Tamura:"MR Platform: A basic body on which mixed reality applications are built," Proc. IEEE／ACM Int’l Symp. on Mixed and Augmented Reality (ISMAR 2002), pp.246-253, 2002.
【非特許文献２】Ｍｉｃｒｏｓｏｆｔのテクニカルレポート：Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＭＳＲ−ＴＲ−９８−７１
【発明の開示】
【発明が解決しようとする課題】
【００２０】
本発明は、カメラの歪みパラメータ推定において、アスペクト比の誤差が、歪みパラメータの精度に悪影響を与えてしまうという問題を解決するための技術を提供することを目的とする。
【００２１】
また、パターンをカメラの光軸に対して垂直な平面に配置しなくても歪み補正パラメータを高精度に推定できるようにすることを目的とする。
【課題を解決するための手段】
【００２２】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２３】
即ち、複数の指標が含まれるパターン画像を撮像装置により撮影することで得られる撮影画像を取得する取得工程と、
前記撮影画像から前記指標を検出し、前記検出された指標の該撮影画像における第１の位置を求める検出工程と、
前記撮像装置に係るパラメータを用いて前記撮影画像における前記指標の位置を示す第２の位置を計算する計算工程と、
前記パラメータに含まれる前記撮像装置のレンズの放射性わい曲歪みのパラメータを固定した状態で、前記第１の位置と前記第２の位置との差を用いて、前記撮像装置のレンズの放射性わい曲歪みのパラメータ以外の前記パラメータを補正する第１の補正工程と、
前記第１の補正工程で補正されたパラメータを用いて前記撮影画像における前記指標の位置を示す第３の位置を計算する第２の計算工程と、
前記第１の位置と前記第３の位置との差を用いて、前記放射性わい曲歪みのパラメータを補正する第２の補正工程とを備えることを特徴とする。
【００２４】
本発明の目的を達成するために、例えば、本発明の内部パラメータ校正方法は以下の構成を備える。
【００２５】
即ち、撮影画像中の校正用パターンを認識する工程と、
アスペクト比が補正された画像面上での長さを基準に、レンズ歪みを補正するモデル式のパラメータと、透視投影変換パラメータとを同時に推定する工程と、
を有する。
【００２６】
本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。
【００２７】
即ち、アスペクト比パラメータおよびレンズ歪みパラメータを求める情報処理方法であって、
校正用パターン画像を撮影することにより得られる撮影画像を取得する取得工程と、
撮影画像に基づきアスペクト比パラメータを計算する第１の計算工程と、
前記推定されたアスペクト比パラメータを用いて、前記撮影画像に基づきレンズ歪みパラメータを計算する第２の計算工程とを有することを特徴とする。
【００２８】
本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。
【００２９】
即ち、複数の指標が含まれるパターン画像を撮像装置により撮影することで得られる撮影画像を取得する取得手段と、
前記撮影画像から前記指標を検出し、前記検出された指標の該撮影画像における第１の位置を求める検出手段と、
前記撮像装置に係るパラメータを用いて前記撮影画像における前記指標の位置を示す第２の位置を計算する計算手段と、
前記パラメータに含まれる前記撮像装置のレンズの放射性わい曲歪みのパラメータを固定した状態で、前記第１の位置と前記第２の位置との差を用いて、前記撮像装置のレンズの放射性わい曲歪みのパラメータ以外の前記パラメータを補正する第１の補正手段と、
前記第１の補正手段で補正されたパラメータを用いて前記撮影画像における前記指標の位置を示す第３の位置を計算する第２の計算手段と、
前記第１の位置と前記第３の位置との差を用いて、前記放射性わい曲歪みのパラメータを補正する第２の補正手段とを備えることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、アスペクト比を考慮して高精度にカメラの歪みパラメータを推定することができる。
【００３１】
請求項２および請求項４記載の発明によれば、パターンをカメラの光軸に対して垂直な平面に配置しなくても歪み補正パラメータを高精度に求めることができる。つまり、簡便に歪み補正パラメータを求めることができる。
【発明を実施するための最良の形態】
【００３２】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００３３】
［第１の実施形態］
図１は、撮像装置としてのカメラ１０１と、補正処理を行うコンピュータ１０２とで構成されているシステムのハードウェア構成例を示すブロック図である。
【００３４】
カメラ１０１は、ＮＴＳＣに準拠した一般的なビデオカメラであり、レンズの放射性わい曲歪みを有する。カメラ１０１が撮像した画像はＮＴＳＣ信号としてコンピュータ１０２に送出される。
【００３５】
コンピュータ１０２は、キャプチャデバイス１０３、ＣＰＵ１０４、メモリ１０５、表示装置１０６、入力装置１０７により構成されている。なお、コンピュータ１０２の構成はこれに限定するものではなく、適宜変形例が考えられる。
【００３６】
キャプチャデバイス１０３は、カメラ１０１から送出された上記ＮＴＳＣ信号を受け、これをデータ（画像データ）に変換してメモリ１０５に送出する。
【００３７】
ＣＰＵ１０４は、メモリ１０５に格納されているプログラムやデータを用いてコンピュータ１０２全体の制御を行うと共に、コンピュータ１０２が行う後述の各処理を実行する。
【００３８】
メモリ１０５は、キャプチャデバイス１０３から送出された画像データを一時的に記憶するためのエリア、ＣＰＵ１０４が各種の処理を実行する際に用いるワークエリア等の様々なエリアを適宜提供することができる。なお、このワークエリアには、この画像データに対してＣＰＵ１０４が各種の処理を行った結果のデータ（処理済みの画像のデータ）を一時的に記憶するためのエリアも含まれる。
【００３９】
表示装置１０６は、ＣＲＴや液晶画面等により構成されており、画像や文字などでを表示することができる。
【００４０】
入力装置１０７は、キーボードやマウスなどであり、操作者が入力装置を操作することで、各種の指示をＣＰＵ１０４に対して行うことができる。
【００４１】
図２は、上記システムを用いて、カメラ１０１に係るパラメータを校正（補正）する際の様子を示す図である。なお、図２において図１と同じ部分については同じ番号を付けており、その説明は省略する。
【００４２】
２０１はカメラ１０１に係るパラメータを校正するための校正用パターンで、例えば、所定のパターンが印刷された紙である。黒点２０２については後述する。
【００４３】
本実施形態では、このようなパターンをカメラ１０１で撮像し、撮像した画像をコンピュータ１０２に送出する。カメラ１０１はレンズ歪みを有する。従って、パターンの撮影画像ははこのレンズ歪みによる影響を受けている。
【００４４】
図４の４０２は一般的な樽型歪みを示す図である。歪みの無い理想的なレンズでグリッドが印刷されている校正用パターンを撮影すると、４０１のような歪みの無いグリッド画像を得ることができる。しかしながら、レンズ歪のために、例えば４０２のような樽型歪みを有する画像が撮影される。
【００４５】
このような歪みは、複合現実感装置等において、実写画像と仮想現実映像の合成の際に、位置ずれの原因となる。また、画像を用いた位置計測において、誤差の原因となる。
【００４６】
そこで、本実施形態では、カメラ１０１に係るパラメータを校正し、４０２に例示するようなレンズ歪みによる撮像画像の変形を防ぐ。
【００４７】
図５は、カメラ１０１に係るパラメータを校正するための処理のフローチャートである。尚、図５のフローチャートに従った処理をＣＰＵ１０４に実行させるためのプログラムやデータはメモリ１０５に格納されている。そしてＣＰＵ１０４がこれらを用いて処理を実行することで、コンピュータ１０２は以下の各処理を実現する。
【００４８】
本実施形態では、式（２）を用いる。
【００４９】
ｘ’＝ｋｑ×（ｘｉ−ｃｘ）
ｙ’＝ｋｑ×ｋｖ２ｈ×（ｙｉ−ｃｙ）
ｄ＝１−ｋｃ（ｘ’２＋ｙ’２）    （式２）
ｘｏ＝ｘ’×ｄ＋ｃｘ
ｙｏ＝ｙ’×ｄ＋ｃｙ
ここで、（ｘｉ、ｙｉ）は歪みのない理想的な位置、（ｘｏ、ｙｏ）は歪んだ位置を表す。また、ｋｃは放射方向わい曲歪みの３次のパラメータ、ｋｑは放射性わい曲歪みの５次のパラメータ、ｋｖ２ｈはアスペクト比を示すパラメータである。（ｃｘ、ｃｙ）は歪み中心位置を示すパラメータである。
【００５０】
また、カメラ校正において推定すべき透視投影変換パラメータとして、焦点距離（ｆｘ、ｆｙ）、主点位置（ｐｘ、ｐｙ）があり、外部パラメータとしては位置position、姿勢orientationがある。
【００５１】
よって、本実施形態では、カメラ１０１に係るパラメータには、ｋｃ、ｋｑ、ｋｖ２ｈ、ｃｘ、ｃｙ、ｆｘ、ｆｙ、ｐｘ、ｐｙ、position、orientationがある。
【００５２】
先ず、ステップＳ５０１では、初期パラメータを推定する。カメラ１０１のレンズがよほど歪みの大きいレンズで無ければ、ｋｃ、ｋｑの初期値は０にしておけば良い。また、歪み中心（ｃｘ、ｃｙ）の初期値は特殊なレンズでなければ、画像（カメラ１０１により撮像する画像）中心にしておけば良い。もし、カメラ１０１のレンズに特殊なレンズを用いている場合はそれに合わせた歪みの初期パラメータとする。
【００５３】
ｋｖ２ｈの初期値には使用機材の理論値を設定すれば良い。一般的なコンピュータでＮＴＳＣに準拠したビデオ信号をキャプチャする場合であれば、およそ１：１のアスペクト比でビデオ信号をキャプチャできる。従って、アスペクト比を示すパラメータｋｖ２ｈには１：１を設定する。なお、それは誤差を含んでいるが、ここで使用する初期値としては問題はない。
【００５４】
透視投影パラメータおよび外部パラメータ（ｆｘ、ｆｙ、ｐｘ、ｐｙ、position、orientation）は、パターンの配置情報（黒点２０２の位置、グリッドの交点間の距離など）に基づき、Inter-image homographyを利用したカメラパラメータ推定計算により推定する。複数の画像間におけるグリッドの対応点は、黒点２０２を基準として特定する。
【００５５】
次に、ステップＳ５０２では、カメラ１０１により撮像した校正用パターンの画像から直線を検出し、検出された直線の交点（図２に示したグリッドの交点）を検出する。検出した交点（以下、観測点、若しくは指標と呼称する）の画像上における座標位置を（ｘｏ、ｙｏ）とする。
【００５６】
本実施形態では、カメラ１０１の外部パラメータを同時に推定するため、カメラ１０１と校正用パターン２０１の位置関係が異なる複数の画像を取得する。画像領域全般にわたって、歪みをより正確に推定するためには、それぞれの画像の領域全体にグリッドが撮影されている事が望ましい。
【００５７】
ステップＳ５０３では、ｆｘ＝ｆｙ＝ｆ（所定の値）とする。これは焦点距離ｆｘ、ｆｙの大きさの違いが本質的にアスペクト比ｋｖ２ｈと同じものであり、一方を推定した後の残差的な物として、もう一方を推定するからである。
【００５８】
従来例では、アスペクト比を固定してパラメータ推定を行っているが、式（３）の歪みのモデル式は、アスペクト比が正確な事を前提としており、アスペクト比に誤差があると、縦と横で放射性わい曲歪みの強度が異なるモデルとなってしまう。
【００５９】
そのため、本実施形態では、アスペクト比の推定（ｋｖ２ｈの推定）を優先的に行い、アスペクト比が補正された画像面上で、レンズ中心からいずれの方向にも偏りのない放射性わい曲歪みのパラメータ推定（ｋｑの推定）を行う。
【００６０】
ステップＳ５０４では、５次の歪み係数ｋｑを０に固定する。これはｋｑのパラメータ変動量は、ｋｃのパラメータ変動量と比較しても極めて小さな値となるため、同時に推定すると計算誤差に埋もれてしまって収束させることができないためである。またｋｃとｋｑとは、相互に関連が強いため、同時に推定しようとすると、局所解に陥ってしまう可能性が高い。
【００６１】
ステップＳ５０５では、初期化したパラメータを用いて、パターン座標系での観測点を画像面へ透視投影するとともに、レンズ歪み逆補正を行う。これにより、観測点が画像面に写像されるであろう位置の座標（ｘｐ、ｙｐ）を計算する。
【００６２】
ステップＳ５０６では、ステップＳ５０５で求めた座標（ｘｐ、ｙｐ）と、ステップＳ５０２で検出した観測点の座標位置（ｘｏ、ｙｏ）との差を用いて、カメラ１０１に係るパラメータをニュートン法でもって補正する（更新する）。この求めるパラメータは、（ｃｘ、ｃｙ、ｋｃ、ｋｖ２ｈ、ｆ、ｐｘ、ｐｙ、ｐｏｓｉｔｉｏｎ、ｏｒｉｅｎｔａｔｉｏｎ）である。
【００６３】
このときニュートン法を用いるため∂ｘｉ／∂ｃｘ、∂ｘｉ／∂ｃｙ、∂ｘｉ／∂ｋｃ、∂ｘｉ／∂ｋｖ２ｈ、∂ｘｉ／∂ｆ、∂ｘｉ／∂ｐｘ、∂ｘｉ／∂ｐｙ、∂ｘｉ／∂（ｐｏｓｉｔｉｏｎ）、∂ｘｉ／∂（ｏｒｉｅｎｔａｔｉｏｎ）、、を計算して用いる。
【００６４】
ステップＳ５０７では、残差を計算し、残差が所定値以下になったか（求めるパラメータが最適化されたか）を判断する。そして、残差が所定値以上である場合には処理をステップＳ５０５に戻し、処理を繰り返す。なお、ニュートン法に従った数値計算処理については周知のものであるので、これに関する説明は省略する。
【００６５】
一方、残差が所定値以下になった場合は処理をステップＳ５０８に進める。ステップＳ５０８では、ステップＳ５０７までの処理で求めたパラメータを固定し、以上の処理で値を固定していたｋｑをニュートン法でもって補正するために、このｋｑを変数とする。なお、予め∂ｘｉ／∂ｋｑ、∂ｙｉ／∂ｋｑを計算しておく。
【００６６】
ステップＳ５０９では、ステップＳ５０７までの処理で求めたパラメータを用いて、パターン座標系での観測点を画像面へ透視投影し、レンズ歪み逆補正を行う。これにより、観測点が画像面に写像されるであろう位置の座標（ｘｐ、ｙｐ）を計算する。
【００６７】
ステップＳ５１０では、ステップＳ５０９で求めた座標（ｘｐ、ｙｐ）と、ステップＳ５０２で検出した観測点の座標位置（ｘｏ、ｙｏ）との差を用いて、ｋｑをニュートン法でもって更新する。
【００６８】
ステップＳ５１１では、残差を計算し、残差が所定値以下になったか（求めるパラメータが最適化されたか）を判断する。そして、残差が所定値以上である場合には処理をステップＳ５０９に戻し、以降の処理を繰り返す。
【００６９】
ステップＳ５１２では、例えば、ステップＳ５０７，Ｓ５１１のそれぞれで求めた残差の和が所定値以下であるのか否かを判断し、所定値以上である場合には処理をステップＳ５０５に戻し、以降の処理を繰り返す。なお、ステップＳ５０５に処理を戻した場合、ｋｑは０ではなく、ステップＳ５０９〜Ｓ５１１で求めたものを用いる。
【００７０】
ステップＳ５１３では、ステップＳ５１２で最終的に決定した５次の係数ｋｑ、アスペクト比ｋｖ２ｈを固定する。これは、ｋｑはこの後の最適化でｋｃと同時には推定できないためである。また、アスペクト比を固定するのは、アスペクト比と本質的に同じ意味を持つ（ｆｘ、ｆｙ）の別々の推定を行うためである。
【００７１】
そして、ステップＳ５１４では、ｆｘ、ｆｙを縦横別のパラメータとして設定し、ステップＳ５１５〜Ｓ５１７の処理を行う。ステップＳ５１５〜Ｓ５１７の処理は、ステップＳ５０５〜Ｓ５０７における処理（ステップＳ５０９〜Ｓ５１１）と同様である。
【００７２】
なお、ｆｘ、ｆｙは必ずしも別に推定する必要は無く、その場合はステップＳ５１７における処理は省略することができる。実際に計算を行うとｆｘ、ｆｙはほぼ同じ値になるが、より残差を減らすために別に計算することが有効な場合もある。
【００７３】
なお、補正結果に関しては、あらかじめ歪みパラメータと、スケールを求めておき、表示装置１０６に内蔵される機能を使って、変換を行いながら、表示をする事も可能である。
【００７４】
以上の説明により、本実施形態によれば、カメラの校正において、校正用パターンをカメラに垂直に提示する必要がなく容易に校正が可能で、垂直に提示でない事による誤差を排除できる。
【００７５】
また、カメラの歪みパラメータ推定において、アスペクト比の誤差が、歪みパラメータの精度に悪影響を与える事なく正確な推定ができる。
【００７６】
また、本実施形態は、歪み補正パラメータとカメラの透視投影変換パラメータおよび外部パラメータとを同時に求める。よって、歪み補正パラメータ計算用の画像を取得して歪み補正パラメータを計算した後に、カメラの透視投影変換パラメータ計算用の画像を取得して、カメラの透視投影変換パラメータを計算するというように、２度の校正を行う必要がない。
【００７７】
なお、上記実施形態では、５次の係数ｋｑを計算しているが、これは省略することもできる。その場合、図５のフローチャートにおいて、ステップＳ５０８からステップＳ５１２における処理は省略することになる。
【００７８】
また、放射方向に加え、接線方向わい曲歪みを考慮するなど、レンズ歪みのモデルが上記実施形態と異なる場合であっても、上記実施形態と同様にアスペクト比を考慮して、歪みパラメータと透視投影変換パラメータを推定する事が可能である。
【００７９】
［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００８０】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８１】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８２】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【００８３】
【図１】撮像装置としてのカメラ１０１と、補正処理を行うコンピュータ１０２とで構成されているシステムのハードウェア構成例を示すブロック図である。
【図２】第１の実施形態に係るシステムを用いて、カメラ１０１に係るパラメータを校正（補正）する際の様子を示す図である。
【図３】従来の歪みパラメータ計算処理のフローチャートである。
【図４】一般的樽型歪みを示す図である。
【図５】カメラ１０１に係るパラメータを校正するための処理のフローチャートである。
【図１】
2007034985.tif 000003
【図２】
2007034985.tif 000004
【図３】
2007034985.tif 000005
【図４】
2007034985.tif 000006
【図５】
2007034985.tif 000007