(57)【要約】【課題】カメラが撮像した任意の画像とモデル画像の対応関係の誤検出を抑え、高い信頼性でカメラパラメータを求めるキャリブレーション装置を提供する。【解決手段】キャリブレーション装置は、対応特徴点検出手段が出力する対応データの対応関係の選択を行い、選択した対応関係を処理済対応データとして出力する選択手段と、処理済対応データに基づきカメラパラメータを求めるカメラパラメータ検出手段とを備えている。一実施形態として、選択手段は、対応データの複数の対応関係に基づき撮像座標とモデル座標の変換を行う投影行列を複数作成し、投影行列それぞれについて、投影行列の座標変換の正確さを示す信頼度を、該投影行列により各対応関係の座標変換を行うことで求め、各投影行列の信頼度の高低を閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係を、前記処理済対応データに含める。【選択図】図１
2009205479.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置が撮像した画像である撮像画像と、あらかじめ世界座標に基づき作成した画像であるモデル画像に基づき撮像装置のカメラパラメータを求めるキャリブレーション装置であって、
撮像画像の画素である撮像画素の特徴点と、モデル画像の画素であるモデル画素の特徴点を抽出し、抽出した特徴点間の対応関係を探索し、探索した各対応関係について、撮像画素の撮像画像での座標である撮像座標、モデル画素のモデル画像での座標であるモデル座標、及び、モデル画素に対応する世界座標を示す対応データを出力する対応特徴点検出手段と、
対応特徴点検出手段が出力する対応データの対応関係の選択を行い、選択した対応関係を処理済対応データとして出力する選択手段と、
処理済対応データに基づきカメラパラメータを求めるカメラパラメータ検出手段と、
を備えているキャリブレーション装置。
【請求項２】
選択手段は、対応データの複数の対応関係に基づき撮像座標とモデル座標の変換を行う投影行列を複数作成し、投影行列それぞれについて、投影行列の座標変換の正確さを示す信頼度を、該投影行列により各対応関係の座標変換を行うことで求め、各投影行列の信頼度の高低を閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係を、前記処理済対応データに含める、
請求項１に記載のキャリブレーション装置。
【請求項３】
選択手段は、第１の手段を備えており、
第１の手段は、対応データの複数の対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係の状態をＮＤとする第１回目の判定を行い、
第１回目の判定で状態がＯＫとされた複数の対応関係と、状態がＮＤとされた１つの対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係を対応データから除去する第２回目の判定を行い、
状態がＯＫである対応関係を、前記処理済対応データに含める、
請求項２に記載のキャリブレーション装置。
【請求項４】
第１の手段は、前記第１回目の判定及び第２回目の判定を含む処理を、前記閾値を信頼度が高くなる方向に変更しながら繰り返し行う、
請求項３に記載のキャリブレーション装置。
【請求項５】
投影行列の信頼度は、対応データの対応関係それぞれについて、一方の座標と、他方の座標を該投影行列により変換して得た座標との差を求め、求めた差が所定値未満又は以下である対応関係の数の、全対応関係の数に対する割合である、
請求項２から４のいずれか１項に記載のキャリブレーション装置。
【請求項６】
選択手段は、対応データの各対応関係に、その撮像座標に基づき番号を付与する第２の手段を、さらに備えており、
第１の手段は、投影行列を作成するのに使用する複数の対応関係を、対応関係に付与された番号に基づき選択する、
請求項３から５のいずれか１項に記載のキャリブレーション装置。
【請求項７】
選択手段は、対応特徴点検出手段が出力する対応データの対応関係それぞれについて、撮像座標とモデル座標とを結ぶ直線の、所定の方向からの角度を求め、全対応関係に渡る角度の平均値及び標準偏差を求め、求めた平均値及び標準偏差に基づき、第２の手段に入力させる対応関係を絞り込む第３の手段をさらに備えている、
請求項６に記載のキャリブレーション装置。
【請求項８】
撮像装置が撮像した画像である撮像画像と、あらかじめ世界座標に基づき作成した画像であるモデル画像に基づき撮像装置のカメラパラメータを求めるキャリブレーション方法であって、
撮像画像の画素である撮像画素の特徴点と、モデル画像の画素であるモデル画素の特徴点を抽出するステップと、
抽出した特徴点間の対応関係を探索し、探索した各対応関係について、撮像画素の撮像画像での座標である撮像座標、モデル画素のモデル画像での座標であるモデル座標、及び、モデル画素に対応する世界座標を示す対応データを出力するステップと、
対応データの対応関係から誤検出された対応関係を除去し、処理済対応データとして出力するステップと、
前記処理済対応データに基づきカメラパラメータを求めるステップと、
を含んでいる方法。
【請求項９】
前記処理済対応データとして出力するステップは、
対応データの複数の対応関係に基づき撮像座標とモデル座標の変換を行う投影行列を複数作成するステップと、
投影行列それぞれについて、投影行列の座標変換の正確さを示す信頼度を、該投影行列により各対応関係の座標変換を行うことで求めるステップと、
各投影行列の信頼度の高低を閾値により判定するステップと、
を有し、
前記除去する対応関係を、信頼度が低いと判定された投影行列の元になった対応関係から選択する、
請求項８に記載の方法。
【請求項１０】
前記処理済対応データとして出力するステップは、
対応データの複数の対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係の状態をＮＤとする第１のステップと、
第１のステップで状態がＯＫとされた複数の対応関係と、状態がＮＤとされた１つの対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係を対応データから除去する第２のステップと、
を有する請求項９に記載の方法。
【請求項１１】
前記第１及び第２のステップを、前記閾値を信頼度が高くなる方向に変更しながら繰り返し行う、
請求項１０に記載の方法。
【請求項１２】
請求項１から７に記載のキャリブレーション装置としてコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、世界座標と、撮像装置の画像座標との変換のためのカメラパラメータを求めるキャリブレーション技術に関する。
【背景技術】
【０００２】
例えば、非特許文献１には、格子状の対象物を撮像し、画像内の各格子の交点を検出し、実際の対象物の対応する点を見つけ、これによりカメラパラメータを求める方法が提案されており、非特許文献２には、棒状の対象物の一端を固定し、多端を動かしながらカメラで撮像し、画像内の対象物の点と、実際の対象物の点との対応関係を把握し、これによりカメラパラメータを求める方法が提案されている。
【０００３】
また、非特許文献３には、例えば、撮像した画像内にある競技場のラインの交点と、世界座標に基づき作成した実際の競技場のモデル画像にあるラインの交点との対応関係を見つけ、これにより、カメラパラメータを求める方法が提案されている。
【０００４】
なお、例えば、異なる各度から撮像された同じ対象物を含む２つの画像の対応する点を見つけるために、画像の画素値に基づく特徴点を抽出し、その特徴点から対応関係を探索する方法が画像処理の分野にて一般的に利用されている。例えば、特徴点の抽出には、非特許文献４に記載のＳＨＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）法や、非特許文献５に記載のアファイン領域検出（Ａｆｆｉｎｅ  Ｒｅｇｉｏｎ  Ｄｅｔｅｃｔｏｒｓ）法や、非特許文献３に記載のラインの交点等を使用することができる。また、例えば、特徴点の対応関係の探索には、上記ＳＨＩＦＴ法の他に、非特許文献６に記載の近似再近接（Ａｐｐｒｏｘｉｍａｔｅ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ）探索法を使用することができる。
【０００５】
さらに、上記方法を用いて見つけた対応関係には誤ったものも含まれているため、誤りのない対応関係のみを選択／抽出して出力することが必要になるが、このための方法として、最小２乗メディアン（ＬＭｅｄＳ：Ｌｅａｓｔ  Ｍｅｄｉａｎ  ｏｆ  Ｓｑｕａｒｅ）法や、例えば、非特許文献７に記載のＲＡＮＳＡＣ（Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ）法が知られている。なお、本発明者の実験によると、これら方法においては、依然、誤検出された対応関係が出力されてしまうという問題がある。
【０００６】
【非特許文献１】Ｚｈｅｎｇｙｏｕ  Ｚｈａｎｇ、“Ａ  Ｆｌｅｘｉｂｌｅ  Ｎｅｗ  Ｔｅｃｈｎｉｑｕｅ  ｆｏｒ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ”、Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＭＳＲ−ＴＲ−９８−７１、Ｍｉｃｒｏｓｏｆｔ  Ｒｅｓｅａｒｃｈ、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ、１９９８年１２月
【非特許文献２】Ｚｈｅｎｇｙｏｕ  Ｚｈａｎｇ、“Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  Ｗｉｔｈ  Ｏｎｅ−Ｄｉｍｅｎｓｉｏｎａｌ  Ｏｂｊｅｃｔｓ”、Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＭＳＲ−ＴＲ−２００１−１２０、Ｍｉｃｒｏｓｏｆｔ  Ｒｅｓｅａｒｃｈ、Ｍｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ、２００２年８月
【非特許文献３】Ｄｉｒｋ  Ｆａｒｉｎ、ｅｔ  ａｌ．、“Ｒｏｂｕｓｔ  Ｃａｍｅｒａ  Ｃａｌｉｂｒａｔｉｏｎ  ｆｏｒ  Ｓｐｏｒｔ  Ｖｉｄｅｏｓ  ｕｓｉｎｇ  Ｃｏｕｒｔ  Ｍｏｄｅｌｓ”、Ｐｒｏｃ．  ＳＰＩＥ  Ｓｔｏｒａｇｅ  ａｎｄ  Ｒｅｔｒｉｅｖａｌ  Ｍｅｔｈｏｄｓ  ａｎｄ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｆｏｒ  Ｍｕｌｔｉｍｅｄｉａ  ２００４、ｖｏｌ．５３０７、ｐｐ．８０−９１、２００４年１月
【非特許文献４】Ｄａｖｉｄ  Ｇ．Ｌｏｗｅ、“Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ”、Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｄｅｐａｒｔｍｅｎｔ  Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｂｒｉｔｉｓｈ  Ｃｏｌｕｍｂｉａ、２００4年１月
【非特許文献５】Ｋ．Ｍｉｋｏｌａｊｃｚｙｋ、ｅｔ  ａｌ．、“Ａ  Ｃｏｍｐａｒｉｓｏｎ  ｏｆ  Ａｆｆｉｎｅ  Ｒｅｇｉｏｎ  Ｄｅｔｅｃｔｏｒｓ”、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ、２００６  Ｓｐｒｉｎｇｅｒ  Ｓｃｉｅｎｃｅ＋Ｂｕｓｉｎｅｓｓ  Ｍｅｄｉａ，Ｉｎｃ．
【非特許文献６】Ｓｕｎｉｌ  Ａｒｙａ．、“Ａｎ  Ｏｐｔｉｍａｌ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ａｐｐｒｏｘｉｍａｔｅ  Ｎｅａｒｅｓｔ  Ｎｅｉｇｈｂｏｒ  Ｓｅａｒｃｈｉｎｇ  ｉｎ  Ｆｉｘｅｄ  Ｄｉｍｅｎｓｉｏｎｓ”、Ｐｒｏｃ．  ｔｈｅ  ｆｉｆｔｈ  ａｎｎｕａｌ  ＡＣＭ-ＳＩＡＭ  Ｓｙｍｐｏｓｉｕｍ  ｏｎ  Ｄｉｓｃｒｅｔｅ  Ａｌｇｏｒｉｔｈｍｓ、ｐｐ．５７３−５８２、１９９４年
【非特許文献７】Ｍａｒｔｉｎ  Ａ．Ｆｉｓｃｈｌｅｒ、ｅｔ  ａｌ．、“Ｒａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ：Ａ  Ｐａｒａｄｉｇｍ  ｆｏｒ  Ｍｏｄｅｌ  Ｆｉｔｔｉｎｇ  ｗｉｔｈ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｔｏ  Ｉｍａｇｅ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ａｕｔｏｍａｔｅｄ  Ｃａｒｔｏｇｒａｐｈｙ”、Ｃｏｍｍｕｎｉｃａｔｉｏｎ    ｏｆ  Ｔｈｅ  ＡＣＭ、Ｖｏｌ．２４、Ｎｕｍｂｅｒ  ６、１９８１年６月。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献１及び２に記載の方法は、格子状又は棒状対象物を使用しなければならず、応用範囲が限られ、静止画像にのみ利用でき、かつ、対象物とは離れた位置にあるものに対するカメラパラメータを計算することができないという問題がある。また、非特許文献３に記載の方法は、競技場におけるラインの交点を利用するものであるが、やはり、例えばスポーツイベント等に応用範囲が限られ、撮像した画像内にあるラインの交点が少ない場合には、カメラパラメータを求めることが出来なくなという問題点がある。また、画像に写り込んでいる競技場外のラインを、モデル画像のラインに対応するものと、誤検出する可能性もある。
【０００８】
したがって、本発明は、特定形状の対象物ではなく、カメラが撮像した任意の画像と、世界座標に基づき作成し、カメラが撮像した範囲と重複する範囲を含む画像であるモデル画像とから、対応関係の誤検出を抑え、高い信頼性でカメラパラメータを求めるキャリブレーション装置及び方法、並びに、該キャリブレーション装置としてコンピュータを機能させるプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明におけるキャリブレーション装置によれば、
撮像装置が撮像した画像である撮像画像と、あらかじめ世界座標に基づき作成した画像であるモデル画像に基づき撮像装置のカメラパラメータを求めるキャリブレーション装置であって、撮像画像の画素である撮像画素の特徴点と、モデル画像の画素であるモデル画素の特徴点を抽出し、抽出した特徴点間の対応関係を探索し、探索した各対応関係について、撮像画素の撮像画像での座標である撮像座標、モデル画素のモデル画像での座標であるモデル座標、及び、モデル画素に対応する世界座標を示す対応データを出力する対応特徴点検出手段と、対応特徴点検出手段が出力する対応データの対応関係の選択を行い、選択した対応関係を処理済対応データとして出力する選択手段と、処理済対応データに基づきカメラパラメータを求めるカメラパラメータ検出手段とを備えていることを特徴とする。
【００１０】
本発明のキャリブレーション装置における他の実施形態によれば、
選択手段は、対応データの複数の対応関係に基づき撮像座標とモデル座標の変換を行う投影行列を複数作成し、投影行列それぞれについて、投影行列の座標変換の正確さを示す信頼度を、該投影行列により各対応関係の座標変換を行うことで求め、各投影行列の信頼度の高低を閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係を、前記処理済対応データに含めることも好ましい。
【００１１】
本発明のキャリブレーション装置における他の実施形態によれば、
選択手段は、第１の手段を備えており、第１の手段は、対応データの複数の対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係の状態を、未決定（以後、ＮＤと表記）とする第１回目の判定を行い、第１回目の判定で状態がＯＫとされた複数の対応関係と、状態がＮＤとされた１つの対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係を対応データから除去する第２回目の判定を行い、状態がＯＫである対応関係を、前記処理済対応データに含めることも好ましい。
【００１２】
また、本発明のキャリブレーション装置における他の実施形態によれば、
第１の手段は、前記第１回目の判定及び第２回目の判定を含む処理を、前記閾値を信頼度が高くなる方向に変更しながら繰り返し行うことも好ましい。
【００１３】
さらに、本発明のキャリブレーション装置における他の実施形態によれば、
投影行列の信頼度は、対応データの対応関係それぞれについて、一方の座標と、他方の座標を該投影行列により変換して得た座標との差を求め、求めた差が所定値未満又は以下である対応関係の数の、全対応関係の数に対する割合であることも好ましい。
【００１４】
さらに、本発明のキャリブレーション装置における他の実施形態によれば、
選択手段は、対応データの各対応関係に、その撮像座標に基づき番号を付与する第２の手段を、さらに備えており、第１の手段は、投影行列を作成するのに使用する複数の対応関係を、対応関係に付与された番号に基づき選択することも好ましい。
【００１５】
さらに、本発明のキャリブレーション装置における他の実施形態によれば、
選択手段は、対応特徴点検出手段が出力する対応データの対応関係それぞれについて、撮像座標とモデル座標とを結ぶ直線の、所定の方向からの角度を求め、全対応関係に渡る角度の平均値と標準偏差を求め、求めた平均値と標準偏差に基づき、第２の手段に入力させる対応関係を絞り込む第３の手段を、さらに備えていることも好ましい。
【００１６】
本発明におけるキャリブレーション方法によれば、
撮像装置が撮像した画像である撮像画像と、あらかじめ世界座標に基づき作成した画像であるモデル画像に基づき撮像装置のカメラパラメータを求めるキャリブレーション方法であって、撮像画像の画素である撮像画素の特徴点と、モデル画像の画素であるモデル画素の特徴点を抽出するステップと、抽出した特徴点間の対応関係を探索し、探索した各対応関係について、撮像画素の撮像画像での座標である撮像座標、モデル画素のモデル画像での座標であるモデル座標、及び、モデル画素に対応する世界座標を示す対応データを出力するステップと、対応データの対応関係から誤検出された対応関係を除去し、処理済対応データとして出力するステップと、前記処理済対応データに基づきカメラパラメータを求めるステップとを含んでいることを特徴とする。
【００１７】
本発明のキャリブレーション方法における他の実施形態によれば、
処理済対応データとして出力するステップは、対応データの複数の対応関係に基づき撮像座標とモデル座標の変換を行う投影行列を複数作成するステップと、投影行列それぞれについて、投影行列の座標変換の正確さを示す信頼度を、該投影行列により各対応関係の座標変換を行うことで求めるステップと、各投影行列の信頼度の高低を閾値により判定するステップとを有し、前記除去する対応関係を、信頼度が低いと判定された投影行列の元になった対応関係から選択することも好ましい。
【００１８】
本発明のキャリブレーション方法における他の実施形態によれば、
前記処理済対応データとして出力するステップは、対応データの複数の対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係の状態をＮＤとする第１のステップと、第１のステップで状態がＯＫとされた複数の対応関係と、状態がＮＤとされた１つの対応関係に基づき作成した投影行列それぞれの信頼度を求め、各投影行列の信頼度の高低を前記閾値により判定し、信頼度が高いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係の状態をＯＫとし、信頼度が低いと判定された投影行列の元になった対応関係のうち、状態がＮＤである対応関係を対応データから除去する第２のステップとを有することも好ましい。
【００１９】
本発明のキャリブレーション方法における他の実施形態によれば、
前記第１及び第２のステップを、前記閾値を信頼度が高くなる方向に変更しながら繰り返し行うことも好ましい。
【００２０】
さらに、前記キャリブレーション装置としてコンピュータを機能させるプログラム、あるいは、前記キャリブレーション方法をコンピュータに実行させるプログラムが提供される。
【発明の効果】
【００２１】
本発明は、例えば、コンピュータグラフィック技術により生成したモデル画像を使用するものであり、特定形状の対象物を使用するものではない。つまり応用範囲に限定がない。モデル画像と撮像画像の対応関係については、例えば、ＳＨＩＦＴ法やアファイン領域検出法により探索するが、これら、従来技術により探索した対応関係には誤検出されたものも多く、このままではカメラパラメータを求めることはできない。
【００２２】
誤検出を除去し、信頼できる対応関係のみを出力する従来技術として、ＲＡＮＳＡＣ法や最小２乗メディアン法等があるが、これら方法は依然誤検出されたものを出力するという問題がある。このため、本発明では、投影行列の信頼度を、実際に座標変換を行うことにより求め、この信頼度に基づき、誤検出された対応関係を除去することで、モデル画像をカメラパラメータの算出に使用することを可能にし、よって、正確なカメラパラメータの算出を行うものである。
【発明を実施するための最良の形態】
【００２３】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００２４】
図１は、本発明によるキャリブレーション装置１００のブロック図である。図１によると、キャリブレーション装置１００は、保存部１と、対応特徴点検出部２と、選択部３と、カメラパラメータ計算部４とを備えている。
【００２５】
保存部１は、撮像装置２００が撮像した動画像又は静止画像のデータと、少なくともカメラが撮像した範囲と重複する範囲を有し、キャリブレーションのため、例えば、コンピュータグラフィックス技術を用いてあらかじめ作成しておく画像のデータとを保存している。以後、カメラが撮影した動画像又は静止画像を、“撮像画像”と、撮像画像の各画素を“撮像画素”と、撮像画像内における撮像画素の位置を特定する座標を“撮像座標”と呼び、キャリブレーションのためあらかじめ作成しておく画像を“モデル画像”と、モデル画像の各画素を“モデル画素”と、モデル画像内におけるモデル画素の位置を特定する座標を“モデル座標”と呼ぶものとする。よって、保存部１は、撮像画像のデータである撮像データと、モデル画像のデータであるモデルデータを保存している。なお、撮像データは、各撮像画素の画素値及び撮像座標を示す情報を含むものであり、モデルデータは、各モデル画素の画素値及びモデル座標に加え、各モデル画素に対応する世界座標を示す情報も含むものである。
【００２６】
なお、撮像画像と、モデル画像の方向を一致させる必要はない。つまり、例えば、図１１（ａ）に示す様に、ある建物を斜め方向から写した撮像画像に対して、図１１（ｂ）に示す様に、同じ建物を正面から見た状態のモデル画像を使用することができる。
【００２７】
対応特徴点検出部２は、撮像データと、モデルデータを読み込み、撮像データ内の特徴点となる撮像画素と、モデルデータ内の特徴点となるモデル画素を、それぞれ、抽出する。この特徴点の抽出には、好ましくは、ＳＩＦＴ法又はアファイン領域検出（Ａｆｆｉｎｅ  Ｒｅｇｉｏｎ  Ｄｅｔｅｃｔｏｒｓ）法を使用する。しかしながら、ラインの交点等を使用することも可能である。さらに、対応特徴点検出部２は、特徴点として抽出した撮像画素と、特徴点として抽出したモデル画素の対応関係を探索し、探索した各対応関係について、少なくとも、撮像画素の撮像画像での座標である撮像座標、モデル画素のモデル画像での座標であるモデル座標、及び、モデル画素に対応する世界座標を示す対応データを出力する。この対応関係の探索には、ＳＩＦＴ法や、近似再近接探索法を使用することができる。
【００２８】
選択部３は、対応特徴点検出部２が出力する対応データから、誤りのない対応関係を選択し、選択した対応関係を含む処理済対応データをカメラパラメータ計算部４に出力する。つまり、選択部３は、対応特徴点検出部２が誤検出した対応関係を対応データから除去する。カメラパラメータ計算部４は、処理済対応データに含まれる撮像座標と世界座標の対応関係に基づき、従来技術による方法にてカメラパラメータを計算し、計算したカメラパラメータを保存部１に保存する。
【００２９】
図２は、選択部３のブロック図である。図２（ａ）によると、選択部３は、前処理部３１と、並べ替え部３２と、ＲＡＮＳＡＣ処理部３３と、反復処理部３４とを備えている。また、図２（ｂ）に示す他の形態によると、選択部３は、並べ替え部３２と、ＲＡＮＳＡＣ処理部３３と、反復処理部３４とを備えている。さらに、図２（ｃ）に示す他の形態によると、選択部３は、前処理部３１と、並べ替え部３２と、反復処理部３４とを備えている。
【００３０】
図３は、前処理部３１における処理を説明する図である。前処理部３１は、図３（ａ）に示す様に、対応データに含まれる撮像画素の撮像座標と、この撮像画素と対応するモデル画素のモデル座標とを結ぶ直線の、基準方向からの角度を求め、角度ごとの対応関係数と、角度の平均ｍ及び標準偏差Ｓを計算する。その後、角度の値が、ｍ−λＳ以上で、ｍ＋λＳ以下の対応関係のみを対応データに含めて出力し、残りの対応関係を除去する。ここで、λは、削減数を調整するための係数である。つまり、図３（ｂ）に示す様に、横軸を角度、縦軸を同じ角度を持つ対応関係数とするヒストグラムを求め、図の矢印の範囲にある対応関係のみを出力し、それ以外の対応関係を除去する。
【００３１】
続いて、並べ替え部３２における処理を説明する。図４は、並べ替え部３２における処理の説明図であり、６つの対応関係に含まれる撮像画素（Ａ）から（Ｆ）が示されている。並べ替え部３２は、対応データの各対応関係に対して、以後の処理における順番を割り振るものであり、撮像画像上において、互いに位置が近い対応関係が近い番号となる様に値を割り振る。例えば、図４の撮像画素（Ａ）を含む対応関係に１、撮像画素（Ｄ）を含む対応関係に２、撮像画素（Ｆ）を含む対応関係に３、以後、（Ｂ）に４、（Ｅ）に５、（Ｃ）に６といった様に、撮像画像の左上の座標から、下方向に、左右に蛇行する順番で番号を付与する。
【００３２】
ＲＡＮＳＡＣ処理部３３は、ＲＡＮＳＡＣ法に基づき、誤検出された対応関係を除去し、対応データに含まれる対応関係の絞り込みを行う。また、他の形態としてＲＡＮＳＡＣ処理部３３に代えて、最小２乗メディアン（ＬＭｅｄＳ：Ｌｅａｓｔ  Ｍｅｄｉａｎ  ｏｆ  Ｓｑｕａｒｅ）法に基づき絞込みを行う最小２乗メディアン処理部を設けても良い。
【００３３】
続いて、反復処理部３４について説明する。図５は、反復処理部３４における処理フロー図である。まず、反復処理部３４は、閾値Ｔｈを初期値に設定（Ｓ５１）し、対応データの対応関係を、並べ替え部３２が付与した番号順にＳ個ずつ８つのグループにグループ分けする（Ｓ５２）。ここで、Ｓは、対応関係がＮ個であるとすると、８×Ｓ≦Ｎ＜８×（Ｓ＋１）を満たす整数である。なお、（８×Ｓ＋１）番目からＮ番目の対応関係については、この時点においてはどのグループにも属さないものとする。図８は、Ｎ＝３３である場合に作成される８つのグループであり、例えば、番号１〜４の対応関係はグループ１に、番号５〜８の対応関係はグループ２に振り分けられ、端数となる番号３３の対応関係は、この時点においてはどのグループにも属さないものとする。
【００３４】
グループ分けした後、反復処理部３４は、各グループから１つずつ対応関係を選択して第１番目から第Ｓ番目のＳ個のセットを作成する（Ｓ５３）。選択は、例えば、以下の説明で使用する様に、画素番号をＳで除した余りが同一であるものを同じセットとすることにより行う。具体的には、番号１、５、・・・、２９を同一セットとし、番号２、６、・・・、３０を同一セットとし、番号３、７、・・・、３１を同一セットとし、番号４、８、・・・、３２を同一セットとする。
【００３５】
その後、閾値Ｔｈに基づき、各セットに対する１回目の判定を行う（Ｓ５４）。この判定において後述する基準を満たさなかったセットに含まれる８つの対応関係については状態を、未決定（以後、ＮＤと表記）とし、基準を満たしたセットに含まれる８つの対応関係については状態をＯＫとする。図９は、番号１の対応関係が属するセットと、番号３の対応関係が属するセットは基準を満たさず、番号２の対応関係が属するセットと、番号４の対応関係が属するセットは基準を満たしていた場合を示している。
【００３６】
続いて、Ｓ５４による判定結果に基づき、まず、状態がＮＤの対応関係を１つ選択し、続いて、この選択した対応関係が属するグループ以外の７つのグループそれぞれから状態がＯＫの対応関係を１つずつ選択することにより、第１番目から第８×Ｅ番目の８×Ｅ個のセットを作成する（Ｓ５５）。ここで、ＥはＳ５４において基準を満たさなかったセットの数であり、図９に示す様にＳ５４において２個のセットが基準を満たさなかった場合、１６個のセットを作成する。具体的には、図９において、状態がＮＤである番号１の対応関係を選択した場合、グループ２から状態がＯＫである対応関係を１つ、グループ３から状態がＯＫである対応関係を１つ、以後、同様にグループ８まで、計７つの状態がＯＫである対応関係を選択して１つのセットとする。
【００３７】
その後、閾値Ｔｈに基づき、各セットに対する２回目の判定を行う（Ｓ５６）。この判定において、後述する基準を満たさなかったセットに含まれる、状態がＮＤである対応関係については状態をＮＧとして対応データから削除し、基準を満たしたセットに含まれる、状態がＮＤである対応関係については状態をＯＫとする。なお、Ｓ５４において、状態をＯＫとした対応関係については、Ｓ５６での判定結果に係わらず、その状態はＯＫのままとする。図１０は、番号３の対応関係を含むセットと、番号２９の対応関係を含むセットが基準を満たさなかった場合を示している。
【００３８】
２回目の判定終了後、閾値Ｔｈを所定値Ａだけ増加し（Ｓ５７）、閾値が、あらかじめ決めておく閾値の最大値Ｂを超えているか否かを判定し（Ｓ５８）、超えている場合には、その時点でＯＫである対応関係を、反復処理部３４は出力し、超えていない場合には、対応関係の状態をリセットし、かつ、残っている対応関係の番号を連続とする様に、各対応関係の番号を順次繰り上げる（Ｓ５９）。つまり、Ｓ５６での処理により図１０に示す様に番号３及び番号２９の対応関係のみがＮＧである場合、番号４〜２８の対応関係を番号３〜２７とし、番号３０〜３３の対応関係を番号２８〜３１とする。その後、Ｓ５２からＳ５７の処理を閾値が最大値Ｂを超えるまで繰り返す。なお、閾値が最大値Ｂを超える以前であっても、２回目の判定処理終了時点において、残っている総ての対応関係の状態がＯＫである場合には、以後の反復処理を中止して、その時点における対応関係を出力しても良い。
【００３９】
続いて、Ｓ５４での１回目の判定について説明する。図６は、１回目の判定処理のフロー図である。まず、変数ｋを１にし（Ｓ６１）、第ｋ番目のセットに含まれる８つの対応関係に基づき、撮像座標からモデル座標への投影行列を作成する（Ｓ６２）。なお、作成方法は、公知の技術を使用できる。続いて、この投影行列の座標変換の正確さを示す信頼度を求める。具体的は、この時点における対応データの全対応関係の撮像画素それぞれについて、撮像画素に対応するモデル画素のモデル座標と、当該撮像画素の撮像座標を、作成した投影行列に基づき変換して得たモデル座標との距離を求め、この距離が所定値未満、例えば、３画素未満である対応関係の数の、この時点の全対応関係の数に対する割合を、この投影行列の信頼度とする（Ｓ６３）。続いて、投影行列を、その信頼度と閾値Ｔｈにより、信頼度が“高”であるものと“低”であるものに振り分けを行う（Ｓ６４）。具体的には、信頼度が閾値より大きい又は以上である投影行列を、信頼度“高”とし、それ以外を信頼度“低”とする。その後、信頼度が“高”である投影行列の元となったセットについては、そのセットに含まれる対応関係の状態をＯＫとし（Ｓ６５）、信頼度が“低”である投影行列の元となったセットについては、そのセットに含まれる対応関係の状態をＮＤとする（Ｓ６６）。
【００４０】
例えば、残っている対応関係数が１００であり、あるセットにより求めた投影行列を使用して撮像画素の撮像座標を変換した場合、対応するモデル画素のモデル座標と、変換により得たモデル座標との距離差が所定値以内である対応データが６０である場合、この投影行列の信頼度は６０％であり、閾値が８０％とすると、この投影行列の信頼度は“低”であり、このセットの対応関係はＮＤとなる。この処理を各セットについて順に行う（Ｓ６７及びＳ６８）。
【００４１】
続いて、Ｓ５６での２回目の判定について説明する。図７は、２回目の判定処理のフロー図である。１回目の判定処理（図６）のＳ６１からＳ６４と同じ処理を行い（Ｓ７１からＳ７４）、投影行列の信頼度を閾値と比較して、信頼度の高低を判定する。信頼度が高い投影行列の元となったセットについては、そのセットに含まれる、状態がＮＤである対応関係の状態をＯＫとし（Ｓ７５）、そうでない場合には、そのセットに含まれる、状態がＮＤである対応関係の状態をＮＧとする（Ｓ７６）。この処理を各セットについて順に行う（Ｓ７７及びＳ７８）。
【００４２】
第１回目の判定処理において、８つの対応関係に基づき投影行列を生成するが、この８つの対応関係に１つでも誤検出された対応関係が含まれている場合、生成した投影行列を使用して撮像座標を変換したモデル座標は、対応関係にあるモデル座標とは、かけ離れたもの、つまり信頼度が低くなる。逆に、かけ離れてしまう対応関係の割合が低いもの、つまり信頼度が高いものについては、その投影行列の元になった８つの対応関係は確からしいと判定でき、これらの状態をＯＫとする。また、信頼度が低い場合であっても、この時点においては、８つの対応関係のどの対応関係が誤検出されたものであるかを判定することはできないため、取り敢えず８つの対応関係の状態をＮＤとする。
【００４３】
２回目の判定処理の内容は、１回目と同じであるが、各セットには、状態がＮＤの対応関係を１つのみとしているため、このセットが基準を満たさない場合、その原因は状態がＮＤである対応関係によるものと特定でき、逆に、基準を満たす場合、状態がＮＤである対応関係は誤検出されたものではなく、１回目において基準を満たさなかったのは、同じセットの他の対応関係が誤検出されたものであったためと判定することができる。よって、２回目の判定処理において、基準を満たさないセットについては、そのセットに含まれる状態がＮＤの対応関係を誤検出されたものとして除去し、基準を満たすセットについては、そのセットに含まれる状態がＮＤの対応関係をＯＫとして、次の、反復処理に残しておく。上記処理を、閾値を順に信頼度が高くなる方向に変更しながら繰り返し行うことで、精度高く、誤検出された対応関係の除去を行うことができる。なお、並べ替え部３２による並べ替えは、１つのセットに含まれる対応関係の空間的相関を低くするためである。
【００４４】
以上、本発明によるキャリブレーション装置及び方法は、特定形状の対象物ではなく、例えば、コンピュータグラフィック技術を用いて作成したモデル画像との対応関係に基づきカメラパラメータを求めるものである。この場合、対応特徴点検出部２で行う、従来技術により求めた対応データから、誤検出された対応関係を確実に除去することが、カメラパラメータを求めるために重要である。しかしながら、従来技術であるＲＡＮＳＡＣ法／最小２乗メディアン法による除去は、誤検出された対応関係が依然出力されてしまうという問題がある。
【００４５】
本発明は、この誤検出された対応関係の除去を、上述した並べ替え部３２と反復処理部３４における処理により効果的に行うものである。なお、好ましくは、反復処理部３４における処理前に、入力する対応データを絞り込むために、前処理部３１を、反復処理部３４の上流に設ける。前処理部３１は、その基準方向からあまりにもかけ離れた対応関係を削除するものであり、簡易な処理にて、反復処理部３４への入力を絞り込むことができる。同様に、従来技術によるＲＡＮＳＡＣ法／最小２乗メディアン法を、反復処理部３４に入力させる対応データの絞り込みのために使用することもできる。
【００４６】
なお、撮像座標をモデル座標に変換する投影行列を使用する形態にて説明を行ったが、上記、実施形態におけるモデル座標と撮像座標を入替え、モデル座標を撮像座標に変換する投影行列を使用する形態であっても良い。
【００４７】
なお、本発明によるキャリブレーション装置は、上述した装置の各部として、コンピュータを機能させるコンピュータプログラムにより実現することができる。また、本発明による方法は、コンピュータに上述した各処理を実行させるコンピュータプログラムにより実現することができる。このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明の各機能ブロックは、ハードウェアのみで実現するもののみならず、ハードウェアとソフトウェアの組合せで実現するものも含むものである。つまり、ある特定の処理を行う専用ハードウェア、プロラムを読み込んで実行するプロセッサ及び該プロセッサの処理を規定するプログラムの組合せ、又は、プロラムを読み込んで実行するプロセッサ及び該プロセッサの処理を規定するプログラムの組合せを含むものである。
【図面の簡単な説明】
【００４８】
【図１】本発明によるキャリブレーション装置のブロック図である。
【図２】選択部のブロック図である。
【図３】前処理部の説明図である。
【図４】並べ替え部の説明図である。
【図５】反復処理部における処理フロー図である。
【図６】１回目の判定処理のフロー図である。
【図７】２回目の判定処理のフロー図である。
【図８】対応データのグループ分けの説明図である。
【図９】１回目の判定処理結果を示す図である。
【図１０】２回目の判定処理結果を示す図である。
【図１１】撮像画像とモデル画像を示す図である。
【符号の説明】
【００４９】
１  保存部
２  対応特徴点検出部
３  選択部
３１  前処理部
３２  並べ替え部
３３  ＲＡＮＳＡＣ処理部
３４  反復処理部
４  カメラパラメータ計算部
１００  キャリブレーション装置
２００  撮像装置
【図１】
2009205479.tif 000003
【図２】
2009205479.tif 000004
【図３】
2009205479.tif 000005
【図４】
2009205479.tif 000006
【図５】
2009205479.tif 000007
【図６】
2009205479.tif 000008
【図７】
2009205479.tif 000009
【図８】
2009205479.tif 000010
【図９】
2009205479.tif 000011
【図１０】
2009205479.tif 000012
【図１１】
2009205479.tif 000013