(57)【要約】【課題】  既存のパターンや構造物のモデル上の基準点と、実写画像との対応付けを効率的に行って、カメラパラメータのキャリブレーションを実行することができるカメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラムを提供する。【解決手段】  カメラパラメータ算出較正装置１は、カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも１つを算出し、算出した算出結果に従って前記カメラパラメータを較正するものであって、カメラパラメータ記憶手段７と、画像入力手段３と、点対応入力手段５と、画像生成手段１５と、画像合成手段１７と、画像表示手段１９と、逆投影手段９と、点対応記憶手段１１と、カメラパラメータ算出手段１３と、を備えた。【選択図】      図１
2006033449.tif 000002
【特許請求の範囲】
【請求項１】
カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも１つを算出し、算出した算出結果に従って前記カメラパラメータを較正するカメラパラメタータ算出較正装置であって、
前記カメラパラメータの少なくとも１つの初期値である初期カメラパラメータを記憶すると共に、前記算出結果に従って較正されるカメラパラメータを記憶するカメラパラメータ記憶手段と、
前記カメラで撮像した実写画像を入力する実写画像入力手段と、
この実写画像入力手段で入力された実写画像に含まれている幾何形状と一致するモデル上において基準となるモデル基準点と、前記実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する点対応入力手段と、
前記モデルに関するデータが入力され、前記カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータにより、前記モデルに関するデータを投影変換することで、前記点対応入力手段で入力されたモデル基準点と、前記実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する基準画像生成手段と、
この基準画像生成手段で生成された基準画像と、前記実写画像とを重畳して合成画像として出力する合成画像出力手段と、
この合成画像出力手段で出力された合成画像を表示する合成画像表示手段と、
この合成画像表示手段で表示された合成画像が参照されて前記点対応入力手段で入力された画像座標に基づいて、前記モデル基準点の三次元座標を算出する逆投影手段と、
この逆投影手段で算出されたモデル基準点の三次元座標と、前記点対応入力手段で入力された前記実写対応点の画像座標とを関連付けた点対応情報を記憶する点対応情報記憶手段と、
この点対応情報記憶手段に記憶されている点対応情報に基づいて、前記カメラパラメータを算出し、前記カメラパラメータ記憶手段に記憶されたカメラパラメータを較正するカメラパラメータ算出手段と、
を備えることを特徴とするカメラパラメータ算出較正装置。
【請求項２】
カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも１つを算出し、算出した算出結果に従って前記カメラパラメータを較正するために、前記カメラパラメータの少なくとも１つの初期値である初期カメラパラメータを記憶すると共に、前記算出結果に従って較正されるカメラパラメータを記憶するカメラパラメータ記憶手段と、点対応情報記憶手段とを備えるコンピュータを、
前記カメラで撮像した実写画像を入力する実写画像入力手段、
この実写画像入力手段で入力された実写画像に含まれている幾何形状と一致するモデル上において基準となるモデル基準点と、前記実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する点対応入力手段、
前記モデルに関するデータが入力され、前記カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータにより、前記モデルに関するデータを投影変換することで、前記点対応入力手段で入力されたモデル基準点と、前記実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する基準画像生成手段、
この基準画像生成手段で生成された基準画像と、前記実写画像とを重畳して合成画像として出力する合成画像出力手段、
この合成画像出力手段で出力された合成画像を表示する合成画像表示手段と、
この合成画像表示手段で表示された合成画像が参照されて前記点対応入力手段で入力された画像座標に基づいて、前記モデル基準点の三次元座標を算出する逆投影手段、
この逆投影手段で算出されたモデル基準点の三次元座標と、前記点対応入力手段で入力された前記実写対応点の画像座標とを関連付けた点対応情報を前記点対応情報記憶手段に記憶させる点対応情報記憶制御手段、
この点対応情報記憶手段に記憶されている点対応情報に基づいて、前記カメラパラメータを算出し、前記カメラパラメータ記憶手段に記憶されたカメラパラメータを較正するカメラパラメータ算出手段、
として機能させることを特徴とするカメラパラメータ算出較正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの設置位置、姿勢およびレンズの焦点距離等の特性を表すカメラパラメータを算出して、逐次較正するカメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラムに関する。
【背景技術】
【０００２】
従来、カメラの設置位置（座標）、姿勢（撮影方向）およびレンズの焦点距離等の特性を表すカメラパラメータを算出して、較正する（キャリブレーションを行う）手法として、「カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ」（特許文献１参照）が開示されている。
【０００３】
この手法では、カメラで撮影した撮影画像および幾何形状の定義と一義的なパターンを持つ基準画像の対応付けを、輝度誤差最小化方法等の方法によって実行することで、カメラパラメータを自動的にキャリブレーションするものである。
【０００４】
【特許文献１】特開２０００−３５０２３９号公報（段落００６０〜００７４、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の「カメラ・キャリブレーション装置及び方法、画像処理装置及び方法、プログラム提供媒体、並びに、カメラ」に示す手法等、カメラパラメータを自動的にキャリブレーションする手法では、安定したキャリブレーション結果（較正結果）を得るために、基準画像のような人工的なパターンを使用したり、投光器等を用いて、当該人工的なパターンを投射する必要があった。このため、既存のパターンや構造物のモデル、例えば、スポーツ競技場に引かれた白線や、撮影しているビルディング等のモデルを基準にしてカメラパラメータのキャリブレーションを実行しようとすると、既存のパターンや構造物のモデル上の基準点と、カメラで実際に撮影している実写映像との対応付けを自動で行った場合に安定した動作が得難いという問題がある。一方対応付を手動で行うための効率的なユーザインターフェースが存在せず、データ入力が困難であるという問題がある。
【０００６】
そこで、本発明では、前記した問題を解決し、既存のパターンや構造物のモデル上の基準点と、実写画像との対応付けを効率的に行って、カメラパラメータのキャリブレーションを実行することができるカメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、請求項１記載のカメラパラメータ算出較正装置は、カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも１つを算出し、算出した算出結果に従って前記カメラパラメータを較正するカメラパラメタータ算出較正装置であって、カメラパラメータ記憶手段と、実写画像入力手段と、点対応入力手段と、基準画像生成手段と、合成画像出力手段と、合成画像表示手段と、逆投影手段と、点対応情報記憶手段と、カメラパラメータ算出手段と、を備える構成とした。
【０００８】
かかる構成によれば、カメラパラメータ算出較正装置は、カメラパラメータ記憶手段に、カメラパラメータの少なくとも１つの初期値である初期カメラパラメータを予め記憶していると共に、カメラパラメータ算出手段で算出される算出結果に従って構成される新規のカメラパラメータを記憶する（更新していく）。ここでいうカメラとは、ビデオカメラ（撮影カメラ）、デジタルカメラ、画像スキャナ等であり、画像を取得するもの（画像取得装置）を指している。カメラパラメータは、カメラが設置されている設置位置の平面上の位置座標と、カメラが被写体を撮影している方向である撮影方向（姿勢）を示す角度と、カメラから被写体までの焦点距離との少なくとも一つを含むものである。まず、カメラパラメータ算出較正装置は、実写画像入力手段によって、カメラで撮影した実写映像を入力する。なお、この実写映像には、何らかの幾何形状（三次元幾何形状）をした被写体（既存のパターンや構造物）が含まれている。
【０００９】
続いて、カメラパラメータ算出較正装置は、点対応入力手段によって、実写画像入力手段で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となるモデル基準点と、実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する。モデルは、実写画像に含まれている、つまり、被写体空間に存在する幾何形状と一致するもので、例えば、三角形、四角形等の平面図形や、三角錐や四角柱等の立体図形である。モデル基準点は、モデル上で基準となる点、例えば、モデルが三角形であった場合三角形の各頂点である。実写対応点は、実写画像上において被写体が存在している箇所を指すものである。なお、モデル基準点および実写対応点は、画像座標（ｘ，ｙ）として与えられる。
【００１０】
そして、カメラパラメータ算出較正装置は、基準画像生成手段によって、入力されたモデルに関するデータを、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換することで、点対応入力手段で入力されたモデル基準点と、実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する。投影変換とは、モデル基準点の座標を、予め設定した数式に代入することで、透視投影し、図形化することである。相関関係を表す図面は、モデル基準点と実写対応点とを結んだ、矢印状のもの（後記する図４参照）である。
【００１１】
そして、カメラパラメータ算出較正装置は、合成画像出力手段によって、基準画像生成手段で生成された基準画像と、実写画像とを重畳して合成画像として出力し、この出力した合成画像を、合成画像表示手段によって、表示する。また、カメラパラメータ算出較正装置は、逆投影手段によって、点対応入力手段で入力された画像座標に基づいて、モデル基準点の三次元座標を算出し、この算出した三次元座標と、点対応入力手段で入力された実写対応点の画像座標とを関連付けた点対応情報として、点対応情報記憶手段に記憶する。
【００１２】
その後、カメラパラメータ算出較正装置は、カメラパラメータ算出手段によって、点対応情報記憶手段に記憶されている点対応情報に基づいて、カメラパラメータを算出し、カメラパラメータ記憶手段に記憶されたカメラパラメータを較正（更新）する。
【００１３】
請求項２記載のカメラパラメータ算出較正プログラムは、カメラの位置座標、撮影方向および焦点距離からなるカメラパラメータの少なくとも１つを算出し、算出した算出結果に従って前記カメラパラメータを較正するために、前記カメラパラメータの少なくとも１つの初期値である初期カメラパラメータを記憶すると共に、前記算出結果に従って較正されるカメラパラメータを記憶するカメラパラメータ記憶手段と、点対応情報記憶手段とを備えるコンピュータを、実写画像入力手段、点対応入力手段、基準画像生成手段、合成画像出力手段、合成画像表示手段と、逆投影手段、点対応情報記憶制御手段、カメラパラメータ算出手段、として機能させる構成とした。
【００１４】
かかる構成によれば、カメラパラメータ算出較正プログラムは、実写画像入力手段によって、カメラで撮影した実写映像を入力し、点対応入力手段によって、実写画像入力手段で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となるモデル基準点と、実写画像上の実写対応点との相関関係を、それぞれ画像座標にして入力する。続いて、カメラパラメータ算出較正プログラムは、基準画像生成手段によって、入力されたモデルに関するデータを、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換することで、点対応入力手段で入力されたモデル基準点と、実写画像上の実写対応点との相関関係を表す図形を、基準画像として生成する。そして、カメラパラメータ算出較正プログラムは、合成画像出力手段によって、基準画像生成手段で生成された基準画像と、実写画像とを重畳して合成画像として出力し、逆投影手段によって、点対応入力手段で入力された画像座標に基づいて、モデル基準点の三次元座標を算出する。そして、カメラパラメータ算出較正プログラムは、点対応情報記憶制御手段によって、逆投影手段で算出されたモデル基準点の三次元座標と、点対応入力手段で入力された実写対応点の画像座標とを関連付けた点対応情報として点対応情報記憶手段に記憶させ、カメラパラメータ算出手段によって、点対応情報記憶手段に記憶されている点対応情報に基づいて、カメラパラメータを算出し、カメラパラメータ記憶手段に記憶されたカメラパラメータ（初期カメラパラメータ）を較正（更新）する。
【発明の効果】
【００１５】
請求項１、２記載の発明によれば、既存のパターンや構造物のモデル基準点と実写画像の実写対応点との相関関係を、画像座標にして入力し、基準画像を生成して、実写画像との合成映像を表示することで、モデル基準点と実写対応点との対応付けを効率的に行うことができ、これらの位置を調整することで、カメラパラメータのキャリブレーションを実行することができる。
【発明を実施するための最良の形態】
【００１６】
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
〈カメラパラメータ算出較正装置の構成〉
図１は、カメラパラメータ算出較正装置のブロック図である。この図１に示すように、カメラパラメータ算出較正装置１は、画像取得装置（図示せず）の設置位置（位置座標）、姿勢（撮影方向）およびレンズの焦点距離等のカメラパラメータを算出して、このカメラパラメータをキャリブレーション（較正）するもので、画像入力手段（実写画像入力手段）３と、点対応入力手段５と、カメラパラメータ記憶手段７と、逆投影手段９と、点対応記憶手段（点対応情報記憶制御手段）１１と、カメラパラメータ算出手段１３と、画像生成手段（基準画像生成手段）１５と、画像合成手段（合成画像出力手段）１７と、画像表示手段（合成画像表示手段）１９とを備えている。
【００１７】
画像入力手段３は、ビデオカメラ、デジタルカメラ、画像スキャナ等の画像取得装置２に接続されており、当該画像取得装置で取得（撮影、入力）されたカメラ実写画像（実写画像信号）を取り込んで、内部に設けられたフレームメモリ（図示せず）に蓄積するものである。
【００１８】
点対応入力手段５は、画像表示手段１９で表示される合成画像に対して、当該装置１の操作者が、表示画面上（画像座標系）におけるモデル基準点と実写対応点との座標の対を画像座標にして入力するためのものである。この点対応入力手段５は、ロータリエンコーダ等の座標を計測する計測手段と、タクトスイッチ等の接点情報を入力する入力手段とから構成されており、例えば、計算機（パーソナルコンピュータ等）に接続されるマウス、デジタイザ、タブレット、タッチパネル等で実現することができる。
【００１９】
また、この点対応入力手段５による座標の対は、例えば、マウスによる場合、マウスボタンを押し下げた時の座標情報およびマウスボタンを放した時の座標情報によって入力することができる。この座標の対のうちの一方を始点Ｐ（ｐx，ｐy）とし、他方を終点Ｑ（ｑx，ｑy）として表すこととする。なお、これらは、モデルと実写画像との相関関係を表す図形の一部をなすものであるので、画像座標Ｐ、画像座標Ｑと呼ぶ。
【００２０】
カメラパラメータ記憶手段７は、メモリ等によって構成されており、入力されたカメラパラメータ初期値（初期カメラパラメータ）を記憶すると共に、算出されたカメラパラメータを記憶するものである。なお、カメラパラメータ初期値（初期カメラパラメータ）は、外部から入力される（与えられる）ものか、若しくは、予め設定された値が記憶されたものであってもよい。
【００２１】
カメラパラメータは、画像取得装置２（例えば、カメラ）の設置位置（カメラの三次元の位置座標）、撮影方向（基準パターン［被写体空間における既存のパターンや構造物のモデル］）に対するカメラの三軸相対姿勢）およびレンズの焦点距離の少なくとも１つを含むもので、ここでは、合計７パラメータ（三次元の位置座標で３パラメータ、三軸相対姿勢で３パラメータおよびレンズの焦点距離で１パラメータ）によって表されるものである。なお、この７つパラメータからなるカメラパラメータに、レンズの歪みパラメータを含めてもよい。
【００２２】
カメラの三軸相対姿勢として、基準パターン（モデル）に固定された座標系（以下、ワールド座標系と呼ぶ）に対するパン角（方位角）α、チルト角（仰角）δおよびロール角（光軸まわりの回転角）φを用い、カメラの三次元の位置座標（三次元位置）として、ワールド座標系における三次元座標（ＴX，ＴY，ＴZ）を用い、レンズの焦点距離として、焦点距離長ｆを用いることとする。
【００２３】
逆投影手段９は、点対応入力手段５によって入力された始点の画像座標Ｐ（ｐx，ｐy）が、モデル上のどの点に対応するかを判定し、始点の画像座標Ｐ（ｐx，ｐy）のワールド座標Ｗ（ＷX，ＷY，ＷZ）を出力するものである。例えば、まず、画像表示手段１９に表示される画像座標系のｘ軸およびｙ軸の両軸と共通のｘ軸およびｙ軸を有し、ｘ軸およびｙ軸の両軸と直交するｚ軸を有する直交座標系ｘ−ｙ−ｚを定義する（この直交座標系ｘ−ｙ−ｚをカメラ座標系と呼ぶ）。
【００２４】
画像表示手段１９に表示される画像平面中央より焦点距離長ｆだけ（−ｚ）方向に離れた点にカメラ座標系の原点をとる。このカメラ座標系はモデル（すなわちワールド座標系）に対して、カメラパラメータ記憶手段７に記憶されているカメラパラメータまたはカメラパラメータ初期値（初期カメラパラメータ）で記述される姿勢（撮影方向）、位置（位置座標）をとるものと仮定する。
【００２５】
ここで、図２を参照して逆投影手段９における画像座標からワールド座標への逆投影の仕方について説明する。図２は、画像座標からワールド座標への逆投影を模式的に説明した図である。
この図２に示すように、カメラ座標系の原点（投影中心）から始まり、点対応入力手段５によって入力された始点Ｐのカメラ座標を通る半直線ｈを想定してみる。続いて、モデルを構成する頂点、稜線、面、その他モデル内外の特徴的な幾何特徴と半直線ｈとの交点若しくは近傍点を求める。図２は、半直線ｈに最もユークリッド距離の近いモデル上の点を求めた例を示したものである。こうして求められた点のワールド座標をＷ（ＷX，ＷY，ＷZ）とする。
ここで、７つのカメラパラメータを次に示す数式１で定義（表現）する。
【００２６】
【数１】
2006033449.tif 000003
【００２７】
この数式（１）に示すように、カメラパラメータは、列ベクトルπによって定義（表現）される（以下、カメラパラメータπとする）。そして、このカメラパラメータπにより変換して得られる画像座標Ｐ＾（ｐ^x，ｐ^y）とする。
【００２８】
次に、図３を参照して、ワールド座標系とカメラ座標系との関係を例示して説明する。図３（ａ）〜（ｅ）は、ワールド座標系とカメラ座標系との関係をベクトルを用いて説明した模式図である。
この図３（ａ）に示すように、ワールド座標系（Ｘ，Ｙ，Ｚ）における原点と、カメラ座標系（ｘ，ｙ，ｚ）における原点とが、ベクトルＴ（ＴX，ＴY，ＴZ）で結ばれている。つまり、ワールド座標系（Ｘ，Ｙ，Ｚ）におけるカメラ座標系の原点の位置がＴ（ＴX，ＴY，ＴZ）で表されている。
【００２９】
また、図３（ｂ）〜（ｅ）に示すように、カメラ座標系の姿勢（カメラの撮影方向）は、基準座標系ｘ0−ｙ0−ｚ0に対するパン角α（図３（ｃ））、チルト角δ（図３（ｄ））およびロール角φ（図３（ｅ））によって表現することとする。なお、ワールド座標系、基準座標系およびカメラ座標系の各軸はすべて同じスケーリングとしている。
【００３０】
これらパン角α、チルト角δおよびロール角φによるカメラ座標系の定義の一例を図３（ｂ）〜（ｅ）を参照して説明する。まず、図３（ｂ）に示すように、基準座標系ｘ0−ｙ0−ｚ0のｘ0、ｙ0およびｚ0の各軸はワールド座標系のＸ，（−Ｚ）およびＹの各軸と同一方向を向くものとする。続いて、図３（ｃ）に示すように、基準座標系ｘ0−ｙ0−ｚ0を、ｙ0軸まわりに角度αだけ回転することにより、座標系ｘ1−ｙ0−ｚ1を得る。そして、図３（ｄ）に示すように、座標系ｘ1−ｙ0−ｚ1を、ｘ1軸のまわりに角度δだけ回転することにより、座標系ｘ1−ｙ2−ｚ2を得る。最後に、図３（ｅ）に示すように、座標系ｘ1−ｙ2−ｚ2を、ｚ2軸まわりに角度φだけ回転することにより、カメラ座標系ｘ−ｙ−ｚを得る。
【００３１】
次に、画像表示手段１９（図１参照）に表示される表示画面における画像座標系ｘ−ｙの定義の一例を、数式を参照して説明する。画像座標系のｘ軸およびｙ軸の各軸は、カメラ座標系のｘ軸およびｙ軸の各軸と同一とする。すなわち、方向およびスケーリングともに同一とする。以上の定義により、ワールド座標Ｗ（ＷX，ＷY，ＷZ）と画像座標Ｐ＾（ｐ^x，ｐ^y）との関係は次の数式（２）によって与えられる。
【００３２】
【数２】
2006033449.tif 000004
【００３３】
この数式（２）において、ｆは焦点距離（焦点距離長）である。
また、ここで、画像座標Ｐ＾（ｐ^x，ｐ^y）をカメラパラメータπによって偏微分して得られるヤコビ行列（Ｊａｃｏｂｉａｎ）をＪとすると、次の数式（３）のようになる。
【００３４】
【数３】
2006033449.tif 000005
【００３５】
図１に戻って、カメラパラメータ算出較正装置１の構成の説明を続ける。
点対応記憶手段１１は、メモリ等によって構成されており、逆投影手段９により求められたワールド座標Ｗ（ＷX，ＷY，ＷZ）と、点対応入力手段５により入力された終点の画像座標Ｑ（ｑx，ｑy）との組を１つのレコードとして、記憶する（追加記憶する、更新する）ものである。この点対応記憶手段１１に記憶されたレコードの総数をＮとすると、ｎ番目のレコードを［Ｗ(n)（ＷX(n)，ＷY(n)，ＷZ(n)），Ｑ(n)（ｑx(n)，ｑy(n)）］のように丸括弧付きの上付き文字で表すこととする。
【００３６】
カメラパラメータ算出手段１３は、トリガ入力に従い、点対応記憶手段１１に記憶されているレコードの情報に基づいて、新たにカメラパラメータを算出するものである。トリガ入力は、カメラパラメータ算出較正装置１のユーザによって、図示を省略した操作手段を用いて行われるものである。例えば、トリガ入力は、物理的なスイッチ、画像表示手段１９に表示される仮想的なボタンに連動するものである。この実施形態では、非線形最小自乗法の１つのアルゴリズムであるＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法によりカメラパラメータを算出している。
【００３７】
このＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法では、まず、点対応記憶手段１１に記憶されている各レコードのワールド座標Ｗ(n)（ＷX(n)，ＷY(n)，ＷZ(n)）に対し、数式（２）に示したワールド座標から画像座標への変換式を用いて、ワールド座標Ｗ(n)（ＷX(n)，ＷY(n)，ＷZ(n)）を、画像座標Ｐ＾(n)（ｐ^x(n)，ｐ^y(n)）に変換する。
【００３８】
そして、このＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法では、Ｎ個のレコードそれぞれに対する画像座標Ｐ＾(n)（ｐ^x(n)，ｐ^y(n)）と画像座標Ｑ(n)（ｑx(n)，ｑy(n)）との誤差を列方向に列べたベクトルｅと、それぞれの画像座標Ｐ＾(n)（ｐ^x(n)，ｐ^y(n)）に対して、数式（３）により得られたヤコビ行列Ｊ(n)を列方向に列べた行列Ｋとを次の数式（４）により定義する。
【００３９】
【数４】
2006033449.tif 000006
【００４０】
続いて、カメラパラメータ修正ベクトルΔπを次の数式（５）により定義する。
【００４１】
【数５】
2006033449.tif 000007
【００４２】
この数式（５）において、λは正のパラメータとする。
このＬｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法による場合、例えば、以下のステップによって、カメラパラメータπの推定を行っている。
まず、λに予め設定した正定数を代入する（ステップａ１）。例えば、λ＝０．００１とする。続いて、数式（４）および数式（５）によりカメラパラメータ修正ベクトルΔπを求める（ステップａ２）。そして、このカメラパラメータ修正ベクトルΔπを求める実行回数が指定する閾値を超えたかどうかを判定し（ステップａ３）、超えた場合（ステップａ３、Ｙｅｓ）は終了し、超えない場合（ステップａ３、Ｎｏ）には、一時的なカメラパラメータ修正ベクトルΔπであるπtmpを、πtmp＝π＋Δπと設定する（ステップａ４）。
【００４３】
続いて、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法では、各ワールド座標Ｗ(n)（ＷX(n)，ＷY(n)，ＷZ(n)）に対し、πtmpを用いて、数式（２）に示す変換を実行し、その結果得られる画像座標を（ｐtmpx(n)，ｐtmpy(n)）とする（ステップａ５）。そして、次の数式（６）に示した演算を実行し、ベクトルｅtmpを得る（ステップａ６）。
【００４４】
【数６】
2006033449.tif 000008
【００４５】
この数式（６）で得られたベクトルｅtmpについて、‖ｅtmp‖≧‖ｅ‖ならば、１より大きい定数（例えば、１０）をかけ（ステップａ７）、ステップａ２に戻る。そして、π＝πtmpにより、カメラパラメータπを更新する（ステップａ８）。ちなみに、‖ｅtmp‖は、ベクトルｅtmpをスカラーに戻すことを示している。
【００４６】
さらに、‖ｅ‖−‖ｅtmp‖の値が指定する閾値を下回った場合、ステップａ２に戻る（ステップａ９）。そして、また、λに０より大きく１より小さい定数をかける（例えば、０．１倍する）（ステップａ１０）。そして、ステップａ２に戻って（ステップａ１１）、終了する（ステップａ１２）。
【００４７】
Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法では、以上のようなステップａ１からステップａ１２により得られたカメラパラメータπによって、カメラパラメータ記憶手段７に記憶されているカメラパラメータ（カメラパラメータ初期値）が書き換えられる。
【００４８】
画像生成手段１５は、入力されたモデル（モデルに関するデータ、ワールド座標系）と、カメラパラメータ記憶手段７に記憶されているカメラパラメータπまたはカメラパラメータ初期値（初期カメラパラメータ）とに基づき、基準画像を生成するものである。例えば、この画像生成手段１５は、まず、モデル上に存在する頂点群のワールド座標を、数式（２）に代入することで、透視投影を行い（投影変換して）、画像座標群を得る。
【００４９】
続いて、この画像生成手段１５は、得られた画像座標群に基づき、図示を省略したフレームメモリに記憶されている画像座標群の位置の画素の画素値を変更したり、モデル上の領域に対応する複数の画素座標によって決定される多角形内のフレームメモリ上の画素値を変更したりすることで、基準画像を生成することができる。
【００５０】
また、この画像生成手段１５は、点対応記憶手段１１に記憶されている点対応（ワールド座標Ｗ（ＷX，ＷY，ＷZ）と、画像座標Ｑ（ｑx，ｑy）との１つのレコード）を図形化し、基準画像として生成してもよい。
【００５１】
ここで、この画像生成手段１５において、点対応を図形化する方法の一例を以下に記載する。まず、数式（２）に示したワールド座標から画像座標への変換式を用いて、ワールド座標Ｗ(n)（ＷX(n)，ＷY(n)，ＷZ(n)）を画像座標Ｐ＾(n)（ｐ^x(n)，ｐ^y(n)）に変換する。続いて、図示を省略したフレームメモリ上において、画像座標Ｐ＾(n)（ｐ^x(n)，ｐ^y(n)）から画像座標Ｑ(n)（ｑx(n)，ｑy(n)）に至る矢印（相関関係を表す図形）を描画する。この矢印の描画は、点対応記憶手段１１に記憶されている点対応の組（レコード）に対して実行される。
【００５２】
なお、この画像生成手段１５は、カメラパラメータ記憶手段７に記憶されているカメラパラメータπが更新される度に、新たに基準画像を生成するように設定されている。また、この画像生成手段１５は、点対応記憶手段１１に記憶されている点対応の組（レコード）が更新される度に、新たに基準画像を生成するように設定されている。
【００５３】
画像合成手段１７は、画像入力手段３によって入力されたカメラ実写画像と、画像生成手段１５によって生成された基準画像とを重畳して新たな画像（合成画像）を生成するものである。この画像合成手段１７による合成画像の一例を図４に示す。図４は、合成画像の一例（キャリブレーション前［較正前］）を示した図である。
【００５４】
この図４に示したように、モデルを透視投影した結果が太線によって表現されることで、基準画像が生成されており、この基準画像がカメラ実写画像に重畳して画像表示手段１９に出力（表示）されている。また、点対応記憶手段１１に記憶された点対応の組（レコード）がそれぞれ矢印として重畳されている。
【００５５】
また、ここで、カメラパラメータ算出手段１３の動作の後、すなわち、カメラパラメータ記憶手段７に記憶されているカメラパラメータπが更新された場合の合成画像を図５に示す。図５は、合成画像の一例（キャリブレーション後［較正後］）を示した図である。
この図５に示すように、カメラパラメータπが更新される度（更新の都度）に合成画像が更新され、画像表示手段１９を介して、当該装置１のユーザにフィードバック、すなわち、視認可能にされる。
【００５６】
同様に、当該装置１の操作手段（図示せず）による操作によって、点対応記憶手段１１に記憶されている点対応の組（レコード）が更新された場合も、直ちに合成画像が更新され、当該装置１のユーザにフィードバック、すなわち、視認可能にされる。
【００５７】
図１に戻って、カメラパラメータ算出較正装置１の構成の説明を続ける。
画像表示手段１９は、画像合成手段１７でカメラ実写画像と基準画像とが合成された合成画像を表示するものである。この画像表示手段１９は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ：ブラウン管）ディスプレイ、液晶ディスプレイ、プラズマディスプレイ等の表示デバイスである。
【００５８】
このカメラパラメータ算出較正装置１によれば、画像入力手段３によって、カメラ（図示せず）で撮影したカメラ実写映像が入力され、点対応入力手段５によって、画像入力手段３で入力された実写画像に含まれている幾何形状と一致する既知の構造物に関するモデル上において基準となる始点の画像座標（モデル基準点）と、実写画像上の終点の画像座標（実写対応点）との相関関係を、それぞれ画像座標にして入力される。続いて、画像生成手段１５によって、入力されたモデル（モデルに関するデータ）が、カメラパラメータ記憶手段に記憶されている初期カメラパラメータまたはカメラパラメータに従って投影変換されることで、点対応入力手段５で入力された始点の画像座標（モデル基準点）と、実写画像上の終点の画像座標（実写対応点）との相関関係を表す図形（矢印）が、基準画像として生成される。そして、画像合成手段１７によって、画像生成手段１５で生成された基準画像と、実写画像とが重畳されて合成画像として出力される。
【００５９】
その際に、逆投影手段９によって、点対応入力手段５で入力された画像座標に基づいて、始点の画像座標（モデル基準点）のワールド座標（三次元座標）が算出され、点対応記憶手段１１によって、逆投影手段９で算出された始点の画像座標（モデル基準点）のワールド座標（三次元座標）と、点対応入力手段５で入力された終点の画像座標（実写対応点）とを関連付けた点対応の組（レコード、点対応情報）として点対応記憶手段１１に記憶され、カメラパラメータ算出手段１３によって、点対応記憶手段１１に記憶されている点対応の組（レコード）に基づいて、カメラパラメータが算出され、カメラパラメータ記憶手段７に記憶されたカメラパラメータ（初期カメラパラメータ）が較正（更新）される。このため、既存のパターンや構造物のモデル上の基準点（始点の画像座標）と、実写画像上の終点の画像座標とによって、モデルと実写画像との対応付けを効率的に行って、カメラパラメータのキャリブレーションを実行することができる。
【００６０】
〈カメラパラメータ算出較正装置の動作〉
次に、図６に示すフローチャートを参照して、カメラパラメータ算出較正装置１の動作について説明する（適宜、図１参照）。
まず、カメラパラメータ算出較正装置１は、カメラパラメータ記憶手段７に外部から与えられる、または、予め設定されたカメラパラメータ初期値（初期カメラパラメータ）をセットして、点対応記憶手段１１の記憶をすべてクリア（消去）する（ステップＳ１）。
【００６１】
続いて、カメラパラメータ算出較正装置１は、画像入力手段３によって、カメラ実写画像を入力し（ステップＳ２）、画像生成手段１５によって、カメラパラメータ記憶手段７に記憶されているカメラパラメータ初期値に基づき、入力されたモデル上の点を投影し、画像合成手段１７によって、カメラ実写画像上に重畳合成することで合成映像を得る。なお、カメラパラメータ算出較正装置１は、点対応記憶手段１１に複数の点対応の組（レコード）である点対応群がある場合（入力された場合）には、画像生成手段１５によって、この点対応群を図形（基準画像）に変換し、合成画像上にさらに重畳する（ステップＳ３）。こうして、合成された合成画像は、画像表示手段１９に表示される。
【００６２】
そして、カメラパラメータ算出較正装置１は、点対応入力手段５に点対応（始点の画像座標および終点の画像座標）が入力されたか否かを判定し（ステップＳ４）、入力されたと判定されなかった場合（ステップＳ４、Ｎｏ）にはステップＳ８に進み、入力されたと判定された場合（ステップＳ４、Ｙｅｓ）には点対応入力手段５により入力された点対応（始点の画像座標および終点の画像座標）をＰ（ｐx，ｐy）およびＱ（ｑx，ｑy）に代入する（ステップＳ５）。
【００６３】
そうすると、カメラパラメータ算出較正装置１は、逆投影手段９によって、逆投影を実行し、始点の画像座標Ｐ（ｐx，ｐy）に対応するモデル上のワールド座標Ｗ（ＷX，ＷY，ＷZ）を算出する（ステップＳ６）。続いて、カメラパラメータ算出較正装置１は、点対応記憶手段１１に、ワールド座標Ｗ（ＷX，ＷY，ＷZ）と、終点の画像座標Ｑ（ｑx，ｑy）との組み、つまり、点対応の組（レコード）を記憶する（ステップＳ７）。
【００６４】
そして、カメラパラメータ算出較正装置１は、カメラパラメータ算出手段１３にトリガ入力があったか否かを判定し（ステップＳ８）、トリガ入力があったと判定しなかった場合（ステップＳ８、Ｎｏ）にはステップＳ１１に進み、入力されたと判定された場合（ステップＳ８、Ｙｅｓ）にはカメラパラメータ算出手段１３によるカメラパラメータπの算出を実行する（ステップＳ９）。つまり、カメラパラメータ算出較正装置１は、点対応記憶手段１１に記憶されている点対応群、つまり、複数のレコード（モデル上のワールド座標Ｗ（ＷX，ＷY，ＷZ）と、終点の画像座標Ｑ（ｑx，ｑy）との組み）に基づいて、新たなカメラパラメータπを算出し、カメラパラメータ記憶手段７に記憶（上書き）する（ステップＳ１０）。
【００６５】
その後、カメラパラメータ算出較正装置１は、処理（動作）を終了するか否かを判定し（ステップＳ１１）、外部からの終了信号等によって、終了すると判定された場合（ステップＳ１１、Ｙｅｓ）には処理を終了し、終了すると判定されなかった場合（ステップＳ１１、Ｎｏ）にはステップＳ２に戻って、処理を続行する。
【００６６】
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、カメラパラメータ算出較正装置１として説明したが、当該装置１の各構成の処理を汎用的または特殊なコンピュータ言語によって記述したカメラパラメータ算出較正プログラムとすることもできるし、各構成の処理を、カメラ実写画像等の情報を処理する一つずつの過程と捉えたカメラパラメータ算出較正方法とすることもできる。これらの場合、カメラパラメータ算出較正装置１と同様の効果を得ることができる。
【００６７】
また、カメラパラメータ算出較正装置１は、サッカー場におけるゴールエリア（ゴールポスト）やペナルティエリアの形状に基づいたモデル（幾何形状と一致するモデル）と、実際に撮影したゴールエリア（ゴールポスト）やペナルティエリアの実写画像とによって、カメラパラメータをキャリブレーションすることも可能である。さらに、ラグビー場や、テニスコート、バスケットボールコート等、幾何形状と一致するモデルが得られれば、カメラパラメータ算出較正装置１を、カメラパラメータのキャリブレーションに適用することは可能である。
【図面の簡単な説明】
【００６８】
【図１】本発明の実施形態に係るカメラパラメータ算出較正装置のブロック図である。
【図２】図１に示したカメラパラメータ算出較正装置の逆投影手段の動作を説明する図である。
【図３】ワールド座標系およびカメラ座標系の位置関係および姿勢関係を表した図である。
【図４】合成画像（キャリブレーション前［較正前］）の一例を示した図である。
【図５】合成画像（キャリブレーション後［較正後］）の一例を示した図である。
【図６】図１に示したカメラパラメータ算出較正装置の動作を説明したフローチャートである。
【符号の説明】
【００６９】
１      カメラパラメータ算出較正装置
３      画像入力手段（実写画像入力手段）
５      画像生成手段
７      カメラパラメータ記憶手段
９      逆投影手段
１１    点対応記憶手段（点対応情報記憶手段）
１３    カメラパラメータ算出手段
１５    画像生成手段（基準画像生成手段）
１７    画像合成手段（合成画像出力手段）
１９    画像表示手段（合成画像表示手段）
【図１】
2006033449.tif 000009
【図２】
2006033449.tif 000010
【図３】
2006033449.tif 000011
【図４】
2006033449.tif 000012
【図５】
2006033449.tif 000013
【図６】
2006033449.tif 000014