(57)【特許請求の範囲】
【請求項１】
複数の撮影カメラで複数の校正パターンを撮影した撮影画像を用いて、前記撮影カメラのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置であって、
前記撮影画像毎に、前記撮影画像から前記校正パターンの特徴点を抽出し、抽出した前記特徴点の座標である観測画像座標を出力する特徴点抽出部と、
カメラ校正により、前記撮影カメラ毎の内部パラメータの初期値を算出する初期値生成用カメラ校正部と、
前記撮影カメラ毎に、撮影原点からパン・チルトした前記撮影カメラを搭載する雲台におけるパン・チルト座標系を、前記撮影原点からパン・チルトした前記撮影カメラの光学中心におけるカメラ座標系に変換する第１外部パラメータの初期値を設定する第１外部パラメータ設定部と、
前記撮影カメラ毎に、前記校正パターンのうち予め設定した１つの基準校正パターンにおける基準校正パターン座標系を、前記撮影原点を向いた前記撮影カメラを搭載する雲台における雲台座標系に変換する第２外部パラメータの初期値を算出する第２外部パラメータ算出部と、
前記校正パターンの間で座標系の関係を表す校正パターン関係式の初期値を予め設定する校正パターン関係式設定部と、
前記校正パターンに含まれる特徴点の座標を表す校正パターン情報が予め設定され、前記校正パターン情報の特徴点の座標から、前記校正パターンを向いた前記撮影カメラで撮影された画像に含まれる特徴点の座標を予測した予測画像座標を算出する予測画像座標算出部と、
前記観測画像座標と前記予測画像座標との距離が最小となるように、前記内部パラメータと前記第１外部パラメータと前記第２外部パラメータとからなる前記カメラモデルパラメータ及び前記校正パターン関係式が含まれる評価式を最適化することで、前記カメラモデルパラメータを推定するカメラモデルパラメータ最適化部と、
を備えることを特徴とするカメラモデルパラメータ推定装置。
【請求項２】
前記校正パターンを向いた前記撮影カメラのパン値及びチルト値から、前記雲台座標系を前記パン・チルト座標系に変換する第３外部パラメータを算出する第３外部パラメータ算出部、をさらに備え、
前記初期値生成用カメラ校正部は、前記カメラ校正により、前記校正パターンにおける校正パターン座標系を前記カメラ座標系に変換する第４外部パラメータを、さらに算出し、
前記第２外部パラメータ算出部は、
前記第４外部パラメータに対して、前記第１外部パラメータと前記第２外部パラメータと前記第３外部パラメータとを関係付けた変換式が予め設定され、
前記変換式に前記第１外部パラメータの初期値と前記第３外部パラメータと前記第４外部パラメータとを代入することで、前記第２外部パラメータの初期値を算出することを特徴とする請求項１に記載のカメラモデルパラメータ推定装置。
【請求項３】
前記特徴点抽出部は、前記撮影カメラとして、同一の被写体を異なる視点で撮影する多視点カメラから、前記撮影画像が入力されることを特徴とする請求項１又は請求項２に記載のカメラモデルパラメータ推定装置。
【請求項４】
前記第２外部パラメータ算出部は、移設した前記撮影カメラについて、前記第２外部パラメータの初期値を算出し、
前記カメラモデルパラメータ最適化部は、前記移設した撮影カメラの第２外部パラメータからなる前記カメラモデルパラメータ及び前記校正パターン関係式が含まれる評価式を最適化することで、前記移設した撮影カメラのカメラモデルパラメータを推定することを特徴とする請求項１から請求項３の何れか一項に記載のカメラモデルパラメータ推定装置。
【請求項５】
コンピュータを、請求項１から請求項４の何れか一項に記載のカメラモデルパラメータ推定装置として機能させるためのカメラモデルパラメータ推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本願発明は、撮影カメラ及び雲台から構成されるカメラシステムのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置及びそのプログラムに関する。
【背景技術】
【０００２】
近年、多視点カメラで撮影した映像を用いて、３次元映像処理を始めとした様々な研究開発が積極的に行われている。これらを実現する上で重要な技術の１つに、カメラ校正がある。ここで、カメラ校正とは、撮影カメラのカメラパラメータを求めることである。また、カメラパラメータには、撮影カメラの位置及び姿勢を表す外部パラメータと、焦点距離等の撮影カメラに固有の内部パラメータとが含まれる。
【０００３】
カメラ校正の手法は、大きく２つに分けることができる。第１の手法は、撮影カメラの撮影画像から画像解析により特徴点を抽出し、その特徴点の位置関係からカメラ校正を行うものである。この第１の手法は、センサ等の電子機器が不要という利点がある。ここで、第１の手法は強校正と弱校正とに分類されるが、どちらの手法にも課題が存在する。強校正は、校正パターンを撮影してカメラ校正を行うが、撮影映像に校正パターンが映っている必要があるため、撮影映像に大きな制約ができる。弱校正は、特徴点の抽出、対応付け及びバンドル調整などを行う必要があり、撮影画像によってはこれらの処理が上手くいかず適切にカメラ校正ができない場合がある。また、第１の手法は、特徴点の抽出や数値計算のような複雑な処理が必要なため、十分な精度を確保しつつ高速な処理、特に実時間での処理が難しい場合がある。
【０００４】
以上のような問題があるため、第２の手法を検討する。第２の手法は、センサを利用して雲台のパンやチルト等の情報を物理的に計測し、その情報を使用してカメラ校正を行う。この第２の手法は、事前に校正パターンを使用し、カメラモデルパラメータを計算する必要があるが、使用時はカメラモデルパラメータとセンサ値（パン・チルト等）とを使った簡単な計算処理だけでカメラパラメータを得られるため、実時間処理も可能である。さらに、第２の手法は、使用時において撮影画像への制約や依存がなく、確実にカメラ校正が可能である。
【０００５】
ここで、第２の手法として、バーチャルスタジオにおけるＣＧ（Computer Graphics）合成を目的として、１台の撮影カメラを対象として、カメラ校正を行う技術が知られている（特許文献１，非特許文献１）。これら従来技術は、特徴点の間隔や大きさが異なる校正パターンを複数用意しておき、撮影カメラが広角から望遠まで大きくズームした場合でも、そのズーム範囲に適した校正パターンを選択する。そして、従来技術は、選択した校正パターンから特徴点を抽出し、抽出した特徴点の座標と、センサで取得したパンやチルト等の情報とを用いて、カメラモデルパラメータの推定及びカメラ校正を行う。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４９６０９４１号公報
【非特許文献】
【０００７】
【非特許文献１】大久保英彦  他４名、バーチャルスタジオにおけるカメラキャリブレーション高精度化の考察、ＦＩＴ２００７（第６回情報科学フォーラム）、２００７、ｐ．５４１−５４２
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、前記した従来技術では、校正パターン間で座標系の関係が考慮されておらず、カメラ校正の精度が十分でない場合がある。そこで、カメラ校正の精度を向上させるため、より高精度なカメラモデルパラメータを推定する手法の実現が強く望まれている。
【０００９】
本願発明は、高精度なカメラモデルパラメータを推定できるカメラモデルパラメータ推定装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１０】
前記した課題に鑑みて、本願発明に係るカメラモデルパラメータ推定装置は、複数の撮影カメラで複数の校正パターンを撮影した撮影画像を用いて、撮影カメラのカメラモデルパラメータを推定するカメラモデルパラメータ推定装置であって、特徴点抽出部と、初期値生成用カメラ校正部と、第１外部パラメータ設定部と、第２外部パラメータ算出部と、校正パターン関係式設定部と、予測画像座標算出部と、カメラモデルパラメータ最適化部と、を備える構成とした。
【００１１】
かかる構成によれば、カメラモデルパラメータ推定装置は、特徴点抽出部によって、撮影画像毎に、撮影画像から校正パターンの特徴点を抽出し、抽出した特徴点の座標である観測画像座標を出力する。
カメラモデルパラメータ推定装置は、初期値生成用カメラ校正部によって、撮影カメラ毎の内部パラメータの初期値をカメラ校正で算出する。
【００１２】
カメラモデルパラメータ推定装置は、第１外部パラメータ設定部によって、撮影カメラ毎に、パン・チルト座標系をカメラ座標系に変換する第１外部パラメータの初期値を設定する。
なお、パン・チルト座標系とは、撮影原点からパン・チルトした撮影カメラを搭載する雲台における３次元座標系のことである。
また、カメラ座標系とは、撮影原点からパン・チルトした撮影カメラの光学中心における３次元座標系のことである。
【００１３】
カメラモデルパラメータ推定装置は、第２外部パラメータ算出部によって、撮影カメラ毎に、校正パターンのうち予め設定した１つの基準校正パターンにおける基準校正パターン座標系を雲台座標系に変換する第２外部パラメータの初期値を算出する。
なお、基準校正パターン座標系とは、基準校正パターンの任意の一点を中心とした３次元座標系のことである。
また、雲台座標系とは、撮影原点からパン・チルトしておらず、撮影原点を向いた撮影カメラを搭載する雲台における３次元座標系のことである。
【００１４】
カメラモデルパラメータ推定装置は、校正パターン関係式設定部によって、校正パターンの間で座標系の関係を表す校正パターン関係式の初期値を予め設定する。
この校正パターン関係式を予め設定することで、複数の撮影カメラで校正パターンの位置関係を共有し、より強い拘束条件をカメラモデルパラメータの推定に加えることができる。
【００１５】
カメラモデルパラメータ推定装置は、予測画像座標算出部によって、校正パターン情報が予め設定され、この校正パターン情報の特徴点の座標から予測画像座標を算出する。
なお、校正パターン情報とは、校正パターンに含まれる特徴点の座標を表す情報である。
また、予測画像座標は、撮影カメラで撮影された画像に含まれる特徴点の座標をカメラモデルパラメータで予測したものである。
【００１６】
カメラモデルパラメータ推定装置は、カメラモデルパラメータ最適化部によって、観測画像座標と予測画像座標との距離が最小となるように、カメラモデルパラメータ及び校正パターン関係式が含まれる評価式を最適化することで、カメラモデルパラメータを推定する。
なお、カメラモデルパラメータは、撮影カメラの内部パラメータと、撮影カメラの第１外部パラメータ及び第２外部パラメータとからなり、カメラシステムの状態を表すモデルである。
【発明の効果】
【００１７】
本願発明によれば、以下のような優れた効果を奏する。
本願発明に係るカメラモデルパラメータ推定装置は、複数の撮影カメラで校正パターンの位置関係を共有し、より強い拘束条件をカメラモデルパラメータの推定に加えるため、高精度なカメラモデルパラメータを推定することができる。これによって、本願発明に係るカメラモデルパラメータ推定装置は、カメラ校正の精度をより向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】本願発明の第１実施形態において、校正パターン座標系と、パン・チルト座標系と、カメラ座標系と、雲台座標系とを説明する説明図である。
【図２】本願発明の第１実施形態において、カメラシステムと、校正パターンとの配置を説明する説明図である。
【図３】本願発明の第１実施形態において、校正パターンを説明する説明図である。
【図４】本願発明の第１実施形態において、カメラシステムによる校正パターンの撮影を説明する説明図である。
【図５】（ａ）〜（e）はカメラシステムが撮影した撮影画像の説明図である。
【図６】本願発明の第１実施形態において、各座標系の変換を説明する説明図である。
【図７】本願発明の第１実施形態において、関係式の省略を説明する説明図である。
【図８】本願発明の第１実施形態に係るカメラ校正装置の構成を示すブロック図である。
【図９】図８のカメラモデルパラメータ推定部の構成を示すブロック図である。
【図１０】図８のカメラ校正装置の動作を示すフローチャートである。
【図１１】図９の初期値生成部の動作を示すフローチャートである。
【図１２】本願発明の第２実施形態において、移設前後での各座標系を説明する説明図である。
【図１３】本願発明の第２実施形態において、校正パターン座標系と、パン・チルト座標系と、カメラ座標系と、雲台座標系とを説明する説明図である。
【図１４】本願発明の第２実施形態に係るカメラ校正装置の構成を示すブロック図である。
【図１５】図１４のカメラモデルパラメータ推定部の構成を示すブロック図である。
【図１６】図１４のカメラ校正装置の動作を示すフローチャートである。
【図１７】図１５の初期値生成部の動作を示すフローチャートである。
【発明を実施するための形態】
【００１９】
（第１実施形態）
以下、本願発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一手段及び同一処理には同一の符号を付し、説明を省略した。
まず、本願発明の第１実施形態におけるカメラ校正手法を説明した後、本願発明の第１実施形態に係るカメラ校正装置（カメラモデルパラメータ推定装置）の具体的構成を説明する。
【００２０】
［カメラ校正手法］
図１のように、カメラシステム（撮影カメラ）Ｃｉは、カメラ本体ＣＢｉと、雲台ＣＰｉと、センサＣＳｉ（図８）とで構成されるシステムである。本実施形態では、カメラシステムＣｉは、多視点映像を撮影する多視点カメラであることとする。
【００２１】
カメラ本体ＣＢｉは、映像を撮影する一般的なビデオカメラである。
雲台ＣＰｉは、カメラ本体ＣＢｉを搭載すると共に、カメラ本体ＣＢｉがパン及びチルトするように可動する台座である。
センサＣＳｉは、カメラシステムＣｉ（雲台ＣＰｉ）がパンした角度を表すパン値と、カメラシステムＣｉ（雲台ＣＰｉ）がチルトした角度を表すチルト値とを計測するものである。
【００２２】
ここで、カメラシステムＣｉの物理的な構成を考慮したカメラモデルを定義するため、単純な座標系の変換を考える。ある座標系ΣＡから別の座標系ΣＢに変換する場合、この座標変換は、回転角度α，β，γとし、並進ベクトルｔｘ，ｔｙ，ｔｚとして、合計６個のパラメータで表すことができる。つまり、座標変換は、式（１）で表すことができる。このとき、式（１）のθｅｘｔは、外部パラメータと呼ばれる。なお、添え字の‘Ｔ’は、転置を表す。
【００２３】
【数１】
0006622503.tif 000002
【００２４】
この式（１）は、回転行列ＢＲＡ及び並進ベクトルＢｔを用いて、式（２）〜式（６）で表すことができる。
なお、行列では、右下及び左上の両方に添え字を付けた場合、右下の添え字が変換前の座標系を表し、左上の添え字が変換後の座標系を表す。
また、並進ベクトルでは、左上の添え字が座標系を表す。
【００２５】
【数２】
0006622503.tif 000003
【００２６】
【数３】
0006622503.tif 000004
【００２７】
【数４】
0006622503.tif 000005
【００２８】
【数５】
0006622503.tif 000006
【００２９】
【数６】
0006622503.tif 000007
【００３０】
また、式（２）〜式（６）は、剛体変換を表す行列ＢＭＡを用いると、式（７）で表すことができる。
【００３１】
【数７】
0006622503.tif 000008
【００３２】
ここで、１台のカメラシステムＣｉ及び１個の校正パターンＰｊにおいて、図１のような座標系を定義し、カメラモデルを考える。
校正パターンＰｊの座標系を、校正パターン座標系ΣＰｊとする。この校正パターン座標系ΣＰｊは、校正パターンＰｊの任意の一点を原点とした３次元座標系のことである。
【００３３】
雲台ＣＰｉにおいて、直交するパン軸及びチルト軸が交わる１点を雲台中心Ｑとする。この雲台中心Ｑにおいて、カメラシステムＣｉが撮影原点を向いているとき（つまり、パン値及びチルト値が０のとき）の３次元座標系を雲台座標系ΣＣＰｉとする。
【００３４】
雲台中心Ｑにおいて、カメラシステムＣｉがパン及びチルトした後の３次元座標系をパン・チルト座標系ΣＰＴｉとする。また、カメラ本体ＣＢｉの光学中心Ｓにおいて、カメラシステムＣｉがパン及びチルトした後の３次元座標系をカメラ座標系ΣＣｉとする。
【００３５】
ここで、校正パターン座標系ΣＰｊから雲台座標系ΣＣＰｉへの変換は、パラメータ表記するとＣＰθｅｘｔ，ｉとなり、行列表記するとＣＰｉＭＰｊとなる（第２外部パラメータ）。
また、パン・チルト座標系ΣＰＴｉからカメラ座標系ΣＣｉへの変換は、パラメータ表記するとＣθｅｘｔ，ｉとなり、行列表記するとＣｉＭＰＴｉとなる（第１外部パラメータ）。
この場合、求めるべき外部パラメータθｅｘｔ，ｉは、式（８）で表すことができる。
【００３６】
【数８】
0006622503.tif 000009
【００３７】
雲台座標系ΣＣＰｉからパン・チルト座標系ΣＰＴｉへの変換は、行列表記するとＰＴｉＭＣＰｉとなる（第３外部パラメータ）。この行列ＰＴｉＭＣＰｉは、式（９）で表すことができる。式（９）の回転行列ＰＴｉＲＣＰｉは、雲台座標系ΣＣＰｉからパン・チルト座標系ΣＰＴｉへの回転行列を表す。また、式（９）において、雲台座標系ΣＣＰｉ及びパン・チルト座標系ΣＰＴｉが共に雲台中心Ｑを原点とするから、並進ベクトルＰＴｉｔが０となる。
【００３８】
【数９】
0006622503.tif 000010
【００３９】
回転行列ＰＴｉＲＣＰｉは、式（１０）で求めることができる。この式（１０）では、φがチルト角であり、ρがパン角である。従って、センサＣＳｉで計測したパン値及びチルト値を式（１０）に代入することで、回転行列ＰＴｉＲＣＰｉを求めることができる。
【００４０】
【数１０】
0006622503.tif 000011
【００４１】
以上より、カメラシステムＣｉにおける各座標系の関係は、式（１１）で表すことができる。つまり、式（１１）は、行列ＣｉＭＰＴｉ，ＰＴｉＭＣＰｉ，ＣＰｉＭＰｊと、行列ＣｉＭＰｊとの関係を表している。
なお、行列ＣｉＭＰｊは、校正パターン座標系ΣＰｊをカメラ座標系ΣＣｉに変換するものである（第４外部パラメータ）。
【００４２】
【数１１】
0006622503.tif 000012
【００４３】
また、カメラシステムＣｉの内部パラメータθｉｎｔ，ｉは、式（１２）で表すことができる。この式（１２）では、焦点距離ｆｉ、アスペクト比αｉ、画像中心ｃｕ，ｉ，ｃｖ，ｉ、レンズ歪係数ｋ１，ｉ，ｋ２，ｉ，ｋ３，ｉ，ｋ４，ｉを表している。
【００４４】
【数１２】
0006622503.tif 000013
【００４５】
レンズ歪係数ｋ１，ｉ〜ｋ４，ｉは、式（１３）で表すことができる。この式（１３）では、歪曲収差のない理想的なレンズで撮影されたときの画像座標［ｕｎ，ｉ，ｖｎ，ｉ］Ｔ、歪曲収差のあるレンズで撮影されたときの画像座標［ｕｄ，ｉ，ｖｄ，ｉ］Ｔ、画像中心からの距離ｒｉを表している。ここで、ｒｉ２＝ｕｎ，ｉ２＋ｖｎ，ｉ２となる。
【００４６】
【数１３】
0006622503.tif 000014
【００４７】
本願発明では、図２のように、複数のカメラシステムＣｉと、複数の校正パターンＰｊとを配置して、カメラモデルパラメータを推定する。ここで、カメラシステムＣｉがｎ個（ｉ＝１，…，ｎ）、校正パターンがｍ個（ｊ＝１，…，ｍ）であることとする（但し、ｍ，ｎは１を超える自然数）。
【００４８】
例えば、校正パターンＰｊは、図３のようなチェッカーボードパターンである。また、全ての校正パターンＰｊは、全てのカメラシステムＣｉから見えるように配置する。そして、各カメラシステムＣｉが姿勢を変えながら、ある１個の校正パターンＰｊを撮影する。さらに図４のように、各カメラシステムＣｉは、姿勢を変えながらの撮影を別の校正パターンＰｊについても行う。
【００４９】
従って、図５（ａ）〜（ｅ）のように、カメラシステムＣｉが撮影した撮影画像では、各校正パターンＰｊの位置や向きが異なる。つまり、カメラシステムＣｉにおいて、雲台座標系ΣＣＰｉと校正パターン座標系ΣＰｊとの関係を表す外部パラメータＣＰθｅｘｔ，ｉ（ｊ）は、校正パターンＰｊの数ｍだけ存在する。このため、カメラシステムＣｉのカメラモデルパラメータは、式（１４）のようになる。
【００５０】
【数１４】
0006622503.tif 000015
【００５１】
校正パターンＰｊの間で座標系の関係を表す校正パターン関係式ηｊは、回転角度Ｐαｊ，Ｐβｊ，Ｐγｊと、並進ベクトルＰｔｘ，ｊ，Ｐｔｙ，ｊ，Ｐｔｚ，ｊとを用いて、式（１５）で表すことができる。
【００５２】
【数１５】
0006622503.tif 000016
【００５３】
全ての校正パターンＰｊの中から、１つの校正パターンを基準校正パターンＰｗとして予め設定する。ここでは、ｗ番目の校正パターンが基準校正パターンＰｗであることとする（１≦ｗ≦ｍ）。この基準校正パターンＰｗにおいて、任意の一点を原点とした３次元座標系を基準校正パターン座標系（世界座標系）ΣＰｗとする。このとき、関係式ηｊは、校正パターンＰｊの数ｍだけ存在するが、そのうちの１つは基準校正パターンＰｗ同士の関係を表すことになる。従って、基準校正パターンＰｗ同士の関係を求める必要がない。
【００５４】
あるカメラシステムＣｉと各校正パターンＰ１，…，Ｐｗ，…，Ｐｍとの関係は、図６のようになる。最適化の際、変数を少なくした方がカメラモデルパラメータの精度が向上する。また、外部パラメータＣＰθｅｘｔ，ｉ（ｊ）は、校正パターン関係式が定義されているため、全てを求める必要がなく、１つだけ求めればよい。
【００５５】
そこで、雲台座標系ΣＣＰｉと基準校正パターンＰｗとの関係だけに限定すると、式（１４）のカメラモデルパラメータは、式（１６）のように簡略化できる。この式（１６）に含まれるＣＰθｅｘｔ，ｉ（ｗ）は、基準校正パターン座標系ΣＰｗから雲台座標系ΣＣＰｉへの変換をパラメータ表記したものである。なお、関係式を簡略化できる理由は、後記する。
【００５６】
【数１６】
0006622503.tif 000017
【００５７】
従って、最適化で評価すべきパラメータμは、式（１７）で表すことができる。この式（１７）には、全てのカメラシステムＣ１，…，Ｃｎにおける内部パラメータθｉｎｔ及び外部パラメータＣθｅｘｔ，ＣＰθｅｘｔ（ｗ）と、式（１５）の全ての校正パターン関係式ηｊとが含まれる。
【００５８】
【数１７】
0006622503.tif 000018
【００５９】
カメラシステムＣｉがパン角、チルト角を変化させて、校正パターンＰｊを撮影したときの姿勢をｋｉｊ＝１，…，ｐｉｊとする（但し、ｐｉｊは１を超える自然数）。また、校正パターンＰｊの特徴点の番号をｌｊ＝１，…,ｑｊとする（但し、ｑｊは１を超える自然数）。撮影画像から抽出した特徴点ｌｊの座標は、観測画像座標と呼ばれる。
【００６０】
校正パターンＰｊの特徴点ｌｊの座標が既知なので、予め設定された校正パターン情報を用いて、カメラシステムＣｉが校正パターンＰｊを姿勢ｋｉｊで撮影したときの特徴点ｌｊの座標を予測する。この予測した特徴点ｌｊの座標は予測画像座標と呼ばれ、その算出方法を後記する。
なお、校正パターン情報とは、校正パターンＰｊ毎に、各校正パターンＰｊに含まれる特徴点の座標及び数を表した情報である。
【００６１】
そして、式（１７）のパラメータμは、全て観測画像座標と予測画像座標との距離を求め、求めた距離の２乗和を最小化することで求められる。つまり、パラメータμは、評価式としての式（１８）を最適化することで求められる。その後、パラメータμに含まれるカメラモデルパラメータθｉと、センサＣＳｉで計測されたパン値及びチルト値とを用いて、カメラ校正を行う。
なお、式（１８）では、‘ａｒｇ  ｍｉｎ‘が最小化を表し、‘｜｜’がノルムを表し、ｕ＾ｉｊｋｉｊｌｊが予測画像座標を表し、ｕｉｊｋｉｊｌｊが観測画像座標を表す。
【００６２】
【数１８】
0006622503.tif 000019
【００６３】
＜関係式を簡略化できる理由、予測画像座標の算出方法＞
図７を参照し、式（１４）を式（１６）のように簡略化できる理由、及び、予測画像座標の算出方法について、説明する。
基準校正パターンＰｗ以外の校正パターンＰｊについて、全ての特徴点の３次元座標系を基準校正パターン座標系ΣＰｗに変換する。この場合、校正パターンＰｊの特徴点の３次元座標ｘは、式（１９）で表すことができる。
【００６４】
【数１９】
0006622503.tif 000020
【００６５】
ここで、‘〜’が３次元座標ｘの同次座標系を表し、３次元座標を表すベクトルの座標系をベクトルの左上の添え字で表わす。つまり、校正パターン座標系ΣＰｊにおける３次元ベクトルは、Ｐｊｘとなる。この３次元ベクトルＰｊｘを校正パターン座標系ΣＰｊから基準校正パターン座標系ΣＰｗに変換する式は、式（２０）で表すことができる。
【００６６】
【数２０】
0006622503.tif 000021
【００６７】
このように、各校正パターンＰｊに含まれる特徴点の座標系を基準校正パターン座標系ΣＰｗに揃えることで、式（１４）を式（１６）のように簡略化できる。そして、式（２１）を用いて、基準校正パターン座標系ΣＰｗにおける特徴点をカメラ座標系ΣＣｉに変換する。その後、カメラ座標系ΣＣｉにおける特徴点を画像に投影することで、予測画像座標を求めることができる。
【００６８】
【数２１】
0006622503.tif 000022
【００６９】
具体的には、予測画像座標は、以下のように求められる。ここで、校正パターンＰｊの特徴点ｌｊの座標（Ｘ，Ｙ，Ｚ）は、式（２２）のように、カメラシステムＣｉのカメラ座標（ｘ，ｙ，ｚ）で表すことができる。また、式（２２）のｘ，ｙから、式（２３）のように、正規化画像座標ｕｎ，ｉ，ｖｎ，ｉが求められる。
【００７０】
【数２２】
0006622503.tif 000023
【００７１】
【数２３】
0006622503.tif 000024
【００７２】
そして、前記した式（１３）を用いて、正規化画像座標ｕｎ，ｉ，ｖｎ，ｉにレンズ歪みを反映させて、歪曲収差のあるレンズで撮影されたときの画像座標ｕｄ，ｉ，ｖｄ，ｉを求める。その後、式（２４）のように画像座標ｕｄ，ｉ，ｖｄ，ｉを投影することで、予測画像座標ｕｉ，ｖｉを求めることができる。
【００７３】
【数２４】
0006622503.tif 000025
【００７４】
［カメラ校正装置の構成］
図８を参照し、カメラ校正装置１の構成について、説明する。
カメラ校正装置１は、複数のカメラシステムＣｉ（Ｃ１，…，Ｃｎ）で、複数の校正パターンＰｊのそれぞれを撮影した撮影画像を用いて、カメラシステムＣｉのカメラモデルパラメータを推定するものである。
図８のように、カメラ校正装置１は、同期信号生成部１０と、情報記録部２０と、カメラモデルパラメータ推定部３０と、カメラ校正部４０とを備える。
【００７５】
カメラシステムＣｉは、同期信号生成部１０から入力された同期信号に従って、カメラ本体ＣＢｉにより映像を取得し、センサＣＳｉによりセンサ値（パン値及びチルト値）を取得する。そして、カメラシステムＣｉは、取得した映像及びセンサ値をカメラモデルパラメータ推定部３０に出力する。さらに、カメラシステムＣｉは、取得したセンサ値をカメラ校正部４０に出力する。
【００７６】
同期信号生成部１０は、映像及びセンサ値を同期させるため、カメラシステムＣｉ（カメラ本体ＣＢｉ、雲台ＣＰｉ及びセンサＣＳｉ）に同期信号を出力するものである。本実施形態では、同期信号生成部１０は、カメラ本体ＣＢｉが多視点映像を取得するので、全てのカメラシステムＣｉに同一の同期信号を出力する。この同期信号によって、カメラ本体ＣＢｉがセンサＣＳｉとが、映像とセンサ値とを同じタイミングで取得できる。
【００７７】
情報記録部２０は、各種情報を記録するメモリ、ハードディスク等の記録装置である。この情報記録部２０は、カメラモデルパラメータの推定に必要な校正パターン情報を予め記録する。また、情報記録部２０は、カメラモデルパラメータ推定部３０から入力されたカメラモデルパラメータ情報を記録する。
【００７８】
カメラモデルパラメータ推定部３０は、情報記録部２０に記録された校正パターン情報を参照し、カメラシステムＣｉのカメラモデルパラメータを推定するものである。そして、カメラモデルパラメータ推定部３０は、推定したカメラモデルパラメータをカメラモデルパラメータ情報として情報記録部２０に出力する。
なお、カメラモデルパラメータ推定部３０の詳細は、後記する。
【００７９】
カメラ校正部４０は、カメラシステムＣｉのカメラ校正を行って、カメラシステムＣｉのカメラパラメータを出力するものである。このとき、カメラ校正部４０は、情報記録部２０に記録されたカメラモデルパラメータ情報と、カメラシステムＣｉから入力されたセンサ値とを用いて、カメラ校正を行う。
【００８０】
［カメラモデルパラメータ推定部の構成］
図９を参照し、カメラモデルパラメータ推定部３０の構成について、説明する（適宜図８参照）。
図９のように、カメラモデルパラメータ推定部３０は、映像入力部３０２と、センサ値入力部３０４と、フレーム同期部３０６と、撮影画像・センサ値記録部３１０と、情報選択部３２０と、特徴点抽出部３３０と、初期値生成部３４０と、最適化部３５０とを備える。
【００８１】
映像入力部３０２は、カメラシステムＣｉから入力された映像を、フレーム毎の静止画像（撮影画像）に変換するものである。つまり、映像入力部３０２は、映像に含まれるフレーム画像のそれぞれを、撮影画像としてフレーム同期部３０６に出力する。
【００８２】
センサ値入力部３０４は、カメラシステムＣｉから入力されたセンサ値（センサＣＳｉの計測信号）をカメラモデルパラメータ推定部３０で扱えるようにするため、このセンサ値をテキストデータに変換するものである。そして、センサ値入力部３０４は、テキストデータに変換したセンサ値をフレーム同期部３０６に出力する。
【００８３】
フレーム同期部３０６は、映像入力部３０２から入力された撮影画像と、センサ値入力部３０４から入力されたセンサ値とを同期させるものである。例えば、フレーム同期部３０６は、同一のタイムコードを有する撮影画像とセンサ値とを対応付ける。そして、フレーム同期部３０６は、同期した撮影画像及びセンサ値を撮影画像・センサ値記録部３１０に出力する。
【００８４】
撮影画像・センサ値記録部３１０は、フレーム同期部３０６から入力された撮影画像及びセンサ値を記録するメモリ、ハードディスク等の記録装置である。
【００８５】
情報選択部３２０は、撮影画像・センサ値記録部３１０に記憶された撮影画像及びセンサ値の組み合わせのうち、カメラモデルパラメータの推定に利用する撮影画像及びセンサ値の組み合わせを選択するものである。例えば、情報選択部３２０は、一定のフレーム毎に撮影画像及びセンサ値の組み合わせを自動で選択する。また、情報選択部３２０は、撮影画像及びセンサ値の組み合わせを手動で選択してもよい。その後、情報選択部３２０は、選択された組み合わせに含まれる撮影画像を特徴点抽出部３３０に出力し、選択された組み合わせに含まれるセンサ値を初期値生成部３４０及び最適化部３５０に出力する。
【００８６】
特徴点抽出部３３０は、情報選択部３２０より入力された撮影画像から特徴点を抽出するものである。例えば、特徴点抽出部３３０は、コーナー検出法等の特徴点抽出処理を撮影画像に施し、この撮影画像に含まれる校正パターンＰｊの特徴点を抽出する。そして、特徴点抽出部３３０は、特徴点情報として、抽出した特徴点の座標（観測画像座標）を初期値生成部３４０に出力する。
【００８７】
初期値生成部３４０は、最適化を行うために必要な初期値を生成するものであり、初期値生成用カメラ校正部３４１と、第１外部パラメータ設定部３４３と、第２外部パラメータ算出部３４５と、第３外部パラメータ算出部３４７と、校正パターン関係式設定部３４９とを備える。
【００８８】
初期値生成用カメラ校正部３４１は、カメラ校正により、式（１６）の内部パラメータθｉｎｔ，ｉの初期値と、第４外部パラメータＣｉＭＰｊとを算出するものである。ここで、初期値生成用カメラ校正部３４１は、特徴点抽出部３３０から入力された特徴点情報と、情報記録部２０に記録された校正パターン情報とを用いて、カメラ校正を行う。
【００８９】
例えば、初期値生成用カメラ校正部３４１は、カメラ校正として、下記の参考文献１に記載の手法を用いることができる。
参考文献１：Z.Zhang.A flexible new technique for camera calibration.IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334.
【００９０】
第１外部パラメータ設定部３４３は、第１外部パラメータＣｉＭＰＴｉの初期値を設定するものである。例えば、第１外部パラメータ設定部３４３では、実測や経験則により、この第１外部パラメータＣｉＭＰＴｉの初期値が手動で設定される。
【００９１】
第２外部パラメータ算出部３４５は、第２外部パラメータＣＰｉＭＰｊの初期値を算出するものである。この第２外部パラメータ算出部３４５は、変換式として予め設定された式（１１）を用いて、第２外部パラメータＣＰｉＭＰｊ（ベクトル表記の場合ＣＰθｅｘｔ（ｊ））の初期値を逆算する。
【００９２】
具体的には、第２外部パラメータ算出部３４５は、初期値生成用カメラ校正部３４１が算出した第４外部パラメータＣｉＭＰｊと、第１外部パラメータ設定部３４３が設定した第１外部パラメータＣｉＭＰＴｉの初期値と、後記する第３外部パラメータ算出部３４７が算出した行列ＰＴｉＭＣＰｉとを式（１１）に代入することで、第２外部パラメータＣＰｉＭＰｊの初期値を逆算する。
【００９３】
第３外部パラメータ算出部３４７は、情報選択部３２０より入力されたセンサ値から、第３外部パラメータＰＴｉＭＣＰｉを算出するものである。ここで、第３外部パラメータ算出部３４７は、式（１０）にセンサ値を代入して回転行列ＰＴｉＲＣＰｉを求め、式（９）を用いて第３外部パラメータＰＴｉＭＣＰｉを算出する。
【００９４】
校正パターン関係式設定部３４９は、校正パターン関係式ηｊの初期値を設定するものである。ここで、校正パターン関係式設定部３４９では、基準校正パターンＰｗの位置が既知のため、あるカメラシステムＣｉが各校正パターンＰｊを向いたときのセンサ値を用いて、校正パターンＰｊで座標系の関係を表す式（１５）の初期値を設定する。
【００９５】
例えば、校正パターン関係式設定部３４９は、校正パターン関係式ηｊの初期値として、校正パターンＰ１，ＰＷの関係ＰｗＭＰ１を、ＰｗＭＰ１＝ＰｗＭＣｉ´・Ｃｉ´ＭＣｉ・ＣｉＭＰ１として設定する。ここで、ＰｗＭＣｉ´及びＣｉＭＰ１は、第４外部パラメータＣｉＭＰｊから求められる。また、Ｃｉ´ＭＣｉは、並進ベクトルを０で近似し、センサ値が示す回転行列から求められる。
【００９６】
このようにして、初期値生成部３４０は、各カメラシステムＣｉの式（１６）の内部パラメータθｉｎｔ，ｉと、第１外部パラメータＣθｅｘｔ，ｉ（ＣｉＭＰＴｉ）と、第２外部パラメータＣＰθｅｘｔ，ｉ（ＣＰｉＭＰｊ）との初期値を求める。さらに、初期値生成部３４０は、式（１５）のように、校正パターンＰｊの間で座標系の関係を表す校正パターン関係式ηｊの初期値を求める。この結果、初期値生成部３４０は、式（１７）のパラメータμの初期値を生成できる。その後、初期値生成部３４０は、生成した初期値と、特徴点情報とを最適化部３５０に出力する。
【００９７】
最適化部３５０は、初期値生成部３４０から入力された特徴点情報及び初期値と、情報選択部３２０から入力されたセンサ値とを用いて、最適化を行うものである。この最適化部３５０は、予測画像座標算出部３５１と、カメラモデルパラメータ最適化部３５３とを備える。
【００９８】
予測画像座標算出部３５１は、情報記録部２０に記憶された校正パターン情報を参照し、この校正パターン情報の特徴点の座標から予測画像座標を算出するものである。具体的には、予測画像座標算出部３５１は、式（１３）及び式（２２）〜式（２４）を用いて、予測画像座標を算出する。
【００９９】
カメラモデルパラメータ最適化部３５３は、初期値生成部３４０から入力された特徴点情報（観測画像座標）及び初期値（式１７）と、予測画像座標算出部３５１が算出した予測画像座標とを用いて、最適化（例えば、再投影誤差最小化）を行うものである。具体的には、カメラモデルパラメータ最適化部３５３は、観測画像座標と予測画像座標との距離が最小となるように式（１８）を最適化することで、式（１６）のカメラモデルパラメータθｉを推定する。そして、カメラモデルパラメータ最適化部３５３は、推定したカメラモデルパラメータθｉをカメラモデルパラメータ情報として情報記録部２０に出力する。
【０１００】
［カメラ校正装置の動作］
図１０を参照し、図８のカメラ校正装置１の動作について、説明する（適宜図８，図９参照）。
各カメラシステムＣｉ及び各校正パターンＰｊを所定位置に配置する。また、カメラ校正装置１では、情報記録部２０に校正パターン情報を予め記録する（ステップＳ０）。
なお、ステップＳ０の処理は、カメラ校正の準備作業であるため、破線で図示した。
【０１０１】
カメラ校正装置１は、同期信号生成部１０によって、同期信号を生成し、生成した同期信号をカメラシステムＣｉへ入力する。
カメラ校正装置１は、映像入力部３０２によって、カメラシステムＣｉから映像を取得し、フレーム毎の静止画像（撮影画像）に変換する。
カメラ校正装置１は、センサ値入力部３０４によって、カメラシステムＣｉからセンサ値を取得し、テキストデータに変換する（ステップＳ１）。
【０１０２】
カメラ校正装置１は、フレーム同期部３０６によって、ステップＳ１で取得した撮影画像とセンサ値とを同期させる（ステップＳ２）。
カメラ校正装置１は、フレーム同期部３０６によって、ステップＳ２で同期させた撮影画像及びセンサ値の組み合わせを、撮影画像・センサ値記録部３１０に記録する（ステップＳ３）。
【０１０３】
カメラ校正装置１は、情報選択部３２０によって、ステップＳ３で記録された撮影画像及びセンサ値の組み合わせのうち、カメラモデルパラメータの推定に利用する撮影画像及びセンサ値の組み合わせを選択する（ステップＳ４）。
【０１０４】
カメラ校正装置１は、特徴点抽出部３３０によって、ステップＳ４で選択された撮影画像から特徴点を抽出する（ステップＳ５）。
カメラ校正装置１は、初期値生成部３４０によって、初期値を生成する（ステップＳ６）。このステップＳ６の処理は、詳細を後記する。
【０１０５】
カメラ校正装置１は、予測画像座標算出部３５１によって、予測画像座標を算出する。
カメラ校正装置１は、カメラモデルパラメータ最適化部３５３によって、ステップＳ６で生成した初期値と、特徴点情報と、予測画像座標と、校正パターン情報とを用いて最適化を行い、カメラモデルパラメータを推定する（ステップＳ７）。
カメラ校正装置１は、カメラ校正部４０によって、ステップＳ７で推定したカメラモデルパラメータと、センサ値とを用いて、カメラ校正を行う（ステップＳ８）。
【０１０６】
＜初期値の生成＞
図１１を参照し、図１０のステップＳ６の処理について、説明する（適宜図９参照）。
カメラ校正装置１は、初期値生成用カメラ校正部３４１によって、カメラ校正を行い、内部パラメータθｉｎｔ，ｉの初期値と、第４外部パラメータＣｉＭＰｊとを算出する（ステップＳ６１）。
【０１０７】
カメラ校正装置１は、第１外部パラメータ設定部３４３によって、第１外部パラメータＣｉＭＰＴｉの初期値を設定する（ステップＳ６２）。
カメラ校正装置１は、第３外部パラメータ算出部３４７によって、ステップＳ４で選択されたセンサ値から、第３外部パラメータＰＴｉＭＣＰｉを算出する（ステップＳ６３）。
【０１０８】
カメラ校正装置１は、第２外部パラメータ算出部３４５によって、ステップＳ６１で算出した第４外部パラメータＣｉＭＰｊと、ステップＳ６２で設定した第１外部パラメータＣｉＭＰＴｉの初期値と、ステップＳ６３で算出した第３外部パラメータＰＴｉＭＣＰとを式（１１）に代入することで、第２外部パラメータＣＰｉＭＰｊの初期値を算出する（ステップＳ６４）。
【０１０９】
カメラ校正装置１は、校正パターン関係式設定部３４９によって、校正パターンＰｊで座標系の関係を表す式（１５）の初期値を設定する（ステップＳ６５）。
【０１１０】
以上のように、本願発明の第１実施形態に係るカメラ校正装置１は、校正パターンＰｊで座標系の関係を表す式（１５）を設定することで、複数のカメラシステムＣｉで校正パターンＰｊの位置関係を共有可能とし、より強い拘束条件をカメラモデルパラメータの推定に加えることができる。これによって、カメラ校正装置１は、高精度なカメラモデルパラメータを推定し、高速、高精度、かつ、安定性の高いカメラ校正が可能となる。その結果、カメラ校正装置１は、多視点映像に対し、実時間で様々な画像処理を施すことが可能となり、様々な用途への応用が期待される。
【０１１１】
（第２実施形態）
以下、本願発明の第２実施形態について、第１実施形態と異なる点を説明する。
前記した第１実施形態に係るカメラ校正装置１は、複数のカメラシステムＣｉを用いて、複数の校正パターンＰｊを様々な姿勢で撮影し、パラメータの個数が多い最適化問題を解く必要がある。このため、カメラ校正装置１では、カメラシステムＣｉを設置した後、カメラモデルパラメータの推定が終わるまでに時間や手間がかかる。当然、撮影現場では、システムの設営に費やせる時間は限られており、時間や手間が少ない方が好ましい。
なお、ここではカメラシステムＣｉを別の場所に設置することを移設と呼ぶ。例えば、カメラシステムＣｉを１０ｃｍ移動させた場合も、カメラシステムＣｉの移設に該当する。
【０１１２】
ここで、カメラモデルパラメータは、１台のカメラシステムＣｉあたり、複数の外部パラメータ（第１外部パラメータＣθｅｘｔ，ｉ及び第２外部パラメータＣＰθｅｘｔ，ｉ）と、１つの内部パラメータθｉｎｔ，ｉとで構成される。
【０１１３】
これらパラメータのうち、第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉは、世界座標系（つまり、カメラシステムＣｉの配置）に依存しない。このため、第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉは、カメラシステムＣｉを別の場所に移設しても、そのまま使用可能である。
【０１１４】
一方、第２外部パラメータＣＰθｅｘｔ，ｉは、世界座標系に依存するため、カメラシステムＣｉを移設した場合、再度求める必要がある（第４外部パラメータも同様）。この第２外部パラメータＣＰθｅｘｔ，ｉは、１台のカメラシステムＣｉあたり６個のパラメータで構成されるので、比較的簡単な最適化問題を解くことで得られる。
【０１１５】
［設置カメラ校正］
まず、本願発明の第２実施形態におけるカメラ校正手法を説明した後、本願発明の第２実施形態に係るカメラ校正装置１Ｂの具体的構成を説明する。
第２実施形態の前提として、図１２のように、第１実施形態の手法でカメラモデルパラメータを推定しておく必要がある。以後、第１実施形態の手法を「初期カメラ校正」と呼ぶ。
その後、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉを利用して、移設したカメラシステムＣｉのカメラモデルパラメータを推定する。以後、第２実施形態で説明する手法を「設置カメラ校正」と呼ぶ。
【０１１６】
なお、図１２では、２台のカメラシステムＣ１，Ｃ２に対し、初期カメラ校正では３個の校正パターンＰｗ，Ｐ１，Ｐ２を使用し、設置カメラ校正では２個の校正パターンＰｗ，Ｐ１を使用している。
また、図１２の設置カメラ校正では、既知の値となるパン・チルト座標系ΣＰＴｉからカメラ座標系ΣＣｉへの変換（第１外部パラメータ）を破線矢印で図示した。また、最適化で求めるパラメータについては、実線矢印で図示した。
【０１１７】
以下、設置カメラ校正を詳細に説明する。
ここで、カメラシステムＣｉがｎ台（ｉ＝１，…,ｎ）、校正パターンＰｊがｍ個（ｊ＝１，…，ｍ）の場合を考える。一般的な外部パラメータは、回転角度が３個のパラメータ、並進ベクトルが３個のパラメータ、合計６個のパラメータで構成される。つまり、外部パラメータθｅｘｔは、式（１）で表される。
【０１１８】
【数２５】
0006622503.tif 000026
【０１１９】
図１３のように、ある１台のカメラシステムＣｉについて考えた場合、校正パターン座標系ΣＰｊから雲台座標系ΣＣＰｉへ変換する第２外部パラメータをＣＰθｅｘｔ，ｉ（ｊ）として表す。つまり、カメラシステムＣｉにおいて推定すべきパラメータは、式（２５）で表される。ここで、設置カメラ校正では、初期カメラ校正とは異なり、内部パラメータθｉｎｔ，ｉ、第１外部パラメータＣθｅｘｔ，ｉが既知の固定値として扱われるため、式（２５）に含まれない。
【０１２０】
【数２６】
0006622503.tif 000027
【０１２１】
なお、図１３では、既知の値となるパン・チルト座標系ΣＰＴｉからカメラ座標系ΣＣｉへの変換（第１外部パラメータ）と、雲台座標系ΣＣＰｉからパン・チルト座標系ΣＰＴｉへの変換（第３外部パラメータ）とを破線矢印で図示した。
【０１２２】
校正パターン関係式ηｊは、外部パラメータと同様、回転角度が３個のパラメータ、並進ベクトルが３個のパラメータで構成される。カメラシステムＣｉの移設後、校正パターンＰｊの中から１個を新しい基準校正パターン（世界座標）Ｐｗとして設定する。ここで、ｗ番目の校正パターンＰｊを基準校正パターンＰｗとして設定した場合を考える（１≦ｗ≦ｍ）。この場合、基準校正パターンＰｗと別の校正パターンＰｊの関係式ηｊは、式（１５）で表される。
【０１２３】
【数２７】
0006622503.tif 000028
【０１２４】
カメラシステムＣｉについて、推定すべき第２外部パラメータＣＰθｅｘｔ，ｉ（ｗ）は、新しい基準校正パターンＰｗとの関係を求めればよいので、式（２６）で表される。以上より、最適化で評価すべきパラメータμは、式（２７）で表される。
【０１２５】
【数２８】
0006622503.tif 000029
【０１２６】
【数２９】
0006622503.tif 000030
【０１２７】
カメラシステムＣｉでパン・チルトを変化させ、ある姿勢ｋｉｊで校正パターンＰｊを撮影したこととする。このとき、式（２７）のパラメータμは、全て観測画像座標と予測画像座標との距離を求め、求めた距離の２乗和を最小化することで求められる。つまり、パラメータμは、評価式としての式（２８）を最適化することで求められる。
【０１２８】
【数３０】
0006622503.tif 000031
【０１２９】
［カメラ校正装置の構成］
図１４を参照し、カメラ校正装置１Ｂの構成について、説明する。
カメラ校正装置１Ｂは、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉを利用して、移設したカメラシステムＣｉのカメラモデルパラメータを推定するものである。
図１４のように、カメラ校正装置１Ｂは、同期信号生成部１０と、情報記録部２０Ｂと、カメラモデルパラメータ推定部３０Ｂと、カメラ校正部４０とを備える。
【０１３０】
情報記録部２０Ｂは、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉを記録する。この第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉは、設置カメラ校正の際、カメラモデルパラメータ推定部３０Ｂにより参照される。
他の点、情報記録部２０Ｂは、第１実施形態と同様のため、これ以上の説明を省略する。
【０１３１】
カメラモデルパラメータ推定部３０Ｂは、情報記録部２０に記録された第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉを参照し、移設したカメラシステムＣｉのカメラモデルパラメータを推定するものである。そして、カメラモデルパラメータ推定部３０Ｂは、推定したカメラモデルパラメータをカメラモデルパラメータ情報として情報記録部２０Ｂに出力する。
【０１３２】
［カメラモデルパラメータ推定部の構成］
図１５を参照し、カメラモデルパラメータ推定部３０Ｂの構成について、説明する（適宜図１４参照）。
図１５のように、カメラモデルパラメータ推定部３０Ｂは、映像入力部３０２と、センサ値入力部３０４と、フレーム同期部３０６と、撮影画像・センサ値記録部３１０と、情報選択部３２０と、特徴点抽出部３３０と、初期値生成部３４０Ｂと、最適化部３５０Ｂとを備える。
【０１３３】
初期値生成部３４０Ｂは、初期値生成用カメラ校正部３４１Ｂと、第１外部パラメータ設定部３４３と、第２外部パラメータ算出部３４５Ｂと、第３外部パラメータ算出部３４７と、校正パターン関係式設定部３４９とを備える。
なお、初期値生成部３４０Ｂは、設置カメラ校正の際、第１外部パラメータ設定部３４３を備えなくてもよいため、破線で図示した。
【０１３４】
初期値生成用カメラ校正部３４１Ｂは、カメラ校正により、第４外部パラメータＣｉＭＰｊを算出するものである。つまり、初期値生成用カメラ校正部３４１Ｂは、内部パラメータθｉｎｔ，ｉの初期値を算出しない以外、第１実施形態と同様のため、これ以上の説明を省略する。
【０１３５】
第２外部パラメータ算出部３４５Ｂは、初期値生成用カメラ校正部３４１Ｂが算出した第４外部パラメータＣｉＭＰｊと、情報記録部２０に記録された第１外部パラメータＣｉＭＰＴｉ及び第３外部パラメータＰＴｉＭＣＰｉとを式（１１）に代入することで、第２外部パラメータＣＰｉＭＰｊの初期値を逆算するものである。
なお、第２外部パラメータ算出部３４５Ｂは、第１実施形態と同様の処理を行うため、これ以上の説明を省略する。
【０１３６】
このようにして、初期値生成部３４０Ｂは、移設したカメラシステムＣｉについて、式（２６）の第２外部パラメータＣＰθｅｘｔ，ｉ（ｗ）の初期値を求める。さらに、初期値生成部３４０Ｂは、式（１５）のように、校正パターンＰｊの間で座標系の関係を表す校正パターン関係式ηｊの初期値を求める。この結果、初期値生成部３４０Ｂは、式（２７）のパラメータμの初期値を生成できる。その後、初期値生成部３４０Ｂは、生成した初期値と、特徴点情報とを最適化部３５０Ｂに出力する。
【０１３７】
最適化部３５０Ｂは、予測画像座標算出部３５１と、カメラモデルパラメータ最適化部３５３Ｂとを備える。
カメラモデルパラメータ最適化部３５３Ｂは、観測画像座標と予測画像座標との距離が最小となるように式（２８）を最適化することで、式（２６）のカメラモデルパラメータθｉ（第２外部パラメータ）を推定する。そして、カメラモデルパラメータ最適化部３５３Ｂは、推定したカメラモデルパラメータθｉと、初期カメラ校正で求めた第１外部パラメータＣｉＭＰＴｉ及び内部パラメータθｉｎｔ，ｉとを、カメラモデルパラメータ情報として情報記録部２０Ｂに出力する。
【０１３８】
［カメラ校正装置の動作］
図１６を参照し、図１４のカメラ校正装置１Ｂの動作について、説明する（適宜図１４，図１５参照）。
ここでは、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉが情報記録部２０Ｂに記録されていることとする。
【０１３９】
カメラ校正装置１は、初期値生成部３４０Ｂによって、初期値を生成する（ステップＳ６Ｂ）。このステップＳ６Ｂの処理は、詳細を後記する。
【０１４０】
カメラ校正装置１は、予測画像座標算出部３５１によって、予測画像座標を算出する。
カメラ校正装置１は、カメラモデルパラメータ最適化部３５３Ｂによって、前記した式（２８）を最適化することで、式（２６）のカメラモデルパラメータθｉ（第２外部パラメータ）を推定する（ステップＳ７Ｂ）。
【０１４１】
＜初期値の生成＞
図１７を参照し、図１６のステップＳ６Ｂの処理について、説明する（適宜図１５参照）。
カメラ校正装置１は、初期値生成用カメラ校正部３４１Ｂによって、カメラ校正を行い、第４外部パラメータＣｉＭＰｊを算出する（ステップＳ６１Ｂ）。
【０１４２】
カメラ校正装置１は、第２外部パラメータ算出部３４５Ｂによって、ステップＳ６１Ｂで算出した第４外部パラメータＣｉＭＰｊと、情報記録部２０Ｂに記録された第１外部パラメータＣｉＭＰＴｉと、ステップＳ６３で算出した第３外部パラメータＰＴｉＭＣＰとを式（１１）に代入することで、第２外部パラメータＣＰｉＭＰｊの初期値を算出する（ステップＳ６４Ｂ）。
【０１４３】
以上のように、本願発明の第２実施形態に係るカメラ校正装置１Ｂは、初期カメラ校正よりも推定するパラメータの個数が少なくなるため、使用する校正パターンＰｊの個数やカメラシステムＣｉが各校正パターンＰｊを撮影する際の姿勢数を減少させることができる。さらに、カメラ校正装置１Ｂは、最適化処理の時間も削減できるので、撮影現場における時間や手間が大幅に削減でき、運用性が向上する。
【０１４４】
以上、本願発明の各実施形態を詳述してきたが、本願発明は前記した実施形態に限られるものではなく、本願発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【０１４５】
前記した各実施形態では、本願発明で利用可能な校正パターンＰｊとして、図３のチェッカーボードパターンを例示したが、これに限定されない。例えば、本願発明で利用可能な校正パターンＰｊとして、ドットパターンがあげられる。
【０１４６】
また、特徴点の配置及び数が既知であれば、異なる種類の各校正パターンＰｊが混在してもよい。例えば、校正パターンＰｊとして、チェッカーボードパターン及びドットパターンが混在してもよい。また、校正パターンＰｊは、同種のチェッカーボードパターンであっても、特徴点の数や間隔が異なってもよい。
【０１４７】
また、各校正パターンＰｊは、全てのカメラシステムＣｉから見えていれば、その位置や向きが制限されない。図２のように、各校正パターンＰｊは、横一直線で同じ向きに配置してもよい。また、各校正パターンＰｊは、全てのカメラシステムＣｉから見える範囲内で様々な位置や向きに配置すると、カメラシステムＣｉの様々な姿勢に対応できるため好ましい。
【０１４８】
前記した各実施形態では、カメラシステムＣｉを多視点カメラであることとして説明したが、これに限定されない。例えば、本願発明は、同一の撮影スタジオや撮影エリア内に配置された複数のカメラシステムＣｉにも適用することができる。
【０１４９】
ここで、カメラシステムＣｉが多視点カメラでない場合、同期信号生成部１０は、異なるカメラシステムＣｉには同一の同期信号を出力せずともよい。しかし、同期信号生成部１０は、１台のカメラシステムＣｉに含まれるカメラ本体ＣＢｉ、雲台ＣＰｉ及びセンサＣＳｉには、同一の同期信号を出力する必要がある。
【０１５０】
前記した第２実施形態では、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉ及び内部パラメータθｉｎｔ，ｉを利用することとして説明したが、本願発明は、これに限定されない。例えば、本願発明は、初期カメラ校正で求めた第１外部パラメータＣθｅｘｔ，ｉのみを利用し、設置カメラ校正の際、内部パラメータθｉｎｔ，ｉを求めてもよい。
【０１５１】
前記した各実施形態では、カメラ校正装置１，１Ｂを独立したハードウェアとして説明したが、本願発明は、これに限定されない。例えば、カメラ校正装置１，１Ｂは、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるカメラ校正プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【０１５２】
１，１Ｂ  カメラ校正装置
１０  同期信号生成部
２０，２０Ｂ  情報記録部
３０，３０Ｂ  カメラモデルパラメータ推定部
４０  カメラ校正部
３０２  映像入力部
３０４  センサ値入力部
３０６  フレーム同期部
３１０  画像・センサ値記録部
３２０  情報選択部
３３０  特徴点抽出部
３４０，３４０Ｂ  初期値生成部
３４１，３４１Ｂ  初期値生成用カメラ校正部
３４３  第１外部パラメータ設定部
３４５，３４５Ｂ  第２外部パラメータ算出部
３４７  第３外部パラメータ算出部
３４９  校正パターン関係式設定部
３５０，３５０Ｂ  最適化部
３５１  予測画像座標算出部
３５３，３５３Ｂ  カメラモデルパラメータ最適化部
Ｃｉ  カメラシステム（撮影カメラ）
【図１】
0006622503.tif 000032
【図２】
0006622503.tif 000033
【図３】
0006622503.tif 000034
【図４】
0006622503.tif 000035
【図５】
0006622503.tif 000036
【図６】
0006622503.tif 000037
【図７】
0006622503.tif 000038
【図８】
0006622503.tif 000039
【図９】
0006622503.tif 000040
【図１０】
0006622503.tif 000041
【図１１】
0006622503.tif 000042
【図１２】
0006622503.tif 000043
【図１３】
0006622503.tif 000044
【図１４】
0006622503.tif 000045
【図１５】
0006622503.tif 000046
【図１６】
0006622503.tif 000047
【図１７】
0006622503.tif 000048