(57)【要約】【課題】撮影現場において短時間かつ簡便に高精度なカメラ校正を可能とするカメラ校正装置を提供する。【解決手段】カメラ校正装置１は、複数のカメラＣを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの初期カメラモデルパラメータを算出する初期カメラ校正手段２０と、初期カメラモデルパラメータを用いて、カメラＣを撮影位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの設置カメラモデルパラメータを算出する設置カメラ校正手段３０と、設置カメラモデルパラメータをカメラパラメータに変換するカメラパラメータ算出手段４０とを備える。【選択図】図１
2018189580.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第１カメラモデルパラメータを算出する第１カメラ校正手段と、前記第１カメラモデルパラメータを用いて、前記複数のカメラを撮影位置に設置してズーム及び姿勢を変えながら複数の前記校正パターンをそれぞれ撮影したときの第２カメラモデルパラメータを算出する第２カメラ校正手段とを備えるカメラ校正装置であって、
前記第１カメラ校正手段は、
前記初期位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第１校正用データとして入力され、入力された前記第１校正用データを用いた強校正により、前記複数の校正パターンのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出する第１準備処理手段と、
前記第１準備処理手段が算出したカメラパラメータを用いて、前記基準校正パターン及び前記基準ズーム値における第１カメラモデルパラメータを剛体変換行列により算出する第１基準推定手段と、
前記第１カメラモデルパラメータ及び前記第１校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第１校正パターン拡張手段と、
前記第１カメラモデルパラメータと前記第１校正用データと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを用いて、前記基準ズーム値と異なる対象ズーム値における第１カメラモデルパラメータを投影行列により算出する第１ズーム拡張手段と、
前記第１カメラモデルパラメータと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第１最適化手段と、
予め設定した第１終了条件を満たしているか否かを判定し、前記第１終了条件を満たしていない場合、前記第１校正パターン拡張手段及び前記第１ズーム拡張手段に繰り返し処理を指令する第１終了判定手段と、を備え、
前記第２カメラ校正手段は、
前記撮影位置で前記校正パターンを撮影した撮影画像と当該撮影画像を撮影したときの前記カメラのズーム値及び姿勢を表すセンサ値との組が第２校正用データとして入力され、入力された前記第２校正用データを用いた強校正により、前記撮影位置での前記カメラパラメータを算出する第２準備処理手段と、
前記第２準備処理手段が算出したカメラパラメータを用いて、前記第２カメラモデルパラメータとして、前記撮影位置に前記カメラを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出する第２基準推定手段と、
前記第２カメラモデルパラメータ及び前記第２校正用データを用いて、前記基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、前記基準校正パターンと前記対象校正パターンとの特徴点群の位置関係から前記対象校正パターンについての位置及び姿勢を算出する第２校正パターン拡張手段と、
前記第２カメラモデルパラメータと前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第２最適化手段と、
予め設定した第２終了条件を満たしているか否かを判定し、前記第２終了条件を満たしていない場合、前記第２校正パターン拡張手段及び前記第２最適化手段に繰り返し処理を指令する第２終了判定手段と、
を備えることを特徴とするカメラ校正装置。
【請求項２】
前記第１カメラ校正手段は、
前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第１カメラモデルパラメータを剛体変換行列により算出する第１カメラ拡張手段、をさらに備え、
前記第１ズーム拡張手段は、前記第１カメラ拡張手段が算出した第１カメラモデルパラメータ及び前記第１校正用データを用いて、前記対象ズーム値における第１カメラモデルパラメータを算出し、
前記第２カメラ校正手段は、
前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢を用いて、前記基準校正パターンを撮影できなかったカメラについての第２カメラモデルパラメータを剛体変換行列により算出する第２カメラ拡張手段、をさらに備え、
前記第２最適化手段は、前記第２基準推定手段、前記第２校正パターン拡張手段及び前記第２カメラ拡張手段のそれぞれが算出した第２カメラモデルパラメータを非線形最適化することを特徴とする請求項１に記載のカメラ校正装置。
【請求項３】
前記第１最適化手段は、前記第１終了判定手段が前記第１終了条件を満たしていると判定した場合、前記第１カメラモデルパラメータと前記第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化し、
前記第２最適化手段は、前記第２終了判定手段が前記第２終了条件を満たしていると判定した場合、前記第２カメラモデルパラメータと前記第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを、再度、非線形最適化することを特徴とする請求項２に記載のカメラ校正装置。
【請求項４】
前記第１カメラモデルパラメータ又は前記第２カメラモデルパラメータと前記センサ値とが入力され、入力された前記第１カメラモデルパラメータ又は前記第２カメラモデルパラメータと前記センサ値とから前記カメラパラメータを算出するカメラパラメータ算出手段、をさらに備えることを特徴とする請求項１から請求項３の何れか一項に記載のカメラ校正装置。
【請求項５】
前記基準ズーム値及び前記対象ズーム値以外のズーム値における第１カメラモデルパラメータを補完する補間手段、をさらに備えることを特徴とする請求項１から請求項４の何れか一項に記載のカメラ校正装置。
【請求項６】
コンピュータを、請求項１から請求項５の何れか一項に記載のカメラ校正装置として機能させるためのカメラ校正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ校正装置及びカメラ校正プログラムに関する。
【背景技術】
【０００２】
近年、コンピュータにより実世界を知覚・理解するコンピュータビジョンの研究が盛んである。コンピュータビジョンにおける重要なテーマの１つにカメラ校正がある。ここで言うカメラ校正とは、カメラパラメータを推定する処理である。カメラ校正により、実写画像へのＣＧ合成をはじめとした様々な画像処理が可能となる。さらに、カメラ校正がされた複数のカメラを用いることで、画像からの３次元形状復元なども可能となる。また、撮影装置として汎用性の高いパン・チルト・ズームカメラは、放送番組の映像制作やセキュリティなど様々な分野で使用されている。
【０００３】
ここで、放送をはじめとする撮影現場において、カメラ校正に求められる頑健性、実時間性、精度等の要件は、以下のとおりである。
頑健性とは、現場でカメラの設置作業が完了すれば、確実にカメラ校正（カメラパラメータの取得）が可能なことである。
実時間性とは、カメラの使用時に実時間でカメラパラメータの取得が可能なことである。
精度とは、推定されたカメラパラメータを用いて画像処理を行っても問題のない精度のことである。
【０００４】
従来のカメラ校正の手法は、強校正と弱校正の２つに大別することができる（非特許文献１，２）。非特許文献１に記載の強校正（Ｚｈａｎｇの手法）は、既知の特徴点を平面上に配置した校正パターンを使用する。そして、強校正では、カメラで既知の校正パターンを撮影し、その撮影した特徴点の情報からカメラ校正を行う。
この強校正は、安定してカメラ校正ができるが、校正パターンが必要なため運用性が低い。また、強校正は、カメラ校正が完了したら、カメラの姿勢やズームを変化させることはできない。もしカメラの姿勢やズームを変化させた場合、再度、校正パターンを使用してカメラ校正をする必要がある。そのため、強校正は、パン・チルト・ズームカメラには不向きである。
【０００５】
非特許文献２に記載の弱校正では、カメラで撮影した画像中の自然特徴点の情報からカメラ校正を行う。この弱校正は、校正パターンが不要なため運用性は高いが、画像中の特徴点が少ない（画像中にテクスチャが少ない）場合、カメラ校正の精度が低下するか、失敗することがある。つまり、弱校正は、頑健性（処理の安定性）に課題がある。
このように、これら２つの従来手法では、撮影現場の要望を満たすことができない。
【０００６】
ところで、パン・チルト・ズームカメラを対象としたカメラ校正として、非特許文献３に記載の技術が提案されている。この従来技術は、先ほどの分類の中では校正パターンを使用するという意味で強校正的な手法となるが、強校正の制約が少ない。また、この従来技術は、頑健性と実時間性に優れている。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Z. Zhang,“A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334
【非特許文献２】Noah Snavely, et al., “Photo tourism: exploring photo collections in 3D”, ACM transactions on graphics (TOG), Vol. 25, No. 3, ACM, 2006
【非特許文献３】大久保英彦 他, “バーチャルスタジオ用高倍率ズームレンズのキャリブレーション手法”, 電子情報通信学会技術研究報告. MVE, マルチメディア・仮想環境基礎 108.226(2008),61-66.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、非特許文献３に記載の技術は、単体のカメラを対象としており、複数のカメラに適用した際には精度向上の余地がある。ここで、パン・チルト・ズームカメラの利点は、パン・チルトにより広い範囲を撮影でき、ズームにより被写体を高解像度に撮影できることである。従って、パン・チルト・ズームカメラには、広範囲において高い精度のカメラ校正が求められている。
さらに、校正パターンの撮影などの準備に時間を要するが、撮影現場ではカメラ校正を短時間かつ簡便に行えることが好ましい。
【０００９】
そこで、本発明は、撮影現場において短時間かつ簡便に高精度なカメラ校正を可能とするカメラ校正装置及びカメラ校正プログラムを提供する。
【課題を解決するための手段】
【００１０】
前記した課題に鑑みて、本発明に係るカメラ校正装置は、複数のカメラを初期位置に配置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第１カメラモデルパラメータを算出する第１カメラ校正手段と、第１カメラモデルパラメータを用いて、複数のカメラを撮影位置に設置してズーム及び姿勢を変えながら複数の校正パターンをそれぞれ撮影したときの第２カメラモデルパラメータを算出する第２カメラ校正手段とを備える構成とした。
【００１１】
かかるカメラ校正装置によれば、第１カメラ校正手段は、初期位置で校正パターンを撮影した撮影画像と撮影画像を撮影したときのカメラのズーム値及び姿勢を表すセンサ値との組が第１校正用データとして入力され、入力された第１校正用データを用いた強校正により、複数の校正パターンのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出する第１準備処理手段と、第１準備処理手段が算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における第１カメラモデルパラメータを剛体変換行列により算出する第１基準推定手段と、第１カメラモデルパラメータ及び第１校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する第１校正パターン拡張手段と、第１カメラモデルパラメータと第１校正用データと第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを用いて、基準ズーム値と異なる対象ズーム値における第１カメラモデルパラメータを投影行列により算出する第１ズーム拡張手段と、第１カメラモデルパラメータと第１校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第１最適化手段と、予め設定した第１終了条件を満たしているか否かを判定し、第１終了条件を満たしていない場合、第１校正パターン拡張手段、第１ズーム拡張手段及び第１最適化手段に繰り返し処理を指令する第１終了判定手段と、を備える。
【００１２】
このように、第１カメラ校正手段は、撮影現場での本番撮影前に複数の校正パターンを用いて第１カメラモデルパラメータを予め算出しておく。このとき、第１カメラ校正手段は、第１カメラモデルパラメータの非線形最適化を繰り返すことで、高精度な第１カメラモデルパラメータを算出できる。
【００１３】
また、カメラ校正装置によれば、第２カメラ校正手段は、撮影位置で校正パターンを撮影した撮影画像と撮影画像を撮影したときのカメラのズーム値及び姿勢を表すセンサ値との組が第２校正用データとして入力され、入力された第２校正用データを用いた強校正により、撮影位置でのカメラパラメータを算出する第２準備処理手段と、第２準備処理手段が算出したカメラパラメータを用いて、第２カメラモデルパラメータとして、撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出する第２基準推定手段と、第２カメラモデルパラメータ及び第２校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する第２校正パターン拡張手段と、第２カメラモデルパラメータと第２校正パターン拡張手段が算出した対象校正パターンについての位置及び姿勢とを非線形最適化する第２最適化手段と、予め設定した第２終了条件を満たしているか否かを判定し、第２終了条件を満たしていない場合、第２校正パターン拡張手段及び第２最適化手段に繰り返し処理を指令する第２終了判定手段と、を備える。
【００１４】
このように、第２カメラ校正手段は、撮影現場での本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを、第２カメラモデルパラメータとして短時間で算出する。このとき、第２カメラ校正手段は、第２カメラモデルパラメータの非線形最適化を繰り返すことで、高精度な第２カメラモデルパラメータを算出できる。
【発明の効果】
【００１５】
本発明によれば、以下のような優れた効果を奏する。
本発明に係るカメラ校正装置は、初期位置でカメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。そして、カメラ校正装置は、非線形最適化を繰り返すことで高精度なカメラモデルパラメータを求めることができ、高精度なカメラ校正が可能となる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係るカメラ校正装置の構成を示すブロック図である。
【図２】図１のカメラの外観図である。
【図３】（ａ）及び（ｂ）は図１のカメラ校正装置で用いる校正パターンの説明図である。
【図４】実施形態におけるカメラモデルの説明図である。
【図５】実施形態におけるカメラと校正パターンの系全体のモデル化の説明図である。
【図６】（ａ）は大きな校正パターンをワイド端で撮影したときの校正用データの一例であり、（ｂ）は小さな校正パターンをテレ端で撮影したときの校正用データの一例である。
【図７】実施形態における校正パターン・ズーム値テーブルの説明図である。
【図８】実施形態における剛体変換行列を解く手法の説明図である。
【図９】実施形態における初期カメラ校正のフローチャートである。
【図１０】実施形態における初期カメラ校正の説明図である。
【図１１】実施形態における設置カメラ校正のフローチャートである。
【図１２】実施形態における設置カメラ校正の説明図である。
【発明を実施するための形態】
【００１７】
（実施形態）
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。
本実施形態では、カメラ校正装置の概略、カメラのモデル化、カメラ校正のアルゴリズム、カメラ校正装置の構成、カメラ校正装置の動作の順で説明する。
【００１８】
［カメラ校正装置の概略］
図１〜図３を参照し、カメラ校正装置１の概略について説明する。
カメラ校正装置１は、複数のカメラＣを初期位置（例えば、実験室や準備室）に配置してズーム及び姿勢を変えながら複数の校正パターンＰ（図３）をそれぞれ撮影したときの初期カメラモデルパラメータ（第１カメラモデルパラメータ）を算出する。
次に、カメラ校正装置１は、初期カメラモデルパラメータを用いて、カメラＣを撮影位置（例えば、撮影スタジオ）に設置してズーム及び姿勢を変えながら複数の校正パターンＰをそれぞれ撮影したときの設置カメラモデルパラメータ（第２カメラモデルパラメータ）を算出する。
そして、カメラ校正装置１は、設置カメラモデルパラメータ及びカメラＣのセンサ値から一般的なカメラパラメータを算出し、図示を省略したＣＧ合成装置などにカメラパラメータを出力する。
なお、カメラ校正装置１の構成は、後記する。
【００１９】
カメラＣは、図２に示すように、一般的なパン・チルト・ズームカメラである。つまり、カメラＣは、パン及びチルト可能な雲台Ｃａにマウントされており、パン及びチルトの角度をセンサ（不図示）により取得可能である。
また、カメラＣは、ズームレンズＣｂを搭載し、ズーム値をセンサにより取得可能である。ここで、センサが取得したパン値、チルト値及びズーム値をセンサ値と呼び、カメラＣが撮影した撮影画像とセンサ値との時間的整合が取れていることとする。
【００２０】
なお、初期位置から撮影位置に移設するカメラＣは、同一個体であることとする。また、初期位置から撮影位置にカメラＣを同一台数移設することとするが、撮影位置に移設するカメラＣの台数を少なくしてもよい。
【００２１】
校正パターンＰは、特徴点を平面上に配置したカメラ校正用のパターンのことである。例えば、校正パターンＰとしては、図３に示すように、市松模様が描かれたパターンをあげることができる。
ここで、ズームレンズＣｂ、特に高倍率のズームレンズＣｂを用いる場合、ワイド端（最大広角）とテレ端（最大望遠）で画角が大きく変化する。このため、１つのサイズの校正パターンＰのみを用いる場合、校正パターンＰの配置をよほど工夫しない限り、校正パターンＰの全体を撮影できない。そこで、カメラ校正装置１では、図３（ａ）の大きな校正パターンＰ１や図３（ｂ）の小さな校正パターンＰ２など、様々なサイズの校正パターンＰを使用することが好ましい。
【００２２】
［カメラのモデル化］
図４，図５を参照し、本実施形態におけるカメラのモデル化を説明する。
以下、集合の要素数を、｜・｜で表す。
カメラ番号ｉ（ｉ＝１，２，…,Ｉ）とするカメラＣをＣｉとする。つまり、カメラ番号ｉは、各カメラＣｉを一意に識別する番号である。Ｉは、カメラＣｉの総数を表す。何れか１つのズーム値ｎでカメラモデルパラメータが推定済みのカメラ番号ｉを表す集合をＩｅとする。
校正パターン番号ｊ（ｊ＝１，２，…,Ｊ）とする校正パターンＰをＰｊとする。つまり、校正パターン番号ｊは、各校正パターンＰｊを一意に識別する番号である。Ｊは、校正パターンＰｊの総数を表す。位置・姿勢が推定済みの校正パターン番号ｊを表す集合をＪｅとする。
【００２３】
カメラＣのズーム設定番号をｋ（ｋ＝１，２，…,Ｋ）とする。つまり、ズーム設定番号ｋは、カメラＣの各ズーム値ｎに対応する番号である。カメラＣｉのズーム設定番号ｋｉにおいて、ズーム依存パラメータが推定済みのズーム設定番号ｋを表す集合をＫｅｉとする。
カメラＣの姿勢番号をｌとする。つまり、姿勢番号ｌは、カメラＣの各姿勢（パン値、チルト値）に対応する番号である。カメラＣｉにおいて、ズーム設定番号ｋｉで校正パターンＰｊを撮影した全ての姿勢番号ｌを表す集合をＬｉｊｋとする。
特徴点番号をｍとする。特徴点番号ｍは、校正パターンＰの各特徴点を一意に識別する番号である。校正パターンＰｊの全ての特徴点番号ｍを表す集合をＭｊとする。
【００２４】
＜カメラモデル＞
図４に示すように、カメラＣのモデル化を行う。このカメラモデルは、雲台ＣａにズームレンズＣｂを搭載したカメラＣをマウントしたモデルである。このカメラＣをモデル化することで、推定すべきパラメータを定義できる。そして、そのパラメータが推定できれば、関数化もしくはルックアップテーブル化することで、センサ値からカメラパラメータが算出できる。
【００２５】
内部パラメータは、焦点距離や画像中心などのカメラＣとレンズに関する特性を表す。本実施形態においては、ピンホールカメラモデルを想定し、レンズ歪も内部パラメータとして扱う。ズームレンズＣｂにおいては、ズームレンズＣｂの設定（ズームとフォーカスの設定）により内部パラメータが変化する。しかし、ここではフォーカスは考慮せず、ズームのみ考える。ズーム設定番号ｋを変化させるとズーム値ｎが変化し、それに伴い内部パラメータも変化する。このとき、内部パラメータκは、焦点距離ｆ、アスペクト比ａ、画像中心Ｃｕ，Ｃｖ、レンズ歪κ１，κ２，κ３，κ４のそれぞれが、ズーム値ｎを変数としたパラメータとなり、以下の式（１）で表される。
【００２６】
【数１】
2018189580.tif 000003
【００２７】
また、レンズ歪を除き、内部パラメータΚ（ｎ）を行列表記すると、以下の式（２）のようになる。この内部パラメータΚ（ｎ）を内部パラメータ行列と呼ぶ。
【００２８】
【数２】
2018189580.tif 000004
【００２９】
一般的に、外部パラメータは、基準となる座標系とカメラＣの座標系との位置・姿勢の関係を表す。この関係は、並進ベクトルｔ＝［ｔｘ，ｔｙ，ｔｚ］Ｔと回転角度θ＝［θｘ，θｙ，θｚ］Ｔにより表現でき、座標変換と等しい。つまり、外部パラメータμは、以下の式（３）で表される。
【００３０】
【数３】
2018189580.tif 000005
【００３１】
以降、座標変換のパラメータも外部パラメータと呼ぶ。ここで、ある座標系ΣＡから別の座標系ΣＢに座標変換する場合、外部パラメータをＢμＡと表記する。この外部パラメータＢμＡを剛体変換行列ＢＭＡで表現すると、以下の式（４）となる。
【００３２】
【数４】
2018189580.tif 000006
【００３３】
ここで、ＢＲＡは回転角度θから求まる回転行列であり、Ｂｔは並進ベクトルである。ベクトルにおける左上の添え字は座標系を表し、剛体変換行列と回転行列の右下及び左上の添え字は変換前後の座標系を表す。つまり、外部パラメータＢμＡと剛体変換行列ＢＭＡは等価である。一般的な外部パラメータは、世界座標系ΣＷとカメラ座標系ΣＣとの位置・姿勢の関係を表すので、カメラ校正で求めるべき外部パラメータは、外部パラメータＣμＷ、又は、剛体変換行列ＣＭＷである。
【００３４】
以上を踏まえ、パン・チルト・ズームカメラのモデル化を考える。図４に示すように、雲台Ｃａにおいて、パン・チルト軸は１点で直交していると仮定し、この点を回転中心と呼ぶ。回転中心においてパン・チルト角が共に０である場合の座標系を雲台座標系ΣＣＰと呼ぶ。このとき、世界座標系ΣＷから雲台座標系ΣＣＰへの外部パラメータは、ＣＰμＷとなる。
【００３５】
回転中心においてパン・チルトをした後の座標系をパン・チルト座標系ΣＰＴとすると、雲台座標系ΣＣＰからパン・チルト座標系ΣＰＴへの外部パラメータは、ＰＴμＣＰとなる。このとき、パン・チルト軸は直交しているため、雲台座標系ΣＣＰとパン・チルト座標系ΣＰＴの間の並進ベクトルは０となり、回転要素はパン・チルトのみである。カメラＣの光学中心を原点とした座標系をカメラ座標系ΣＣとする。パン・チルト座標系ΣＰＴからカメラ座標系ΣＣへの外部パラメータは、ＣμＰＴとなる。ここで、カメラ座標系ΣＣの位置がズーム設定により変化するため、外部パラメータＣμＰＴは、ズーム値ｎに依存するパラメータＣμＰＴ（ｎ）となる。外部パラメータのどの要素がズーム値ｎに依存するかはカメラモデルの設計次第だが、本実施形態では、以下の式（５）のように定義する。
【００３６】
【数５】
2018189580.tif 000007
【００３７】
この式（５）では、並進ベクトルの光軸方向であるＺ軸成分ｔＣｚのみをズーム値ｎに依存するパラメータと定義している。以上より、パン・チルト・ズームカメラにおいて世界座標系ΣＷからカメラ座標系ΣＣへの外部パラメータＣμＷ（ｎ）は、以下の式（６）で算出できる。この外部パラメータＣμＷ（ｎ）は、剛体変換行列ＣＭＷ（ｎ）のベクトル表現である。
【００３８】
【数６】
2018189580.tif 000008
【００３９】
カメラパラメータが定義されたので、世界座標系ΣＷにおける３次元空間中の１点の撮影画像への投影を考える。ここでは、レンズ歪については考慮しない。透視投影行列Ｐは、内部パラメータ行列Κと剛体変換行列ＣＭＷを用いて、以下の式（７）で表される。
【００４０】
【数７】
2018189580.tif 000009
【００４１】
空間中に点Ｑがあり、世界座標系ΣＷにおける座標をＸ＝［Ｘ，Ｙ，Ｚ］Ｔとする。この点Ｑを透視投影行列Ｐにより撮影画像上に投影した場合、投影される画像座標ｕ＝［ｕ，ｖ］Ｔは、以下の式（８）で表される。この式（８）では、スケール係数をｓとし、３次元座標Ｘの同次座標系をベクトルＸ~＝［Ｘ，Ｙ，Ｚ，１］Ｔとし、画像座標ｕの同次座標系をｕ~＝［ｕ，ｖ，１］Ｔとする。
【００４２】
【数８】
2018189580.tif 000010
【００４３】
前記した投影モデルは、レンズ歪のない理想的なレンズの場合なので、レンズ歪を考慮した場合の点Ｑの投影について述べる。世界座標系ΣＷでの点Ｑの座標ＷＸは、外部パラメータＣμＷ＝ＣＭＷによりカメラ座標系ΣＣに変換され、以下の式（９）のように３次元座標ＣＸで表される。
【００４４】
【数９】
2018189580.tif 000011
【００４５】
ここで、３次元座標Ｘの左上の添え字は、座標系を表す。このとき、正規化画像座標ｘ＝［ｘ，ｙ］Ｔは、以下の式（１０）で表される。この式（１０）では、ベクトルＣＸ＝［ＣＸ，ＣＹ，ＣＺ］Ｔとしている。従って、レンズ歪がある場合の正規化画像座標ｘｄ＝［ｘｄ，ｙｄ］Ｔは、以下の式（１１）で表される。
【００４６】
【数１０】
2018189580.tif 000012
【００４７】
【数１１】
2018189580.tif 000013
【００４８】
ここで、ｒは正規化画像の中心からの距離であり、ｒ２＝ｘｎ２＋ｙｎ２である。このレンズ歪を考慮した正規化画像座標ｘｄに内部パラメータをかけると、以下の式（１２）のようにレンズ歪を考慮した画像座標ｕｄ＝［ｕｄ，ｖｄ］Ｔが求められる。
【００４９】
【数１２】
2018189580.tif 000014
【００５０】
推定すべきパラメータは、以上の内部パラメータと外部パラメータとなる。しかし、高倍率のズームレンズＣｂにおいて、全てのズーム値ｎについてパラメータを推定するのが困難である。そこでズーム値ｎ＝Ｎ１，Ｎ２，…，ＮＫのように離散的にいくつかサンプリングし、パラメータを推定する。つまり、１台のカメラＣあたりで推定すべきパラメータは、以下の式（１３）で表される。
【００５１】
【数１３】
2018189580.tif 000015
【００５２】
このパラメータをカメラモデルパラメータφと呼ぶ。カメラＣｉのカメラモデルパラメータをφｉと表記する。このカメラモデルパラメータφは、ズーム値ｎに依存すパラメータとズーム値ｎに依存しないパラメータとに分けられる。内部パラメータκ及び外部パラメータＣμＰＴの並進ベクトルのＺ軸成分ｔＣｚは、ズーム値ｎに依存するのでズーム依存パラメータと呼ぶ。一方、外部パラメータＣμＰＴの並進ベクトルのＺ軸成分ｔＣｚ以外、及び、外部パラメータＣＰμＷは、ズーム値ｎに依存しないためズーム非依存パラメータと呼ぶ。このカメラモデルパラメータを推定できると、センサ値からカメラパラメータが算出できる。
【００５３】
ズーム依存パラメータについては、ズーム値ｎで離散的にサンプリングされ、推定されたパラメータからその間の値を補完することで、全てのズーム値ｎにおけるルックアップテーブルを作成する。この離散的なカメラモデルパラメータにズーム依存パラメータで補完がされた後のパラメータもカメラモデルパラメータと呼ぶ。
また、あるズーム値ｎのカメラモデルパラメータという場合、あるズーム値ｎにおけるズーム依存パラメータとズーム非依存パラメータの両方を指す。
【００５４】
＜系全体のモデル化＞
図５に示すように、カメラＣと校正パターンＰの座標系を合わせた系全体のモデル化を行う。カメラＣは、前記カメラモデルで述べたカメラ座標系ΣＣを有する。また、校正パターンＰは、校正パターン座標系ΣＰを有する。本実施形態においては、複数の校正パターンＰｊを用いるので、それぞれの校正パターンＰｊがそれぞれの校正パターン座標系ΣＰｊを有する。また、校正パターンＰは任意に配置可能であり、世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係は、未知でよい。この世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係の推定は、カメラモデルパラメータの推定と同時に行う。
【００５５】
なお、カメラＣが校正パターンＰを撮影し、特徴点を抽出できるように校正パターンＰを配置することが好ましい。例えば、撮影スペースの制限により、一部のカメラＣが撮影できない校正パターンＰがあってもよいが、その分校正用データが減るため、精度に影響を及ぼす可能性がある。
【００５６】
世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係は、座標変換で表されるので、カメラモデルにおける外部パラメータと同様に扱うことができる。例えば、世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係は、ＰμＷとなる。この表記を簡単にするため、以下の式（１４）で表す。
【００５７】
【数１４】
2018189580.tif 000016
【００５８】
例えば、世界座標系ΣＷから校正パターン座標系ΣＰｊへの外部パラメータは、ＰｊμＷとなる。つまり、世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係は、νｊとする。
【００５９】
最終的に、推定すべきパラメータηは、カメラＣのカメラモデルパラメータφと、校正パターンＰの外部パラメータνになる。全てのカメラＣｉ、全ての校正パターンＰｊにおいて考えた場合、パラメータηは、以下の式（１５）で表される。
【００６０】
【数１５】
2018189580.tif 000017
【００６１】
空間の基準となる世界座標系ΣＷは、任意に設定できる。本実施形態では、世界座標系ΣＷは、校正パターンＰｊの中から任意に１つの基準校正パターンを選択し、その校正パターンＰの校正パターン座標系ΣＰとしている。こうすることで、パラメータηのパラメータ数を、姿勢を表す３つ、位置を表す３つ、合計６つ減らすことができる。以後、世界座標系ΣＷを基準校正パターンの校正パターン座標系ΣＰに設定したこととする。
【００６２】
［カメラ校正のアルゴリズム］
以下、カメラ校正のアルゴリズムについて説明する。
カメラ校正装置１は、特徴点が既知の校正パターンを撮影した校正用データを用いてカメラ校正を行う。このカメラ校正装置１は、校正パターンを使うという点では強校正に分類されるが、従来技術のような強校正の制約が少ない。つまり、カメラ校正装置１は、使用前に校正パターンを用いて予め初期カメラモデルパラメータを推定することで、撮影現場での校正パターンの撮影回数を抑えつつ設置カメラモデルパラメータを算出できる。そして、カメラ校正装置１は、算出した設置カメラモデルパラメータとセンサ値からカメラパラメータを算出できる。なお、本番使用時、校正パターンＰは不要である。
【００６３】
＜校正用データ及び校正パターン・ズーム値テーブル＞
最初に校正用データ及び校正パターン・ズーム値テーブルについて説明し、次にカメラ校正のアルゴリズムについて説明する。
校正用データとは、カメラモデルパラメータの推定のために特徴点が既知の校正パターンＰを撮影した画像と、その撮影画像を撮影したときのカメラＣのセンサ値との組のことである。つまり、校正用データは、１つの撮影画像と１つのセンサ値との組で１つのデータを構成する。
【００６４】
本実施形態では、あるズーム値ｎにおいて、ある校正パターンＰが撮影画像の中で様々な位置となるように姿勢（パン・チルト）を変化させて複数回撮影する。この変化させた回数を姿勢数と呼ぶ。つまり、それぞれのカメラＣにおいて、撮影する校正パターンＰを変化させ、ズーム値ｎを変化させ、姿勢（パン・チルト）を変化させて撮影する。このとき、撮影画像と、センサで取得した撮影画像を撮影した瞬間のセンサ値（パン値、チルト値、ズーム値）とをセットにして記録する。
【００６５】
例えば、図６（ａ）に示すように、カメラＣは、ズームのワイド端で姿勢を変えながら、大きな校正パターンＰ１を撮影する。この例では、校正用データは、画角内で校正パターンＰ１の位置が異なる撮影画像と、その撮影画像を撮影したときのセンサ値との５組となる。
また、例えば、図６（ｂ）に示すように、ズームのテレ端で姿勢を変えながら、小さな校正パターンＰ２を撮影する。この例では、校正用データは、画角内で校正パターンＰ２の位置が異なる撮影画像と、その撮影画像を撮影したときのセンサ値との５組となる。
【００６６】
ここで、各カメラＣが校正パターンＰを適切に撮影することが好ましい。つまり、各カメラＣは、校正パターンＰの全体が撮影画像内に収まり、撮影画像から校正パターンＰの特徴点が抽出できるように撮影することが好ましい。もしそうでない場合、校正パターンＰの特徴点を正しく抽出できず、校正用データとして使用できない。
【００６７】
なお、図６では、センサ値(Ｐａｎ、Ｔｉｌｔ、Ｚｏｏｍ)の数値を省略している。また、図３に示すように、校正パターンＰ１が校正パターンＰ２よりサイズが大きいが、図６（ａ）では広角で撮影しているので校正パターンＰ１を小さく図示した一方、図６（ｂ）では望遠で撮影しているので、校正パターンＰ２を大きく図示した。
また、図６では、ワイド端、テレ端の校正用データのみを図示したが、ワイド端からテレ端までの間のズーム値ｎについての校正用データも用いることとする。また、図６では、ある１台のカメラＣについての校正用データのみを図示したが、各カメラＣに対応した校正用データを用いることとする。
【００６８】
以上のように、ズーム値ｎを変えながら異なる姿勢で様々なサイズの校正パターンＰｊを撮影した校正用データがカメラＣｉ毎に存在する。従って、これら校正用データを校正パターン・ズーム値テーブルｔｂｌとして表現することができる。図７に示すように、校正パターン・ズーム値テーブルｔｂｌは、横軸を校正パターンＰ１〜ＰＪ、縦軸をズーム値Ｎ１〜ＮＫとした校正用データのテーブルである。図７では、カメラＣ１〜Ｃ３それぞれの校正パターン・ズーム値テーブルｔｂｌ１〜ｔｂｌ３を図示した。
なお、校正パターン・ズーム値テーブルｔｂｌでは、校正用データがある箇所をドットで図示し、校正用データが無い箇所を白枠で図示した。
【００６９】
＜カメラ校正＞
以下、校正パターン・ズーム値テーブルを用いて、カメラモデルパラメータを推定する手法を考える。本実施形態において、精度よくカメラモデルパラメータを推定するためには、校正用データが多いほうが好ましい。つまり、校正パターンＰの数、ズーム値ｎのサンプル数及びカメラＣの姿勢数は、多くした方が好ましい。一方、撮影現場において、校正用データを大量に撮影することは時間・手間の両面で難しい。つまり、このカメラ校正において、「精度」と「時間・手間」は、トレードオフの関係となる。本実施形態では、これらを両立するため初期カメラ校正及び設置カメラ校正という２段階での校正を考える。
【００７０】
初期カメラ校正は、初期位置において、大量の校正用データを使い、カメラモデルパラメータに含まれる全パラメータを精度よく推定することを目的とする。つまり、初期カメラ校正は、精度をできるだけ高めるために、時間・手間を十分にかけて行う。この初期カメラ校正は、事前に行うので、時間・手間がかかっても問題はない。
【００７１】
一方、設置カメラ校正は、撮影位置（撮影現場）において、少ない校正用データを使い、カメラモデルパラメータに含まれる一部パラメータを推定することを目的とする。すなわち、カメラモデルパラメータのうち、初期位置から撮影現場にカメラを移設しても変化しないものは、初期カメラ校正の結果を用いる。設置カメラ校正では、推定すべきパラメータを必要最低限とし、精度がなるべく低下しないようにしつつ、時間・手間をなるべくかけないようにする。
まず、初期カメラ校正を中心に説明し、設置カメラ校正については初期カメラ校正と異なる点のみを説明する。
【００７２】
＜＜初期カメラ校正＞＞
一般的に、校正パターンＰを用いたカメラ校正は、線形計算による初期値推定と、初期値の非線形最適化（再投影誤差最小化）との２段階で行われる。ここで、特徴的なのは、初期値推定と非線形最適化を繰り返し行う点にある。最適化を行って解を真値に近い値に収束させるためには、真値に近い初期値（よい初期値）が必要となる。つまり、線形計算において、よい初期値を推定することが非常に重要になる。しかし、よい初期値を校正用データから算出することが難しい。特に、高倍率なズームレンズＣｂのテレ端側では、撮影している校正パターンＰに対して、カメラＣの姿勢を変えても、校正パターンＰの映り方が殆ど変化しない。このため、異なる姿勢で撮影しても視差が殆ど生まれないため、非特許文献１に記載の強校正を適用するのが難しい。そこで、カメラ校正装置１では、ある１つの校正パターンＰ、ある１つのズーム値ｎから段階的に校正パターンＰ、カメラＣ、ズーム値ｎを増やし、初期値推定と非線形最適化を繰り返し、最終的に全ての校正パターンＰ、カメラＣ、ズーム値ｎについてのカメラモデルパラメータを推定する。
【００７３】
カメラ校正装置１は、初期カメラ校正において、準備処理、基準推定処理、校正パターン拡張処理、カメラ拡張処理及びズーム拡張処理を行う（図９参照）。
まず、カメラ校正装置１は、準備処理として、撮影画像から校正パターンＰの特徴点抽出などを行う。次に、カメラ校正装置１は、基準推定処理として、予め設定した１つの基準校正パターンと、１つのズーム値ｎ（基準ズーム値）とで、カメラＣ毎にカメラモデルパラメータ（基準ズーム値でのズーム依存パラメータとズーム非依存パラメータ）を推定する。
【００７４】
以降、カメラ校正装置１は、校正パターン拡張処理、カメラ拡張処理、ズーム拡張処理を繰り返す。このとき、推定状況に応じて使用する校正用データを増やしつつ、カメラモデルパラメータと校正パターンＰの位置・姿勢の推定を進めていく。そして、全てのパラメータの推定が完了したら推定終了となる。
なお、校正パターンＰの位置・姿勢とは、世界座標系ΣＷと校正パターン座標系ΣＰとの位置・姿勢の関係のことである。
【００７５】
＜＜設置カメラ校正＞＞
以下、設置カメラ校正について、初期カメラ校正と異なる点のみを説明する。
設置カメラ校正は、ズーム拡張処理を行わない以外、初期カメラ校正と同様の処理となる（図１１）。
【００７６】
設置カメラ校正では、初期カメラ校正からカメラＣを移設した時に変化するパラメータのみを推定する。つまり、設置カメラ校正では、カメラＣを移設した後の世界座標系をΣＷ´とすると、各カメラＣで世界座標系ΣＷ´から雲台座標系ΣＣＰへのＣＰμＷ´のみを推定する。よって、設置カメラ校正で推定すべきパラメータφ´は、以下の式（１６）で表される。また、カメラＣｉのカメラモデルパラメータをφ´ｉと表記する。
【００７７】
【数１６】
2018189580.tif 000018
【００７８】
他のカメラモデルパラメータ（内部パラメータと外部パラメータＣμＰＴ）については、初期カメラ校正で求めたカメラモデルパラメータを使用する。従って、設置カメラ校正において推定すべきパラメータη´は、カメラＣの外部パラメータＣＰμＷ´と、校正パターンＰの位置・姿勢となる。全てのカメラＣｉ、全ての校正パターンＰｊにおいて考えた場合、パラメータη´は、以下の式（１７）で表される。
【００７９】
【数１７】
2018189580.tif 000019
【００８０】
ここで、設置カメラ校正では、時間・手間の削減のため、初期カメラ初期より校正用データを少なくすることが好ましい。初期カメラ校正では、推定精度のために大量の校正用データを使用している。このため、校正用データの撮影にかなりの時間・手間が必要となる。そこで、設置カメラ校正では、初期カメラ校正よりも校正パターンＰの数、ズーム値ｎのサンプル数、姿勢数を減らすとよい。ズーム値ｎは最低としてはある１つのズーム値ｎのみでよいが、ズームレンジ全体で幾つかのズーム設定を設けてもよい。
【００８１】
［カメラ校正装置の構成］
図１に戻り、カメラ校正装置１の構成について説明する。
図１に示すように、カメラ校正装置１は、校正用データ記憶手段１１と、カメラモデルパラメータ記憶手段１３と、設定値記憶手段１５と、初期カメラ校正手段（第１カメラ校正手段）２０と、設置カメラ校正手段（第２カメラ校正手段）３０と、カメラパラメータ算出手段４０とを備える。
【００８２】
校正用データ記憶手段１１は、前記した校正用データを記憶するＨＤＤ（Hard Disk Drive）、メモリ等の記憶装置である。本実施形態では、校正用データ記憶手段１１は、初期位置の校正用データ（第１校正用データ）と、その校正用データをテーブル化した初期校正パターン・ズーム値テーブルを記憶する。さらに、校正用データ記憶手段１１は、撮影位置の校正用データ（第２校正用データ）と、その校正用データをテーブル化した設置校正パターン・ズーム値テーブルを記憶する。
なお、初期校正パターン・ズーム値テーブル及び設置校正パターン・ズーム値テーブルの何れも、図７と同様のテーブル構造を有する。
【００８３】
カメラモデルパラメータ記憶手段１３は、初期カメラモデルパラメータと、設置カメラモデルパラメータとを記憶するＨＤＤ、メモリ等の記憶装置である。
【００８４】
設定値記憶手段１５は、校正パターンＰに関する設定値情報を予め記憶するＨＤＤ、メモリ等の記憶装置である。ここでは、設定値記憶手段１５には、カメラ校正装置１の利用者により、校正パターンＰのサイズ、特徴点数、校正パターンＰに含まれる各特徴点の位置等が設定値情報として予め設定（記憶）される。
【００８５】
＜初期カメラ校正手段＞
初期カメラ校正手段２０は、前記した初期カメラ校正を行うものであり、準備処理手段（第１準備処理手段）２１と、基準推定手段（第１基準推定手段）２２と、校正パターン拡張手段（第１校正パターン拡張手段）２３と、カメラ拡張手段（第１カメラ拡張手段）２４と、ズーム拡張手段（第１ズーム拡張手段）２５と、最適化手段（第１最適化手段）２６と、終了判定手段（第１終了判定手段）２７と、パラメータ補完手段（補間手段）２８とを備える。
【００８６】
準備処理手段２１は、第１校正用データを用いた強校正により、複数の校正パターンＰのうち予め設定した１つの基準校正パターン及び予め設定した基準ズーム値におけるカメラパラメータを算出するものである。つまり、準備処理手段２１は、校正用データ記憶手段１１の初期校正パターン・ズーム値テーブルを参照し、撮影画像からの特徴点抽出、及び、既存のカメラ校正（強校正）を行う。
【００８７】
ここで、準備処理手段２１は、校正用データの全ての撮影画像から校正パターンＰの特徴点を抽出する。もし、特徴点を抽出ができない撮影画像があった場合、以後、その撮影画像を参照しない。
既知の強校正としては、例えば、Ｚｈａｎｇの手法を利用できる（非特許文献１参照）。この強校正は、基準校正パターン及び基準ズーム値における全撮影画像と、カメラ拡張処理を実施する撮影画像とを対象として実施する。つまり、各カメラＣにおいて、対象となる校正パターンＰ及びズーム値ｎについてのカメラパラメータが求まる。このカメラパラメータは、以後の処理において、初期値として使用する。
【００８８】
基準ズーム値は、画角が広く、大きくパン・チルトしてカメラ姿勢を大きく変えられるので、ワイド側に設定する方が好ましい。これにより、ワイド側で大きな視差が発生するので、精度の高いカメラパラメータが算出できる可能性が高くなる。
【００８９】
その後、準備処理手段２１は、算出したカメラパラメータを基準推定手段２２に出力する。本実施形態では、準備処理手段２１は、繰り返し処理を行わないこととするが、後記する終了判定手段２７から処理終了指令が入力された場合に処理を終了する。
なお、このカメラパラメータとは、一般的なカメラパラメータ（内部パラメータ及び外部パラメータ）のことであり、式（１３）のカメラモデルパラメータとは区別される。
【００９０】
基準推定手段２２は、準備処理手段２１から入力されたカメラパラメータを用いて、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを剛体変換行列により算出するものである。つまり、基準推定手段２２は、準備処理手段２１の処理結果を用いて、初期校正パターン・ズーム値テーブルの基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを推定する。
【００９１】
準備処理手段２１により、基準ズーム値における全てのカメラＣの内部パラメータと、複数の姿勢における外部パラメータ（世界座標系ΣＷからカメラ座標系ΣＣへの外部パラメータＣμＷ）が既知となっている。従って、基準推定手段２２は、剛体変換行列を解く手法を適用することで、外部パラメータＣμＷを、世界座標系ΣＷから雲台座標系ΣＣＰへの外部パラメータＣＰμＷと、パン・チルト座標系ΣＰＴからカメラ座標系ΣＣへの外部パラメータＣμＰＴとに分解する。
【００９２】
例えば、剛体変換行列を解く手法としては、以下の参考文献１に記載のＡＸ＝ＹＢを解く手法をあげることができる。図８に示すように、世界座標系ΣＷからカメラ座標系ΣＣへの外部パラメータＣμＷを既知の行列Ａ、雲台座標系ΣＣＰからパン・チルト座標系ΣＰＴへの外部パラメータＰＴμＣＰを既知の行列Ｂとする。また、世界座標系ΣＷから雲台座標系ΣＣＰへの外部パラメータＣＰμＷを未知の行列Ｘ−１、パン・チルト座標系ΣＰＴからカメラ座標系ΣＣへの外部パラメータＣμＰＴを未知の行列Ｙとする。ここで、行列Ａ，Ｂ，Ｘ，Ｙの何れも剛体変換行列であることとする。そして、参考文献１に記載の手法によれば、ＡＸ＝ＹＢをＡ＝ＹＢＸ−１と変形できるので、行列Ａ，Ｂが複数ペア存在すれば、行列Ｘ，Ｙを求めることができる。
【００９３】
参考文献１：Hanqi Zhuang, et al. “Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB”, IEEE Transactions on Robotics and Automation, Vol.10, No.4, 1994, p.549 - 554
【００９４】
以上のように、基準推定手段２２は、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータの初期値を推定する。そして、基準推定手段２２は、この初期値を後記する最適化手段２６に出力することで、最適化手段２６でパラメータ調整（非線形最適化）を行う。その後、基準推定手段２２は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、校正パターン拡張手段２３に出力する。
本実施形態では、基準推定手段２２は、繰り返し処理を行わないこととするが、終了判定手段２７から処理終了指令が入力された場合に処理を終了する。
【００９５】
校正パターン拡張手段２３は、基準推定手段２２から入力された初期カメラモデルパラメータ及び校正用データを用いて、基準校正パターンと異なる対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出するものである。
【００９６】
つまり、校正パターン拡張手段２３は、初期校正パターン・ズーム値テーブルで位置・姿勢が未知の校正パターンＰにおいて、校正パターンＰの位置・姿勢を推定する。このとき、校正パターン拡張手段２３は、対象校正パターンで全ての特徴点の３次元位置を算出し、基準校正パターンと対象校正パターンとで特徴点の３次元位置を比較し、対象校正パターンの位置・姿勢を求める。この対象校正パターンの位置・姿勢は、世界座標系ΣＷが基準校正パターンの校正パターン座標系ΣＰに設定されていることから、世界座標系ΣＷと対象校正パターンの校正パターン座標系ΣＰとの位置・姿勢の関係を表すことになる。
【００９７】
具体的には、校正パターン拡張手段２３は、既知の初期カメラモデルパラメータと対象校正パターンを撮影した撮影画像の特徴点の画像座標とを用いて、世界座標系ΣＷでの特徴点の３次元位置を算出する。基準推定処理は完了しているため、最低でも１つのズーム値ｎでのズーム非依存パラメータとズーム依存パラメータは既知である。従って、前記した式（７）の透視投影行列Ｐを算出できる。また、対象校正パターンの画像座標も既知だが、この画像座標にはレンズ歪が加わっている。そこで、内部パラメータを用いて、レンズ歪を除去した画像座標ｕを算出する。未知のスケール係数ｓと３次元位置Ｘを用いると、前記した式（８）となる。この式（８）を初期カメラモデルパラメータが既知となっている全てのカメラＣ、ズーム値ｎ、姿勢について適用すると、以下の式（１８）で表される。なお、Ｄｊは、式が成立する数を表し、以下の式（１９）で表される。
【００９８】
【数１８】
2018189580.tif 000020
【００９９】
【数１９】
2018189580.tif 000021
【０１００】
この式（１８）は、特異値分解により解くことができ、３次元位置Ｘを算出できる。この計算を対象校正パターンの全ての特徴点において行うことで、対象校正パターンの全ての特徴点の３次元位置が既知となる。
【０１０１】
次に、校正パターン拡張手段２３は、算出した対象校正パターンと基準校正パターンとの特徴点群に参考文献２に記載の外部パラメータ推定手法を適用することで、外部パラメータを算出できる。そして、校正パターン拡張手段２３は、以上の処理を未知の対象校正パターンについて、繰り返していく。
【０１０２】
参考文献２に記載の手法は、対応が既知の点集合から位置及び姿勢の推定を行うものである。
参考文献２：玉木徹. “姿勢推定と回転行列”, 電子情報通信学会技術研究報告. SIP, 信号処理 109.202 (2009): p.59-64
【０１０３】
なお、撮影画像に含まれる校正パターンＰのサイズや特徴点の数が異なる場合、正確な外部パラメータを算出できない。このため、校正パターン拡張手段２３は、設定値記憶手段１５の設定値情報を参照し、校正パターンＰが同一サイズ、同一特徴点数となるように正規化することが好ましい。
【０１０４】
以上のように、校正パターン拡張手段２３は、終了判定手段２７から処理繰返指令が入力された場合、対象校正パターンについての位置及び姿勢を推定する。そして、校正パターン拡張手段２３は、この初期値を後記する最適化手段２６に出力することで、最適化手段２６でパラメータ調整（非線形最適化）を行う。その後、校正パターン拡張手段２３は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、カメラ拡張手段２４に出力する。
また、校正パターン拡張手段２３は、終了判定手段２７から処理終了指令が入力された場合、繰り返し処理を終了する。
【０１０５】
カメラ拡張手段２４は、校正パターン拡張手段２３から入力された初期カメラモデルパラメータと校正パターン拡張手段２３が推定した校正パターンＰについての位置及び姿勢を用いて、基準校正パターンを撮影できなかったカメラＣについての初期カメラモデルパラメータを剛体変換行列により算出するものである。
【０１０６】
つまり、カメラ拡張手段２４は、基準校正パターンを撮影できていないカメラＣを初期カメラモデルパラメータに加える処理を行う。カメラＣの配置や基準校正パターンの選択によっては、基準校正パターンを撮影できないカメラＣが存在する。その場合、基準推定では、初期カメラモデルパラメータが推定できていない。従って、カメラ拡張手段２４は、校正パターン拡張及びズーム拡張の処理結果と、初期校正パターン・ズーム値テーブルとから、カメラＣが加えられる状況かを判定し、加えられる状況になったらカメラＣを追加する。このカメラＣが加えられる状況とは、対象となるカメラＣが、位置・姿勢が既知の校正パターンＰを何れかのズーム値ｎで撮影している場合である。他の点、カメラ拡張手段２４は、基準推定手段２２と同様のため、これ以上の説明を省略する。
【０１０７】
ズーム拡張手段２５は、カメラ拡張手段２４から入力された初期カメラモデルパラメータ、校正パターンＰについての位置・姿勢、及び、初期校正パターン・ズーム値テーブルを用いて、基準ズーム値と異なる対象ズーム値における初期カメラモデルパラメータを投影行列により算出するものである。
【０１０８】
つまり、ズーム拡張手段２５は、基準推定処理又はカメラ拡張処理により、何れかのズーム値ｎにおける初期カメラモデルパラメータが推定できているカメラＣを対象として、未推定のズーム依存パラメータの推定を行う。あるズーム値ｎにおいて、ズーム依存パラメータは、［ｆ，ａ，ｃｕ，ｃｖ，κ１，κ２，κ３，κ４，ｔＣｚ］Ｔである。レンズ歪を除くと、ズーム依存パラメータは、［ｆ，ａ，ｃｕ，ｃｖ，ｔＣｚ］である。そこで、線形解法により、レンズ歪を除いたズーム依存パラメータを算出する。式（７）及び式（８）により、世界座標系ΣＷの３次元位置Ｘへの投影式は、式（２０）及び式（２１）で表される。
【０１０９】
【数２０】
2018189580.tif 000022
【０１１０】
【数２１】
2018189580.tif 000023
【０１１１】
この式（２０）で外部パラメータのみを求めるものを、以下の式（２２）とする。そして、式（２２）に３次元位置Ｘ＝［Ｘ，Ｙ，Ｚ，１］を乗算し、以下の式（２３）のようにα，β，γを定義する。
【０１１２】
【数２２】
2018189580.tif 000024
【０１１３】
【数２３】
2018189580.tif 000025
【０１１４】
この式（２３）を、カメラＣｉ、ズーム設定番号ｋにおいて、全ての既知の校正パターンＰの特徴点とそれを撮影している全ての姿勢数について考えると、以下の式（２４）となる。つまり、ズーム拡張手段２５は、投影行列として、式（２４）を用いる。ここで、Ｅｉｋ，Ｆｉｋは、以下の式（２５）及び式（２６）で定義される。
【０１１５】
【数２４】
2018189580.tif 000026
【０１１６】
【数２５】
2018189580.tif 000027
【０１１７】
【数２６】
2018189580.tif 000028
【０１１８】
式（２４）では、右辺が既知であるが、左辺の行列内のｃｕ，ｃｖが未知である。そこで、このｃｕ，ｃｖには、撮影画像の中心位置を手動で設定しておき、その値を代入する。これにより、式（２４）の左辺の行列も既知として扱うことができるので、［ｆ，ａｆ，ｃｕ，ｃｖ，ｔＣｚ］Ｔが求められる。つまり、レンズ歪を除いたズーム依存パラメータが推定された。このズーム依存パラメータを初期値として、非線形最適化によりレンズ歪を含めたズーム依存パラメータを推定する。
【０１１９】
以上のように、ズーム拡張手段２５は、終了判定手段２７から処理繰返指令が入力された場合、レンズ歪を除いたズーム依存パラメータを推定する。そして、ズーム拡張手段２５は、この初期値を後記する最適化手段２６に出力することで、非線形最適化によりレンズ歪を含めたズーム依存パラメータを推定する。その後、ズーム拡張手段２５は、最適化手段２６で非線形最適化された初期カメラモデルパラメータを、カメラモデルパラメータ記憶手段１３に書き込む。
また、ズーム拡張手段２５は、終了判定手段２７から処理終了指令が入力された場合、繰り返し処理を終了する。
【０１２０】
最適化手段２６は、基準推定手段２２、カメラ拡張手段２４及びズーム拡張手段２５のそれぞれが算出した初期カメラモデルパラメータと校正パターン拡張手段２３が算出した校正パターンＰについての位置及び姿勢を非線形最適化するものである。
【０１２１】
具体的には、最適化手段２６は、非線形最適化として、撮影画像から抽出された特徴点群の観測画像座標と、式（１５）のパラメータで推定される特徴点群の予測画像座標との誤差を最小化する再投影誤差最小化を行う。非線形最適化に必要な初期値として、基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４及びズーム拡張手段２５が算出した初期カメラモデルパラメータを用いる。
【０１２２】
ここで、最適化手段２６は、カメラ拡張手段２４及びズーム拡張手段２５のそれぞれが算出した初期カメラモデルパラメータと校正パターン拡張手段２３が算出した校正パターンＰについての位置及び姿勢については、その全てを設計変数として、以下の式（２７）で表される最適化を行う。
【０１２３】
【数２７】
2018189580.tif 000029
【０１２４】
この式（２７）では、ｕｉｊｋｌｍは、カメラＣｉ、校正パターンＰｊ、ズーム設定番号ｋｉ及び姿勢番号ｌｉｊｋについての特徴点の観測画像座標を表す。また、ｕ＾ｉｊｋｌｍは、カメラＣｉ、校正パターンＰｊ、ズーム設定番号ｋｉ及び姿勢番号ｌｉｊｋについての特徴点の予測画像座標を表す。
【０１２５】
また、最適化手段２６は、基準推定手段２２が算出した初期カメラモデルパラメータについては、１台のカメラＣｉ、基準校正パターンＰｊ、基準ズーム値のズーム設定番号ｋを設計変数として、以下の式（２８）で表される最適化を行う。
【０１２６】
【数２８】
2018189580.tif 000030
【０１２７】
その後、最適化手段２６は、最適化した初期カメラモデルパラメータと校正パターンＰについての位置及び姿勢とを、その入力元となる基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４又はズーム拡張手段２５に出力する。
【０１２８】
さらに、最適化手段２６は、終了判定手段２７が処理終了を指令した場合、再度、ズーム拡張手段２５から入力された初期カメラモデルパラメータと校正パターンＰについての位置及び姿勢とを非線形最適化してもよい。この場合、最適化手段２６は、式（２７）を用いて、初期カメラモデルパラメータを非線形最適化することとする。
【０１２９】
終了判定手段２７は、初期カメラ校正終了条件（第１終了条件）を満たしているか否かを判定し、初期カメラ校正終了条件を満たしていない場合、校正パターン拡張手段２３、カメラ拡張手段２４及びズーム拡張手段２５に繰り返し処理を指令するものである（処理繰返指令）。例えば、この初期カメラ校正終了条件は、全ての初期カメラモデルパラメータの推定を完了したという条件で予め設定できる。
【０１３０】
一方、終了判定手段２７は、初期カメラ校正終了条件を満たした場合、準備処理手段２１、基準推定手段２２、校正パターン拡張手段２３、カメラ拡張手段２４、ズーム拡張手段２５及びパラメータ補完手段２８に処理終了を指令する（処理終了指令）。
【０１３１】
パラメータ補完手段２８は、基準ズーム値及び対象ズーム値以外のズーム値ｎにおける初期カメラモデルパラメータを補完するものである。前記したように、ズーム依存パラメータは、基準ズーム値及び対象ズーム値についてのみ離散的に推定され、他のズーム値ｎでは推定されていない。そこで、パラメータ補完手段２８は、終了判定手段２７から処理終了指令が入力された場合、これら未推定のズーム依存パラメータを補完（例えば、内挿）する。
【０１３２】
その後、パラメータ補完手段２８は、補完した初期カメラモデルパラメータをカメラモデルパラメータ記憶手段１３に書き込む。この初期カメラモデルパラメータは、設置カメラ校正手段３０により参照される。
【０１３３】
＜設置カメラ校正手段＞
設置カメラ校正手段３０は、前記した設置カメラ校正を行うものであり、準備処理手段（第２準備処理手段）３１と、基準推定手段（第２基準推定手段）３２と、校正パターン拡張手段（第２校正パターン拡張手段）３３と、カメラ拡張手段（第２カメラ拡張手段）３４と、最適化手段（第２最適化手段）３５と、終了判定手段（第２終了判定手段）３６とを備える。
【０１３４】
準備処理手段３１は、校正用データ記憶手段１１の設置校正パターン・ズーム値テーブル（第２校正用データ）を用いた強校正により、撮影位置でのカメラパラメータを算出するものである。
この準備処理手段３１は、準備処理手段２１と同様の処理を行うため、説明を省略する。
【０１３５】
基準推定手段３２は、準備処理手段３１から入力されたカメラパラメータを用いて、設置カメラモデルパラメータとして、撮影位置にカメラＣを移設したときの姿勢変化を表す外部パラメータを剛体変換行列により算出するものである。
【０１３６】
つまり、基準推定手段３２は、準備処理の結果を用いて、設置校正パターン・ズーム値テーブルの基準校正パターン及び基準ズーム値における設置カメラモデルパラメータを推定する。ここでは、初期カメラ校正と異なり、推定するのは、外部パラメータＣＰμＷ´のみである。
【０１３７】
準備処理手段３１により、基準ズーム値での複数の姿勢における外部パラメータ（世界座標系ΣＷ´からカメラ座標系ΣＣへの外部パラメータ）ＣμＷ´が既知である。任意のある１つの姿勢に初期カメラ校正の結果である外部パラメータＣμＰＴと、パン・チルト角から算出した外部パラメータＰＴμＣＰとを用いて、外部パラメータＣＰμＷ´を逆算できる。以上より、基準ズーム値における設置カメラモデルパラメータの初期値が推定できる。
【０１３８】
その後、基準推定手段３２は、初期カメラ校正と同様、この初期値を後記する最適化手段３５に出力することで、最適化手段３５でパラメータ調整（非線形最適化）を行う。
本実施形態では、基準推定手段３２は、繰り返し処理を行わないこととするが、終了判定手段３６から処理終了指令が入力された場合に処理を終了する。
【０１３９】
校正パターン拡張手段３３は、基準推定手段３２から入力された設置カメラモデルパラメータ及び校正用データを用いて、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出するものである。
この校正パターン拡張手段３３は、校正パターン拡張手段２３と同様の処理を行うため、説明を省略する。
【０１４０】
カメラ拡張手段３４は、校正パターン拡張手段３３から入力された設置カメラモデルパラメータを用いて、基準校正パターンを撮影できなかったカメラＣについての設置カメラモデルパラメータを剛体変換行列により算出するものである。
【０１４１】
ここでは、初期カメラ校正と異なり、推定するのは、外部パラメータＣＰμＷ´のみをパラメータとして推定する。他の点、カメラ拡張手段３４は、カメラ拡張手段２４と同様と同様の処理を行うため、これ以上の説明を省略する。
【０１４２】
最適化手段３５は、基準推定手段３２及びカメラ拡張手段３４のそれぞれが算出した設置カメラモデルパラメータと校正パターン拡張手段３３が算出した校正パターンＰについての位置及び姿勢を非線形最適化するものである。
ここで、最適化手段３５は、設計変数がパラメータηではなくパラメータη´となる点（つまり、式（２７）及び式（２８）のηがパラメータη´となる点）以外、最適化手段２６と同様と同様の処理を行うため、これ以上の説明を省略する。
【０１４３】
終了判定手段３６は、設置カメラ校正終了条件（第２終了条件）を満たしているか否かを判定し、設置カメラ校正終了条件を満たしていない場合、校正パターン拡張手段３３及びカメラ拡張手段３４に繰り返し処理を指令するものである（処理繰返指令）。例えば、この設置カメラ校正終了条件は、全ての設置カメラモデルパラメータの推定を終了したという条件で予め設定できる。
【０１４４】
一方、終了判定手段３６は、設置カメラ校正終了条件を満たした場合、準備処理手段３１、基準推定手段３２、校正パターン拡張手段３３及びカメラ拡張手段３４に処理終了を指令する（処理終了指令）。
【０１４５】
カメラパラメータ算出手段４０は、カメラモデルパラメータ記憶手段１３の設置カメラモデルパラメータと、本番撮影中のカメラＣからのセンサ値とから、本番撮影中のカメラパラメータを算出するものである。つまり、カメラパラメータ算出手段４０は、設置カメラモデルパラメータを、一般的なカメラパラメータに変換する。なお、カメラパラメータ算出手段４０は、後記するように設置カメラモデルパラメータの代わりに、初期カメラモデルパラメータを利用することもできる。
【０１４６】
カメラパラメータを算出するときのセンサ値をパン値ｐ、チルト値ｔ、ズーム値ｎとする。最終的に求めたいカメラパラメータは、内部パラメータκ（ｎ）と、世界座標系ΣＷからカメラ座標系ΣＣへの外部パラメータＣμＷ（ｐ，ｔ，ｎ）とである。つまり、内部パラメータκ（ｎ）は、ズーム値ｎを変数として持つ。また、外部パラメータＣμＷ（ｐ，ｔ，ｎ）は、パン値ｐ、チルト値ｔ及びズーム値ｎを変数として持つ。
【０１４７】
ここで、設置カメラモデルパラメータの推定が完了しており、設置カメラモデルパラメータがカメラモデルパラメータ記憶手段１３に記憶されている。従って、カメラパラメータ算出手段４０は、設置カメラモデルパラメータのズーム依存パラメータから、式（１）で定義されるズーム値ｎの内部パラメータκ（ｎ）を取得する
【０１４８】
また、カメラパラメータ算出手段４０は、剛体変換行列ＣＭＷ（ｐ，ｔ，ｎ）を以下の式（２９）により算出する。ここで、剛体変換行列ＣＰＭＷ，ＣＭＰＴ（ｎ）は、設置カメラモデルパラメータの推定が完了したときに既知となっている。また、剛体変換行列ＰＴＭＣＰ（ｐ，ｔ）は、パン値ｐ及びチルト値ｔから算出できる。その後、カメラパラメータ算出手段４０は、剛体変換行列ＣＭＷ（ｐ，ｔ，ｎ）を外部パラメータＣμＷ（ｐ，ｔ，ｎ）に変換する。
【０１４９】
【数２９】
2018189580.tif 000031
【０１５０】
［カメラ校正装置の動作：初期カメラ校正］
図９を参照し、カメラ校正装置１が初期カメラ校正を行うときの動作を説明する。
図９に示すように、準備処理手段２１は、初期校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する（ステップＳ１）。
【０１５１】
基準推定手段２２は、ステップＳ１で算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における初期カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段２６は、式（２８）を用いて、基準推定手段２２が算出した初期カメラモデルパラメータを初期値として、非線形最適化を行う（ステップＳ２）。
【０１５２】
終了判定手段２７は、全ての初期カメラモデルパラメータの推定を完了したか否かを判定する（ステップＳ３）。
全ての初期カメラモデルパラメータの推定を完了していない場合（ステップＳ３でＮｏ）、カメラ校正装置１は、ステップＳ４の処理に進む。
全ての初期カメラモデルパラメータの推定を完了した場合（ステップＳ３でＹｅｓ）、カメラ校正装置１は、ステップＳ７の処理に進む。
【０１５３】
校正パターン拡張手段２３は、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する。そして、最適化手段２６は、式（２７）を用いて、校正パターン拡張手段２３が算出した対象校正パターンの位置及び姿勢と初期カメラモデルパラメータが含まれる式（１５）のパラメータを初期値として、非線形最適化を行う（ステップＳ４）。
【０１５４】
カメラ拡張手段２４は、基準校正パターンを撮影できなかったカメラＣについての初期カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段２６は、式（２７）を用いて、カメラ拡張手段２４が算出した初期カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれる式（１５）のパラメータを初期値として、非線形最適化を行う（ステップＳ５）。
【０１５５】
ズーム拡張手段２５は、基準ズーム値と異なる対象ズーム値における初期カメラモデルパラメータを投影行列により算出する。そして、最適化手段２６は、式（２７）を用いて、ズーム拡張手段２５が算出した初期カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれる式（１５）のパラメータを初期値として、非線形最適化を行い、ステップＳ３の処理に戻る（ステップＳ６）。
【０１５６】
最適化手段２６は、ステップＳ６と同様の手順で再度、パラメータの非線形最適化を行う（ステップＳ７）。
パラメータ補完手段２８は、ステップＳ７で最適化したパラメータを補完する（ステップＳ８）。
【０１５７】
＜初期校正パターン・ズーム値テーブルの使用例＞
図１０を参照し、初期校正パターン・ズーム値テーブルの使用について説明する。
図１０には、初期カメラ校正での初期校正パターン・ズーム値テーブルｔｂｌの一例を図示した。図１０では、校正パターン・ズーム値テーブルｔｂｌが、校正パターンＰ１〜Ｐ５の５個、ズーム値Ｎ１〜Ｎ５の５サンプルとなっている。また、基準校正パターンをＰ１とし、基準ズーム値をＮ１とする。また、校正パターン・ズーム値テーブルｔｂｌでは、ドットの箇所に校正用データが存在し（撮影できた姿勢数が１以上）、白塗の箇所に校正用データが存在しない（撮影できた姿勢数が０）を表す。
【０１５８】
この具体例では、カメラ拡張処理を考えず、校正パターン拡張処理とズーム拡張処理のみを考えるこことする。
図１０（ａ）では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図１０（ｂ）では、基準推定処理が行われる。基準校正パターンＰ１及び基準ズーム値Ｎ１で撮影した校正用データを用いて、基準ズーム値Ｎ１のカメラモデルパラメータ（ズーム非依存パラメータ及び基準ズーム値Ｎ１のズーム依存パラメータ）を推定する。なお、基準推定処理で用いた校正用データを黒塗で図示した。
【０１５９】
図１０（ｃ）では、１回目の校正パターン拡張処理が行われる。図１０（ｂ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ２，Ｐ３の外部パラメータを推定する。
図１０（ｄ）では、１回目のズーム拡張処理が行われる。図１０（ｃ）までに推定済みのパラメータと、太枠で図示した５つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ２，Ｎ３のズーム依存パラメータを推定する。
【０１６０】
なお、図１０（ｄ）のズーム拡張処理でズーム値Ｎ４のズーム依存パラメータを求めるか又は求めないか、任意に設定できる。１つの校正パターンＰ３の校正用データだけでズーム値Ｎ４のズーム非依存パラメータを推定した場合、精度が低くなることがある。このため、校正パターンの数がある一定以上の場合のみズーム拡張処理を行うことが好ましい。ここでは、校正用データが２つ以上のときにズーム拡張処理を行うこととした。
【０１６１】
図１０（ｅ）では、２回目の校正パターン拡張処理が行われる。図１０（ｄ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ４の外部パラメータを推定する。
図１０（ｆ）では、２回目のズーム拡張処理が行われる。図１０（ｅ）までに推定済みのパラメータと、太枠で図示した２つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ４のズーム依存パラメータを推定する。
【０１６２】
図１０（ｇ）では、３回目の校正パターン拡張処理が行われる。図１０（ｆ）までに推定済みのパラメータと、太枠で図示した１つの校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ５の外部パラメータを推定する。
図１０（ｈ）では、３回目のズーム拡張処理が行われる。図１０（ｇ）までに推定済みのパラメータと、太枠で図示した１つの校正用データ（左上方向のハッチングで図示）を用いて、ズーム値Ｎ５のズーム依存パラメータを推定する。
なお、１回目のズーム拡張処理と異なり、これ以上処理を繰り返しても推定済みのパラメータが増えないため、１つの校正用データだけでもズーム拡張処理が行われる。なお、非線形最適化を行う際、それまでに追加した全ての校正用データを使用する。
以上のようにして、全ての校正パターンＰ１〜Ｐ５及びズーム値Ｎ１〜Ｎ５でカメラモデルパラメータが推定される。
【０１６３】
［カメラ校正装置の動作：設置カメラ校正］
図１１を参照し、カメラ校正装置１が設置カメラ校正を行うときの動作を説明する。
図１１に示すように、準備処理手段３１は、設置校正パターン・ズーム値テーブルを用いた強校正により、基準校正パターン及び基準ズーム値におけるカメラパラメータを算出する（ステップＳ１０）。
【０１６４】
基準推定手段３２は、ステップＳ１０で算出したカメラパラメータを用いて、基準校正パターン及び基準ズーム値における設置カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段３５は、式（２８）を用いて、基準推定手段３２が算出した設置カメラモデルパラメータを初期値として、非線形最適化を行う（ステップＳ１１）。
【０１６５】
終了判定手段３６は、全ての設置カメラモデルパラメータの推定を完了したか否かを判定する（ステップＳ１２）。
全ての設置カメラモデルパラメータの推定を完了していない場合（ステップＳ１２でＮｏ）、カメラ校正装置１は、ステップＳ１３の処理に進む。
全ての設置カメラモデルパラメータの推定を完了した場合（ステップＳ１２でＹｅｓ）、カメラ校正装置１は、ステップＳ１５の処理に進む。
【０１６６】
校正パターン拡張手段３３は、対象校正パターンの特徴点群の位置を算出し、基準校正パターンと対象校正パターンとの特徴点群の位置関係から対象校正パターンについての位置及び姿勢を算出する。そして、最適化手段３５は、式（２７）を用いて、校正パターン拡張手段３３が算出した対象校正パターンの位置及び姿勢と設置カメラモデルパラメータが含まれるパラメータを初期値として、非線形最適化を行う（ステップＳ１３）。
【０１６７】
カメラ拡張手段３４は、基準校正パターンを撮影できなかったカメラＣについての設置カメラモデルパラメータを剛体変換行列により算出する。そして、最適化手段３５は、式（２７）を用いて、カメラ拡張手段３４が算出した設置カメラモデルパラメータと校正パターンＰの位置及び姿勢が含まれるパラメータを初期値として、非線形最適化を行う（ステップＳ１４）。
【０１６８】
最適化手段３５は、ステップＳ１４と同様の手順で再度、パラメータの非線形最適化を行う（ステップＳ１５）。
【０１６９】
＜設置校正パターン・ズーム値テーブルの使用例＞
図１２を参照し、設置校正パターン・ズーム値テーブルの使用例について説明する。
図１２の例では、校正パターン・ズーム値テーブルが初期カメラ校正と同一であることとして説明するが、必ずしも同一である必要はない。また、前記したように、設置カメラ校正では、ズーム依存パラメータが既知のため、ズーム拡張処理が必要ない。
【０１７０】
この具体例では、カメラ拡張処理を考えず、校正パターン拡張処理のみを考える。
図１２（ａ）では、校正用データが初期状態であり、まだ校正用データが使用されていない。
図１２（ｂ）では、基準推定処理が行われる。基準校正パターンＰ１及び基準ズーム値Ｎ１で撮影した校正用データと、初期カメラ校正の結果とを用いて、外部パラメータＣＰμＷ´のみを推定する。
【０１７１】
なお、基準推定処理で用いた校正用データを黒塗で図示した。また、設置カメラ校正ではズーム拡張が不要なため、初期値を推定できれば非線形最適化において、他のズーム値ｎの校正用データも使用できる。この校正用データを左上方向のハッチングで図示した。
【０１７２】
図１２（ｃ）では、１回目の校正パターン拡張が行われる。図１２（ｂ）までに推定済みのパラメータと、太枠で図示した５つ校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ２〜Ｐ４の位置及び姿勢を推定する。このとき、非線形最適化において、クロスのハッチングで図示した５つの校正用データも用いる。
【０１７３】
図１２（ｄ）では、２回目の校正パターン拡張が行われる。図１２（ｃ）までに推定済みのパラメータと、太枠で図示した２つ校正用データ（右上方向のハッチングで図示）を用いて、校正パターンＰ５の位置及び姿勢を推定する。このとき、非線形最適化において、クロスのハッチングで図示した１つの校正用データも用いる。
以上のようにして、全ての校正パターンＰ１〜Ｐ５の位置及び姿勢及び外部パラメータＣＰμＷ´が推定される。
【０１７４】
［作用・効果］
以上のように、カメラ校正装置１は、初期カメラモデルパラメータを予め算出しておくので、本番撮影時、初期位置から撮影位置にカメラを移設したときの姿勢変化を表す外部パラメータのみを算出するだけなので、短時間かつ簡便なカメラ校正が可能となる。
さらに、カメラ校正装置１は、初期カメラ校正及び設置カメラ校正で非線形最適化を繰り返すことで、高精度なカメラモデルパラメータを求めることができる。このカメラモデルパラメータを用いることで、高精度なカメラ校正が可能となる。
さらに、カメラ校正装置１は、初期カメラ校正を予め行った後、撮影位置で設置カメラ校正を行うので、撮影スタジオで校正パターンを撮影する回数が減少し、準備時間を短縮することができる。
【０１７５】
（変形例）
以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、カメラ校正装置がカメラ拡張手段を備えることとして説明したが、カメラ拡張手段を備えずともよい。
前記した実施形態では、カメラ校正装置がパラメータ補完手段を備えることとして説明したが、パラメータ補完手段を備えずともよい。
前記した実施形態では、最適化手段が再度非線形最適化を行うこととして説明したが、これを行わずともよい。
【０１７６】
前記した実施形態では、カメラパラメータ算出手段が設置カメラモデルパラメータからカメラパラメータを算出することとして説明したが、初期カメラモデルパラメータからカメラパラメータを算出してもよい。これにより、撮影時間に余裕がある場合、撮影現場で初期カメラ校正を実施し、そのカメラパラメータを利用することもできる。
【０１７７】
前記した実施形態では、カメラ校正装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記したカメラ校正装置として協調動作させるカメラ校正装置プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【符号の説明】
【０１７８】
１  カメラ校正装置
１１  校正用データ記憶手段
１３  カメラモデルパラメータ記憶手段
１５  設定値記憶手段
２０  初期カメラ校正手段（第１カメラ校正手段）
２１  準備処理手段（第１準備処理手段）
２２  基準推定手段（第１基準推定手段）
２３  校正パターン拡張手段（第１校正パターン拡張手段）
２４  カメラ拡張手段（第１カメラ拡張手段）
２５  ズーム拡張手段（第１ズーム拡張手段）
２６  最適化手段（第１最適化手段）
２７  終了判定手段（第１終了判定手段）
２８  パラメータ補完手段（補間手段）
３０  設置カメラ校正手段（第２カメラ校正手段）
３１  準備処理手段（第２準備処理手段）
３３  基準推定手段（第２基準推定手段）
３３  校正パターン拡張手段（第２校正パターン拡張手段）
３４  カメラ拡張手段（第２カメラ拡張手段）
３５  最適化手段（第２最適化手段）
３６  終了判定手段（第２終了判定手段）
４０  カメラパラメータ算出手段
【図１】
2018189580.tif 000032
【図２】
2018189580.tif 000033
【図３】
2018189580.tif 000034
【図４】
2018189580.tif 000035
【図５】
2018189580.tif 000036
【図６】
2018189580.tif 000037
【図７】
2018189580.tif 000038
【図８】
2018189580.tif 000039
【図９】
2018189580.tif 000040
【図１０】
2018189580.tif 000041
【図１１】
2018189580.tif 000042
【図１２】
2018189580.tif 000043