(57)【要約】【課題】カメラの状態に合った未知の内部パラメータと外部パラメータを推定できる。【解決手段】カメラパラメータ推定装置は、画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択し、選択された１つの内部パラメータを初期値として焦点距離の情報に関する内部パラメータのみを更新し、更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する。また、内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによるカメラパラメータの推定が完了したか否かを外部パラメータの推定に関する評価指標が収束したと判定したときに、所定の推定完了条件に基づいて、カメラパラメータの推定が完了したか否かを判定する。【選択図】図１
2014175782.tif 000002
【特許請求の範囲】
【請求項１】
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、
前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新する内部パラメータ更新手段と、
前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、
前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【請求項２】
前記内部パラメータ選択手段は、焦点距離の情報が得られないときには、複数の内部パラメータを記憶する内部パラメータ記憶手段に記憶される内部パラメータのうち最も焦点距離が小さい内部パラメータを選択し、焦点距離の情報が得られるときには、当該得られた焦点距離の情報に近く、且つ、当該得られた焦点距離の情報より焦点距離が小さい内部パラメータを前記内部パラメータ記憶手段のうちから選択することを特徴とする請求項１に記載のカメラパラメータ推定装置。
【請求項３】
前記内部パラメータ更新手段は、前記初期値として選択された内部パラメータの焦点距離の情報における縦方向と横方向とのアスペクト比を一定に保ちつつ、内部パラメータを更新することを特徴とする請求項１又は２に記載のカメラパラメータ推定装置。
【請求項４】
前記所定の推定完了条件は、前記繰り返しによる推定の推定回数が所定の回数となること、又は、繰り返し時に前記内部パラメータ選択手段で選択された内部パラメータと同じ内部パラメータが選択されること、であることを特徴とする請求項１乃至３の何れか一項に記載のカメラパラメータ推定装置。
【請求項５】
前記予め推定した焦点距離の異なる複数の内部パラメータには、対象カメラの調整可能な範囲において、焦点距離が最も短く広角な内部パラメータを含んでいることを特徴とする請求項１乃至４の何れか一項に記載のカメラパラメータ推定装置。
【請求項６】
前記評価指標が収束したか否かを判定する判定条件は、前記外部パラメータ推定手段の評価指標が所定の値より小さく、且つ、前記推定が行なわれる毎に得られる評価指標の傾きの絶対値が所定の値より小さいときであることを特徴とする請求項１乃至５のいずれか一項に記載のカメラパラメータ推定装置。
【請求項７】
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択するステップと、
前記選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新するステップと、
前記更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定するステップと、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定するステップと、
前記判定するステップで収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定するステップと、
を備えることを特徴とするカメラパラメータ推定装置のカメラパラメータ推定方法。
【請求項８】
コンピュータに、
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、
前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新する内部パラメータ更新手段と、
前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、
前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、
を実現させるカメラパラメータ推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラムに関する。
【背景技術】
【０００２】
従来、カメラに対し、事前に推定した、内部パラメータを用いて、カメラの状態に合った外部パラメータを推定するカメラパラメータ推定装置が知られている。
【０００３】
より具体的には、カメラパラメータ推定装置は、焦点距離、レンズ歪み、画像中心の座標等のカメラの特性を示す内部パラメータと、カメラの位置、姿勢を示す外部パラメータとを推定するのに用いられている（以下、内部パラメータと外部パラメータとを合わせてカメラパラメータと呼ぶ）。なお、カメラパラメータ推定装置の一例は、下記非特許文献1に記載されている。
【０００４】
この非特許文献1においては、平面上に既知に配置された格子点を用いてカメラパラメータを推定することが記載されている。従来法では、２次元配置が既知な格子点をもつ格子ボードをカメラに掲げ撮影し、格子点に対する格子ボード上の２次元座標と、画面上の２次元座標との対応からホモグラフィ行列を求める。次に、格子ボードの角度を変えながら、複数のホモグラフィ行列を求め、それらの行列からカメラパラメータを推定している。
【０００５】
この他、外部パラメータの推定に関しては、上記で推定した内部パラメータと、実空間上の３次元座標が既知の参照点と、この参照点に対応する画面上の２次元座標とを用いて推定する方法が知られている。内部パラメータが推定されている為、少ない参照点で精度よく外部パラメータを推定することができる。実際には、下記（１）式の射影方程式に対して、参照点の３次元座標と、この参照点に対応する画像上の２次元座標（レンズ歪みを補正した座標）と、内部パラメータを用いて、最適化手法等で解くことにより、外部パラメータである回転行列Ｒと並進行列Ｔを推定する。
【数１】
2014175782.tif 000003
ここで、mは参照点に対応するレンズ歪みを補正した画面上の２次元座標、Ａは内部パラメータとして推定された内部行列、Ｍは参照点に対応する実空間上の３次元座標、ｓはスケールである。
【０００６】
レンズ歪みを補正した画像上の２次元座標（ｕ，ｖ）は、内部パラメータとして推定されたレンズ歪み係数を用いて、下記（２）式の関係より、実際の画像上の２次元座標（ｕ’’，ｖ’’）（レンズ歪み補正前の座標）から求めることができる。
【数２】
2014175782.tif 000004
ここで、（ｕ’’，ｖ’’）は参照点に対応する実際の画像上の２次元座標（補正前の座標）、（ｕ，ｖ）は参照点に対するレンズ歪みを補正した画面上の２次元座標、ｋ１，ｋ２，ｐ１，ｐ２は内部パラメータとして推定されたレンズ歪み係数、（ｘ’’，ｙ’’）はレンズ歪み補正前の正規化画像座標、（ｘ’，ｙ’）はレンズ歪み補正後の正規化画像座標である。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Z.Zhang, “A flexible new technique for camera calibration”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術では、カメラ設置者が容易に近づけない場所（例えば、高所等）にカメラが設置される状態で、且つ、リモート操作などでズーム等のカメラ特性が変更される場合、内部パラメータを含むカメラパラメータを再推定することが困難である。
【０００９】
これは、カメラの目の前に近づいて、格子ボードを簡単に掲げられないためである。また、カメラから離れて格子ボードを掲げるにしても、推定精度を保つ為、格子点を画面全体に配置するには、実用上ありえない巨大な格子ボードが必要になるためである。さらに、そのような巨大な格子ボードをいくつかの角度で傾ける必要があり、作業者が容易にそのような動作を実行できないためである。
【００１０】
本発明は、上記事情に鑑みてなされたものであり、その目的は、カメラの状態に合った未知の内部パラメータと外部パラメータを推定できるカメラパラメータ推定装置及びカメラパラメータ推定方法並びにカメラパラメータ推定プログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために本発明のカメラパラメータ推定装置は、画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に関する内部パラメータのみを更新する内部パラメータ更新手段と、前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、を備えることを特徴とする。
【００１２】
他の本発明のカメラパラメータ推定装置のカメラパラメータ推定方法は、画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択するステップと、前記選択された１つの内部パラメータを初期値として焦点距離の情報に関する内部パラメータのみを更新するステップと、前記更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定するステップと、前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定するステップと、前記判定するステップで収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定するステップと、を備えることを特徴とする。
【００１３】
また、他の本発明のカメラパラメータ推定プログラムは、コンピュータに、画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に関する内部パラメータのみを更新する内部パラメータ更新手段と、前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、を実現させるものである。
【発明の効果】
【００１４】
本発明によると、カメラの状態に合った未知の内部パラメータと外部パラメータを推定できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。
【図２】図１のパラメータ推定装置のカメラパラメータ推定手段の構成を示すブロック図である。
【図３】同第１実施形態に係る処理を示すフローチャートである。
【図４】図３のカメラパラメータの推定処理の詳細を示すフローチャートである。
【図５】本発明の第２実施形態に係るカメラパラメータ推定装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
次に、本発明を実施するための各実施形態について図面を参照して詳細に説明する。
【００１７】
（第１実施形態）
図１、図２を参照すると、本発明の第1の実施形態のカメラパラメータ推定装置１００は、プログラム制御により動作するデータ処理装置１と、各種情報を記憶する記憶装置２と、を含み構成されている。
【００１８】
このカメラパラメータ推定装置１００は、事前に推定した、焦点距離の異なる複数の内部パラメータを用いて、カメラの状態に合った未知の内部パラメータと外部パラメータを推定する装置である。
【００１９】
記憶装置２は、内部パラメータ記憶手段２１と、外部パラメータ推定用情報記憶手段２２と、を備える。
【００２０】
内部パラメータ記憶手段２１は、事前に推定した、焦点距離の異なる複数の内部パラメータを記憶している。
【００２１】
ここで、「事前に推定」とは、カメラを設置する前にカメラを手元に確保し、既存の手法（例えば、既述の非特許文献1：Zhangの手法等）で内部パラメータを推定することである。なお、手元にて簡単に内部パラメータを推定できるならこれ以外の方法でもよい。
【００２２】
また、「焦点距離が異なる内部パラメータ」とは、対象カメラの調整可能な範囲において、焦点距離が最も短く広角、焦点距離が長く望遠などに焦点距離を変更して推定した内部パラメータのことである。内部パラメータ記憶手段２１に記憶される複数の内部パラメータの中には、対象のカメラで最も広角時の内部パラメータを含める必要がある。
【００２３】
また、「内部パラメータ」とは、カメラの特性を表すパラメータであり、カメラの焦点距離と画素のアスペクト比を同時に表すｆｘ，ｆｙ（以下、焦点距離の情報とも呼ぶ。）、画像中心の座標（光軸の位置）を表すｃｘ，ｃｙ、レンズ歪みを表すｋ１，ｋ２，ｐ１，ｐ２で構成される（参照：上記（１）式、（２）式）。なお、ここでは、射影方程式、レンズ歪みの関係式、内部パラメータについて、上記（１）式、（２）式を用いる場合を想定して説明したが、魚眼レンズカメラ等の特殊なレンズによるカメラを用いた場合には、上記（１）式及び（２）式を特殊なレンズを表現する式の形に変更することにより本手法が適用可能になる。この場合、歪み等の内部パラメータも変更した式に準じて変更される。つまり、射影方程式、レンズ歪みの関係式、これらに関わる内部パラメータ等は、上記（１）式及び（２）式及び変数に限定されない。本第１実施形態においては、説明を単純化する為、上記（１）式及び（２）式を用いた場合で説明する。
【００２４】
外部パラメータ推定用情報記憶手段２２は、外部パラメータの推定に必要な基準となる外部パラメータ推定用情報が記憶されている。この外部パラメータ推定用情報は、例えば、上記（１）式の射影方程式の最適化手法で推定する場合には、参照点に対応する実空間上の３次元座標と、参照点に対応する画像上の２次元座標などである。なお、他の手法で外部パラメータを推定する場合には、当該他の手法における、実空間上の３次元座標と、参照点に対応する画像上の２次元座標などに順ずる情報である。
【００２５】
データ処理装置1は、内部パラメータ選択手段１１と、カメラパラメータ推定手段１２と、推定完了判定手段１３と、を備える。
【００２６】
内部パラメータ選択手段１１は、画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために内部パラメータ記憶手段２１に記憶される、予め推定された焦点距離の異なる複数の内部パラメータから、次の推定の基準となる１つの内部パラメータを選択する。この選択は、内部パラメータの一部である画像中心の座標ｃｘ，ｃｙ、レンズ歪み係数ｋ１，ｋ２，ｐ１，ｐ２を推定する意味を持つ。これらのパラメータ（座標ｃｘ，ｃｙ、レンズ歪み係数ｋ１，ｋ２，ｐ１，ｐ２）は、基本的に、焦点距離を変更しても変わらない値であるが、実際には推定時の焦点距離の誤差を含むため、焦点距離の変更で再推定が必要である。例えば、焦点距離が短い広角時に推定した内部パラメータは、画像がレンズ全体に表示される形で近似式（上記（２）式）による推定が行われる為、レンズ全体の歪み方を推定できる。
【００２７】
しかし、上記パラメータを焦点距離が長い望遠時に適用すると、画像中心付近の画像が拡大され、それに合わせて推定時の誤差の影響も大きくなる。また、焦点距離が長い望遠時に推定した内部パラメータは、画像が画像中心付近の局所的なレンズのみに表示される形で近似式（上記（２）式）による推定が行われる為、画像中心付近のレンズの歪み方を推定できるが、画像中心付近以外は、対象の範囲外で正しく推定されなくなる。
【００２８】
このため、内部パラメータである画像中心の座標ｃｘ，ｃｙ、レンズ歪み係数ｋ１，ｋ２，ｐ１，ｐ２は、推定したい焦点距離に合わせて選択して利用する必要がある。これを踏まえ、内部パラメータの選択方法を２つ示す。
【００２９】
焦点距離の情報（ｆｘ，ｆｙ）が得られない初期段階の場合は、焦点距離が絞り込めない為、カバー範囲が広いレンズ全体の歪みを表す内部パラメータの適用を考え、内部パラメータ記憶手段２１の中で最も焦点距離が短い広角な（焦点距離の情報ｆｘ，ｆｙが小さい）内部パラメータを選択する。焦点距離の情報（ｆｘ，ｆｙ）が得られる場合（焦点距離の情報は大まかでも良い。）は、得られた焦点距離の情報（ｆｘ，ｆｙ）に近く、且つ、得られた焦点距離の情報（ｆｘ，ｆｙ）より焦点距離が短く広角な（焦点距離の情報ｆｘ，ｆｙが小さい）内部パラメータを選択する。ここで、広角な内部パラメータを選択する理由は、推定したい焦点距離に対して、レンズ歪みが正しく推定されていない部分があるパラメータを選択するより、誤差が生じても正しく推定されているパラメータを選択する方が、精度が上がるからである。
【００３０】
カメラパラメータ推定手段１２は、内部パラメータ選択手段１１で選択された内部パラメータと、外部パラメータ推定用情報記憶手段２２に記憶される外部パラメータ推定用情報とを用いて、内部パラメータの更新と外部パラメータの推定の繰り返しによるカメラパラメータの推定を行い、カメラの状態に適したカメラパラメータを出力する。
【００３１】
推定完了判定手段１３は、所定の推定完了条件に基づいて、内部パラメータ選択手段１１及びカメラパラメータ推定手段１２の繰り返しによるカメラパラメータの推定が完了したか否かを判定する。所定の推定完了条件に基づいてカメラパラメータの推定が完了したと判定した場合、推定完了判定手段１３は推定を完了しカメラパラメータを出力する。カメラパラメータの推定が完了したと判定しない場合、推定完了判定手段１３は、内部パラメータ選択手段１１に、カメラパラメータ推定手段１２から得られた内部パラメータを出力し、内部パラメータ選択手段１１を起動し、内部パラメータ選択手段１１とカメラパラメータ推定手段１２の繰り返しによるカメラパラメータ推定を実行させる。このように推定を繰り返すことで、カメラパラメータの精度を高めることができる。ここで、所定の推定完了条件とは、例えば、推定回数が所定の回数になること、又は前回選択した内部パラメータと同じ内部パラメータが内部パラメータ選択手段１１で選択されること、などである。
【００３２】
カメラパラメータ推定手段１２は、内部パラメータ更新手段１２１と、外部パラメータ推定手段１２２と、評価指標収束判定手段１２３と、を備える。
【００３３】
内部パラメータ更新手段１２１は、内部パラメータ選択手段１１で選択された基準となる内部パラメータを初期値として、内部パラメータのうち焦点距離の情報（ｆｘ，ｆｙ）に依存する内部パラメータのみを更新し、更新された内部パラメータを出力する。更新においては、焦点距離の情報であるｆｘ，ｆｙのアスペクト比を一定に保つようにする。例えば以下の（３）式、（４）式のαを更新する形で実現する。ここで、初期時においては、内部パラメータ選択手段１１で選択された内部パラメータをそのまま出力する為、以下の（３）式ならα＝０、（４）式ならα＝１としてαを初期化する。
【００３４】
【数３】
2014175782.tif 000005
【数４】
2014175782.tif 000006
ここで、ｆ’ｘ，ｆ’ｙは更新された焦点距離の情報、ｆｘ０，ｆｙ０は内部パラメータ選択手段１１で選択された内部パラメータの焦点距離の情報である。なお、更新に用いる式を上記（３），（４）式に示したが、焦点距離の情報であるｆｘ，ｆｙのアスペクト比を保ちながら更新できるのであれば、どのような式を用いても良い。更新方法は、後段の外部パラメータ推定手段１２２の推定処理によって出力される評価指標が最小になるように最急降下法、山登り法等の最適化手法でαを更新し、この更新したαを用いて内部パラメータを更新すれば良い。なお、最適化手法に関しては、どのような方法を用いても良い。
【００３５】
外部パラメータ推定手段１２２は、内部パラメータ更新手段１２１によって更新された内部パラメータと、外部パラメータ推定用情報記憶手段２２に記憶される外部パラメータ推定用情報を用い、評価指標を用いた最適化手法で、外部パラメータを推定する。ここで、外部パラメータの推定方法の一例は、外部パラメータ推定情報である参照点に対応する実空間上の３次元座標と、この３次元座標に対応する画面上の２次元座標とを用いて、上記（１）式の射影方程式と上記（２）式のレンズ歪みの関係式を基に、最適化手法を用いることで外部パラメータを推定するものである。外部パラメータ推定手段１２２は、外部パラメータの推定が完了次第、推定された外部パラメータと評価指標を評価指標収束判定手段１２３へ出力する。評価指標の例としては、例えば、再投影誤差がある。この再投影誤差は、実空間上の３次元座標を、カメラパラメータを用いて画面上の２次元座標に投影し、投影した２次元座標と直接画面上から取得した２次元座標との誤差を計算して得られる。なお、上記では、外部パラメータ推定手段１２２の一例を示したが、内部パラメータと外部パラメータ推定用情報とで外部パラメータを推定できるのであれば、どのような方法を用いても良い。
【００３６】
評価指標収束判定手段１２３は、外部パラメータ推定手段１２２から得られた評価指標が、内部パラメータの更新と外部パラメータの推定の繰り返しに対して、十分小さく収束しているか（例：評価指標が所定の値より小さく、且つ、推定が行なわれる毎に得られる評価指標の傾きの絶対値が所定の値より小さいこと）否かを判定することにより、内部パラメータの更新と外部パラメータの推定の繰り返しによるカメラパラメータの推定が完了したか否かを判定する。収束していると判定した場合、評価指標収束判定手段１２３は、外部パラメータ推定手段１２２から得られた外部パラメータと、内部パラメータ更新手段１２１から得られた内部パラメータを出力する。収束していないと判定した場合、評価指標収束判定手段１２３は、内部パラメータ更新手段１２１を起動し、内部パラメータの更新と外部パラメータの推定の繰り返しによるカメラパラメータ推定を再度実行させる。
【００３７】
次に、図１乃至図４を参照し、本第１実施形態に係るカメラパラメータ推定装置１００の動作について詳細に説明する。
【００３８】
内部パラメータ選択手段１１は、内部パラメータ選択手段１１とカメラパラメータ推定手段１２の繰り返しによるカメラパラメータの推定が初回の推定であるか否かを判定する（ステップＳ１０１）。初回の推定であると判定した場合（ステップＳ１０１：ＹＥＳ）、内部パラメータ選択手段１１は、内部パラメータ記憶手段２１の中で最も焦点距離が短い広角な（焦点距離の情報が小さい）内部パラメータを選択する（ステップＳ１０２）。
【００３９】
初回の推定以外と判定された場合（ステップＳ１０１：ＮＯ）、内部パラメータ選択手段１１は、前回の推定で得られた内部パラメータに対して、焦点距離の情報（ｆｘ，ｆｙ）が近く、且つ、得られた焦点距離の情報（ｆｘ，ｆｙ）より小さい（焦点距離が短く広角な）内部パラメータを選択する（ステップＳ１０３）。次に、カメラパラメータ推定手段１２は、内部パラメータ選択手段１１で選択された内部パラメータと、外部パラメータ推定用情報記憶手段２２の推定用情報を用いて、内部パラメータの更新と外部パラメータの推定の繰り返しによるカメラパラメータ推定を行い、カメラパラメータを出力する（ステップＳ１０４）。
【００４０】
当該ステップＳ１０４の処理について図４を参照してさらに詳細に説明する。内部パラメータ更新手段１２１は、内部パラメータの更新と外部パラメータの更新の繰り返しによるカメラパラメータ推定が初回の推定であるか否か（ステップＳ１０４の処理を開始した中において初回の推定であるか否か）を判定する（ステップＳ２０１）。初回の推定であると判定した場合（ステップＳ２０１：ＹＥＳ）、上記（３）式のαを０として初期化し、内部パラメータ更新手段１２１で更新された内部パラメータをそのまま出力する（Ｓ２０２）。
【００４１】
一方、初回の推定でないと判定した場合（ステップＳ２０１：ＮＯ）、後段の外部パラメータ推定手段１２２の推定で出力される評価指標が最小になるよう最適化手法にて上記（３）式のαを更新し、内部パラメータを更新して出力する（ステップＳ２０３）。ここで、ステップＳ２０２，Ｓ２０３の処理は、上記（３）式を用いた場合の動作例で説明している。
【００４２】
外部パラメータ推定手段１２２は、内部パラメータ更新手段１２１で更新された内部パラメータと、外部パラメータ推定用情報記憶手段２２に記憶される推定用情報を用い、評価指標を用いた最適化手法で、外部パラメータを推定する（ステップＳ２０４）。
【００４３】
評価指標収束判定手段１２３は、外部パラメータ推定手段１２２から得られた評価指標が、内部パラメータの更新と外部パラメータの推定の繰り返しに対して、十分小さく収束しているかを判定する（ステップＳ２０５）。十分小さく収束していないと判定した場合（ステップＳ２０５：ＮＯ）、評価指標収束判定手段１２３は、内部パラメータ更新手段１２１を起動し、上記の内部パラメータの更新と外部パラメータの推定の繰り返しによるカメラパラメータ推定を実行させる。一方、十分小さく収束していると判定した場合（ステップＳ２０５：ＹＥＳ）、評価指標収束判定手段１２３は、外部パラメータ推定手段１２２から得られた外部パラメータと、内部パラメータ更新手段１２１から得られた内部パラメータを出力する（ステップＳ２０６）。これにより、ステップＳ１０４の処理の詳細な説明を終了する。
【００４４】
ここで、図３に戻り説明を続ける。推定完了判定手段１３は、内部パラメータ選択手段１１とカメラパラメータ推定手段１２の繰り返しによるカメラパラメータ推定の回数が所定の回数を満たすかを判定する（ステップＳ１０５）。満たさないと判定した場合（ステップＳ１０５：ＮＯ）、推定完了判定手段１３は、内部パラメータ選択手段１１にカメラパラメータ推定手段１２から得られた内部パラメータを出力し、内部パラメータ選択手段１１を起動し、内部パラメータ選択手段１１とカメラパラメータ推定手段１２の繰り返しによるカメラパラメータ推定を実行させる。一方、満たすと判定した場合（ステップＳ１０５：ＹＥＳ）推定完了判定手段１３は、カメラパラメータ推定手段１２で得られたカメラパラメータを出力し、処理を終了する。ここで、ステップＳ１０５の処理においては、所定の推定完了条件として、推定回数が所定の回数を満たすという条件を設定した場合を例に挙げて説明している。
【００４５】
以上説明したカメラパラメータ推定装置１００によると、以下の効果を奏することができる。
【００４６】
先ず、カメラ設置前に（事前に）、手元にて、焦点距離の異なる複数の内部パラメータを推定しておき、カメラ状態にあった未知の内部パラメータの推定について、焦点距離の情報以外の部分は推定済みの内部パラメータから選択して推定し、焦点距離の情報の部分は選択された内部パラメータを更新して推定する。このため、カメラ設置者が容易に近づけない場所（例えば、高所等）にカメラが設置される状態で、且つ、リモート操作などでズーム等のカメラ特性が変更される場合でも、カメラの状態に合った、内部パラメータを含むカメラパラメータを容易に推定できる。そして、カメラパラメータを推定するために、無理にカメラに近づいて格子ボードを掲げることを必要としない。
【００４７】
次に、焦点距離の情報以外の内部パラメータ（レンズ歪み係数ｋ１，ｋ２，ｐ１、ｐ２，画像中心の座標ｃｘ，ｃｙ）について、事前に推定した、焦点距離の異なる複数の内部パラメータから段階的に選択することによって適切にパラメータの推定を行っている。このため、レンズ歪み係数、画像中心の座標の内部パラメータにおいて、推定時の焦点距離に依存して発生する誤差を軽減できる。
【００４８】
（第２の実施形態）
【００４９】
次に、本発明の第２実施形態について図面を参照して詳細に説明する。
【００５０】
図５を参照すると、第２実施形態のカメラパラメータ推定装置２００は、第1実施形態のカメラパラメータ推定装置１００と同様な内部パラメータ記憶手段２１、外部パラメータ推定用情報記憶手段２２を有する記憶装置２が、コンピュータ２０１に接続されており、また、カメラパラメータ推定用プログラム２０２を記憶するコンピュータ可読記憶媒体２０３がコンピュータ２０１に通信可能に接続されている。
【００５１】
コンピュータ可読記憶媒体２０３は、磁気ディスクや半導体メモリ等で構成される。カメラパラメータ推定用プログラム２０２は、具体的には、既述した図３，図４に示すカメラパラメータ推定処理を実現するためのプログラムである。
【００５２】
コンピュータ２０１は、立ち上げ時などに、カメラパラメータ推定用プログラム２０２をコンピュータ可読記憶媒体２０３からコンピュータ２０１に読み取り、当該カメラパラメータ推定用プログラム２０２を実行することによりカメラパラメータ推定処理を実行する。カメラパラメータ推定処理は、具体的にはコンピュータ２０１を第1実施形態におけるデータ処理装置１内の内部パラメータ選択手段１１、カメラパラメータ推定手段１２（内部パラメータ更新手段１２１、外部パラメータ推定手段１２２、評価指標収束判定手段１２３）、推定完了判定手段１３として機能させ、図３及び図４を用いて説明した処理を実行する。
【００５３】
以上説明したカメラパラメータ推定装置２００によると、コンピュータ２０１がカメラパラメータ推定用プログラム２０２をコンピュータ可読記憶媒体２０３から読み込んで実行する構成でも、上記第１実施形態のカメラパラメータ推定装置１００と同様な効果を奏することができる。
【００５４】
また、本発明は、上記第１及び第２実施形態に限られず、事前に推定した、焦点距離の異なる複数の内部パラメータを用いて、カメラの状態に合った未知の内部パラメータと外部パラメータを推定できるカメラパラメータ推定装置や、カメラ設置者が容易に近づけない場所（例えば、高所等）にカメラが設置される状態で、且つ、リモート操作などでズーム等のカメラ特性が変更されるような場合にカメラパラメータを容易に推定できるカメラパラメータ推定装置や、そのカメラパラメータ装置をコンピュータに実現するためのプログラムといった用途に広く適応できる。
【００５５】
また、カメラ映像や蓄積映像から実空間上の３次元座標を必要とする監視分野やマーケティング分野等での物体検出、物体位置推定、動線解析、行動解析を行う装置・機能といった用途にも適応できる。
【００５６】
さらに、実空間上の３次元座標をカメラ映像や蓄積映像に投影するような装置・機能といった用途、カメラ映像や蓄積映像に表示される物体の立体構造を復元するような装置・機能といった用途、カメラ映像・蓄積映像から実空間上の３次元座標を必要とする入力インタフェースといった用途、実空間上の３次元座標をトリガ・キーとしてカメラ映像・蓄積映像の対象箇所に処理を行わせるような装置・機能といった用途、この他、カメラ設置後、カメラの自重や地震や環境の振動等によって姿勢ずれを起こすカメラのカメラ姿勢をリアルタイムに自動補正するような装置・機能といった用途に適応できる。
【００５７】
なお、本発明は上述の実施の形態に限定されるものではなく、その実施に際して様々な変形が可能である。
【００５８】
上記実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００５９】
（付記１）
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、
前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新する内部パラメータ更新手段と、
前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、
前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、
を備えることを特徴とするカメラパラメータ推定装置。
【００６０】
（付記２）
前記内部パラメータ選択手段は、焦点距離の情報が得られないときには、複数の内部パラメータを記憶する内部パラメータ記憶手段に記憶される内部パラメータのうち最も焦点距離が小さい内部パラメータを選択し、焦点距離の情報が得られるときには、当該得られた焦点距離の情報に近く、且つ、当該得られた焦点距離の情報より焦点距離が小さい内部パラメータを前記内部パラメータ記憶手段のうちから選択することを特徴とする付記１に記載のカメラパラメータ推定装置。
【００６１】
（付記３）
前記内部パラメータ更新手段は、前記初期値として選択された内部パラメータの焦点距離の情報における縦方向と横方向とのアスペクト比を一定に保ちつつ、内部パラメータを更新することを特徴とする付記１又は２に記載のカメラパラメータ推定装置。
【００６２】
（付記４）
前記所定の推定完了条件は、前記繰り返しによる推定の推定回数が所定の回数となったときである、又は、繰り返し時に前記内部パラメータ選択手段で選択された内部パラメータが前回と同じ内部パラメータになったときであることを特徴とする付記１乃至３の何れか一項に記載のカメラパラメータ推定装置。
【００６３】
（付記５）
前記予め推定した焦点距離の異なる複数の内部パラメータには、対象カメラの調整可能な範囲において、焦点距離が最も短く広角な内部パラメータを含んでいることを特徴とする付記１乃至４の何れか一項に記載のカメラパラメータ推定装置。
【００６４】
（付記６）
前記評価指標が収束したか否かを判定する判定条件は、前記外部パラメータ推定手段の評価指標が所定の値より小さく、且つ、前記推定が行なわれる毎に得られる評価指標の傾きの絶対値が所定の値より小さいときであることを特徴とする付記１乃至５のいずれか一項に記載のカメラパラメータ推定装置。
【００６５】
（付記７）
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択するステップと、
前記選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新するステップと、
前記更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定するステップと、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定するステップと、
前記判定するステップで収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定するステップと、
を備えることを特徴とするカメラパラメータ推定装置のカメラパラメータ推定方法。
【００６６】
（付記８）
コンピュータに、
画像中心の座標、レンズ歪み係数の少なくともいずれか一方の内部パラメータを特定するために予め推定した焦点距離の異なる複数の内部パラメータから１つの内部パラメータを選択する内部パラメータ選択手段と、
前記内部パラメータ選択手段で選択された１つの内部パラメータを初期値として焦点距離の情報に依存する内部パラメータのみを更新する内部パラメータ更新手段と、
前記内部パラメータ更新手段で更新された内部パラメータと外部パラメータの推定用情報とを用いて外部パラメータを推定する外部パラメータ推定手段と、
前記内部パラメータの更新及び当該更新による外部パラメータの推定の繰り返しによる、内部パラメータ及び外部パラメータからなるカメラパラメータの推定が完了したか否かを前記外部パラメータの推定に関する評価指標が収束したか否かに応じて判定する評価指標収束判定手段と、
前記評価指標収束判定手段で収束したと判定したときに、所定の推定完了条件に基づいて、前記カメラパラメータの推定が完了したか否かを判定する推定完了判定手段と、
を実現させるカメラパラメータ推定プログラム。
【符号の説明】
【００６７】
１・・・・・データ処理装置
２・・・・・記憶装置
１１・・・・内部パラメータ選択手段
１２・・・・カメラパラメータ推定手段
１３・・・・推定完了判定手段
２１・・・・内部パラメータ記憶手段
２２・・・・外部パラメータ推定用情報記憶手段
１００，２００・・・カメラパラメータ推定装置
１２１・・・内部パラメータ更新手段
１２２・・・外部パラメータ推定手段
１２３・・・評価指標収束判定手段
２０１・・・コンピュータ
２０２・・・カメラパラメータ推定用プログラム
２０３・・・コンピュータ可読媒体
【図１】
2014175782.tif 000007
【図２】
2014175782.tif 000008
【図３】
2014175782.tif 000009
【図４】
2014175782.tif 000010
【図５】
2014175782.tif 000011