(57)【要約】  カメラパラメータ推定装置１０は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置である。カメラパラメータ推定装置１０は、対象物に関する画像対応点、及びレンズ歪みモデルを多項式近似する近似次数を取得する、データ取得部１１と、画像対応点及び近似次数に基づいて、画像対応点の特定の変換を表す誤差関数を最小とする、幾何パラメータとレンズ歪みパラメータとを推定する、パラメータ推定部１２と、を備えている。
2020144757.tif 000002
【特許請求の範囲】
【請求項１】
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得手段と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定手段と、
を備えている、
ことを特徴とするカメラパラメータ推定装置。
【請求項２】
請求項１に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定装置。
【請求項３】
請求項２に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定装置。
【請求項４】
請求項１〜３のいずれかに記載のカメラパラメータ推定装置であって、
前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、近似次数決定手段を更に備えている、
ことを特徴とするカメラパラメータ推定装置。
【請求項５】
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とするカメラパラメータ推定方法。
【請求項６】
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラの幾何パラメータとレンズ歪みパラメータとを算出するための、カメラパラメータ推定装置、及びカメラパラメータ推定方法に関し、更には、これらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
【背景技術】
【０００２】
レンズの歪みが考慮されていないカメラで撮影された画像は直線が曲線として観測されるという問題がある。このような現象はカメラによる自己位置推定や物体認識といった画像処理において制度低下の原因となる。特に、広角レンズを用いて広範囲を撮影すると、画像の周辺部が大きく歪曲される。歪曲が大きいと画像に対象物が写っていても正確な認識ができず、広角レンズの特性を活かすことが困難となる。正確な画像処理のためには、レンズ歪みを除去し、直線が直線として観測されるように画像を補正する必要がある。【０００３】
レンズ歪みを推定する方法の１つとして、様々な直線を複数回観測することで、カメラ素子の１画素ごとに歪みの補正された画素位置をノンパラメトリックに推定する方法が知られている（例えば「非特許文献１」参照）。具体的には、非特許文献１は、平面ディスプレイに映した様々なグレイコードパターンを撮影し、撮影したグレイコードパターンを用い、いわゆる構造化光（structured light）の原理に基づいて、歪みを補正する方法を開示している。【０００４】
但し、このようなノンパラメトリックな方法は、事前に整えられた環境が必要であり、かつ、撮影中に歪みが不変であることを前提としている。このため、このようなノンパラメトリックな方法には、ズームレンズのように歪みが適応的に変化する場合に適用できないという問題がある。【０００５】
一方、レンズ歪みを適応的に推定する方法として、数式を用いて歪みをモデル化するパラメトリックな方法が開示されている（例えば、非特許文献２〜５参照）。具体的には、非特許文献２は、「レンズ歪みを円周方向歪み（radial distortion）のみと仮定すると、直線が２次曲線として観測される」ことを利用して、画像中のエッジに２次曲線を当てはめてレンズ歪みを推定する方法を開示している。接線方向歪み及び薄プリズム歪みをゼロとして、円周方向歪みのみを補正することは、近年のデジタルカメラにおいては十分成り立つ仮定である。【０００６】
また、非特許文献３は、同一被写体を異なる位置から撮影した２枚の画像における対応点を用いて、１次近似した円周方向のレンズ歪みと同時に、基礎行列及びホモグラフィ行列を推定する方法を開示している。更に、非特許文献４及び５は、より広角な歪みに対応するために、３次近似した円周方向のレンズ歪みと同時に透視投影行列を推定する方法を開示している。【０００７】
ところで、歪みの小さいレンズから広角レンズまでに対応するためには、１つの未知数で表され、且つ、解析的にその未知数を計算可能な円周方向のレンズ歪みモデルを用いる必要がある。【０００８】
しかしながら、非特許文献２、３、４、及び５に開示された各方法では、円周方向歪みを多項式により近似するモデルが用いられているが、多項式近似を用いる場合、大きい歪み、つまり、広角なレンズに対応するためには近似次数を増やす必要性がある。そして、事前には適切な近似次数は不明なため、これらの方法では、低次近似では、歪みが除去しきれず、一方、高次近似ではオーバーフィッティングにより数値計算が不安定になる。つまり、これらの方法では、歪みの小さいレンズから広角レンズまでに対応することは困難である。【０００９】
また、歪みを除去するためには画像座標の逆変換が必要となるが、多項式近似では、解析的な逆変換式を導出することが困難である。よって、非特許文献２、３、４、及び５に開示された各方法には、非線形最適化により数値的に求めるための計算量が大きいという問題もある。【００１０】
また、非特許文献３に開示された方法は、１変数で表現される１次の多項式近似であれば一般化固有値問題として基礎行列、ホモグラフィ行列が算出可能なことを示している。しかし、非特許文献３に開示された方法では、より高次の近似を用いる場合には、未知数が増加するため一般化固有値問題として解くことは困難となる。【００１１】
更に、非特許文献４及び５に開示された方法は、３変数で表現される高次多項式近似を用いて広角レンズに対応している。しかし、非特許文献４及び５に開示された方法は、アドホックな変数消去に基づき透視投影行列を導出しており、他のカメラ幾何行列、例えば基礎行列及びホモグラフィ行列等の導出に適用できないという問題がある。【００１２】
一方、非特許文献６は、円周方向歪みを表現するモデルとして、Field-of-Viewモデル（以下、「FOVモデル」と表記する）を用いる方法を開示している。FOVモデルには、未知数が１であり、逆変換式を解析的に導出可能である、という利点がある。このため、非特許文献６に開示された方法によれば、歪みの小さいレンズから広角レンズまでに対応することが可能であるように考えられる。
【先行技術文献】
【非特許文献】
【００１３】
【非特許文献１】Sagawa et al., “Calibration of lensdistortion by structured-light scanning,” pp.832-837, IROS2005, IEEE.
【非特許文献２】Bukhari et al., “Automatic radial distortion estimation from a single image,” Journal of mathematical imaging and vision,vol.45, no.1, pp.31-45, 2013, Springer.
【非特許文献３】Fitzgibbon, “Simultaneous linear estimation of multiple view geometry and lens distortion,” CVPR2011, IEEE.
【非特許文献４】Kukelova et al., “Real-timesolution to the absolute pose problem with unknown radial distortion and focal length,” ICCV 2013, IEEE.
【非特許文献５】Nakano, “A versatile approachfor solving PnP, PnPf, and PnPfr problems,” ECCV 2016.
【非特許文献６】Devernay and Faugeras, “Straightlines have to be straight,” Machine vision and applications, vol.13, no.1,pp.14-24, 2001, Springer.
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、FOVモデルにおいては、未知数が三角関数の引数となっているため、未知数を直接計算することができず、未知数の計算は非線形最適化により数値的に行う必要がある。【００１５】
本発明の目的の一例は、上記問題を解消し、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定し得る、カメラパラメータ推定装置、カメラパラメータ推定方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
【課題を解決するための手段】
【００１６】
上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定装置は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得部と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定部と、
を備えている、
ことを特徴とする。【００１７】
また、上記目的を達成するため、本発明の一側面におけるカメラパラメータ推定方法は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とする。【００１８】
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とする。
【発明の効果】
【００１９】
以上のように、本発明によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態におけるカメラパラメータ推定装置の動作を示すフロー図である。
【図３】図３は、本発明の実施の形態におけるカメラパラメータ推定装置の他の例の構成を示すブロック図である。
【図４】図４は、本発明の実施の形態におけるカメラパラメータ推定装置を実現するコンピュータの一例を示すブロック図である。
【発明を実施するための形態】
【００２１】
（実施の形態）
以下、本発明の実施の形態における、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムについて、図１〜図４を参照しながら説明する。
【００２２】
［装置構成］
最初に、図１を用いて、本実施の形態におけるカメラパラメータ推定装置の構成について説明する。図１は、本発明の実施の形態におけるカメラパラメータ推定装置の構成を示すブロック図である。
【００２３】
図１に示す本実施の形態におけるカメラパラメータ推定装置１０は、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定する。図１に示すように、カメラパラメータ推定装置１０は、データ取得部１１と、パラメータ推定部１２とを備えている。
【００２４】
データ取得部１１は、対象物に関する画像対応点、及び単一の未知数で表されるレンズ歪みモデルを多項式近似する近似次数を取得する。パラメータ推定部１２は、データ取得部１１によって取得された画像対応点及び近似次数に基づいて、幾何パラメータとレンズ歪みパラメータとを推定する。
【００２５】
ここで、「幾何パラメータ」とは、画像対応点の変換を記述するパラメータである。具体的には、幾何パラメータとしては、例えば、２枚の画像での平面の変換を表すホモグラフィ行列、２枚の画像間でのカメラの相対的な射影関係を表す基礎行列、３次元点とそれらを１枚の画像へ射影した２次元点との変換を表す射影変換行列等が挙げられる。
【００２６】
入力される画像対応点は、推定すべき幾何パラメータに応じて異なる。例えば、幾何パラメータが、ホモグラフィ行列、又は基礎行列であれば、画像対応点は、画像上で対応する２次元点である。また、幾何パラメータが、射影変換行列であれば、画像対応点は、３次元点とそれらを射影した２次元点である。
【００２７】
推定に必要な対応点の数は、幾何パラメータの自由度によって異なる。なお、このことは、広く公知の事実であるので詳細は省略する。また、これらの対応点は、いわゆる退化配置（「Degenerate Configuration」または「Critical Configuration」とも呼ばれる）ではないとする。なぜならば、そのような対応点に対しては理論的に幾何パラメータを推定できないためである。
【００２８】
このように、本実施の形態では、画像対応点と、レンズ歪みモデルを多項式近似する近似次数とに基づいて、幾何パラメータとレンズ歪みパラメータとが推定される。本実施の形態によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。
【００２９】
また、本実施の形態では、パラメータ推定部１２は、画像対応点及び近似次数に基づいて、複数の幾何パラメータの候補と複数のレンズ歪みパラメータの候補とを推定することができる。この場合、パラメータ推定部１２は、これらの候補の中から、誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択し、選択した各候補を、それぞれ幾何パラメータ及びレンズ歪みパラメータとして出力する。また、誤差関数は、画像対応点と、幾何パラメータ及びレンズ歪みパラメータと、の変換関係を表す関数である。
【００３０】
更に、本実施の形態では、パラメータ推定部１２は、画像対応点の数が設定条件を満たさない場合（例えば、画像対応点の数が過剰である場合）は、非線形最適化によって誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択する。
【００３１】
［装置動作］
次に、本実施の形態におけるカメラパラメータ推定装置１０の動作について図２を用いて説明する。図２は、本発明の実施の形態におけるカメラパラメータ推定装置の動作を示すフロー図である。以下の説明においては、適宜図１を参酌する。また、本実施の形態１では、カメラパラメータ推定装置１０を動作させることによって、カメラパラメータ推定方法が実施される。よって、本実施の形態におけるカメラパラメータ推定方法の説明は、以下のカメラパラメータ推定装置の動作説明に代える。
【００３２】
図２に示すように、最初に、データ取得部１１は、対象物に関する画像対応点、及び単一の未知数で表されるレンズ歪みモデルを多項式近似する近似次数を取得する（ステップＡ１）。
【００３３】
次に、パラメータ推定部１２は、ステップＡ１によって取得された画像対応点及び近似次数に基づいて、幾何パラメータの候補とレンズ歪みパラメータの候補とをそれぞれ複数推定する（ステップＡ２）。
【００３４】
次に、パラメータ推定部１２は、ステップＡ２で推定した候補の中から、誤差関数を最小化する、幾何パラメータの候補、及びレンズ歪みパラメータの候補を選択する（ステップＡ３）。
【００３５】
その後、パラメータ推定部１２は、ステップＡ３で選択した各候補を、それぞれ幾何パラメータ及びレンズ歪みパラメータとして出力する（ステップＡ４）。
【００３６】
［具体例］
続いて、本実施の形態の具体的について説明する。なお、以下の具体例では、歪み中心は画像の中心（つまり画像の大きさの半分）と仮定する。この仮定は、上述した非特許文献２〜５でも採用されており、昨今のデジタルカメラは高精度に製造されているため妥当な仮定である。但し、歪み中心としては、事前に計算された既知の値が用いられていても良いし、利用シーンに応じて当業者によって自由に変更されても良い。
【００３７】
（１）レンズ歪みモデル
最初に、レンズ歪みモデルについて説明する。また、以下の説明では、上添字のTは行列及びベクトルの転置である。また、歪み係数をw、歪みのない画像座標をmu、歪みのある画像座標をmdと表記する。また、歪みのない画像座標muは、下記の数１で表すことができ、歪みのある画像座標mdは下記の数２で表すことができる。
【００３８】
【数１】
2020144757.tif 000003
【００３９】
【数２】
2020144757.tif 000004
【００４０】
また、画像座標を斉次化した座標をmuチルダとmdチルダとで表記する。muチルダは、下記の数３で表すことができ、mdチルダは、下記の数２で表すことができる。
【００４１】
【数３】
2020144757.tif 000005
【００４２】
【数４】
2020144757.tif 000006
【００４３】
ここで、歪みモデルの定義を行う。レンズ歪みを円周方向歪みのみと仮定した場合、muとmdとの変換関係は、以下の数５で表される。
【００４４】
【数５】
2020144757.tif 000007
【００４５】
また、以下の数６及び数７が成立するので、上述の非特許文献５に従うと、FOVモデルに基づくruとrdとの変換関係は、数８及び数９で表される。
【００４６】
【数６】
2020144757.tif 000008
【００４７】
【数７】
2020144757.tif 000009
【００４８】
【数８】
2020144757.tif 000010
【００４９】
【数９】
2020144757.tif 000011
【００５０】
上記数５、数８及び数９において、歪みのない値、つまりxu’、yu’、ruは、一般には未知であり、観測可能な歪みのある値、xd’、yd’、rdから推定される。上記数５、数８及び数９より、歪み系数wが求まれば、rdからruが計算でき、mdからmuが直接に計算可能なことが分かる。
【００５１】
上記数５を変形し、変形した数５を、斉次化座標を用いて表すと、下記の数１０の通りとなる。
【００５２】
【数１０】
2020144757.tif 000012
【００５３】
上記数１０において、zd=rd/ruであり、記号∝は、右辺と左辺が互いに定数倍に不変であることを示している。歪み系数wが、０（ゼロ）に近いことを利用して、zdをテイラー展開すると、zdは、以下の数１１〜数１３によって表される。なお、数１１において、a2nはw2nに対応する近似係数である。
【００５４】
【数１１】
2020144757.tif 000013
【００５５】
【数１２】
2020144757.tif 000014
【００５６】
【数１３】
2020144757.tif 000015
【００５７】
上記数１１〜数１３を用いると、上記数１０は、以下の数１４及び数１５で表される。
【００５８】
【数１４】
2020144757.tif 000016
【００５９】
【数１５】
2020144757.tif 000017
【００６０】
上記数１１〜数１３、及び上記数１４〜数１５で表されたFOVモデルの多項式近似が、本具体例におけるレンズ歪みモデルである。
【００６１】
（２）歪み係数及びカメラパラメータの計算
次に、歪み系数w及びカメラパラメータ（幾何パラメータ、レンズ歪みパラメータ）の計算方法について説明する。本具体例では、便宜上n=2として歪み系数wと基礎行列とを同時に推定する方法について説明する。n=2のとき、歪みモデルは以下の数１６で表される。なお、nは上記数１１に示した変数である。
【００６２】
【数１６】
2020144757.tif 000018
【００６３】
基礎行列Fが満たすエピポーラ方程式は、以下の数１７で表される。
【００６４】
【数１７】
2020144757.tif 000019
【００６５】
m'uチルダは、muチルダに対する、２枚目の画像上における対応点の斉次化座標である。上記数１６を上記数１７に代入すると、歪み系数wを含むエピポーラ方程式は、以下の数１８で表される。
【００６６】
【数１８】
2020144757.tif 000020
【００６７】
そして、９点の対応点が与えられたとき、上記数１８を行列形式で表すと、以下の数１９に示す通りとなる。
【００６８】
【数１９】
2020144757.tif 000021
【００６９】
ここで、λ=w2であり、fはベクトル化したFを表している。また、Dは、各λに対する係数行列である。
【００７０】
上記数１９は、ｆを固有ベクトルとし、λを固有値とする、９×９の行列多項式問題であり、線形代数ライブラリを用いて解くことができる。また、λ=w2であるため、正の固有値のみに対応する固有ベクトルを取り出せば良い。そして、歪み系数wは、w=λ^(1/2)として計算できる。
【００７１】
また、９点より多くの対応点が与えられたときは、上記数１９にD1の転置を左から乗算し、同様に９×９の行列多項式として解けば良い。
【００７２】
上記数１９を解くと、９個の固有値とそれらに対応する固有ベクトルとが得られる。対応点数が９点より多い場合は、上記数１７に基づく代数学的誤差又は再投影誤差が最小となる、固有値と固有ベクトルとの組が選択されれば良い。
【００７３】
対応点数が９点の場合は、代数学的誤差も再投影誤差もゼロとなるが、適切なλを経験的に選択しても良い。すなわち、λ=w2であること、上記数１５はFOVモデルのw=0を中心とするテイラー展開であることを利用して、λは、ゼロより大きい最小の正の実数として設定してもよい。また、事前にλの値域がわかっている場合、λは、それに基づいて、しきい値処理により選択されても良い。
【００７４】
上記数１９は、FOVモデルの近似であるため、得られた歪み系数wを初期値として、上記数８及び数９に基づく真のFOVモデルを利用して、ニュートン法などの非線形最適化により、上記数１７に基づく代数学的誤差又は再投影誤差を最小化しても良い。また、真のFOVモデルではなく、近似次数を増加させた多項式近似が用いられても良い。
【００７５】
本具体例では、n=2としたが、近似精度を向上させるためにより大きなnが用いられても良く、この場合も、同様の行列多項式問題に帰着する。一方で、歪みが小さいと事前に既知である場合、演算量を低く抑えたい場合は、n=1とされていてもよい。その場合、行列多項式におけるλの次数は小さくなるため、より低い計算量で解くことができる。得られた解が低精度である場合には、上述した非線形最適化が施されていても良い。
【００７６】
［実施の形態における効果］
以上のとおり、本実施の形態によれば、レンズ歪みが小さい場合、及び大きい場合の、いずれの場合でも、レンズ歪みパラメータは単一の未知数で表現され、同時にカメラ幾何パラメータの推定が可能となる。その理由は以下の通りである。
【００７７】
FOVモデルは、非常に広角な魚眼レンズの歪みを定式化する方法である。上記数１１〜数１３はFOVモデルの多項式近似であるが、歪み系数wは広角レンズにおいても0に近い値を取る。従って、歪みが大きい場合でも多項式近似が成立するため、従来方法と異なり、レンズ歪みパラメータの未知数を増やすのではなく、近似次数を増やすことでレンズ歪みパラメータの推定が可能となる。逆に、歪みが小さい場合においては、近似次数nを小さくすればよい。このため、本実施の形態によれば、パラメータ数は不変のまま近似次数の増減により、歪みの大きさに対応できるため、従来方法の課題の解決が可能となる。
【００７８】
［変形例］
また、本発明は、上述した実施の形態のみに限定されない。本発明は、上述した実施形態に対して、いわゆる当業者が理解し得る多様な変更を適用することが可能である。例えば、本発明は、以下の変形例に示す形態によっても実施可能である。
【００７９】
（１）変形例１
上述した実施の形態において、カメラ幾何パラメータは基礎行列に限定されない。例えば、ホモグラフィ行列、透視投影行列など、その他のカメラ幾何パラメータも同様の方法で計算できる。上述して非特許文献３に記載されているように、いずれの場合も、同様に行列多項式に帰着する。
【００８０】
（２）変形例２
本実施の形態では、図３に示すように、カメラパラメータ推定装置１０は、カメラの撮影時の焦点距離と撮影された画像の解像度とから近似次数を計算する、近似次数決定部１３を備えていてもよい。近似次数決定部１３は、例えば、画像に埋め込まれたタグ情報、Exif情報を用いることで、画像解像度と撮影時のおおよその焦点距離とを取得することができる。図３は、本発明の実施の形態におけるカメラパラメータ推定装置の他の例の構成を示すブロック図である。変形例２では、データ取得部１１は、画像対応点のみを取得する。
【００８１】
また、近似次数決定部１３は、画像の横幅又は縦幅とカメラの撮影時の焦点距離との比率から画角を計算し、画角の大きさに対応するおおよそのレンズ歪みの値を事前情報として利用して、レンズ歪みモデルの近似次数を決定することもできる。
【００８２】
（３）変形例３
上述した実施の形態において、カメラ幾何パラメータとレンズ歪みパラメータの計算方法とは、行列多項式に限定されない。例えば、上述の非特許文献４及び５には、レンズ歪みパラメータが１つの場合における透視投影行列の計算方法が記載されており、本実施の形態でも、行列多項式の代わりにそれらの方法が用いられてもよい。
【００８３】
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図２に示すステップＡ１〜Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態におけるカメラパラメータ推定装置１０とカメラパラメータ推定方法とを実現することができる。この場合、コンピュータのプロセッサは、データ取得部１１及びパラメータ推定部１２として機能し、更には、近似次数決定部１３としても機能し、処理を行なう。
【００８４】
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、データ取得部１１及びパラメータ推定部１２のいずれかとして、更には近似次数決定部１３として、機能しても良い。
【００８５】
ここで、本実施の形態におけるプログラムを実行することによって、カメラパラメータ推定装置１０を実現するコンピュータについて図４を用いて説明する。図４は、本発明の実施の形態におけるカメラパラメータ推定装置を実現するコンピュータの一例を示すブロック図である。
【００８６】
図４に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
【００８７】
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
【００８８】
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
【００８９】
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
【００９０】
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
【００９１】
なお、本実施の形態におけるカメラパラメータ推定装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、カメラパラメータ推定装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
【００９２】
上述した実施の形態の一部又は全部は、以下に記載する（付記１）〜（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
【００９３】
（付記１）
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得部と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定部と、
を備えている、
ことを特徴とするカメラパラメータ推定装置。
【００９４】
（付記２）
付記１に記載のカメラパラメータ推定装置であって、
前記パラメータ推定部が、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定装置。
【００９５】
（付記３）
付記２に記載のカメラパラメータ推定装置であって、
前記パラメータ推定部が、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定装置。
【００９６】
（付記４）
付記１〜３のいずれかに記載のカメラパラメータ推定装置であって、
前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、近似次数決定部を更に備えている、
ことを特徴とするカメラパラメータ推定装置。
【００９７】
（付記５）
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とするカメラパラメータ推定方法。
【００９８】
（付記６）
付記５に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定方法。
【００９９】
（付記７）
付記６に記載のカメラパラメータ推定方法であって、
前記（ｂ）のステップにおいて、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定方法。
【０１００】
（付記８）
付記５〜７のいずれかに記載のカメラパラメータ推定方法であって、
（ｃ）前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、ステップを更に有する、
ことを特徴とするカメラパラメータ推定方法。
【０１０１】
（付記９）
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる命令を含む、プログラムを記録している、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１０２】
（付記１０）
付記９に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１０３】
（付記１１）
付記１０に記載のコンピュータ読み取り可能な記録媒体であって、
前記（ｂ）のステップにおいて、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１０４】
（付記１２）
付記９〜１１のいずれかに記載のコンピュータ読み取り可能な記録媒体であって、
前記プログラムが、前記コンピュータに、
（ｃ）前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、ステップを実行させる命令を更に含む、
ことを特徴とするコンピュータ読み取り可能な記録媒体。
【０１０５】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【産業上の利用可能性】
【０１０６】
以上のように、本発明によれば、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定することができる。本発明は、レンズの歪みの補正が必要となる各種画像処理システムに有用である。
【符号の説明】
【０１０７】
１０  カメラパラメータ推定装置
１１  データ取得部
１２  パラメータ推定部
１３  近似次数決定部
１１０  コンピュータ
１１１  ＣＰＵ
１１２  メインメモリ
１１３  記憶装置
１１４  入力インターフェイス
１１５  表示コントローラ
１１６  データリーダ／ライタ
１１７  通信インターフェイス
１１８  入力機器
１１９  ディスプレイ装置
１２０  記録媒体
１２１  バス
【図１】
2020144757.tif 000022
【図２】
2020144757.tif 000023
【図３】
2020144757.tif 000024
【図４】
2020144757.tif 000025
【手続補正書】
【提出日】令和3年7月9日(2021.7.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための装置であって、
前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、データ取得手段と、
前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、パラメータ推定手段と、
を備えている、
ことを特徴とするカメラパラメータ推定装置。
【請求項２】
請求項１に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするカメラパラメータ推定装置。
【請求項３】
請求項２に記載のカメラパラメータ推定装置であって、
前記パラメータ推定手段が、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするカメラパラメータ推定装置。
【請求項４】
請求項１〜３のいずれかに記載のカメラパラメータ推定装置であって、
前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、近似次数決定手段を更に備えている、
ことを特徴とするカメラパラメータ推定装置。
【請求項５】
対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するための方法であって、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を有する、
ことを特徴とするカメラパラメータ推定方法。
【請求項６】
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、プログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
本発明は、カメラの幾何パラメータとレンズ歪みパラメータとを算出するための、カメラパラメータ推定装置、及びカメラパラメータ推定方法に関し、更には、これらを実現するためのプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
レンズの歪みが考慮されていないカメラで撮影された画像は直線が曲線として観測されるという問題がある。このような現象はカメラによる自己位置推定や物体認識といった画像処理において精度低下の原因となる。特に、広角レンズを用いて広範囲を撮影すると、画像の周辺部が大きく歪曲される。歪曲が大きいと画像に対象物が写っていても正確な認識ができず、広角レンズの特性を活かすことが困難となる。正確な画像処理のためには、レンズ歪みを除去し、直線が直線として観測されるように画像を補正する必要がある。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明の目的の一例は、上記問題を解消し、レンズの円周方向歪みを１つの未知数で表現可能なモデルを用いて、レンズ歪みパラメータとカメラ幾何パラメータとを推定し得る、カメラパラメータ推定装置、カメラパラメータ推定方法、及びプログラムを提供することにある。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、
ことを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】変更
【補正の内容】
【００３６】
［具体例］
続いて、本実施の形態の具体例について説明する。なお、以下の具体例では、歪み中心は画像の中心（つまり画像の大きさの半分）と仮定する。この仮定は、上述した非特許文献２〜５でも採用されており、昨今のデジタルカメラは高精度に製造されているため妥当な仮定である。但し、歪み中心としては、事前に計算された既知の値が用いられていても良いし、利用シーンに応じて当業者によって自由に変更されても良い。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】変更
【補正の内容】
【００４０】
また、画像座標を斉次化した座標をmuチルダとmdチルダとで表記する。muチルダは、下記の数３で表すことができ、mdチルダは、下記の数４で表すことができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
上記数５、数８及び数９において、歪みのない値、つまりxu’、yu’、ruは、一般には未知であり、観測可能な歪みのある値、xd’、yd’、rdから推定される。上記数５、数８及び数９より、歪み係数wが求まれば、rdからruが計算でき、mdからmuが直接に計算可能なことが分かる。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
上記数１０において、zd=rd/ruであり、記号∝は、右辺と左辺が互いに定数倍に不変であることを示している。歪み係数wが、０（ゼロ）に近いことを利用して、zdをテイラー展開すると、zdは、以下の数１１〜数１３によって表される。なお、数１１において、a2nはw2nに対応する近似係数である。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００６１
【補正方法】変更
【補正の内容】
【００６１】
（２）歪み係数及びカメラパラメータの計算
次に、歪み係数w及びカメラパラメータ（幾何パラメータ、レンズ歪みパラメータ）の計算方法について説明する。本具体例では、便宜上n=2として歪み係数wと基礎行列とを同時に推定する方法について説明する。n=2のとき、歪みモデルは以下の数１６で表される。なお、nは上記数１１に示した変数である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
m'uチルダは、muチルダに対する、２枚目の画像上における対応点の斉次化座標である。上記数１６を上記数１７に代入すると、歪み係数wを含むエピポーラ方程式は、以下の数１８で表される。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
上記数１９は、ｆを固有ベクトルとし、λを固有値とする、９×９の行列多項式問題であり、線形代数ライブラリを用いて解くことができる。また、λ=w2であるため、正の固有値のみに対応する固有ベクトルを取り出せば良い。そして、歪み係数wは、w=λ^(1/2)として計算できる。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００７４
【補正方法】変更
【補正の内容】
【００７４】
上記数１９は、FOVモデルの近似であるため、得られた歪み係数wを初期値として、上記数８及び数９に基づく真のFOVモデルを利用して、ニュートン法などの非線形最適化により、上記数１７に基づく代数学的誤差又は再投影誤差を最小化しても良い。また、真のFOVモデルではなく、近似次数を増加させた多項式近似が用いられても良い。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００７７
【補正方法】変更
【補正の内容】
【００７７】
FOVモデルは、非常に広角な魚眼レンズの歪みを定式化する方法である。上記数１１〜数１３はFOVモデルの多項式近似であるが、歪み係数wは広角レンズにおいても0に近い値を取る。従って、歪みが大きい場合でも多項式近似が成立するため、従来方法と異なり、レンズ歪みパラメータの未知数を増やすのではなく、近似次数を増やすことでレンズ歪みパラメータの推定が可能となる。逆に、歪みが小さい場合においては、近似次数nを小さくすればよい。このため、本実施の形態によれば、パラメータ数は不変のまま近似次数の増減により、歪みの大きさに対応できるため、従来方法の課題の解決が可能となる。
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】変更
【補正の内容】
【０１０１】
（付記９）
コンピュータによって、対象物を撮影したカメラの幾何パラメータと単一の未知数で表されるレンズ歪みモデルのレンズ歪みパラメータとを推定するためのプログラムであって、
前記コンピュータに、
（ａ）前記対象物に関する画像対応点、及び前記レンズ歪みモデルを多項式近似する近似次数を取得する、ステップと、
（ｂ）前記画像対応点及び前記近似次数に基づいて、前記幾何パラメータと前記レンズ歪みパラメータとを推定する、ステップと、
を実行させる、プログラム。
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】０１０２
【補正方法】変更
【補正の内容】
【０１０２】
（付記１０）
付記９に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記画像対応点及び前記近似次数に基づいて、複数の前記幾何パラメータの候補と複数の前記レンズ歪みパラメータの候補とを推定し、
これらの中から、前記画像対応点と、前記幾何パラメータ及び前記レンズ歪みパラメータと、の変換関係を表す誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する
ことを特徴とするプログラム。
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
（付記１１）
付記１０に記載のプログラムであって、
前記（ｂ）のステップにおいて、前記画像対応点の数が設定条件を満たさない場合に、非線形最適化によって前記誤差関数を最小化する、前記幾何パラメータの候補、及び前記レンズ歪みパラメータの候補を選択する、
ことを特徴とするプログラム。
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
（付記１２）
付記９〜１１のいずれかに記載のプログラムであって、
前記コンピュータに、
（ｃ）前記カメラの撮影時の焦点距離と撮影された画像の解像度とに基づいて、前記レンズ歪みモデルの近似次数を決定する、ステップを更に実行させる、
ことを特徴とするプログラム。
【国際調査報告】
2020144757.tif 000026
2020144757.tif 000027
2020144757.tif 000028