(57)【要約】【課題】容易にカメラパラメータを推定することが可能な画像処理装置を提供する。【解決手段】重複領域を持つ合焦する奥行きが可変な画像である２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、それぞれのｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを撮影したカメラのカメラパラメータを推定する画像処理装置であって、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅと、所定の奥行きに合焦した画像の分割数であるｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数と、カメラの内部パラメータとを入力する入力手段と、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅそれぞれの特徴点及びｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を検出して出力する画像処理手段と、特徴点対応群および特徴点の位置からカメラパラメータを推定する幾何処理手段とを備えた。【選択図】図１
2016003930.tif 000002
【特許請求の範囲】
【請求項１】
重複領域を持つ合焦する奥行きが可変な画像である２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、それぞれの前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを撮影したカメラのカメラパラメータを推定する画像処理装置であって、
２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅと、所定の奥行きに合焦した画像の分割数であるｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数と、前記カメラの内部パラメータとを入力する入力手段と、
２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅそれぞれの特徴点及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を検出して出力する画像処理手段と、
前記特徴点対応群および前記特徴点の位置から前記カメラパラメータを推定する幾何処理手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、
２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅ及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数を入力し、前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数に従い前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する手段と、
前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅのそれぞれを入力し、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点を検出する手段と、
前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点群を入力し、全ての特徴点群の組み合わせを求める手段と、
前記特徴点群の組み合わせを入力し、検出した各特徴点の特徴量に基づいて特徴点対応群を求める手段と、
得られた前記各特徴点および前記特徴点の対応を入力し、該特徴点の対応に対してエピポーラ制約を用いたＲＡＮＳＡＣ法による処理を行い、インライアとなる特徴点対応群及び特徴点群の組み合わせを出力する手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、全ての組み合わせにおけるインライアとなる特徴点対応群を入力し、含まれる特徴点対応の数が最も多い特徴点群の組み合わせ及びインライアとなる特徴点対応群を出力することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記幾何処理手段は、
前記特徴点対応群および前記特徴点を入力し、基礎行列を算出する手段と、
前記基礎行列及び前記カメラの内部パラメータを入力し、基本行列を算出する手段と、
前記基本行列を入力し、回転行列及び並進ベクトルを出力する手段と、
前記回転行列、前記並進ベクトル、前記内部パラメータ、前記特徴点および前記特徴点対応群を入力し、再投影誤差が最小になるようにバンドルアジャストメントを行い、前記回転行列、前記並進ベクトル、前記内部パラメータの最適解、最適化におけるイテレーション回数および再投影誤差を出力する手段と
を備えることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記幾何処理手段は、
全ての組み合わせに対するバンドルアジャストメントの結果を入力し、最もイテレーション回数の少なかった特徴点群の組み合わせに対するバンドルアジャストメントの結果を出力することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記幾何処理手段は、
全ての組み合わせに対する全ての特徴点群の組み合わせに対して行われたバンドルアジャストメントの結果を入力し、最も再投影誤差の小さかった特徴点群の組み合わせに対するバンドルアジャストメントの結果を出力することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
重複領域を持つ合焦する奥行きが可変な画像である２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、それぞれの前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを撮影したカメラのカメラパラメータを推定する画像処理方法であって、
２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅと、所定の奥行きに合焦した画像の分割数であるｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数と、前記カメラの内部パラメータとを入力する入力ステップと、
２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅそれぞれの特徴点及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を検出して出力する画像処理ステップと、
前記特徴点対応群および前記特徴点の位置から前記カメラパラメータを推定する幾何処理ステップと
を有することを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１から６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の高精度な三次元形状推定や品質の高い仮想視点映像の生成に利用する画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【０００２】
ライトフィールドカメラなどの普及に伴い、ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅ（合焦する奥行きが可変な画像）が日常の様々なシーンにおいて撮影される機会が増えており、同一の被写体が複数の視点から撮影されることも珍しくない。複数の視点から撮影された画像は、対象の３次元計測や仮想視点における画像生成などの様々なアプリケーションに用いることができる。一般に、複数の視点から撮影された画像をこれらのアプリケーションに用いるためには、それぞれの画像を撮影したカメラのカメラパラメータを推定する必要がある。
【０００３】
重複領域を持つ複数の画像を入力とし、カメラパラメータを推定するＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳｆＭ）という手法が提案されている（例えば、非特許文献１参照）。これらの手法は複数の画像間で画像から検出される特徴点の対応をとり、その対応の関係からカメラパラメータを求める。カメラパラメータの推定精度は特徴点対応の精度に大きく依存することが知られている。この特徴点対応の精度に影響する原因の１つとして、複数の画像において焦点の合う奥行きが異なっていることが挙げられる。これは合焦している場合と合焦していない場合では、検出される特徴点の位置及び特徴量が異なるためである。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Noah Snavely, Steven M Seitz, Richard Szeliski,“Photo Tourism: Exploring image collections in 3D”,ACM Transaction on Graphics (Proceedings of SIGGRAPH 2006), 2006.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、１枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅからは複数枚のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ（ある奥行きで合焦した画像）が生成可能であるため、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを用いてＳｆＭを行う場合には、それぞれのｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅにおける全てのｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの組み合わせを考慮する必要がある。
【０００６】
しかしながら、それらの組み合わせの多くは奥行きが合っていないｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅであり、適切な奥行きのｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの組み合わせに対してＳｆＭを行った結果を自動的に選択することは難しいという問題がある。
【０００７】
本発明は、このような事情に鑑みてなされたもので、容易にカメラパラメータを推定することが可能な画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、重複領域を持つ合焦する奥行きが可変な画像である２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、それぞれの前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを撮影したカメラのカメラパラメータを推定する画像処理装置であって、２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅと、所定の奥行きに合焦した画像の分割数であるｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数と、前記カメラの内部パラメータとを入力する入力手段と、２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅそれぞれの特徴点及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を検出して出力する画像処理手段と、前記特徴点対応群および前記特徴点の位置から前記カメラパラメータを推定する幾何処理手段とを備えたことを特徴とする。
【０００９】
本発明は、前記画像処理部は、２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅ及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数を入力し、前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数に従い前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する手段と、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅのそれぞれを入力し、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点を検出する手段と、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点群を入力し、全ての特徴点群の組み合わせを求める手段と、前記特徴点群の組み合わせを入力し、検出した各特徴点の特徴量に基づいて特徴点対応群を求める手段と、得られた前記各特徴点および前記特徴点の対応を入力し、該特徴点の対応に対してエピポーラ制約を用いたＲＡＮＳＡＣ法による処理を行い、インライアとなる特徴点対応群及び特徴点群の組み合わせを出力する手段とを備えることを特徴とする。
【００１０】
本発明は、前記画像処理手段は、全ての組み合わせにおけるインライアとなる特徴点対応群を入力し、含まれる特徴点対応の数が最も多い特徴点群の組み合わせ及びインライアとなる特徴点対応群を出力することを特徴とする。
【００１１】
本発明は、前記幾何処理手段は、前記特徴点対応群および前記特徴点を入力し、基礎行列を算出する手段と、前記基礎行列及び前記カメラの内部パラメータを入力し、基本行列を算出する手段と、前記基本行列を入力し、回転行列及び並進ベクトルを出力する手段と、前記回転行列、前記並進ベクトル、前記内部パラメータ、前記特徴点および前記特徴点対応群を入力し、再投影誤差が最小になるようにバンドルアジャストメントを行い、前記回転行列、前記並進ベクトル、前記内部パラメータの最適解、最適化におけるイテレーション回数および再投影誤差を出力する手段とを備えることを特徴とする。
【００１２】
本発明は、前記幾何処理手段は、全ての組み合わせに対するバンドルアジャストメントの結果を入力し、最もイテレーション回数の少なかった特徴点群の組み合わせに対するバンドルアジャストメントの結果を出力することを特徴とする。
【００１３】
本発明は、前記幾何処理手段は、全ての組み合わせに対する全ての特徴点群の組み合わせに対して行われたバンドルアジャストメントの結果を入力し、最も再投影誤差の小さかった特徴点群の組み合わせに対するバンドルアジャストメントの結果を出力することを特徴とする。
【００１４】
本発明は、重複領域を持つ合焦する奥行きが可変な画像である２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、それぞれの前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを撮影したカメラのカメラパラメータを推定する画像処理方法であって、２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅと、所定の奥行きに合焦した画像の分割数であるｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数と、前記カメラの内部パラメータとを入力する入力ステップと、２枚の前記ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅそれぞれの特徴点及び前記ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を検出して出力する画像処理ステップと、前記特徴点対応群および前記特徴点の位置から前記カメラパラメータを推定する幾何処理ステップとを有することを特徴とする。
【００１５】
本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。
【発明の効果】
【００１６】
本発明によれば、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを用い、それぞれの画像を獲得したカメラのキャリブレーションを行う場合において、適切な合焦位置のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを用いたカメラパラメータの推定結果を自動的に出力することが可能になるという効果が得られる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】第１実施形態による画像処理装置の動作を示すフローチャートである。
【図３】第２実施形態による画像処理装置の動作を示すフローチャートである。
【図４】第３実施形態による画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００１８】
＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による画像処理装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅ及びｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ分割数及びカメラの内部パラメータを入力する入力部である。符号２は、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを入力とし、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ（ある奥行きに合焦した画像）の特徴点及びｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群を出力する画像処理部である。符号３は、特徴点対応群および特徴点の位置からカメラパラメータを推定して出力する幾何処理部である。
【００１９】
ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ間の特徴点対応群は、ある特徴点群のペアにおいて得られる全ての特徴点対応である。特徴点群とは１枚の画像から検出される全ての特徴点を指す。また、特徴点対応とはある画像における特徴点が、もう一方の画像においてどの特徴点と対応づくかという関係を表す。図１に示す画像処理装置は、複数存在する特徴点対応群の候補及びカメラパラメータの候補の中から、適切な合焦位置のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを用いた場合のものを自動的に出力する。
【００２０】
次に、図２を参照して、図１に示す画像処理装置の動作を説明する。図２は、図１に示す画像処理装置の動作を示すフローチャートである。図１に示す画像処理装置は、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ（２枚）、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの分割数、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを撮影したカメラの内部パラメータを入力し、外部パラメータ（回転行列、並進ベクトル）と内部パラメータを出力する。
【００２１】
まず、入力部１は、Ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを２枚入力する（ステップＳ１）。続いて、入力部１は、カメラの内部パラメータを入力する（ステップＳ２）。そして、入力部１は、作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数を入力する（ステップＳ３）。
【００２２】
次に、画像処理部２は、ステップＳ１において入力されたｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、ステップＳ３において入力された数だけｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する（ステップＳ４）。
【００２３】
次に、画像処理部２は、ステップＳ４において作成したｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅについて、特徴点を検出する（特徴点の位置、特徴量）（ステップＳ５）。
【００２４】
次に、画像処理部２は、特徴点群（１枚のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅから検出される全ての特徴点）の全ての組み合わせを用意する（ステップＳ６）。ただし、組み合わせの一方は１枚目のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから作成されたｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点群であり、もう一方は２枚目のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから作成されたｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの特徴点群である。
【００２５】
次に、画像処理部２は、全ての特徴点群の組み合わせに対し、特徴点対応群を求める（ステップＳ７）。
【００２６】
次に、幾何処理部３は、ステップＳ７において得られた特徴点対応群に対しＲＡＮＳＡＣ（RANDdom Sample Consensus）を行い、インライアとなる特徴点対応群を求める（ステップＳ８）。そして、幾何処理部３は、ステップＳ８の結果の中から、最も特徴点対応の数が多いもの出力する（ステップＳ９）。
【００２７】
次に、幾何処理部３は、ステップＳ９において得られたインライアとなる特徴点対応群から基礎行列を求める（ステップＳ１０）。
【００２８】
次に、幾何処理部３は、ステップＳ２において入力した内部パラメータとステップＳ１０において得られた基礎行列から基本行列を求める（ステップＳ１１）。
【００２９】
次に、幾何処理部３は、ステップＳ１１において得られた基本行列から回転行列および並進ベクトルを算出する（ステップＳ１２）。
【００３０】
次に、幾何処理部３は、ステップＳ１２において得られた回転行列、並進ベクトルおよびステップＳ２において入力した内部パラメータを初期値とし、ステップＳ９において得られたインライアとなる特徴点対応群を用いてバンドルアジャストメントを行い、回転行列、並進ベクトルおよび内部パラメータの最適解を求める（ステップＳ１３）。
【００３１】
最後に、幾何処理部３は、ステップＳ１３において求めた結果を出力する（ステップＳ１４）。
【００３２】
このように、複数存在する特徴点対応群の候補及びカメラパラメータの候補の中から、適切な合焦位置のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを用いた場合のものを自動的に出力することができる。
【００３３】
＜第２実施形態＞
次に、本発明の第２実施形態による画像処理装置を説明する。第２実施形態における装置構成は、図１に示す構成と同様であるため、ここでは詳細な説明を省略する。
【００３４】
次に、図３を参照して、第２実施形態における画像処理装置の動作を説明する。図３は、第２実施形態における画像処理装置の動作を示すフローチャートである。この図において、図２に示す動作と同一の動作には同一の符号を付し、その説明を簡単に行う。第２実施形態における画像処理装置は、第１実施形態における画像処理装置と同様に、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ（２枚）、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの分割数、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを撮影したカメラの内部パラメータを入力し、外部パラメータ（回転行列、並進ベクトル）と内部パラメータを出力する。
【００３５】
まず、入力部１は、Ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを２枚入力する（ステップＳ１）。続いて、入力部１は、カメラの内部パラメータを入力する（ステップＳ２）。そして、入力部１は、作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数を入力する（ステップＳ３）。
【００３６】
次に、画像処理部２は、ステップＳ１において入力されたｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、ステップＳ３において入力された数だけｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する（ステップＳ４）。
【００３７】
次に、画像処理部２は、ステップＳ４において作成したｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅについて、特徴点を検出する（特徴点の位置、特徴量）（ステップＳ５）。
【００３８】
次に、画像処理部２は、特徴点群（１枚のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅから検出される全ての特徴点）の全ての組み合わせを用意する（ステップＳ６）。
【００３９】
次に、画像処理部２は、特徴点群の組み合わせを１つ選択し、この特徴点群の組み合わせに対し、特徴点対応群を求める（ステップＳ１５）。
【００４０】
次に、幾何処理部３は、ステップＳ１５において得られた特徴点対応群に対しＲＡＮＳＡＣを行い、インライアとなる特徴点対応群を求める（ステップＳ８）。
【００４１】
次に、幾何処理部３は、ステップＳ８において得られたインライアとなる特徴点対応群から基礎行列を求める（ステップＳ１０）。
【００４２】
次に、幾何処理部３は、ステップＳ２において入力した内部パラメータとステップＳ１０において得られた基礎行列から基本行列を求める（ステップＳ１１）。
【００４３】
次に、幾何処理部３は、ステップＳ１１において得られた基本行列から回転行列および並進ベクトルを算出する（ステップＳ１２）。
【００４４】
次に、幾何処理部３は、ステップＳ１２において得られた回転行列、並進ベクトルおよびステップＳ２において入力した内部パラメータを初期値とし、ステップＳ８において得られたインライアとなる特徴点対応群を用いてバンドルアジャストメントを行い、回転行列、並進ベクトルおよび内部パラメータの最適解を求める（ステップＳ１７）。
【００４５】
次に、幾何処理部３は、全ての特徴点群の組み合わせに対して処理が終了したか否かを判定し、終了していなければステップＳ１５に戻り、用意した全ての特徴点群の組み合わせに対して処理を行う（ステップＳ１８）。
【００４６】
最後に、幾何処理部３は、全ての組み合わせの結果の中で、求めた非線形最適化のイテレーション回数が最も少ない結果を出力する（ステップＳ１９）。
【００４７】
このように、複数存在する特徴点対応群の候補及びカメラパラメータの候補の中から、適切な合焦位置のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを用いた場合のものを自動的に出力することができる。
【００４８】
＜第３実施形態＞
次に、本発明の第３実施形態による画像処理装置を説明する。第３実施形態における装置構成は、図１に示す構成と同様であるため、ここでは詳細な説明を省略する。
【００４９】
次に、図４を参照して、第３実施形態における画像処理装置の動作を説明する。図４は、第３実施形態における画像処理装置の動作を示すフローチャートである。この図において、図３に示す動作と同一の動作には同一の符号を付し、その説明を簡単に行う。第３実施形態における画像処理装置は、第１、第２実施形態における画像処理装置と同様に、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅ（２枚）、ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの分割数、各ｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを撮影したカメラの内部パラメータを入力し、外部パラメータ（回転行列、並進ベクトル）と内部パラメータを出力する。
【００５０】
まず、入力部１は、Ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅを２枚入力する（ステップＳ１）。続いて、入力部１は、カメラの内部パラメータを入力する（ステップＳ２）。そして、入力部１は、作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数を入力する（ステップＳ３）。
【００５１】
次に、画像処理部２は、ステップＳ１において入力されたｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから、ステップＳ３において入力された数だけｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する（ステップＳ４）。
【００５２】
次に、画像処理部２は、ステップＳ４において作成したｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅについて、特徴点を検出する（特徴点の位置、特徴量）（ステップＳ５）。
【００５３】
次に、画像処理部２は、特徴点群（１枚のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅから検出される全ての特徴点）の全ての組み合わせを用意する（ステップＳ６）。
【００５４】
次に、画像処理部２は、特徴点群の組み合わせを１つ選択し、この特徴点群の組み合わせに対し、特徴点対応群を求める（ステップＳ１５）。
【００５５】
次に、幾何処理部３は、ステップＳ１５において得られた特徴点対応群に対しＲＡＮＳＡＣを行い、インライアとなる特徴点対応群を求める（ステップＳ８）。
【００５６】
次に、幾何処理部３は、ステップＳ８において得られたインライアとなる特徴点対応群から基礎行列を求める（ステップＳ１０）。
【００５７】
次に、幾何処理部３は、ステップＳ２において入力した内部パラメータとステップＳ１０において得られた基礎行列から基本行列を求める（ステップＳ１１）。
【００５８】
次に、幾何処理部３は、ステップＳ１１において得られた基本行列から回転行列および並進ベクトルを算出する（ステップＳ１２）。
【００５９】
次に、幾何処理部３は、ステップＳ１２において得られた回転行列、並進ベクトルおよびステップＳ２において入力した内部パラメータを初期値とし、ステップＳ８において得られたインライアとなる特徴点対応群を用いてバンドルアジャストメントを行い、回転行列、並進ベクトルおよび内部パラメータの最適解を求める（ステップＳ１７）。
【００６０】
次に、幾何処理部３は、全ての特徴点群の組み合わせに対して処理が終了したか否かを判定し、終了していなければステップＳ１５に戻り、用意した全ての特徴点群の組み合わせに対して処理を行う（ステップＳ１８）。
【００６１】
最後に、幾何処理部３は、全ての組み合わせの結果の中で、求めた非線形最適化後の再投影誤差が最も小さい結果を出力する（ステップＳ２０）。
【００６２】
このように、複数存在する特徴点対応群の候補及びカメラパラメータの候補の中から、適切な合焦位置のｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを用いた場合のものを自動的に出力することができる。
【００６３】
なお、前述したステップＳ１において、入力する２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅは以下の（１）、（２）のどちらでもよい。
（１）１台のカメラが２視点から撮影した画像。
（２）２台のカメラが２視点から撮影した画像。
ただし、２台のカメラは必ずしも同期している必要はないが、重複領域を有している必要がある。
【００６４】
また、前述したステップＳ２において、入力するカメラの内部パラメータは、参考文献１に記載の内部パラメータを利用しても求めてもよい。
参考文献１：Zhang, Zhengyou. "A flexible new technique for camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transactions on 22.11 (2000): 1330-1334.
【００６５】
また、前述したステップＳ３において、入力するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数は、ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから奥行きを推定し、その奥行きの値を基に適当な数を設定してもよい。Ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅから奥行きを推定する手法は公知の手法（例えば、参考文献２参照）を用いる。
参考文献２：Tao, Michael W., et al. "Depth from Combining Defocus and Correspondence Using Light-Field Cameras." ICCV,  (2013).
【００６６】
具体的な数の定め方としては、例えば奥行きに関してクラスタリングを行い、そのクラスタの数をｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数とする。ただし、その場合はクラスタリングのイテレーション回数及び閾値を事前に定める必要がある。
【００６７】
また、前述したステップＳ４において、Ｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅからｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する方法は公知の手法（例えば、参考文献３参照）を利用する。
参考文献３：Ng, Ren, et al. "Light field photography with a hand-held plenoptic camera." Computer Science Technical Report CSTR 2.11 (2005).
【００６８】
ただし、作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの奥行きは以下の（３）、（４）のどちらでもよい。
（３）ｓｔｅｐ＝（最も大きい奥行き）／（作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数）とし、カメラの光学中心の近いほうからｓｔｅｐの整数倍の奥行きでｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する。
（４）ｋ−ｍｅａｎｓなどで奥行きに関してクラスタリングし（ｋは作成するｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの数）、各クラスタの重心の奥行きでｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅを作成する。
【００６９】
また、前述したステップＳ５において、特徴点を検出する手法として、ＳＩＦＴ、ＳＵＲＦ、ＣＡＲＤなどの公知の方法を用いることができる。
【００７０】
また、前述したステップＳ７において、特徴点を対応付ける手法として、ＳＩＦＴなどで提案されているように特徴点の特徴量の類似度に基づく手法を利用することができる。
【００７１】
また、前述したステップＳ８において、ＲＡＮＳＡＣに用いるモデルとして、エピポーラ制約を用いてもよい。
【００７２】
また、前述したステップＳ１０において、基礎行列の求め方として、ｅｉｇｈｔ−ｐｏｉｎｔ  ａｌｇｏｒｉｔｈｍを用いてもよい。
【００７３】
また、前述したステップＳ１３、Ｓ１７において、バンドルアジャストメントに用いる非線形最適化手法として、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ法を利用してもよい。
【００７４】
以上説明したように、２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅに対してＳｆＭを行う場合、それぞれ適切な奥行きのｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの組み合わせに対してＳｆＭを適用した結果を自動的に出力することにより容易にカメラパラメータを推定することが可能になる。これらは被写体の高精度な三次元形状推定や品質の高い仮想視点映像の生成に利用することができる。
【００７５】
前述した実施形態における画像処理装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００７６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００７７】
２枚のｒｅｆｏｃｕｓ−ａｂｌｅ  ｉｍａｇｅに対してＳｆＭを行う場合、それぞれ適切な奥行きのｒｅｆｏｃｕｓｅｄ  ｉｍａｇｅの組み合わせに対してＳｆＭを適用した結果を自動的に出力することが不可欠な用途に適用できる。
【符号の説明】
【００７８】
１・・・入力部、２・・・画像処理部、３・・・幾何処理部
【図１】
2016003930.tif 000003
【図２】
2016003930.tif 000004
【図３】
2016003930.tif 000005
【図４】
2016003930.tif 000006