(57)【要約】【課題】平面物体を表す入力画像における平面物体の法線を精度良く推定することができる法線推定装置、法線推定方法、及び法線推定プログラムを提供する。【解決手段】入力画像群中の画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定し、推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの複数の解候補を算出し、予め定められた制約に基づいて、複数の解候補から、物理的に実現不可能な解を除去し、除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、画像ペアの各々についての１つの前記解候補の組み合わせを選択し、選択された解候補の組み合わせを用いて、入力画像の各々から見たときの平面物体の法線を決定する。【選択図】図１
2018097795.tif 000002
【特許請求の範囲】
【請求項１】
平面物体を表す複数の入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定する射影変換行列推定部と、
前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出する法線候補推定部と、
前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去する不可能解除去部と、
前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択する法線選択部と、
前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定する法線決定部と、
を含む法線推定装置。
【請求項２】
前記入力画像群に含まれる前記入力画像の各々から局所特徴を抽出する局所特徴抽出部と、
前記画像ペアの各々について、前記局所特徴抽出部により抽出された前記画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定する暫定対応点決定部と、
前記画像ペアの各々について、前記暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める幾何検証部と、
前記画像ペアの各々について前記幾何検証部により求められた前記インライア対応点に基づいて、前記画像ペアをスコアリングする信頼度算出部と、を更に含み、
前記射影変換行列推定部は、前記信頼度算出部によりスコアリングされた信頼度が閾値より大きい前記画像ペアの各々について、前記インライア対応点に基づいて前記画像ペアの座標系の射影変換行列を推定する
請求項１記載の法線推定装置。
【請求項３】
前記法線選択部は、他の画像ペアについて選択される前記解候補との誤差を表す、劣モジュラ性を満たす目的関数に基づいて、前記解候補の組み合わせを選択する
請求項１又は２記載の法線推定装置。
【請求項４】
前記入力画像群は、３以上の前記入力画像からなる
請求項１〜３の何れか１項記載の法線推定装置。
【請求項５】
射影変換行列推定部、法線候補推定部、不可能解除去部、法線選択部、及び法線決定部を有する法線推定装置における法線推定方法であって、
前記射影変換行列推定部が、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定するステップと、
前記法線候補推定部が、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、
前記不可能解除去部が、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去するステップと、
前記法線選択部が、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択するステップと、
前記法線決定部が、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定するステップと、
を含む法線推定方法。
【請求項６】
コンピュータを、請求項１〜４の何れか１項記載の法線推定装置の各部として機能させるための法線推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に写り込む平面物体の法線を推定する法線推定装置、法線推定方法、及び法線推定プログラムに関する。
【背景技術】
【０００２】
同一の平面物体が写り込んだ２枚の画像から、平面物体の向き（法線）を推定する公知の方法は、まず２枚の画像から算出される射影変換行列をカメラ間の回転成分／並行移動成分及び平面物体の法線に分解し、得られた（最大８つの候補解）の中から条件を満たす解を選択する方法である。
【０００３】
入力画像に写り込む物体の姿勢を精度良く推定することは、ＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）データを現実世界に重畳表示するＡＲ（Ａｕｇｍｅｎｔｅｄ  Ｒｅａｌｉｔｙ）アプリケーションを高品質に実現するうえで必要不可欠である。入力画像に写り込む物体が、例えば看板、ポスター等の平面物体である場合、物体の姿勢を推定することは、平面を定義する法線を推定することに帰着する。
【０００４】
同一の平面物体が写り込んだ２枚の画像が与えられた場合に各々の画像に写り込む平面物体の法線を推定する公知の技術としては、非特許文献１〜３に開示された技術が知られている。これらの技術は何れも、各画像を撮影したカメラ座標系間の射影変換行列（ホモグラフィ）を、カメラ間の回転成分及び並行移動成分と、平面物体の法線とに分解するアルゴリズムであり、何らの制約を置かない場合、最大８つの解の候補が得られる。
【０００５】
このように、簡単な物理的制約を置くことで、解の候補を２つに絞り込むことまでは容易に実現可能であるものの、残った２つの解から実際の法線を一意に特定することは一般には難しい。例えば、カメラは平面物体の正面付近から撮影されるといった制約を置けば、カメラ座標平面の法線と平面物体の法線がなす角がより小さくなるような法線を選択する等することで、解を一意に特定することは可能である。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】O. Faugeras et al., Motion and structure from motion in a piecewise planar environment, International Journal of Pattern Recognition and Artificial Intelligence, 1988. https://hal.inria.fr/inria‐00075698.
【非特許文献２】Z. Zhang et al., 3D Reconstruction based on Homography Mapping, in ARPA, 1996. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.54.5975&rep=rep1&type=pdf.
【非特許文献３】E. Malis et al., Deeper Understanding of the Homography Decomposition for Visionbased Control, INRIA Research Report, 2007. https://hal.inria.fr/inria‐00174036.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記のような制約を置いたとき、当然ながら平面物体をより斜めから撮影した場合には法線を精度良く推定することはできない。すなわち、比較的強い制約（例えば、平面物体はおよそ正面近くからしか撮影されない等）を置くことで、残った２つの解の候補を１つに特定することは可能であるものの、そのような制約は技術の適用範囲を狭めてしまうという問題がある。
【０００８】
本発明は、以上のような事情に鑑みてなされたものであり、平面物体を表す入力画像における平面物体の法線を精度良く推定することができる法線推定装置、法線推定方法、及び法線推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の法線推定装置は、平面物体を表す複数の入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定する射影変換行列推定部と、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出する法線候補推定部と、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去する不可能解除去部と、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択する法線選択部と、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定する法線決定部と、を含む。
【００１０】
なお、前記入力画像群に含まれる前記入力画像の各々から局所特徴を抽出する局所特徴抽出部と、前記画像ペアの各々について、前記局所特徴抽出部により抽出された前記画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定する暫定対応点決定部と、前記画像ペアの各々について、前記暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める幾何検証部と、前記画像ペアの各々について前記幾何検証部により求められた前記インライア対応点に基づいて、前記画像ペアをスコアリングする信頼度算出部と、を更に含み、
前記射影変換行列推定部は、前記信頼度算出部によりスコアリングされた信頼度が閾値より大きい前記画像ペアの各々について、前記インライア対応点に基づいて前記画像ペアの座標系の射影変換行列を推定する
ようにしても良い。
【００１１】
また、前記法線選択部は、他の画像ペアについて選択される前記解候補との誤差を表す、劣モジュラ性を満たす目的関数に基づいて、前記解候補の組み合わせを選択するようにしても良い。
【００１２】
また、前記入力画像群は、３以上の前記入力画像からなるようにしても良い。
【００１３】
上記目的を達成するために、本発明の法線推定方法は、射影変換行列推定部、法線候補推定部、不可能解除去部、法線選択部、及び法線決定部を有する法線推定装置における法線推定方法であって、前記射影変換行列推定部が、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、前記画像ペアの対応点から前記画像ペアの座標系の射影変換行列を推定するステップと、前記法線候補推定部が、前記画像ペアの各々について、前記射影変換行列推定部により推定された前記画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と前記画像ペアの入力画像の各々から見たときの前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、前記不可能解除去部が、前記画像ペアの各々について、予め定められた制約に基づいて、前記法線候補推定部により算出された前記複数の解候補から、物理的に実現不可能な解を除去するステップと、前記法線選択部が、前記画像ペアの各々について前記不可能解除去部により除去されなかった前記解候補を法線候補集合として入力し、他の画像ペアについて選択される前記解候補との誤差が最も小さくなるように、前記画像ペアの各々についての１つの前記解候補の組み合わせを選択するステップと、前記法線決定部が、前記法線選択部により選択された前記解候補の組み合わせを用いて、前記入力画像の各々から見たときの前記平面物体の法線を決定するステップと、を含む。
【００１４】
上記目的を達成するために、本発明の法線推定プログラムは、コンピュータを、上記法線推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、平面物体を表す入力画像における平面物体の法線を精度良く推定することができることが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１実施形態に係る法線推定装置の機能的な構成を示すブロック図である。
【図２】第１実施形態に係る法線推定処理の流れを示すフローチャートである。
【図３】第２実施形態に係る法線推定装置の機能的な構成を示すブロック図である。
【図４】第２実施形態に係る法線推定処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態について図面を用いて説明する。
【００１８】
＜第１実施形態＞
【００１９】
図１は、第１実施形態に係る法線推定装置１０の機能的な構成を示すブロック図である。図１に示すように、第１実施形態に係る法線推定装置１０は、射影変換行列推定部１２、法線候補推定部１４、不可能解除去部１６、解候補記憶部１８、法線選択部２０、及び法線決定部２２を有している。
【００２０】
射影変換行列推定部１２は、同一の平面物体が写り込んだＮ（≧３）枚の入力画像に写り込む平面物体の対応点（４点以上）のピクセル座標を、画像ペア毎に入力し、各画像ペアについて、射影変換行列を推定する。射影変換行列を推定する方法は任意の方法を用いることが可能で、例えば、最小二乗法、ＤＬＴ（Ｄｉｒｅｃｔ  Ｌｉｎｅａｒ  Ｔｒａｎｓｆｏｒｍ）等を用いることができる。
【００２１】
法線候補推定部１４は、得られた各画像ペアに対応する射影変換行列を、カメラ間の回転成分及び並行移動成分と、画像ペアの各入力画像から見たときの平面物体の法線とに分解し、解の候補を出力する。射影変換行列を分解する方法は任意であり、例えば、上記非特許文献１〜３に開示されている技術等を用いることができる。
【００２２】
ここで、上記非特許文献１に開示されている技術を用いたときの、画像ペアＩｉとＩｊとに対応する射影変換行列Ｈｉｊの分解手法について説明する。
【００２３】
例えば、射影変換行列推定部１２で算出された任意の画像ペアに対応する射影変換行列
【数１】
2018097795.tif 000003
を、回転行列
【数２】
2018097795.tif 000004
、並進ベクトル
【数３】
2018097795.tif 000005
、画像Ｉｉの座標系から見たときの平面物体の法線ベクトルｎｉに分解する。
【００２４】
射影変換行列推定部１２は、射影変換行列を推定する際、公知の方法を用いることができる。例えば、上記非特許文献１で開示されている技術を用いると、８通りの解候補｛Ｒｉｊ，ｔｉｊ，ｎｉ，ｎｊ｝が得られる。すなわち、下記（１）式にｅ１＝±１、ｅ３＝±１を当てはめることにより４通りの解候補が得られ、また、下記（２）式にｅ１＝±１、ｅ３＝±１を当てはめることにより４通りの解候補が得られる。なお、解候補｛Ｒｉｊ，ｔｉｊ，ｎｉ，ｎｊ｝は、回転行列、並進ベクトル、及び２つの法線ベクトルの組み合わせである。
【００２５】
【数４】
2018097795.tif 000006
…（１）
【００２６】
【数５】
2018097795.tif 000007
…（２）
【００２７】
なお、解候補は、例えば、上記非特許文献１で開示されているように、下記（３）式〜下記（１４）式を用いて、ＳＶＤ（singular value decomposition）による行列分解を行うことにより求められる。
【００２８】
【数６】
2018097795.tif 000008
…（３）
【００２９】
【数７】
2018097795.tif 000009
…（４）
【００３０】
【数８】
2018097795.tif 000010
…（５）
【００３１】
【数９】
2018097795.tif 000011
…（６）
【００３２】
【数１０】
2018097795.tif 000012
…（７）
【００３３】
【数１１】
2018097795.tif 000013
…（８）
【００３４】
【数１２】
2018097795.tif 000014
…（９）
【００３５】
【数１３】
2018097795.tif 000015
…（１０）
【００３６】
【数１４】
2018097795.tif 000016
…（１１）
【００３７】
【数１５】
2018097795.tif 000017
…（１２）
【００３８】
【数１６】
2018097795.tif 000018
…（１３）
【００３９】
【数１７】
2018097795.tif 000019
…（１４）
【００４０】
不可能解除去部１６は、得られた各画像ペアに対応する解候補として、法線候補推定部１４により射影変換行列Ｈｉｊを分解することで得られた解候補｛Ｒｉｊ，ｔｉｊ，ｎｉ，ｎｊ｝を入力し、予め定めた物理的な制約を置くことで、解候補のうち現実的には有り得ない解を除去する。
【００４１】
物理的に不可能な解を除去する方法としては、以下に示す２つの方法が挙げられる。一般的に、以下に示す２つの制約の双方を適用することで、解候補を２通りにまで絞り込むことができる。
【００４２】
＜制約１＞２つの画像が、平面物体から見て同じ側から撮影されたという制約（ただし、平面物体は透明ではない）を適用する。
【００４３】
すなわち、
【数１８】
2018097795.tif 000020
を満たさなければ棄却する。
【００４４】
＜制約２＞２つの画像間の対応点は、どちらの画像からも見えるという制約を適用する。
【００４５】
すなわち、画像Ｉｉ中の対応点の同次座標をｍ（ベクトル）として、
【数１９】
2018097795.tif 000021
を満たさなければ棄却する。
【００４６】
本実施形態では、対応点を、入力として与えられた対応点から選べば良い。なお、後述する第２実施形態では、対応点を、後述する幾何検証部４６で得られたインライア対応点から選べば良い。
【００４７】
不可能解除去部１６は、除去されずに残った解候補を解候補記憶部１８に記憶させる。
【００４８】
法線選択部２０は、解候補記憶部１８に記憶されている解候補を入力し、解候補の集合から、他の画像ペアについて選択される解候補との誤差を表す目的関数ｆ（Ｘ）が最適化されるように、画像ペアの各々について１つの候補を選択する。上述した事項は、解候補の各々にラベルを付与し、射影変換行列集合
【数２０】
2018097795.tif 000022
【００４９】
に対応する画像ペアの各々についてのラベルからなるラベル集合
【数２１】
2018097795.tif 000023
を変数とし、上記を表現した目的関数ｆ（Ｘ）を最大化するような、画像ペアの各々についてのラベルの組み合わせＸ＊を求める問題として定義できる。なお、目的関数ｆ（Ｘ）は、上述した事項を満たすものであれば任意の形態をとることが可能である。例えば、下記（１６）式で定義することができる。
【００５０】
目的関数ｆ（Ｘ）を最大化するような、画像ペアの各々についてのラベルの組み合わせＸ＊を求める最も簡単な方法は、ラベルＸのあらゆるパターンに対応する目的関数ｆ（ｘ）の値を算出し、最も値が高くなるようなパターンを、目的関数ｆ（Ｘ）を最大化するような組み合わせＸ＊として出力する方法である。この方法では、
【数２２】
2018097795.tif 000024
通り（ｚは解候補の数）の目的関数ｆ（ｘ）を計算する必要がある。例えば、下記（１６）式及び下記（１７）式のように目的関数を設定した場合、射影変換行列推定部１２による射影変換行列の推定方法によっては目的関数が劣モジュラ性を満たす。そのため、例えば、下記（１５）式に示すように、劣モジュラ性が成立するときの下記（１６）式の解を高速に求めるアルゴリズムのような貪欲アルゴリズムを用いることで、高速に、画像ペアの各々についてのラベルの組み合わせＸ＊を求めることができる。
【００５１】
【数２３】
2018097795.tif 000025
…（１５）
【００５２】
【数２４】
2018097795.tif 000026
・
…（１６）
【００５３】
【数２５】
2018097795.tif 000027
…（１７）
【００５４】
上記目的関数ｆ（Ｘ）を最適化することにより、互いの法線推定誤差が最も小さくなるように、画像ペアの各々について、解候補の中から解を選択することで、各画像ペアに対応する解候補を一意に絞り込む。
【００５５】
このように、法線選択部２０によって、各画像ペアにから算出される射影変換行列に対応する平面物体の法線ベクトルは一意に決まる。
【００５６】
法線決定部２２は、法線選択部２０によって一意に決められた、各画像ペアから算出される射影変換行列に対応する平面物体の法線ベクトルを入力とし、各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを算出する。
【００５７】
各画像ペアから算出される射影変換行列に対応する平面物体の法線ベクトルから、各カメラ座標系から見たときの法線ベクトルを求める方法としては、任意の方法を用いることができる。例えば、ある入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルの平均を計算することにより、当該入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを算出する。
【００５８】
また、法線決定部２２は、算出した各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトルを、各入力画像を撮影したカメラ座標系から見たときの平面物体の法線ベクトル
【数２７】
2018097795.tif 000028
として、出力する。
【００５９】
なお、本実施形態に係る法線推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、法線推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００６０】
本実施形態に係る法線推定装置１０による学習処理の流れを、図２に示すフローチャートを用いて説明する。本実施形態では、法線推定装置１０に、法線推定処理の実行を開始するための予め定めた情報が入力されたタイミングで法線推定処理が開始されるが、法線推定処理が開始されるタイミングはこれに限らず、例えば、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々における対応点が入力されたタイミングで法線推定処理が開始されても良い。
【００６１】
ステップＳ１０１では、射影変換行列推定部１２が、平面物体を表す３枚以上の入力画像からなる入力画像群中の画像ペアの各々の対応点を入力する。
【００６２】
ステップＳ１０３では、射影変換行列推定部１２が、入力した画像ペアの各々について、当該画像ペアの対応点から当該画像ペアの座標系の射影変換行列を推定する。
【００６３】
ステップＳ１０５では、法線候補推定部１４が、入力した画像ペアの各々について、射影変換行列推定部１２により推定された当該画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と当該画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線の組み合わせで表される複数の解候補を算出する。
【００６４】
ステップＳ１０７では、不可能解除去部１６が、入力した画像ペアの各々について、例えば、上述した予め定められた２つの制約に基づいて、法線候補推定部１４により算出された複数の解候補から、物理的に実現不可能な解を除去する。
【００６５】
ステップＳ１０９では、法線選択部２０が、入力した画像ペアの各々について不可能解除去部により除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差を表す目的関数を最適化するように、画像ペアの各々についての１つの解候補を選択する。
【００６６】
ステップＳ１１１では、法線決定部２２が、選択された解候補に基づいて、入力画像の各々から見たときの平面物体の法線を算出し、算出された法線に関するデータを出力し、本法線推定処理のプログラムの実行を終了する。なお、本実施形態では、選択された法線を示すデータをディスプレイ等の表示手段に表示させたり、推定された法線を示すデータを記憶手段に記憶させたりすることにより、選択された法線に関するデータを出力する。
【００６７】
このように、本実施形態では、平面物体を表す入力画像からなる入力画像群中の画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定し、画像ペアの各々について、推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの複数の解候補を算出する。また、画像ペアの各々について、予め定められた制約に基づいて、法線候補推定部により算出された複数の解候補から、物理的に実現不可能な解を除去し、画像ペアの各々について、除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差が最も小さくなるように、画像ペアの各々についての１つの解候補の組み合わせを選択する。そして、選択された解候補の組み合わせを用いて、入力画像の各々から見たときの平面物体の法線を決定する。
【００６８】
すなわち、上述したように、画像に写り込む平面物体の法線を推定する上記非特許文献１〜３に開示されている技術では、同一の平面物体が写り込んだ２枚の画像を用いて平面物体の法線を推定している。一方、本実施形態では、同一の平面物体が写り込んだ３枚以上の画像を入力とし、３枚以上の画像の各々の画像ペアについて射影変換行列を推定し、公知の技術を用いて法線候補を算出する。また、得られた法線候補の集合について、互いの画像ペアにおける推定誤差が最も小さくなるような候補解を選択することによって、各画像ペアにおける法線の解を一意に決定し、その結果から、各画像から見たときの平面物体の法線を算出する。
【００６９】
これにより、法線の候補解を一意に絞り込むために何らの仮定を置く必要はないため、技術の適用領域を狭めることはない。すなわち、本実施形態によると、何らの制約を置くことなく精度良く各画像から見たときの平面物体の法線（すなわち向き）を推定することが可能になる。
【００７０】
＜第２実施形態＞
【００７１】
次に、第２実施形態に係る法線推定装置について説明する。
【００７２】
上述した第１実施形態では、各入力画像に写り込む平面物体の法線を推定するために各画像について４点以上の対応点の座標を手動で入力する必要がある。一方、本第２実施形態では、平面物体が写り込んだＮ枚の画像そのものを入力として、各画像に写り込む平面物体の法線を推定する。本第２実施形態によると、複数の画像を入力とする際のユーザの手間及びコストを削減することができ、本第２実施形態は、特に、多量の画像を入力とする場合に有用である。
【００７３】
図３は、第２実施形態に係る法線推定装置１０Ａの機能を示すブロック図である。図３に示すように、法線推定装置１０Ａは、第１実施形態に係る法線推定装置１０の構成に加えて、局所特徴抽出部４０、暫定対応付け決定部４４、幾何検証部４６、及び、信頼度推定部４８を有している。
【００７４】
第２実施形態に係る法線推定装置１０Ａのその他の構成は、上記第１実施形態に係る法線推定装置１０と同じであるため、上記第１実施形態に係る法線推定装置１０と同じ構成については同一の符号を付し、説明を省略する。
【００７５】
局所特徴抽出部４０は、入力された各画像から局所特徴量および各局所特徴に対応する属性情報を抽出する。抽出する局所特徴量は任意の公知の技術を用いることが可能であり、例えば、上記非特許文献１で開示されているＳＩＦＴを用いることができ、他にもＳＵＲＦ、ＢＥＩＥＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ、ＡＫＡＺＥ等を用いることができる。
【００７６】
また属性情報としては、上記非特許文献１で開示されている技術と同様に、位置（ｘ,ｙ）、スケール、回転量の４つを取得しても良いし、上記非特許文献２で開示されている技術を用いて位置（ｘ，ｙ）、スケール、回転（ロー、ピッチ、ヨー）の６つを取得しても良い。
【００７７】
局所特徴抽出部４０は、求めた局所特徴及び属性情報を、解候補記憶部１８に記憶させる。
【００７８】
暫定対応付け決定部４４は、入力された各画像からなる画像ペアの各々について、解候補記憶部１８から当該画像ペアに対応する局所特徴の情報を読み出し、局所特徴を比較することで、当該画像ペア間で局所特徴を暫定的に対応付ける。
【００７９】
比較の方法は任意であり、例えば局所特徴ベクトル間のＬ２ノルムを計算し、その値が最も小さい画像間局所特徴ペアを対応付けるなどすれば良い。
【００８０】
幾何検証部４６は、入力された各画像からなる画像ペアの各々について、暫定対応付け決定部４４により求められた当該画像ペア間の対応付け結果から、所定の幾何モデルのパラメータを推定し、その結果を用いて、当該画像ペア間の暫定対応付け結果から誤対応を除去する。
【００８１】
所定の幾何モデルは任意であり、例えばアフィン変換、ホモグラフィ変換等を用いることができる。また、上記非特許文献３で開示されている技術を用いて、局所特徴抽出部４０により得られた属性情報を用いて投票空間を構築し、投票数の多いセル単位で幾何モデルのパラメータを推定し誤対応除去を実施しても良い。
【００８２】
信頼度推定部４８は、画像ペアの各々について、幾何検証部４６で得られた対応付け（インライア対応点）の結果を用いて、当該画像ペア間で幾何的な整合性がとれているか否かを評価する。
【００８３】
信頼度の算出方法は任意であり、例えば、上記非特許文献３に開示された技術のように、推定した幾何変換パラメータを用いて、画像ペアの何れか一方であるテスト画像を、他方の訓練画像上にマッピングし、当該マッピング領域内の局所特徴点数に応じて誤対応が生じる確率を算出するといった技術を用いることができる。
【００８４】
ここで、算出された信頼度が所定の閾値以下である画像ペアについては、画像間で局所特徴の対応付けに失敗していると判定し、以降の処理は行わないものとする。
【００８５】
すなわち、本実施形態では、射影変換行列推定部１２は、信頼度推定部４８により算出された子音ライドが、所定の閾値より大きい各画像ペアについて、幾何検証部４６により得られたインライア対応点を用いて、所定の幾何モデルを仮定したときの画像ペア間の射影変換行列を推定する。また、法線候補推定部１４、不可能解除去部１６、及び法線選択部２０の各処理においても、信頼度推定部４８により算出された信頼度が、所定の閾値より大きい各画像ペアについて処理が行われる。
【００８６】
なお、本実施形態に係る法線推定装置１０Ａは、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、法線推定装置１０Ａを構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００８７】
次に、本実施形態に係る法線推定装置１０Ａによる法線推定処理の流れを、図４に示すフローチャートを用いて説明する。本実施形態では、法線推定装置１０Ａに、適用処理の実行を開始するための予め定めた情報が入力されたタイミングで法線推定処理が開始されるが、法線推定処理が開始されるタイミングはこれに限らず、例えば、平面物体を表す入力画像からなる入力画像群が入力されたタイミングで法線推定処理が開始されても良い。
【００８８】
ステップＳ２０１では、局所特徴抽出部４０が、平面物体を表す３枚以上の入力画像からなる入力画像群を入力する。
【００８９】
ステップＳ２０３では、局所特徴抽出部４０が、入力した入力画像群中の入力画像の各々の局所特徴を抽出する。
【００９０】
ステップＳ２０５では、暫定対応付け決定部４４が、入力画像群中の画像ペアの各々について、当該画像ペアの入力画像の各々について抽出された局所特徴を比較して、暫定的な対応点を決定する。
【００９１】
ステップＳ２０７では、幾何検証部４６が、入力した入力画像群中の画像ペアの各々について、暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める。
【００９２】
ステップＳ２０９では、信頼度推定部４８が、入力した入力画像群中の画像ペアの各々について、求められた当該画像ペアのインライア対応点に基づいて、当該画像ペアをスコアリングする。
【００９３】
ステップＳ２１１では、射影変換行列推定部１２が、信頼度が閾値より大きい画像ペアの各々について、画像ペアの対応点から画像ペアの座標系の射影変換行列を推定する。
【００９４】
ステップＳ２１３では、法線候補推定部１４が、信頼度が閾値より大きい画像ペアの各々について、射影変換行列推定部１２により推定された画像ペアに対応する射影変換行列を、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線とに分解したときの、回転成分及び並行移動成分と画像ペアの入力画像の各々から見たときの平面物体の法線の組み合わせで表される複数の解候補を算出する。
【００９５】
ステップＳ２１５では、不可能解除去部１６が、信頼度が閾値より大きい画像ペアの各々について、例えば、上述した予め定められた２つの制約に基づいて、法線候補推定部１４により算出された複数の解候補から、物理的に実現不可能な解を除去する。
【００９６】
ステップＳ２１７では、法線選択部２０が、信頼度が閾値より大きい画像ペアの各々について不可能解除去部により除去されなかった解候補を法線候補集合として入力し、他の画像ペアについて選択される解候補との誤差を表す目的関数を最適化するように、画像ペアの各々についての１つの解候補の組み合わせを選択する。
【００９７】
ステップＳ２１９では、法線決定部２２が、選択された解候補の組み合わせに基づいて、入力画像の各々から見たときの平面物体の法線を算出し、算出された法線に関するデータを出力し、本法線推定処理のプログラムの実行を終了する。なお、本実施形態では、選択された法線を示すデータをディスプレイ等の表示手段に表示させたり、推定された法線を示すデータを記憶手段に記憶させたりすることにより、選択された法線に関するデータを出力する。
【００９８】
このようにして、本実施形態では、入力画像群に含まれる入力画像の各々から局所特徴を抽出し、画像ペアの各々について、抽出された画像ペアの入力画像の各々の局所特徴を比較して、暫定的な対応点を決定し、画像ペアの各々について、暫定的な対応点の集合を幾何モデルにあてはめ、幾何変換パラメータを推定することにより、外れ値でないインライア対応点を求める。また、画像ペアの各々について、求められたインライア対応点に基づいて、画像ペアをスコアリングし、スコアリングされた信頼度が閾値より大きい画像ペアの各々について、インライア対応点に基づいて画像ペアの座標系の射影変換行列を推定する。
【００９９】
なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、法線推定装置１０、１０Ａとして利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【０１００】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【０１０１】
１０  法線推定装置
１２  射影変換行列推定部
１４  法線候補推定部
１６  不可能解除去部
１８  解候補記憶部
２０  法線選択部
２２  法線決定部
４０  局所特徴抽出部
４４  暫定対応付け決定部
４６  幾何検証部
４８  信頼度推定部
【図１】
2018097795.tif 000029
【図２】
2018097795.tif 000030
【図３】
2018097795.tif 000031
【図４】
2018097795.tif 000032