(57)【要約】【課題】画像に写った平面的な被写体とカメラとの相対角度を精度良く推定する。【解決手段】訓練画像４０に写る平面物体上の複数の基準点の情報、訓練画像４０を撮影したカメラのカメラパラメータ、及び訓練画像４０に写る平面物体の法線を記憶する。訓練画像４０の局所特徴量とテスト画像４２の局所特徴量とから訓練画像４０とテスト画像４２とにおける対応点を決定し、対応点の集合から、訓練画像４０をテスト画像４２に射影変換するための射影変換行列を推定し、カメラパラメータから、射影変換行列を、訓練画像４０とテスト画像４２との間の回転及び並進運動とテスト画像４２に写る平面物体の法線とに分解したときの複数の解候補から、物理的に実現可能な解候補を選択し、射影変換行列を用いて、解候補の法線と訓練画像４０の法線と照合し、１つの解候補を選択し、テスト画像４２に写る平面物体とテスト画像４２を撮影したカメラとの相対角度を算出する。【選択図】図２
2018173823.tif 000002
【特許請求の範囲】
【請求項１】
平面物体が写る訓練画像及びテスト画像の各々から局所特徴量を抽出する局所特徴抽出部と、
前記訓練画像に写る前記平面物体上の複数の基準点の情報、前記訓練画像を撮影したカメラのカメラパラメータ、及び前記訓練画像に写る前記平面物体の法線を記憶する補助情報保存部と、
前記訓練画像の局所特徴量と前記テスト画像の局所特徴量とから前記訓練画像と前記テスト画像とにおける対応点を決定する対応点決定部と、
前記対応点決定部より決定された対応点の集合から、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定する射影変換行列推定部と、
前記カメラパラメータから、前記射影変換行列推定部により推定された前記射影変換行列を、前記訓練画像と前記テスト画像との間の回転及び並進運動と前記テスト画像に写る前記平面物体の法線とに分解したときの複数の解候補を算出する射影変換行列分解部と、
予め定められた制約に基づいて、前記射影変換行列分解部により算出された前記複数の解候補から、物理的に実現可能な前記解候補を選択する掌性判定部と、
前記掌性判定部により選択された前記解候補を入力し、前記射影変換行列推定部により推定された前記射影変換行列を用いて、前記解候補の前記法線と前記訓練画像の前記法線と照合し、１つの前記解候補を選択する解妥当性判定部と、
前記複数の基準点の情報と、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とから、前記テスト画像に写る前記平面物体と前記テスト画像を撮影したカメラとの相対角度を算出する角度算出部と、
を含む相対角度推定装置。
【請求項２】
前記角度算出部は、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とを用いて算出した前記複数の基準点の三次元空間上の位置に基づいて、前記相対角度を算出する
請求項１記載の相対角度推定装置。
【請求項３】
平面物体が写る訓練画像及びテスト画像を入力し、前記訓練画像及び前記テスト画像の各々に対して前処理を実施する前処理部を更に含み、
前記補助情報保存部は、前記訓練画像及び前記テスト画像の各々に対して、前記前処理の前後の変換パラメータを更に記憶し、
前記射影変換行列推定部は、前記カメラパラメータと、前記対応点決定部により決定された対応点の集合と、前記変換パラメータとから、前記前処理部により前処理が実施される前の、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定する
請求項１記載の相対角度推定装置。
【請求項４】
複数の前記訓練画像を入力した場合、前記複数の前記訓練画像から、前記テスト画像と最も類似する前記訓練画像を選択する候補画像選択部を更に含む
請求項１〜３の何れか１項記載の相対角度推定装置。
【請求項５】
前記訓練画像に写る前記平面物体の法線を推定する被写体法線推定部を更に含み、
前記補助情報保存部は、前記被写体法線推定部によって推定された、前記訓練画像に写る前記平面物体の法線を記憶する
請求項１〜４の何れか１項記載の相対角度推定装置。
【請求項６】
局所特徴抽出部と、訓練画像に写る平面物体上の複数の基準点の情報、前記訓練画像を撮影したカメラのカメラパラメータ、及び前記訓練画像に写る前記平面物体の法線を記憶する補助情報保存部と、対応点決定部と、射影変換行列推定部と、射影変換行列分解部と、掌性判定部と、解妥当性判定部と、及び角度算出部とを有する相対角度推定装置における相対角度推定方法であって、
前記局所特徴抽出部が、前記訓練画像及びテスト画像の各々から局所特徴量を抽出するステップと、
前記対応点決定部が、前記訓練画像の局所特徴量と前記テスト画像の局所特徴量とから前記訓練画像と前記テスト画像とにおける対応点を決定する対応点決定部と、
前記射影変換行列推定部が、前記対応点決定部より決定された対応点の集合から、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定するステップと、
前記射影変換行列分解部が、前記カメラパラメータから、前記射影変換行列推定部により推定された前記射影変換行列を、前記訓練画像と前記テスト画像との間の回転及び並進運動と前記テスト画像に写る前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、
前記掌性判定部が、予め定められた制約に基づいて、前記射影変換行列分解部により算出された前記複数の解候補から、物理的に実現可能な前記解候補を選択するステップと、
前記解妥当性判定部が、前記掌性判定部により選択された前記解候補を入力し、前記射影変換行列推定部により推定された前記射影変換行列を用いて、前記解候補の前記法線と前記訓練画像の前記法線と照合し、１つの前記解候補を選択するステップと、
角度算出部が、前記複数の基準点の情報と、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とから、前記テスト画像に写る前記平面物体と前記テスト画像を撮影したカメラとの相対角度を算出するステップと、
を含む相対角度推定方法。
【請求項７】
コンピュータを、請求項１〜５の何れか１項記載の相対角度推定装置の各部として機能させるための相対角度推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に写り込む平面物体の被写体と画像を撮影したカメラとの相対角度を推定する相対角度推定装置、相対角度推定方法、及び相対角度推定プログラムに関する。
【背景技術】
【０００２】
画像に被写体が写っている場合に、画像上に写った被写体が何であるかを認識できれば、画像上の被写体の位置と、事前に構築しておいた認識対象の実空間上での位置とを照合することで、カメラ（撮影者）の実空間中でのおよその位置を特定することができる。加えて、認識した被写体と撮影者との相対的な角度（例えば、図１に示す方位角）が推定できれば、スマートフォン、タブレット端末等で撮影された画像から、撮影者の実空間中での場所と向きに応じたナビゲーション（次に向かう場所の提示、現在地に関連した情報提示等）を実現することができる。
【０００３】
非特許文献１及び非特許文献２には、２画像間の対応点集合から基礎行列及び基本行列を推定する技術が開示されている。２画像の対応点集合から基礎行列及び基本行列が正しく推定できれば、対応点を三次元空間に逆投影することができるため、被写体と撮影者との三次元的な位置関係が復元できる。
【０００４】
しかし、非特許文献１及び非特許文献２で開示されている技術における、基礎行列及び基本行列を推定する公知の方法は、２画像間の対応点が三次元空間上で同一平面内には存在しないことを仮定しており、２画像が一つの平面のみを捉えている場合、基礎行列及び基本行列を精度良く推定することができない。撮影者が平面的な被写体を近づいて撮影し、画像中には被写体の平面部しか写り込まないという状況は高い頻度で発生すると考えられる。このような状況で、被写体と撮影者との相対角度が推定できないことは、システムの可用性やユーザビリティを大きく損ねてしまう、という問題がある。
【０００５】
一方、非特許文献３では、認識対象が写り込む２画像間を幾何的に対応付ける射影変換行列と、撮影に用いられたカメラの内部パラメータ（以下、「カメラパラメータ」という）とから、２画像間の相対的な回転情報、２画像間の相対的な並進情報、及び被写体の法線とを推定する技術が開示されている。非特許文献２で開示されている技術を用いることで、入力画像に一つの平面のみしか写っていない場合でも、被写体と撮影者との三次元空間中での位置関係を精度良く推定することができる。
【０００６】
なお、被写体と撮影者との相対角度の推定は、被写体と撮影者との三次元空間中での位置関係の推定の一例とみなすことができる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】R. I. Hartley, In Defence of the 8-point Algorithm, TPAMI, 1997.インターネット＜ＵＲＬ：http://www.cs.cmu.edu/afs/andrew/scs/cs/15-463/f07/proj_final/www/amichals/fundamental.pdf＞
【非特許文献２】D. Niester, An Efficient Solution to the Five-Point Relative Pose Problem, TPAMI, 2004. インターネット＜ＵＲＬ：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.86.8769&rep=rep1&type=pdf＞
【非特許文献３】E. Malis et al., Deeper Understanding of the Homography Decomposition for Vision-based Control, INRIA Research Report, 2007. インターネット＜ＵＲＬ：https://hal.inria.fr/inria-00174036/document＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
被写体と撮影者との相対角度を推定するに際に、非特許文献３で開示されている技術には、下記の３つの問題がある。
【０００９】
まず、非特許文献３で開示されている技術は、射影変換行列によって対応付けられる２画像を撮影した各々のカメラパラメータが正確に求まっていることを仮定している。しかし実運用においては、撮影に用いられる全てのカメラについて内部パラメータを事前に用意しておくことは負荷が高い。特に、テスト画像は任意の撮影デバイスで撮影される可能性があり、それら全てについてカメラパラメータを事前に推定しておくことは困難である。カメラパラメータが未知の場合に上記と同様なことを実現する単純な方法として、入力画像のサイズや固定の焦点距離等から算出したおおまかなカメラパラメータを非特許文献１に開示されている技術に適用する方法が考えられる。しかし、この方法を用いるのみでは、カメラパラメータの不正確さに起因して、解の精度が低下したり、解が一意に定まらなかったりする、という問題が生じる。
【００１０】
また、テスト画像に写った被写体と撮影者との相対角度の推定は、テスト画像に写る被写体の識別と合わせて実施されることが少なくない。被写体の識別の精度を向上させるために、訓練画像はリサイズ、切り出し等といった前処理が行われることはごく一般的である。しかし、その場合、前処理によって得られた画像のカメラパラメータは、元画像のカメラパラメータとは異なるため、訓練画像を撮影したカメラのカメラパラメータをそのまま適用することができない、という問題が生じる。
【００１１】
さらに、非特許文献３で開示されている技術のみでは、被写体平面を示す法線は得られても、例えば方位角のような、実空間を考慮した被写体と撮影者の相対角度を正確に算出することはできない、という問題もある。カメラの向き、及び被写体の法線のみから角度そのものを算出すること自体は容易であるものの、算出された角度はナビゲーションを実現する際に必要な角度（例えば、被写体と撮影者とが水平方向になす角（方位角））とは異なる。すなわち、テスト画像が全て地面に垂直に設置されたカメラで撮影されたと仮定すれば、算出された角度は方位角に一致するが、特にテスト画像の撮影者に対し、カメラの平面部を地面に垂直に設置させることは、ユーザの撮影自由度を著しく制約してしまうことにつながる。
【００１２】
以上をまとめると、テスト画像中の平面的な被写体と撮影者との相対的な角度の推定に関連する公知の技術には、下記（１）乃至（３）の課題があった：
【００１３】
（１）テスト画像の撮影に用いるカメラのカメラパラメータが未知の場合、得られる解が一意に定まるとは限らない。
【００１４】
（２）テスト画像、及び訓練画像にリサイズ、クロッピング等の前処理が施されている場合、元画像を撮影したカメラのカメラパラメータをそのまま適用できない。
【００１５】
（３）被写体と撮影者の相対的な角度算出にあたり、実空間の情報を考慮できない。例えば、水平方向における被写体と撮影者の相対角度（方位角）を、ユーザの撮影自由度を損なわずに推定することができない。
【００１６】
本発明は、以上のような事情に鑑みてなされたものであり、画像に写った平面的な被写体とカメラとの相対角度を精度良く推定することができる相対角度推定装置、相対角度推定方法、及び相対角度推定プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明の相対角度推定装置は、平面物体が写る訓練画像及びテスト画像の各々から局所特徴量を抽出する局所特徴抽出部と、前記訓練画像に写る前記平面物体上の複数の基準点の情報、前記訓練画像を撮影したカメラのカメラパラメータ、及び前記訓練画像に写る前記平面物体の法線を記憶する補助情報保存部と、前記訓練画像の局所特徴量と前記テスト画像の局所特徴量とから前記訓練画像と前記テスト画像とにおける対応点を決定する対応点決定部と、前記対応点決定部より決定された対応点の集合から、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定する射影変換行列推定部と、前記カメラパラメータから、前記射影変換行列推定部により推定された前記射影変換行列を、前記訓練画像と前記テスト画像との間の回転及び並進運動と前記テスト画像に写る前記平面物体の法線とに分解したときの複数の解候補を算出する射影変換行列分解部と、予め定められた制約に基づいて、前記射影変換行列分解部により算出された前記複数の解候補から、物理的に実現可能な前記解候補を選択する掌性判定部と、前記掌性判定部により選択された前記解候補を入力し、前記射影変換行列推定部により推定された前記射影変換行列を用いて、前記解候補の前記法線と前記訓練画像の前記法線と照合し、１つの前記解候補を選択する解妥当性判定部と、前記複数の基準点の情報と、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とから、前記テスト画像に写る前記平面物体と前記テスト画像を撮影したカメラとの相対角度を算出する角度算出部と、を含む。
【００１８】
なお、前記角度算出部は、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とを用いて算出した前記複数の基準点の三次元空間上の位置に基づいて、前記相対角度を算出するようにしても良い。
【００１９】
また、平面物体が写る訓練画像及びテスト画像を入力し、前記訓練画像及び前記テスト画像の各々に対して前処理を実施する前処理部を更に含み、前記補助情報保存部は、前記訓練画像及び前記テスト画像の各々に対して、前記前処理の前後の変換パラメータを更に記憶し、前記射影変換行列推定部は、前記カメラパラメータと、前記対応点決定部により決定された対応点の集合と、前記変換パラメータとから、前記前処理部により前処理が実施される前の、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定するようにしても良い。
【００２０】
また、複数の前記訓練画像を入力した場合、前記複数の前記訓練画像から、前記テスト画像と最も類似する前記訓練画像を選択する候補画像選択部を更に含むようにしても良い。
【００２１】
また、前記訓練画像に写る前記平面物体の法線を推定する被写体法線推定部を更に含み、前記補助情報保存部は、前記被写体法線推定部によって推定された、前記訓練画像に写る前記平面物体の法線を記憶するようにしても良い。
【００２２】
上記目的を達成するために、本発明の相対角度推定方法は、局所特徴抽出部と、訓練画像に写る平面物体上の複数の基準点の情報、前記訓練画像を撮影したカメラのカメラパラメータ、及び前記訓練画像に写る前記平面物体の法線を記憶する補助情報保存部と、対応点決定部と、射影変換行列推定部と、射影変換行列分解部と、掌性判定部と、解妥当性判定部と、及び角度算出部とを有する相対角度推定装置における相対角度推定方法であって、前記局所特徴抽出部が、前記訓練画像及びテスト画像の各々から局所特徴量を抽出するステップと、前記対応点決定部が、前記訓練画像の局所特徴量と前記テスト画像の局所特徴量とから前記訓練画像と前記テスト画像とにおける対応点を決定する対応点決定部と、前記射影変換行列推定部が、前記対応点決定部より決定された対応点の集合から、前記訓練画像を前記テスト画像に射影変換するための射影変換行列を推定するステップと、前記射影変換行列分解部が、前記カメラパラメータから、前記射影変換行列推定部により推定された前記射影変換行列を、前記訓練画像と前記テスト画像との間の回転及び並進運動と前記テスト画像に写る前記平面物体の法線とに分解したときの複数の解候補を算出するステップと、前記掌性判定部が、予め定められた制約に基づいて、前記射影変換行列分解部により算出された前記複数の解候補から、物理的に実現可能な前記解候補を選択するステップと、前記解妥当性判定部が、前記掌性判定部により選択された前記解候補を入力し、前記射影変換行列推定部により推定された前記射影変換行列を用いて、前記解候補の前記法線と前記訓練画像の前記法線と照合し、１つの前記解候補を選択するステップと、角度算出部が、前記複数の基準点の情報と、前記解妥当性判定部により選択された前記解候補の前記回転及び並進運動と、前記射影変換行列とから、前記テスト画像に写る前記平面物体と前記テスト画像を撮影したカメラとの相対角度を算出するステップと、を含む。
【００２３】
上記目的を達成するために、本発明の相対角度推定プログラムは、コンピュータを、上記相対角度推定装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２４】
本発明によれば、画像に写った平面的な被写体とカメラとの相対角度を精度良く推定することが可能となる。
【図面の簡単な説明】
【００２５】
【図１】被写体及びカメラの位置関係と当該位置関係における方位角とを示す模式図である。
【図２】第１実施形態に係る相対角度推定装置の機能的な構成を示すブロック図である。
【図３】実施形態に係る補助情報保存部について説明するための模式図である。
【図４】実施形態に係る補助情報保存部により記憶される各情報について説明するための模式図である。
【図５】実施形態に係る相対角度の算出方法について説明するための模式図である。
【図６】実施形態に係る相対角度の算出方法について説明するための模式図である。
【図７】実施形態に係る相対角度の算出方法について説明するための模式図である。
【図８】第１実施形態に係る補助情報記憶処理の流れを示すフローチャートである。
【図９】第１実施形態に係る相対角度推定処理の流れを示すフローチャートである。
【図１０】第２実施形態に係る相対角度推定装置の機能的な構成を示すブロック図である。
【図１１】第２実施形態に係る相対角度推定処理の流れを示すフローチャートである。
【図１２】第３実施形態に係る相対角度推定装置の機能的な構成を示すブロック図である。
【図１３】第３実施形態に係る補助情報記憶処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下、本発明の実施形態について図面を用いて説明する。
【００２７】
本実施形態に係る相対角度推定装置は、撮影された画像に写り込む平面状の被写体（例えば、看板、広告等であり、以下、「平面物体」という）とカメラとの相対的な角度を推定する装置である。
【００２８】
最初に、本実施形態に係る相対角度推定装置は、各々の訓練画像に写った平面物体の法線の情報を事前に記憶させる。なお、相対角度推定装置は、後述するように射影変換行列を算出した際に、訓練画像に写った平面物体の法線を用いて、算出された射影変換行列から得られた平面物体の法線の候補解との一貫性を評価することで、候補解の妥当性を評価する。妥当性の評価とは、例えば、解候補が複数存在する場合に解候補を一意に特定すること、信頼性が低い解候補を棄却すること等である。
【００２９】
また、本実施形態に係る相対角度推定装置は、複数の訓練画像にリサイズ、切り出し等の前処理を行うと共に、前処理後の訓練画像の画像座標系を、カメラパラメータが既知である前処理前の画像座標系へ変換するためのパラメータを事前に記憶しておく。そして、射影変換行列を推定する際には、この変換パラメータを用いて、カメラパラメータが既知の画像座標系における射影変換行列を推定する。
【００３０】
さらに、本実施形態に係る相対角度推定装置は、実空間の情報を考慮した相対角度の推定に必要な平面物体上の基準点の情報を事前に記憶しておく。相対角度を算出する際には、上記基準点と、それまでの処理で得られた画像間の射影変換行列、相対回転情報、及び相対並進情報から、カメラと平面物体との相対角度を算出する。
【００３１】
第１実施形態では、訓練画像として、相対角度の推定対象とする平面物体（例えば、壁に設置された看板、広告等の平面物体）が正面から撮影された１枚の画像を入力する場合について考える。また、第１実施形態では、相対角度の推定対象とする平面物体が写ったテスト画像を入力すると、カメラの撮像面に対する平面物体の方位角を相対角度として推定し、推定した相対角度を出力する。なお、ここでいう方位角とは、図１に示す通り、水平面における平面物体とカメラの撮像面との相対角度である。
【００３２】
図２は、第１実施形態に係る相対角度推定装置１０の機能的な構成を示すブロック図である。図２に示すように、第１実施形態に係る相対角度推定装置１０は、訓練部３４、及び、認識部３６を有している。
【００３３】
訓練部３４は、前処理部１２、補助情報保存部１４、パラメータ記憶部１６、及び、局所特徴抽出部１８を有している。また、認識部３６は、上述した前処理部１２、局所特徴抽出部２０、対応点決定部２２、射影変換行列推定部２４、射影変換行列分解部２６、掌性判定部２８、解妥当性判定部３０、及び、角度算出部３２を有している。
【００３４】
まず、訓練部３４について説明する。
【００３５】
前処理部１２は、訓練画像４０を入力とし、入力した訓練画像４０に対して所定の画像処理を実施する。なお、前処理部１２で実施される画像処理は任意の画像処理であって良く、例えば、所定の大きさへのリサイズ、特定の領域の手動クロッピング、画像ノイズの影響を低減するためのフィルタリング等が挙げられる。
【００３６】
補助情報保存部１４は、前処理部１２における画像処理の前後の訓練画像４０において画像座標系が変化した場合に、前処理後の画像座標系を前処理前の画像座標系に変換するために必要な情報（以下、「変換パラメータ」という）をパラメータ記憶部１６に記憶させる。変換パラメータを用いることにより、訓練画像４０の座標が、カメラパラメータが既知の画像座標系の座標に変換される。
【００３７】
一例として、図３に示すように、前処理部１２で、入力した訓練画像４０を左上点（ｓｘ，ｓｙ）からクロッピングした後に、訓練画像４０を１／ｋ倍したとする。この場合に、補助情報保存部１４に、変換パラメータとして、（ｓｘ，ｓｙ）と、１／ｋとが記憶される。また、補助情報保存部１４には、更に、訓練画像４０に写る平面物体の法線の情報、実空間の情報を反映した平面物体とカメラとの相対角度を推定するための基準点の情報、及び訓練画像４０を撮影したカメラ固有のカメラパラメータが事前に記憶されている。訓練画像４０に写る平面物体の法線の情報としては、例えば図３に示すように、三次元ベクトル
2018173823.tif 000003
を構成する要素の値を記憶すれば良い。
【００３８】
本実施形態では、訓練画像４０が平面物体を正面から捉えていることに注意すると、法線ベクトルは、奥行き方向（ここでは、ｚ軸とする）にのみ値を持つベクトル（例えば、ｎｘ＝ｎｙ＝０，ｎｚ＝１）で表わされる。また、平面物体とカメラとの方位角を求めるためには、訓練画像４０における矩形の平面物体の３頂点の座標がわかれば良く、図３に示す例では、これらの３頂点の座標をＡ（ｘ１，ｙ１）、Ｂ（ｘ２，ｙ２）、Ｃ（ｘ３，ｙ３）として記憶している。
【００３９】
さらに、図３に示す例では、訓練画像４０を撮影したカメラのＩＤを補助情報として記憶している。パラメータ記憶部１６は、複数のカメラのＩＤの各々に対応付けられたカメラパラメータのデータベースを有しており、訓練画像４０を撮影したカメラのＩＤの情報から、カメラパラメータデータを検索する。なお、カメラのカメラパラメータについては、任意のモデルに基づくものを用いることができる。
【００４０】
以下、本実施例では、下記（１）式に示す３ｘ３のカメラパラメータを用いるものとする：
【数１】
2018173823.tif 000004
……（１）
【００４１】
なお、パラメータｆｘ、ｆｙ、ｃｘ、ｃｙは、撮影画像のサイズ、カメラの焦点距離等から算出しても良いし、あるいは下記参考文献１に開示されている公知の方法で推定したものを用いてもよい。
【００４２】
［参考文献１］Z. Zhang, A Flexible New Technique for Camera Calibration, TPAMI, 2000.
【００４３】
局所特徴抽出部１８は、前処理部１２が入力した訓練画像４０から、局所特徴量及び各局所特徴に対応する属性情報を抽出し、抽出した局所特徴量と属性情報との組をパラメータ記憶部１６に記憶させる。局所特徴量の抽出方法としては、任意の公知の技術を用いることが可能であり、例えば、下記参考文献２で開示されているＳＩＦＴ、下記参考文献３で開示されているＬＩＦＴ、その他、ＳＵＲＦ、ＢＥＩＥＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ、ＡＫＡＺＥ等が挙げられる。
【００４４】
［参考文献２］D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, IJCV, 2004.
【００４５】
［参考文献３］K. M. Yi et al., LIFT: Learned Invariant Feature Transform, in Proc. ECCV, 2016.
【００４６】
次に、認識部３６について説明する。
【００４７】
前処理部１２は、撮影で得られたテスト画像４２を入力とし、訓練部３４の場合と同様に、入力したテスト画像４２に対して所定の画像処理を実施する。なお、テスト画像４２に適用される前処理は、訓練画像４０に適用された画像処理とは異なっていても良い。ただし、訓練部３４の場合と同様に、前処理部１２による画像処理によってテスト画像４２の画像座標系が変化する場合には、変換パラメータをパラメータ記憶部１６に記憶させておき、以降の射影変換行列推定部２４で、パラメータ記憶部１６に記憶されている変換パラメータを用いる。
【００４８】
局所特徴抽出部２０は、テスト画像４２から、局所特徴抽出部１８と同様に、局所特徴量及び各局所特徴に対応する属性情報を抽出する。また、局所特徴抽出部２０は、パラメータ記憶部１６に記憶されている局所特徴量と属性情報との組を取得する。
【００４９】
対応点決定部２２は、テスト画像４２及び訓練画像４０の双方から抽出された局所特徴量を、特徴量の類似性に基づいて対応付ける。テスト画像４２及び訓練画像４０の双方から抽出された局所特徴量を対応付ける方法としては、任意の方法を用いることができ、例えば、上記参考文献２に開示されているような、画像間の各対応点ペアについて類似度を計算する方法、下記参考文献４で開示されている、ｋ−ｄ  ｔｒｅｅの高速に基づく近似近傍探索手法等が挙げられる。なお、誤対応を除去するため、最も類似した対応点ペアの類似度が、２番目に類似した対応点ペアの類似度よりも一定の閾値以上大きい場合にのみ、対応点ペアの類似度を計算するｒａｔｉｏ  ｔｅｓｔを実施してもよい。
【００５０】
以下では、対応点決定部２２により得られた訓練画像４０とテスト画像４２との対応点の組の集合を、
2018173823.tif 000005
とする。
【００５１】
なお、
2018173823.tif 000006
は、訓練画像４０中の対応点座標であり、
2018173823.tif 000007
は、テスト画像４２中の対応点座標である。
【００５２】
［参考文献４］M. Muja et al., Fast Approximate Nearest Neighbors with Automatic Algorithm Configuration, in Proc. VISAPP, 2009.
【００５３】
射影変換行列推定部２４は、対応点決定部２２で得られた対応点集合と、補助情報保存部１４で得られた訓練画像４０の変換パラメータ、テスト画像４２に前処理部１２の処理を施す際に得られた変換パラメータを入力として、カメラパラメータが既知あるいは推定可能な画像座標系における射影変換行列を推定する。該射影変換行列を推定する方法としては、例えば対応点の集合
2018173823.tif 000008
に変換パラメータを適用し、得られた対応点集合
2018173823.tif 000009
に下記参考文献５で開示されているＤＬＴを適用する方法、対応点集合
2018173823.tif 000010
からＤＬＴで求められた射影変換行列を、訓練画像４０及びテスト画像４２の各々の変換パラメータを用いて変形する方法等を用いることができる。
【００５４】
［参考文献５］R. Hartley et al., Multiple View Geometry in Computer Vision, 2004.
【００５５】
対応点決定部２２までに残ってしまった誤対応の影響を低減するため、上記参考文献５で開示されているＲＡＮＳＡＣをＤＬＴと組み合わせて用いても良い。
【００５６】
射影変換行列推定部２４で推定する射影変換行列は、訓練画像４０の座標をテスト画像４２に変換する行列であっても、テスト画像４２の座標を訓練画像４０に変換する行列であっても良い。なお、本実施形態では、テスト画像４２を訓練画像４０に変換する射影変換行列
2018173823.tif 000011
を用いた場合について説明する。
【００５７】
射影変換行列分解部２６は、射影変換行列推定部２４で得られた射影変換行列を、下記（２）式に基づいて、画像間の相対回転情報、相対並進情報および平面物体の法線の候補解に分解する。具体的には、射影変換行列
2018173823.tif 000012
を、下記（２）式に示すように、以下の関係性に基づいて回転行列
2018173823.tif 000013
、並進ベクトル
2018173823.tif 000014
、及び法線ベクトル
2018173823.tif 000015
に分解する：
【数２】
2018173823.tif 000016
……（２）
【００５８】
なお、
2018173823.tif 000017
はテスト画像４２を撮影したカメラのカメラパラメータであり、
2018173823.tif 000018
は訓練画像４０を撮影したカメラのカメラパラメータである。
【００５９】
上記（２）式を満たす分解候補解を算出する公知の方法としては、例えば、上記非特許文献１で開示されている方法が挙げられる。
【００６０】
なお、上記非特許文献１で開示されている方法は、具体的には、下記（３）式〜（１９）式を用いて求められる。なお、下記（７）式〜（１９）式は、下記（６）式においてｉ＝１であった場合について示した式である。
【００６１】
【数３】
2018173823.tif 000019
……（３）
【００６２】
【数４】
2018173823.tif 000020
……（４）
【００６３】
【数５】
2018173823.tif 000021
……（５）
【００６４】
【数６】
2018173823.tif 000022
……（６）
【００６５】
【数７】
2018173823.tif 000023
……（７）
【００６６】
【数８】
2018173823.tif 000024
……（８）
【００６７】
【数９】
2018173823.tif 000025
……（９）
【００６８】
【数１０】
2018173823.tif 000026
……（１０）
【００６９】
【数１１】
2018173823.tif 000027
……（１１）
【００７０】
【数１２】
2018173823.tif 000028
……（１２）
【００７１】
【数１３】
2018173823.tif 000029
……（１３）
【００７２】
【数１４】
2018173823.tif 000030
……（１４）
【００７３】
【数１５】
2018173823.tif 000031
……（１５）
【００７４】
【数１６】
2018173823.tif 000032
……（１６）
【００７５】
【数１７】
2018173823.tif 000033
……（１６）
【００７６】
【数１８】
2018173823.tif 000034
……（１８）
【００７７】
【数１９】
2018173823.tif 000035
……（１９）
【００７８】
なお、上記（２）式を満たす分解候補解を算出する公知の方法としては、上述した方法の他にも、下記参考文献６で開示されている方法、下記参考文献７で開示されている方法等を用いることができる。
【００７９】
［参考文献６］O. Faugeras et al., Motion and structure from motion in a piecewise planar environment, International Journal of Pattern Recognition and Artificial Intelligence, 1988.
【００８０】
［参考文献７］Z. Zhang et al., 3D Reconstruction based on Homography Mapping, in ARPA, 1996.
【００８１】
2018173823.tif 000036
は、補助情報保存部１４で得られたカメラパラメータを用いれば良い。
2018173823.tif 000037
についても、事前にカメラパラメータが既知の場合にはそのカメラパラメータを用いれば良く、カメラパラメータが未知の場合には、テスト画像４２のサイズ等から見積もったカメラパラメータを用いれば良い。なお、
2018173823.tif 000038
の正確な値が分かっていない場合、掌性判定部２８のみでは解を一意に特定できない場合がある。
【００８２】
上記非特許文献３で開示されている技術を用いると、下記の４つの解候補が得られる：
2018173823.tif 000039
2018173823.tif 000040
2018173823.tif 000041
2018173823.tif 000042
【００８３】
掌性判定部２８は、射影変換行列分解部２６で得られた候補解のうち、物理的に実現可能な解を絞り込む。候補解が物理的に実現可能な解か否かを判定する方法は、例えば、下記（１）乃至（３）に示す条件の全てを満たすか否かで判定することができる。
【００８４】
（１）２つの画像は、被写体から見て同じ側から撮影されている、という制約（平面物体は透明でない）を満たすことを条件とする。すなわち、下記（２０）式の条件を満たさなければ棄却する。
【数２０】
2018173823.tif 000043
……（２０）
（２）対応点は２つの画像どちらからも見える、という制約を満たすことを条件とする。画像内の対応点の同次座標を
2018173823.tif 000044
として、下記（２１）式の条件を満たさなければ棄却する。
【数２１】
2018173823.tif 000045
……（２１）
（３）各カメラ座標系から見たときの被写体の法線の向きは一致している、という制約を満たすことを条件とする。被写体法線の奥行きに対応する要素（例えば、ｚ軸）の値が正でなければ棄却する。
【００８５】
射影変換行列分解部２６で用いられる射影変換行列とカメラパラメータとが正確である場合、掌性判定部２８によって解を一意に定めることができる。しかし、用いたカメラパラメータが粗く推定されたものである場合等では、掌性判定部２８のみでは解を一意に特定することができない。
【００８６】
解妥当性判定部３０は、掌性判定部２８で得られた解の法線を、補助情報保存部１４で得られた訓練画像４０中の被写体法線の情報と照合し、その解妥当性を判定する。解妥当性を判定する具体的な方法としては、例えば、補助情報保存部１４から得られた、訓練画像４０の画像座標系における平面物体の法線
2018173823.tif 000046
と、掌性判定部２８で得られた、テスト画像４２の座標系からみた被写体の法線
2018173823.tif 000047
を、訓練画像４０の画像座標系における法線に変換したもの
2018173823.tif 000048
とのコサイン類似度を算出し、算出したコサイン類似度が最も高く、かつ予め設定しておいた閾値以上のものを解として出力すればよい。
【００８７】
角度算出部３２は、解妥当性判定部３０までの処理で得られた射影変換行列と、射影変換行列を分解して得られる回転行列、並進ベクトル、及び法線と、補助情報保存部１４で得られた基準点の情報を用いて、実空間を考慮した平面物体とカメラとの相対角度を算出する。相対角度の算出は、例えば図５乃至７に示す手順で実施すればよい。
【００８８】
すなわち、図５に示すように、下記（２２）式を用いて、射影変換行列推定部２４で得られた射影変換行列を用いて、補助情報保存部１４で得られた各基準点
2018173823.tif 000049
のテスト画像４２の画像座標系における位置
2018173823.tif 000050
を算出する。
【００８９】
【数２２】
2018173823.tif 000051
……（２２）
【００９０】
また、図６に示すように、
2018173823.tif 000052
及び
2018173823.tif 000053
を用いて、下記（２３）式を計算することにより、基準点の三次元空間上での位置を復元する。
【００９１】
【数２３】
2018173823.tif 000054
……（２３）
【００９２】
ただし、
2018173823.tif 000055
2018173823.tif 000056
2018173823.tif 000057
2018173823.tif 000058
2018173823.tif 000059
2018173823.tif 000060
2018173823.tif 000061
2018173823.tif 000062
とする。
【００９３】
また、図７に示すように、各基準点の3次元空間上での位置から、下記（２４）式に基づいて、カメラの撮像面に対する被写体の方位角φを算出する。この際、角度算出部３２は、下記（２４）式を満たす角度φを方位角として出力する。
【００９４】
【数２４】
2018173823.tif 000063
……（２４）
【００９５】
なお、
2018173823.tif 000064
2018173823.tif 000065
とする。
【００９６】
なお、本実施形態に係る相対角度推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、各種プログラムを記憶するＲＯＭ（Read Only Memory）を備えたコンピュータ装置で構成される。また、相対角度推定装置１０を構成するコンピュータは、ハードディスクドライブ、不揮発性メモリ等の記憶部を備えていても良い。本実施形態では、ＣＰＵがＲＯＭ、ハードディスク等の記憶部に記憶されているプログラムを読み出して実行することにより、上記のハードウェア資源とプログラムとが協働し、上述した機能が実現される。
【００９７】
本実施形態に係る相対角度推定装置１０による補助情報記憶処理の流れを、図８に示すフローチャートを用いて説明する。本実施形態では、相対角度推定装置１０に、補助情報記憶処理の実行を開始するための予め定めた情報が入力されたタイミングで補助情報記憶処理が開始されるが、補助情報記憶処理が開始されるタイミングはこれに限らず、例えば、訓練画像４０が入力されたタイミングで補助情報記憶処理が開始されても良い。
【００９８】
ステップＳ１０１では、前処理部１２が、相対角度の推定対象とする平面物体が写った訓練画像４０、当該訓練画像４０の撮影に用いたカメラのカメラパラメータ、当該訓練画像４０に写った平面画像の法線の情報、及び、当該平面画像上の基準点の情報を入力する。
【００９９】
ステップＳ１０３では、前処理部１２が、入力した訓練画像４０に対して前処理を実施する。また、この際に訓練画像４０の画像座標系が変化する場合には、訓練画像４０の座標を、前処理後の画像座標系の座標から前処理前の画像座標系の座標に変換するための変換パラメータを生成する。
【０１００】
ステップＳ１０５では、局所特徴抽出部１８が、前処理が実施された訓練画像４０から局所特徴量を抽出する。
【０１０１】
ステップＳ１０７では、補助情報保存部１４が、入力したカメラパラメータ、入力した法線の情報、入力した基準点の情報、及び、生成した変換パラメータを、補助情報としてパラメータ記憶部１６に記憶させると共に、局所特徴抽出部１８により抽出された局所特徴量の情報をパラメータ記憶部１６に記憶させ、本補助情報記憶処理のプログラムの実行を終了する。
【０１０２】
次に、本実施形態に係る相対角度推定装置１０による相対角度推定処理の流れを、図９に示すフローチャートを用いて説明する。本実施形態では、相対角度推定装置１０に、相対角度推定処理の実行を開始するための予め定めた情報が入力されたタイミングで相対角度推定処理が開始されるが、相対角度推定処理が開始されるタイミングはこれに限らず、例えば、テスト画像４２が入力されたタイミングで相対角度推定処理が開始されても良い。
【０１０３】
ステップＳ２０１では、前処理部１２が、テスト画像４２を入力する。
【０１０４】
ステップＳ２０３では、前処理部１２が、入力したテスト画像４２に対して前処理を実施する。また、この際にテスト画像４２の画像座標系が変化する場合には、ステップＳ１０３と同様に、テスト画像４２の座標を、前処理後の画像座標系の座標から前処理前の画像座標系の座標に変換するための変換パラメータを生成する。
【０１０５】
ステップＳ２０５は、局所特徴抽出部２０が、前処理が実施されたテスト画像４２から局所特徴量を抽出する。
【０１０６】
ステップＳ２０７では、対応点決定部２２が、パラメータ記憶部１６に記憶されている訓練画像４０の局所特徴量と、抽出したテスト画像４２から抽出した局所特徴量とを用いて、訓練画像４０とテスト画像４２とにおける対応点を決定する。
【０１０７】
ステップＳ２０９では、射影変換行列推定部２４が、パラメータ記憶部１６に記憶されているカメラパラメータ及び変換パラメータと、対応点決定部２２により決定された対応点の集合とから、訓練画像４０をテスト画像４２に射影変換するための射影変換行列を推定する。
【０１０８】
ステップＳ２１１では、射影変換行列分解部２６が、推定された射影変換行列を、訓練画像４０とテスト画像４２との間の回転及び並進運動とテスト画像４２に写った平面物体の法線とに分解したときの複数の解候補を算出する。
【０１０９】
ステップＳ２１３では、掌性判定部２８が、上述した予め定められた制約に基づいて、算出された複数の解候補から、物理的に実現可能な解候補を選択する。
【０１１０】
ステップＳ２１５では、解妥当性判定部３０が、掌性判定部２８により選択された、物理的に実現可能な解候補を入力し、推定された射影変換行列を用いて、解候補の法線とパラメータ記憶部１６に記憶されている訓練画像４０の法線と照合し、１つの解候補を選択する。
【０１１１】
ステップＳ２１７では、角度算出部３２が、パラメータ記憶部１６に記憶されている基準点の情報と、解妥当性判定部により選択された１つの解候補の回転及び並進運動と、射影変換行列とから、テスト画像４２に写った平面物体とテスト画像４２を撮影したカメラとの相対角度を算出する。
【０１１２】
ステップＳ２１９では、角度算出部３２が、算出した相対角度を出力し、本相対角度推定処理のプログラムの実行を終了する。なお、本実施形態では、算出した相対角度を示すデータをディスプレイ等の表示手段に表示させたり、算出した相対角度を示すデータを外部装置に送信したり、算出した相対角度を示すデータを記憶手段に記憶させたりすることにより、算出した相対角度に関するデータを出力する。
【０１１３】
このように、本実施形態では、平面物体が写る訓練画像４０及びテスト画像４２の各々から局所特徴量を抽出し、訓練画像４０に写る平面物体上の複数の基準点の情報、訓練画像４０を撮影したカメラのカメラパラメータ、及び訓練画像４０に写る平面物体の法線を記憶する。また、訓練画像４０の局所特徴量とテスト画像４２の局所特徴量とから訓練画像４０とテスト画像４２とにおける対応点を決定する。また、カメラパラメータと、決定された対応点の集合とから、訓練画像４０をテスト画像４２に射影変換するための射影変換行列を推定する。また、推定された射影変換行列を、訓練画像４０とテスト画像４２との間の回転及び並進運動とテスト画像４２に写る平面物体の法線とに分解したときの複数の解候補を算出する。また、予め定められた制約に基づいて、算出された複数の解候補から、物理的に実現可能な解候補を選択する。また、選択された解候補を入力し、推定された射影変換行列を用いて、解候補の法線と訓練画像４０の法線と照合し、１つの解候補を選択する。そして、複数の基準点の情報と、選択された１つの解候補の回転及び並進運動と、射影変換行列とから、テスト画像４２に写る平面物体とテスト画像４２を撮影したカメラとの相対角度を算出する。
【０１１４】
また、テスト画像４２に写る平面物体とテスト画像４２を撮影したカメラとの相対角度を算出する際には、解妥当性判定部３０により選択された解候補の回転及び並進運動と、射影変換行列とを用いて算出した複数の基準点の三次元空間上の位置に基づいて、相対角度を算出する。
【０１１５】
また、平面物体が写る訓練画像４０及びテスト画像４２を入力し、訓練画像４０及びテスト画像４２の各々に対して前処理を実施し、訓練画像４０及びテスト画像４２の各々に対して、前処理の前後の変換パラメータを更に記憶する。また、カメラパラメータと、決定された対応点の集合と、変換パラメータとから、前処理が実施される前の、訓練画像４０をテスト画像４２に射影変換するための射影変換行列を推定する。
【０１１６】
これにより、テスト画像４２の撮影に用いられたカメラのパラメータが未知であっても、精度良く被写体とカメラとの相対角度を推定したり、推定精度が低いものは事前に棄却したりすることが可能になる。また、相対角度の推定に用いられる訓練画像４０及びテスト画像４２に前処理が施されていても、上記相対角度を精度良く推定することができる。更には、テスト画像４２が平面物体を捉えている状態によらず、実空間の情報を考慮した相対角度が算出できる。
【０１１７】
＜第２実施形態＞
【０１１８】
次に、第２実施形態に係る相対角度推定装置について説明する。
【０１１９】
上述した第１実施形態では、１つの平面物体が写ったテスト画像４２を入力すると共に、当該平面物体が写った１枚の訓練画像４０を入力する場合について説明した。一方、本第２実施形態では、複数の平面物体のうちの何れか１つが写ったテスト画像４２を入力すると共に、複数の平面物体の各々について、当該平面物体が正面から撮影された１枚ずつの訓練画像４０を入力する場合について説明する。
【０１２０】
図１０に、第２実施形態に係る相対角度推定装置の機能的な構成を示す。第２実施形態に係る相対角度推定装置１０Ａの構成は、候補画像選択部５０を除いて、上記第１実施形態に係る相対角度推定装置１０と同じであるため、候補画像選択部５０以外の各構成の説明を省略する。
【０１２１】
本実施形態に係る相対角度推定装置１０Ａは、テスト画像４２が入力されると、テスト画像４２に写る平面物体の種類と、テスト画像４２を撮影したカメラの撮像面に対するテスト画像４２に写った平面物体の方位角を相対角度として出力する。
【０１２２】
ここで、訓練画像４０として複数の訓練画像４０を入力した場合、入力した全ての訓練画像４０についてテスト画像４２との対応付けを行う必要があるため、計算コストが高くなってしまう。
【０１２３】
候補画像選択部５０は、予め定めた基準で、入力したテスト画像４２に最も類似した１枚の訓練画像４０を選択する。なお、テスト画像４２に最も類似した訓練画像４０の選択方法としては、例えば、色ヒストグラムに基づく画像類似度を評価する方法、下記参考文献８に開示されている、幾何情報を保存した投票ベースの方法等が挙げられる。
【０１２４】
［参考文献８］特開２０１６−０１８４４４号公報
【０１２５】
次に、本実施形態に係る相対角度推定装置１０Ａによる相対角度推定処理の流れを、図９に示すフローチャートを用いて説明する。本実施形態では、相対角度推定装置１０Ａに、相対角度推定処理の実行を開始するための予め定めた情報が入力されたタイミングで相対角度推定処理が開始されるが、相対角度推定処理が開始されるタイミングはこれに限らず、例えば、テスト画像４２が入力されたタイミングで相対角度推定処理が開始されても良い。
【０１２６】
なお、本実施形態では、各々種類が異なる平面物体が写った複数の訓練画像４０が入力され、複数の訓練画像４０の各々の法線の情報がパラメータ記憶部１６に記憶されているものとする。
【０１２７】
ステップＳ３０１では、前処理部１２が、テスト画像４２を入力する。
【０１２８】
ステップＳ３０３では、前処理部１２が、入力したテスト画像４２に対して前処理を実施する。また、この際にテスト画像４２の画像座標系が変化する場合には、ステップＳ２０３と同様に、テスト画像４２の座標を、前処理後の画像座標系の座標から前処理前の画像座標系の座標に変換するための変換パラメータを生成する。
【０１２９】
ステップＳ３０５は、局所特徴抽出部２０が、前処理が実施されたテスト画像４２から局所特徴量を抽出する。
【０１３０】
ステップＳ３０７は、候補画像選択部５０が、複数の訓練画像４０から、テスト画像４２と最も類似する訓練画像４０を選択する。
【０１３１】
ステップＳ３０９では、対応点決定部２２が、パラメータ記憶部１６に記憶されている、選択された訓練画像４０の局所特徴量と、抽出したテスト画像４２から抽出した局所特徴量とを用いて、選択された訓練画像４０とテスト画像４２とにおける対応点を決定する。
【０１３２】
ステップＳ３１１では、射影変換行列推定部２４が、パラメータ記憶部１６に記憶されているカメラパラメータ及び変換パラメータと、対応点決定部２２により決定された対応点の集合とから、訓練画像４０をテスト画像４２に射影変換するための射影変換行列を推定する。
【０１３３】
ステップＳ３１３では、射影変換行列分解部２６が、推定された射影変換行列を、訓練画像４０とテスト画像４２との間の回転及び並進運動とテスト画像４２に写った平面物体の法線とに分解したときの複数の解候補を算出する。
【０１３４】
ステップＳ３１５では、掌性判定部２８が、上述した予め定められた制約に基づいて、算出された複数の解候補から、物理的に実現可能な解候補を選択する。
【０１３５】
ステップＳ３１７では、解妥当性判定部３０が、掌性判定部２８により選択された、物理的に実現可能な解候補を入力し、推定された射影変換行列を用いて、解候補の法線とパラメータ記憶部１６に記憶されている訓練画像４０の法線と照合し、１つの解候補を選択する。
【０１３６】
ステップＳ３１９では、角度算出部３２が、パラメータ記憶部１６に記憶されている基準点の情報と、解妥当性判定部により選択された１つの解候補の回転及び並進運動と、射影変換行列とから、テスト画像４２に写った平面物体とテスト画像４２を撮影したカメラとの相対角度を算出する。
【０１３７】
ステップＳ３２１では、角度算出部３２が、算出した相対角度を出力し、本相対角度推定処理のプログラムの実行を終了する。なお、本実施形態では、算出した相対角度を示すデータをディスプレイ等の表示手段に表示させたり、算出した相対角度を示すデータを外部装置に送信したり、算出した相対角度を示すデータを記憶手段に記憶させたりすることにより、算出した相対角度に関するデータを出力する。
【０１３８】
このようにして、本実施形態では、テスト画像４２に平面画像が写っている場合に、複数の訓練画像４０から、テスト画像４２と最も類似前記訓練画像４０を選択する。
【０１３９】
＜第３実施形態＞
【０１４０】
次に、第３実施形態に係る相対角度推定装置について説明する。
【０１４１】
上述した第１実施形態及び第２実施形態では、訓練画像４０における平面物体の法線の情報を入力する場合について説明した。一方、本第３実施形態では、入力した訓練画像４０から平面物体の法線を推定する場合について説明する。
【０１４２】
第３実施形態に係る相対角度推定装置の構成は、被写体法線推定部６０を除いて、上記第２実施形態に係る相対角度推定装置１０Ａと同じであるため、被写体法線推定部６０以外の各構成の説明を省略する。
【０１４３】
図１１に、第３実施形態に係る相対角度推定装置１０Ｂの構成を示す。本実施形態では、認識対象となる被写体が複数種類存在し、各被写体について様々な方向から撮影した複数の画像を訓練画像４０として登録するものとする。テスト画像４２が入力されると、相対角度推定装置１０Ｂは、テスト画像４２に写る被写体の種類と、被写体とカメラとの方位角を相対角度として出力する。各被写体について様々な方向から撮影された画像をデータベースに登録することで、テスト画像４２に写る被写体を認識する精度がより向上する。一方で、訓練画像４０は被写体を任意の方向から撮影したものであるため、その法線を手動でアノテーションするのには非常に手間がかかる。
【０１４４】
そこで、被写体法線推定部６０は、同一の被写体が写る画像が複数撮影されていることを活用して、個々の画像に写る被写体の法線を自動で推定する。これを実現する方法としては、例えば参考文献９に示すような、同一被写体が写る画像集合の中で一貫性が高くなるように個々の画像に写る被写体の法線を推定する方法を用いることができる。
【０１４５】
また、画像の中で正面から撮影した画像がわかっている場合は、その画像における被写体法線の情報(法線は奥行き方向にのみ値を持つベクトルとおける)を補助情報として用いることもできる。
【０１４６】
［参考文献９］特願２０１６−２４４５２６号公報
【０１４７】
次に、本実施形態に係る相対角度推定装置１０Ｂによる補助情報記憶処理の流れを、図１３に示すフローチャートを用いて説明する。本実施形態では、相対角度推定装置１０Ｂに、補助情報記憶処理の実行を開始するための予め定めた情報が入力されたタイミングで補助情報記憶処理が開始されるが、補助情報記憶処理が開始されるタイミングはこれに限らず、例えば、訓練画像４０が入力されたタイミングで補助情報記憶処理が開始されても良い。
【０１４８】
ステップＳ４０１では、前処理部１２が、相対角度の推定対象とする平面物体が写った訓練画像４０、当該訓練画像４０の撮影に用いたカメラのカメラパラメータ、及び、当該平面画像上の基準点の情報を入力する。
【０１４９】
ステップＳ４０３では、前処理部１２が、入力した訓練画像４０に対して前処理を実施する。また、この際に訓練画像４０の画像座標系が変化する場合には、訓練画像４０の座標を、前処理後の画像座標系の座標から前処理前の画像座標系の座標に変換するための変換パラメータを生成する。
【０１５０】
ステップＳ４０５では、局所特徴抽出部１８が、前処理が実施された訓練画像４０から局所特徴量を抽出する。
【０１５１】
ステップＳ４０７では、被写体法線推定部６０が、平面物体の種類毎に、同一の平面物体が写った複数の訓練画像４０を用いて、各訓練画像４０に写る当該平面物体の法線を推定する。
【０１５２】
ステップＳ４０９では、補助情報保存部１４が、入力したカメラパラメータ、推定した法線の情報、入力した基準点の情報、及び、生成した変換パラメータを、補助情報としてパラメータ記憶部１６に記憶させると共に、局所特徴抽出部１８により抽出された局所特徴量の情報をパラメータ記憶部１６に記憶させ、本補助情報記憶処理のプログラムの実行を終了する。
【０１５３】
このように、本実施形態では、訓練画像４０に写る平面物体の法線を推定し、推定された、訓練画像４０に写る平面物体の法線をパラメータ記憶部１６に記憶させる。
【０１５４】
なお、本実施形態では、図１に示す機能の構成要素の動作をプログラムとして構築し、相対角度推定装置１０、１０Ａとして利用されるコンピュータにインストールして実行させるが、これに限らず、ネットワークを介して流通させても良い。
【０１５５】
また、構築されたプログラムをハードディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールしたり、配布したりしても良い。
【符号の説明】
【０１５６】
１０  相対角度推定装置
１２  前処理部
１４  補助情報保存部
１６  パラメータ記憶部
１８、２０  局所特徴抽出部
２２  対応点決定部
２４  射影変換行列推定部
２６  射影変換行列分解部
２８  掌性判定部
３０  解妥当性判定部
３２  角度算出部
３４  訓練部
３６  認識部
５０  候補画像選択部
６０  被写体法線推定部
【図１】
2018173823.tif 000066
【図２】
2018173823.tif 000067
【図３】
2018173823.tif 000068
【図４】
2018173823.tif 000069
【図５】
2018173823.tif 000070
【図６】
2018173823.tif 000071
【図７】
2018173823.tif 000072
【図８】
2018173823.tif 000073
【図９】
2018173823.tif 000074
【図１０】
2018173823.tif 000075
【図１１】
2018173823.tif 000076
【図１２】
2018173823.tif 000077
【図１３】
2018173823.tif 000078