(57)【要約】【課題】情報処理装置、情報処理方法、記録媒体、及び撮像装置を提供する。【解決手段】撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する対応点情報選択部と、を備え、前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、情報処理装置。【選択図】図４
2019026390.tif 000002
【特許請求の範囲】
【請求項１】
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、
複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する対応点情報選択部と、
を備え、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、情報処理装置。
【請求項２】
前記対応点情報は、現在のフレームの画像から検出された特徴点と、以前のフレームの画像から検出された特徴点とのマッチングにより得られる、請求項１に記載の情報処理装置。
【請求項３】
前記第１の対応点情報は、前記第１のカメラまたは前記第２のカメラの撮像に基づく画像から検出された特徴点と、前記以前のフレームの画像から検出された特徴点とのマッチングにより得られ、
前記第２の対応点情報は、前記第３のカメラまたは前記第４のカメラの撮像に基づく画像から検出された特徴点と、前記以前のフレームの画像から検出された特徴点とのマッチングにより得られる、請求項２に記載の情報処理装置。
【請求項４】
前記対応点情報選択部は、前記第２の対応点情報が得られたか否かに応じて、前記移動推定部により用いられる前記対応点情報を前記特徴点ごとに選択する、請求項３に記載の情報処理装置。
【請求項５】
前記対応点情報選択部は、前記第２の対応点情報が得られた場合に、前記第２の対応点情報を前記移動推定部により用いられる前記対応点情報として選択する、請求項４に記載の情報処理装置。
【請求項６】
前記移動推定部は、前記対応点情報に含まれる前記特徴点に関する前記以前のフレームにおける３次元位置情報と、前記現在のフレームにおける２次元位置情報に基づいて、前記位置及び姿勢の移動を推定する、請求項３に記載の情報処理装置。
【請求項７】
前記特徴点に関する視差情報を用いて距離を推定し、前記特徴点に関する前記３次元位置情報を取得する距離推定部と
前記第１のカメラセットの撮像に基づいて得られる第１の視差情報、及び前記第２のカメラセットの撮像に基づいて得られる第２の視差情報から、前記距離推定部により用いられる視差情報を選択する視差情報選択部と、をさらに備える請求項６に記載の情報処理装置。
【請求項８】
前記第１の視差情報は、前記第１のカメラの撮像に基づく画像から検出された特徴点と前記第２のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られ、
前記第２の視差情報は、前記第３のカメラの撮像に基づく画像から検出された特徴点と前記第４のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られる、請求項７に記載の情報処理装置。
【請求項９】
前記第２の視差情報は、前記第３のカメラの撮像に基づく画像から検出された特徴点のうち、前記第１の視差情報が得られた特徴点と、前記第４のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られる、請求項８に記載の情報処理装置。
【請求項１０】
前記視差情報選択部は、前記第２の視差情報が得られたか否かに応じて、前記距離推定部により用いられる視差情報を前記特徴点ごとに選択する、請求項９に記載の情報処理装置。
【請求項１１】
前記視差情報選択部は、前記第２の視差情報が得られた場合に、前記第２の視差情報を、前記距離推定部により用いられる前記視差情報として選択する、請求項１０に記載の情報処理装置。
【請求項１２】
前記対応点情報選択部は、前記第２の対応点情報が得られた前記特徴点の数に応じて、前記移動推定部により用いられる前記対応点情報を選択する、請求項２に記載の情報処理装置。
【請求項１３】
前記第２の対応点情報が得られた前記特徴点の数、または前記位置及び姿勢の移動を示す移動情報に基づいて、前記第１のカメラセットへの電力供給を制御する、請求項２に記載の情報処理装置。
【請求項１４】
前記第１のカメラと前記第２のカメラとの間の距離は、前記第３のカメラと前記第４のカメラとの間の距離よりも長い、請求項１に記載の情報処理装置。
【請求項１５】
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定することと、
複数の対応点情報から、前記移動の推定に用いられる前記対応点情報をプロセッサが選択することと、
を含み、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、
情報処理方法。
【請求項１６】
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する機能と、
複数の対応点情報から、前記移動の推定に用いられる前記対応点情報を選択する機能と、をコンピュータに実現させるためのプログラムであって、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、プログラムを記録したコンピュータ読取可能な記録媒体。
【請求項１７】
第１のカメラ及び第２のカメラを含む第１のカメラセットと、
第３のカメラ及び第４のカメラを含む第２のカメラセットと、
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、
複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する、対応点情報選択部と、
を備え、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、記録媒体、及び撮像装置に関する。
【背景技術】
【０００２】
カメラの撮像により得られる撮像画像に基づいて、実空間におけるカメラの位置と姿勢を推定する自己位置姿勢推定と、環境地図の作成を同時に行うＳＬＡＭ（Simultaneous  Localization  And  Mapping）法と呼ばれる技術が知られている。また、複数のカメラから得られる撮像画像を用いて、ＳＬＡＭ法により自己位置姿勢推定を行う技術も存在する（例えば下記特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−４５８７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述したように複数のカメラから得られる撮像画像を用いて自己位置姿勢推定を行う場合、自己位置姿勢推定の精度は、撮像画像に含まれる実空間における範囲（撮像範囲）、及び撮像画像の解像度（空間分解能）の影響を受ける。前者の撮像範囲はカメラの画角が広い程（広角である程）広くなり、自己位置姿勢推定に有利である。一方で、カメラが有する撮像素子の画素数が同一である場合、後者の空間分解能はカメラの画角が狭い程大きくなり、自己位置姿勢推定に有利となる。つまり両者はトレードオフの関係となるため、十分な自己位置姿勢推定の精度を得ることができない場合があった。【０００５】
そこで、本開示では、自己位置姿勢推定の精度をより向上させることが可能な、新規かつ改良された、情報処理装置、情報処理方法、記録媒体、及び撮像装置を提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する対応点情報選択部と、を備え、前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、情報処理装置が提供される。【０００７】
また、本開示によれば、撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定することと、複数の対応点情報から、前記移動の推定に用いられる前記対応点情報をプロセッサが選択することと、を含み、前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、情報処理方法が提供される。【０００８】
また、本開示によれば、撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する機能と、複数の対応点情報から、前記移動の推定に用いられる前記対応点情報を選択する機能と、をコンピュータに実現させるためのプログラムであって、前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、プログラムを記録したコンピュータ読取可能な記録媒体が提供される。【０００９】
また、本開示によれば、第１のカメラ及び第２のカメラを含む第１のカメラセットと、第３のカメラ及び第４のカメラを含む第２のカメラセットと、撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する、対応点情報選択部と、を備え、前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、撮像装置が提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、自己位置姿勢推定の精度をより向上させることが可能である。【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の一実施形態の比較例に係る構成の一例を示すブロック図である。
【図２】本開示の一実施形態に係る撮像装置１の概略的な構成を示すブロック図である。
【図３】同実施形態に係る広角カメラセット１０、及び狭角カメラセット２０のそれぞれの利点について説明するための説明図である。
【図４】同実施形態に係る撮像装置１が備える処理部３０の機能構成を示すブロック図である。
【図５】同実施形態に係る撮像装置１の全体的な処理の流れを示すフローチャート図である。
【図６】３次元位置情報の取得に関する処理の流れを示すフローチャート図である。
【図７】位置姿勢情報の取得に関する処理の流れを示すフローチャート図である。
【図８】ハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１５】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．構成＞＞
＜２−１．装置構成＞
＜２−２．処理部の構成＞
＜＜３．動作＞＞
＜３−１．全体的な処理の流れ＞
＜３−２．３次元位置情報取得処理の流れ＞
＜３−３．位置姿勢情報取得処理の流れ＞
＜＜４．変形例＞＞
＜４−１．変形例１＞
＜４−２．変形例２＞
＜＜５．ハードウェア構成例＞＞
＜＜６．むすび＞＞
【００１６】
＜＜１．背景＞＞
本開示の一実施形態に係る撮像装置についての説明にあたり、まず本開示の一実施形態に係る撮像装置の創作に至った背景を説明する。
【００１７】
カメラの撮像により得られる撮像画像に基づいて、実空間におけるカメラの位置を推定する自己位置姿勢推定技術は、例えばロボットや自動車、携帯端末等に広く応用されつつある。このような撮像画像に基づく自己位置姿勢推定技術の一例として、自己位置姿勢推定と、環境地図の作成を同時に行うＳＬＡＭ法と呼ばれる技術が知られている。
【００１８】
また、複数のカメラから得られる撮像画像を用いて、ＳＬＡＭ法により自己位置姿勢推定を行う技術も存在する。ＳＬＡＭ法では、撮像画像に映る点のカメラからの距離を推定し、推定された距離の情報に基づいてカメラの位置と姿勢を推定する。ＳＬＡＭ法において、複数のカメラから得られる撮像画像を用いた場合、１つのカメラから得られる撮像画像に基づいて距離推定を行う場合よりも、高精度に距離推定を行うことが可能であるため、その結果、自己位置姿勢推定の精度も向上し得る。
【００１９】
図１は、２つカメラを有し、ＳＬＡＭ法により自己位置姿勢推定を行う撮像装置の構成の一例を示すブロック図である。なお、以下の説明において、図１に示した撮像装置７を、本開示の一実施形態の比較例として説明する。
【００２０】
本実施形態の比較例に係る撮像装置７は、図１に示すように、カメラ７１１とカメラ７１２とを含むカメラセット７１０、処理部７３０、及び記憶部７５０を備える。なお、比較例に係る撮像装置７は、実空間において移動することが想定される。なお、撮像装置７が移動するための仕組みについては特に限定されず、撮像装置７は、移動する装置（ロボットや車両等）に搭載されてもよいし、ユーザにより所持または装着されてもよいし、撮像装置７自体が移動するための構成（不図示）を有していてもよい。
【００２１】
カメラセット７１０に含まれるカメラ７１１、及びカメラ７１２は、それぞれＣＣＤ（Charge  Coupled  Device）又はＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を用いて実空間を撮像して、撮像画像を取得する。カメラ７１１、及びカメラ７１２は、少なくとも一部において同一の撮像範囲を撮像する。
【００２２】
また、カメラ７１１、及びカメラ７１２は、例えば水平方向に並んで配置されてもよいし、垂直方向に並んで配置されてもよい。なお、以下の説明では、カメラ７１１、及びカメラ７１２は、水平方向に並んで配置され、カメラ７１１が撮像装置７の進行方向を左側から撮像し、カメラ７１２が撮像装置７の進行方向を右側から撮像するように配置されるものとして説明を行う。また、以下の説明において、カメラ７１１、及びカメラ７１２の画角、焦点距離、及び撮像画素数は同一であるものとして説明を行う。カメラセット７１０の撮像により得られた撮像画像は、処理部７３０へ入力される。
【００２３】
処理部７３０は、カメラセット７１０の撮像に基づいて自己位置姿勢推定を行い、自己位置、及び姿勢の情報を取得する。
【００２４】
処理部７３０は、撮像装置７の電源が投入されたタイミングや、カメラセット７１０が撮像画像を最初に取得したタイミングを基準として初期設定を行う。例えば、処理部７３０は、初期設定において、実空間における３次元の座標系（実空間座標系）、実空間座標系上の自己位置、及び姿勢を示す初期位置姿勢を設定し、記憶部７５０に記憶させる。
【００２５】
さらに、処理部７３０は、カメラセット７１０から時系列的に入力される撮像画像に基づいて、自己位置、及び姿勢の移動を推定し、逐次的に自己位置、及び姿勢の情報を取得する。以下、図１を参照しながら、処理部７３０の機能をより詳細に説明する。
【００２６】
図１に示すように、本比較例に係る処理部７３０は、特徴検出部７３１Ａ、特徴検出部７３１Ｂ、視差マッチング部７３２、距離推定部７３５、動きマッチング部７３６、移動推定部７３８、及び位置姿勢推定部７３９としての機能を有する。
【００２７】
特徴検出部７３１Ａ、及び特徴検出部７３１Ｂは、それぞれカメラ７１１の撮像に基づく左画像、及びカメラ７１２の撮像に基づく右画像から特徴点を検出する。特徴検出部７３１Ａ、及び特徴検出部７３１Ｂへ入力される左画像、及び右画像は、カメラ７１１、及びカメラ７１２の撮像により得られる撮像画像そのものであってもよいし、撮像画像に対して各種画像処理が施された画像であってもよい。例えば、撮像画像に施される画像処理は、光学歪み補正処理、ゲイン調整処理、カメラ間の姿勢ずれを相殺する平行化等の処理を含んでもよい。
【００２８】
また、特徴検出部７３１Ａ、及び特徴検出部７３１Ｂは、入力される画像が異なることを除いて、実質的に同一の機能を有し、以降、区別する必要がない場合には特徴検出部７３１Ａと特徴検出部７３１Ｂとをまとめて特徴検出部７３１と呼称する。
【００２９】
また、特徴検出部７３１は、検出された特徴点に関する特徴量（特徴ベクトル）を算出する。なお、特徴検出部７３１が特徴点を検出する方法、及び特徴量を算出する方法は特に限定されず、周知の多様な手法が適用可能である。
【００３０】
視差マッチング部７３２は、特徴検出部７３１Ａ、及び特徴検出部７３１Ｂにより検出された特徴点のマッチング（対応付け）を行い、各特徴点の左画像上の位置と右画像上の位置の差である視差を特定する。例えば、視差マッチング部７３２は、特徴検出部７３１Ａにより左画像から検出された特徴点の特徴量と、特徴検出部７３１Ｂにより右画像から検出された特徴点の特徴量を比較して、特徴点のマッチングを行ってもよい。各特徴点の左画像、及び右画像のそれぞれにおける画像座標系上の位置を含む視差情報が、特徴点のマッチングにより得られ、視差マッチング部７３２から距離推定部７３５へ入力される。
【００３１】
距離推定部７３５は、視差マッチング部７３２から入力された視差情報を用いて、各特徴点までの距離を推定する。例えば、距離推定部７３５は、三角測量の原理により視差から距離を求めることが可能である。具体的には、カメラ７１１、及びカメラ７１２の焦点距離をｆ、カメラ７１１とカメラ７１２との間の距離（基線長）をＢ、視差をｄとしたとき、距離Ｄは次の数式（１）で求められる。
Ｄ＝ｆ・Ｂ／ｄ  ・・・（１）
【００３２】
また、距離推定部７３５は、距離Ｄに基づき、各特徴点の実空間座標系上の位置を示す３次元位置情報を算出する。なお、ここで用いられる実空間座標系は、実空間に対応する３次元的な座標系であり、上述した初期設定において設定される座標系であってもよいし、撮像画像が入力される度に独立に設定される座標系であってもよい。算出された３次元位置情報は、距離推定部７３５から記憶部７５０へ入力され、特徴検出部７３１により算出された特徴量と対応付けられて、記憶部７５０に記憶される。
【００３３】
動きマッチング部７３６は、１つ前のフレーム（以前のフレーム）で検出された各特徴点の３次元位置情報と特徴量を記憶部７５０から取得する。さらに、動きマッチング部７３６は、特徴検出部７３１Ａにより現在のフレームの左画像から検出された特徴点と１つ前のフレームで検出された特徴点とのマッチング（対応付け）により、対応点情報を生成する。なお、係るマッチングは、例えば各特徴点の特徴量を比較することにより行われてもよい。
【００３４】
動きマッチング部７３６が生成する対応点情報には、各特徴点に関する１つ前のフレームにおける３次元位置情報と、現在のフレームの左画像における画像座標系上の位置を示す２次元位置情報とが、対応付けられて含まれてもよい。
【００３５】
移動推定部７３８は、動きマッチング部７３６により生成された対応点情報を用いて、撮像装置７（より正確にはカメラ７１１）の位置及び姿勢の移動（変化）を推定する。
【００３６】
例えば、移動推定部７３８は、対応点情報に含まれる各特徴点に関する１つ前のフレームにおける３次元位置情報と、現在のフレームの左画像における画像座標系上の位置を示す２次元位置情報に基づいて、フレーム間の位置及び姿勢の移動を推定する。なお、移動推定部７３８によるフレーム間の位置及び姿勢の移動推定は、各特徴点を２次元面に投影したときの画像上の誤差をコストとした最小化問題を解くことで行われてもよい。
【００３７】
移動推定部７３８の移動推定により得られた位置及び姿勢の移動を示す移動情報は、位置姿勢推定部７３９へ入力される。
【００３８】
位置姿勢推定部７３９は、移動推定部７３８から入力された移動情報に基づいて、自己位置、及び姿勢を推定する。例えば、位置姿勢推定部７３９は、記憶部７５０に記憶された初期位置姿勢情報または前のフレームに対応する位置姿勢情報と、フレーム間の位置及び姿勢の移動とに基づいて、現在のフレームに対応する自己位置、及び姿勢を示す位置姿勢情報を取得してもよい。位置姿勢推定部７３９により取得された位置姿勢情報は、記憶部７５０へ記憶される。
【００３９】
記憶部７５０は、上述した処理部７３０が各機能を実行するためのプログラムやパラメータを格納する。例えば記憶部７５０には、距離推定部７３５により取得された各特徴点の３次元位置情報や、位置姿勢推定部７３９により取得された位置姿勢情報が記憶されてもよい。
【００４０】
以上、本実施形態の比較例に係る撮像装置７の構成を説明した。上述したように、撮像装置７は、２つのカメラから得られる撮像画像に基づいて自己位置姿勢推定を行うことが可能である。
【００４１】
上述したような比較例に係る撮像装置７では、特徴検出部７３１は、たかだか画像全体を特徴点の検出範囲とし、視差マッチング部７３２、及び動きマッチング部７３６は、特徴検出部７３１により検出された特徴点に基づいてマッチングを行う。したがって、画像中に特徴点が存在しない場合や、左画像と右画像、または１フレーム前の画像と現在の左画像に同一の特徴点が含まれていない場合には検出、またはマッチングすることができず、その結果、位置姿勢推定部７３９の自己位置姿勢推定も失敗する。また、画像中の特徴点が少ない場合や、左画像と右画像の両方、または１フレーム前の画像と現在の左画像の両方に含まれている特徴点が少ない場合にも、位置姿勢推定部７３９の自己位置姿勢推定が失敗したり、精度が低下したりする恐れがある。
【００４２】
一方、距離推定部７３５、及び移動推定部７３８における各処理は、画像の解像度（空間分解能）による影響を受ける。そのため、空間分解能が低い場合には、自己位置姿勢推定が失敗したり、精度が低下したりする恐れがある。
【００４３】
また、距離推定に係る数式（１）からわかるように、距離の推定精度は焦点距離ｆと基線長Ｂに依存する。焦点距離ｆが長い（つまり、画角が狭い）程、あるいは基線長Ｂが長い程、距離の推定精度が向上し、結果として自己位置姿勢推定精度が向上し得る。ただし、基線長Ｂが長い程、近方において死角を生じやすくなる恐れがある。
【００４４】
上述した特性を踏まえると、複数のカメラの撮像により取得された撮像画像に基づいて自己位置姿勢推定を行う場合、特徴点がより多く存在する画像を取得するためには、カメラの画角は広く、基線長は短いことが望ましいという要求がある。一方、空間分解能を高め、また距離の推定精度を向上させるためには、カメラの画角は狭く、基線長は長いことが望ましいという要求がある。つまり、自己位置姿勢推定精度を向上させるためには、上記のように相反した要求が存在する。
【００４５】
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態に係る撮像装置は、画角、及び基線長の異なる２組のカメラセットを備えることで、上記の要求を両立させ、自己位置姿勢推定の精度をより向上させることが可能である。以下、このような効果を有する本開示の一実施形態の構成、及び動作について、順次詳細に説明する。
【００４６】
＜＜２．構成＞＞
以下では、まず本実施形態に係る撮像装置１（情報処理装置の一例）の全体的な構成について図２、図３を参照して説明した後、撮像装置１が備える処理部３０の構成について図４を参照して説明する。
【００４７】
＜２−１．概略構成＞
図２は、本開示の一実施形態に係る撮像装置１の概略的な構成を示すブロック図である。図２に示すように、本実施形態に係る撮像装置１は、広角カメラセット１０（第１のカメラセット）と、狭角カメラセット２０（第２のカメラセット）と、処理部３０と、記憶部５０とを備える。
【００４８】
広角カメラセット１０は、図２に示すように広角カメラ１１（第１のカメラ）及び広角カメラ１２（第２のカメラ）を含む。また、狭角カメラセット２０は、狭角カメラ２３（第３のカメラ）及び狭角カメラ２４（第４のカメラ）を含む。なお、以下では、広角カメラ１１、広角カメラ１２、狭角カメラ２３、及び狭角カメラ２４が有する撮像素子の画素数はすべて同一であるものとして説明を行うが、本実施形態は係る例に限定されるものではない。
【００４９】
ここで、広角カメラセット１０に含まれる広角カメラ１１と広角カメラ１２の画角（広角カメラセット１０の画角）は同一または略同一である。同様に、狭角カメラセット２０に含まれる狭角カメラ２３と狭角カメラ２４の画角（狭角カメラセット２０の画角）は同一または略同一である。そして、広角カメラ１１の画角、及び広角カメラ１２の画角は、狭角カメラ２３、及び狭角カメラ２４の画角よりも広い（つまり、狭角カメラ２３、及び狭角カメラ２４の画角は広角カメラ１１の画角、及び広角カメラ１２の画角よりも狭い）。さらに、広角カメラセット１０（広角カメラ１１、及び広角カメラ１２）と、狭角カメラセット２０（狭角カメラ２３、及び狭角カメラ２４）とは、少なくとも一部において同一の撮像範囲を撮像する。
【００５０】
また、図２に示すように広角カメラ１１と広角カメラ１２との間の距離である広角カメラセット１０の基線長Ｄ１は、狭角カメラ２３と狭角カメラ２４との間の距離である狭角カメラセット２０の基線長Ｄ２よりも長い。
【００５１】
広角カメラセット１０、及び狭角カメラセット２０の撮像により取得された撮像画像は、処理部３０へ入力される。
【００５２】
処理部３０は、広角カメラセット１０、及び狭角カメラセット２０から入力された撮像画像に基づいて、自己位置姿勢推定を行う。本実施形態に係る処理部３０は、図１を参照して説明した比較例に係る処理部７３０と同様に、画像から検出された特徴点をカメラ間でマッチングして得た視差情報に基づいて当該特徴点の距離推定を行う。また、本実施形態に係る処理部３０は、図１を参照して説明した比較例に係る処理部７３０と同様に、特徴点をフレーム間でマッチングにより得た対応点情報に基づいて、位置及び姿勢の移動を推定し、逐次的に位置姿勢情報を取得する。ただし、本実施形態に係る処理部３０は、広角カメラセット１０の撮像に基づいて得られた視差情報と、狭角カメラセット２０の撮像に基づいて得られた視差情報と、から選択した視差情報に基づいて特徴点の距離推定を行う点で比較例に係る処理部７３０と相違する。また、本実施形態に係る処理部３０は、広角カメラセット１０の撮像に基づいて得られた対応点情報と、狭角カメラセット２０の撮像に基づいて得られた対応点情報と、から選択した対応点情報に基づいて移動推定を行う点においても比較例に係る処理部７３０と相違する。なお、処理部３０の詳細な機能構成については、図４を参照して後述する。
【００５３】
記憶部５０は、図１を参照して説明した比較例に係る記憶部７５０と同様に、処理部３０が各機能を実行するためのプログラムやパラメータを格納する。
【００５４】
上述したように、本実施形態に係る撮像装置１によれば、距離推定、及び移動推定にそれぞれ用いられる視差情報、及び対応点情報を、広角カメラセット１０に基づくものと狭角カメラセット２０に基づくものからそれぞれ選択することが可能である。係る選択を適切に行うことで、距離推定、及び移動推定の精度が向上し、結果として、自己位置姿勢推定の精度をより向上させることが可能である。
【００５５】
ここで、図３を参照しながら広角カメラセット１０、及び狭角カメラセット２０のそれぞれの利点について整理した後、自己位置姿勢推定の精度をより向上させるための本実施形態に係る視差情報、及び対応点情報の選択基準について説明する。図３は、広角カメラセット１０、及び狭角カメラセット２０のそれぞれの利点について説明するための説明図である。
【００５６】
まず、図３の下部に示す平面図Ｔを参照して広角カメラセット１０、及び狭角カメラセット２０の配置の一例について説明する。図３の平面図Ｔに示した例では、広角カメラセット１０に含まれる広角カメラ１１と広角カメラ１２と、狭角カメラセット２０に含まれる狭角カメラ２３と狭角カメラ２４とは、水平に配置されている。
【００５７】
また、上述したように、広角カメラセット１０の基線長は狭角カメラセット２０の基線長よりも長い。係る構成により、広角カメラセット１０は遠方での距離推定精度の向上に有利であり、狭角カメラセット２０は近方での死角の発生を抑制し得る。なお、図３の平面図Ｔに示すように広角カメラ１１と広角カメラ１２との間に、狭角カメラ２３と狭角カメラ２４とが配置されていてもよい。
【００５８】
また、図３の平面図Ｔには、上方向からみた各カメラの撮像範囲も示されている。また、図３の上部には、各カメラの撮像範囲を平面ＸＹに投影した投影図Ｃが示されている。
上述したように、広角カメラ１１の画角Ａ１１、及び広角カメラ１２の画角Ａ１２は、狭角カメラ２３の画角Ａ２３、及び狭角カメラ２４の画角Ａ２４よりも大きい。したがって、広角カメラセット１０は、より広い範囲を撮像可能なため、例えば特徴点が検出され難いテクスチャの少ない環境等で有利であり、狭角カメラセット２０は、空間分解能が高いため、距離推定精度の向上に貢献し得る。
【００５９】
図３の投影図Ｃに示される領域Ｒ１０は、広角カメラセット１０に含まれる広角カメラ１１及び広角カメラ１２の両方で共に撮像可能な範囲（以下、広角カメラセット１０の撮像範囲と呼ぶ場合がある）である。これに対し、図３の投影図Ｃに示される領域Ｒ１１は広角カメラセット１０に含まれる広角カメラ１１及び広角カメラ１２のうち、広角カメラ１１にのみ撮像可能な範囲である。同様に、図３の投影図Ｃに示される領域Ｒ１２は広角カメラセット１０に含まれる広角カメラ１１及び広角カメラ１２のうち、広角カメラ１２にのみ撮像可能な範囲である。したがって、領域Ｒ１０に含まれる特徴点は、広角カメラセット１０の撮像に基づく視差を特定することが可能であるが、領域Ｒ１１及び領域Ｒ１２に含まれる特徴点は広角カメラセット１０の撮像に基づく視差を特定することが出来ない。つまり、領域Ｒ１１及び領域Ｒ１２は広角カメラセット１０の死角である。
【００６０】
図３の投影図Ｃに示される領域Ｒ２０は、狭角カメラセット２０に含まれる狭角カメラ２３及び狭角カメラ２４の両方で共に撮像可能な範囲（狭角カメラセット２０の撮像範囲と呼ぶ場合がある）である。これに対し、図３の投影図Ｃに示される領域Ｒ２３は狭角カメラセット２０に含まれる狭角カメラ２３及び狭角カメラ２４のうち、狭角カメラ２３にのみ撮像可能な範囲である。同様に、図３の投影図Ｃに示される領域Ｒ２４は狭角カメラセット２０に含まれる狭角カメラ２３及び狭角カメラ２４のうち、狭角カメラ２４にのみ撮像可能な範囲である。したがって、領域Ｒ２０に含まれる特徴点は、狭角カメラセット２０の撮像に基づく視差を特定することが可能であるが、領域Ｒ２３及び領域Ｒ２４に含まれる特徴点は狭角カメラセット２０の撮像に基づく視差を特定することができない。つまり、領域Ｒ２３及び領域Ｒ２４は狭角カメラセット２０の死角である。
【００６１】
ここで、図３の投影図Ｃに示す特徴点Ｐ１２は、広角カメラセット１０の撮像範囲である領域Ｒ１０と狭角カメラセット２０の撮像範囲である領域Ｒ２０の両方に含まれている。したがって、特徴点Ｐ１２に関して、広角カメラセット１０の撮像に基づく視差、及び狭角カメラセット２０の撮像に基づく視差の両方を特定することが可能である。ただし、上述したように、狭角カメラセット２０は空間分解能が高いため、係る場合には狭角カメラセット２０の撮像に基づく視差情報を選択し、距離推定に用いることで、特徴点Ｐ１２の距離推定精度が向上し得る。
【００６２】
続いて、図３の投影図Ｃに示す特徴点Ｐ１４、及び特徴点Ｐ１６は、広角カメラセット１０の撮像範囲である領域Ｒ１０に含まれるが、狭角カメラセット２０の撮像範囲である領域Ｒ２０には含まれていない。したがって、特徴点Ｐ１４、及び特徴点Ｐ１６に関して、広角カメラセット１０の撮像に基づく視差を特定することは可能であるが、狭角カメラセット２０の撮像に基づく視差を特定することはできない。そこで、係る場合には広角カメラセット１０の撮像に基づく視差情報を選択し、距離推定に用いることで、狭角カメラセット２０の撮像に基づく視差を特定することができない場合であっても、各特徴点に係る距離を推定することが可能である。
【００６３】
以上、本実施形態における距離推定に用いられる視差情報の選択基準について説明した。続いて、本実施形態における移動推定に用いられる対応点情報の選択基準について説明する。
【００６４】
対応点情報は、フレーム間でのマッチングにより得られるため、現在のフレームの画像に含まれていたとしても、１つ前のフレームの画像に含まれていない場合には得られない。例えば、現在のフレームの画像に含まれていたとしても、フレーム間での自己位置、及び姿勢の移動によって、対応点情報が得られる場合と得られない場合がある。また、上述したように、各カメラセットに含まれる両方のカメラの撮像範囲に含まれる特徴点に限り、視差は特定される。一方、対応点情報は、カメラセットに含まれる両方のカメラの撮像範囲に含まれていなくとも、フレーム間でのマッチングに用いられる一方のカメラの撮像範囲に含まれていれば対応点情報が得られる場合がある。上記に留意しながら、移動推定に用いられる対応点情報の選択基準について説明する。
【００６５】
なお、以下では一例として、広角カメラセット１０のうちフレーム間でのマッチングに用いられるのは、広角カメラ１１の撮像に基づく特徴点であり、狭角カメラセット２０のうちフレーム間でのマッチングに用いられるのは、狭角カメラ２３の撮像に基づく特徴点であるとして説明を行う。
【００６６】
上述したように特徴点Ｐ１２は、広角カメラセット１０の撮像範囲である領域Ｒ１０と狭角カメラセット２０の撮像範囲である領域Ｒ２０の両方に含まれている。また、特徴点Ｐ１４は、狭角カメラセット２０の撮像範囲である領域Ｒ２０には含まれていないが、広角カメラセット１０の撮像範囲である領域Ｒ１０と狭角カメラ２３の撮像範囲である領域Ｒ２３の両方、に含まれている。したがって、特徴点Ｐ１２、及び特徴点Ｐ１４に関して、広角カメラセット１０の撮像に基づく対応点情報と、狭角カメラセット２０の撮像に基づく対応点情報の両方が得られる場合がある。上述したように、狭角カメラセット２０は、空間分解能が高いため、係る場合には、狭角カメラセット２０の撮像に基づく対応点情報を選択し、移動推定に用いることで、移動推定の精度が向上し得る。
【００６７】
ただし、上述したようにフレーム間での自己位置、及び姿勢の移動によっては、特徴点Ｐ１２、特徴点Ｐ１４に関する狭角カメラセット２０の撮像に基づく対応点情報が得られず、広角カメラセット１０の撮像に基づく対応点情報のみが得られる場合がある。係る場合には、広角カメラセット１０の撮像に基づく対応点情報を選択し、移動推定に用いることが望ましい。係る構成により、狭角カメラセット２０の撮像に基づく対応点情報が得られない場合であっても、移動推定に用いられる対応点の数を増加させることが可能であり、移動推定の精度が向上し得る。
【００６８】
上述したように特徴点Ｐ１６は、広角カメラセット１０の撮像範囲である領域Ｒ１０に含まれるが、狭角カメラセット２０の撮像範囲である領域Ｒ２０には含まれていない。さらに、特徴点Ｐ１６は、狭角カメラ２３の撮像範囲である領域Ｒ２３、狭角カメラ２４の撮像範囲である領域Ｒ２４のいずれにも含まれない。したがって、特徴点Ｐ１６に関する広角カメラセット１０の撮像に基づく対応点情報は得られるが、特徴点Ｐ１６に関する狭角カメラセット２０の撮像に基づく対応点情報は得られない場合がある。そこで、係る場合には、広角カメラセット１０の撮像に基づく対応点情報を選択し、移動推定に用いることが望ましい。係る構成により、狭角カメラセット２０の撮像に基づく対応点情報が得られない場合であっても、移動推定に用いられる対応点の数を増加させることが可能であり、移動推定の精度が向上し得る。
【００６９】
以上、図３を参照して、各カメラセットの利点と、本実施形態に係る視差情報と対応点情報の選択基準について説明した。なお、図３に示したのは一例であって本実施形態は係る例に限定されない。広角カメラ１１、広角カメラ１２、狭角カメラ２３、及び狭角カメラ２４は、多様に配置されてよい。例えば、図３の投影図Ｃでは、狭角カメラセット２０の撮像範囲が、広角カメラセット１０の撮像範囲に完全に含まれる例を示したが、本実施形態は係る例に限定されない。狭角カメラセット２０の撮像範囲のうち一部の領域が、広角カメラセット１０の撮像範囲に含まれていなくてもよい。また、図３の投影図Ｃでは、狭角カメラセット２０の撮像範囲が、広角カメラセット１０の撮像範囲の中央部に位置する例を説明したが、本技術は係る例に限定されない。狭角カメラセット２０の撮像範囲は、広角カメラセット１０の撮像範囲の下部に位置していてもよい。例えば、屋外を撮像する場合、特徴点は空よりも地面に存在し易いため、係る構成によれば、狭角カメラセット２０の撮像範囲により多数の特徴点が含まれる効果が期待される。
【００７０】
＜２−２．処理部の構成＞
以上、本実施形態に係る撮像装置１の全体的な構成について説明した。続いて、撮像装置１が備える処理部３０の機能構成について詳細に説明する。処理部３０は、図１を参照して説明した処理部７３０と同様に、自己位置姿勢推定を行い、自己位置、及び姿勢を示す位置姿勢情報を取得する。ただし、本実施形態に係る処理部３０は、距離推定に用いられる視差情報、及び自己位置姿勢推定に用いられる対応点情報を、上述した選択基準に従って選択する点等において、比較例に係る処理部７３０と相違する。以下、本実施形態に係る処理部３０の機能構成のうち、図１を参照して説明した比較例に係る処理部７３０の機能構成と同様の部分については適宜説明を省略し、相違する部分について主に説明を行う。
【００７１】
図４は、本実施形態に係る撮像装置１が備える処理部３０の機能構成を示すブロック図である。図４に示すように、本実施形態に係る処理部３０は、特徴検出部３１Ａ〜３１Ｄ、視差マッチング部３２Ａ、３２Ｂ、抽出部３３、視差情報選択部３４、距離推定部３５、動きマッチング部３６Ａ、動きマッチング部３６Ｂ、対応点情報選択部３７、移動推定部３８、及び位置姿勢推定部３９としての機能を有する。
【００７２】
特徴検出部３１Ａ〜３１Ｄは、画像から特徴点を検出する。特徴検出部３１Ａ〜３１Ｄの機能は、画像の入力元と特徴点の出力先が異なることを除いて、図１を参照して説明した特徴検出部７３１の機能と同様であるため、処理の詳細な説明については省略する。また、特徴検出部３１Ａ〜３１Ｄは、画像の入力元と特徴点の出力先が異なることを除いて、実質的に同一の機能を有し、以降、区別する必要がない場合には特徴検出部３１Ａ〜３１Ｄをまとめて特徴検出部３１と呼称する。
【００７３】
特徴検出部３１Ａは、広角カメラ１１の撮像に基づく広角左画像から特徴点を検出し、特徴検出部３１Ｂは、広角カメラ１２の撮像に基づく広角右画像から特徴点を検出する。また、特徴検出部３１Ｃは、狭角カメラ２３の撮像に基づく狭角左画像から特徴点を検出し、特徴検出部３１Ｄは、狭角カメラ２４の撮像に基づく狭角右画像から特徴点を検出する。
【００７４】
特徴検出部３１Ａ〜３１Ｄへ入力される広角左画像、広角右画像、狭角左画像、及び狭角右画像は、広角カメラ１１、広角カメラ１２、狭角カメラ２３、及び狭角カメラ２４、の撮像により得られる撮像画像そのものであってもよいし、撮像画像に対して各種画像処理が施された画像であってもよい。例えば、撮像画像に施される画像処理は、光学歪み補正処理、ゲイン調整処理、カメラ間の姿勢ずれを相殺する平行化等の処理を含んでもよい。
【００７５】
視差マッチング部３２Ａ、及び視差マッチング部３２Ｂは、特徴点のマッチング（対応付け）を行い、各特徴点に関する視差を特定し、視差情報を得る。視差マッチング部３２Ａ、及び視差マッチング部３２Ｂの機能は、特徴点の入力元と視差情報の出力先が異なることを除いて、図１を参照して説明した視差マッチング部７３２の機能と同様である。また、視差マッチング部３２Ａ、及び視差マッチング部３２Ｂは、特徴点の入力元と視差情報の出力先が異なることを除いて、実質的に同一の機能を有し、以降、区別する必要がない場合には視差マッチング部３２Ａ、及び視差マッチング部３２Ｂをまとめて視差マッチング部３２と呼称する。
【００７６】
図４に示すように、視差マッチング部３２Ａには、特徴検出部３１Ａが広角左画像から検出した特徴点と、特徴検出部３１Ｂが広角右画像から検出した特徴点が入力される。そして、視差マッチング部３２Ａは、入力された特徴点の特徴量に基づくマッチングを行い、マッチングされた各特徴点に関する視差を特定する。つまり、視差マッチング部３２Ａが特定した視差が、上述した広角カメラセット１０の撮像に基づく視差であり、視差マッチング部３２Ａが特定した視差の情報が広角カメラセット１０の撮像に基づく視差情報である。視差マッチング部３２Ａにより得られた広角カメラセット１０の撮像に基づく視差情報は、抽出部３３、及び視差情報選択部３４へ入力される。
【００７７】
一方、視差マッチング部３２Ｂは、特徴検出部３１Ｃが狭角左画像から検出した特徴点と、特徴検出部３１Ｄが狭角右画像から検出した特徴点とのマッチングを行い、マッチングされた各特徴点に関する視差を特定する。つまり、視差マッチング部３２Ｂが特定した視差が、上述した狭角カメラセット２０の撮像に基づく視差であり、視差マッチング部３２Ｂが特定した視差の情報が狭角カメラセット２０の撮像に基づく視差情報である。ここで、視差マッチング部３２Ｂには、特徴検出部３１Ｃが狭角左画像から検出した特徴点のうち、抽出部３３が抽出した特徴点が入力されてもよい。
【００７８】
抽出部３３は、広角カメラセット１０の撮像に基づく視差情報に基づき、特徴検出部３１Ｃが狭角左画像から検出した特徴点のうち、広角カメラセット１０の撮像に基づく視差情報が得られた（つまり視差マッチング部３２Ａが視差を特定することができた）特徴点の抽出を行う。例えば、抽出部３３は、特徴検出部３１Ｃが狭角左画像から検出した特徴点の特徴量と、広角カメラセット１０の撮像に基づく視差情報が得られた特徴点の特徴量との比較に基づくマッチングにより、係る抽出を行ってもよい。
【００７９】
視差マッチング部３２Ｂは、特徴検出部３１Ｃが狭角左画像から検出した特徴点のうち、抽出部３３が抽出した特徴点と、特徴検出部３１Ｄが狭角右画像から検出した特徴点とのマッチングを行ってもよい。係る構成により、視差マッチング部３２Ｂは、視差マッチング部３２Ａが視差を特定することができなかった特徴点に関するマッチングを省くことが可能となり、処理量を抑制する効果が得られる。
【００８０】
なお、視差マッチング部３２Ｂにより得られた狭角カメラセット２０の撮像に基づく視差情報は、視差情報選択部３４へ入力される。
【００８１】
視差情報選択部３４は、広角カメラセット１０の撮像に基づく視差情報（第１の視差情報）、及び狭角カメラセット２０の撮像に基づく視差情報（第２の視差情報）から、距離推定部３５により用いられる（距離推定部３５へ入力される）視差情報を特徴点ごとに選択する。
【００８２】
視差情報選択部３４は、例えば図３を参照して説明した選択基準に従って視差情報の選択を行う。つまり、視差情報選択部３４は、狭角カメラセット２０の撮像に基づく視差情報が得られたか否かを特徴点ごとに判定し、視差情報が得られたか否かに応じて、距離推定部３５により用いられる視差情報を特徴点ごとに選択してもよい。
【００８３】
例えば、視差情報選択部３４は、狭角カメラセット２０の撮像に基づく視差情報が得られた特徴点に関し、当該特徴点に関する狭角カメラセット２０の撮像に基づく視差情報を選択して、距離推定部３５へ入力する。狭角カメラセット２０は空間分解能が高いため、係る構成により、距離推定部３５による当該特徴点の距離推定精度が向上し得る。
【００８４】
また、視差情報選択部３４は、狭角カメラセット２０の撮像に基づく視差情報が得られず、広角カメラセット１０の撮像に基づく視差情報のみが得られた特徴点に関し、当該特徴点に関する広角カメラセット１０の撮像に基づく視差情報を選択して、距離推定部３５へ入力する。係る構成によれば、狭角カメラセット２０の撮像に基づく視差を特定することができない場合であっても、当該特徴点に係る距離を推定することが可能である。
【００８５】
なお、視差情報選択部３４は、狭角カメラセット２０の撮像に基づく視差情報が選択された特徴点に関し、視差情報に含まれる狭角左画像及び狭角右画像における画像座標系上の位置を、広角左画像及び広角右画像における画像座標系上の位置へ変換した後に距離推定部３５へ入力してもよい。係る構成により、後述する距離推定部３５は、広角カメラセット１０の撮像に基づく視差情報と狭角カメラセット２０の撮像に基づく視差情報とを、統一して扱うことが可能となる。また、係る変換により、視差情報選択部３４は、狭角カメラセット２０の撮像に基づく視差情報に含まれる広角左画像及び広角右画像における画像座標系上の位置を、サブピクセル以下の精度で求めることが可能である。
【００８６】
距離推定部３５は、視差情報選択部３４から入力された視差情報を用いて、各特徴点までの距離を推定し、各特徴点の実空間座標系上の位置を示す３次元位置情報を算出する。なお、距離推定部３５の機能は、視差情報の入力元が異なることを除いて図１を参照して説明した距離推定部７３５の機能と同様であるため、詳細な説明を省略する。距離推定部３５により算出された３次元位置情報は、距離推定部３５から記憶部５０へ入力され、特徴検出部３１により算出された特徴量と対応付けられて、記憶部５０に記憶される。
【００８７】
動きマッチング部３６Ａ、及び動きマッチング部３６Ｂは、１つ前のフレーム（以前のフレーム）で検出された特徴点と、現在のフレームで検出された特徴点とのマッチングを行い、対応点情報を生成する。動きマッチング部３６Ａ、及び動きマッチング部３６Ｂの機能は、特徴点の入力元と対応点情報の出力先が異なることを除いて、図１を参照して説明した動きマッチング部７３６の機能と実質的に同様であるため、処理の詳細な説明については省略する。また、動きマッチング部３６Ａ、及び動きマッチング部３６Ｂは特徴点の入力元と対応点情報の出力先が異なることを除いて、実質的に同一の機能を有し、以降、区別する必要がない場合には動きマッチング部３６Ａ、及び動きマッチング部３６Ｂをまとめて動きマッチング部３６と呼称する。
【００８８】
動きマッチング部３６Ａは、１つ前のフレームで検出された各特徴点の３次元位置情報と特徴量を記憶部５０から取得する。さらに、動きマッチング部３６Ａは、特徴検出部３１Ａにより現在のフレームの広角左画像から検出された特徴点と１つ前のフレームで検出された特徴点とのマッチングを行い、対応点情報を生成する。つまり、動きマッチング部３６Ａが生成する対応点情報が、上述した広角カメラセット１０の撮像に基づく対応点情報である。
【００８９】
動きマッチング部３６Ａにより生成された広角カメラセット１０の撮像に基づく対応点情報は、動きマッチング部３６Ｂ、及び対応点情報選択部３７へ入力される。
【００９０】
動きマッチング部３６Ｂは、特徴検出部３１Ｃにより現在のフレームの広角左画像から検出された特徴点と、１つ前のフレームで検出された特徴点とのマッチングを行い、対応点情報を生成する。つまり、動きマッチング部３６Ｂが生成する対応点情報が、上述した狭角カメラセット２０の撮像に基づく対応点情報である。
【００９１】
なお、図４に示すように、動きマッチング部３６Ｂは、１つ前のフレームで検出された特徴点のうち、動きマッチング部３６Ａにより対応点が見つかった特徴点を用いて、係るマッチングを行ってもよい。例えば、図３を参照して説明したように、狭角カメラセット２０の撮像範囲が広角カメラセット１０の撮像範囲に完全に含まれる場合には、動きマッチング部３６Ａでマッチングが行われた特徴点を用いてマッチングを行う方が処理量が抑制され得る。ただし、本実施形態は係る例に限定されず、動きマッチング部３６Ｂは、動きマッチング部３６Ａでマッチングが行われた特徴点を用いてマッチングを行う代わりに、記憶部５０から取得され得る１つ前のフレームで検出された特徴点を用いてマッチングを行ってもよい。狭角カメラセット２０の撮像範囲の一部が広角カメラセット１０の撮像範囲に含まれない場合には、記憶部５０から取得され得る特徴点を用いてマッチングを行うことで、より多くの対応点情報を生成することが可能となり得る。
【００９２】
動きマッチング部３６Ｂにより生成された狭角カメラセット２０の撮像に基づく対応点情報は、対応点情報選択部３７へ入力される。
【００９３】
対応点情報選択部３７は、広角カメラセット１０の撮像に基づく対応点情報（第１の対応点情報）、及び狭角カメラセット２０の撮像に基づく対応点情報（第２の対応点情報）から、移動推定部３８により用いられる（移動推定部３８へ入力される）対応点情報を特徴点ごとに選択する。
【００９４】
対応点情報選択部３７は、例えば図３を参照して説明した選択基準に従って対応点情報の選択を行う。つまり、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報が得られたか否かを特徴点ごとに判定し、対応点情報が得られたか否かに応じて、移動推定部３８により用いられる対応点情報を特徴点ごとに選択してもよい。
【００９５】
例えば、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報が得られた場合に、当該特徴点に関する狭角カメラセット２０の撮像に基づく対応点情報を選択して、移動推定部３８へ入力する。狭角カメラセット２０は空間分解能が高いため、係る構成により、移動推定部３８による当該特徴点に関する移動推定の精度が向上し得る。
【００９６】
また、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報が得られず、広角カメラセット１０の撮像に基づく対応点情報のみが得られた特徴点に関し、当該特徴点に関する広角カメラセット１０の撮像に基づく対応点情報を選択して、移動推定部３８へ入力する。係る構成によれば、狭角カメラセット２０の撮像に基づく対応点情報が得られない場合であっても、移動推定に用いられる対応点の数を増加させることが可能であり、移動推定の精度が向上し得る。
【００９７】
なお、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報が選択された特徴点に関し、対応点情報に含まれる狭角左画像における画像座標系上の位置を、広角左画像における画像座標系上の位置へ変換した後に移動推定部３８へ入力してもよい。係る構成により、後述する移動推定部３８は、広角カメラセット１０の撮像に基づく対応点情報と狭角カメラセット２０の撮像に基づく対応点情報とを、統一して扱うことが可能となる。また、係る変換により、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報に含まれる広角左画像における画像座標系上の位置を、サブピクセル以下の精度で求めることが可能である。
【００９８】
移動推定部３８は、対応点情報選択部３７から入力された対応点情報を用いて、撮像装置１（より正確には広角カメラ１１）の位置及び姿勢の移動（変化）を推定し、移動情報を取得する。なお、移動推定部３８の機能は、対応点情報の入力元が異なることを除いて図１を参照して説明した移動推定部７３８の機能と同様であるため、詳細な説明を省略する。移動推定部３８により取得された移動情報は、位置姿勢推定部３９へ入力される。
【００９９】
位置姿勢推定部３９は、移動推定部３８から入力された移動情報に基づいて、自己位置、及び姿勢を推定し、自己位置、及び姿勢を示す位置姿勢情報を取得する。なお、位置姿勢推定部３９の機能は、図１を参照して説明した位置姿勢推定部７３９の機能と同様であるため、詳細な説明を省略する。位置姿勢推定部３９により取得された位置姿勢情報は、記憶部５０へ記憶される。
【０１００】
以上、本実施形態の構成例について説明した。なお、上述した構成は一例であって、本実施形態は係る例に限定されない。例えば、上記では撮像装置１が、撮像に関する広角カメラセット１０及び狭角カメラセット２０の機能と、情報処理に関する処理部３０及び記憶部５０の機能との両方を備える例を説明したが、本実施形態は係る例に限定されない。例えば、上述した広角カメラセット１０及び狭角カメラセット２０を有する撮像装置と、処理部３０及び記憶部５０の機能を有する情報処理装置と、がそれぞれ別々の装置として実現されてもよい。
【０１０１】
＜＜３．動作＞＞
以上、本開示の一実施形態に係る撮像装置１の構成例について説明した。続いて、本開示の一実施形態に係る撮像装置１の動作例について説明する。なお、以下では、図５を参照して撮像装置１の全体的な処理の流れについて説明した後、図６、及び図７を参照して３次元位置情報の取得、及び位置姿勢情報の取得に関する処理の流れについて順次説明する。
【０１０２】
＜３−１．全体的な処理の流れ＞
図５は、本実施形態に係る撮像装置１の全体的な処理の流れを示すフローチャート図である。図５に示すように、まず広角カメラ１１、広角カメラ１２、狭角カメラ２３、及び狭角カメラ２４による撮像が行われる（Ｓ１０）。
【０１０３】
続いて、特徴検出部３１Ａ〜３１Ｄが、各カメラの撮像に基づく画像から特徴点を検出し、各特徴点に関する特徴量を算出する（Ｓ２０）。
【０１０４】
続いて、３次元位置情報の取得に関する処理が行われる（Ｓ３０）。係る３次元位置情報の取得に関する処理については、図６を参照して後述する。
【０１０５】
続いて、位置姿勢情報の取得に関する処理が行われる（Ｓ４０）。係る位置姿勢情報の取得に関する処理については、図７を参照して後述する。
【０１０６】
上述したステップＳ１０〜Ｓ４０の処理は、繰り返し行われてもよい。
【０１０７】
＜３−２．３次元位置情報取得処理の流れ＞
図６は、３次元位置情報の取得に関する処理（Ｓ３０）の流れを示すフローチャート図である。図６に示すように、まず視差マッチング部３２Ａにより、ステップＳ２０で特徴検出部３１Ａ、３１Ｂにより検出された特徴点のマッチングが行われ、広角カメラセット１０の撮像に基づく視差情報が取得される（Ｓ３０４）。
【０１０８】
続いて、抽出部３３が、特徴検出部３１Ｃが狭角左画像から検出した特徴点のうち、ステップＳ３０４で視差を特定することができた特徴点の抽出を行う（Ｓ３０６）。続いて、視差マッチング部３２Ｂが、ステップＳ３０６で抽出された特徴点とステップＳ２０で特徴検出部３１Ｄにより検出された特徴点とのマッチングを行い、狭角カメラセット２０の撮像に基づく視差情報を取得する（Ｓ３０８）。
【０１０９】
続いて、視差情報選択部３４が、ステップＳ３０４で取得された視差情報と、ステップＳ３０８で取得された視差情報から、距離推定に用いられる視差情報を特徴点ごとに選択する（Ｓ３１０）。
【０１１０】
そして、距離推定部３５が、ステップＳ３１２で選択された視差情報を用いて距離推定を行い、各特徴点の３次元位置情報を取得する（Ｓ３１２）。なお、取得された特徴点の３次元位置情報は記憶部５０に記憶される。
【０１１１】
＜３−３．位置姿勢情報取得処理の流れ＞
図７は、位置姿勢情報の取得に関する処理（Ｓ４０）の流れを示すフローチャート図である。図７に示すように、まず動きマッチング部３６Ａにより、広角カメラセット１０の撮像に基づく対応点情報が取得される（Ｓ４０４）。ステップＳ４０４において、動きマッチング部３６Ａは、ステップＳ２０で特徴検出部３１Ａにより検出された特徴点と、記憶部５０に記憶された１フレーム前に検出された特徴点とのマッチングを行って、係る対応点情報を取得してもよい。
【０１１２】
続いて、動きマッチング部３６Ｂにより、狭角カメラセット２０の撮像に基づく対応点情報が取得される（Ｓ４０６）。ステップＳ４０６において、動きマッチング部３６Ｂは、ステップＳ２０で特徴検出部３１Ｃにより検出された特徴点と、ステップＳ４０４において対応点が見つかった特徴点とのマッチングを行って、係る対応点情報を取得してもよい。
【０１１３】
続いて、対応点情報選択部３７が、ステップＳ４０４で取得された対応点情報と、ステップＳ４０６で取得された対応点情報とから、移動推定に用いられる対応点情報を選択する（Ｓ４０８）。
【０１１４】
続いて、移動推定部３８は、ステップＳ４０８で選択された対応点情報を用いて位置及び姿勢の移動（変化）を推定し、移動情報を取得する（Ｓ４１０）。さらに、位置姿勢推定部３９が、ステップＳ４１０で取得された移動情報に基づいて位置、及び姿勢の推定を行い、位置姿勢情報を取得する。
【０１１５】
以上、本実施形態に関する動作例を説明した。なお、上述したのは一例であって、本実施形態は係る例に限定されない。例えば、図５では、図６を参照して説明したステップＳ３０の処理の後に、図７を参照して説明したステップＳ４０の処理が行われる例を示したが、ステップＳ３０の処理とステップＳ４０の処理は並列に行われてもよい。
【０１１６】
＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する各変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【０１１７】
＜４−１．変形例１＞
上記実施形態では、移動推定部３８により用いられる（移動推定部３８へ入力される）対応点情報が特徴点ごとに選択される例を説明したが、本技術は係る例に限定されない。
【０１１８】
移動推定部３８により用いられる対応点情報が特徴点ごとに選択される場合、広角カメラセット１０の撮像に基づく対応点情報が得られた全ての特徴点に関し、いずれかの対応点情報が移動推定部３８へ入力されて移動推定に用いられ得る。しかし、状況によっては、広角カメラセット１０の撮像に基づく対応点情報を用いず、空間分解能の高い狭角カメラセット２０の撮像に基づく対応点情報のみを用いた方が、移動推定の精度が向上する可能性がある。例えば、十分な数の特徴点に関して狭角カメラセット２０の撮像に基づく対応点情報が得られた場合には、空間分解能の高い狭角カメラセット２０の撮像に基づく対応点情報のみを用いることで、移動推定の精度が向上し易いと考えられる。
【０１１９】
そこで、対応点情報選択部３７は、狭角カメラセット２０の撮像に基づく対応点情報が得られた特徴点の数に応じて、移動推定部３８により用いられる対応点情報を選択してもよい。以下、係る例を変形例１として、説明を行う。
【０１２０】
例えば、対応点情報選択部３７は十分な（例えば所定の閾値以上の）数の特徴点に関して狭角カメラセット２０の撮像に基づく対応点情報が得られた場合に、狭角カメラセット２０の撮像に基づく対応点情報のみを移動推定部３８へ入力してもよい。
【０１２１】
係る構成によれば、移動推定の精度が向上する可能性があると共に、移動推定部３８の処理量が抑制され得る。
【０１２２】
＜４−２．変形例２＞
また、十分な数の特徴点に関して狭角カメラセット２０の撮像に基づく対応点情報が得られ続けるのであれば、狭角カメラ２３、及び狭角カメラ２４の撮像に基づく画像のみを入力として、自己位置姿勢推定処理を行うことも有用であると考えられる。係る場合、例えば処理部３０は、狭角カメラ２３、及び狭角カメラ２４の撮像に基づく画像を入力とすることを除いて、図１を参照して説明した比較例に係る処理部７３０と同様に機能すればよい。
【０１２３】
しかし、十分な数の特徴点に関して狭角カメラセット２０の撮像に基づく対応点情報が得られなくなった場合には、やはり広角カメラセット１０の撮像に基づく対応点情報が用いられることが望ましい。そこで、処理部３０は、狭角カメラ２３、及び狭角カメラ２４の撮像に基づく画像のみを入力とした処理（第１の処理）と、広角カメラ１１、広角カメラ１２、狭角カメラ２３、及び狭角カメラ２４の撮像に基づく画像を入力とした処理（第２の処理）との切り替えを行ってもよい。以下、係る例を変形例２として、説明を行う。
【０１２４】
係る場合、処理部３０は、狭角カメラセット２０の撮像に基づく対応点情報が得られた特徴点の数、または移動情報に基づいて係る切り替えを行ってもよい。例えば、処理部３０は、狭角カメラセット２０の撮像に基づく対応点情報が所定の閾値以上であると判定された場合に、第１の処理を行い、狭角カメラセット２０の撮像に基づく対応点情報が所定の閾値より小さいと判定された場合に、第２の処理を行ってもよい。または、処理部３０は、移動情報に基づき、撮像装置１の移動速度が所定の閾値より小さいと判定された場合に、第１の処理を行い、撮像装置１の移動速度が所定の閾値が大きいと判定された場合に、第２の処理を行ってもよい。
【０１２５】
なお、広角カメラセット１０の撮像に基づく対応点情報を用いて移動推定を行うためには、広角カメラセット１０の撮像に基づく特徴点の３次元位置情報が少なくとも１フレーム前に記憶されていることが望ましい。したがって、上記判定に係る閾値は、十分な数の特徴点に関して狭角カメラセット２０の撮像に基づく対応点情報が得られなくなるより以前に上記の切り替えが行われるように、設定されることが望ましい。
【０１２６】
係る構成によれば、移動推定の精度が向上する可能性があると共に、処理部３０の処理量が抑制され得る。
【０１２７】
また、処理部３０は、上記のような切り替えを行う場合、上記切り替えに応じて、広角カメラセット１０への電力供給を制御してもよい。つまり、処理部３０は、狭角カメラセット２０の撮像に基づく対応点情報が得られた特徴点の数、または移動情報に基づいて広角カメラセット１０への電力供給を制御してもよい。
【０１２８】
例えば、処理部３０は、上記第１の処理が行われている間、広角カメラセット１０に含まれる広角カメラ１１、広角カメラ１２への電力供給が行われないように、広角カメラセット１０への電力供給を制御してもよい。そして、処理部３０は、上記第２の処理が行われている間、広角カメラセット１０に含まれる広角カメラ１１、広角カメラ１２への電力供給が行われるように、広角カメラセット１０への電力供給を制御してもよい。
【０１２９】
係る構成によれば、消費電力を抑制することが可能となる。
【０１３０】
＜＜５．ハードウェア構成＞＞
以上、本開示の一実施形態を説明した。最後に、図８を参照して、本開示の一実施形態に係る撮像装置１のハードウェア構成について説明する。図８は、本開示の一実施形態に係る撮像装置１のハードウェア構成の一例を示すブロック図である。本開示の実施形態に係る撮像装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１３１】
図８に示すように、撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、撮像装置１は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。撮像装置１は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１３２】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って撮像装置１内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、処理部３０を形成し得る。
【０１３３】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１３４】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、撮像装置１の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。撮像装置１のユーザは、この入力装置９０６を操作することにより、撮像装置１に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１３５】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、撮像装置１が行った各種処理により得られた結果を出力する。具体的には、表示装置は、撮像装置１が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１３６】
ストレージ装置９０８は、撮像装置１の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部５０を形成し得る。
【０１３７】
ドライブ９０９は、記憶媒体用リーダライタであり、撮像装置１に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１３８】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１３９】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。
【０１４０】
センサ９１５は、例えば、カメラ、マイクロフォン、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、撮像装置１の姿勢、移動速度等、撮像装置１自身の状態に関する情報や、撮像装置１の周辺の明るさや騒音等、撮像装置１の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、広角カメラセット１０、狭角カメラセット２０を形成し得る。
【０１４１】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１４２】
以上、本開示の実施形態に係る撮像装置１の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１４３】
なお、上述のような本開示の実施形態に係る撮像装置１の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１４４】
＜＜６．むすび＞＞
以上説明したように、本開示の実施形態によれば、自己位置姿勢推定の精度をより向上させることが可能である。
【０１４５】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１４６】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１４７】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、
複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する対応点情報選択部と、
を備え、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、情報処理装置。
（２）
前記対応点情報は、現在のフレームの画像から検出された特徴点と、以前のフレームの画像から検出された特徴点とのマッチングにより得られる、前記（１）に記載の情報処理装置。
（３）
前記第１の対応点情報は、前記第１のカメラまたは前記第２のカメラの撮像に基づく画像から検出された特徴点と、前記以前のフレームの画像から検出された特徴点とのマッチングにより得られ、
前記第２の対応点情報は、前記第３のカメラまたは前記第４のカメラの撮像に基づく画像から検出された特徴点と、前記以前のフレームの画像から検出された特徴点とのマッチングにより得られる、前記（２）に記載の情報処理装置。
（４）
前記対応点情報選択部は、前記第２の対応点情報が得られたか否かに応じて、前記移動推定部により用いられる前記対応点情報を前記特徴点ごとに選択する、前記（３）に記載の情報処理装置。
（５）
前記対応点情報選択部は、前記第２の対応点情報が得られた場合に、前記第２の対応点情報を前記移動推定部により用いられる前記対応点情報として選択する、前記（４）に記載の情報処理装置。
（６）
前記移動推定部は、前記対応点情報に含まれる前記特徴点に関する前記以前のフレームにおける３次元位置情報と、前記現在のフレームにおける２次元位置情報に基づいて、前記位置及び姿勢の移動を推定する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記特徴点に関する視差情報を用いて距離を推定し、前記特徴点に関する前記３次元位置情報を取得する距離推定部と
前記第１のカメラセットの撮像に基づいて得られる第１の視差情報、及び前記第２のカメラセットの撮像に基づいて得られる第２の視差情報から、前記距離推定部により用いられる視差情報を選択する視差情報選択部と、をさらに備える前記（６）に記載の情報処理装置。
（８）
前記第１の視差情報は、前記第１のカメラの撮像に基づく画像から検出された特徴点と前記第２のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られ、
前記第２の視差情報は、前記第３のカメラの撮像に基づく画像から検出された特徴点と前記第４のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られる、前記（７）に記載の情報処理装置。
（９）
前記第２の視差情報は、前記第３のカメラの撮像に基づく画像から検出された特徴点のうち、前記第１の視差情報が得られた特徴点と、前記第４のカメラの撮像に基づく画像から検出された特徴点のマッチングにより得られる、前記（８）に記載の情報処理装置。
（１０）
前記視差情報選択部は、前記第２の視差情報が得られたか否かに応じて、前記距離推定部により用いられる視差情報を前記特徴点ごとに選択する、前記（９）に記載の情報処理装置。
（１１）
前記視差情報選択部は、前記第２の視差情報が得られた場合に、前記第２の視差情報を、前記距離推定部により用いられる前記視差情報として選択する、前記（１０）に記載の情報処理装置。
（１２）
前記対応点情報選択部は、前記第２の対応点情報が得られた前記特徴点の数に応じて、前記移動推定部により用いられる前記対応点情報を選択する、前記（２）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記第２の対応点情報が得られた前記特徴点の数、または前記位置及び姿勢の移動を示す移動情報に基づいて、前記第１のカメラセットへの電力供給を制御する、前記（２）〜（１２）のいずれか一項に記載の情報処理装置。
（１４）
前記第１のカメラと前記第２のカメラとの間の距離は、前記第３のカメラと前記第４のカメラとの間の距離よりも長い、前記（１）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定することと、
複数の対応点情報から、前記移動の推定に用いられる前記対応点情報をプロセッサが選択することと、
を含み、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、
情報処理方法。
（１６）
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する機能と、
複数の対応点情報から、前記移動の推定に用いられる前記対応点情報を選択する機能と、をコンピュータに実現させるためのプログラムであって、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、プログラムを記録したコンピュータ読取可能な記録媒体。
（１７）
第１のカメラ及び第２のカメラを含む第１のカメラセットと、
第３のカメラ及び第４のカメラを含む第２のカメラセットと、
撮像に基づいて得られる対応点情報を用いて、位置及び姿勢の移動を推定する移動推定部と、
複数の対応点情報から、前記移動推定部により用いられる前記対応点情報を選択する、対応点情報選択部と、
を備え、
前記複数の対応点情報は、第１のカメラ及び第２のカメラを含む第１のカメラセットの撮像に基づいて得られる第１の対応点情報と、第３のカメラ及び第４のカメラを含む第２のカメラセットの撮像に基づいて得られる第２の対応点情報と、を含み、
前記第１のカメラセットの画角は、前記第２のカメラセットの画角よりも広く、
前記第１のカメラセット、及び前記第２のカメラセットは、少なくとも一部において同一の撮像範囲を撮像する、撮像装置。
【符号の説明】
【０１４８】
１  撮像装置
１０  広角カメラセット
１１、１２  広角カメラ
２０  狭角カメラセット
２３、２４  狭角カメラ
３０  処理部
３１  特徴検出部
３２  視差マッチング部
３３  抽出部
３４  視差情報選択部
３５  距離推定部
３６  マッチング部
３７  対応点情報選択部
３８  移動推定部
３９  位置姿勢推定部
５０  記憶部
【図１】
2019026390.tif 000003
【図２】
2019026390.tif 000004
【図３】
2019026390.tif 000005
【図４】
2019026390.tif 000006
【図５】
2019026390.tif 000007
【図６】
2019026390.tif 000008
【図７】
2019026390.tif 000009
【図８】
2019026390.tif 000010
【国際調査報告】
2019026390.tif 000011
2019026390.tif 000012
2019026390.tif 000013
2019026390.tif 000014