(57)【要約】  本開示は、継続的に自己位置を推定することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。本開示の一側面である情報処理装置は、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する複数の副撮像部と、前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部とを備える。本開示は、例えば、車載用途の自己位置センサに適用できる。
2017057054.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、
前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
を備える情報処理装置。
【請求項２】
前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、
前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、
前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有する
請求項１に記載の情報処理装置。
【請求項３】
前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する
請求項２に記載の情報処理装置。
【請求項４】
前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含む
請求項３に記載の情報処理装置。
【請求項５】
前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
請求項１に記載の情報処理装置。
【請求項６】
前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
請求項５に記載の情報処理装置。
【請求項７】
複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行う
請求項６に記載の情報処理装置。
【請求項８】
情報処理装置による情報処理方法において、
前記情報処理装置による、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む情報処理方法。
【請求項９】
情報処理装置の制御用のプログラムにおいて、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む処理を情報処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、自動車などの移動体に搭載して自己位置を推定する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
自動車などの移動体に搭載して自己位置を推定する技術としてSLAM(Simultaneous Localization and Mapping)が知られている。【０００３】
ステレオカメラ等を用いたSLAMによる自己位置推定技術は以下の処理から構成される。すなわち、初めに、ステレオカメラにより撮像された視差の異なるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から特徴点を検出して奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理が行われる。次に、得られた特徴点を複数フレームに亘ってトラッキングする処理、すなわち、特徴点の２Ｄ座標トラッキング処理が行われる。最後に、推定された特徴点の３Ｄ座標と、追跡された特徴点の２Ｄ座標の組み合わせを尤も適切に表現できるポーズ（自己位置と向き）を推定する処理、すなわち、６DOF（自由度６）の自己位置を推定する処理が行われる（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−３０４２６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
SLAMによる自己位置推定技術が上述した処理から構成されることにより、一般的には、ステレオカメラにより撮像された画像の大部分がテクスチャのない壁や床によって占められる場合、周辺環境（他の自動車や歩行者など)が動く場合、特徴点の３Ｄ座標の空間分布が偏る場合には自己位置推定が困難となる。【０００６】
特に、屋外で使用される自動車などの移動体にSLAMによる自己位置推定技術を適用する場合には、以下のような問題が発生して自己位置の推定が困難となる事態が起こり得る。【０００７】
すなわち、例えば、近くに特徴のある被写体が存在せず、遠方の建物がテクスチャとして検出される場合、テクスチャの時間変動が得られない。画像上において周辺環境が移動する場合、自己が動いているのか、周辺環境が動いているのかを区別することができない。自己（自動車）が高速に移動する場合、画面上から特徴点が消失してしまい、トラッキングが困難となる。【０００８】
本開示はこのような状況に鑑みてなされたものであり、継続的に自己位置を推定できるようにするものである。
【課題を解決するための手段】
【０００９】
本開示の一側面である情報処理装置は、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部とを備える。【００１０】
前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力することができ、前記最終ポーズ決定部は、前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有することができる。【００１１】
前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力することができ、前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力することができ、前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定することができる。【００１２】
前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含むことができる。【００１３】
前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力することができ、前記最終ポーズ決定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有することができる。【００１４】
前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定することができ、前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換することができる。【００１５】
複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行うことができる。【００１６】
本開示の一側面である情報処理方法は、情報処理装置による情報処理方法において、前記情報処理装置による、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む。【００１７】
本開示の一側面であるプログラムは、情報処理装置の制御用のプログラムにおいて、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを含む処理を情報処理装置のコンピュータに実行させる。【００１８】
本開示の一側面においては、移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズが推定される。
【発明の効果】
【００１９】
本開示の一側面によれば、継続的に自己位置を推定することができる。
【図面の簡単な説明】
【００２０】
【図１】本開示を適用した情報処理装置の第１の構成例を示すブロック図である。
【図２】図１の第１乃至第４の撮像部の自動車における配置例を示す図である。
【図３】情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。
【図４】本開示を適用した情報処理装置の第２の構成例を示すブロック図である。
【図５】図４の第１乃至第３の撮像部の自動車における配置例を示す図である。
【図６】第１乃至第３の撮像部の代わりに全方位カメラを配置した例を示す図である。
【図７】第１乃至第３の撮像部の代わりに下向きカメラを配置した例を示す図である。
【図８】情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。
【図９】本開示を適用した情報処理装置をヘッドマウントディスプレイに搭載した場合の概念図である。
【図１０】本開示を適用した情報処理装置を自立型掃除ロボットに搭載した場合の概念図である。
【図１１】本開示を適用した情報処理装置をドローン（自律型無人飛行機）に搭載した場合の概念図である。
【図１２】本開示を適用した情報処理装置を３Ｄモデルや任意視点映像などの作成に応用する場合の概念図である。
【図１３】汎用のコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２１】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。以下においては、本開示の実施の形態である情報処理装置は、屋外で使用される自動車に搭載して使用することを想定して説明する。
【００２２】
＜本開示を適用した情報処理装置の第１の構成例＞
図１は、本開示を適用した情報処理装置の第１の構成例を示している。
【００２３】
該第１の構成例は、第１の撮像部１１−１乃至第４の１１−４、SLAM処理部１２−１乃至１２−４、および統合部１３から構成される。
【００２４】
第１の撮像部１１−１は、高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対をSLAM処理部１２−１に供給する。第２の撮像部１１−２乃至第４の撮像部１１−４についても第１の撮像部１１−１と同様に構成される。なお、ステレオカメラの代わりに、１台のカメラと被写体までの距離（３Ｄ座標）を測定できる偏光センサ、アクティブ系センサ（ToFセンサ、ＳＬセンサなど）を用いてもよい。
【００２５】
図２は、第１の撮像部１１−１乃至第４の撮像部１１−４の自動車における配置例を示しており、同図Ａは側面図を示しており、同図Ｂは上面図を示している。
【００２６】
第１の撮像部１１−１乃至第４の撮像部１１−４は、それぞれ異なる方向を撮像範囲とするように配置される。同図の場合、第１の撮像部１１−１は、前方を撮像範囲とするように、自動車の前側に配置されている。第２の撮像部１１−２は、右側方を撮像範囲とするように、自動車の右側に配置されている。第３の撮像部１１−３は、左側方を撮像範囲とするように、自動車の左側面に配置されている。第４の撮像部１１−４は、後方を撮像範囲とするように、自動車の後側に配置されている。
【００２７】
なお、第１の撮像部１１−１乃至第４の撮像部１１−４の配置は、図２の配置例に限定されるものではなく、複数の高解像度ステレオカメラによって自動車の周囲を撮像できるようにすればよい。また、図示は省略するが、路面を撮像範囲とするように、自動車の下部に第２の撮像部１１−２乃至第４の撮像部１１−４のいずれかを配置するようにしてもよい。
【００２８】
図１に戻る。SLAM処理部１２−１は、第１の撮像部１１−１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果えられるポーズとその信頼度を統合部１３に出力する。ここで、ポーズとは、６DOFの自己位置である。信頼度は、有効な特徴点の数、特徴点の３次元空間部分、直前に得られた最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含むものとする。
【００２９】
SLAM処理部１２−２乃至１２−４についてもSLAM処理部１２−１と同様、前段から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、その結果得られるポーズとその信頼度を統合部１３に出力する。
【００３０】
なお、SLAM処理部１２−１乃至１２−４が行うSLAM処理の一部または全部を、いわゆるクラウド上のサーバに実行させるようにしてもよい。
【００３１】
統合部１３は、SLAM処理部１２−１乃至１２−４から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、SLAM処理部１２−１乃至１２−４から入力されるポーズをその信頼度に基づいて重み付け平均したり、信頼度が最も高いポーズを採用したり、SLAM処理部１２−１乃至１２−４から入力されるポーズを、その信頼度に基づくカルマンフィルタ(Kalman Filter)によって統合したりして最終的なポーズを決定する。
【００３２】
＜情報処理装置の第１の構成例による最終ポーズ決定処理＞
次に、図３は、情報処理装置の第１の構成例による最終ポーズ決定処理を説明するフローチャートである。
【００３３】
以下、第１の撮像部１１−１乃至第４の撮像部１１−４のそれぞれに対応するSLAM処理部１２−１乃至１２−４の組み合わせをそれぞれステレオカメラ系と称する。また、第１の撮像部１１−１乃至第４の撮像部１１−４を個々に区別する必要が無い場合には撮像部１１と称し、SLAM処理部１２−１乃至１２−４を個々に区別する必要が無い場合にはSLAM処理部１２と称する。
【００３４】
ステップＳ１において、各ステレオカメラ系の撮像部１１によって所定のフレームレートで動画像の撮像を開始し、その結果得られる視差が異なるステレオ画像対を対象としてSLAM処理部１２に供給する。
【００３５】
ステップＳ２において、各ステレオカメラ系のSLAM処理部１２は、前段の撮像部１１から順次所定のフレームレートで供給される、視差が異なるステレオ画像対を対象としてSLAM処理を行い、ステップＳ３において、その結果えられるポーズとその信頼度を統合部１３に出力する。
【００３６】
ステップＳ４において、統合部１３は、各ステレオカメラ系のSLAM処理部１２から入力されるポーズを、その信頼度に基づいて統合して最終的なポーズを決定する。具体的には、上述した３種類の統合方法のいずれを採用してもよい。
【００３７】
以上に説明した最終ポーズ決定処理によれば、全てのステレオカメラ系で自己位置が推定され、その結果が統合されるので、仮に１つのステレオカメラ系で自己位置推定ができなかったり、誤差が有ったりしても、継続的に最終的なポーズを推定することができる。
【００３８】
なお、ステレオカメラ系の数は４に限らず、２以上であればよい。当然ながら、その数が増えれば、最終的なポーズの正確性を高めることができる。
【００３９】
＜本開示を適用した情報処理装置の第２の構成例＞
図４は、本開示を適用した情報処理装置の第２の構成例を示している。
【００４０】
該第２の構成例は、大別して３Ｄ推定部２１、２Ｄトラッキング部２７、およびポーズ推定部３１から構成される。
【００４１】
３Ｄ推定部２１は、ステレオ撮像部２２、特徴点検出部２３、奥行推定部２４、座標変換部２５および保持部２６を有する。
【００４２】
ステレオ撮像部２２は、自動車の前方を撮像する高解像度ステレオカメラから構成されており、所定のフレームレートで動画像を撮像し、その結果得られる視差が異なるステレオ画像対を特徴点検出部２３に供給する。
【００４３】
特徴点検出部２３は、ステレオ撮像部２２から供給されるステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。
【００４４】
奥行推定部２４は、ステレオ画像対における特徴点の奥行推定を行う処理、すなわち、特徴点の３Ｄ座標を推定する処理を行い、処理結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。
【００４５】
座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の撮像部２８−１（後述）によって撮像される第１の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[1]を保持部２６に出力する。また、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第２の撮像部２８−２（後述）によって撮像される第２の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[2]を保持部２６に出力する。さらに、座標変換部２５は、奥行推定部２４から得られる３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第３の撮像部２８−３（後述）によって撮像される第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[3]を保持部２６に出力する。
【００４６】
保持部２６は、奥行推定部２４から入力される３Ｄ特徴点群@cam0と、座標変換部２５から入力される推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持する。
【００４７】
２Ｄトラッキング部２７は、第１の撮像部２８−１乃至第３の撮像部２８−３、トラッキング部２９−１乃至２９−３、および座標変換部３０−１乃至３０−３を有する。
【００４８】
第１の撮像部２８−１は、広角カメラまたは魚眼カメラなどの撮像範囲が広いカメラから成り、所定のフレームレートで動画像を撮像し、その結果得られる第１の画像をトラッキング特徴点検出部２３−１に供給する。同様に、第２の撮像部２８−２は、第２の画像をトラッキング特徴点検出部２３−２に供給し、第３の撮像部２８−３は、第３の画像をトラッキング特徴点検出部２３−３に供給する。上述したように、第１の撮像部２８−１乃至第３の撮像部２８−３は、視差に基づくキャリブレーションなどが必須となるステレオカメラではなく、それぞれが１台の広角カメラなどで構成することができるので、ステレオカメラを用いた場合に比較して、低コスト化を実現でき、キャリブレーションの手間を省くことができる。
【００４９】
なお、第１の撮像部２８−１乃至第３の撮像部２８−３から得られる第１乃至第３の画像から有効なテクスチャ範囲を選定し、ステレオ撮像部２２を構成する高解像度ステレオカメラの向きやズーム率を制御するようにしてもよい。
【００５０】
図５は、第１の撮像部２８−１乃至第３の撮像部２８−３の自動車における配置例を示している。
【００５１】
同図に示されるように、第１の撮像部２８−１は、例えば、自動車の左側を撮像範囲とする位置に取り付けられる。第２の撮像部２８−２は、例えば、自動車の右側を撮像範囲とする位置に取り付けられる。第３の撮像部２８−３は、例えば、自動車の後方を撮像範囲とする位置に取り付けられる。
【００５２】
なお、第１の撮像部２８−１乃至第３の撮像部２８−３の全てに対して同時に撮像を行わせるのではなく、第１の撮像部２８−１乃至第３の撮像部２８−３を選択的に切り替えて撮像させてもよい。具体的には、ステレオ画像対から検出された特徴点の空間分布（特に奥行方向の分布）が偏らないように選択したり、動きが有る周辺環境を撮像していないものを選択したり、特徴点として有効なテクスチャを撮像しているものを選択したりして撮像させるようにしてもよい。これにより、省電力化を図ることができる。
【００５３】
また、第１の撮像部２８−１乃至第３の撮像部２８−３を設ける代わりに、図６に示されるように、周囲３６０度を撮像範囲とする全方位カメラ２８を自動車の屋根などに配置してもよい。または、図７に示されるように、第１の撮像部２８−１乃至第３の撮像部２８−３を設ける代わりに、路面を撮像範囲とする下向きカメラ２８を自動車の底部などに配置してもよい。
【００５４】
図４に戻る。トラッキング部２９−１は、保持部２６から推定２Ｄ特徴点群@cam[1]を取得し、取得した推定２Ｄ特徴点群@cam[1]に基づいて、ステレオ画像対から検出された特徴点を、第１の撮像部２８−１から得られる第１の画像上でトラッキングし、その結果得られる２Ｄ特徴点群@cam[1]を座標変換部３０−１に出力する。なお、ステレオ画像対から検出された特徴点のうち、第１の画像上に存在しない特徴点については、２Ｄ特徴点群@cam[1]から削除する。同様に、トラッキング部２９−２は、２Ｄ特徴点群@cam[2]を座標変換部３０−２に出力し、トラッキング部２９−３は、２Ｄ特徴点群@cam[3]を座標変換部３０−３に出力する。
【００５５】
座標変換部３０−１は、トラッキング部２９−１から入力された２Ｄ特徴点群@cam[1]に基づき、第１の画像上でトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-1をポーズ推定部３１に出力する。同様に、座標変換部３０−２はＤ特徴点群@cam0-2をポーズ推定部３１に出力し、座標変換部３０−３はＤ特徴点群@cam0-3をポーズ推定部３１に出力する。
【００５６】
ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。
【００５７】
＜情報処理装置の第２の構成例による最終ポーズ決定処理＞
次に、図８は、情報処理装置の第２の構成例による最終ポーズ決定処理を説明するフローチャートである。
【００５８】
前提として、既にステレオ撮像部２２は所定のフレームレートで動画像の撮像を開始しており、その結果得られるステレオ画像対を後段に出力しているものとする。
【００５９】
ステップＳ１１において、３Ｄ推定部２１の特徴点検出部２３は、ステレオ画像対から特徴があるテクスチャ領域を検出し、テクスチャ領域から１以上の特徴点を検出して、検出結果を示す２Ｄ特徴点群@cam0を奥行推定部２４に出力する。ステップＳ１２において、奥行推定部２４は、ステレオ画像対における特徴点の３Ｄ座標を推定し、その結果を示す３Ｄ特徴点群@cam0を座標変換部２５および保持部２６に出力する。
【００６０】
ステップＳ１３において、座標変換部２５は、３Ｄ特徴点群@cam0に基づき、ステレオ画像対における特徴点の、第１の乃至第３の画像における２Ｄ座標を推定し、その結果得られる推定２Ｄ特徴点群@cam[i]（i=1,2,3）を保持部２６に出力する。
【００６１】
この後、２Ｄトラッキング部２７の第１の撮像部２８−１乃至第３の撮像部２８−３は、選択的に切り替えられて動画像の撮像を開始する。
【００６２】
ステップＳ１４において、トラッキング部２９−ｉ（ｉ＝１，２，３）は、保持部２６から推定２Ｄ特徴点群@cam[i]を取得し、取得した推定２Ｄ特徴点群@cam[i]に基づいて、ステレオ画像対から検出された特徴点を、前段から得られる第ｉの画像上でトラッキングすることによって２Ｄ特徴点群@cam[i]を得る。次に、ステップＳ１５において、トラッキング部２９−ｉは、第ｉの画像上でトラッキングできなかった特徴点の記録を２Ｄ特徴点群@cam[i]から削除して座標変換部３０−ｉに出力する。
【００６３】
ステップＳ１６において、座標変換部３０−ｉ（ｉ＝１，２，３）は、トラッキング部２９−ｉから入力された２Ｄ特徴点群@cam[i]に基づき、第ｉの画像上にトラッキングした特徴点の２Ｄ座標を、ステレオ画像対における２Ｄ座標に変換し、その結果得られる２Ｄ特徴点群@cam0-iをポーズ推定部３１に出力する。
【００６４】
ステップＳ１７において、ポーズ推定部３１は、保持部２６から３Ｄ特徴点群@cam0を取得し、取得した３Ｄ特徴点群@cam0と、２Ｄ特徴点群@cam0-1乃至２Ｄ特徴点群@cam0-3に基づいて、３Ｄ座標と２Ｄ座標との組み合わせが尤も適切に表現できる最終ポーズ（６DOF）を推定する。
【００６５】
以上説明した情報処理装置の第２の構成例による最終ポーズ決定処理によれば、第１の撮像部２８−１乃至第３の撮像部２８−３のうちのいずれかが、具体的には、ステレオ画像対から検出された特徴点を継続的にトラッキングできるように、また、特徴点の空間分布が偏らないように、周辺環境に影響されない特徴点を検出できるように選択的に切り替えられるので、最終的なポーズを継続的に推定することが可能となる。
【００６６】
＜本開示を適用した情報処理装置の応用例＞
上述した実施の形態では、車載用途を想定していたが、情報処理装置の第１および第２の構成例は車載用途以外への応用も可能である。
【００６７】
図９は、情報処理装置の第２の構成例をHMD（ヘッドマウントディスプレイ）に搭載した場合の概念図を示している。
【００６８】
同図に示されるHMDを用いれば、ユーザの頭部の位置と姿勢を継続的に推定することができるので、動画再生やAR/VRアプリケーションにおいて、ユーザの状態に応じた映像を提示することが可能となる。
【００６９】
図１０は、情報処理装置の第２の構成例を自律型掃除ロボットに搭載した場合の概念図を示している。図１１は、情報処理装置の第２の構成例をドローン（自律型無人飛行機）に搭載した場合の概念図を示している。
【００７０】
図１０に示される自律型掃除ロボットや図１１に示されるドローンによれば、継続的に安定して自己のポーズを推定することができるので、安定した移動や飛行が可能となる。
【００７１】
図示は省略するが、該情報処理装置を小型して保護すべき野生動物などに取り付ければ、位置を継続的に推定できるので、それらの行動解析に資することが可能となる。
【００７２】
図１２は、情報処理装置の第２の構成例を３Ｄモデルや任意視点映像の作成に応用する場合の概念図を示している。同図に示されるように、不動の被写体（同図の場合、建物）の周囲に各撮像部を配置すれば、各撮像部の位置と姿勢を推定できるので、各撮像部によって撮像された画像を用いて３Ｄモデルや任意視点映像を作成することができる。
【００７３】
ところで、上述した情報処理装置の第１および第２の構成例による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【００７４】
図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【００７５】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【００７６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【００７７】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【００７８】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【００７９】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【００８０】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【００８１】
本開示は以下のような構成も取ることができる。
（１）
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部と、
前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部と、
前記主撮像部によって撮像されたステレオ主画像対と、前記副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定部と
を備える情報処理装置。
（２）
前記副撮像部は、ステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ副画像対を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された時系列のステレオ主画像対に基づいて前記移動体のポーズを推定する主推定部と、
前記副撮像部によって撮像された時系列のステレオ副画像対に基づいて前記移動体のポーズを推定する副推定部と、
前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する統合部とを有する
前記（１）に記載の情報処理装置。
（３）
前記主推定部は、前記ステレオ主画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ主画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記副推定部は、前記ステレオ副画像対から検出した特徴点の３Ｄ座標と推定するとともに、前記特徴点を前記ステレオ副画像対の一方の複数フレームに亘ってトラッキングすることによって前記移動体のポーズを推定し、推定したポーズとその信頼度を前記統合部に出力し、
前記統合部は、前記信頼度に基づいて、前記主推定部によって推定されたポーズと、前記副推定部によって推定されたポーズとを統合することにより最終ポーズを決定する
前記（２）に記載の情報処理装置。
（４）
前記信頼度は、前記ポーズを推定するに際して有効な前記特徴点の数、前記特徴点の３Ｄ空間分布、推定された前記ポーズと直近の最終ポーズとの差分、または、推定における最適化演算における残差のうちの少なくとも一つを含む
前記（３）に記載の情報処理装置。
（５）
前記副撮像部は、広角カメラ、魚眼カメラ、または全方位カメラから構成され、所定のフレームレートで動画像を撮像することにより、時系列の副画像を出力し、
前記最終ポーズ決定部は、
前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定する３Ｄ推定部と、
前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する２Ｄトラッキング部と、
３Ｄ推定部によって推定された前記特徴点の前記３Ｄ座標と、前記２Ｄトラッキング部によって変換された前記特徴点の前記ステレオ主画像対における２Ｄ座標とに基づいて最終ポーズを推定するポーズ推定部とを有する
前記（１）に記載の情報処理装置。
（６）
前記３Ｄ推定部は、前記主撮像部によって撮像された前記ステレオ主画像対から検出した特徴点の３Ｄ座標を推定するとともに、前記特徴点の前記副画像における２Ｄ座標を推定し、
前記２Ｄトラッキング部は、前記３Ｄ推定部によって推定された前記特徴点の前記副画像における前記２Ｄ座標に基づき、前記特徴点を前記副画像の複数フレームに亘ってトラッキングし、トラッキング結果を前記ステレオ主画像対における２Ｄ座標に変換する
前記（５）に記載の情報処理装置。
（７）
複数の前記副撮像部は、前記３Ｄ推定部による前記特徴点の前記副画像における前記２Ｄ座標に推定結果に基づき、選択的に切り替えられて撮像を行う
前記（５）または（６）に記載の情報処理装置。
（８）
情報処理装置による情報処理方法において、
前記情報処理装置による、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む情報処理方法。
（９）
情報処理装置の制御用のプログラムにおいて、
移動体に搭載されたステレオカメラから構成され、所定のフレームレートで動画像を撮像することにより時系列のステレオ主画像対を出力する主撮像部によって撮像されたステレオ主画像対と、前記主撮像部とは撮像方向が異なるように前記移動体に搭載され、所定のフレームレートで動画像を撮像する１または複数の副撮像部によって撮像された副画像とに基づいて前記移動体のポーズを推定する最終ポーズ決定ステップを
含む処理を情報処理装置のコンピュータに実行させるプログラム。
【符号の説明】
【００８２】
１１−１  第１の撮像部，  １１−２  第２の撮像部，  １１−３  第３の撮像部，  １１−４  第４の撮像部，  １２−１乃至１２−４  SLAM処理部，  １３  統合部，  ２１  ３Ｄ推定部，  ２２  ステレオ撮像部，  ２３  特徴点検出部，  ２４  奥行推定部，  ２５  座標変換部，  ２６  保持部，  ２７  ２Ｄトラッキング部，  ２８−１  第１の撮像部，  ２８−２  第２の撮像部，  ２８−３  第３の撮像部，  ２９−１乃至２９−３  トラッキング部，  ３０−１乃至３０−３  座標変換部，  ３１  ポーズ推定部，  １００  コンピュータ，  １０１  CPU
【図１】
2017057054.tif 000003
【図２】
2017057054.tif 000004
【図３】
2017057054.tif 000005
【図４】
2017057054.tif 000006
【図５】
2017057054.tif 000007
【図６】
2017057054.tif 000008
【図７】
2017057054.tif 000009
【図８】
2017057054.tif 000010
【図９】
2017057054.tif 000011
【図１０】
2017057054.tif 000012
【図１１】
2017057054.tif 000013
【図１２】
2017057054.tif 000014
【図１３】
2017057054.tif 000015
【国際調査報告】
2017057054.tif 000016
2017057054.tif 000017
2017057054.tif 000018
2017057054.tif 000019