(57)【要約】  本開示は、正確且つ継続的に自己の動きを推定して自己位置を推定することができるようにする情報処理装置、情報処理方法、およびプログラムに関する。本開示の一側面である情報処理装置は、路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える。本開示は、例えば、自動車に搭載する位置センサに適用できる。
2017057052.tif 000002
【特許請求の範囲】
【請求項１】
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部と
を備える情報処理装置。
【請求項２】
前記路面までの距離を推定する路面推定部をさらに備える
請求項１に記載の情報処理装置。
【請求項３】
前記下向き撮像部は、ステレオカメラから構成され、
前記路面推定部は、前記ステレオカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて前記路面までの距離を推定する
請求項２に記載の情報処理装置。
【請求項４】
前記路面推定部は、ToＦセンサから構成される
請求項２に記載の情報処理装置。
【請求項５】
前記路面にテクスチャパターンを投光する投光部をさらに備え、
前記路面推定部は、前記下向き撮像部によって撮像された前記路面に投影されている前記テクスチャパターンの画像に基づいて前記路面までの距離を推定する
請求項２に記載の情報処理装置。
【請求項６】
前記透光部は、前記下向き撮像部の撮像範囲を照らす照明部を兼ねる
請求項５に記載の情報処理装置。
【請求項７】
前記下向き撮像部の撮像範囲を照らす照明部をさらに備える
請求項２に記載の情報処理装置。
【請求項８】
前記動き推定部によって推定された前記移動体の動きに基づいて前記移動体の自己位置を推定する第１の自己位置推定部をさらに備える
請求項２に記載の情報処理装置。
【請求項９】
路面を移動する移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、
前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とさらに備える
請求項８に記載の情報処理装置。
【請求項１０】
前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備える
請求項９に記載の情報処理装置。
【請求項１１】
前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均する
請求項１０に記載の情報処理装置。
【請求項１２】
前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
請求項１０に記載の情報処理装置。
【請求項１３】
前記補正部は、前記下向き撮像部によって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
請求項１０に記載の情報処理装置。
【請求項１４】
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の情報処理方法において、
前記動き推定部による、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む情報処理方法。
【請求項１５】
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の制御用のプログラムにおいて、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法、およびプログラムに関し、特に、例えば、自動車などの移動体に搭載して自己位置を推定する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【０００２】
従来、自動車などの移動体に搭載して自己位置を推定する仕組みとしてGPS(Global Positioning System)が知られている。GPSによれば、所定数の衛星から送信される信号を受信できれば、自己位置を推定することができものの、例えば、高い建物の側やトンネルを走行していたりした場合、該信号を受信できないので自己位置を推定できない。【０００３】
このような一時的に自己位置を推定できない不都合を解消するためには、ある時点における既知の所在地を基準点として、その後の自己（自動車などの移動体）の動き（移動方向と速度）を継続的に検出すればよい。具体的には、例えば、移動体にカメラを搭載して周囲を連続的に撮像し、その結果得られる時系列の画像における同一被写体の移動に基づき、自己（移動体）の動きを検出する方法が考えられる。【０００４】
ただし、周囲を撮像した画像に基づいて自己の動きを検出方法では、次の不都合が生じ得る。すなわち、撮像した画像が環境光に起因して白飛びしていたり、画像の大部分の領域が自己とともに移動する移動体（直前の大型自動車等）によって占められてしまったり、大雨などの悪天候により鮮明な画像が得られなかったり、近傍に適切な被写体が無く遠景しか写らなかったりすると、自己の動きの継続的に検出が困難となってしまう。【０００５】
このような問題に対しては、自己（移動体）の周囲を撮像するのではなく、路面を連続的に撮像して得られる時系列の画像に写っている路面の特徴点をトラッキングすることによって動きを検出する方法案されている（例えば、特許文献１または２参照）。【０００６】
なお、路面の特徴点をトラッキングすることによって動きを検出する場合には、路面とカメラの距離（路面からのカメラまでの高さ）を正確に測定することが必要となる。特許文献１の記載では、路面に対して２つのレーザポインタで基準マークを照射し、その基準マーク間の距離に基づいて路面とカメラの距離を計測している。特許文献２の記載では、路面に対して正方格子模様の光を照射し、その正方格子の歪みに基づいて路面とカメラの距離を計測している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１４−１４９２０９号公報
【特許文献２】特開２００７−２７８９５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１および２に記載の方法では、路面が完全に平面である場合を仮定したものなので、傾きや凹凸が多数存在し得る実際の路面では、路面とカメラの距離を正確に測定することはできない。したがって、自己の移動方向と速度を継続的に正確に検出することはできない。【０００９】
本開示はこのような状況に鑑みてなされたものであり、正確且つ継続的に自己の動き（移動方向と速度）を推定できるようにするものである。
【課題を解決するための手段】
【００１０】
本開示の一側面である情報処理装置は、路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える。【００１１】
本開示の一側面である情報処理装置は、前記路面までの距離を推定する路面推定部をさらに備えることができる。【００１２】
前記下向き撮像部は、ステレオカメラから構成することができ、前記路面推定部は、前記ステレオカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて前記路面までの距離を推定することができる。【００１３】
前記路面推定部は、ToＦセンサから構成することができる。【００１４】
本開示の一側面である情報処理装置は、前記路面にテクスチャパターンを投光する投光部をさらに備えることができ、前記路面推定部は、前記下向き撮像部によって撮像された前記路面に投影されている前記テクスチャパターンの画像に基づいて前記路面までの距離を推定することができる。【００１５】
前記透光部は、前記下向き撮像部の撮像範囲を照らす照明部を兼ねることができる。【００１６】
本開示の一側面である情報処理装置は、前記下向き撮像部の撮像範囲を照らす照明部をさらに備えることができる。【００１７】
本開示の一側面である情報処理装置は、前記動き推定部によって推定された前記移動体の動きに基づいて前記移動体の自己位置を推定する第１の自己位置推定部をさらに備えることができる。【００１８】
本開示の一側面である情報処理装置は、路面を移動する移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とさらに備えることができる。【００１９】
本開示の一側面である情報処理装置は、前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備えることができる。【００２０】
前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均することができる。【００２１】
前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用することができる。【００２２】
前記補正部は、前記下向き撮像部によって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用することができる。【００２３】
本開示の一側面である情報処理方法は、路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の情報処理方法において、前記動き推定部による、前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップとを含む。【００２４】
本開示の一側面であるプログラムは、路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の制御用のプログラムにおいて、前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップとを含む処理を情報処理装置のコンピュータに実行させる。【００２５】
本開示の一側面においては、下向き撮像部によって撮像された路面の画像が取得され、取得された撮像タイミングが異なる複数の路面の画像に基づいて移動体の動きが推定される。
【発明の効果】
【００２６】
本開示の一側面によれば、正確且つ継続的に自己の動きを推定することができる。
【図面の簡単な説明】
【００２７】
【図１】本開示を適用した情報処理装置の第１の構成例を示すブロック図である。
【図２】下向き撮像部を構成するステレオカメラの配置例を示す図である。
【図３】下向き撮像部を構成するステレオカメラの他の配置例を示す図である。
【図４】特徴点に基づく路面推定と動き推定の概要を示す図である。
【図５】図１の情報処理装置による第１の自己位置推定処理を説明するフローチャートである。
【図６】ピクセル勾配ベースの路面推定と動き推定の概要を示す図である。
【図７】図１の情報処理装置による第２の自己位置推定処理を説明するフローチャートである。
【図８】本開示を適用した情報処理装置の第２の構成例を示すブロック図である。
【図９】図８の情報処理装置による自己位置推定処理を説明するフローチャートである。
【図１０】本開示を適用した情報処理装置の第３の構成例を示すブロック図である。
【図１１】外向き撮像部を構成するカメラの配置例を示す図である。
【図１２】図１０の補正部による第１の自己位置補正処理を説明するフローチャートである。
【図１３】図１０の補正部による第２の自己位置補正処理を説明するフローチャートである。
【図１４】図１０の補正部による第３の自己位置補正処理を説明するフローチャートである。
【図１５】汎用のコンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【００２８】
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
【００２９】
本開示の実施の形態である情報処理装置は、移動体に搭載されて自己位置を推定するものである。なお、実施の形態においては、自動車を移動体の一例として説明するが、該情報処理装置を搭載し得る移動体としては、自動車のみならず、自転車、オートバイなどの乗り物の他、自律的に移動するロボットなどを挙げることができる。
【００３０】
＜本開示の実施の形態である情報処理装置の第１の構成例＞
図１は、本開示の実施の形態である情報処理装置の第１の構成例を示している。
【００３１】
この情報処理装置１０は、下向き撮像部１１、照明部１３、制御部１４、および情報処理部１５から構成される。
【００３２】
下向き撮像部１１は、一対のステレオカメラとしての第１カメラ１２Ｌおよび第２カメラ１２Ｒ（一括してステレオカメラ１２とも称する）を有しており、所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段に出力する。以下、あるタイミングtにおいて第１カメラ１２Ｌにより撮像されたフレーム画像を第１の画像(t)と称し、第２カメラ１２Ｒにより撮像されたフレーム画像を第２の画像(t)と称する。
【００３３】
図２および図３は、下向き撮像部１１が有する一対のステレオカメラ１２を自動車に配置した場合の配置例を示しており、図２のＡおよび図３のＡは自動車の側面を示し、図２のＢおよび図３のＢは自動車の底面を示している。
【００３４】
図２のＡに示されるように、ステレオカメラ１２は、外光の影響を受けることなく路面を撮像範囲とするように下向きに取り付けられる。また、図２のＢに示されるように、ステレオカメラ１２は、自動車の幅方向と平行に所定の間隔（視差）を開けて取り付けられる。なお、ステレオカメラ１２の配置は、図２の配置例に限られるものではなく、外光の影響を受けることなく路面を撮像できる位置に取り付ければよい。例えば、図３に示されるように、前輪タイヤよりも前に取り付けてもよい。あるいは、後輪タイヤよりも後ろや左右のドアミラーに取り付けてもよい。
【００３５】
さらに、下向き撮像部１１に二対以上のステレオカメラ１２を設けてもよい。その場合、図３に示されるように、一対のステレオカメラ１２を自動車の底面前方に、もう一対のステレオカメラを自動車の底面後方に配置する。このように、自動車の底面に間隔を開けてステレオカメラを配置すれば、自動車が高速で走行した場合においても、後述する動き推定を行うことができる。
【００３６】
図１に戻る。照明部１３は、下向き撮像部１１による撮像範囲に照明光を照射する。制御部１４は、下向き撮像部１１および照明部１３を制御する。
【００３７】
情報処理部１５は、路面推定部１６、動き推定部１７、路面環境推定部１８、および自己位置推定部１９を有する。
【００３８】
路面推定部１６は、ステレオカメラ１２により同じタイミングｔに撮像された第１の画像(t)と第２の画像(t)に基づいて路面推定を行う。動き推定部１７は、タイミングｔに撮像された第１の画像(t)（第２の画像(t)でもよい）と１回前のタイミングt-1に撮像された第１の画像(t-1)（第２の画像(t-1)）に基づいて動き推定を行う。いずれも以下に詳述する。
【００３９】
図４は、特徴点に基づく路面推定と動き推定の概要を示している。
【００４０】
路面推定は、同図に示されるように、第１の画像(t)と第２の画像(t)上で同一の特徴点を検出し、三角測量の原理に基づいて路面の特徴点と下向き撮像部１１のステレオカメラ間を結ぶ基線との距離（以下、単に特徴点とカメラの距離と称する）を算出する。
【００４１】
動き推定は、同図に示されるように、第１の画像(t)と第１の画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標の違いに基づいて、自己（移動体）の動きを推定する。なお、動き推定に用いる２画像は、前後して撮像された第１の画像(t)と第１の画像(t-1)に限るものではなく、例えば、第１の画像(t)と第１の画像(t-2)、第１の画像(t)と第１の画像(t-3)などを用いてもよい。
【００４２】
図１に戻る。路面環境推定部１８は、路面推定の結果（特徴点とカメラの距離）に基づいて、路面環境、すなわち、路面の傾き、凹凸、滑り（μ）などを推定する。なお、路面推定の結果は、路面環境推定に用いる他、自動車の上下方向の振動測定に利用することができ、その結果を振動制御に利用してもよい。
【００４３】
自己位置推定部１９は、ある時点における既知の所在地を基準点として、推定された自己の動きを加えることにより、現在の自己位置を推定する。
【００４４】
＜情報処理装置１０による第１の自己位置推定処理＞
図５は、情報処理装置１０による第１の自己位置推定処理を説明するフローチャートである。
【００４５】
この第１の自己位置推定処理は、下向き撮像部１１のステレオカメラ１２による撮像のフレームレートと同じ周期で繰り返し実行される。
【００４６】
また、前提として、既に下向き撮像部１１は、一対のステレオカメラ１２により所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部１５に出力しているものとする。また、自己位置推定部１９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
【００４７】
ステップＳ１において、情報処理部１５の路面推定部１６は、タイミングｔに撮像された第１の画像(t)と第２の画像(t)を取得する。ステップＳ２において、路面推定部１６は、第１の画像(t)と第２の画像(t)から特徴点を検出し、同一特徴点を特定して、両者の視差マッチングに基づき路面推定を行い、特徴点とカメラの距離を算出する。
【００４８】
ステップＳ３において、情報処理部１５の動き推定部１７は、タイミングｔに撮像された第１の画像(t)とそれよりも１回前のタイミングt-1に撮像された第１の画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標差異に基づいて、自己（自動車）の動きを推定する。
【００４９】
ステップＳ４において、路面環境推定部１８は、路面推定の結果（特徴点とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。これと同時に自己位置推定部１９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ１に戻されて、それ以降が繰り返される。以上で、情報処理装置１０による第１の自己位置推定処理説明を終了する。
【００５０】
＜情報処理装置１０による第２の自己位置推定処理＞
路面が平面の三角形の組み合わせであると仮定できる場合、路面推定部１６および動き推定部１７は、ピクセル勾配ベースの手法を用いて路面推定と動き推定を行うことができる。
【００５１】
図６は、ピクセル勾配ベースの手法を用いた路面推定と動き推定の概要を示している。
【００５２】
路面推定は、同図に示されるように、路面に特定領域（同図に示す、複数の三角形を組み合わせた領域）を設定し、第１の画像(t)と第２の画像(t)における特定領域のピクセル勾配に基づいて特定領域の平面形状（各三角形の傾き）を直接推定する。
【００５３】
動き推定は、同図に示されるように、第１の画像(t)と第１画像(t-1)における特定領域の画像勾配に基づいて上で特定領域を検出し、両画像における特定領域のピクセル勾配に基づいて、自己の動きを直接推定する。
【００５４】
図７は、情報処理装置１０による、ピクセル勾配ベースの手法を用いた路面推定と動き推定を採用した第２の自己位置推定処理を説明するフローチャートである。
【００５５】
この第２の自己位置推定処理は、下向き撮像部１１のステレオカメラ１２による撮像のフレームレートと同じ周期で繰り返し実行される。
【００５６】
また、前提として、自動車が走行する路面は平面によって構成されるポリゴンモデルで表現できるものであり、既に下向き撮像部１１は、路面に設定した特定領域を一対のステレオカメラ１２により所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部１５に出力しているものとする。また、自己位置推定部１９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
【００５７】
ステップＳ１１において、情報処理部１５の路面推定部１６は、タイミングｔに撮像された第１の画像(t)と第２の画像(t)を取得する。ステップＳ１２において、路面推定部１６は、第１の画像(t)と第２の画像(t)における特定領域のピクセル勾配に基づき、特定領域の平面形状を直接推定する。
【００５８】
ステップＳ１３において、情報処理部１５の動き推定部１７は、第１の画像(t)とそれよりも１回前のタイミングt-1に撮像された第１の画像(t-1)上における特定領域のピクセル勾配に基づき自己（移動体）の動きを直接推定する。
【００５９】
ステップＳ１４において、路面環境推定部１８は、推定された特定領域の平面形状に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。これと同時に自己位置推定部１９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ１１に戻されて、それ以降が繰り返される。以上で、情報処理装置１０による第２の自己位置推定処理説明を終了する。
【００６０】
＜本開示の実施の形態である情報処理装置の第２の構成例＞
図８は、本開示の実施の形態である情報処理装置の第２の構成例を示している。
【００６１】
この情報処理装置２０は、下向き撮像部２１、照明部２２、投光部２３、制御部２４、および情報処理部２５から構成される。
【００６２】
下向き撮像部２１は、１台のカメラから構成される。このカメラは、外光の影響を受けることなく路面を撮像範囲とするように移動体（自動車など）の底部に下向きに取り付けられる。下向き撮像部２１は、所定のフレームレートで動画像を撮像し、その結果得られる時系列のフレーム画像を後段に出力する。以下、あるタイミングtにおいて下向き撮像部２１のカメラにより撮像されたフレーム画像を画像(t)と称する。
【００６３】
照明部２２は、下向き撮像部２１による撮像範囲に照明光を照射する。投光部２３は、下向き撮像部２１による撮像範囲にテクスチャパターン（構造光）を投光する。なお、照明部２２と透光部２３は一体化してもよい。また、テクスチャパターンの照射によって路面の撮像範囲に存在し得る特徴点を撮影するために十分な照度が得られる場合には、照明光の照射を省略してもよい。制御部２４は、下向き撮像部２１、照明部２２、および投光部２３を制御する。
【００６４】
情報処理部２５は、路面推定部２６、動き推定部２７、路面環境推定部２８、および自己位置推定部２９を有する。
【００６５】
路面推定部２６は、テクスチャパターンが照射されている路面が撮像された画像(t)に基づき、路面推定を行う。なお、投光部２３および路面推定部２６の代わりに、路面にレーザ光を照射し、反射して戻って来るまでの時間に基づき、路面までの距離を計測するToF(Time of Flight)センサを用いるようにしてもよい。
【００６６】
動き推定部２７は、タイミングｔに撮像された第１の画像(t)（第２の画像(t)でもよい）と１回前のタイミングt-1に撮像された第１の画像(t-1)（第２の画像(t-1)）における同一特徴点をトラッキングすることにより動き推定を行う。
【００６７】
路面環境推定部２８は、路面推定の結果（路面とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸などを推定する。
【００６８】
自己位置推定部２９は、ある時点における既知の所在地を基準点として、推定された自己の動きを加えることにより、現在の自己位置を推定する。
【００６９】
＜情報処理装置２０による自己位置推定処理＞
図９は、情報処理装置２０による自己位置推定処理を説明するフローチャートである。
【００７０】
この自己位置推定処理は、下向き撮像部２１による撮像のフレームレートと同じ周期で繰り返し実行される。
【００７１】
また、前提として、既に下向き撮像部２１は、テクスチャパターンが照射されている路面を所定のフレームレートで撮像し、その結果得られる時系列のフレーム画像を後段の情報処理部２５に出力しているものとする。また、自己位置推定部２９は、ある時点における所在地の地理的な座標を取得しており、そこを基準点として、現在の自己位置を特定しているものとする。
【００７２】
ステップＳ２１において、情報処理部２５の路面推定部２６は、テクスチャパターンが照射されている路面をタイミングｔに撮像した画像(t)を取得する。ステップＳ２２において、路面推定部２６は、画像(t)におけるテクスチャパターンの形状に基づいて路面とカメラの距離を算出する。
【００７３】
ステップＳ２３において、情報処理部２５の動き推定部２７は、タイミングｔに撮像された画像(t)とそれよりも１回前のタイミングt-1に撮像された画像(t-1)上で同一の特徴点を検出し、両画像における特徴点の座標差異と、ステップＳ２２で算出された路面とカメラの距離とに基づいて、自己（移動体）の動きを推定する。
【００７４】
ステップＳ２４において、路面環境推定部２８は、路面推定の結果（路面とカメラの距離）に基づいて、路面環境、すなわち、路面の傾きや凹凸、滑りなどを推定する。これと同時に、自己位置推定部２９は、既知の基準点または前回推定した自己位置に、今回推定された自己の動きを加えることにより、現在の自己位置を推定する。この後、処理はステップＳ２１に戻されて、それ以降が繰り返される。以上で、情報処理装置２０による自己位置推定処理説明を終了する。
【００７５】
以上に説明した情報処理装置１０および２０によれば、撮像のフレームレートと同じ周期で自己の動きを正確に推定できる。したがって、自己の現在位置も正確な推定が可能となる。
【００７６】
ただし、例えば、雪道や泥道などの特徴点を検出し難い路面を走行している場合や、下向き撮像部１１のフレームレートでは対応できないほど自動車が高速で走行している場合などには、自己の動きを推定できなかったり、推定結果に誤差が生じたりすることが起こり得る。したがって、路面の画像のみを用いていると、このような誤差が蓄積してしまい、自己位置の推定結果が正しい位置からずれてしまうことになる。
【００７７】
＜本開示の実施の形態である情報処理装置の第３の構成例＞
図１０は、推定した自己位置のずれが蓄積することによって自己位置の推定結果が正しい位置からずれてしまう問題を解決できる、本開示の実施の形態である情報処理装置の第３の構成例を示している。
【００７８】
この情報処理装置３０は、図１に示された情報処理装置１０に対して外向き撮像部３１、車速検知部３２、およびGSP処理部３３を追加するとともに、情報処理装置１０の情報処理部１５を情報処理部３４に置換したものである。情報処理装置３０は、下向き撮像部１１からの画像に基づく自己位置の推定結果を、外向き撮像部３１からの画像に基づく自己位置の推定結果などに基づいて補正できる。
【００７９】
置換後の情報処理部３４は、置換前の情報処理部１５にSLAM処理部３５および補正部３６を追加したものである。なお、情報処理装置３０の構成要素のうち、情報処理装置１０の構成要素と共通するものについては同一の符号を付しているので、その説明は省略する。
【００８０】
外向き撮像部３１は、その周囲を撮像可能な向きで移動体に取り付けられた少なくとも１台以上のカメラから構成される。外向き撮像部３１によって得られる画像はSLAM処理部３５に供給される。
【００８１】
図１１は、外向き撮像部３１を構成する１台以上カメラを移動体としての自動車に取り付けた場合の配置例を示している。該カメラには、広角カメラや全周囲カメラなどを採用することができ、自動車の前方や側方、後方など撮像できる向きに取り付けられる。
【００８２】
図１０に戻る。車速検知部３２は、自動車など得られる車速パルスに基づいて移動体の走行速度を検知する。GPS処理部３３は、GPS信号を受信し、受信したGPS信号に基づいて自己位置を特定する。SLAM処理部３５は、外向き撮像部３１からの自動車の周囲が撮像された画像をデータベースに照会することによって自己位置を推定する。該データベースは、SLAM処理部３５自体に内蔵してもよいし、通信網を介して接続可能なサーバに配置してもよい。
【００８３】
補正部３６は、下向き撮像部１１によって撮像された画像に基づく自己位置推定部１９による自己位置の推定結果を、GPS処理部３３によるGPS信号に基づいて特定された自己位置やSLAM処理部３５によって推定される自己位置を用いて補正する。
【００８４】
＜補正部３６による第１の自己位置補正処理＞
次に、図１２は、補正部３６による第１の自己位置補正処理を説明するフローチャートである。
【００８５】
この第１の自己位置補正処理は、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOに基づいて補正するものである。
【００８６】
ステップＳ３１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
【００８７】
ステップＳ３２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
【００８８】
ステップＳ３３において、補正部３６は、次式（１）に従い、ステップＳ３１で取得した第１の自己位置の推定結果wTcGに対して、ステップＳ３２で取得した第２の自己位置の推定結果wTcOを重み付け加算平均することによって補正し、補正済みの自己位置wTcを得る。
wTc＝α・wTcG＋（１−α）・wTcO
・・・（１）
【００８９】
ここで、αは０＜α＜１を満たす値である。なお、αの値はカルマンフィルタなどのように適応的に設定してもよい。
【００９０】
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
【００９１】
以上説明した第１の自己位置補正処理は所定の周期で間歇的に実行すればよい。それにより、路面の画像に基づいて推定された自己位置wTcGの誤差の蓄積を補正することができる。
【００９２】
＜補正部３６による第２の自己位置補正処理＞
次に、図１３は、補正部３６による第２の自己位置補正処理を説明するフローチャートである。
【００９３】
この第２の自己位置補正処理は、自動車の車速ｖtが所定の閾値以上である場合には、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGの代わりに、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを採用するものである。
【００９４】
ステップＳ４１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
【００９５】
ステップＳ４２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
【００９６】
ステップＳ４３において、補正部３６は、車速検知部３２から車速ｖtを取得し、車速ｖtが所定の閾値以上であるか否かを判定する。
【００９７】
車速ｖtが所定の閾値以上である場合、第１の自己位置の推定結果wTcGには誤差が生じ易いと考えられるので、補正部３６は、処理をステップＳ４４に進めて、第２の自己位置の推定結果wTcOを、最終的な自己位置の推定結果wTcとして採用する。
【００９８】
反対に、車速ｖtが所定の閾値以上ではない場合、第１の自己位置の推定結果wTcGには誤差が生じ難いと考えられるので、補正部３６は、処理をステップＳ４５に進めて、第１の自己位置の推定結果wTcGを、最終的な自己位置の推定結果wTcとして採用する。
【００９９】
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
【０１００】
以上説明した第２の自己位置補正処理は継続的に繰り返し実行すればよい。これにより、第１の自己位置の推定結果wTcGには誤差が生じ得ている場合に、第２の自己位置の推定結果wTcOを採用することができる。
【０１０１】
＜補正部３６による第３の自己位置補正処理＞
次に、図１４は、補正部３６による第３の自己位置補正処理を説明するフローチャートである。
【０１０２】
この第３の自己位置補正処理は、下向き撮像部１１からの画像に基づく第１の自己位置の推定過程において、下向き撮像部１１からの画像上で特定されたランドマーク（実空間におけるZ表が特定された特徴点）の数ｘtが所定の閾値以上である場合には、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGの代わりに、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを採用するものである。
【０１０３】
ステップＳ５１において、補正部３６は、自己位置推定部１９から、下向き撮像部１１からの画像に基づく第１の自己位置の推定結果wTcGを取得する。
【０１０４】
ステップＳ５２において、補正部３６は、SLAM処理部３５から、外向き撮像部３１からの画像に基づく第２の自己位置の推定結果wTcOを取得する。
【０１０５】
ステップＳ５３において、補正部３６は、路面環境推定部１８から、下向き撮像部１１からの画像上で特定されたランドマークの数ｘtを取得し、ランドマークの数ｘtが所定の閾値以上であるか否かを判定する。
【０１０６】
ランドマークの数ｘtが所定の閾値以上である場合、第１の自己位置の推定結果wTcGには誤差が生じ難いと考えられるので、補正部３６は、処理をステップＳ５４に進めて、第１の自己位置の推定結果wTcGを、最終的な自己位置の推定結果wTcとして採用する。
【０１０７】
反対に、ランドマークの数ｘtが所定の閾値以上ではない場合、第１の自己位置の推定結果wTcGには誤差が生じ易いと考えられるので、補正部３６は、処理をステップＳ５５に進めて、第２の自己位置の推定結果wTcOを、最終的な自己位置の推定結果wTcとして採用する。
【０１０８】
なお、外向き撮像部３１からの画像に基づく自己位置の推定結果wTcOの代わりに、GPS処理部３３によるGPS信号に基づいて特定された自己位置wTcGPSを用いてもよい。
【０１０９】
以上説明した第３の自己位置補正処理は継続的に繰り返し実行すればよい。これにより、第１の自己位置の推定結果wTcGには誤差が生じ得ている場合に、第２の自己位置の推定結果wTcOを採用することができる。
【０１１０】
＜まとめ＞
以上に説明したように、情報処理装置１０，２０、および３０によれば、正確且つ継続的に自己の動きを推定することができ、現在の自己位置を推定することが可能となる。
【０１１１】
また、情報処理装置３０によれば、仮に推定した自己の動きや自己位置に誤差が生じていたとしても、その誤差を蓄積することなく、補正することができる。
【０１１２】
ところで、情報処理装置１０における情報処理部１５、情報処理装置２０における情報処理部２５、および情報処理装置３０における情報処理部３４による一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１１３】
図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１１４】
このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１１５】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
【０１１６】
入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
【０１１７】
以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１１８】
なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
【０１１９】
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
【０１２０】
本開示は以下のような構成も取ることができる。
（１）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部と
を備える情報処理装置。
（２）
前記路面までの距離を推定する路面推定部をさらに備える
前記（１）に記載の情報処理装置。
（３）
前記下向き撮像部は、ステレオカメラから構成され、
前記路面推定部は、前記ステレオカメラによって同じタイミングで撮像された対となる前記路面の画像に基づいて前記路面までの距離を推定する
前記（２）に記載の情報処理装置。
（４）
前記路面推定部は、ToＦセンサから構成される
前記（２）に記載の情報処理装置。
（５）
前記路面にテクスチャパターンを投光する投光部をさらに備え、
前記路面推定部は、前記下向き撮像部によって撮像された前記路面に投影されている前記テクスチャパターンの画像に基づいて前記路面までの距離を推定する
前記（２）に記載の情報処理装置。
（６）
前記透光部は、前記下向き撮像部の撮像範囲を照らす照明部を兼ねる
前記（５）に記載の情報処理装置。
（７）
前記下向き撮像部の撮像範囲を照らす照明部をさらに備える
前記（１）から（５）のいずれかに記載の情報処理装置。
（８）
前記動き推定部によって推定された前記移動体の動きに基づいて前記移動体の自己位置を推定する第１の自己位置推定部をさらに備える
前記（１）から（７）のいずれかに記載の情報処理装置。
（９）
路面を移動する移動体に配置され、前記移動体の周囲を撮像する外向き撮像部と、
前記外向き撮像部によって撮像された前記移動体の周囲の画像に基づいて前記移動体の自己位置を推定する第２の自己位置推定部とさらに備える
前記（１）から（８）のいずれかに記載の情報処理装置。
（１０）
前記第１の自己位置推定部によって推定された第１の自己位置を、前記第２の自己位置推定部によって推定された第２の自己位置を用いて補正する補正部をさらに備える
前記（９）に記載の情報処理装置。
（１１）
前記補正部は、前記第１の自己位置推定部によって推定された第１の自己位置と、前記第２の自己位置推定部によって推定された第２の自己位置とを重み付け加算平均する
前記（１０）に記載の情報処理装置。
（１２）
前記補正部は、前記移動体の車速に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
前記（１０）に記載の情報処理装置。
（１３）
前記補正部は、前記下向き撮像部によって撮像された前記路面の画像から得られるランドマークの数に応じて、前記第１の自己位置推定部によって推定された第１の自己位置の代わりに、前記第２の自己位置推定部によって推定された第２の自己位置を採用する
前記（１０）に記載の情報処理装置。
（１４）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の情報処理方法において、
前記動き推定部による、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む情報処理方法。
（１５）
路面を移動する移動体の底部に配置され、前記路面を撮像する下向き撮像部と、
前記下向き撮像部によって異なるタイミングで撮像された複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定部とを備える情報処理装置の制御用のプログラムにおいて、
前記下向き撮像部によって撮像された前記路面の画像を取得する取得ステップと、
取得された撮像タイミングが異なる複数の前記路面の画像に基づいて前記移動体の動きを推定する動き推定ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。
【符号の説明】
【０１２１】
１０  情報処理装置，  １１  下向き撮像部，  １２  ステレオカメラ，  １３  照明部，  １４  制御部，  １５  情報処理部，  １６  路面推定部，  １７  動き推定部，  １８  路面環境推定部，  １９  自己位置推定部，  ２０  情報処理装置，  ２１  下向き撮像部，  ２２  照明部，  ２３  投光部，  ２４  制御部，  ２５  情報処理部，  ２６  路面推定部，  ２７  動き推定部，  ２８  路面環境推定部，  ２９  自己位置推定部，  ３０    情報処理装置，  ３１  外向き撮像部，  ３２  車速検知部，  ３３  GPS処理部，  ３４  情報処理部，  ３５  SLAM処理部，  ３６  補正部，  １００  コンピュータ，  １０１  CPU
【図１】
2017057052.tif 000003
【図２】
2017057052.tif 000004
【図３】
2017057052.tif 000005
【図４】
2017057052.tif 000006
【図５】
2017057052.tif 000007
【図６】
2017057052.tif 000008
【図７】
2017057052.tif 000009
【図８】
2017057052.tif 000010
【図９】
2017057052.tif 000011
【図１０】
2017057052.tif 000012
【図１１】
2017057052.tif 000013
【図１２】
2017057052.tif 000014
【図１３】
2017057052.tif 000015
【図１４】
2017057052.tif 000016
【図１５】
2017057052.tif 000017
【国際調査報告】
2017057052.tif 000018
2017057052.tif 000019
2017057052.tif 000020
2017057052.tif 000021