(57)【要約】【課題】生成される情報の精度を向上させることができる情報処理装置を提供する。【解決手段】情報処理装置１の生成部３が、位置情報と進行方向情報と地図情報とを用いることで、動作する可能性がある物体（動的物体）が、画像情報のうちどの範囲に存在するかを推定することができ、動的物体に対応する特徴点を除去対象特徴点として特定することができる。動的物体に対応する特徴点は、三次元点群データを生成する際に誤差の要因となることから、特徴点群から除去することにより、情報処理装置１によって生成される情報の精度を向上させることができる。【選択図】図１
2020017198.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像部から画像情報を取得する画像情報取得部と、
前記画像情報において特徴点を抽出して特徴点群を生成する生成部と、
前記移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得部と、
地図情報を取得する地図情報取得部と、を備え、
前記生成部は、前記位置情報と前記進行方向情報と前記地図情報とに基づき、除去対象特徴点を特定し、前記特徴点群から該除去対象特徴点を除去することを特徴とする情報処理装置。
【請求項２】
複数の前記特徴点群に基づいて三次元点群データを生成する三次元点群生成部をさらに備えることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、道路上に位置する特徴点を前記除去対象特徴点として特定することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記生成部は、前記位置情報と前記進行方向情報と前記地図情報とに基づき、前記画像情報における道路領域を特定することを特徴とする請求項３に記載の三次元点群データ生成装置。
【請求項５】
前記生成部は、前記画像情報において、当該画像情報よりも過去の画像情報に基づいて生成された前記三次元点群データと、前記位置情報と、前記進行方向情報と、に基づいて道路領域を特定することを特徴とする請求項３に記載の三次元点群データ生成装置。
【請求項６】
移動体に搭載された撮像部から画像情報を取得する画像情報取得工程と、
前記画像情報において特徴点を抽出して特徴点群を生成する生成工程と、
前記移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得工程と、
地図情報を取得する地図情報取得工程と、を含み、
前記生成工程において、前記位置情報と前記進行方向情報と前記地図情報とに基づき、除去対象特徴点を特定し、前記特徴点群から該除去対象特徴点を除去することを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。
【請求項８】
請求項７に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２２５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された各画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このとき、画像において抽出される特徴点は、移動体と周辺物体との相対位置に基づいて変化するものの、周辺物体の動作を検出することは困難であり、周辺物体が静止していると仮定して自己位置推定及び環境地図作成が行われる。従って、周辺物体が何らかの動作をしている場合、この周辺物体に対応する特徴点の変化に基づいて自己位置推定及び環境地図作成を行うと、生成される情報の精度が低下してしまう可能性があった。
【０００５】
したがって、本発明の課題は、生成される情報の精度を向上させることができる情報処理装置を提供することが一例として挙げられる。
【課題を解決するための手段】
【０００６】
前述した課題を解決し目的を達成するために、請求項１に記載の本発明の情報処理装置は、移動体に搭載された撮像部から画像情報を取得する画像情報取得部と、前記画像情報において特徴点を抽出して特徴点群を生成する生成部と、前記移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得部と、地図情報を取得する地図情報取得部と、を備え、前記生成部は、前記位置情報と前記進行方向情報と前記地図情報とに基づき、除去対象特徴点を特定し、前記特徴点群から該除去対象特徴点を除去することを特徴としている。
【０００７】
請求項６に記載の本発明の情報処理方法は、移動体に搭載された撮像部から画像情報を取得する画像情報取得工程と、前記画像情報において特徴点を抽出して特徴点群を生成する生成工程と、前記移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得工程と、地図情報を取得する地図情報取得工程と、を含み、前記生成工程において、前記位置情報と前記進行方向情報と前記地図情報とに基づき、除去対象特徴点を特定し、前記特徴点群から該除去対象特徴点を除去することを特徴としている。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例に係る情報処理装置の概略を示すブロック図である。
【図２】前記情報処理装置が取得する画像情報の一例を示す平面図である。
【図３】図２の画像情報に続いて取得される画像情報の一例を示す平面図である。
【図４】図２、３の画像情報の撮像位置を示す平面図である。
【図５】前記情報処理装置の生成部が図２の画像情報において道路領域を特定する様子を示す平面図である。
【図６】前記生成部が図３の画像情報において道路領域を特定する様子を示す平面図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から画像情報を取得する画像情報取得部と、画像情報において特徴点を抽出して特徴点群を生成する生成部と、移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得部と、地図情報を取得する地図情報取得部と、を備える。生成部は、位置情報と進行方向情報と地図情報とに基づき、除去対象特徴点を特定し、特徴点群からこの除去対象特徴点を除去する。
【００１０】
このような本実施形態の情報処理装置によれば、位置情報と進行方向情報と地図情報とを用いることで、動作する可能性がある物体（動的物体）が、画像情報のうちどの範囲に存在するかを推定することができ、動的物体に対応する特徴点を除去対象特徴点として特定することができる。動的物体に対応する特徴点は、三次元点群データを生成する際に誤差の要因となることから、特徴点群から除去することにより、情報処理装置によって生成される情報の精度を向上させることができる。尚、画像情報取得部と生成部と移動体情報取得部と地図情報取得部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００１１】
情報処理装置は、複数の特徴点群に基づいて三次元点群データを生成する三次元点群生成部をさらに備えることが好ましい。これにより、誤差の要因となる特徴点が除去された特徴点群を用い、精度の高い三次元点群データを生成することができる。
【００１２】
生成部は、道路上に位置する特徴点を除去対象特徴点として特定することが好ましい。道路上に位置する特徴点は、他の移動体や歩行者に対応するものである可能性が高く、即ち動的物体に対応するものである可能性が高い。従って、道路上に位置する特徴点を除去することで、情報処理装置が生成する情報の精度を向上させることができる。
【００１３】
生成部は、位置情報と進行方向情報と地図情報とに基づき、画像情報における道路領域を特定することが好ましい。即ち、道路上における移動体の位置と、移動体の向き（撮像部の向き）と、を特定すれば、地図情報に含まれる道路情報（道路の幅、形状、起伏等）に基づき、取得した画像情報のうちどの範囲が道路領域であるかを推定することができる。このように道路領域を特定することにより、道路上に位置する特徴点を除去することができる。
【００１４】
生成部は、画像情報において、この画像情報よりも過去の画像情報に基づいて生成された三次元点群データと、位置情報と、進行方向情報と、に基づいて道路領域を特定してもよい。即ち、既に生成された三次元点群データにおいて道路に対応する特徴点を特定することにより、移動体の位置情報及び進行方向情報に基づき、道路に対応する特徴点が次の画像情報においてどこに位置するかを推定することができる。このように道路領域を特定することにより、道路上に位置する特徴点を除去することができる。
【００１５】
本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から画像情報を取得する画像情報取得工程と、画像情報において特徴点を抽出して特徴点群を生成する生成工程と、移動体の位置情報及び進行方向を示す進行方向情報を取得する移動体情報取得工程と、地図情報を取得する地図情報取得工程と、を含む。生成工程において、位置情報と進行方向情報と地図情報とに基づき、除去対象特徴点を特定し、特徴点群からこの除去対象特徴点を除去する。このような情報処理方法によれば、三次元点群データを生成する際に誤差の要因となる特徴点を特徴点群から除去することにより、生成される情報の精度を向上させることができる。
【００１６】
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、生成される情報の精度を向上させることができる。
【００１７】
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
【実施例】
【００１８】
以下、本発明の実施例について具体的に説明する。本実施例の情報処理装置１は、図１に示すように、移動体１０に搭載されたＶＳＬＡＭ装置であって、情報取得部２と、生成部３と、出力部４と、を備える。移動体１０は例えば車両であって、撮像部２０と、地図情報記憶部３０と、自己位置推定部４０と、走行情報センサ５０と、が搭載されている。
【００１９】
撮像部２０は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部２０が撮像した動画は、複数の画像情報（フレーム）によって構成されており、情報取得部２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
【００２０】
地図情報記憶部３０は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報は、ノード情報を含んだものであればよく、ノード情報以外にも具体的な道路情報（道路の幅、形状、起伏等）を含んでいてもよい。
【００２１】
自己位置推定部４０は、移動体１０の現在位置（絶対位置）を推定するものであって、例えば複数のＧＰＳ（Global Positioning System）衛星から発信される電波を受信するＧＰＳ受信部であればよい。自己位置推定部４０が推定した現在位置は、移動体１０の位置情報として、情報取得部２に送信される。
【００２２】
走行情報センサ５０は、移動体１０の変位量を測定するためのセンサであって、例えば、移動体１０の車速パルスを取得する車速パルス取得部と、移動体１０の方位変位量を測定するためのジャイロセンサと、移動体１０の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ５０が取得した変位量によって、移動体１０の進行方向が推定される。従って、走行情報センサ５０が取得した変位量は、移動体１０の進行方向を示す進行方向情報として、情報取得部２に送信される。尚、走行情報センサは、少なくとも進行方向を推定可能なものであればよい。
【００２３】
情報取得部２は、上記のように撮像部２０から画像情報を取得することで画像情報取得部として機能し、上記のように自己位置推定部４０から移動体１０の位置情報を取得するとともに走行情報センサ５０から進行方向情報を取得することで移動体情報取得部として機能し、地図情報記憶部３０から地図情報を取得することで地図情報取得部として機能する。
【００２４】
生成部３は、情報取得部２が取得した画像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて三次元点群データを生成する。即ち、生成部３は、三次元点群生成部としても機能する。
【００２５】
出力部４は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、例えば外部サーバ等の外部装置と通信することにより、生成部３が生成した情報（三次元点群データ）を送信する。これにより、外部サーバに情報が記憶されるようになっている。
【００２６】
取得する画像情報の具体例を図２、３に示す。図３の画像は、図２の画像に対して所定時間経過後のものである。図２の画像には、３つの建物Ｂ１〜Ｂ３と、２本の電柱Ｐ１、Ｐ２と、道路Ｒと、対向車両Ｃと、が映っている。道路Ｒは、真っ直ぐに延びた後、右に向かってなだらかにカーブしている。対向車両Ｃは、移動体１０側に向かって進行しているものとする。図３の画像には、図２において最も手前に位置していた建物Ｂ１が映っていない。
【００２７】
これらの画像において、建物Ｂ１の角部が特徴点ＣＰ１１、ＣＰ１２として抽出され、建物Ｂ２の角部が特徴点ＣＰ２１〜ＣＰ２３として抽出され、建物Ｂ３の角部が特徴点ＣＰ３１、ＣＰ３２として抽出される。また、電柱Ｐ１、Ｐ２の下端部が特徴点ＣＰ４、５として抽出される。また、対向車両Ｃを略正面視した際の四隅が特徴点ＣＰ６１〜ＣＰ６４として抽出される。尚、抽出する特徴点は、物体の角部等、他の物体と区別可能であるとともに追跡可能なものであればよく、図２、３に示す特徴点以外の特徴点を抽出してもよい。また、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。
【００２８】
図２及び図３のいずれにおいても抽出される特徴点が、画像全体においてどのように位置変化するかに基づき、ＶＳＬＡＭによって、三次元点群データが生成されるとともに、移動体１０の自己位置が推定される。このとき、各画像間で同一の特徴点について対応付けを行う。また、このように三次元点群データの生成と自己位置推定とを同時に行う際に、自己位置推定部４０及び走行情報センサ５０から取得した情報を用いることにより、精度を向上させてもよい。
【００２９】
図２、３に映りこむ物体のうち、３つの建物Ｂ１〜Ｂ３と２本の電柱Ｐ１、Ｐ２とは静止しているのに対し、対向車両Ｃは移動していることから、対向車両Ｃに対応する特徴点ＣＰ６１〜ＣＰ６４を用いて三次元点群データを生成すると誤差の要因となる。そこで、以下に説明するように、特徴点ＣＰ１１〜ＣＰ１３、ＣＰ２１〜ＣＰ２３、ＣＰ３１〜ＣＰ３３、ＣＰ６１〜ＣＰ６４を含む特徴点群から、特徴点ＣＰ６１〜ＣＰ６４を除去対象特徴点として除去する。
【００３０】
位置情報と進行方向情報と地図情報とに基づき、図４に示すように、移動体が道路Ｒ上のどこに位置し、どの方向を向いているかを推定することができる。尚、図４における自己位置ＳＰ１が図２の撮像位置であり、自己位置ＳＰ２が図３の撮像位置である。地図情報に道路の幅、形状、起伏等の道路情報が含まれている場合、図５、６に示すように、撮像された画像のうちどの範囲が道路領域ＲＡであるかを推定することができる。尚、地図情報に道路情報が含まれていない場合、道路の幅や形状、起伏を仮定することで道路領域ＲＡを推定すればよい。
【００３１】
上記のように道路領域ＲＡを推定することにより、道路上に位置する特徴点ＣＰ６１〜ＣＰ６４を除去対象特徴点として除去することができる。
【００３２】
生成部３は、画像情報を取得する毎に、上記のように特徴点群から除去対象特徴点を除去した後、複数の画像情報における特徴点群に基づいて三次元点群データを生成する。また、三次元点群データは、特徴点群を生成する毎に更新されていく。尚、移動体の走行時に三次元点群データを生成及び更新してもよいし、走行時にデータを収集し、走行後に三次元点群データを生成及び更新してもよい。
【００３３】
上記の構成により、情報処理装置１の生成部３が、位置情報と進行方向情報と地図情報とを用いることで、動作する可能性がある物体（動的物体）が、画像情報のうちどの範囲に存在するかを推定することができ、動的物体に対応する特徴点を除去対象特徴点として特定することができる。動的物体に対応する特徴点は、三次元点群データを生成する際に誤差の要因となることから、特徴点群から除去することにより、情報処理装置１によって生成される情報の精度を向上させることができる。
【００３４】
生成部３が三次元点群データを生成して三次元点群生成部としても機能することで、誤差の要因となる特徴点が除去された特徴点群を用い、精度の高い三次元点群データを生成することができる。
【００３５】
生成部３が、道路上に位置する特徴点を除去対象特徴点として特定することで、道路上に位置して他の移動体や歩行者に対応するものである可能性が高い特徴点を除去することができ、即ち動的物体に対応するものである可能性が高い特徴点を除去することができる。
【００３６】
生成部３が、位置情報と進行方向情報と地図情報とに基づき、画像情報における道路領域ＲＡを特定することで、道路上に位置する特徴点を除去対象特徴点として除去することができる。
【００３７】
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。
【００３８】
例えば、前記実施例では、生成部３が位置情報と進行方向情報と地図情報とに基づいて道路領域ＲＡを特定するものとしたが、道路領域ＲＡの特定方法はこのような方法に限定されない。例えば、過去の画像情報に基づいて生成された三次元点群データに、道路の区画線（例えば白線）を示す点群が含まれている場合、次に画像情報を取得した際、位置情報と、進行方向情報と、に基づいて道路領域ＲＡを特定してもよい。即ち、次の画像情報において、道路の区画線を示す点群がどこに位置するかを予測し、複数の区画線の間の領域を道路領域ＲＡとして特定してもよい。
【００３９】
また、撮像部２０の設置高さや撮像角度等に基づいて、道路領域ＲＡを推定してもよい。即ち、二次元的な画像において、下側の領域では大部分が道路領域となり、上側に向かうほど道路領域が狭くなっていき、このような映り方は撮像部２０の撮像条件に依存する。画像情報における上下方向位置と、幅方向において道路領域が占有する割合と、の関係を仮定することにより、道路領域ＲＡを推定してもよい。
【００４０】
また、前記実施例では、道路上に位置する特徴点を除去対象特徴点として特定するものとしたが、道路脇の敷地内に位置する特徴点を除去対象特徴点として特定してもよい。例えば、地図情報に地物情報が含まれており、動作し得る地物（例えば風車や動的な看板等）が存在する場合には、このような地物に対応する特徴点を特定し、この特徴点を除去対象特徴点としてもよい。
【００４１】
また、前記実施例では、特徴点群を生成する生成部３が、三次元点群データを生成して三次元点群生成部としても機能するものとしたが、情報処理装置１は、三次元点群生成部を備えていなくてもよい。即ち、情報処理装置１が二次元的な特徴点群を生成し、この特徴点群の情報を他の機器（外部サーバ等）に送信することにより、他の機器において複数の特徴点群を収集し、三次元点群データを生成してもよい。
【００４２】
また、情報処理装置を構成する画像情報取得部と生成部と移動体情報取得部と地図情報取得部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００４３】
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
【符号の説明】
【００４４】
１          情報処理装置
２          情報取得部（画像情報取得部、移動体情報取得部、地図情報取得部）
３          生成部（三次元点群生成部）
１０        移動体
２０        撮像部
ＣＰ６１〜ＣＰ６４  除去対象特徴点
ＲＡ        道路領域
【図１】
2020017198.tif 000003
【図２】
2020017198.tif 000004
【図３】
2020017198.tif 000005
【図４】
2020017198.tif 000006
【図５】
2020017198.tif 000007
【図６】
2020017198.tif 000008