(57)【要約】【課題】影による影響を低減しつつ点群データを生成することができる情報処理装置を提供する。【解決手段】情報取得部２によって、撮像情報と太陽高度情報と太陽方位情報と撮像方位情報とを取得する。生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定するとともに、点群データを構成する構成点のうち影生成方向に並んだ構成点を抽出する。これにより、影に対応した構成点を推定し、影による影響を低減しつつ点群データを生成することができる。【選択図】図１
2020060497.tif 000002
【特許請求の範囲】
【請求項１】
移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、
前記撮像情報に基づいて点群データを生成する生成部と、
撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得部と、
撮像時における前記撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得部と、を備え、
前記生成部は、前記太陽高度情報と前記太陽方位情報と前記撮像方位情報とに基づき、影生成方向を特定するとともに、前記点群データを構成する構成点のうち前記影生成方向に並んだ構成点を抽出することを特徴とする情報処理装置。
【請求項２】
前記撮像情報の撮像位置を示す位置情報を取得する位置情報取得部と、
地図情報を取得する地図情報取得部と、をさらに備え、
前記生成部は、前記位置情報及び前記地図情報に基づき、撮像範囲に含まれる地物の影の形状を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記生成部は、前記点群データにおいて、前記影生成方向に並んだ複数の前記構成点を除去することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記生成部は、前記点群データにおいて、前記影生成方向に並んだ複数の前記構成点に所定のフラグを付与することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項５】
前記太陽情報取得部は、日付情報及び時刻情報を取得することで前記太陽高度情報及び前記太陽方位情報を特定することを特徴とする請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、
前記撮像情報に基づいて点群データを生成する生成工程と、
撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得工程と、
撮像時における前記撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得工程と、を含み、
前記生成工程において、前記太陽高度情報と前記太陽方位情報と前記撮像方位情報とに基づき、影生成方向を特定するとともに、前記点群データを構成する構成点のうち前記影生成方向に並んだ構成点を抽出することを特徴とする情報処理方法。
【請求項７】
請求項６に記載の情報処理方法を、コンピュータにより実行させることを特徴とする情報処理プログラム。
【請求項８】
請求項７に記載の情報処理プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２２５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された各画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このとき、例えば物体（地物）の境界線に沿って特徴点が抽出されるが、地物によって地面に形成された影の境界線に沿って特徴点が抽出されてしまうことがあった。
【０００５】
影の形状や位置は、日時や天候によって変化してしまうため、環境地図に含まれる点群データが影に対応したデータを有していると、自己位置推定等に活用しにくくなってしまう可能性がある。そこで、影による影響を低減することが望まれていたが、各フレームに現れる境界線が影によるものであるか否かを自動判定することは困難であった。
【０００６】
したがって、本発明の課題は、影による影響を低減しつつ点群データを生成することができる情報処理装置を提供することが一例として挙げられる。
【課題を解決するための手段】
【０００７】
前述した課題を解決し目的を達成するために、請求項１に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて点群データを生成する生成部と、撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得部と、撮像時における前記撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得部と、を備え、前記生成部は、前記太陽高度情報と前記太陽方位情報と前記撮像方位情報とに基づき、影生成方向を特定するとともに、前記点群データを構成する構成点のうち前記影生成方向に並んだ構成点を抽出することを特徴としている。
【０００８】
請求項６に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得工程と、撮像時における前記撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得工程と、を含み、前記生成工程において、前記太陽高度情報と前記太陽方位情報と前記撮像方位情報とに基づき、影生成方向を特定するとともに、前記点群データを構成する構成点のうち前記影生成方向に並んだ構成点を抽出することを特徴としている。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施例に係る情報処理装置の概略を示すブロック図である。
【図２】前記情報処理装置が取得する撮像情報のフレームの一例を示す平面図である。
【図３】前記情報処理装置が生成する点群データの一例を示す平面図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報に基づいて点群データを生成する生成部と、撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得部と、撮像時における撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得部と、を備える。生成部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定するとともに、点群データを構成する構成点のうち影生成方向に並んだ構成点を抽出する。
【００１１】
このような本実施形態の情報処理装置によれば、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、地物のうち鉛直方向に沿って延びる縁部が影を形成する方向（影生成方向）を推定することができる。影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。このように影に基づく構成点を推定することで、影による影響を低減しつつ点群データを生成することができる。尚、撮像情報取得部と生成部と太陽情報取得部と撮像方位情報取得部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００１２】
情報処理装置は、撮像情報の撮像位置を示す位置情報を取得する位置情報取得部と、地図情報を取得する地図情報取得部と、をさらに備え、生成部は、位置情報及び地図情報に基づき、撮像範囲に含まれる地物の影の形状を推定することが好ましい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決まる。影生成方向に並んだ構成点を抽出するだけでなく、地物の影の形状を推定すれば、点群データの精度を向上させることができる。例えば、地物が天然物である場合や複雑な形状の建物である場合、直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、影に対応した構成点ではないと判定することができる。
【００１３】
生成部は、点群データにおいて、影生成方向に並んだ複数の構成点を除去することが好ましい。これにより、自己位置推定等に利用しにくい構成点を除去し、点群データを利用しやすくすることができる。
【００１４】
生成部は、点群データにおいて、影生成方向に並んだ複数の構成点に所定のフラグを付与してもよい。例えば複数の点群データを統合する際に、フラグが付与された構成点の寄与度を低下させれば、統合後の点群データにおいてこの構成点を除去したり影響度を低下させたりすることができる。これにより、統合後の点群データを利用しやすくすることができる。
【００１５】
太陽情報取得部は、日付情報及び時刻情報を取得することで太陽高度情報及び太陽方位情報を特定することが好ましい。また、情報処理装置とは別の装置が太陽高度情報及び太陽方位情報を特定し、この装置から太陽情報取得部が情報を取得してもよい。
【００１６】
本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報に基づいて点群データを生成する生成工程と、撮像時における太陽高度情報及び太陽方位情報を取得する太陽情報取得工程と、撮像時における撮像部の向きに関する撮像方位情報を取得する撮像方位情報取得工程と、を含む。生成工程において、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定するとともに、点群データを構成する構成点のうち影生成方向に並んだ構成点を抽出する。このような情報処理方法によれば、影に対応した構成点を推定することで、影による影響を低減しつつ点群データを生成することができる。
【００１７】
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、影による影響を低減しつつ点群データを生成することができる。
【００１８】
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。
【実施例】
【００１９】
以下、本発明の実施例について具体的に説明する。本実施例の情報処理装置１は、図１に示すように、移動体１０に搭載されたＶＳＬＡＭ装置であって、情報取得部２と、生成部３と、出力部４と、を備える。移動体１０は例えば車両であって、撮像部２０と、地図情報記憶部３０と、自己位置推定部４０と、走行情報センサ５０と、日時情報管理部６０と、が搭載されている。
【００２０】
撮像部２０は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部２０が撮像した動画は、複数の撮像情報（フレーム）によって構成されており、情報取得部２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
【００２１】
地図情報記憶部３０は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部３０に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別（住宅と商業施設との区別や、商業施設の業種等）についての情報も含むものとする。
【００２２】
自己位置推定部４０は、移動体１０の現在位置（絶対位置）を推定するものであって、例えば複数のＧＰＳ（Global Positioning System）衛星から発信される電波を受信するＧＰＳ受信部であればよい。自己位置推定部４０が推定した現在位置は、撮像部２０による撮像情報の撮像位置を示す位置情報として、情報取得部２に送信される。
【００２３】
走行情報センサ５０は、移動体１０の変位量を測定するためのセンサであって、例えば、移動体１０の車速パルスを取得する車速パルス取得部と、移動体１０の方位変位量を測定するためのジャイロセンサと、移動体１０の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ５０が取得した変位量によって、移動体１０の進行方向が推定される。移動体１０の進行方向と、移動体１０における撮像部２０の取り付け方向と、によって、撮像時における撮像部２０の向きに関する撮像方位情報が決定される。撮像部２０が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ５０から情報取得部２に撮像方位情報が送信される。尚、走行情報センサ５０は、少なくとも移動体１０の進行方向を推定可能なものであればよい。
【００２４】
日時情報管理部６０は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部６０から情報取得部２に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部２は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。
【００２５】
情報取得部２は、上記のように撮像部２０から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部４０から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部３０から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ５０から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部６０から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。
【００２６】
生成部３は、情報取得部２が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部３が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。
【００２７】
出力部４は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ１００の通信部１０１と通信することにより、生成部３が生成した情報（点群データ）を送信する。これにより、外部サーバ１００の記憶部本体１０２に情報が記憶されるようになっている。尚、外部サーバ１００は複数の情報処理装置１と通信するように構成されている。
【００２８】
生成部３は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出する。このときの詳細な手順を以下に説明する。まず、生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部２０の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向（影生成方向）を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
【００２９】
尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。
【００３０】
生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。
【００３１】
ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図２、３を参照しつつ説明する。尚、図２、３では、対象とする道路及び地物以外は適宜省略して示している。
【００３２】
図２に示すように、道路Ｒ沿いに建物Ｂが存在している場合、この建物Ｂによって、太陽の位置及び撮像部の向きに応じた影Ｓが地面に形成される。建物Ｂは、鉛直方向に沿って延びる縁部Ｂ１を有しており、影Ｓは縁部Ｂ１に対応した直線状の境界線Ｓ１を有する。図２のフレームにおいて境界線Ｓ１上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線Ｓ１上の特徴点が抽出される。従って、図３に示すように生成部３が点群データを生成した際、点群データには、建物Ｂに対応した構成点ＰＢと、境界線Ｓ１に対応した構成点Ｐ１〜Ｐ４と、が含まれる。
【００３３】
生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向Ｌ１を特定する。図示の例では、太陽は南西に位置し、撮像部２０は北北西を向いている。生成部３は、影生成方向Ｌ１を特定することで、この方向に並んだ構成点Ｐ１〜Ｐ４を抽出することができる。
【００３４】
尚、生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、影に対応している可能性があるという情報をフラグとして付与してもよい。
【００３５】
また、生成部３は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部４０から取得した位置情報と、地図情報記憶部３０から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。
【００３６】
また、生成部３は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。
【００３７】
外部サーバ１００は、複数の情報処理装置１から上記のように生成された点群データを取得し、収集する。外部サーバ１００は、収集した複数の点群データを統合して総合点群データを生成する。尚、上記のように点群データの構成点にフラグが付与されている場合、この構成点の信頼度を低くして統合すればよい。
【００３８】
このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ（いわゆるLIDAR; Laser Imaging Detection and Ranging）によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。
【００３９】
上記の構成により、生成部３が、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定するとともに、点群データを構成する構成点のうち影生成方向に並んだ構成点を抽出することで、影に対応した構成点を推定することができる。これにより、影による影響を低減しつつ点群データを生成することができる。
【００４０】
また、生成部３が、点群データにおいて、影生成方向に並んだ構成点を除去することで、自己位置推定等に利用しにくい構成点を除去し、点群データを利用しやすくすることができる。
【００４１】
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。
【００４２】
例えば、前記実施例では、日付情報及び時刻情報に基づいて太陽高度情報及び太陽方位情報を特定することにより、日付情報及び時刻情報を取得する情報取得部２が太陽情報取得部として機能するものとしたが、太陽情報取得部は、太陽高度情報及び太陽方位情報を直接的に取得してもよい。即ち、外部機器において日付情報及び時刻情報に基づいて太陽高度情報及び太陽方位情報を特定し、情報処理装置の太陽情報取得部が、外部機器から太陽高度情報及び太陽方位情報を取得してもよい。
【００４３】
また、前記実施例では、移動体１０に搭載された生成部３が、影生成方向を特定するとともに影生成方向に並んだ構成点を抽出するものとしたが、例えば外部サーバ１００の制御部１０３が影生成方向を特定したり影生成方向に並んだ構成点を抽出したりしてもよい。即ち、生成部３と制御部１０３とが生成部として機能するものとしてもよい。
【００４４】
また、情報処理装置を構成する撮像情報取得部と生成部と太陽情報取得部と撮像方位情報取得部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００４５】
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
【符号の説明】
【００４６】
１          情報処理装置
２          情報取得部（撮像情報取得部、位置情報取得部、地図情報取得部、太陽情報取得部、撮像方位情報取得部）
３          生成部
１０        移動体
２０        撮像部
【図１】
2020060497.tif 000003
【図２】
2020060497.tif 000004
【図３】
2020060497.tif 000005