(57)【要約】【課題】処理後の点群データを活用しやすくすることができる点群データ構造を提供する。【解決手段】点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ（総合点群データ）を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。【選択図】図１
2020061049.tif 000002
【特許請求の範囲】
【請求項１】
複数の点群データを収集する収集部と、前記収集部によって収集された複数の点群データを処理する処理部と、を備える情報処理装置によって用いられ、撮像情報に基づいて生成された点群データのデータ構造であって、
前記点群データを構成する構成点のうち、影に対応する構成点については所定の情報が付与されることにより、
前記処理部によって、前記影に対応する構成点について寄与度を下げて処理できるように構成されたことを特徴とする点群データ構造。
【請求項２】
前記所定の情報は、当該構成点が影に対応していることを示す情報を含むことを特徴とする請求項１に記載の点群データ構造。
【請求項３】
前記所定の情報は、前記構成点が対応する影を生成する地物についての情報をさらに含むことを特徴とする請求項２に記載のデータ構造。
【請求項４】
前記所定の情報は、当該構成点が他の構成点よりも信頼度が低いという情報を含むことを特徴とする請求項１〜３のいずれか１項に記載の点群データ構造。
【請求項５】
請求項１〜４のいずれか１項に記載の点群データ構造を有する点群データを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項６】
請求項１〜５のいずれか１項に記載の点群データ構造を有する点群データを格納したことを特徴とする記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、点群データ構造に関する。
【背景技術】
【０００２】
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法（ＳＬＡＭ；Simultaneous Localization and Mapping）が知られている。このようなＳＬＡＭの一種として、レーザ装置に代えてビデオカメラを用いる方法（ＶＳＬＡＭ；Visual SLAM）が提案されている（例えば、特許文献１参照）。特許文献１に記載されたようなＶＳＬＡＭでは、ビデオカメラを用いることによりコスト低減を図っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−２２２５５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載されたようなＶＳＬＡＭにおいては、ビデオカメラによって撮像された各画像（フレーム）において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このように作成された環境地図に含まれる点群データは、自己位置推定等に活用されることがある。
【０００５】
点群データを構成する複数の構成点には、例えば日時や天候によって変化する構成点が含まれている場合がある。このような場合、点群データの生成タイミングと自己位置推定のタイミングとが異なるため、点群データを構成する構成点と、自己位置推定時に検出される地物と、に齟齬が生じてしまい、点群データを活用しにくくなってしまう。
【０００６】
したがって、本発明の課題は、処理後の点群データを活用しやすくすることができる点群データ構造を提供することが一例として挙げられる。
【課題を解決するための手段】
【０００７】
前述した課題を解決し目的を達成するために、請求項１に記載の本発明の点群データ構造は、複数の点群データを収集する収集部と、前記収集部によって収集された複数の点群データを処理する処理部と、を備える情報処理装置によって用いられ、撮像情報に基づいて生成された点群データのデータ構造であって、前記点群データを構成する構成点のうち、影に対応する構成点については所定の情報が付与されることにより、前記処理部によって、前記影に対応する構成点について寄与度を下げて処理できるように構成されたことを特徴としている。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施例に係る情報処理装置の概略を示すブロック図である。
【図２】前記情報処理装置が取得する撮像情報のフレームの一例を示す平面図である。
【図３】前記情報処理装置が生成する点群データの一例を示す平面図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を説明する。本発明の実施形態に係る点群データ構造は、複数の点群データを収集する収集部と、収集部によって収集された複数の点群データを処理する処理部と、を備える情報処理装置によって用いられ、撮像情報に基づいて生成された点群データのデータ構造である。点群データを構成する構成点のうち、影に対応する構成点については所定の情報が付与されることにより、処理部によって、影に対応する構成点について寄与度を下げて処理できるように構成されている。
【００１０】
このような本実施形態の点群データ構造によれば、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。
【００１１】
所定の情報は、その構成点が影に対応していることを示す情報を含むことが好ましい。これにより、処理部が、影に対応する構成点について寄与度を下げて処理できる。また、所定の情報は、前記構成点が対応する影を生成する地物についての情報をさらに含むことが好ましい。また、所定の情報は、当該構成点が他の構成点よりも信頼度が低いという情報を含んでいてもよい。尚、影に対応する構成点が他の構成点よりも信頼度が低いとは、影に対応する構成点の信頼度が０であることも含む。
【００１２】
また、上述した点群データ構造を有する点群データをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。また、上述した点群データ構造を有する点群データを記憶装置に格納してもよい。
【実施例】
【００１３】
以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット１は、図１に示すように、移動体１０に搭載されたＶＳＬＡＭ装置である第１の情報処理装置１Ａと、外部サーバ１００に搭載された第２の情報処理装置１Ｂと、によって構成されている。第１の情報処理装置１Ａは、情報取得部２と、生成部３と、出力部４と、を備える。移動体１０は例えば車両であって、撮像部２０と、地図情報記憶部３０と、自己位置推定部４０と、走行情報センサ５０と、日時情報管理部６０と、が搭載されている。
【００１４】
第２の情報処理装置１Ｂは、収集部１１と、生成部１２と、を備える。外部サーバ１００には、通信部１０１と、記憶部本体１０２と、が搭載されている。尚、外部サーバ１００は複数の第１の情報処理装置１Ａと通信するように構成されている。
【００１５】
撮像部２０は、例えばビデオカメラであって、移動体１０の進行方向前方側を撮像するように配置されている。撮像部２０が撮像した動画は、複数の撮像情報（フレーム）によって構成されており、情報取得部２に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
【００１６】
地図情報記憶部３０は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部３０に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別（住宅と商業施設との区別や、商業施設の業種等）についての情報も含むものとする。
【００１７】
自己位置推定部４０は、移動体１０の現在位置（絶対位置）を推定するものであって、例えば複数のＧＰＳ（Global Positioning System）衛星から発信される電波を受信するＧＰＳ受信部であればよい。自己位置推定部４０が推定した現在位置は、撮像部２０による撮像情報の撮像位置を示す位置情報として、情報取得部２に送信される。
【００１８】
走行情報センサ５０は、移動体１０の変位量を測定するためのセンサであって、例えば、移動体１０の車速パルスを取得する車速パルス取得部と、移動体１０の方位変位量を測定するためのジャイロセンサと、移動体１０の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ５０が取得した変位量によって、移動体１０の進行方向が推定される。移動体１０の進行方向と、移動体１０における撮像部２０の取り付け方向と、によって、撮像時における撮像部２０の向きに関する撮像方位情報が決定される。撮像部２０が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ５０から情報取得部２に撮像方位情報が送信される。尚、走行情報センサ５０は、少なくとも移動体１０の進行方向を推定可能なものであればよい。
【００１９】
日時情報管理部６０は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部６０から情報取得部２に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部２は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。
【００２０】
情報取得部２は、上記のように撮像部２０から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部４０から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部３０から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ５０から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部６０から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。
【００２１】
生成部３は、情報取得部２が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部３が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばＯＲＢ（Oriented fast and Rotated Brief）アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。
【００２２】
出力部４は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ１００の通信部１０１と通信することにより、生成部３が生成した情報（点群データ）を送信する。これにより、外部サーバ１００の記憶部本体１０２に情報が記憶されるようになっている。
【００２３】
第２の情報処理装置１Ｂの収集部１１は、通信部１０１を介し、第１の情報処理装置１Ａが生成した点群データ（個別点群データ）を取得する。収集部１１は、複数の移動体から個別点群データを取得したり、１つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。
【００２４】
生成部１２は、収集部１１が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。
【００２５】
このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ（いわゆるLIDAR; Laser Imaging Detection and Ranging）によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。
【００２６】
［第１の情報処理装置における影の特定］
生成部３は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい（即ち、抽出部として機能してもよい）。このときの詳細な手順の一例を以下に説明する。まず、生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部２０の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向（影生成方向）を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
【００２７】
尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。
【００２８】
生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。
【００２９】
ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図２、３を参照しつつ説明する。尚、図２、３では、対象とする道路及び地物以外は適宜省略して示している。
【００３０】
図２に示すように、道路Ｒ沿いに建物Ｂが存在している場合、この建物Ｂによって、太陽の位置及び撮像部の向きに応じた影Ｓが地面に形成される。建物Ｂは、鉛直方向に沿って延びる縁部Ｂ１を有しており、影Ｓは縁部Ｂ１に対応した直線状の境界線Ｓ１を有する。図２のフレームにおいて境界線Ｓ１上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線Ｓ１上の特徴点が抽出される。従って、図３に示すように生成部３が点群データを生成した際、点群データには、建物Ｂに対応した構成点ＰＢと、境界線Ｓ１に対応した構成点Ｐ１〜Ｐ４と、が含まれる。
【００３１】
生成部３は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向Ｌ１を特定する。図示の例では、太陽は南西に位置し、撮像部２０は北北西を向いている。生成部３は、影生成方向Ｌ１を特定することで、この方向に並んだ構成点Ｐ１〜Ｐ４を抽出することができる。
【００３２】
尚、生成部３は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、所定の情報をフラグとして付与してもよい。構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる（０にすることも含む）という情報であってもよい。
【００３３】
また、生成部３は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部４０から取得した位置情報と、地図情報記憶部３０から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。
【００３４】
また、生成部３は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。
【００３５】
上記の例では、地物のうち鉛直方向に沿って延びる縁部の影に対応した構成点を抽出するものとしたが、他の影に対応した構成点を抽出してもよい。例えば、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。このような方法として、フラクタル次元を概算することにより、植生の葉によって形成される影を特定する方法が例示される。
【００３６】
また、生成部３は、ＶＳＬＡＭによって点群データを生成するよりも前に、撮像情報の各フレームの特徴点から、影に対応する特徴点を抽出してもよい。このとき、生成部３は、影に対応する特徴点を除去して点群データを生成すればよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。
【００３７】
［点群データのデータ構造］
上記のように生成部３が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる（０にすることも含む）という情報であってもよい。
【００３８】
第２の情報処理装置１Ｂの生成部（処理部）１２は、収集部１１が収集した複数の個別点群データに基づいて総合点群データを生成する際、情報が付与された（即ち影に対応する）構成点の寄与度を下げて処理することができる。例えば、複数の個別点群データを重ね合わせて総合点群データを生成する際、ある点群データ含まれるフラグ付きの構成点の位置に、他の点群データに含まれる構成点が位置しない場合、この位置の構成点はないものとして処理することができる。
【００３９】
また、構成点に付与される情報は、構成点が対応する影を生成する地物についての情報（例えば、当該構成点が、建物が生成した影に対応したものであるという情報や、植生が生成した影に対応したものであるという情報）を含んでいてもよい。このような点群データのデータ構造の一例を、表１に示す。
【００４０】
【表１】
2020061049.tif 000003
【００４１】
即ち、各構成点にはＩＤが割り振られており、各構成点に、位置情報と、影フラグ情報（即ち情報が付与されているか否か）と、構成点が対応する影を生成する地物についての情報と、が付与されている。表１の例では、位置情報が二次元的な座標情報であるものとしたが、位置情報は三次元的な（ｘｙｚ空間における）座標情報であってもよい。
【００４２】
影フラグ情報は、「０」の場合に情報が付与されていないことを示し、「１」の場合に情報が付与されていることを示す。構成点が対応する影を生成する地物についての情報は、影フラグ情報が０の場合にはブランクとなり、１の場合には、その地物の属性等を特定する情報となる。表１の例では、ＩＤ＝２の構成点とＩＤ＝３の構成点とは、異なるビルによって生成される影に対応している。尚、構成点が影に対応することは特定できているものの、その影を生成する地物が特定できていない場合には、地物についての情報をブランクとしてもよい。
【００４３】
［総合点群データの生成］
上記のように、第２の情報処理装置１Ｂにおいて、収集部１１が、個別点群データを収集し、生成部１２が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部１１は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報（上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報）を取得する。
【００４４】
生成部１２は、取得した付与情報に基づいてその構成点の寄与度を決定し、総合点群データを生成する。寄与度は、例えば、総合点群データの生成時に複数の個別点群データを重ね合わせたり位置平均を求めたりする際に、重みづけに用いられる値であればよい。
【００４５】
生成部１２は、影フラグ情報を取得した場合、その構成点の寄与度を０とし、即ちこの構成点を除去して総合点群データを生成してもよい。
【００４６】
また、生成部１２は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点にフラグ情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。
【００４７】
また、生成部１２は、構成点の寄与度を決定する際、影フラグ情報だけでなく、影を生成する地物についての情報も参照してもよい。地物の形状が明確であるほど、構成点が影に対応しているか否かを正確に判断しやすい。即ち、影フラグ情報が付与された構成点であっても、影を生成する地物によって判定精度が異なる。そこで、例えば影を生成する地物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。
【００４８】
上記の構成により、点群データを構成する構成点のうち影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。
【００４９】
また、撮像情報において影に対応する特徴点を抽出するとともに除去して点群データを生成すれば、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。
【００５０】
また、出力部４によって点群データを外部サーバ１００に出力することで、出力先の外部サーバ１００において点群データを活用することができる。
【００５１】
また、点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ（総合点群データ）を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。
【００５２】
また、影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。
【００５３】
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。
【００５４】
例えば、前記実施例では、情報取得部２と生成部３とが移動体に１０に搭載されているものとしたが、第１の情報処理装置を構成する撮像情報取得部と生成部と抽出部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００５５】
また、前記実施例では、収集部１１と生成部１２とが外部サーバ１００に搭載されているものとしたが、第２の情報処理装置を構成する収集部と生成部は、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
【００５６】
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。
【符号の説明】
【００５７】
１Ａ        第１の情報処理装置
２          情報取得部（撮像情報取得部）
３          生成部（抽出部）
４          出力部
１０        移動体
２０        撮像部
１Ｂ        第２の情報処理装置
１１        収集部
１２        生成部
【図１】
2020061049.tif 000004
【図２】
2020061049.tif 000005
【図３】
2020061049.tif 000006