(57)【要約】【課題】  点群データを融合させるための方法、装置、およびコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】  点群データを融合させるための方法は、同じ場面に対して採集した第１のフレームの点群データと第２のフレームの点群データにそれぞれ関連する第１の画像と第２の画像を取得するステップと、当該第１の画像と第２の画像に基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定するステップと、当該点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データの融合を行うステップとを含む。【選択図】図２
2019145089.tif 000002
【特許請求の範囲】
【請求項１】
点群データを融合させるための方法であって、
同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像及び第２の画像を取得するステップと、
前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するステップと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるステップと
を含む点群データを融合させるための方法。
【請求項２】
前記第１の画像と前記第２の画像を取得するステップは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得するステップと、
前記情報は、測位信号、慣性航法信号及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得するステップと
を含む請求項１に記載の点群データを融合させるための方法。
【請求項３】
前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得するステップは、
前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得するステップを含む請求項２に記載の点群データを融合させるための方法。
【請求項４】
前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するステップと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるステップと、
をさらに含む請求項２に記載の点群データを融合させるための方法。
【請求項５】
前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するステップは、
前記第１の画像と前記第２の画像との間の画像変換行列を確定するステップと、
画像と点群データとの間のポーズ変換行列を取得するステップと、
前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定するステップと
を含む請求項１に記載の点群データを融合させるための方法。
【請求項６】
前記第１の画像と前記第２の画像との間の画像変換行列を確定するステップは、
前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出するステップと、
前記マッチングされた特徴に基づいて、前記画像変換行列を確定するステップを含む請求項５に記載の点群データを融合させるための方法。
【請求項７】
前記ポーズ変換行列を取得するステップは、
採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するステップと、
前記レーザーレーダーの位置と前記カメラの位置に基づいて、前記ポーズ変換行列を確定するステップと
を含む請求項５に記載の点群データを融合させるための方法。
【請求項８】
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるステップは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するステップと、
前記第１のフレームの点群データ及び前記第２のフレームの点群データにおけるポイントの点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するステップと、
前記ポイントポーズに基づいて、前記融合を行うステップと
を含む請求項１に記載の点群データを融合させるための方法。
【請求項９】
点群データを融合させるための装置であって、
同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、
前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された変換行列確定モジュールと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるように構成された点群融合モジュールと
を備える点群データを融合させるための装置。
【請求項１０】
前記画像取得モジュールは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得するように構成された関連信号取得モジュールと、
前記情報は、測位信号、慣性航法信号、及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得するように構成された条件モジュールと
を備える請求項９に記載の点群データを融合させるための装置。
【請求項１１】
前記条件モジュールは、
前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得するように構成された閾値モジュールを備える請求項１０に記載の点群データを融合させるための装置。
【請求項１２】
前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された慣性航法又は点群マッチング条件モジュールと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データを融合させるように構成された点群データ融合モジュールと
をさらに備える請求項９に記載の点群データを融合させるための装置。
【請求項１３】
前記変換行列確定モジュールは、
前記第１の画像と前記第２の画像との間の画像変換行列を確定するように構成された画像変換行列確定モジュールと、
画像と点群データとの間のポーズ変換行列を取得するように構成されたポーズ変換行列取得モジュールと、
前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定するように構成された点群変換行列確定モジュールと
を備える請求項９に記載の点群データを融合させるための装置。
【請求項１４】
前記画像変換行列確定モジュールは、
前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出するように構成された特徴抽出モジュールと、
前記マッチングされた特徴に基づいて、前記画像変換行列を確定するように構成された画像変換行列モジュールと
を備える請求項１３に記載の点群データを融合させるための装置。
【請求項１５】
前記ポーズ変換行列取得モジュールは、
採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するように構成された位置確定モジュールと、
前記レーザーレーダーの位置と前記カメラの位置とに基づいて、前記ポーズ変換行列を確定するように構成されたポーズ変換行列確定モジュールと
を備える請求項１３に記載の点群データを融合させるための装置。
【請求項１６】
前記点群融合モジュールは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するように構成された点群のフレームのポーズ確定モジュールと、
前記第１のフレームの点群データ及び前記第２のフレームの点群データにおけるポイントの点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するように構成されたポイントポーズ確定モジュールと、
前記ポイントポーズに基づいて、前記融合をさせるように構成された融合モジュールと
を備える請求項９に記載の点群データを融合させるための装置。
【請求項１７】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを格納するための記憶手段とを含む装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項１乃至請求項８のうちいずれか１項に記載の方法を実現する装置。
【請求項１８】
コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項８のうちいずれか１項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１９】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項８のうちいずれか１項に記載の方法が実現されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、主に点群データを融合させるための方法および装置に関するものであり、より具体的には、高精度地図の点群データを融合させるための方法及び装置に関するものである。
【背景技術】
【０００２】
点群融合技術は、場面の３次元再構築にとって極めて重要である。特に、高精細地図の３次元モデルの構築過程において、点群の融合は、３次元モデルの構築が成功するか否かを決定する最も重要な技術の一つである。点群データを融合させる技術は、一般的に、採集エンティティがそれぞれ異なる視角から測定して得られた点群データを、１つのグローバル座標系に統一されるように、ポーズポジショニングを行い、且つ、後続の場面での３次元再構築が便利になるようにデータの融合を行う技術である。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の点群データを融合させる方法は、一般的に点群の特徴を抽出し、点群マッチングを行い、点群の融合を実現させるといったいくつかの主要なステップを含む。しかしながら、いくつかの特殊な場合に、例えば、トンネルのような非構造化の場面において、充分な点群の特徴を抽出することができないのみならず、位置情報（例えば、ＧＰＳ情報が存在しない）が欠失しているので、取得した点群データのポーズポジショニングを行うことができず、点群の融合を成功させることが難しく、さらに点群の融合に基づいて場面の３次元再構築を効果的に実現ことができなくなってしまう。
【課題を解決するための手段】
【０００４】
本開示の例示的実施形態は、非構造化場面及び位置信号または慣性航法信号の品質が良くない環境でも、依然として点群の融合を成功させることができる点群データを融合させるための方法及び装置を提供する。
【０００５】
本開示の第１の態様において、点群データを融合させるための方法を提供する。この方法は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像と第２の画像を取得するステップと、前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するステップと、前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるステップとを含む。
【０００６】
本開示の第２の態様において、点群データを融合させるための装置を提供する。この装置は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連する第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された変換行列確定モジュールと、前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるように構成された点群融合モジュールとを備える。
【０００７】
本開示の第３の態様において、１つまたは複数のプロセッサと、１つまたは複数のプログラムを格納するための記憶装置とを含む機器であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが第１の態様による方法が実現される装置を提供する。
【０００８】
本開示の第４の態様において、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の態様による方法が実現されるコンピュータ読み取り可能な記憶媒体を提供する。
【０００９】
発明の開示の部分で説明した内容は、本開示の実施形態のポイントまたは重要な特徴を限定することを意図するものではなく、本開示の範囲を限定するためのものでもないことを理解されたい。本開示の他の特徴は、以下の説明により容易に理解できる。
【図面の簡単な説明】
【００１０】
図面を参照しながら以下の非限定的な実施形態についての詳細な説明を参照すれば、本開示の各実施形態、他の特徴、目的及び利点がより明らかになる。図面において、同一または類似する図面符号は、同一または類似する要素を示す。
【００１１】
【図１】図１は、本開示に係る複数の実施形態を実現することができる例示的環境（場面）１００の概略図を示す。
【図２】図２は、本開示の一部の実施形態に係る点群データを融合させる方法２００のフローチャートを示す。
【図３】図３は、本開示の実施形態に係る画像補助に基づいて点群データを融合させる処理３００の概略図を示す。
【図４】図４は、本開示の実施形態に係る慣性航法補助に基づいて点群データの融合処理手順４００の概略図を示す。
【図５】図５は、本開示の実施形態に係る点群マッチングに基づいて点群データを融合させる処理手順５００の概略図を示す。
【図６】図６は、本開示の実施形態に係る点群データを融合させるための方法６００のフローチャートを示す。
【図７】図７は、本開示の実施形態に係る点群データを融合させるための方法で構築したトンネルの３次元モデルの効果図を示す。
【図８】図８は、本開示の実施形態に係る点群データを融合させるための装置８００の概略的なブロック図を示す。
【図９】図９は、本開示の実施形態を実施することができる例示的機器９００の概略的なブロック図を示す。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本開示の実施形態のより詳細に説明する。添付図面は、本開示の一部の実施形態を示すが、本開示の内容は、各種の方法で実現することができることを理解されるべきである。本開示が本明細書に示された実施形態に限定されるものと解釈してはならない。逆に、これらの実施形態の提供は、本開示がより明確で、より完全に理解されるためのものである。本開示の添付図面と実施形態は、単なる例示的なものであり、本願の保護範囲を限定するためのものではないことを理解されたい。
【００１３】
本開示の実施形態を説明することにおいて、用語「含む」及び似ている用語は、開放的な「含む」と理解すべきである。つまり、「．．．を含むが、これらに限定されない」と理解すべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解すべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なる対象、又は同じ対象を指すものとすることができる。以下、他の明確な定義及び暗黙的な定義を含める可能性もある。
【００１４】
本明細書に用いられるような用語「場面（環境）」は、動的であってもよく、静的であってもよく、室内であってもよく、屋外であってもよい。用語「採集エンティティ」は、走行システムであってもよいが、これに限定されない。走行システムは、自律走行システムおよび／または非自律走行システムを含むことができる。以下、採集車を例に挙げ、本開示の実施形態を議論するが、本開示に係る方法は、同様に他の種類の採集エンティティに適用されることもできることを理解されるべきである。
【００１５】
前述したように、従来の点群データを融合させる方法は、直接レーザーレーダー（Laser radar、LIDAR「Laser Imaging Detection and Ranging」）の点群の特徴マッチングの方法に基づいて、点群の融合を行う方法と、高価な慣性計測手段（ＩＭＵ）またはグローバル・ポジショニング・システム（ＧＰＳ）を適用して点群の融合を行う方法と、直接ｋｉｎｅｃｔカメラを使用して点群の融合を行う方法などを含む。研究によると、上述した方法には、いずれも大きな欠点が存在する。
【００１６】
具体的に、従来の直接に点群の特徴のマッチングをベースにする融合方法について、構造化環境においてのみ豊富な点群の特徴を取得することが容易であり、非構造化環境（例えば、高速道路）では、その点群の特徴が非常に少ないため、隣接するいくつかのフレームの点群データが点群の特徴に依存してマッチングを行うことができなくなる現象が生じやすく、そのため点群データのポジショニング（positioning）を成功させることが困難となり、さらに点群の融合を成功させることができなくなる。
【００１７】
従来のＩＭＵ、ＧＰＳによる点群融合形式は、多くの場合、良好な点群融合効果を得られるが、障害物が存在するいくつかの特殊場面において（例えば、高層ビルが立ち並ぶ都市環境、樹木繁茂の環境）、ＧＰＳ信号の品質がよくなく、さらにいくつかの場面（例えば、トンネルや建物内部）では、ＧＰＳ信号が届かない場合が発生する。前記ＧＰＳ信号の品質がよくない場面では、出力されたポーズの結果が不正確になり、点群融合の失敗を招く原因となる。
【００１８】
従来のｋｉｎｅｃｔカメラの画像を直接に利用する点群の融合方法については、ｋｉｎｅｃｔカメラで採集した点群データが疎らで、精度が充分ではないため、融合効果が良くない。
【００１９】
このように、採集した位置信号の品質がよくない非構造化環境に位置する場合に、ＩＭＵに依存しても、点群マッチングを適用して２つのフレームの点群データのポーズを求めるようにしても、高精度な点群融合のニーズを満足させることができない。
【００２０】
本開示の実施形態によれば、点群データを融合させる方法を提案する。この方法によると、位置信号または慣性航法信号の品質がよくなく、位置する場面が非構造化環境である場合、場面に対する前後の採集時点で取得した画像の特徴マッチングに基づいて、関連付けられた時点で採集した前後フレームの点群データ間の変換行列（以下、「点群変換行列」と呼ばれる）を算出し、当該前後フレームの点群データの点群の融合を行う。
【００２１】
具体的に、位置信号または慣性航法信号の品質が良くない場合に、カメラで採集した画像うちのより鮮明なテクスチャ特徴または色の特徴を利用して、画像の特徴マッチングを行うことができる。これにより、２つの前後する画像間の変換行列（以下、「画像変換行列」と呼ばれる）を確定することができる。これにより関連付けられた前後２フレームの点群データ間の点群変換行列を確定することができ、続いて点群の融合を行うことができる。上述した画像補助によって点群融合方法を利用し、例えばトンネルなどの位置信号の品質がよくない非構造化環境であっても、点群の融合が正常に完了することができる。この方法で、点群融合の失敗を効果的に避け、処理が成功する確率を向上させることができる。
【００２２】
提供された点群データを融合させる方法は、位置信号、慣性航法信号の品質が所定の値よりも高く、または位置している場面が構造的環境である場合、それぞれ慣性航法信号に基づいて、前後フレームの点群データの点群変換行列を確定し、又は直接に前後フレームの点群データの特徴マッチングに基づいて、前後フレームの点群データの点群変換行列を確定し、続いて点群の融合を行うことを含む。上述した方法を採用することにより、位置信号の品質が回復し、構造的環境に戻った場合に、慣性航法補助の点群の融合を採用し、又は直接に点群マッチングに基づいて行う融合方法を採用して、位置信号と環境が所定の条件を満たしている場合に慣性航法とレーザーレーダーの高精度の測定値を充分に利用して点群データのポーズを確定し、点群の融合の効率を向上させることができる。
【００２３】
以下、添付図面を参照して、本開示の実施形態の具体的に説明する。
【００２４】
図１は、本開示の複数の実施形態が実現される例示的環境１００の概略図を示す。この例示的環境１００において、コンピューティングデバイス１２０によって点群データを融合させ場面の３次元再構築を実現する。
【００２５】
本開示の実施形態において、点群データを採集するための採集エンティティは、点群採集能力を備える任意のエンティティ（例えば、移動型装置、交通手段など）であってもよい。さらに、採集エンティティは点群採集能力を備える装置が集積され又は搭載された各種のエンティティであってもよい。採集エンティティは、例えば、有線または無線データ伝送などの任意のデータ伝送方式で点群データをコンピューティングデバイス１２０に伝送することができることを理解されるべきである。これらの伝送は、リアルタイム伝送である必要はない。コンピューティングデバイス１２０の点群データに対する後続的な処理は、いつまたはどのような形で点群データをコンピューティングデバイス１２０に送信することにかかわらず、影響されることはない。図１の実施形態において、採集エンティティは、採集車１１０を例として挙げる。これは単なる説明の目的のためのものにすぎず、如何なる制限を意図するものではないことを理解されるべきである。
【００２６】
コンピューティングデバイス１２０は、取得した複数のフレームの点群データに基づいて点群の融合を行うことができ、コンピューティングデバイス１２０は、採集装置１１０上に設置されることができ、車両の外に設置され、無線通信との方法を使用して採集車１１０と信号のやりとりを行うこともできる。
【００２７】
採集車１１０に、レーザーレーダー１０２、ステレオカメラ１０４、慣性航法計測手段１０６及びＧＰＳ信号受信装置１０８がそれぞれ設置されている。レーザーレーダー１０２は、一定の採集周波数に従って、場面１３０の点群データを採集するのに用いられる。例えば、いくつかの実施形態において、レーザーレーダー１０２の採集周波数は１０Ｈｚであり、つまり、１秒ごとに１０フレームの点群データを採集する。ステレオカメラ１０４は、一定の周波数（例えば、８Ｈｚ）で場面１３０のステレオ画像を採集する。慣性航法計測手段１０６は、採集車１１０の３軸ポーズの角度（または角速度）と加速度を測定する。慣性航法計測手段１０６は、一般的に３つの単軸加速度計と３つの単軸ジャイロスコープを含み、その出力信号の周波数は、例えば２０Ｈｚ−５０Ｈｚである。ＧＰＳ信号受信装置１０８は、汎地球測位システムの衛星信号の受信、採集車１１０の空間位置の確定に用いられる。
【００２８】
一部の実施形態において、レーザーレーダー１０２、ステレオカメラ１０４及び慣性航法計測手段１０６の三者は、相対的な固定の方法を採用して採集車１１０上に設置されるので、上述した３つのセンサのうちの任意の両者の間の変換行列（以下、「ポーズ変換行列」と呼ばれる）は、予め設定することができる。その中の任意の一つのセンサの任意の時点でのポーズを取得すると、三者の内うちの任意の両者間のポーズ変換行列を介して、関連付けられた時点において対応する他の２つのセンサのポーズを算出することができる。
【００２９】
一部の実施形態において、採集車１１０が採集を開始する前に、ワールド座標系でのレーザーレーダー１０２、ステレオカメラ１０４及び慣性航法計測手段１０６の初期位置を予めマークすることができる。例えば、ステレオカメラ１０４からレーザーレーダー１０２へのポーズ変換行列は、
【数１】
2019145089.tif 000003
【００３０】
一部の実施形態において、分離しているＧＰＳ採集装置と慣性航法計測手段の代わりに、ＧＰＳ採集装置と慣性航法計測手段とを密結合（tight coupling）した組合せ型慣性航法装置（例えば、ＳＰＡＮ−ＣＰＴ組合せ型航法測位システム）を採用することができる。
【００３１】
レーザーレーダー１０２、ステレオカメラ１０４、慣性航法計測手段１０６とＧＰＳ信号受信装置１０８が採集し、または出力した信号は、有線、無線により、コンピューティングデバイス１２０に提供されることもできる。コンピューティングデバイス１２０の計算結果（例えば、点群融合の結果または点群融合による３次元場面または高精度地図）は、記憶装置１２２に格納することができる。
【００３２】
場面１３０は、建築物の内部（例えば、地下駐車場）であってもよく、任意の開放された空間（例えば、高速道路、都市の町、陸橋、トンネル等）であってもよく、図１に示されたのはトンネルである。
【００３３】
図２は、本開示の一部の実施形態に係る点群データを融合させる方法２００のフローチャートを示す。方法２００は、コンピューティングデバイス１２０によって実現することができる。図３は、本開示の実施形態に係る画像補助に基づいて点群データを融合させる処理３００の概略図を示す。明確のために、以下図３を参照しながら方法２００の内容を具体的に説明する。ステップ２０２において、コンピューティングデバイス（計算装置）は、第１の画像３０２及び第２の画像３０４を取得し、第１の画像３０２と第２の画像３０４は、同じ場面１３０に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられている。
【００３４】
一部の実施形態において、当該関連付けは、例えば、第１の画像３０２及び第２の画像３０４の採集時点と、第１のフレームの点群データ及び第２のフレームの点群データの採集時点とが最も近接していることである。これにより、第１の画像３０２及び第２の画像３０４の採集時点でのカメラのポーズに基づいて、第１のフレームの点群データ及び第２のフレームの点群データの採集時点でのポーズ３０６、３０８を算出することができる。
【００３５】
一部の実施形態において、該第１の画像及び第２の画像を取得するステップは、第１のフレームの点群データ及び第２のフレームの点群データの関連付け情報を取得するステップと、前記情報は、測位信号（positioning signal）、慣性航法信号、及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、該情報が所定の条件を満たしていないことに応答して、第１の画像及び該第２の画像を取得するステップとを含む。一部の実施形態において、取得した測位信号の品質が第１閾値よりも低く、および／または慣性航法信号の品質が第２閾値品質よりも低く、且つ履歴点群データのマッチングの品質が第３閾値品質よりも低い場合に、第１の画像と第２の画像を取得する。
【００３６】
一部の実施形態において、取得した測位信号および／または慣性航法信号の品質が第１閾値品質よりも低いことは、例えば、ＧＰＳ信号の品質標識が所定の設定値よりも低い場合、該ＧＰＳ信号の品質が良くないとし、相応の測定位置情報の正確さが不充分で、ＧＰＳ信号と慣性航法信号により求めた第１のフレームの点群データ及び第２のフレームの点群データのポーズに基づいて効果的な点群の融合を行うことができない場合を含む。一部の実施形態において、例えば、ＳＰＡＮ−ＣＰＴ組合せ型ナビゲーション測位システムを利用し、ここで、Ｑ値は、ＧＰＳ信号の品質の示すための標識であり、受信した衛星信号の数、信号の強さ、信号雑音比などのＧＰＳ信号に影響を及ぼすいくつかの要素を融合させて算出した一つの値である。
【００３７】
その値は、１〜６の値を取ることができ、それぞれの値は、異なるＧＰＳ信号の品質レベルを示す。例えば、その値が１である場合は、ＧＰＳ信号が最も良いことを示し、その値が６である場合は、ＧＰＳ信号が最も悪いことを示す。例えば、室内、峡谷、森及びトンネルなどの場面で、ＧＰＳ信号が遮蔽され減衰され、このとき、Ｑ値は、予め設定された第１閾値よりも小さく、例えば２である。一部の実施形態において、Ｑ値が１または２を取り、相対的に理想的な点群融合効果を取得することができる。
【００３８】
一部の実施形態において、履歴点群データの融合品質が第３閾値品質よりも低い場合は、例えば、２つのフレームの点群データを予め取得し、いくつかの特徴（例えば、コーナーポイント、特殊な曲率を備える特徴）を抽出し、次いで、抽出された特徴を基に、２つのフレームの点群データの間でマッチングを行い、マッチングの品質に基づいて評価を行い、点群データのマッチングの品質が予め設定された第３閾値品質よりも低い場合に、履歴点群データのマッチングの品質が所定の条件を満たしていないと確定する（つまり、このとき、位置している場面を非構造化場面として確定する）ことを含む。
【００３９】
一部の実施形態において、例えば、２つのフレームの点群データのそれぞれの一部の平面特徴を抽出し、１フレームにおける平面上の複数の点から他のフレームにおける平面までの距離を算出し、その距離を累加し、その距離の累加値が設定値よりも小さい場合に、２つのフレームの点群データのマッチングの品質が要求を満たすとする。前後フレームの点群データのマッチングに基づいて点群変換行列を求めることができる。例えば、トンネルにおいて、トンネルの中に充分な数の点群の特徴が存在していないため、点群データのマッチングの品質が良くない状況になりやすいため、このような場合に、直接に２つのフレームの点群データの間の特徴マッチングに基づいて点群変換行列を求めることには適合しないという結果になってしまう。
【００４０】
ステップ２０４において、コンピューティングデバイス１２０は、第１の画像３０２及び第２の画像３０４に基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定する。一部の実施形態において、まず第１の画像３０２と第２の画像３０４との間の画像変換行列を確定し、続いて、画像と点群データとの間のポーズ変換行列を取得し、次に、画像変換行列とポーズ変換行列とに基づいて、当該点群変換行列を確定する。
【００４１】
一部の実施形態において、前述した第１の画像３０２と第２の画像３０４との間の画像変換行列を確定するステップは、該第１の画像及び第２の画像中のマッチングされた特徴（例えば、テクスチャ特徴、色特徴、またはエッジ特徴）を抽出するステップと、該マッチングされた特徴に基づいて該画像変換行列を確定するステップとを含む。一部の実施形態において、ＩＣＰアルゴリズムを利用して、第１の画像３０２と第２の画像３０４の特徴マッチングを行い、具体的に、まず対応するポイントセットを確定し、続いて、対応するポイントセットに基づいて点群間の座標変換行列を確定する。続いて、誤差関数が予め設定された精度の要求を満たすまで、上述した２つのステップを繰り返す。
【００４２】
前述した点群変換行列の確定について、いくつかの実施形態において、例えば、カメラの初期ポーズが
【数２】
2019145089.tif 000004
【００４３】
一部の実施形態において、ステレオカメラで画像を採集する周波数は、例えば８Ｈｚであり、レーザーレーダーの採集周波数は、例えば１０Ｈｚである。第１の画像３０２及び第２の画像３０４の対応するポーズ及び採集時点が知っている前提の下で、採集時点の間の関係に基づいて線形補間計算（linear interpolation operation）を行い、画像と点群データとの間のポーズ変換行列に基づいて、第１の画像から第２の画像までの採集時点で採集した第１のフレームの点群データのポーズ３２０を確定することができる。このように類推して、第２のフレームの点群データのポーズ３２２から第Ｍフレームの点群データまでのポーズ３２４を取得することができ、ここで、Ｍは自然数である。
【００４４】
前述したポーズ変換行列の取得について、いくつかの実施形態において、前述したように、事前にマニュアルでキャリブレーションしておくことができ、測定の過程で確定することもできる。例えば、採集エンティティ上に設置され、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置を確定し、該レーザーレーダーの位置と該カメラの位置に基づいて、該ポーズ変換行列を確定する。
【００４５】
ステップ２０６において、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データの融合を行う。一部の実施形態において、前述したように、第１のフレームの点群データのポーズ３２０の取得後から第Ｍフレームの点群データのポーズ３２４の取得後まで、または２フレームごとの隣接点群データの点群変換行列を取得してから、第１のフレームの点群データ３３０、第２のフレームの点群データ３３２、第Ｍフレームの点群データ３３４まで、各フレームの点群データポーズに基づいて、同じ座標系の下に置き、点群データのレジストレーション（registration）を行い、続いて、点群データを融合させ一つになる。
【００４６】
一部の実施形態において、各種の方法で点群変換行列に基づいて第１のフレームの点群データと第２のフレームの点群データとの融合を行うことができる。例えば、第１のフレームの点群データと第２のフレームの点群データのワールド座標系における点群のフレームのポーズを確定することができる。続いて、第１のフレームの点群データと第２のフレームの点群データの点群データ局部座標系におけるポイントの位置と点群フレームのポーズに基づいて、当該ポイントのワールド座標系におけるポイントポーズを確定し、ポイントポーズに基づいて、前記融合を行う。
【００４７】
具体的に、フレームごとの点群データのポイントがレーザーレーダーの局部座標系における位置であることに基づいて、フレームごとの点群データのワールド座標系における点群フレームのポーズに基づいて、フレームごとの点群データ上のポイントをレーザーレーダーの局部座標系からワールド座標系に変換することにより、点群の融合を実現させる。一部の実施形態において、高解像度地図のために、場面１３０の全体的３次元モデルが構築されるまで、採集車１１０が場面１３０で動く過程で採集されたフレームごとの点群データと場面１３０の局部３次元場面のモデルをステッチして融合させる。
【００４８】
上述した点群データを融合させるための方法２００を用いて、つまり、場面に対する前後の採集時点で取得した画像の特徴マッチングに基づいて、関連付けた時点で採集した前後フレームの点群データ間の点群変換行列または点群データのポーズデータを算出して、該前後フレームの点群データの点群の融合を行う。これにより、位置信号または慣性航法信号の品質がよくなく、且つ位置している場面が非構造化環境であっても、点群の融合を行うことを成功させることができることが実現される。
【００４９】
一部の実施形態において、測位信号、慣性航法信号または履歴点群データのマッチングの品質が所定の条件を満たす場合に、例えば、測位信号または慣性航法信号の品質が良く、または履歴点群データのマッチングの品質が良い場合、その慣性航法信号に基づいて、または第１のフレームの点群データと第２のフレームの点群データのマッチングに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定することができる。続いて、該点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うことができる。
【００５０】
オプションとして、いくつかの実施形態において、該慣性航法信号と点群変換行列に基づいて、対応する時点におけるカメラのポーズデータを更新することもできる。
【００５１】
一部の実施形態において、図４に示すように、図４は、本開示の実施形態に係る慣性航法補助に基づく点群データの融合処理手順４００の概略図を示す。ここで、ＧＰＳ信号及び慣性航法信号の品質が良い場合、例えば、第４閾値品質よりも大きい場合に、慣性航法信号を利用して、第１のフレームの点群データ４２２と第２のフレームの点群データ４２４のそれぞれのポーズ４１２、４１４、または両者の間の点群変換行列（図示せず）を直接確定することができ、これにより点群の融合を行うことができる。
【００５２】
一部の実施形態において、慣性航法装置の出力信号の周波数は、例えば５０Ｈｚであり、レーザーレーダーの採集周波数は、例えば１０Ｈｚである。第１のフレームの点群データ４２２の採集時点が知っている前提の下で、その採集時点の前の直近の慣性航法信号出力時点におけるポーズデータと出力信号のタイミング（例えば、第１の位置データ４０２）、第１のフレームの点群データ４２２の採集時点以降の直近の慣性航法信号出力時点の位置データと出力信号のタイミング（例えば、第２の位置データ４０４）を更に取得する。レーザーレーダーの採集時点と慣性航法信号出力時点との間の関係に基づいて、線形補間計算を行い、慣性航法信号と点群データとの間のポーズ変換行列に基づいて、第１のフレームの点群データのポーズ４１２を確定することができる。
【００５３】
このように類推して、第２のフレームの点群データのポーズ４１４、第Ｍフレームの点群データのポーズ４１６まで取得することができる。続いて、取得した点群データのポーズに基づいて、第１のフレームの点群データ４２２ないし第Ｍフレームの点群データ４２６の融合を行う。
【００５４】
一部の実施形態において、点群変換行列を算出するために、レーザーレーダーによって採集した複数のフレームの点群データにおける前後フレームの点群データに基づいて、直接マッチングを行うことができる。図５に示すように、図５は、本開示に係る実施形態に係る点群マッチングに基づいて点群データの融合処理手順５００の概略図を示す。ここで、ＧＰＳ信号と慣性航法信号の品質が良くないが、履歴点群データのマッチングの品質は所定の条件を満たす場合、すなわち、構造化場面に位置する場合に、レーザーレーダー５０２によって採集した前後フレームの点群データのマッチングに基づいて、例えば、第１のフレームの点群データ５０６と第２のフレームの点群データ５０８との特徴マッチングによって、第１、第２のフレームの点群データの間の点群変換行列５１２を直接に確定することができる。
【００５５】
このように類推して、順次に第Ｍ−１フレームないし第Ｍフレームの点群データの間の点群変換行列５１４を確定し、上述した点群変換行列に基づいて、第１のフレームないし第Ｍフレームの点群データに対して点群の融合を行うことができ、ここで、Ｍは自然数である。上述した方法で、採集車１１０がトンネルなどの画像補助の点群の融合を依存している環境を離れた後、位置信号の品質の回復に応答して、慣性航法データとレーザー点群データのような高精度のポーズデータ補助に依存する点群の融合に切替ることによって、融合の精度及び効果を向上させる。
【００５６】
図６は、本開示の実施形態に係る点群データを融合させるための方法６００のフローチャートを示す。図６に示すように、ステップ６０２において、測位信号、慣性航法信号及び履歴点群データのマッチングの品質を取得する。ステップ６０４において、測位信号が第１閾値品質よりも低く、および／または慣性航法信号の品質が第２閾値品質よりも低く、及び履歴点群データのマッチングの品質が第３閾値品質よりも低いか否かを判断し、ステップ６０６において、低い場合には、第１の画像及び第２の画像を取得する。
【００５７】
ステップ６０８において、テクスチャおよび／または色の特徴に基づいて、第１の画像及び第２の画像の特徴マッチングを行い、第１の画像と第２の画像との間の画像変換行列を確定する。ステップ６１０において、画像と点群データとの間のポーズ変換行列を取得する。ステップ６１２において、画像変換行列とポーズ変換行列に基づいて、線形補間計算を経て、関連付けられた２フレームの点群データの間の点群変換行列を確定する。ステップ６１４において、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行う。
【００５８】
ステップ６２０において、測位信号の品質が第４閾値品質よりも高いか否かを判断する。ステップ６２２において、測位信号の品質が第４閾値品質よりも高いか否かに応答して、慣性航法信号に基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定し、ここで、第４閾値品質は、第１閾値品質よりも高い。ステップ６２４において、点群変換行列を利用してカメラのポーズを更新し、ステップ６２６において、確定した点群変換行列に基づいて、第１のフレームと第２のフレームの点群データとの融合を行う。
【００５９】
ステップ６３０において、測位信号が第１閾値品質よりも高く、履歴点群データのマッチングの品質が第３閾値品質よりも高いか否かを判断する。ステップ６３２において、高い場合に、第１のフレームの点群データと第２のフレームの点群データとのマッチングに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定する。ステップ６３４において、点群変換行列を利用してカメラのポーズを更新する。ステップ６３６において、確定した点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行う。
【００６０】
上述した方法６００を利用して、位置信号の品質（例えば、ＧＰＳ信号の品質）が良い場合、慣性航法データに基づいて、フレームごとの点群データのポーズを正確に測位することにより、高精度の点群融合を実現し、同時に、ＧＰＳ信号の品質が普通である場合が構造化場面に位置する場合には、前後フレームの点群データの間の特徴マッチングに基づいて、点群変換行列を直接確定することで、「ＧＰＳ信号または慣性航法信号品質が普通である」ことが点群の融合効果に影響を及ぼすことを避ける。また、ＧＰＳ信号の品質が良くなくかつ非構造化場面に位置する場合に、前後フレームの画像の間の特徴マッチングに基づいて、対応するフレームの点群データの点群変換行列またはポーズを確定することで、ＧＰＳ信号の品質が良くない場合、ＧＰＳ信号がない場合さえ、点群の特徴が明らかでない非構造化場面でも、依然として点群の融合を行うことを成功させることができる。
【００６１】
図７は、本開示の実施形態に係る点群データを融合させるための方法で構築したトンネルの３次元モデルの効果図を示す。３次元モデルの融合効果からかわるように、トンネルのような環境でも点群データの融合に成功している。
【００６２】
図８は、本開示の実施形態に係る点群データを融合させるための装置８００の概略的なブロック図を示す。図８に示すように、装置８００は、同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられている第１の画像及び第２の画像を取得するための画像取得モジュール８０２と、第１の画像と第２の画像とに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定するための変換行列確定モジュール８０４と、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うための点群融合モジュール８０６を備える。
【００６３】
一部の実施形態において、画像取得モジュールは、第１のフレームの点群データ及び第２のフレームの点群データに関連付けられた情報を取得するように構成された関連信号取得モジュールと、前記情報は、測位信号、慣性航法信号及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、前記情報が所定の条件を満たしていないことに応答して、第１の画像と第２の画像を取得するように構成された条件モジュールとを含む。
【００６４】
一部の実施形態において、条件モジュールは、測位信号の品質が第１閾値品質よりも低く、または慣性航法信号の品質が第２閾値品質よりも低く、及び履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、第１の画像及び第２の画像を取得するように構成された閾値モジュールを含む。
【００６５】
一部の実施形態において、装置８００は、情報が所定の条件を満たしていることに応答して、慣性航法信号、第１のフレームの点群データ及び第２のフレームの点群データのマッチングのうちの少なくとも一つに基づいて、第１のフレームの点群データと第２のフレームの点群データとの間の点群変換行列を確定するように構成された慣性航法又は点群マッチング条件モジュールと、点群変換行列に基づいて、第１のフレームの点群データと第２のフレームの点群データとの融合を行うように構成された点群データ融合モジュールとをさらに備える。
【００６６】
一部の実施形態において、変換行列確定モジュールは、第１の画像と第２の画像との間の画像変換行列を確定するように構成された画像変換行列確定モジュールと、画像と点群データとの間のポーズ変換行列を取得するように構成されたポーズ変換行列取得モジュールと、画像変換行列とポーズ変換行列とに基づいて、点群変換行列を確定するように構成された点群変換行列確定モジュールとを備える。
【００６７】
一部の実施形態において、画像変換行列確定モジュールは、第１の画像及び第２の画像のうちのマッチングされる特徴を抽出するように構成された特徴抽出モジュールと、マッチングされる特徴に基づいて、画像変換行列を確定するように構成された画像変換行列モジュールとを備える。
【００６８】
一部の実施形態において、ポーズ変換行列取得モジュールは、採集エンティティ上に設置され、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するように構成された位置確定モジュールと、レーザーレーダーの位置とカメラの位置とに基づいて、ポーズ変換行列を確定するように構成されたポーズ変換行列確定モジュールとを備える。
【００６９】
一部の実施形態において、点群融合モジュールは、第１のフレームの点群データ及び第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するように構成された点群のフレームのポーズ確定モジュールと、第１のフレームの点群データ及び第２のフレームの点群データにおけるポイントの点群データ局部座標系における位置と点群フレームのポーズとに基づいて、ポイントがワールド座標系におけるポイントポーズを確定するように構成されたポイントポーズ確定モジュールと、ポイントポーズに基づいて融合を行うように構成された融合モジュールとを備える。
【００７０】
図９は、本開示の実施形態を実施可能な例示的なデバイス９００の模式的なブロック図を示した。デバイス９００は、図１に示されたコンピューティングデバイス１２０の実現に用いられることができる。図面に示されたように、デバイス９００には、読取専用メモリ（ＲＯＭ）９０２に記憶されているコンピュータプログラム指令、或いは記憶手段９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたコンピュータプログラム指令に応じて、各種の適切な動作及び処理を実行可能な中央処理手段手段（ＣＰＵ）９０１が備えられる。ＲＡＭ９０３において、デバイス９００の操作に必要な各種のプログラム及びデータが記憶されても良い。ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、バス９０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続される。
【００７１】
例えばキーボード、マウスなどの入力手段９０６、例えば各種のタイプのディスプレー、スピーカなどの出力手段９０７、例えば磁気ディスク、光ディスクなどの記憶手段９０８、及び例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段９０９が含まれる、デバイス９００における複数の部品は、Ｉ／Ｏインターフェース９０５に接続される。通信手段９０９により、デバイス９００が例えばインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他のデバイスと情報／データを交換することが可能である。
【００７２】
処理手段９０１は、前記で説明された各方法及び処理、例えば方法２００及び／又は３００、４００、５００を実行する。例えば、幾つかの実施形態において、方法２００及び／又は３００、４００、５００は、機器に読取可能な媒体、例えば記憶手段９０８に有形的に備えられるコンピュータソフトウェアプログラムとして実現されも良い。幾つかの実施形態において、コンピュータプログラムの一部又は全体は、ＲＯＭ９０２及び／又は通信手段９０９を介してデバイス９００にロードされ、及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ９０３にロードされてＣＰＵ９０１により実行されると、前記で説明された方法２００及び／又は３００、４００、５００の一つ又は複数のステップを実行することができる。オプション的に、他の実施形態において、ＣＰＵ９０１は他の任意の適当な方式により（例えば、ファームウェアを介して）方法２００及び／又は３００、４００、５００を実行するように構成されても良い。
【００７３】
ここまで説明された機能は、少なくとも一部が一つ又は複数のハードウェアロジック部品により実行可能である。例えば、使用可能な例示的なハードウェアロジック部品は、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用基準製品（ＡＳＳＰ）、チップ上システムのシステム（ＳＯＣ）、コンプレックス・プログラマブル・ロジック・デバイス（ＣＰＬＤ）などを含むが、それらに限定されない。
【００７４】
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラに実行されると、フローチャート及び／又はブロック図における所定の機能／操作が実施可能である。プログラムコードは、全体が機器に実行されても良く、一部が機器に実行されても良く、独立なパッケージとして部分的に機器に実行され且つ部分的に遠隔機器に実行され、或いは全体的に遠隔機器又はサーバに実行されても良い。
【００７５】
本開示の文脈において、機器に読取可能な媒体は、有形的な媒体であっても良い。それは、指令実行システム、装置又はデバイスにより使用され、或いは指令実行システム、装置又はデバイスと合わせて使用されるプログラムを備え、或いは記憶することができる。機器に読取可能な媒体は、機器に読取可能な信号媒体又は機器に読取可能な記憶媒体であっても良い。機器に読取可能な媒体は、電子媒体、磁気媒体、光媒体、電磁媒体、赤外線媒体、或いは半導体システム、装置又はデバイス、或いはそれらのあらゆる適切な組み合わせを含んでも良いが、それらに限定されない。機器に読取可能な記憶媒体について、より具体的な例示には、一つ又は複数のケーブルによる電気的な接続、ポータブルコンピュータディスケット、ハードウェア、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、ポータブルコンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらのあらゆる適切な組み合せが含まれる。
【００７６】
また、特定の順序で各動作を説明したが、示された特定の順序又は順番で実行するようにこれらの動作を要求するものではなく、或いは所望の結果が得られるように全ての図示された動作を実行しなければならないことを要求するものと理解されるべきではない。所定の環境の下で、マルチタスク及び並行処理は有利になる可能性がある。同様に、上記の説明において若干の具体的な実現するための細部を含んでいるが、本開示の範囲に対する制限と解釈すべきでない。単独な実施形態の文脈において説明された幾つかの特徴は、単一な実現において組み合わせて実現されても良い。逆に、単独で実現された前後文において説明された各特徴は、複数の実現において単独で、或いは任意の適切なサブ組み合わせで実現されても良い。
【００７７】
構造的な特徴及び／又は方法ロジックの動作に特定された言語で本主題を説明したが、添付の特許請求の範囲によって特定された主題は、必ずしも上記の特定の特徴又は動作によって制限されるものではないと理解すべきである。逆に、上記の特定の特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。
【符号の説明】
【００７８】
１００  例示的環境
１０２  レーザーレーダー
１０４  ステレオカメラ
１０６  慣性航法計測手段
１０８  ＧＰＳ信号受信装置
１１０  採集車
２００  採集車
３０２  第１の画像
３２０  第１のフレームの点群データのポーズ
３２２  第２のフレームの点群データのポーズ
３３０  第１のフレームの点群データ
３３２  第２のフレームの点群データ
４００  処理手順
４０２  第１の位置データ
４０４  第２の位置データ
４２２  第１のフレームの点群データ
４２４  第２のフレームの点群データ
【図１】
2019145089.tif 000005
【図２】
2019145089.tif 000006
【図３】
2019145089.tif 000007
【図４】
2019145089.tif 000008
【図５】
2019145089.tif 000009
【図６】
2019145089.tif 000010
【図７】
2019145089.tif 000011
【図８】
2019145089.tif 000012
【図９】
2019145089.tif 000013
【手続補正書】
【提出日】平成31年4月26日(2019.4.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
点群データを融合させるための方法であって、
同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像及び第２の画像を取得する画像取得ステップと、
前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定する変換行列確定ステップと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させる点群融合ステップとを含む点群データを融合させるための方法。
【請求項２】
前記画像取得ステップは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得する関連信号取得ステップと、
前記情報は、測位信号、慣性航法信号及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得する条件ステップと
をさらに含む請求項１に記載の点群データを融合させるための方法。
【請求項３】
前記条件ステップは、
前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得する閾値ステップをさらに含む請求項２に記載の点群データを融合させるための方法。
【請求項４】
前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定する慣性航法又は点群マッチング条件ステップと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させる点群データ融合ステップと、
をさらに含む請求項２に記載の点群データを融合させるための方法。
【請求項５】
前記変換行列確定ステップは、
前記第１の画像と前記第２の画像との間の画像変換行列を確定する画像変換行列確定ステップと、
画像と点群データとの間のポーズ変換行列を取得するポーズ変換行列取得ステップと、
前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定する点群変換行列確定ステップと
をさらに含む請求項１に記載の点群データを融合させるための方法。
【請求項６】
前記画像変換行列確定ステップは、
前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出する特徴抽出ステップと、
前記マッチングされた特徴に基づいて、前記画像変換行列を確定する画像変換行列ステップと
をさらに含む請求項５に記載の点群データを融合させるための方法。
【請求項７】
前記ポーズ変換行列取得ステップは、
採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定する位置確定ステップと、
前記レーザーレーダーの位置と前記カメラの位置に基づいて、前記ポーズ変換行列を確定するポーズ変換行列確定ステップと
をさらに含む請求項５に記載の点群データを融合させるための方法。
【請求項８】
前記点群融合ステップは、
前記第１のフレームの点群データと前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するポーズ確定ステップと、
前記第１のフレームの点群データと前記第２のフレームの点群データにおけるポイントが、点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するポイントポーズ確定ステップと、
前記ポイントポーズに基づいて、前記融合を行う融合ステップと
をさらに含む請求項１に記載の点群データを融合させるための方法。
【請求項９】
点群データを融合させるための装置であって、
同じ場面に対して採集した第１のフレームの点群データ及び第２のフレームの点群データにそれぞれ関連付けられた第１の画像及び第２の画像を取得するように構成された画像取得モジュールと、
前記第１の画像と前記第２の画像に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された変換行列確定モジュールと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとを融合させるように構成された点群融合モジュールと
を備える点群データを融合させるための装置。
【請求項１０】
前記画像取得モジュールは、
前記第１のフレームの点群データ及び前記第２のフレームの点群データの関連付け情報を取得するように構成された関連信号取得モジュールと、
前記情報は、測位信号、慣性航法信号、及び履歴点群データのマッチングの品質のうち少なくとも一つを含み、
前記情報が所定の条件を満たしていないことに応答して、前記第１の画像と前記第２の画像を取得するように構成された条件モジュールと
をさらに備える請求項９に記載の点群データを融合させるための装置。
【請求項１１】
前記条件モジュールは、
前記測位信号は品質が第１閾値品質よりも低く、または前記慣性航法信号の品質が第２閾値品質よりも低く、および履歴点群データのマッチングの品質が第３閾値品質よりも低いことに応答して、前記第１の画像と前記第２の画像を取得するように構成された閾値モジュールをさらに備える請求項１０に記載の点群データを融合させるための装置。
【請求項１２】
前記情報が所定の条件を満たしていることに応答して、前記慣性航法信号、及び前記第１のフレームの点群データと前記第２のフレームの点群データとのマッチングのうち少なくとも一つに基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データとの間の点群変換行列を確定するように構成された慣性航法又は点群マッチング条件モジュールと、
前記点群変換行列に基づいて、前記第１のフレームの点群データと前記第２のフレームの点群データを融合させるように構成された点群データ融合モジュールと
をさらに備える請求項９に記載の点群データを融合させるための装置。
【請求項１３】
前記変換行列確定モジュールは、
前記第１の画像と前記第２の画像との間の画像変換行列を確定するように構成された画像変換行列確定モジュールと、
画像と点群データとの間のポーズ変換行列を取得するように構成されたポーズ変換行列取得モジュールと、
前記画像変換行列と前記ポーズ変換行列とに基づいて、前記点群変換行列を確定するように構成された点群変換行列確定モジュールと
をさらに備える請求項９に記載の点群データを融合させるための装置。
【請求項１４】
前記画像変換行列確定モジュールは、
前記第１の画像と前記第２の画像中のマッチングされた特徴を抽出するように構成された特徴抽出モジュールと、
前記マッチングされた特徴に基づいて、前記画像変換行列を確定するように構成された画像変換行列モジュールと
をさらに備える請求項１３に記載の点群データを融合させるための装置。
【請求項１５】
前記ポーズ変換行列取得モジュールは、
採集エンティティ上に設置された、点群データを取得するためのレーザーレーダーの位置と画像を取得するためのカメラの位置とを確定するように構成された位置確定モジュールと、
前記レーザーレーダーの位置と前記カメラの位置とに基づいて、前記ポーズ変換行列を確定するように構成されたポーズ変換行列確定モジュールと
をさらに備える請求項１３に記載の点群データを融合させるための装置。
【請求項１６】
前記点群融合モジュールは、
前記第１のフレームの点群データと前記第２のフレームの点群データのワールド座標系における点群フレームのポーズを確定するように構成された点群のフレームのポーズ確定モジュールと、
前記第１のフレームの点群データと前記第２のフレームの点群データにおけるポイントが、点群データ局部座標系における位置及び前記点群フレームのポーズに基づいて、前記ポイントのワールド座標系におけるポイントポーズを確定するように構成されたポイントポーズ確定モジュールと、
前記ポイントポーズに基づいて、前記融合をさせるように構成された融合モジュールと
をさらに備える請求項９に記載の点群データを融合させるための装置。
【請求項１７】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを格納するための記憶手段とを含む装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、前記１つまたは複数のプロセッサが請求項１乃至請求項８のうちいずれか１項に記載の方法が実現される装置。
【請求項１８】
コンピュータプログラムが格納されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項８のうちいずれか１項に記載の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１９】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項８のうちいずれか１項に記載の方法が実現されるコンピュータプログラム。
【外国語明細書】
2019145089000001.pdf