(57)【要約】      （修正有）【課題】構築されたモデルを利用して精度と普遍性を向上させる点群データを復旧するための方法及び装置を提供する。【解決手段】第１の点群データフレームに関連付けられた２Ｄ画像を取得し、２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを点群データセットに分割し、各点群データセットに対して、２Ｄ画像から第１の点群データフレームとのマッチング画像を確定し、マッチング画像はデータの採集位置及び／又は時間においてマッチングされ、第１の点群データフレームとそれに関連付けられた第２の点群データフレームに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定し、ピクセルポイントの２Ｄ位置と３Ｄ位置データをトレーニングモデルのトレーニング入力及び出力データとして、深層学習ネットワークを通じて、その点群データセットの対応する物体のための点群データ復旧モデルを生成する。【選択図】図２
2019149149.tif 000002
【特許請求の範囲】
【請求項１】
点群データ復旧モデルを生成するための方法であって、
第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、
前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するステップと、
各点群データセットに対して、
前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するステップと、
前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するステップと、
前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するステップと
を含む点群データ復旧モデルを生成するための方法。
【請求項２】
前記分割ステップは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うステップと、
前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするステップと、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するステップと
を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
【請求項３】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項１又は請求項２に記載の点群データ復旧モデルを生成するための方法。
【請求項４】
前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するステップは、
前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするステップと、
前記第１の点群データフレーム及び前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするステップと、
前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するステップと
を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
【請求項５】
点群データを復旧するための方法であって、
復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、
前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するステップと、
各点群データセットに対して、
前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するステップと、
前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うステップと
を含む点群データを復旧するための方法。
【請求項６】
前記分割ステップは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うステップと、
前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするステップと、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するステップと
を含む請求項５に記載の点群データを復旧するための方法。
【請求項７】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項５又は請求項６に記載の点群データを復旧するための方法。
【請求項８】
点群データ復旧モデルを生成するための装置であって、
第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、
各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールと
を備える点群データ復旧モデルを生成するための装置。
【請求項９】
前記点群分割モジュールは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
【請求項１０】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項８又は請求項９に記載の点群データ復旧モデルを生成するための装置。
【請求項１１】
前記位置確定モジュールは、
前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするように構成されたデータ取得手段と、
前記第１の点群データフレームと前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするように構成された第２のマッピング手段と、
前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成された位置確定手段と
を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
【請求項１２】
点群データを復旧するための装置であって、
復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うように構成された点群復旧モジュールと
を備える点群データを復旧するための装置。
【請求項１３】
前記点群分割モジュールは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
を備える請求項１２に記載の点群データを復旧するための装置。
【請求項１４】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項１２又は請求項１３に記載の点群データを復旧するための装置。
【請求項１５】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現される装置。
【請求項１６】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置を備える装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現される装置。
【請求項１７】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１８】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１９】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータプログラム。
【請求項２０】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、点群データ処理技術分野に関するもので、より具体的に、点群データを復旧するための方法及び装置に関するものである。
【背景技術】
【０００２】
点群データ（Ｐｏｉｎｔ  Ｃｌｏｕｄ）は、各種の業界における３次元（３Ｄ）再構築のアプリケーションに広く使用されている。点群データは、３Ｄ場面の３Ｄ座標系におけるポイントデータを記述する集合である。通常、点群データにおけるポイントデータは、物体の外表面を特性付ける。レーザー測定または写真測量の原理（principle of laser measuring or photographic surveying）に基づいて、物体表面の各サンプリングポイントの空間座標を採集することにより、ポイントデータのセット（「点群データ」と呼ばれる）を取得することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、採集過程における遮蔽又は遠距離により、点群データにホール（ｈｏｌｅ）、または疎らになりすぎることが現われ、目標物体の抽出と分割に不利となる。したがって、点群データの復旧が早急に解決することが望まれる問題の一つになる。
【課題を解決するための手段】
【０００４】
本開示の例示的実施形態によれば、点群データを復旧するための方法を提供する。
【０００５】
第１の局面として、点群データ復旧モデルを生成するための方法を提供する。前記方法は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定し、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するステップとを含む。
【０００６】
第２の局面として、点群データを復旧するための方法を提供する。前記方法は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するステップと、前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するステップと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するステップと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行うステップとを含む。
【０００７】
第三の局面として、点群データ復旧モデルを生成するための装置を提供する。前記装置は、第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされており、各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールとを備える。
【０００８】
第四の局面として、点群データを復旧するための装置を提供する。前記装置は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、前記２Ｄ画像における物体の属性に応じて前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、各点群データセットについて、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定する画像確定モジュールと、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされており、各点群データセットについて、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれの復旧を行うように構成された点群復旧モジュールとを備える。
【０００９】
第五の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第１の局面の方法が実現される装置を提供する。
【００１０】
第六の局面として、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、第２の局面の方法を実現する装置を提供する。
【００１１】
第七の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第１の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
【００１２】
第八の局面として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、第２の局面の方法を実現するコンピュータ読み取り可能な記憶媒体を提供する。
【００１３】
発明の内容の部分で説明した内容は、本開示に係る実施形態のポイントまたは重要な特徴を限定しようとするものではなく、本開示の範囲を限定するためのものではないことを理解されたい。本開示の他の特徴は、下の説明により理解が容易になる。
【図面の簡単な説明】
【００１４】
本開示の各実施形態の上記及び他の特徴、利点及び局面は、図面に合わせて下記の詳細な説明を参照することにより、より明らかになる。図面において、同一又は類似の符号は、同一又は類似の要素を示すものとする。
【００１５】
【図１】図１は、本開示に係る実施形態が実施される例示的環境の概略図を示す。
【図２】図２は、本開示の実施形態に係る点群データ復旧モデルを生成するための方法のフローチャートを示す。
【図３】図３は、本開示の実施形態に係る点群データを分割するための方法のフローチャートを示す。
【図４】図４は、本開示の実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法のフローチャートを示す。
【図５】図５は、本開示の実施形態に係る点群データを復旧するための方法のフローチャートを示す。
【図６】図６は、本開示の実施形態に係る点群データ復旧モデルを生成するための装置の概略ブロック図を示す。
【図７】図７は、本開示の実施形態に係る点群データを復旧するための装置の概略ブロック図を示す。
【図８】図８は、本開示の実施形態を実施することができるコンピューティングデバイスのブロック図を示す。
【発明を実施するための形態】
【００１６】
以下、説明の詳細を参照しながら本開示の実施形態をより詳細に述べる。添付図面には、本開示に係る一部の実施形態が示され、本開示はさまざまな形態によって実現することができるが、ここで述べた実施例に限定されるものではなく、逆にこれらの実施形態の提供は本開示に係る実施形態を確実にかつより全面的に理解するためのものであることを理解されるべきである。本開示における図面又は実施形態は例示的なものであり、本開示の保護範囲を限定するためのものではない。
【００１７】
本開示に係る実施形態の説明において、用語「含む」及び類似の用語は、開放的な「含む」と理解されるべきである。つまり、「．．．を含むが、これらに限定されない」と理解されるべきである。用語「に基づいて」は、「少なくとも部分的に．．．に基づいて」と理解されるべきである。用語「一実施形態」または「当該実施形態」は、「少なくとも一つの実施形態」として理解すべきである。用語「第１」、「第２」などは、異なるまたは同じ対象物を示すことができる。以下、他の明確な定義と暗黙的定義を含める可能性もある。
【００１８】
上述したように、採集過程で遮蔽又は遠距離により、点群データは、ホール（ｈｏｌｅ）が現れ、または疎らになりすぎるため、目標物体の抽出と分割に不利となる。既知の従来の方法では、通常、点群データ自体に基づいて、一定の範囲内で線形補間を行い、点群データの復旧を実現するようにしている。一部の技術において、２Ｄ画像と点群データとの関係に基づいて、２Ｄ画像におけるピクセルポイントの２Ｄ座標に対して幾何的な関係により、ピクセルポイントの３Ｄ位置を推測するようにしている。しかしながら、これらの従来技術において、いずれも点群データ上直接フィッティング、補間などのような方法を利用しており、精確性と普遍性を確保することができなかった。
【００１９】
本開示に係る実施形態の基本的な思想は、同じ場面に関する大規模の画像データと点群データの助けを借りて、深層学習ネットワークに対してトレーニングを行い、点群データ復旧モデルを生成し、点群データ復旧モデルを使用して点群データの復旧を実現することである。点群データ復旧は、モデリングとの方法を使用して実現するため、方法の普遍性を確保することができる。また、ビッグデータ（big data）を利用しているため、点群データ復旧の精度を向上することができる。本開示の実施形態によれば、同じ場面における異なる物体の属性についてモデルをそれぞれ構築することで、点群データにおける異なる物体の属性に対応する各部分をそれぞれ復旧することができる。これにより、点群データ復旧の精度を更に向上させることができる。
【００２０】
本明細書に使用されるように、用語「モデル」は、トレーニングデータから対応する入力と出力との間の関連を習得することができるため、トレーニングの完了後に、与えられた入力に対して対応する出力を生成することができる。「モデル」は、「ニューラルネットワーク」、「学習モデル」、「学習ネットワーク」または「深層学習ネットワーク」などと呼ぶこともできることを理解されたい。
【００２１】
以下、添付図面を参照して、本開示に係る実施形態を具体的に説明する。
図１は、本開示に係る実施形態が実施される例示的環境１００の概略図を示す。この例示的環境１００において、採集作業車１１０は、前記採集作業車１１０に設置されたデータ採集装置１１１を通じて、各種の場面に対して大規模の場面データ１１２を取得する。本開示に係る実施形態において、場面データ１１２は、同じ場面を対象とする点群データと画像データの両者を含むことができる。本開示に係る実施形態において、場面データ１１２は、点群データと画像データの採集位置および／または時間情報をさらに含むことができる。
【００２２】
例示的に、いくつかの実施形態において、データ採集装置１１１は、例えば、レーザー画像検出と測距（ＬＩＤＡＲ）システム、ステレオカメラシステム、モバイルレーザーイメージングシステムなどの場面を対象とする点群データを取得するためのセンサーシステムを含むことができる。例えば、点群データは、３Ｄ座標（ＸＹＺ）、レーザー反射強度および／または色情報（ＲＧＢ）などを含むことができる。本開示に係る実施形態において、データ採集装置１１１は、例えばカメラ、ビデオカメラなどの場面を対象とする画像データを取得するための画像取得手段をさらに備えることができる。例えば、画像データは、２Ｄ座標（ＸＹ）、グレースケールなどを含むことができる。
【００２３】
図１に示すように、場面データ１１２は、取得された後に記憶装置１２０に格納され、後続のコンピューティングデバイス１３０によって処理されまたは使用される。本開示に係る実施形態において、記憶装置１２０は、採集作業車１１０のローカル記憶装置であってもよく、または該ローカル記憶装置がアクセス可能な外部記憶装置であってもよい。その他の実施形態において、記憶装置１２０は、コンピューティングデバイス１３０のローカル記憶装置であってもよく、またはコンピューティングデバイス１３０によってアクセス可能な外部記憶装置であってもよい。
【００２４】
本開示に係る実施形態において、コンピューティングデバイス１３０は、場面データ１１２に基づいて点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、コンピューティングデバイス１３０は、構築された点群データ復旧モデル１３１に基づいて、場面データ１１２における点群データに対して復旧を行うこともできる。その他の実施形態において、コンピューティングデバイス１３０は、復旧された点群データに基づいて３Ｄ場面を再構築することもできる。
【００２５】
上述した環境１００は、単に例示的な説明にすぎず、本開示に係る実施形態は、上述した応用環境に限定されず、例えば深度カメラ（depth camera）のホール充填（Hole-filling）、製造業におけるレーザーレーダーを利用した部品の検出などのような点群データ処理又は復旧のための任意の環境に応用することができることを理解されるべきである。以下、図２〜図５を参照して、本開示に係る実施形態に係る点群データを復旧するための方法の例示的実施の詳細な説明を行う。
【００２６】
図２は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための方法２００のフローチャートを示す。この方法２００は、例えば図１におけるコンピューティングデバイス１３０で実施されることにより、点群データ復旧モデル１３１を構築することができる。本開示に係る実施形態において、点群データは、フレームごとに処理されている。
【００２７】
図２に示すように、ブロック２０５において、処理待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。説明の便宜上、本開示では、該点群データフレームを「第１の点群データフレーム」と呼ぶこともできる。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと、採集位置および／または時間において点群データフレームに関連付けられた画像データとを取得することができる。これらの例示的な実施形態の詳細な説明は、下記の図３のブロック３１０を組み合わせて行う。
【００２８】
ブロック２１０において、ブロック２０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、少なくとも一つの２Ｄ画像は、データの採集位置および／または時間においてその点群データフレームに関連付けることができる。
【００２９】
例えば、一実施形態において、１つまたは複数の２Ｄ画像は、採集位置が点群データフレームの採集位置の所定の距離内に位置する２Ｄ画像のセット（集合）にすることができる。選択的に、または付加的に、いくつかの実施形態において、１つまたは複数の２Ｄ画像は、採集時間が第１の点群データフレームの採集時間を囲む所定の時間帯内に位置する２Ｄ画像のセットであってもよい。
【００３０】
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、各点群データセットが異なる物体に対応するように、対応する画像における物体の異なる属性（例えば、地面、建築物、動物、人物など）に基づいて、第１の点群データフレームにおける点群データを１つまたは複数の点群データセットに分割することができる。これにより、１つまたは複数の２Ｄ画像を利用して、１つのフレームの点群データにおける各ポイントの物体属性に値を付与することができる。
【００３１】
以下、図３を参照しながら、ブロック２１０の例示的な実施により詳細な説明を行う。図３は、本開示に係る実施形態に係る点群データを分割するための方法３００のフローチャートを示す。この方法３００は、同様に、例えば、図１のコンピューティングデバイス１３０で実施することができる。
【００３２】
図示されたように、ブロック３１０において、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。上述したように、コンピューティングデバイス１３０は、場面データ１１２から第１の点群データフレームと採集位置および／または時間において第１の点群データフレームに関連付けられた画像データとを取得することができる。
【００３３】
１つの例示について考えると、例えば、現在の処理待ちの第１の点群データフレームは本日１０：００に採集したものとする場合、画像と点群データは同時に採集されたものなので、タイムスタンプにより、第１の点群データフレームに関連付けられた画像として、例えば９：５０〜１０：１０の間の画像を選択することができる。別の一例において、例えば、第１の点群データフレームの世界座標での採集位置が（１００、１００、３）である場合、第１の点群データフレームに関連付けられた画像として、距離が例えば１００メートルの範囲内のすべての採集位置の画像を選択することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で、第１の点群データフレームに関連付けられた画像を取得することができることを理解されるべきである。
【００３４】
ブロック３２０において、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行う。本開示に係る実施形態において、当該技術分野において既知の、または将来的に開発される任意の適切な画像意味分割技術を使用して、該ステップを実行することができ、本開示の思想を濁すこと避けするために、本開示ではこれに対する重複した説明を省略する。意味分割により、少なくとも一つの２Ｄ画像における各物体（例えば、地面、建築物、動物、人物など）に対応するピクセルの範囲を区別することにより、少なくとも一つの２Ｄ画像における各ピクセルポイントの対応する物体を確定することができるようになる。
【００３５】
ブロック３３０において、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせる。これは３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。当該技術分野において既知の、または将来的に開発される任意の適切な方法で対応するマッピングを実現することができることを理解されるべきである。本開示に係る一実施形態において、まず点群データを画像座標に変換させ、続いて、画像座標をピクセル座標に変換させることができる。１つの例示において、例えば、採集作業車１１０は、ＬＩＤＡＲにより点群データを取得し、カメラにより画像データを取得する。ＬＩＤＡＲ及びカメラの回転行列［Ｒ、Ｔ］は、ＬＩＤＡＲとカメラとの相対的な位置関係を測定することにより取得される。
【００３６】
点群データを、カメラを原点とする座標系に変換させる。すなわち、
[R, T] * P_lidar = P_camera            （１）
であり、ここで、P_lidarはＬＩＤＡＲの座標系におけるポイントであり、P_cameraはカメラの座標系におけるポイントである。続いて、カメラを原点とする点群データを画像座標にマッピングさせる。
【００３７】
すなわち、
X_film = fx * X/Z − x_center; Y_film = fy * Y/Z − y_center        （２）
であり、ここで、X_filmは画像における点群データのＸ方向における位置（ピクセルレベル）であり、fxはＸ方向における焦点距離であり、x_centerは画像の中心点のＸ方向における位置（ピクセルレベル）であり、Y_filmは画像における点群データのＹ方向における位置（ピクセルレベル）であり、fyはＹ方向での焦点距離であり、y_centerは画像中心点のＹ方向の位置（ピクセルレベル）である。続いて、画像座標をピクセル座標に変換させる。これにより、点群データとピクセルポイントとの間の対応関係を取得することができる。
【００３８】
ブロック３４０において、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行う。本開示に係る実施形態によれば、ブロック３２０で確定した各ピクセルポイントの対応する物体の情報、及びブロック３３０で取得した点群データにおけるポイントとピクセルポイントとの対応関係に基づいて、点群データにおける各ポイントに対して相応の物体の属性を付与することにより、物体の属性に基づいて点群データに対してクラスタリングを行い、相応の点群データセットを形成することができる。
【００３９】
前述した図３を参照しながら説明した点群データの分割は、後続の過程で、異なる物体の属性に基づいて、相応する点群データに対してそれぞれ復旧を行うことができるようにするためである。点群データに対する分割に基づき、且つ分割された点群データに対してそれぞれ復旧を行うことにより、点群データ復旧の精度を向上させることができ、同時に点群データ復旧の効率を向上させることもできる。上述した図３の方法は、単なる例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を使用して点群データに対して分割を行い、分割された点群データに対してそれぞれ復旧を実行することができることを理解されるべきである。
【００４０】
図２に戻ると、ブロック２２０において、少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定し、ここで、前記マッチング画像は、データの採集位置および／または時間において前記第１点群データフレームとマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間が第１の点群データフレームと一致するか又はほぼ一致する画像を第１の点群データフレームのマッチング画像として探し出すことができる。
【００４１】
ブロック２３０において、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレームとに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。説明の便宜上、本開示では、基準点群データフレームを「第２の点群データフレーム」と呼ぶこともできる。
【００４２】
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、第１の点群データフレームの前および／またはその後の１つまたは複数のフレームを取得して、基準点群データフレームとすることができる。すなわち、第２の点群データフレームである。本開示に係る実施形態によれば、複数のフレームの点群データにより、一つの画像におけるすべてのピクセルポイントを３Ｄ空間に還元させることができ、ピクセルポイントと点群データとの一対一の対応関係を取得することができる。
【００４３】
以下、図４を参照し、ブロック２３０の例示的実施をより詳細に説明する。図４は、本開示に係る実施形態に係るマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するための方法４００のフローチャートを示す。この方法４００は、例えば図１のコンピューティングデバイス１３０において実施されることもできる。
【００４４】
図４に示すように、ブロック４１０において、第１の点群データフレームに隣接する１つまたは複数の第２の点群データフレームを取得する。本開示に係る実施形態によれば、需要に応じて第２点群データフレームの数を確定することにより、第２の点群データフレームの数からマッチング画像におけるピクセルポイントごとの対応する点群データを確定し、すなわち、ピクセルポイントの３Ｄ位置データを確定することができる。
【００４５】
ブロック４２０において、第１の点群データフレームと第２の点群データフレームにおける点群データを、マッチング画像の座標空間にマッピングさせる。これも、同様に３Ｄから２Ｄへの座標変換に関わっており、これにより点群データとピクセルポイントとの間の対応関係を取得することができる。ブロック４２０の処理は、ブロック３３０で説明した処理と同様の処理を実施することができ、これに対する重複の説明を省略する。
【００４６】
ブロック４３０において、ブロック４２０で実行されたマッピングに基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する。本開示に係る実施形態によれば、ブロック４２０でのマッピングに基づいて、点群データとピクセルポイントとの間の対応関係を取得することにより、マッチング画像におけるすべてのピクセルポイントに対応する点群データ（つまり、３Ｄの位置データ）を確定することができる。
【００４７】
図４を組み合わせて説明した方法において、複数のフレームの点群データに基づいて、一つのマッチング画像におけるすべてのピクセルポイントの３Ｄ位置データの真実値を確定することができ、これは、後続モデルのトレーニングのために相応するトレーニング出力データを提供することを意図するものである。上述した図４の方法は、例示にすぎず、本開示に係る実施形態は、これに限定されず、他の適切な方法を用いて、モデルのトレーニングのトレーニング出力データとしてピクセルポイントの３Ｄ位置データの真実値を確定することができることを理解されるべきである。
【００４８】
図２に戻ると、ブロック２４０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データを、それぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークにより、前記点群データセットの対応する物体のための点群データ復旧モデルを生成する。
【００４９】
本開示に係る実施形態によれば、コンピューティングデバイス１３０は、同じ物体に対応する点群データセットにおける点群データと、マッチング画像における対応する同じ物体のピクセルポイントの２Ｄ位置データとを深層学習ネットワークの入力層とし、対応する同一の物体のピクセルポイントの３Ｄ位置データを深層学習ネットワークの出力層とすることで、点群データセットの対応する物体のための点群データ復旧モデルをトレーニングし生成することができる。つまり、点群データ復旧モデルは、画像における物体によって特定されるものであり、単に全体的なイメージにだけ特定されるものではない。これは、例えば点群復旧モデルがカスタマイズ性を備え精度を向上させるように点群復旧モデルを精確にトレーニングするのに有益である。
【００５０】
本開示に係る実施形態によれば、当該技術分野において既知の、または将来的に開発される任意の適切な深層学習ネットワーク（例えば、畳み込みニューラルネットワーク、再帰型ニューラルネットワーク（Recurrent Neural Network）、深層ニューラルネットワークなど）を通じてモデルの構築を実現することができる。現在の主流となる深層学習ネットワーク層は、入力層、畳み込み層、プーリング層（pooling layer, max pooling）、全結合層（fully connected layer）、出力層などを含む。具体的な必要に応じて、これらの層を組み合わせ、それぞれの層にいくつかの初期値を付与し、そして集合の真実値をトレーニングすることにより、これらの初期値を変更することができ、これにより得られた予測の精確率の結果がより高くなる。出力層が予測値を提供する。トレーニングモードでは、予測値と真実値との間の差を比較して、ネットワークにおける値を調整するようにする。
【００５１】
本開示に係る実施形態によれば、異なる物体の対応する点群データについて、対応する深層学習ネットワークをトレーニングして、対応する物体の点群データを復旧することができる。同じネットワークを利用してすべての点群のデータを復旧することに比べて、精確率がより高くなる。
【００５２】
ここまで図２〜図４を組み合わせながら、本開示に係る実施形態に係る点群データ復旧モデルを生成する過程を説明した。以下、図５は、本開示に係る実施形態に係る点群データ復旧モデルを使用するプロセスを説明する。図５は、本開示に係る実施形態に係る点群データを復旧するための方法５００のフローチャートを示す。この方法５００は、図１に示すようなコンピューティングデバイス１３０で実施されることができる。前述の方法２００は、点群データ復旧モデルのトレーニングの過程とみなすことができ、以下に説明する方法５００は、そのモデルの使用過程であることを理解することができる。
【００５３】
図５に示すように、ブロック５０５において、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得する。該ステップにおける処理は、ブロック２０５の処理と同様で、その他の詳細は、前述のブロック２０５を参照して説明した内容を参照することができる。
【００５４】
ブロック５１０において、ブロック５０５で取得した少なくとも一つの２Ｄ画像における物体の属性に基づいて、復旧待ちの点群データフレームを少なくとも一つの点群データセットに分割する。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、採集位置および／または時間において復旧待ちの点群データフレームに関連付けられた１つまたは複数の２Ｄ画像を取得し、後続の異なる物体の属性についてそれぞれ復旧を実行するために、復旧待ちの点群データフレームにおけるポイントデータが対応する２Ｄ画像における物体の属性に基づいて、点群データフレームを少なくとも一つの点群データセットに分割することができる。該ステップの処理は、ブロック２１０の処理と同様で、その他の詳細は、前述のブロック２１０を参照しながら説明した内容を参照することができる。
【００５５】
ブロック５２０において、少なくとも一つの２Ｄ画像から前記復旧待ちの点群データフレームとのマッチング画像を確定し、前記マッチング画像は、データの採集位置および／または時間において前記復旧待ちの点群データフレームにマッチングする。本開示に係る実施形態によれば、コンピューティングデバイス１３０は、点群データフレームのマッチング画像として、上述した少なくとも一つの２Ｄ画像から採集位置および／または時間において点群データフレームと一致するか又はほぼ一致した画像を探し出すことができる。該ステップの処理は、ブロック２２０の処理と同様である。
【００５６】
ブロック５３０において、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルにより、点群データセットにおける点群データに対してそれぞれ復旧を行う。モデル構築時のトレーニング入力データと同様に、本開示に係る実施形態において、対応する同一の物体属性の点群データセットにおける点群データ及びマッチング画像における対応する同じ物体の属性のピクセルポイントの２Ｄ位置データを点群データ復旧モデルの入力データとする。対応して、点群データ復旧モデルの出力データは、復旧された対応する同じ物体の属性の点群データ、即ち、マッチング画像における対応する同じ物体の属性のすべてのピクセルポイントの３Ｄ位置データである。復旧は、点群データにおけるポイントデータのフィーリング（filling）を指すものとしてもよい。
【００５７】
本開示に係る実施形態によれば、ビッグデータを利用してモデルを構築する方法により、点群データの復旧を実現することで、方法の精確性と普遍性を確保した。また、本開示に係る実施形態において、異なる物体の対応する点群データについて、予めトレーニングされた対応する物体の点群データ復旧モデルを使用して対応する物体の点群データを復旧することができる。同じモデルを使用して、すべての点群のデータを復旧する場合に比べて、精確率がより高くなる。
【００５８】
本開示に係る実施形態は、上述した方法またはプロセスを実現するための相応の装置を提供する。図６は、本開示に係る実施形態に係る点群データ復旧モデルを生成するための装置６００の概略ブロック図を示す。デバイス６００は、例えば、図１のコンピューティングデバイス１３０で実施されることができる。図６に示すように、装置６００は、画像取得モジュール６０５、点群分割モジュール６１０、画像確定モジュール６２０、位置確定モジュール６３０とモデルの生成モジュール６４０を備えることができる。
【００５９】
本開示に係る実施形態によれば、画像取得モジュール６０５は、第１の点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール６０５の処理は、図２のブロック２０５の処理と同様に、その詳細に対する重複説明は省略する。
【００６０】
本開示に係る実施形態によれば、点群分割モジュール６１０は、２Ｄ画像における物体の属性に基づいて、第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール６１０の処理は、図２のブロック２１０の処理と同様で、その詳細について重複説明は省略する。
【００６１】
本開示に係る実施形態において、点群分割モジュール６１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、第１の点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、第１の点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示されていない）ことができる。これらの手段による処理は、前述した図３を参照して行った処理と同様で、その詳細について重複説明は省略する。
【００６２】
本開示に係る実施形態によれば、画像確定モジュール６２０は、少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において第１の点群データフレームと一致するマッチング画像を確定するように構成することができる。画像確定モジュール６２０の処理は、図２のブロック２２０の処理と同様で、本開示では重複説明を省略する。
【００６３】
本開示に係る実施形態によれば、位置確定モジュール６３０は、第１の点群データフレームと、第１の点群データフレームに関連付けられた少なくとも一つの基準点群データフレーム（本明細書で第２の点群データフレームとも呼ぶ）に基づいて、マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成することができる。位置確定モジュール６３０の処理は、図２のブロック２３０の操作と同様で、その詳細について重複説明は省略する。
【００６４】
本開示に係る実施形態において、位置確定モジュール６３０は、第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して基準点群データフレームとするように構成されたデータ取得手段と、第１の点群データフレーム及び第２の点群データフレームにおける点群データをマッチング画像の座標空間にマッピングさせるように構成された第２のマッピング手段と、前記マッピングに基づいてマッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成される位置確定手段とを備える（図示せず）ことができる。これらの手段による処理は、前述の図４を参照して説明した処理と同様で、その詳細について重複説明は省略する。
【００６５】
本開示に係る実施形態によれば、モデル生成モジュール６４０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データ及び３Ｄ位置データをそれぞれトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成することができる。モデル生成モジュール６４０の処理は、図２のブロック２４０の処理と同様で、その詳細について重複説明は省略する。
【００６６】
図７は、本開示に係る実施形態に係る点群データを復旧するための装置７００の概略ブロック図を示す。デバイス７００は、同様に、例えば図１のコンピューティングデバイス１３０で実施されることができる。装置７００は、画像取得モジュール７０５と、点群分割モジュール７１０と、画像確定モジュール７２０と、点群復旧モジュール７３０とを備えることができる。
【００６７】
本開示に係る実施形態によれば、画像取得モジュール７０５は、復旧待ち点群データフレームに関連付けられた少なくとも一つの２Ｄ画像を取得するように構成することができる。画像取得モジュール７０５の処理は、図５のブロック５０５の処理と同様で、その詳細について重複説明は省略することにする。
【００６８】
本開示に係る実施形態によれば、点群分割モジュール７１０は、２Ｄ画像における物体の属性に基づいて、復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成することができる。点群分割モジュール７１０の処理は、図５のブロック５１０の処理と同様で、その詳細について重複説明は省略する。
【００６９】
本開示に係る実施形態において、点群分割モジュール７１０、少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、復旧待ち点群データフレームにおける点群データを少なくとも一つの２Ｄ画像の座標空間にマッピングさせるように構成された第１のマッピング手段と、少なくとも一つの点群データセットを形成するように、ピクセルポイントの対応する物体と前記マッピングとに基づいて、復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うように構成されたデータクラスタリング手段とを備える（図示せず）ことができる。これらの手段による処理は、前述した図３を参照しながら説明した処理と同様で、その詳細について重複説明は省略する。
【００７０】
本開示に係る実施形態によれば、画像確定モジュール７２０は、前記少なくとも一つの２Ｄ画像からのデータ採集位置および／または時間において前記復旧待ち点群データフレームと一致するマッチング画像を確定するように構成されることができる。画像確定モジュール７２０の処理は、図５のブロック５２０の処理と同様で、本開示では、重複説明を省略する。
【００７１】
本開示に係る実施形態によれば、点群復旧モジュール７３０は、点群データセットのうちのそれぞれについて、マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを使用して点群データセットにおける点群データに対してそれぞれ復旧を行うよう構成されることができる。点群復旧モジュール７３０の処理は、図５のブロック５３０の処理と同様で、本開示では、重複説明を省略する。
【００７２】
装置６００と装置７００に記載された各手段は、それぞれ図２および図５を参照して説明した方法２００、５００のうちの各ステップに対応していることを理解されたい。また、装置６００と装置７００と、これらの中に含まれる手段による処理及び機能は、いずれも前述の図２〜図５を参照しながら説明した処理と特徴に対応して同じ効果を有し、その詳細に対する重複説明は省略する。
【００７３】
装置６００と装置７００に含まれる手段は、ソフトウェア、ハードウェア、またはこれらの任意の組み合わせを含む様々な方法を利用して実現することができる。一実施形態において、１つまたは複数の手段は、ソフトウェアおよび／またはファームウェアを利用して実現することができ、例えば、記憶媒体上に記憶された機器が実行可能な指令として実現することができる。機器実行可能な指令に加えて、または代替的に、装置６００とデバイス７００の一部または全部の手段が少なくとも部分的に１つまたは複数のハードウェアロジックアセンブリで実現されることができる。例示的で非限定的なものとして、使用可能な試験的なタイプのハードウェアロジックアセンブリは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、オンデマンド標準製品（ＡＳＳＰ）、システム−オン−チップ（ＳＯＣ）、複合プログラマブルロジック素子（ＣＰＬＤ）などを含む。
【００７４】
図６及び図７に示されたこれらの手段は、部分的または全体的にハードウェア・モジュール、ソフトウェアモジュール、ファームウェアモジュールまたはこれらの任意の組み合わせで実現されることができる。特に、いくつかの実施形態において、上述したフロー、方法、またはプロセスは記憶装置システムまたは記憶装置システムに対応するホストまたは記憶装置システムに依存しない他のコンピューティングデバイス中のハードウェアで実現されることができる。
【００７５】
図８は、本開示の実施形態を実施可能な例示的なデバイス８００の模式的なブロック図を示した。デバイス８００は、図１に示されたモデル確定装置１３０及び／又はモデル応用装置１４０を実現可能である。図面に示されたように、デバイス８００には、読取専用メモリ（ＲＯＭ）８０２に記憶されているコンピュータプログラム指令、或いは記憶手段８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされたコンピュータプログラム指令に応じて、各種の適当な動作及び処理を実行可能な中央処理装置（ＣＰＵ）８０１が備えられる。ＲＡＭ８０３において、デバイス８００の処理に必要な各種のプログラム及びデータが記憶されても良い。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、バス８０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース８０５もバス８０４に接続される。
【００７６】
例えばキーボード、マウスなどの入力手段８０６、例えば各種のタイプのディスプレー、スピーカなどの出力手段８０７、例えば磁気ディスク、光ディスクなどの記憶手段８０８、及び例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段８０９が含まれる、デバイス８００における複数の部品は、Ｉ／Ｏインターフェース８０５に接続される。通信手段８０９により、デバイス８００が例えばインターネットのようなコンピュータネットワーク及び／又は各種の電気通信ネットワークを介して他のデバイスと情報／データを交換することが可能である。
【００７７】
処理手段８０１は、前記で説明された各方法及び処理、例えば方法２００及び／又は５００を実行する。例えば、幾つかの実施形態において、方法２００及び／又は５００は、装置が読取可能な媒体、例えば記憶手段８０８に有形的に備えられるコンピュータソフトウェアプログラムとして実現されも良い。幾つかの実施形態において、コンピュータプログラムの一部又は全体は、ＲＯＭ８０２及び／又は通信手段８０９を介してデバイス８００にロードされ、及び／又はインストールされても良い。コンピュータプログラムがＲＡＭ８０３にロードされてＣＰＵ８０１により実行されると、前記で説明された方法２００及び／又は５００の一つ又は複数のステップを実行することができる。選択的に、他の実施形態において、ＣＰＵ８０１は他の任意の適当な方式により（例えば、ファームウェアを介して）方法２００及び／又は５００を実行するように構成されても良い。
【００７８】
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせを採用してプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラに実行されると、フローチャート及び／又はブロック図における所定の機能／操作が実施可能である。プログラムコードは、全体が装置によって実行されても良く、一部が装置によって実行されても良く、独立なパッケージとして部分的に装置によって実行され且つ部分的に遠隔装置に実行され、或いは全体的に遠隔装置又はサーバに実行されても良い。
【００７９】
本開示の文脈において、機器が読取可能な媒体は、有形的な媒体であっても良い。それは、指令実行システム、装置又はデバイスにより使用され、或いは指令実行システム、装置又はデバイスと合わせて使用されるプログラムを備え、或いは記憶することができる。機器が読取可能な媒体は、機器が読取可能な信号媒体又は機器が読取可能な記憶媒体であっても良い。機器が読取可能な媒体は、電子媒体、磁気媒体、光媒体、電磁媒体、赤外線媒体、或いは半導体システム、装置又はデバイス、或いはそれらのあらゆる適切な組み合わせを含んでも良いが、それらに限定されない。機器が読取可能な記憶媒体について、より具体的な例示には、一つ又は複数のケーブルによる電気的な接続、ポータブルコンピュータディスケット、ハードウェア、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、ファイバ、ポータブルコンパクトディスク−リードオンリーメモリ（ＣＤ−ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又はそれらのあらゆる適切な組合せが含まれる。
【００８０】
また、特定の順序で各動作を説明したが、示された特定の順序又は順次で実行されるようにこれらの動作を要求し、或いは所望の結果が得られるように全ての図示された動作を実行すべきと要求するものと理解すべきでない。ある環境において、マルチタスク及び並行処理が有利になる可能性がある。同様に、上記の説明において若干の具体的な実現の細部が含まれたが、本開示の範囲に対する限制ではないと理解すべきである。単独な実施形態の文脈に説明された幾つかの特徴は、単一な実現において組み合わせて実現されても良い。逆に、単独で実現された文脈に説明された各特徴は、複数の実現において単独で、或いはあらゆる適切なサブアセンブリで実現されても良い。
【００８１】
構造上の特徴及び／又は方法ロジックの動作に特定された言語を使って本主題を説明したが、添付の特許請求の範囲に特定された主題は必ずしも上記の特定の特徴又は動作によって限定されないと理解すべきである。逆に、上記の特定の特徴と動作は、特許請求の範囲を実現する例示的な形式に過ぎない。
【符号の説明】
【００８２】
１００  例示的環境
１１１  データ採集装置
１１２  場面データ
１２０  記憶装置
１３０  コンピューティングデバイス
１３１  点群データ復旧モデル
２０５、２１０  ブロック
８００  デバイス
８０１  中央処理装置（ＣＰＵ）
８０２  ＲＯＭ
８０３  ＲＡＭ
８０４  バス
８０５  Ｉ／Ｏインターフェース
【図１】
2019149149.tif 000003
【図２】
2019149149.tif 000004
【図３】
2019149149.tif 000005
【図４】
2019149149.tif 000006
【図５】
2019149149.tif 000007
【図６】
2019149149.tif 000008
【図７】
2019149149.tif 000009
【図８】
2019149149.tif 000010
【手続補正書】
【提出日】平成31年4月26日(2019.4.26)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
点群データ復旧モデルを生成するための方法であって、
第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得する画像取得ステップと、
前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割する点群分割ステップと、
各点群データセットに対して、
前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定する画像確定ステップと、
前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定する位置確定ステップと、
前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するモデル生成ステップと
を含む点群データ復旧モデルを生成するための方法。
【請求項２】
前記点群分割ステップは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行う意味分割ステップと、
前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングする第１のマッピングステップと、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するデータクラスタリングステップと
を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
【請求項３】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項１又は請求項２に記載の点群データ復旧モデルを生成するための方法。
【請求項４】
前記位置確定ステップは、
前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするデータ取得ステップと、
前記第１の点群データフレーム及び前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングする第２のマッピングステップと、
前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定する位置確定ステップと
を含む請求項１に記載の点群データ復旧モデルを生成するための方法。
【請求項５】
点群データを復旧するための方法であって、
復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得する画像取得ステップと、
前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割する点群分割ステップと、
各点群データセットに対して、
前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定する画像確定ステップと、
前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを通じて、前記点群データセットにおける点群データに対してそれぞれ復旧を行う点群復旧ステップと
を含む点群データを復旧するための方法。
【請求項６】
前記点群分割ステップは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行う意味分割ステップと、
前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングする第１のマッピングステップと、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するデータクラスタリングステップと
を含む請求項５に記載の点群データを復旧するための方法。
【請求項７】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項５又は請求項６に記載の点群データを復旧するための方法。
【請求項８】
点群データ復旧モデルを生成するための装置であって、
第１の点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
前記２Ｄ画像における物体の属性に基づいて、前記第１の点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記第１の点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
前記マッチング画像は、データの採集位置および／または時間において前記第１の点群データフレームとマッチングされ、
各点群データセットに対して、前記第１の点群データフレームと前記第１の点群データフレームに関連付けられた少なくとも一つの第２の点群データフレームとに基づいて、前記マッチング画像におけるピクセルポイントの３次元（３Ｄ）位置データを確定するように構成された位置確定モジュールと、
各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データと３Ｄ位置データとをトレーニングモデルのトレーニング入力データ及びトレーニング出力データとして、深層学習ネットワークを通じて、前記点群データセットの対応する物体のための点群データ復旧モデルを生成するように構成されたモデル生成モジュールと
を備える点群データ復旧モデルを生成するための装置。
【請求項９】
前記点群分割モジュールは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
前記第１の点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記第１の点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
【請求項１０】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記第１の点群データフレームに関連付けられた請求項８又は請求項９に記載の点群データ復旧モデルを生成するための装置。
【請求項１１】
前記位置確定モジュールは、
前記第１の点群データフレームに隣接する１つまたは複数の点群データフレームを取得して、前記第２の点群データフレームとするように構成されたデータ取得手段と、
前記第１の点群データフレームと前記第２の点群データフレームにおける点群データを前記マッチング画像の座標空間にマッピングするように構成された第２のマッピング手段と、
前記マッピングに基づいて、前記マッチング画像におけるピクセルポイントの３Ｄ位置データを確定するように構成された位置確定手段と
を備える請求項８に記載の点群データ復旧モデルを生成するための装置。
【請求項１２】
点群データを復旧するための装置であって、
復旧待ち点群データフレームに関連付けられた少なくとも一つの２次元（２Ｄ）画像を取得するように構成された画像取得モジュールと、
前記２Ｄ画像における物体の属性に基づいて、前記復旧待ち点群データフレームを少なくとも一つの点群データセットに分割するように構成された点群分割モジュールと、
各点群データセットに対して、前記少なくとも一つの２Ｄ画像から前記復旧待ち点群データフレームとのマッチング画像を確定するように構成された画像確定モジュールと、
前記マッチング画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームとマッチングされ、
各点群データセットに対して、前記マッチング画像における対応するピクセルポイントの２Ｄ位置データに基づいて、前記点群データセットの対応する物体のための点群データ復旧モデルを介して、前記点群データセットにおける点群データに対してそれぞれ復旧を行うように構成された点群復旧モジュールと
を備える点群データを復旧するための装置。
【請求項１３】
前記点群分割モジュールは、
前記少なくとも一つの２Ｄ画像におけるピクセルポイントの対応する物体を確定するために、前記少なくとも一つの２Ｄ画像に対して意味分割を行うように構成された意味分割手段と、
前記復旧待ち点群データフレームにおける点群データを前記少なくとも一つの２Ｄ画像の座標空間にマッピングするように構成された第１のマッピング手段と、
前記ピクセルポイントの対応する物体と前記マッピングとに基づいて、前記復旧待ち点群データフレームにおける点群データに対してクラスタリングを行うことにより、前記少なくとも一つの点群データセットを形成するように構成されたデータクラスタリング手段と
を備える請求項１２に記載の点群データを復旧するための装置。
【請求項１４】
前記少なくとも一つの２Ｄ画像は、データの採集位置および／または時間において前記復旧待ち点群データフレームに関連付けられた請求項１２又は請求項１３に記載の点群データを復旧するための装置。
【請求項１５】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置とを備える装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現される装置。
【請求項１６】
１つまたは複数のプロセッサと、
１つまたは複数のプログラムを記憶するための記憶装置を備える装置であって、
前記１つまたは複数のプログラムが前記１つまたは複数のプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現される装置。
【請求項１７】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータプログラムがプロセッサによって実行される場合、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１８】
コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記プログラムがプロセッサによって実行される場合、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータ読み取り可能な記憶媒体。
【請求項１９】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項１乃至請求項４のうち何れか１項の方法が実現されるコンピュータプログラム。
【請求項２０】
コンピュータプログラムであって、
前記コンピュータプログラムがプロセッサにより実行されると、請求項５乃至請求項７のうち何れか１項の方法が実現されるコンピュータプログラム。
【外国語明細書】
2019149149000001.pdf