(57)【特許請求の範囲】
【請求項１】
現在の画角の画像データを取得することと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
前記第１のボクセルの深度情報の取得値が前記目標物体の表面を基準として所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
を含む、３次元点群の再構成のための方法。
【請求項２】
前記第１のボクセルと、記憶されたボクセルとを統合することは：
記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
を含む請求項１に記載の方法。
【請求項３】
前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；
前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；
前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、
を含む請求項２に記載の方法。
【請求項４】
前記マッピング関係情報はハッシュテーブルに記憶され、
前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含む請求項３に記載の方法。
【請求項５】
前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、
前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；
前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；
前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと
を含む請求項４に記載の方法。
【請求項６】
現在の画角の画像データを取得することと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
を含み、
前記第１のボクセルと、記憶されたボクセルとを統合することは：
記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
を含み、
前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；
前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；
前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、
を含み、
前記マッピング関係情報はハッシュテーブルに記憶され、
前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含み、
前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、
前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：
前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；
前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；
前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと
を含む、３次元点群の再構成のための方法。
【請求項７】
前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、
前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
ＧＰＵが、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含み；
前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：
前記ＧＰＵが前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；
前記ＧＰＵが前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；
前記ＧＰＵが前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、
を含む請求項２〜６のいずれか一項に記載の方法。
【請求項８】
現在の画角の画像データを取得することと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
を含み、
前記第１のボクセルと、記憶されたボクセルとを統合することは：
記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；
前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、
を含み、
前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、
前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：
ＧＰＵが、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含み；
前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：
前記ＧＰＵが前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；
前記ＧＰＵが前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；
前記ＧＰＵが前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、
を含む、３次元点群の再構成のための方法。
【請求項９】
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；
前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、
を含む請求項１〜６のいずれか一項に記載の方法。
【請求項１０】
現在の画角の画像データを取得することと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、
を含み、
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；
前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、
を含む、３次元点群の再構成のための方法。
【請求項１１】
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：
前記画像データに基づき、前記現在の画角の深度図を生成することと；
前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得ることと、
を含む請求項１〜１０のいずれか一項に記載の方法。
【請求項１２】
前記第１のボクセルは色情報と前記色情報の重みとを含み、
前記第１のボクセルと、記憶されたボクセルとを統合することは：
目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含む請求項１〜１１のいずれか一項に記載の方法。
【請求項１３】
前記第１のボクセルは前記深度情報の重みを備え、
前記第１のボクセルと、記憶されたボクセルとを統合することは：
目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含む請求項１〜１２のいずれか一項に記載の方法。
【請求項１４】
前記第１のボクセルの深度情報の取得値は、第１のボクセルと目標物体表面との間の距離を示すための切断符号付き距離関数値である請求項１〜１３のいずれか一項に記載の方法。
【請求項１５】
現在の画角の画像データを取得するための取得モジュールと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
前記第１のボクセルの深度情報の取得値が前記目標物体の表面を基準として所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
を備える、３次元点群の再構成のための装置。
【請求項１６】
前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられる請求項１５に記載の装置。
【請求項１７】
前記統合モジュールは具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられる請求項１６に記載の装置。
【請求項１８】
前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュールは具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる請求項１７に記載の装置。
【請求項１９】
前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、前記統合モジュールは具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる請求項１８に記載の装置。
【請求項２０】
現在の画角の画像データを取得するための取得モジュールと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
を備え、
前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられ、
前記統合モジュールは具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられ、
前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュールは具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられ、
前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、３次元情景における空間位置を示すために用いられ、前記統合モジュールは具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる、３次元点群の再構成のための装置。
【請求項２１】
前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュールは具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる請求項１６〜２０のいずれか一項に記載の装置。
【請求項２２】
現在の画角の画像データを取得するための取得モジュールと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
を備え、
前記統合モジュールは具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられ、
前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュールは具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる、３次元点群の再構成のための装置。
【請求項２３】
前記生成モジュールは具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる請求項１５〜２２のいずれか一項に記載の装置。
【請求項２４】
現在の画角の画像データを取得するための取得モジュールと；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールと、
を備え、
前記生成モジュールは具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる、３次元点群の再構成のための装置。
【請求項２５】
前記生成モジュールは具体的に、前記画像データに基づき、前記現在の画角の深度図を生成し；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得るために用いられる請求項１５〜２４のいずれか一項に記載の装置。
【請求項２６】
前記第１のボクセルは色情報および前記色情報の重みを含み、前記生成モジュールは具体的に、目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めるために用いられる請求項１５〜２５のいずれか一項に記載の装置。
【請求項２７】
前記第１のボクセルは前記深度情報の重みをさらに備え、前記生成モジュールは具体的に、目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めるために用いられる請求項１５〜２６のいずれか一項に記載の装置。
【請求項２８】
前記第１のボクセルの深度情報の取得値は、第１のボクセルと目標物体表面との間の距離を示すための切断符号付き距離関数値である請求項１５〜２７のいずれか一項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
著作権についての説明
本特許文献が開示する内容は、著作権の保護を受ける材料を含む。該著作権は著作権所有者が所有する。著作権所有者は、特許商標庁の公式記録と保管文書に存在する該特許文献をいかなる人が複製することにも、該特許の開示にも反対しない。
【０００２】
本出願は点群データ処理の分野に関し、かつ、より具体的には、３次元点群の再構成のための方法および装置に関する。
【背景技術】
【０００３】
従来技術は一般に、同時位置決めマッピング（ｓｉｍｕｌｔａｎｅｏｕｓ  ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  ｍａｐｐｉｎｇ、ＳＬＡＭ）アルゴリズムに基づいて３次元点群の再構成を行う。従来のＳＬＡＭアルゴリズムは一般に、まず、画像データにおける特徴点を抽出した後、画像データにおける特徴点（または顕著な傾きを有する点）に基づいて３次元点群を再構成する。画像データには特徴点（または顕著な傾きを有する点）の個数が少なく、従って、特徴点（または顕著な傾きを有する点）に基づいて再構成される３次元点群は、まばらな（または半稠密）３次元点群である。
【０００４】
まばらな３次元点群は３次元情景の中の重要な情報を取りこぼすことがあり、３次元情景の精度についての要求が高い任務には堪えられない。再構成される３次元点群が機械式ナビゲーションに用いられる場合を例にすると、まばらな３次元点群は、ナビゲーション中の、重要な意義を有する特徴を取りこぼす可能性が高い。例えば、まばらな３次元点群は交通信号灯を取りこぼすおそれがあり、もしくは、まばらな３次元点群は、３次元情景の中の特定の道路が通行を許容するか否かの情報など、正確な道路情報を提供することができない可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本出願は、３次元点群の再構成のための方法および装置を提供することで、再構成される３次元点群の精度を高める。
【課題を解決するための手段】
【０００６】
一態様では、現在の画角の画像データを取得することと；前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含むことと；前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄することと；前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合することと、を含む、３次元点群の再構成のための方法を提供する。
【０００７】
もう１つの態様では、現在の画角の画像データを取得するための取得モジュールと；前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュールであって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュールと；前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュールと；前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュールとを備える、３次元点群の再構成のための装置を提供する。
【０００８】
さらにもう１つの態様では、命令を記憶するためのメモリと、メモリに記憶された命令を実行することで上記各態様に記載の方法を実行するためのプロセッサとを備える、３次元点群の再構成のための装置を提供する。
【０００９】
さらにもう１つの態様では、命令が記憶されており、コンピュータ上で動作する際に、上記態様面に記載の方法をコンピュータに実行させるコンピュータ可読記憶媒体を提供する。
【００１０】
さらにもう１つの態様では、コンピュータ上で動作する際に、上記態様面に記載の方法をコンピュータに実行させる、命令を含むコンピュータプログラム製品を提供する。
【００１１】
本出願が提供する技術案は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本出願が提供する技術案は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
【図面の簡単な説明】
【００１２】
【図１】ＳＬＡＭアルゴリズムの汎用計算フローチャートである。
【図２】本発明の実施例が提供する、３次元点群の再構成のための方法の概略的フローチャートである。
【図３】図２におけるステップ２４０の具体的な工程の例示図である。
【図４】本発明の１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。
【図５】本発明のもう１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。
【発明を実施するための形態】
【００１３】
図１は、ＳＬＡＭアルゴリズムの汎用計算フローチャートである。図１から、カメラの姿勢推定と３次元点群の再構成プロセスが１つのサイクルの中にまとめられており、両者が互いに支持し、互いに影響することにより、同時位置決めと３次元点群の再構成という目的を果たしていることが分かる。
【００１４】
ＳＬＡＭアルゴリズムで再構成された３次元点群は主に、画像データにおける特徴点（または顕著な傾きを有する点）からなる。画像データにおいて、特徴点（または顕著な傾きを有する点）の個数が少なく、従って、ＳＬＡＭアルゴリズムを用いて再構成した３次元点群は一般に、まばらな点群であり、３次元情景の精度についての要求が高い任務には堪えられない。
【００１５】
ボクセル（ｖｏｘｅｌ）は、３次元空間内の小さな体積単位である。３次元空間内の１つの物体は通常、非常に多くのボクセルが積み重なってなり、従って、物体のボクセルは、数が多く分布が稠密であるという特徴を有しており、稠密な３次元点群を生成するために用いるのに適している。これに基づき、本発明の実施例は、ボクセルに基づく３次元点群の再構成方法を提示することで、稠密な３次元点群を生成する。まばらな点群と比べ、稠密な３次元点群は精度が高く、３次元情景の中の重要な情報を保持することができる。
【００１６】
従来技術は一般に、３次元配列（ａｒｒａｙ）の方式で物体のボクセルを記憶し、個々の記憶ユニットは、１つのボクセルを記憶するために用いることができる。記憶空間において物体の特定の目標ボクセルを検索する必要がある場合、３次元配列の添え字によってアドレス指定を直接行うことができる。３次元配列に基づくボクセル記憶方式はボクセルの検索複雑度を低減することができるが、このような記憶方式は記憶の連続性を保証しなければならず、つまり、物体の各々のボクセルを記憶しなければならない。記憶の連続性を損なわないため、あるボクセルが空ボクセル（目標物体内部のボクセルなど、いかなる有用な情報も含まないボクセル）であったとしても、このボクセルに記憶空間を割り当てなければならず、ボクセルを勝手に廃棄してはならない。実際には、物体のボクセルにおいては一般に、９０％を超えるボクセルが空ボクセルであり、これらのボクセルを保持すれば、大量の記憶および計算リソースを浪費して、ボクセルに基づく３次元点群の再構成プロセスのリアルタイム性が低くなり、室内の情景など、狭い範囲、小さなサイズの情景を再構成することのみに限られることになる。
【００１７】
以下、図２を参照しながら、本発明の実施例が提供する３次元点群の再構成方法について詳しく記述する。本発明の実施例が提供する３次元点群の再構成方法は、３次元点群マップを生成するために用いるか、もしくは、機械的ナビゲーションのために用いることができる。図２の方法は、カメラが取り付けられたモバイル機器により実行することができる。このモバイル機器は例えば、ロボット、無人航空機（ｕｎｍａｎｎｅｄ  ａｅｒｉａｌ  ｖｅｈｉｃｌｅ、ＵＡＶ、略称無人機）、自動車またはウェアラブルデバイス（ｗｅａｒａｂｌｅ  ｄｅｖｉｃｅ）であってよい。具体的には、モバイル機器は、モバイル機器が運動過程で遭遇した未知の情景をカメラによって撮影するとともに、撮影した画像データに基づいて未知の情景の３次元点群マップを生成することができる。
【００１８】
図２は、本発明の実施例が提供する、３次元点群の再構成のための方法の概略的フローチャートである。図２の方法は、以下のステップを含むことができる。
【００１９】
ステップ２１０、現在の画角の画像データを取得する。
【００２０】
ステップ２２０、画像データに基づき、現在の画角の中の目標物体のボクセルを生成し、目標物体のボクセルは第１のボクセルを備え、第１のボクセルは深度情報を含む。
【００２１】
上記目標物体が、現在の画角の中の探知された任意の１つの物体であってよいことは理解しなければならない。なお、上記第１のボクセルは、目標物体のボクセルの中の任意のボクセルであってよい。
【００２２】
ステップ２３０、第１のボクセルの深度情報の取得値が所定の範囲内にない場合、第１のボクセルを廃棄する。
【００２３】
ステップ２４０、第１のボクセルの深度情報の取得値が所定の範囲内に位置する場合、第１のボクセルと、記憶されたボクセルとを統合する。
【００２４】
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
【００２５】
本発明の実施例は、所定の範囲の選択方式について具体的に限定しておらず、実際のニーズに応じて選択することができる。例えば、目標物体の表面を基準として上記所定の範囲を設定し、物体表面付近のボクセル（可視ボクセルとも称する）が保持され、それ以外のボクセルが廃棄されるようにすることができる。言い換えれば、本発明の実施例は、目標物体ボクセルの中の、有用情報を記憶したボクセルにのみ焦点を当てることにより、記憶および計算リソースをより効果的に利用し、ボクセルに基づく３次元点群の再構成プロセスのリアルタイム性を高める。
【００２６】
ステップ２２０が記述しているのは目標物体のボクセル化プロセスであり、本発明の実施例は目標物体のボクセル化方式について具体的に限定しておらず、例えば、ステップ２２０は：画像データに基づき、現在の画角の深度図を生成することと；深度図に基づき、目標物体をボクセル化し、目標物体のボクセルを得ることと、を含むことができる。
【００２７】
上記画像データに基づき、現在の画角の深度図を生成することは：画像データ中の各々の画素点の対応する視差を予測することと；各々の画素点の対応する視差を各々の画素点の対応する深度値に変換することと、を含むことができる。
【００２８】
例えば、公式ｚｉ＝ｂｆ／ｄｉを用いて各々の画素点の対応する深度値を判定することができ、ただし、ｚｉとｄｉはそれぞれ画像データ中のｉ個目の画素の深度値と視差を表し、ｂは基線を表し、ｆは焦点距離を表す。
【００２９】
説明しなければならないのは、画像データ中の各々の画素点は１つの深度値に対応することができ、かつ、各画素点の対応する深度値の解を求めるプロセスは、並行して実行することで、画像データの処理効率を高めることができるという点である。
【００３０】
深度図を算出すれば、目標物体の３次元モデルが得られる。次いで、一定のアルゴリズムを用いて目標物体の３次元モデルをボクセル化することができる。例えば、まず、深度図中の深度値に基づき、３次元モデルのバウンディングボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）を構築し、その後、八分木に基づいてバウンディングボックスを多数の小さな体積単位に分解し、各々の体積単位は目標物体の１つのボクセルに対応することができる。
【００３１】
目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの色情報および深度情報をそれぞれ第１のボクセルの記憶空間内の色情報および深度情報と統合し、続いて、統合する方式について詳しく記述することができる。色情報および深度情報の統合方式は複数種あり得るが、続いて、具体的な実施例を参照しながら詳しく説明する。
【００３２】
任意には、いくつかの実施例において、第１のボクセルは、色情報と、第１のボクセルの色情報の重みとを含むことができ、上記第１のボクセルと、記憶されたボクセルとを統合することは：目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの色情報の重みに基づき、第１のボクセルの色情報と第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含むことができる。当然ながら、本発明の実施例はこれに限定されず、第１のボクセルの記憶空間内のボクセルの色情報の代わりに第１のボクセルの色情報を直接用いることもできる。
【００３３】
任意には、いくつかの実施例において、第１のボクセルは、第１のボクセルの深度情報の重みを含むこともでき、上記第１のボクセルと、記憶されたボクセルとを統合することは：目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの深度情報の重みに基づき、第１のボクセルの深度情報と第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含むことができる。当然ながら、本発明の実施例はこれに限定されず、第１のボクセルの記憶空間内のボクセルの深度情報の代わりに第１のボクセルの深度情報を直接用いることもできる。
【００３４】
本発明の実施例は、第１のボクセルの深度情報の値取得方式について具体的に限定していない。いくつかの実施例において、第１のボクセルの深度情報の取得値は、第１のボクセルの、カメラ座標系におけるｚ値であってよい。他のいくつかの実施例において、第１のボクセルの深度情報の取得値は、切断符号付き距離関数（ｔｒｕｎｃａｔｅｄ  ｓｉｇｎｅｄ  ｄｉｓｔａｎｃｅ  ｆｕｎｃｔｉｏｎ、ｔｓｄｆ）値であってよい。このｔｓｄｆ値は、第１のボクセルと目標物体表面（目標物体の、第１のボクセルから最も近い表面）との間の距離を示すために用いることができる。
【００３５】
例えば、第１のボクセルは次のようなデータ構造を用いることができる：
ｓｔｒｕｃｔ  ｖｏｘｅｌ｛
ｆｌｏａｔ  ｔｓｄｆ；
ｕｃｈａｒ  ｃｏｌｏｒ［３］；
ｕｃｈａｒ  ｗｅｉｇｈｔ；
｝
ここで、ｔｓｄｆはすなわち第１のボクセルの深度情報であり、第１のボクセルの、目標物体表面からの距離を表すために用いられる。ｃｏｌｏｒ［３］は、第１のボクセルの色情報を表すために用いられ、ｗｅｉｇｈｔは、第１のボクセルの色情報および／または深度情報の重みを表すために用いられる。
【００３６】
所定の範囲が（Ｄｍｉｎ，Ｄｍａｘ）であるとすると、第１のボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たす場合には、第１のボクセルが有用情報（または、第１のボクセルが可視ボクセルである）を含んでいると見なし、この第１のボクセルを保持し；第１のボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たさない場合には、第１のボクセルが有用情報（または、第１のボクセルが不可視ボクセルである）を含んでいないと見なし、この第１のボクセルを廃棄する。
【００３７】
説明しなければならないのは、３次元点群の再構成は継続的なプロセスであり、３次元点群の再構成プロセスにおいて、モバイル機器はまず、当初の画角（以下、「第１の画角」と称する）を選択して撮影を行い、その後、第１の画角中の物体をボクセル化し、深度情報が要求に適合するボクセルを記憶し；続いて、モバイル機器がカメラの姿勢を調整し、次の画角（以下、「第２の画角」と称する）を選択して撮影を行い、新たなボクセルを得るという点である。隣接する２回の画角の画角差は通常、比較的小さいので、隣接する２つの画角を撮影して得られる物体が重なり合う可能性があり、従って、第２の画角を撮影して得られた新たなボクセルと、記憶されたボクセルとを統合する必要がある。上記文中の現在の画角は、カメラ撮影プロセスにおける任意の画角を指すことができ、記憶されたボクセルは、現在の画角を用いて撮影する前に得られており保持されてきたボクセルであってよい。
【００３８】
ステップ２４０の実現方式（すなわちボクセル統合の方式）は複数種あり得る。いくつかの実施例において、図３に示すように、ステップ２４０は以下のことを含むことができる：
【００３９】
ステップ２４２、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に第１のボクセルの記憶空間が含まれるか否か判定する。
【００４０】
ステップ２４４、目標記憶空間が第１のボクセルの記憶空間を含んでいる場合、第１のボクセルの情報に基づき、第１のボクセルの記憶空間内のボクセルの情報を更新する。
【００４１】
ステップ２４６、目標記憶空間が第１のボクセルの記憶空間を含んでいなければ、第１のボクセルに新たな記憶空間を割り当て、第１のボクセルを新たな記憶空間に記憶する。
【００４２】
ステップ２４４の実現方式は複数種あり得る。例えば、第１のボクセルの記憶空間に記憶された古いボクセル情報の代わりに第１のボクセルの情報を直接用いることができ；また、第１のボクセルの情報と、第１のボクセルの記憶空間に記憶された古いボクセル情報とについて加重和を求めてもよい。
【００４３】
ボクセルが次のようなデータ構造を用いることができることを例にすると以下の通りである：
ｓｔｒｕｃｔ  ｖｏｘｅｌ｛
ｆｌｏａｔ  ｔｓｄｆ；
ｕｃｈａｒ  ｃｏｌｏｒ［３］；
ｕｃｈａｒ  ｗｅｉｇｈｔ；
｝
【００４４】
次のような公式を用いて、第１のボクセル記憶空間に記憶されたボクセルの深度情報を更新（または統合）してもよい：
Ｄｉ＋１＝（Ｗｉ×Ｄｉ＋ｗｉ＋１×Ｄｉ＋１）／（Ｗｉ＋ｗｉ＋１）
Ｗｉ＋１＝Ｗｉ＋ｗｉ＋１
Ｄｉは、第１のボクセル記憶空間に記憶されたボクセルのｔｓｄｆ値を表し、ｄｉ＋１は第１のボクセルのｔｓｄｆ値を表し、Ｄｉ＋１は更新後のｔｓｄｆ値を表し；Ｗｉは第１のボクセル記憶空間に記憶されたボクセルの重みを表し、ｗｉ＋１は第１のボクセルの重みを表し、Ｗｉ＋１は更新後の重みを表す。
【００４５】
上記は、第１のボクセルの深度情報の更新方式について、例を挙げて説明したものである。相応に、第１のボクセルの色情報にも、類似した更新方式を採用することができるが、ここではこれ以上詳述しない。
【００４６】
いくつかの実施例において、ステップ２４２は：第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、目標記憶空間から第１のボクセルの記憶空間を検索し、マッピング関係情報は、記憶されたボクセルと、記憶されたボクセルの記憶空間との対応関係を示すために用いることができることと；第１のボクセルの記憶空間を検索した場合、目標記憶空間が第１のボクセルの記憶空間を含むと判定することと；第１のボクセルの記憶空間を検索しなかった場合、目標記憶空間が第１のボクセルの記憶空間を含まないと判定することと、を含むことができる。
【００４７】
上記文は、従来技術は３次元配列の方式でボクセルを連続的に記憶するが、このような記憶方式は、アドレス指定が簡単である利点を有するが、ボクセル記憶の連続性を保証しなければならず、あるボクセルが空ボクセル（目標物体内部のボクセルなど、いかなる有用な情報も含まないボクセル）であったとしても、このボクセルに記憶空間を割り当てなければならず、ボクセルを勝手に廃棄してはならない、と指摘している。本発明の実施例は、目標物体中の深度情報が要求を満たさないボクセルを廃棄しており、このようにすれば、ボクセル記憶の連続性を損なうことになるが、大量の空ボクセルを廃棄することができ、記憶リソースを大幅に節約し、計算効率を高めることができる。さらに、ボクセル記憶が不連続である場合に、ボクセルの速やかなアドレス指定を実現することができるように、本発明の実施例はマッピング関係情報を導入することで、ボクセルと、記憶されたボクセルの記憶位置との対応関係を記録する。
【００４８】
マッピング関係情報が、記憶されたボクセルと、記憶されたボクセルの記憶空間との対応関係を示す方式は複数種あり得る。いくつかの実施例において、記憶されたボクセルの、３次元空間における位置と、記憶されたボクセルの記憶空間（記憶アドレスの開始アドレスとオフセットなど）との対応関係を構築することができる。
【００４９】
いくつかの実施例において、３次元空間におけるボクセルの位置は、ワールド座標系におけるボクセルの座標によって表すことができる。ワールド座標系におけるボクセルの座標を得るために、まず、現在の画角で撮影する際のカメラの姿勢を判定し、その後、カメラの姿勢に基づいてボクセルをワールド座標系の中に変換することができる。カメラ姿勢の判定方式は複数種あり得る。例えば、視覚的高速オドメトリ（ｆａｓｔ  ｏｄｏｍｅｔｒｙ  ｆｒｏｍ  ｖｉｓｉｏｎ、ＦＯＶＩＳ）を採用してカメラの姿勢を判定することができる。具体的には、まず、ガウス平滑化フィルタを使って、入力された画像データをフィルタリングすることで、３層画像ピラミッドを構築することができる。その後、ＦＡＳＴコーナー検出器を使って画像中の十分に多いローカルな特徴を検出する。続いてＲＡＮＳＡＣ（ｒａｎｄｏｍ  ｓａｍｐｌｅ  ｃｏｎｓｅｎｓｕｓ）アルゴリズムを使い、画像データ中のキーフレームを用いてカメラの姿勢をロバスト推定する。
【００５０】
マッピング関係情報の記憶および使用方式は複数種あり得るが、いくつかの実施例において、マッピング関係情報をハッシュテーブルに記憶することができる。上記文中の第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、目標記憶空間から第１のボクセルの記憶空間を検索することは：第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、目標記憶空間から第１のボクセルの記憶空間を検索することを含むことができる。ハッシュテーブルには、アドレス指定が速い利点があり、３次元点群の再構成プロセスの効率を高めることができる。
【００５１】
任意には、いくつかの実施例において、ハッシュテーブルは、記憶されたボクセルブロックの位置情報と、記憶されたボクセルブロックの記憶空間との対応関係を記録することができる。１つのボクセルブロックは、空間が隣接する複数のボクセルを含むことができ、記憶されたボクセルブロックの位置情報は、記憶されたボクセルブロックの、３次元情景における空間位置（ボクセルブロックの中心点の、ワールド座標系における３次元座標など）を示すために用いることができ、上記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、目標記憶空間から第１のボクセルの記憶空間を検索することは：第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；目標ボクセルブロックの位置情報とハッシュテーブルとに基づき、ハッシュアルゴリズムによって、目標ボクセルブロックの記憶空間を検索することと；第１のボクセルの、目標ボクセルブロックにおける位置に基づき、目標ボクセルブロックの記憶空間から第１のボクセルの記憶空間を検索することと、を含むことができる。
【００５２】
本発明の実施例において、ハッシュテーブルの各々のエントリは１つのボクセルに対応しておらず、１つのボクセルブロックに対応している。ボクセルブロックを単位としてマッピング関係情報を記録すれば、ハッシュテーブルのエントリの数を減らすことによりハッシュ衝突の確率を低減することができる。
【００５３】
ボクセルブロックは、いくつかの空間において隣接関係を有するボクセルの集合であってよい。例えば、１つのボクセルブロックは、空間が隣接する８×８×８個のボクセルを備えることができる。
【００５４】
いくつかの実施例において、ボクセルブロックはいずれも、１つの配列に記憶され得る。本発明の実施例におけるハッシュテーブルは、配列内のボクセルブロックを速やかに効率的に探し出すために設計されたものであってよい。ハッシュテーブルのエントリは、ボクセルブロックの位置、ボクセルブロックを記憶する配列を示すポインタ、およびオフセット等のメンバ変数を含むことができる。
【００５５】
例えば、いくつかの実施例において、ハッシュテーブルは次のようなデータ構造を用いて上記マッピング関係情報を記録することができる：
ｓｔｒｕｃｔ  ｈａｓｈ＿ｅｎｔｒｙ｛
ｓｈｏｒｔ  ｐｏｓ［３］；
ｓｈｏｒｔ  ｏｆｆｓｅｔ；
ｉｎｔ  ｐｏｉｎｔｅｒ；
｝
ここで、ｐｏｓ［３］は、ボクセルブロックの、３次元空間におけるワールド座標（ｘ，ｙ，ｚ）を表すことができ、ｐｏｉｎｔｅｒは、ボクセルブロックを記憶する配列の開始アドレスを示すことができ、ｏｆｆｓｅｔは、このボクセルブロックの記憶位置の開始アドレスと、ボクセルブロックを記憶する配列の開始アドレスとの間のオフセットを示すために用いることができる。
【００５６】
実際に使用するプロセスにおいては、まず、ボクセルとボクセルブロックの空間位置関係に基づき、第１のボクセルが所属する目標ボクセルブロックを判定することができ；その後、目標ボクセルブロックの、３次元空間におけるワールド座標（ｘ，ｙ，ｚ）に基づき、ハッシュテーブルを検索することによって、目標ボクセルブロックに記憶空間を割り当てているか否か判定し；目標ボクセルブロックに記憶空間を割り当てていなかった場合には、目標ボクセルブロックに記憶空間を割り当て、ハッシュテーブルのエントリを更新する。次いで、第１のボクセルの情報を、目標ボクセルブロックの記憶空間内の相応の位置に記憶すればよい。目標ボクセルブロックに記憶空間を割り当てていた場合には、目標ボクセルブロックの記憶空間から第１のボクセルの記憶空間を選択し、その後、第１のボクセルの情報を用いて第１のボクセルの記憶空間内のボクセル情報を更新することができる。具体的なボクセル情報の更新方式については前述を参照し、ここではこれ以上詳述しない。
【００５７】
説明しなければならないのは、本発明の実施例は目標記憶空間の位置を具体的に限定せず、目標記憶空間はグラフィックス処理ユニット（ｇｒａｐｈｉｃｓ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＧＰＵ）の内部メモリ内に位置することができ、中央処理ユニット（ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ、ＣＰＵ）の内部メモリ内に位置することもでき、外部メモリに位置することさえできるという点である。
【００５８】
任意には、いくつかの実施例において、目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリ内に位置することができ、ステップ２４２は：ＧＰＵが、目標記憶空間に第１のボクセルの記憶空間が含まれるか否か判定することを含むことができ；ステップ２４４は：ＧＰＵが、ＣＰＵを介して目標記憶空間から第１のボクセルの記憶空間内のボクセルの情報を読み取ることと；ＧＰＵが第１のボクセルの情報に基づき第１のボクセルの記憶空間内のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；ＧＰＵがＣＰＵを介して、更新されたボクセルの情報を第１のボクセルの記憶空間に記憶することと、を含むことができる。
【００５９】
ＧＰＵは高い画像データ処理能力を有しているが、ＧＰＵの内部メモリは通常、比較的小さく、一般的に２〜４ＧＢを備え、大きなサイズの情景の点群データを記憶するには不十分である。ＧＰＵの内部メモリの、再構成すべき情景のサイズについての制約を回避するために、本発明の実施例はＣＰＵの内部メモリおよび／または外部記憶装置を用いてボクセルを記憶し、ＧＰＵの内部メモリ（ビデオメモリとも称する）と比べ、ＣＰＵの内部メモリおよび／または外部記憶装置は、より大きな記憶空間を提供することができる。
【００６０】
具体的には、ＧＰＵはまず、画像データに基づいて新たなボクセルを生成することができる。その後、新たなボクセルと、記憶されたボクセルとを統合する前に、ＧＰＵは、新たなボクセルに統合する必要のあるボクセルを、ＣＰＵの内部メモリおよび／または外部記憶装置からＧＰＵの内部メモリに読み込むことができる。続いて、ボクセルの統合が完了した後、ＧＰＵは、統合されたボクセルデータをＣＰＵの内部メモリおよび／または外部記憶装置に再び記憶することができる。言い換えれば、本発明の実施例は、ＧＰＵ、ＣＰＵおよび／または外部記憶装置の間のデータ交換に基づき、ＧＰＵの内部メモリが、統合すべきローカルデータだけを記憶すればよいようにしており、グローバルデータは常にＣＰＵの内部メモリおよび／または外部記憶装置に記憶され、このようにすれば、ＧＰＵの内部メモリ空間の制約を克服し、より大きな次元の３次元空間を再構成するために本発明の実施例を用いることができるようにすることができる。
【００６１】
３次元点群マップの再構成を例にすると、本発明の実施例は、再構成されたグローバルマップをＣＰＵの内部メモリを使って記憶し、ＣＰＵの内部メモリを使ってローカルマップを記憶し、情景または画角の切り替えに応じてＧＰＵの内部メモリに記憶されたローカルマップを絶え間なく更新することにより、ＧＰＵの内部メモリが小さいため、再構成すべき情景のサイズが制約されるのを回避することに相当する。
【００６２】
現在の画角の中の目標物体は静止した物体である可能性があり、移動物体である可能性もあることを理解しなければならない。３次元点群の再構成で再構成しなければならいのは、３次元情景の中の建築物や交通信号灯など、３次元情景における、相対的に固定された物体であるが、３次元情景の中に一時的に出現する移動物体は一種の擾乱と見なすことができる。従って、移動物体を識別して効率的に処理することで３次元点群の再構成プロセスを加速することができる移動物体の処理方式を以下に提供する。
【００６３】
ステップ２２０は：画像データに基づき、目標物体が移動物体であるか否か判定することと；目標物体が移動物体である場合に、目標物体のボクセルを生成し、目標物体中の各々のボクセルの深度情報の取得値が所定の範囲内にないようにすることと、を含むことができる。
【００６４】
本発明の実施例は、移動物体の深度情報の取得値を所定の範囲の外に制御し、このようにすれば、目標物体中の各々のボクセルはいずれも廃棄される。言い換えれば、本発明の実施例は、深度情報の取得値を制御することによって、移動物体を処理するのを回避して３次元点群の再構成プロセスの効率を高めることができる。
【００６５】
目標物体中の各々のボクセルが次のようなデータ構造を採用したとする：
ｓｔｒｕｃｔ  ｖｏｘｅｌ｛
ｆｌｏａｔ  ｔｓｄｆ；
ｕｃｈａｒ  ｃｏｌｏｒ［３］；
ｕｃｈａｒ  ｗｅｉｇｈｔ；
｝
ここで、ｔｓｄｆはすなわちボクセルの深度情報であり、第１のボクセルの、目標物体表面からの距離を表すために用いられる。所定の範囲が（Ｄｍｉｎ，Ｄｍａｘ）であってよいとすると、ボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たせば、このボクセルを保持し；ボクセルのｔｓｄｆ値が：Ｄｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満さなければ、このボクセルを廃棄する。
【００６６】
目標物体が移動物体であると識別されたときには、目標物体中の各々のボクセルのｔｓｄｆ値を制御し、各々のボクセルのｔｓｄｆ値がいずれもＤｍｉｎ＜ｔｓｄｆ＜Ｄｍａｘを満たさないため廃棄されるようにすることで、移動物体の処理を回避しており、３次元点群の再構成プロセスを加速している。
【００６７】
説明しなければならないのは、本発明の実施例は、画像データに基づき、目標物体が移動物体であるか否か判定する方式について具体的に限定しておらず、従来の移動物体検出・追跡アルゴリズムを用いることができるという点である。
【００６８】
続いて、本発明の装置の実施例について記述するが、装置の実施例は上記方法を実行することができるので、詳細に記述していない部分については、前述の各方法の実施例を参照することができる。
【００６９】
図４は、本発明の１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。図４の装置４００は：
現在の画角の画像データを取得するための取得モジュール４１０と；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成するための生成モジュール４２０であって、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含む生成モジュール４２０と；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄するための廃棄モジュール４３０と；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合するための統合モジュール４４０と、
を備える。
【００７０】
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
【００７１】
任意には、いくつかの実施例において、前記統合モジュール４４０は具体的に、記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定し；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶するために用いられる。
【００７２】
任意には、いくつかの実施例において、前記統合モジュール４４０は具体的に、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられ；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定し；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定するために用いられる。
【００７３】
任意には、いくつかの実施例において、前記マッピング関係情報はハッシュテーブルに記憶され、前記統合モジュール４４０は具体的に、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる。
【００７４】
任意には、いくつかの実施例において、前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、前記３次元情景における空間位置を示すために用いられ、前記統合モジュール４４０は具体的に、前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定し；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索し；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索するために用いられる。
【００７５】
任意には、いくつかの実施例において、前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記統合モジュール４４０は具体的に、ＧＰＵを起動して：前記目標記憶空間中に前記第１のボクセルの記憶空間が含まれるか否か判定する動作と；前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取る動作と；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得る動作と；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶する動作と、を実行するために用いられる。
【００７６】
任意には、いくつかの実施例において、前記生成モジュール４２０は具体的に、前記画像データに基づき、前記目標物体が移動物体であるか否か判定し；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにするために用いられる。
【００７７】
任意には、いくつかの実施例において、前記生成モジュール４２０は具体的に、前記画像データに基づき、前記現在の画角の深度図を生成し；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得るために用いられる。
【００７８】
任意には、いくつかの実施例において、前記第１のボクセルは色情報および色情報の重みを備え、前記生成モジュール４２０は具体的に、前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めるために用いられる。
【００７９】
任意には、いくつかの実施例において、前記第１のボクセルは深度情報の重みをさらに含み、前記生成モジュール４２０は具体的に、前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めるために用いられる。
【００８０】
任意には、いくつかの実施例において、前記第１のボクセルの深度情報の取得値は、第１のボクセルと前記目標物体表面との間の距離を示すための切断符号付き距離関数値である。
【００８１】
図５は、本発明のもう１つの実施例が提供する、３次元点群の再構成のための装置の概略的構造図である。図５の装置５００は：
命令を記憶するためのメモリ５１０と；
メモリ５１０に記憶された命令を実行することで以下の動作を実行するためのプロセッサプロセッサ５２０と、
を備える：
現在の画角の画像データを取得する；
前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成し、前記目標物体のボクセルは第１のボクセルを備え、前記第１のボクセルは深度情報を含み；
前記第１のボクセルの深度情報の取得値が所定の範囲内にない場合、前記第１のボクセルを廃棄し；
前記第１のボクセルの深度情報の取得値が前記所定の範囲内に位置する場合、前記第１のボクセルと、記憶されたボクセルとを統合する。
【００８２】
本発明の実施例は、３次元点群中の点としてボクセルを用い、高精度の稠密な３次元点群を再構成することができる。さらに、本発明の実施例は、目標物体のボクセルに深度情報を記憶するとともに、ボクセルの深度情報に基づいて目標物体のボクセルを選別し、深度情報が要求に適合しないボクセルを廃棄し、統合および記憶を行わなければならない点群データの数を減らしており、稠密な３次元点群の再構成プロセスのリアルタイム性を高めている。
【００８３】
任意には、いくつかの実施例において、前記第１のボクセルと、記憶されたボクセルとを統合することは：記憶されたボクセルに割り当てられる記憶空間である目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することと；前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することと；前記目標記憶空間が前記第１のボクセルの記憶空間を含まない場合、前記第１のボクセルに新しい記憶空間を割り当て、前記第１のボクセルを前記新しい記憶空間に記憶することと、を含むことができる。
【００８４】
任意には、いくつかの実施例において、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することは：前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索し、前記マッピング関係情報は、前記記憶されたボクセルと、前記記憶されたボクセルの記憶空間との対応関係を示すために用いられることと；前記第１のボクセルの記憶空間を検索した場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含むと判定することと；前記第１のボクセルの記憶空間を検索しなかった場合、前記目標記憶空間が前記第１のボクセルの記憶空間を含まないと判定することと、を含むことができる。
【００８５】
任意には、いくつかの実施例において、前記マッピング関係情報はハッシュテーブルに記憶され、前記第１のボクセルと、あらかじめ記憶されたマッピング関係情報とに基づき、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することを含むことができる。
【００８６】
任意には、いくつかの実施例において、前記ハッシュテーブルに、記憶されたボクセルブロックの位置情報と、前記記憶されたボクセルブロックの記憶空間との対応関係が記録されており、１つのボクセルブロックが、空間が隣接する複数のボクセルを含み、前記記憶されたボクセルブロックの位置情報は、前記記憶されたボクセルブロックの、前記３次元情景における空間位置を示すために用いられ、前記第１のボクセルおよびハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標記憶空間から前記第１のボクセルの記憶空間を検索することは：前記第１のボクセルが所属する目標ボクセルブロックの位置情報を判定することと；前記目標ボクセルブロックの位置情報および前記ハッシュテーブルに基づき、ハッシュアルゴリズムによって、前記目標ボクセルブロックの記憶空間を検索することと；前記第１のボクセルの、前記目標ボクセルブロックにおける位置に基づき、前記目標ボクセルブロックの記憶空間から前記第１のボクセルの記憶空間を検索することと、を含むことができる。
【００８７】
任意には、いくつかの実施例において、前記目標記憶空間はＣＰＵの内部メモリおよび／または外部メモリの中に位置し、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定する動作および前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新する動作はいずれもＧＰＵにより実行可能であり、かつ、前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することが含むことができる動作は：前記目標記憶空間に前記第１のボクセルの記憶空間が含まれるか否か判定することを含むことができ；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新することは：前記ＣＰＵを介して、前記第１のボクセルの記憶空間におけるボクセルの情報を前記目標記憶空間から読み取ることと；前記第１のボクセルの情報に基づき、前記第１のボクセルの記憶空間の中のボクセルの情報を更新し、更新されたボクセルの情報を得ることと；前記ＣＰＵを介して、更新されたボクセルの情報を前記第１のボクセルの記憶空間に記憶することと、を含むことができる。
【００８８】
任意には、いくつかの実施例において、前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：前記画像データに基づき、前記目標物体が移動物体であるか否か判定することと；前記目標物体が移動物体である場合に、前記目標物体のボクセルを生成し、前記目標物体中の各々のボクセルの深度情報の取得値が前記所定の範囲内にないようにすることと、を含むことができる。
【００８９】
任意には、いくつかの実施例において、前記画像データに基づき、前記現在の画角の中の目標物体のボクセルを生成することは：前記画像データに基づき、前記現在の画角の深度図を生成することと；前記深度図に基づき、前記目標物体をボクセル化し、前記目標物体のボクセルを得ることと、を含むことができる。
【００９０】
任意には、いくつかの実施例において、前記第１のボクセルは色情報および色情報の重みを備え、前記第１のボクセルと、記憶されたボクセルとを統合することは：前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの色情報の重みに基づき、前記第１のボクセルの色情報と前記第１のボクセルの記憶空間内のボクセルの色情報とについて加重和を求めることを含むことができる。
【００９１】
任意には、いくつかの実施例において、前記第１のボクセルは深度情報の重みをさらに備え、前記第１のボクセルと、記憶されたボクセルとを統合することは：前記目標記憶空間が前記第１のボクセルの記憶空間を含む場合、前記第１のボクセルの深度情報の重みに基づき、前記第１のボクセルの深度情報と前記第１のボクセルの記憶空間内のボクセルの深度情報とについて加重和を求めることを含むことができる。
【００９２】
任意には、いくつかの実施例において、前記第１のボクセルの深度情報の取得値は、第１のボクセルと前記目標物体表面との間の距離を示すための切断符号付き距離関数値である。
【００９３】
上記実施例においては、全面的または部分的に、ソフトウェア、ハードウェア、ファームウェアもしくはその他任意の組みあわせによって実現することができる。ソフトウェアを使って実現する場合には、全面的または部分的に、コンピュータプログラム製品の形で実現することができる。前記コンピュータプログラム製品は１つまたは複数のコンピュータ命令を含む。コンピュータ上で前記コンピュータプログラム命令をロードおよび実行するとき、本発明の実施例の記載に基づく工程または機能が全面的または部分的に発生する。前記コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、もしくは他のプログラマブル装置であってよい。前記コンピュータ命令は、コンピュータ可読記憶媒体に記憶するか、もしくは１つのコンピュータ可読記憶媒体からもう１つのコンピュータ可読記憶媒体へ伝送することができ、例えば、前記コンピュータ命令は、１つのウェブサイト、コンピュータ、サーバまたはデータセンタから、有線（例えば同軸ケーブル、光ファイバ、デジタル加入者線（ｄｉｇｉｔａｌ  ｓｕｂｓｃｒｉｂｅｒ  ｌｉｎｅ、ＤＳＬ））または無線（例えば赤外線、無線、マイクロ波等）の方式によって、もう１つのウェブサイト、コンピュータ、サーバまたはデータセンタへ伝送することができる。前記コンピュータ可読記憶媒体は、コンピュータがアクセスすることができる何らかの可用媒体であるか、もしくは、１つまたは複数の可用媒体が一体化されたサーバ、データセンタ等を含むデータ記憶装置であってよい。前記可用媒体は、磁性媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光媒体（例えばデジタルビデオディスク（ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｄｉｓｃ、ＤＶＤ））、もしくは半導体媒体（例えばソリッドステートディスク（ｓｏｌｉｄ  ｓｔａｔｅ  ｄｉｓｋ、ＳＳＤ））等であってよい。
【００９４】
当業者は、本文中で開示された実施例に記述された各例のユニットおよびアルゴリズムステップを結び付ければ、電子ハードウェア、もしくはコンピュータソフトウェアと電子ハードウェアの結合により実現できることを想到することができる。これらの機能が結局のところハードウェアとソフトウェアのどちらの方式で実行されるかは、技術案の特定の応用と設計制約条件に応じて決まる。当業者は、各々の特定の応用に異なる方法を用いることにより、記述された機能を実現することができるが、このような実現は、本出願の範囲から逸脱すると見なされてはならない。
【００９５】
本出願が提供するいくつかの実施例において、開示されたシステム、装置、および方法は、他の方式によって実現してもよいことを理解しなければならない。例えば、上述の装置の実施例は概略的なものであるにすぎず、例えば、前記ユニットの区分は論理的な機能の区分であるにすぎず、実際に実現する際には別の区分方式があってもよく、例えば、複数のユニットまたはアセンブリが結合可能であるか、もしくは、もう１つのシステムに一体化されてもよく、または、いくつかの特徴は無視してもよく、実行しなくてもよい。もう一点については、表示されるかまたは検討された相互間の結合または直接的な結合または通信接続は、いくつかのインタフェース、装置またはユニットを介した間接的な結合または通信接続であってよく、電気的、機械的またはその他の形式であってよい。
【００９６】
上記のセパレート部材として説明したユニットは、物理的に分離されたものであってもなくてもよく、ユニットとして表示された部材は、物理ユニットであってもなくてもよく、すなわち、１つの場所に位置してもよく、複数のネットワークユニット上に分布していてもよい。実際のニーズに応じて、その中の一部またはすべてのユニットを選択して本実施例の案の目的を実現することができる。
【００９７】
なお、本出願の個々の実施例における各機能ユニットは、１つの処理ユニットに一体化することができ、個々のユニットが個別に物理的に存在していてもよく、２つまたは２つ以上のユニットが１つのユニットに一体化されてもよい。
【００９８】
上記は、本出願の具体的な実施形態であるにすぎないが、本出願の保護範囲はこれに限定されず、いかなる当業者も、本出願が開示する技術の範囲内で変更や置換が、いずれも本出願の保護範囲に含まれていなければならないことを容易に想到することができる。従って、本出願の保護範囲は、前記特許請求の保護範囲に準じなければならない。
【符号の説明】
【００９９】
２１０  ステップ
２２０  ステップ
２３０  ステップ
２４０  ステップ
２４２  ステップ
２４４  ステップ
２４６  ステップ
４００  装置
４１０  取得モジュール
４２０  生成モジュール
４３０  廃棄モジュール
４４０  統合モジュール
５００  装置
５１０  メモリ
５２０  プロセッサ
【図１】
0006919864.tif 000002
【図２】
0006919864.tif 000003
【図３】
0006919864.tif 000004
【図４】
0006919864.tif 000005
【図５】
0006919864.tif 000006