(57)【要約】【課題】本願の実施例は、材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体を開示する。【解決手段】該方法の具体的な一実施形態は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することとを含む。該実施形態によれば、材料スタックの３次元再構成の正確性を向上させることともに、コストを節約することができる。【選択図】図２
2020125668.tif 000002
【特許請求の範囲】
【請求項１】
材料スタックの３次元再構成方法であって、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することと
を含む材料スタックの３次元再構成方法。
【請求項２】
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することは、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることと、
材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することを含む請求項１に記載の方法。
【請求項３】
前記掘削機の２つの側面に前記両眼カメラが設けられており、
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることは、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することを含む請求項２に記載の方法。
【請求項４】
材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにすることをさらに含む請求項２に記載の方法。
【請求項５】
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することは、
前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換することと、
前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得することと、
前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成することを含む請求項１に記載の方法。
【請求項６】
前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成することをさらに含む請求項１〜５のいずれか１項に記載の方法。
【請求項７】
材料スタックの３次元再構成装置であって、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される取得手段と、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される生成手段と
を備える材料スタックの３次元再構成装置。
【請求項８】
前記取得手段は、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、
材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される請求項７に記載の装置。
【請求項９】
前記掘削機の２つの側面に前記両眼カメラが設けられており、
前記取得手段は、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成される請求項８に記載の装置。
【請求項１０】
材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備える請求項８に記載の装置。
【請求項１１】
前記生成手段は、
前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、
前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得し、
前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成するにより、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される請求項７に記載の装置。
【請求項１２】
前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成するように構成される計画手段をさらに備える請求項７〜１１のいずれか１項に記載の装置。
【請求項１３】
１つ又は複数のプロセッサと、
１つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、
前記１つまたは複数のプログラムを前記１つまたは複数のプロセッサに実行させることにより、請求項１〜６のいずれか１項に記載の方法を１つまたは複数のプロセッサに実現させる、電子デバイス。
【請求項１４】
コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記コンピュータプログラムが実行される場合、請求項１〜６のいずれか１項に記載の方法を実現させる、コンピュータ可読媒体。 
【発明の詳細な説明】
【技術分野】
【０００１】
本願の実施例は、コンピュータ技術分野に関し、具体的には３次元モデリング分野に関し、特に材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体に関する。
【背景技術】
【０００２】
無人掘削機は、各種のセンサによって掘削操作の対象を感知し、操作動作を計画して操作命令を実行するインテリジェント掘削機器である。無人掘削機は、掘削過程において、掘削対象（例えば土スタック）の関連情報、例えば掘削対象の位置、体積、形態などの情報を把握する必要がある。無人掘削機にレーザレーダを設置して、レーザレーダの走査により土スタックなどの掘削対象の３次元情報を取得してもよく、又は掘削対象の上方に携帯単眼カメラをホバリングして携帯し、収集された画像に基づいて土スタックなどの掘削対象の情報の抽出を行ってもよい。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本願の実施例は、材料スタックの３次元再構成方法、装置、電子デバイス及びコンピュータ可読媒体を提案する。
【課題を解決するための手段】
【０００４】
第１態様では、本願の実施例は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することとを含む材料スタックの３次元再構成方法を提供する。
【０００５】
いくつかの実施例では、上記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することは、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることと、材料を搬送するように掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削された材料スタックの深度画像シーケンスを取得することを含む。
【０００６】
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることは、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することを含む。
【０００７】
いくつかの実施例では、上記方法は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにすることをさらに含む。
【０００８】
いくつかの実施例では、上記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することは、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換することと、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得することと、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することを含む。
【０００９】
いくつかの実施例では、上記方法は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成することをさらに含む。
【００１０】
第２態様では、本願の実施例は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される取得手段と、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される生成手段とを備える材料スタックの３次元再構成装置を提供する。
【００１１】
いくつかの実施例では、上記取得手段は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される。
【００１２】
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、取得手段は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成される。
【００１３】
いくつかの実施例では、上記装置は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備える。
【００１４】
いくつかの実施例では、上記生成手段は、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成するにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される。
【００１５】
いくつかの実施例では、上記装置は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成するように構成される計画手段をさらに備える。
【００１６】
第３態様では、本願の実施例は、１つまたは複数のプロセッサと、１つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、１つまたは複数のプログラムを１つまたは複数のプロセッサに実行させることにより、第１態様で提供される材料スタックの３次元再構成方法を１つまたは複数のプロセッサに実現させる電子デバイスを提供する。
【００１７】
第４態様では、本願の実施例は、コンピュータプログラムが記憶されているコンピュータ可読媒体であって、コンピュータプログラムが実行される場合、第１態様で提供される材料スタックの３次元再構成方法を実現させる、コンピュータ可読媒体を提供する。
【発明の効果】
【００１８】
本願の上記実施例にかかる材料スタックの３次元再構成方法及び装置は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、材料スタックの３次元再構築の正確性を向上させるとともに、コストを節約することができる。
【図面の簡単な説明】
【００１９】
本願の他の特徴、目的および利点は、以下の図面を参照して説明される非限定的な実施例を読むことによって、より明らかになる。
【図１】本願の実施例を適用可能なシステム構成の一例を示す図である。
【図２】本願の材料スタックの３次元再構成方法による一実施例のフローチャートである。
【図３】図２に示す実施例の一適用シーンの概略図である。
【図４】本願の材料スタックの３次元再構成方法による別の実施例のフローチャートである。
【図５】本願の材料スタックの３次元再構成装置の一実施例の構造概略図である。
【図６】本願の実施例の電子デバイスを実現するのに適したコンピュータシステムの構成概略図である。
【発明を実施するための形態】
【００２０】
以下、図面及び実施例を参照しながら本願をさらに詳細に説明する。本明細書に記載された具体的な実施例は、単に本発明を説明するためのものであり、本発明を限定するものではないことが理解されるべきである。なお、説明の便宜上、図面には、かかる発明に関連する部分のみが示されている。
【００２１】
なお、矛盾しない場合に、本願における実施例及び実施例における特徴は互いに組み合わせることができる。以下、図面及び実施例を参照しながら本願を詳細に説明する。
【００２２】
図１は、本願の材料スタックの３次元再構成方法または材料スタックの３次元再構成装置を適用可能なシステム構成の一例を示す。
【００２３】
図１に示すように、システム構成１００には、掘削機１０１と、掘削機に設けられる両眼カメラ１０２と、ネットワーク１０３と、サーバ１０４とが含まれることができる。ネットワーク１０３は、掘削機１０１と、両眼カメラ１０２と、サーバ１０４との間で通信リンクの媒体を提供するために使用される。ネットワーク１０３は、例えば、有線や無線通信リンク、または光ファイバケーブルなどの様々な接続タイプを含むことができる。
【００２４】
掘削機１０１は、無人自律掘削機であってもよく、無人自律掘削機に角度センサ、機械センサ、画像センサなどの各種センサが設けられることができる。掘削機１０１上の各種センサは、掘削対象、道路環境などを含む環境情報を感知することができる。いくつかのシーンでは、無人自律掘削機１０１に、データ処理部材、例えばＣＰＵ、ＧＰＵなどのプロセッサ、及び記憶部材が設けられることができる。データ処理部材は、センサが感知したデータを取得して処理することができ、記憶部材は、センサが感知したデータ、及びデータ処理部材がデータ処理タスクを実行するために呼び出す必要があるデータを記憶することができる。
【００２５】
両眼カメラ１０２は、無人自律掘削機１０１に設けられる画像センサであってもよく、無人自律掘削機が掘削すべき材料スタックの画像を撮影することができる。両眼カメラ１０２は、無人自律掘削機の本体の側面に設けられることができる。両眼カメラは、掘削機本体が回転してバケット内の材料をアンロードする過程において材料スタックの深度画像を撮影することができる。
【００２６】
サーバ１０４は、様々なサービスを提供するサーバ、例えば、無人自律掘削機のバックグラウンドサーバであってもよい。無人自動掘削機のバックグラウンドサーバは、両眼カメラ１０２から取得された材料スタックの２次元画像などのデータの分析などの処理を行い、処理結果（例えば目標掘削点と目標掘削軌跡）に基づいて掘削機１０１の掘削を制御する。
【００２７】
なお、サーバ１０４は、ハードウェアであってもよいし、ソフトウェアであってもよい。サーバ１０４はハードウェアである場合、複数のサーバから構成される分散型サーバクラスタとして実現されてもよく、単一のサーバとして実現されてもよい。サーバ１０４はソフトウェアである場合、複数のソフトウェアまたはソフトウェアモジュール（例えば分散型サービスを提供するために使用される複数のソフトウェアまたはソフトウェアモジュール）として実現されてもよく、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここでは具体的に限定されるものではない。
【００２８】
なお、本願の実施例が提供する材料スタックの３次元再構成方法は、掘削機１０１に設けられるデータ処理部材又はサーバ１０４によって実行されることができ、それに応じて、材料スタックの３次元再構成装置は、掘削機１０１のデータ処理部材又はサーバ１０４に設けられることができる。
【００２９】
図１のカメラ、ネットワークおよびサーバの数は、単に例示的なものであることが理解されるべきである。必要に応じて、任意の数のカメラ、ネットワークおよびサーバを有することができる。
【００３０】
次に、図２を参照すると、本願の材料スタックの３次元再構成方法による一実施例のフロー２００が示されている。該材料スタックの３次元再構成方法は、ステップ２０１〜ステップ２０２を含む。
【００３１】
ステップ２０１において、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する。
【００３２】
本実施例では、材料スタックの３次元再構成方法の実行主体（例えば、図１に示すサーバ１０４又は掘削機１０１の処理部材）は、掘削機の制御命令をリアルタイムに検出することができ、バケット内の材料を搬送するように掘削機本体の回転を制御する命令を検出すると、掘削機の側面にある両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することができる。そのうち、材料スタックは、土スタック、土砂スタック、岩石スタック、建築材料スタックなどの掘削機の作業対象であってもよい。
【００３３】
前記掘削機は、無人自律掘削機であってもよく、掘削機の側面に両眼カメラが設けられることができる。ここで、掘削機の正面とは、掘削機のタイヤまたはクローラの進行方向に向かう面をいい、掘削機の側面は掘削機の正面に垂直な面である。掘削機は、掘削される材料スタックから材料を掘り出すようにバケットを制御した後、通常に、材料を他の場所に搬送するために地面に垂直な縦線を軸として本体を回転させる必要がある。掘削材料スタックから離れるように本体の正面が回転するとともに、掘削される材料スタックに向かうように本体の側面が回転することに伴って、本体の側面に設けられる両眼カメラは、材料スタックに正対する側に回転し、この時、両眼カメラは、材料スタックの深度画像シーケンスを収集して上記実行本体に伝送することができる。
【００３４】
通常、掘削機のアームが本体の正面に位置するため、本体の正面が回転して、掘削される材料スタックから離れる時に、それに伴って、アームも回転して、掘削される材料スタックから離れる。このように、掘削機の側面にある両眼カメラが収集した画像には、アームによる材料スタックへの遮蔽が存在しない。
【００３５】
両眼カメラは、深度情報を含む画像、すなわち深度画像を収集することができる。上記両眼カメラは、相対位置関係が校正された２つのカメラで構成されることができる。いくつかの実施例では、上述両眼カメラは、２つのカメラによって収集された平面画像を融合させることにより深度画像を形成するための処理部材をさらに備えることができる。
【００３６】
実際には、リモートサーバ又は掘削機に設けられる処理部材は、掘削機の掘削操作を制御することができる。バケットが材料を掘り出して搬送しよとする際に、リモートサーバ又は掘削機に設けられる処理部材は、材料を搬送するように掘削機本体の回転を制御する命令を発行することができる。この場合、上記実行主体は、該命令を検出したことに応じて、該命令が発行された後に両眼カメラが収集した画像シーケンスを取得することができ、即ち、両眼カメラが掘削機本体回転中に収集した材料スタックの深度画像シーケンスを取得する。
【００３７】
ステップ２０２において、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成する。
【００３８】
本実施例では、ステップ２０１で取得された材料スタックの深度画像シーケンスに基づいて３次元再構成を行うことができる。具体的には、深度画像シーケンスにおける深度画像について、両眼カメラの外部パラメータ行列（例えば回転行列、平行移動行列など）に基づいて深度画像における画像情報点を３次元空間にマッピングし、その後、３次元空間におけるマッピングにより得られた点を連結して該深度画像に対応する３次元モデルを形成することができる。そして、深度画像シーケンスにおける異なる深度画像によって形成された３次元モデルを融合して深度画像シーケンスに対応する３次元モデルを得る。
【００３９】
本実施例のいくつかの選択可能な実施形態では、まず、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、次に深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、最後に材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するようにしてもよい。
【００４０】
具体的には、上記実現形態において、画像座標系と世界座標系との間の変換行列により、深度画像における深度情報を利用して２次元画像を３次元ポイントクラウドに変換することができ、即ち２次元画像における各点を３次元空間にマッピングし、深度画像系列における深度画像に１対１で対応する３次元ポイントクラウドを得る。その後、深度画像シーケンスにおける隣接の画像の重複部分に対して、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）などの方法に基づいて特徴点の抽出及びマッチングを行い、隣接画像間のマッチングされた特徴点に基づいて各隣接画像に対応する３次元ポイントクラウドを順次融合して、完全な材料スタックの３次元ポイントクラウドを得ることができる。その後、３次元ポイントクラウドに対して前処理を行い、ノイズ点を除去し、データ補間を行うことができる。そして、ポイントクラウドを三角格子化し、最後に三角格子をレンダリングして、材料スタックの３次元モデルを得る。
【００４１】
ここで、材料スタックの３次元モデルは、３次元頂点と３次元空間内の面との組み合わせからなるモデルとすることができる。該３次元モデルは、３次元頂点の座標及び面の数式で表現されることができる。
【００４２】
図３を参照すると、図２に示す材料スタックの３次元再構成方法の一適用シーンの概略図を示す。図３に示すように、掘削機のバケットが材料を掘り出し、材料を搬送するように図の矢印方向に沿って掘削機本体を回転させると、掘削機の側面に設けられる両眼カメラは、その結像領域（図３に示す破線領域）内の深度画像を収集することができ、この場合、掘削された材料スタックは、該ｖの結像領域内に位置するため、材料スタックの深度画像を取得することができる。その後、掘削機を制御するためのサーバは、該深度画像に基づいて３次元再構成を行い、材料スタックの３次元モデルを得ることができる。このように、次の掘削操作を実行する際に、材料スタックの３次元モデルに基づいて決定を行うことができる。
【００４３】
本願の上記実施例にかかる材料スタックの３次元再構成方法は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、詳細が完全であり、材料スタックの３次元再構築の正確性を向上させる。レーザレーダに比べて、無人航空機の航空撮影により材料スタックの３次元情報を取得する方法は、両眼カメラのコストが低く、且つ３次元モデルの生成速度が速い。
【００４４】
上記実施例のいくつかの代替的な実施形態において、上記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するステップ２０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削された材料スタックの深度画像シーケンスを取得することに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより実行されることができる。
【００４５】
具体的には、掘削機に送信された制御命令をリアルタイムに検出することができ、材料を搬送するように掘削機本体の回転を制御する命令を検出した場合に、掘削機の側面に設けられる両眼カメラにオン命令を送信することができ、両眼カメラはオン命令を受信した後に動作を開始し、その撮像範囲内の画像を収集する。材料を搬送するように車体が回転している過程において、両眼カメラは継続的に動作し、一定の頻度で材料スタックの画像を収集して画像シーケンスを形成する。
【００４６】
さらに、上記実施例のいくつかの代替的な実施形態において、上記掘削機の２つの側面に上記両眼カメラが設けられており、この場合、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信し、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することができる。
【００４７】
材料を搬送するように掘削機本体の回転を制御する命令を検出すると、該命令によって指示された掘削機本体の回転方向を取得し、該回転方向に基づいて材料スタックに向かう側に回転されるようになる両眼カメラを特定し、即ち掘削機本体が回転した後に撮像範囲が掘削される材料スタックをカバーする側にある両眼カメラを特定し、該両眼カメラをオンにして材料スタックの深度画像シーケンスを収集することができる。
【００４８】
次に、図４を参照すると、本願の材料スタックの３次元再構成方法による別の実施例のフローチャートが示されている。図４に示すように、本実施例にかかる材料スタックの３次元再構成方法のフロー４００は、ステップ４０１〜ステップ４０３を含む。
【００４９】
ステップ４０１において、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信し、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する。
【００５０】
本実施例では、掘削機の２つの側面に両眼カメラが設けられている。材料を搬送するように掘削機本体の回転を制御する命令を検出した場合に、該命令によって指示された掘削機本体の回転方向を取得し、該回転方向に基づいて材料スタックに向かう側に回転されるようになる両眼カメラを特定し、この材料スタックに向かう側に回転されるようになる両眼カメラに対してオン命令を送信することができる。又は、この材料スタックに向かう側に回転されるようになる両眼カメラにより、掘削機本体が回転している過程において収集された材料スタックの深度画像シーケンスを取得する。
【００５１】
実際には、掘削過程において材料スタックの位置が一般的に変化することがなく、掘削機が右へ回転すると、掘削機の左側面に設けられる両眼カメラが材料スタックに向う側に回転される一方、掘削機の右側面に設けられる両眼カメラが材料スタックから離れる側に回転される。この場合、バケット内の材料を搬送するように掘削機が右へ回転している過程において、左側面に設けられる両眼カメラで材料スタックの画像を収集するとともに、右側面に設けられる両眼カメラをオフ状態に維持することができる。逆に、掘削機が左へ回転すると、掘削機の右側面に設けられる両眼カメラが材料スタックに向かう側に回転される一方、掘削機の左側面に設けられる両眼カメラが材料スタックから離れる側に回転される。この場合、バケット内の材料を搬送するように掘削機が左へ回転している過程において、右側面に設けられる両眼カメラで材料スタックの画像を収集するとともに、左側面に設けられる両眼カメラをオフ状態に維持することができる。このように、掘削機がいずれの方向へ回転しても、両眼カメラで材料スタックの画像を収集することができる。
【００５２】
ステップ４０２において、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成する。
【００５３】
本実施例では、ステップ４０１で取得された材料スタックの深度画像シーケンスに基づいて３次元再構成を行うことができる。具体的には、深度画像シーケンスにおける深度画像について、両眼カメラの外部パラメータ行列（例えば回転行列、平行移動行列など）に基づいて深度画像における画像情報点を３次元空間にマッピングし、その後、３次元空間におけるマッピングにより得られた点を連結して該深度画像に対応する３次元モデルを形成することができる。そして、深度画像シーケンスにおける異なる深度画像によって形成された３次元モデルを融合して深度画像シーケンスに対応する３次元モデルを得る。
【００５４】
本実施例のいくつかの選択可能な実施形態では、まず、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、次に深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、最後に材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成することにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するようにしてもよい。
【００５５】
具体的には、上記実現形態において、画像座標系と世界座標系との間の変換行列により、深度画像における深度情報を利用して２次元画像を３次元ポイントクラウドに変換することができ、即ち２次元画像における各点を３次元空間にマッピングし、深度画像系列における深度画像に１対１で対応する３次元ポイントクラウドを得る。その後、深度画像シーケンスにおける隣接の画像の重複部分に対して、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ  ｆｅａｔｕｒｅ  ｔｒａｎｓｆｏｒｍ、スケール不変特徴変換）などの方法に基づいて特徴点の抽出及びマッチングを行い、隣接画像間のマッチングされた特徴点に基づいて各隣接画像に対応する３次元ポイントクラウドを順次融合して、完全な材料スタックの３次元ポイントクラウドを得ることができる。その後、３次元ポイントクラウドに対して前処理を行い、ノイズ点を除去し、データ補間を行うことができる。そして、ポイントクラウドを三角格子化し、最後に三角格子をレンダリングして、材料スタックの３次元モデルを得る。
【００５６】
ステップ４０３において、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにする。
【００５７】
本実施例において、材料スタックの３次元再構成方法の実行主体は、材料をアンロードするように掘削機のバケットを制御する命令を検出した場合に、オンにされた両眼カメラをオフにして、材料スタックの収集を停止することができる。両眼カメラのオンからオフまでの期間にわたって収集された全ての画像を収集された材料スタックの画像シーケンスとすることができる。
【００５８】
一般的に、材料をアンロードするように掘削機のバケットを制御する命令を生成した時に、掘削機のバケットが既にアンロード領域に移動してアンロード操作を準備し、この時、次の掘削操作を実行しようとするため、次の掘削操作の決定を行うように現在の材料スタックの３次元情報を把握する必要があり、材料スタックの画像の収集を停止することができ、すなわち、現在の材料スタックの深度画像シーケンスの収集が完了する。ステップ４０１でオンにされた両眼カメラをオフにすることによって、画像の収集を完了させることができ、具体的には、オンにされた両眼カメラにオフ命令を送信することができる。
【００５９】
このように、バケットが材料を掘り出し、掘削機が回転して材料をアンロード領域に搬送してアンロードする過程において、両眼カメラのオン操作とオフ操作をそれぞれ１回ずつ実行することにより、異なる時点での掘削操作の対象である材料スタックの画像収集タイミングの切断を実現するとともに、両眼カメラをその結像範囲が材料スタックをカバーする時のみにオンにし、他の時間帯でオフにすることを保証するため、エネルギー消費の節約に有利である。
【００６０】
上記図２及び図４を参照して説明した実施例のいくつかの代選択可能な実施形態において、材料スタックの３次元再構成方法は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成することをさらに含む。材料スタックの３次元再構成を完了した後、材料スタックの表面特性、体積などの情報に基づいて次の掘削動作の掘削点及び掘削角度を決定し、そして、対応する掘削点位置に移動するように掘削機とバケットを制御するとともに、対応する掘削角度で掘削するようにバケットを制御するための掘削操作命令を生成することができる。掘削機は、該命令を受信した後に、対応する掘削動作を実行することができる。このように、掘削される材料スタックの３次元再構成の結果に基づく掘削動作の決定を実現し、無人自律掘削機の自律掘削機能を実現する。
【００６１】
更に図５を参照すると、上記各図に示される方法の実施として、本願は材料スタックの３次元再構成装置の一実施例を提供して、この装置の実施例は図２及び図４に示される方法の実施例に対応して、この装置は具体的に様々な電子デバイスに適用されることができる。
【００６２】
図５に示すように、本実施例の材料スタックの３次元再構成装置５００は、取得手段５０１と生成手段５０２とを備える。そのうち、取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成され、生成手段５０２は、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成される。
【００６３】
いくつかの実施例では、上記取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、材料を搬送するように掘削機本体が回転している過程において両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成されてもよい。
【００６４】
いくつかの実施例では、上記掘削機の２つの側面に前記両眼カメラが設けられており、上記取得手段５０１は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機本体の回転方向に基づいて材料スタックに向かう側に設けられる両眼カメラを特定して、材料スタックに向かう側に設けられる両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成されてもよい。
【００６５】
いくつかの実施例では、上記装置５００は、材料をアンロードするように掘削機のバケットを制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備えてもよい。
【００６６】
いくつかの実施例では、上記生成手段５０２は、材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された材料スタックの３次元ポイントクラウドを取得し、材料スタックの３次元ポイントクラウドに基づいて材料スタックの３次元モデルを生成するにより、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成するように構成されてもよい。
【００６７】
いくつかの実施例では、上記装置５００は、材料スタックの３次元モデルに基づいて材料スタックを掘削する掘削動作を計画して、掘削動作を実行する命令を生成するように構成される計画手段をさらに備えてもよい。
【００６８】
装置５００に記載された各手段は、図２及び図４を参照して説明された方法の各ステップに対応することが理解されるべきである。したがって、方法について説明された操作および特徴は、同様に装置５００およびそれに含まれる手段に適用可能であるので、ここでは説明を省略する。
【００６９】
本願の上記実施例にかかる材料スタックの３次元再構成装置５００は、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得し、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することにより、掘削機の回転操作特性を利用してアームなどの部材に遮蔽されにくい両眼カメラを設けて、材料スタックの深度画像の収集及び３次元モデリングを行うので、遮蔽による材料スタックの画像情報の欠落を避け、詳細が完全であり、材料スタックの３次元再構築の正確性を向上させる。レーザレーダに比べて、無人航空機の航空撮影により材料スタックの３次元情報を取得する方法は、両眼カメラのコストが低く、且つ３次元モデルの生成速度が速い。
【００７０】
図６を参照すると、本開示の実施例を実施することに適した電子デバイス（例えば、図１のサーバ）６００の構造概略図が示されている。図６に示すサーバは一例であり、本開示の実施例の機能及び使用範囲を限定するものではない。
【００７１】
図６に示すように、電子デバイス６００は、読み取り専用メモリ（ＲＯＭ）６０２に記憶されるプログラム、または記憶装置６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたプログラムに従って、種々の適切な動作および処理を実行することができる処理装置（例えば中央処理装置、グラフィックスプロセッサなど）６０１を含むことができる。ＲＡＭ６０３には、電子デバイス６００が操作するために必要な各種プログラムやデータも格納されている。処理装置６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。また、バス６０４には、入出力（Ｉ／Ｏ）インタフェース６０５も接続されている。
【００７２】
一般的に、Ｉ／Ｏインタフェース６０５には、タッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイクロホン、加速度計、ジャイロスコープなどの入力装置６０６、液晶ディスプレイ（ＬＣＤ）、スピーカ、振動器などの出力装置６０７、ハードディスクなどの記憶装置６０８、通信装置６０９などが接続されている。通信装置６０９は、データを交換するように、電子デバイス６００が他のデバイスと無線または有線で通信することを許容することができる。図６は、様々な装置を有する電子デバイス６００を示すが、示されたすべての装置を実施または備える必要はないことが理解されるべきである。より少ない、またはより多い装置を実施または備えてもよい。図６に示す各ブロックは、１つの装置を表してもよいし、また必要に応じて複数の装置を表してもよい。
【００７３】
特に、本開示の実施形態によれば、上記したフローチャートを参照して説明された手順がコンピュータソフトウェアプログラムとして実施されることができる。例えば、本開示の実施例は、フローチャートに示される方法を実行するためのプログラムコードを含むコンピュータ可読媒体に担持されたコンピュータプログラムを含むコンピュータプログラム製品を含む。このような実施例では、コンピュータプログラムは、通信デバイス６０９を介してネットワークからダウンロードされインストールされてもよく、または記憶デバイス６０８からインストールされてもよいし、ＲＯＭ６０２からインストールされてもよい。このコンピュータプログラムが処理装置６０１によって実行されると、本開示の実施例の方法で限定された機能は実行される。なお、本開示の実施例に記載のコンピュータ可読媒体は、コンピュータ可読信号媒体やコンピュータ可読記憶媒体、又は上記両方の任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、特に限定されないが、例えば、電気や磁気、光、電磁気、赤外線または半導体のシステム、装置またはデバイスであってもよく、またはこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体のより具体的な例には、１つまたは複数のリードを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶デバイス、磁気記憶デバイス、または上述の任意の適切な組合せが含まれるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、プログラムを含むかまたは格納する任意の有形媒体であってもよく、そのプログラムは、命令を実行するシステム、装置またはデバイスによって使用されてもよく、またはそれらとともに使用されてもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンドでまたはキャリアの一部として伝搬される、コンピュータ読み取り可能なプログラムコードを担持するデータ信号を含むことができる。このように伝搬されるデータ信号は、電磁信号、光信号、または上述の任意の適切な組み合わせを含む様々な形態とことができるが、これらに限定されない。コンピュータ可読信号媒体は、さらに、命令を実行するシステム、装置またはデバイスによって使用され、またはそれらとともに使用されるプログラムを送信、伝播または伝搬することが可能なコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体とすることができる。コンピュータ可読媒体に含まれるプログラムコードは、電線や光ケーブル、ＲＦなど、またはそれらの任意の適切な組合せを含む任意の適切な媒体を介して伝送されることができるが、これらに限定されない。
【００７４】
上記コンピュータ可読媒体は、上記電子デバイスに含まれてもよいし、該電子デバイスに組み込まれなくて、個別に存在してもよい。上記コンピュータ可読媒体は、１つ又は複数のプログラムを担持し、上記１つ又は複数のプログラムが該電子デバイスによって実行されると、材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された掘削される材料スタックの深度画像シーケンスを取得することと、材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、材料スタックの３次元モデルを生成することを該電子デバイスに実行させる。
【００７５】
本開示の実施例の操作を実行するためのコンピュータプログラムコードは、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向のプログラミング言語、並びに「Ｃ」言語または同様のプログラミング言語などの一般的な手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語またはそれらの組合せにより記述されることができる。プログラムコードは、全部がパーソナルコンピュータ上でに実行されてもよく、一部がパーソナルコンピュータ上で実行されてもよく、別個のソフトウェアパッケージとして実行されてもよく、一部がパーソナルコンピュータ上で実行され残りの一部がリモートコンピュータ上で実行されてもよく、または全部がリモートコンピュータまたはサーバ上で実行されてもよい。リモートコンピュータに関連する場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してパーソナルコンピュータに接続されてもよく、または外部のコンピュータに接続されてもよい（例えば、インターネットサービスプロバイダによりインターネットを介して接続される）。
【００７６】
図面におけるフローチャートおよびブロック図は、本願の様々な実施例によるシステム、方法およびコンピュータプログラム製品の実施可能な構成、機能および操作を示す。この点に関して、フローチャートまたはブロック図の各ブロックは、所定の論理機能を実施するための１つまたは複数の実行可能な命令を含むモジュール、ブロックまたはコードの一部を示すことができる。なお、いくつかの置換例としての実施例では、ブロックに示す機能は、図面に示す順序とは異なる順序で実行されてもよい。例えば、接続して示される２つのブロックは、実際に、実質的に並行して実行されてもよく、かかる機能によっては、相互に逆の順序で実行されてもよい。なお、ブロック図および／またはフローチャートにおける各ブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組合せは、所定の機能または操作を実行する専用のハードウェアによるシステムによって実施されてもよく、または専用ハードウェアとコンピュータ命令との組合せによって実施されてもよい。
【００７７】
本願の実施例にかかる手段は、ソフトウェアによって実現されてもよく、ハードウェアによって実現されてもよい。説明された手段は、プロセッサに配置されてもよく、例えば、プロセッサは取得手段と、生成手段とを含むようにとして記載されてもよい。ここで、これらの手段の名称は、この手段自体を限定するように構成されない場合があり、例えば、取得手段は、さらに「材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得する手段」として説明されることができる。
【００７８】
以上の説明は、本願の好適な実施例及び適用される技術原理の説明に過ぎない。当業者であれば、本願に係る発明の範囲は、上記技術的特徴の特定の組み合わせからなる技術的手段に限定されるものではなく、同時に上記発明の主旨から逸脱しない範囲で上記技術的特徴又はその等価な特徴によって任意に組み合わせて形成される他の技術的手段を含むことが理解されるべきである。例えば、上記特徴が本願に開示された（これに限定されない）同様な機能を有する技術的特徴と相互に置換されて形成される技術的手段である。
【図１】
2020125668.tif 000003
【図２】
2020125668.tif 000004
【図３】
2020125668.tif 000005
【図４】
2020125668.tif 000006
【図５】
2020125668.tif 000007
【図６】
2020125668.tif 000008
【手続補正書】
【提出日】令和2年5月15日(2020.5.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
材料スタックの３次元再構成方法であって、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することと、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することと
を含む材料スタックの３次元再構成方法。
【請求項２】
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することは、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることと、
材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することを含む請求項１に記載の方法。
【請求項３】
前記掘削機の２つの側面に前記両眼カメラが設けられており、
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにすることは、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することを含む請求項２に記載の方法。
【請求項４】
材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにすることをさらに含む請求項２に記載の方法。
【請求項５】
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成することは、
前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換することと、
前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得することと、
前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成することを含む請求項１に記載の方法。
【請求項６】
前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成することをさらに含む請求項１〜５のいずれか１項に記載の方法。
【請求項７】
材料スタックの３次元再構成装置であって、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される取得手段と、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される生成手段と
を備える材料スタックの３次元再構成装置。
【請求項８】
前記取得手段は、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラをオンにし、
材料を搬送するように前記掘削機本体が回転している過程において前記両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得することにより、
前記材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、掘削機の側面に設けられる両眼カメラにより収集された、掘削される材料スタックの深度画像シーケンスを取得するように構成される請求項７に記載の装置。
【請求項９】
前記掘削機の２つの側面に前記両眼カメラが設けられており、
前記取得手段は、
材料を搬送するように掘削機本体の回転を制御する命令を検出したことに応じて、前記掘削機本体の回転方向に基づいて前記材料スタックに向かう側に設けられる両眼カメラを特定して、前記材料スタックに向かう側に設けられる前記両眼カメラに対してオン命令を送信することにより、掘削機の側面に設けられる両眼カメラをオンにするようにさらに構成される請求項８に記載の装置。
【請求項１０】
材料をアンロードするように前記掘削機のバケットを制御する命令を検出したことに応じて、前記掘削機の側面に設けられる両眼カメラをオフにするように構成されるターンオフ手段をさらに備える請求項８に記載の装置。
【請求項１１】
前記生成手段は、
前記材料スタックの深度画像シーケンスを３次元ポイントクラウドシーケンスに変換し、
前記深度画像シーケンスにおける隣接画像の重複部分に基づいて３次元ポイントクラウドシーケンスを融合して、融合された前記材料スタックの３次元ポイントクラウドを取得し、
前記材料スタックの３次元ポイントクラウドに基づいて前記材料スタックの３次元モデルを生成するにより、
前記材料スタックの深度画像シーケンスに基づいて３次元再構成を行い、前記材料スタックの３次元モデルを生成するように構成される請求項７に記載の装置。
【請求項１２】
前記材料スタックの３次元モデルに基づいて前記材料スタックを掘削する掘削動作を計画して、前記掘削動作を実行する命令を生成するように構成される計画手段をさらに備える請求項７〜１１のいずれか１項に記載の装置。
【請求項１３】
１つ又は複数のプロセッサと、
１つまたは複数のプログラムを記憶する記憶装置と、を備える電子デバイスであって、
前記１つまたは複数のプログラムを前記１つまたは複数のプロセッサに実行させることにより、請求項１〜６のいずれか１項に記載の方法を１つまたは複数のプロセッサに実現させる、電子デバイス。
【請求項１４】
コンピュータプログラムが記憶されているコンピュータ可読媒体であって、前記コンピュータプログラムが実行される場合、請求項１〜６のいずれか１項に記載の方法を実現させる、コンピュータ可読媒体。
【請求項１５】
コンピュータプログラムであって、前記コンピュータプログラムが実行される場合、請求項１〜６のいずれか１項に記載の方法を実現させる、コンピュータプログラム。
【外国語明細書】
2020125668000001.pdf