(57)【要約】      （修正有）【課題】より安全でより速い重機械の動作のための自動化された自律的なシステムを提供する。【解決手段】重機械の自律動作システムは、少なくとも１つのカメラと、制御装置と、を含むことができ、少なくとも１つのカメラは、重機械に取り付けられるように、またはカメラが、重機械の少なくとも可動部と、重機械が動作している現場の少なくとも一部との画像を捕捉することを可能にするどこか他の場所に配置されるように、構成され、制御装置は、重機械の少なくとも可動部と、カメラから受信した現場の一部との少なくとも２つの画像に基づいて、計算された軌道に沿って重機械の少なくとも可動部を自動的に移動させるように、構成される。【選択図】図１
2020097488.tif 000002
【特許請求の範囲】
【請求項１】
重機械の自律動作システムであって、少なくとも１つのカメラと、制御装置と、を備え、
前記少なくとも１つのカメラは、前記重機械に取り付けられるように、または、前記カメラが、前記重機械の少なくとも可動部と、前記重機械が動作している現場の少なくとも一部と、の画像を捕捉することを可能にするどこか他の場所に配置されるように、構成され、
前記制御装置は、
前記重機械の少なくとも可動部と、現場の一部と、の少なくとも２つの画像を前記少なくとも１つのカメラから受信し、
前記重機械の可動部の現在位置を決定し、
前記重機械の可動部の目的地位置を受信し、
受信した少なくとも２つの画像を分析することに基づいて、現在位置および目的地位置を含む現場の領域に位置する物体の位置および寸法を識別し、
前記物体のいずれか１つとの前記重機械の衝突を回避することに関して、現在位置から目的地位置までの前記重機械の少なくとも可動部の軌道を計算し、
計算された軌道に沿って前記重機械の少なくとも可動部を自動的に移動させるように、構成される、
システム。
【請求項２】
請求項１に記載のシステムであって、現在位置および目的地位置のうちの少なくとも１つを決定することは、位置システム、レーザビームポインタ、ビーコン、画像処理方法、ＧＰＳトランシーバ、および現場の２Ｄまたは３Ｄデジタルモデルを含むデータベース、のうちの少なくとも１つから、位置を受信することを含む、システム。
【請求項３】
請求項１に記載のシステムであって、現在位置および目的地位置のうちの少なくとも１つを決定することは、受信された画像から現在位置および目的地位置のうちの少なくとも１つを計算することを含む、システム。
【請求項４】
請求項１から３のいずれか１項に記載のシステムであって、前記制御装置は、
前記重機械の移動中に軌道から複数の画像を前記少なくとも１つのカメラから受信し、
軌道に沿って位置する物体の追加の位置および寸法のうちの少なくとも１つを識別し、
識別された追加の位置および寸法のうちの少なくとも１つに基づいて軌道を変更するように、構成される、
システム。
【請求項５】
請求項４に記載のシステムであって、物体の追加の位置および寸法は、すでに識別された物体の新しい位置、ならびに新しい物体の位置および寸法、のうちの少なくとも１つを含む、システム。
【請求項６】
請求項１から５のいずれか１項に記載のシステムであって、１つ以上のセンサをさらに備え、前記１つ以上のセンサは、ＧＮＳＳトランシーバ、超音波センサ、および光検出、測距（ＬＩＤＡＲ）センサ、ビーコンポテンショメータおよび傾斜センサ、からなる群から選択される、システム。
【請求項７】
請求項１から６のいずれか１項に記載のシステムであって、軌道を計算することは、
前記物体と前記重機械とその荷重との間の安全マージンを計算することを含む、
システム。
【請求項８】
請求項１から７のいずれか１項に記載のシステムであって、軌道を計算することは、
追加データを受信することであって、追加データは、前記重機械によって運ばれる荷重の寸法、前記重機械に関連する情報、規制要件、安全要件、環境条件、および現場のデジタルモデルのうちの少なくとも１つを含む、追加データを受信することと、
追加データにも基づいて軌道を計算することと、
を含む、システム。
【請求項９】
請求項１から８のいずれか１項に記載のシステムであって、前記重機械のプロセッサ、前記重機械のアクチュエータ、および外部計算装置、のうちの少なくとも１つと通信するための通信モジュールをさらに備える、システム。
【請求項１０】
重機械の自律動作方法であって、
前記重機械の少なくとも可動部と、現場の一部と、の少なくとも２つの画像を少なくとも１つのカメラから受信することであって、前記少なくとも１つのカメラは、前記重機械に取り付けられるように、または、前記カメラが、前記重機械の少なくとも可動部と、前記重機械が動作している現場の少なくとも一部と、の画像を捕捉することを可能にするどこか他の場所に配置されるように、構成される、受信することと、
前記重機械の少なくとも可動部の現在の位置を決定することと、
前記重機械の少なくとも可動部の目的地位置を決定することと、
受信した少なくとも２つの画像を分析することに基づいて、現在位置および目的地位置を含む現場の領域に位置する物体の位置および寸法を識別することと、
前記物体のいずれか１つとの前記重機械の衝突を回避することに関して、現在位置から目的地位置までの前記重機械の少なくとも可動部の軌道を計算することと、
計算された軌道に沿って前記重機械の少なくとも可動部を自動的に移動させることと、
を含む方法。
【請求項１１】
請求項１０に記載の方法であって、現在位置および目的地位置のうちの少なくとも１つを決定することは、位置システム、レーザビームポインタ、および現場のデジタルモデルを含むデータベース、のうちの少なくとも１つから、位置を受信することを含む、方法。
【請求項１２】
請求項１０に記載の方法であって、現在位置および目的地位置のうちの少なくとも１つを決定することは、受信された画像から現在位置および目的地位置のうちの少なくとも１つを計算することを含む、方法。
【請求項１３】
請求項１０から１２のいずれか１項に記載の方法であって、
前記重機械の移動中に軌道から複数の画像を前記少なくとも１つのカメラから受信することと、
軌道に沿って位置する物体の追加の位置および寸法のうちの少なくとも１つを識別することと、
識別された追加の位置および寸法のうちの少なくとも１つに基づいて軌道を変更することと、
をさらに含む方法。
【請求項１４】
請求項１３に記載の方法であって、物体の追加の位置および寸法は、すでに識別された物体の新しい位置、ならびに新しい物体の位置および寸法、のうちの少なくとも１つを含む、方法。
【請求項１５】
請求項１０から１４のいずれか１項に記載の方法であって、軌道を計算することは、
追加データを受信または断定／分析することであって、追加データは、前記重機械によって運ばれる荷重の寸法、前記重機械に関連する情報、規制要件、安全要件、環境条件、および現場のデジタルモデルのうちの少なくとも１つを含む、追加データを受信または断定／分析することと、
追加データにも基づいて軌道を計算することと、
を含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、重機械の動作および制御に関し、より詳細には、重機械の自律動作および制御、ならびに重機械の動作および制御に関連するパラメータの自動監視に関する。
【背景技術】
【０００２】
クレーン、ブルドーザ、掘削機、バックホウローダ、トラック、フォークリフト、および同類のものなどの重機械を、密集した建設地または他の場所で動作することは、非常に困難である。現在の動作方法は、重機械を操作するオペレータの専門的技術、またはオペレータを指揮する信号手（「ドッガー」、「リガー」、または「スワンパー」としても知られている）に大きく依存している。例えば、建設現場でクレーンを誘導するためには、少なくとも２人の異なる人々が互いに通信しなければならない（例えば、無線通信手段によって）オペレータと信号手。加えて、クレーンへの積み降ろしをする男性もまた、通信セッションに含まれなければならない。従って、信号手は、他の物体、建物、または現場の人々との衝突を回避しながら、オペレータを積み込み地点から積み降ろし地点に導かなければならない。この形態の手動操作は、時間がかかり、危険であり、多くの人為的エラーを被りやすい。
【０００３】
従って、より安全でより速い重機械の動作のための自動化された自律的なシステムが必要とされている。
【発明の概要】
【課題を解決するための手段】
【０００４】
本発明のいくつかの態様は、重機械の自律動作のためのシステムに関連し得る。システムは、少なくとも１つのカメラと、制御装置と、を含むことができ、少なくとも１つのカメラは、重機械に取り付けられるように、またはカメラが、重機械の少なくとも可動部と、重機械が動作している現場の少なくとも一部との画像を捕捉することを可能にするどこか他の場所に配置されるように、構成され；制御装置は、重機械の前記少なくとも可動部と現場の一部との少なくとも２つの画像を少なくとも１つのカメラから受信し；重機械の前記少なくとも可動部の現在位置を決定し；重機械の前記少なくとも可動部の目的地位置を受信し；受信した少なくとも２つの画像を分析することに基づいて、現在位置および目的地位置を含む現場の領域に位置する物体の位置および寸法を識別し；物体のいずれか１つとの重機械の衝突を回避することに関して、現在位置から目的地位置までの重機械の前記少なくとも可動部の軌道を計算し；計算された軌道に沿って重機械の前記少なくとも可動部を自動的に移動させるように、構成される。
【０００５】
いくつかの実施形態では、現在位置および目的位置のうちの少なくとも１つを決定することは、位置決めシステム、レーザビームポインタ、および現場のデジタルモデルを備えるデータベースのうちの少なくとも１つから、位置を受信することを含み得る。いくつかの実施形態では、現在位置および目的地位置のうちの少なくとも１つを決定することは、受信された画像から現在位置および目的地位置のうちの少なくとも１つを計算することを含む。
【０００６】
いくつかの実施形態では、制御装置は、重機械の移動中に軌道から複数の画像を少なくとも１つのカメラから受信し、軌道に沿って位置する物体の追加の位置および寸法のうちの少なくとも１つを識別し、識別された追加の位置および寸法のうちの少なくとも１つに基づいて軌道を変更するように、さらに構成されてよい。
【０００７】
いくつかの実施形態では、物体の追加の位置および寸法は、すでに識別された物体の新しい位置、ならびに新しい物体の位置および寸法のうちの少なくとも１つを含むことができる。いくつかの実施形態では、システムは、１つ以上のセンサをさらに含むことができる。いくつかの実施形態では、１つ以上のセンサは、光検出および測距（ＬＩＤＡＲ）センサ、グローバルナビゲーション衛星システム（ＧＮＳＳ）、慣性測定ユニット（ＩＭＵ）、バロメータ、ＲＦ検出器、レーザ検出器、超音波センサ、マイクロフォン、温度および湿度センサ、加速度計、ジャイロスコープ、ＩＲカメラ、ステレオカメラ、エンコーダ、近接センサ、ビーコン電位計、傾斜センサおよび同類のものなどからなる群から選択される。
【０００８】
いくつかの実施形態では、軌道を計算することは、物体と、前記重機械の前記少なくとも可動部およびその荷重との間の安全マージンを計算することを含むことができる。いくつかの実施形態では、軌道を計算することは、追加データを受信することを含むことができ、追加データは、前記重機械の前記少なくとも可動部によって運ばれる荷重の寸法、重機械の寸法、規制要件、安全要件、環境条件、および現場のデジタルモデルのうちの少なくとも１つを含むことができ、軌道を計算することは、追加データに基づいて軌道を計算することを含むことができる。
【０００９】
いくつかの実施形態では、現在位置から目的地位置までの重機械の軌道を計算することは、現在位置から目的地位置までの荷重の移動時間を短縮することができるような軌道を計算することを含むことができる。いくつかの実施形態では、システムは、重機械のプロセッサ、重機械のアクチュエータ、および外部計算装置のうちの少なくとも１つと通信するための通信モジュールを、さらに含むことができる。
【００１０】
本発明のいくつかの態様は、重機械の自律動作の方法に関してよく、その方法は、重機械の少なくとも可動部と現場の少なくとも一部との少なくとも２つの画像を少なくとも１つのカメラから受信することであって、少なくとも１つのカメラは、重機械に取り付けられるように、またはカメラが、重機械の前記少なくとも可動部と、重機械が動作している現場の少なくとも一部との画像を捕捉することを可能にするどこか他の場所に配置されるように、構成される、受信することと、重機械の前記少なくとも可動部の現在の位置を決定することと、重機械の前記少なくとも可動部の目的地位置を決定することと、受信した少なくとも２つの画像を分析することに基づいて、現在位置および目的地位置を含む現場の領域に位置する物体の位置および寸法を識別することと、物体のいずれか１つとの重機械の衝突を回避することに関して、現在位置から目的地位置までの重機械の前記少なくとも可動部の軌道を計算することと、計算された軌道に沿って重機械の前記少なくとも可動部を自動的に移動させることと、を含み得る。
【００１１】
いくつかの実施形態では、軌道を計算することは、荷重が軌道に沿って移動し得る速度および／または加速度を決定することを含み得る。いくつかの実施形態では、軌道、速度、および加速度のうちの少なくとも１つは、前記の少なくとも可動物体の振動または変動を低減することに関してさらに計算され得る。いくつかの実施形態では、軌道、速度および加速度のうちの少なくとも１つは、軌道に沿った荷重の移動時間を短縮することに関してさらに計算され得る。
【００１２】
いくつかの実施形態では、現在位置および目的地位置のうちの少なくとも１つを決定することは、位置システム、レーザビームポインタ、および現場のデジタルモデルを含むデータベースのうちの少なくとも１つから、位置を受信することを含み得る。いくつかの実施形態では、現在位置および目的地位置のうちの少なくとも１つを決定することは、受信された画像から現在位置および目的地位置のうちの少なくとも１つを計算することを含む。いくつかの実施形態では、重機械の移動中に軌道から複数の画像を少なくとも１つのカメラから受信し、軌道に沿って位置する物体の追加の位置および寸法のうちの少なくとも１つを識別し、識別された追加の位置および寸法のうちの少なくとも１つに基づいて軌道を変更する。いくつかの実施形態では、物体の追加の位置および寸法は、すでに識別された物体の新しい位置、ならびに新しい物体の位置および寸法のうちの少なくとも１つを含む。いくつかの実施形態では、本方法は、物体と重機械の前記の少なくとも可動部との間の安全マージンを計算することを、さらに含み得る。
【００１３】
本発明と見なされる対象は、本明細書の最後の部分において特に指摘され、明確に特許請求される。しかしながら、本発明は、その目的、特徴、および利点と共に、構成および動作方法の両方に関して、添付図面と共に読まれるときに以下の詳細な説明を参照することによって最も良く理解され得る。
【図面の簡単な説明】
【００１４】
【図１】本発明のいくつかの実施形態による重機械の自律動作のためのシステムの高レベルブロック図である。
【図２】本発明のいくつかの実施形態による重機械の自律動作の方法のフローチャートである。
【図３】本発明のいくつかの実施形態による重機械を動かすための計算された軌道の図である。
【発明を実施するための形態】
【００１５】
説明の明確化および簡潔さの観点から、図示されている要素は、必ずしも正確な縮尺率ではないことは明白であろう。例えば、いくつかの要素の寸法は、明確化のために、他の要素に対して誇張され得る。さらに、適切であると考えられる場合、参照符号は、対応するまたは類似の要素を示すために、図面の間で繰り返され得る。
【００１６】
以下の詳細な説明では、本発明の完全な理解を提供するために多くの具体的な詳細について述べる。しかしながら、当業者には、本発明がこれらの特定の詳細なしに実施され得ることが理解されるであろう。他の例では、周知の方法、手順、および構成要素は、本発明を分かりにくくしないように詳細には説明されていない。本発明のいくつかの態様は、重機械の自律動作および制御のシステムおよび方法を対象とし得る。本明細書で使用されるように、本発明の実施形態による重機械は、例えば、建設作業、積み込み作業、積み降ろし作業、ドリル作業、掘削作業、輸送作業、土工作業を伴う作業などの作業を実行するように特別に設計されたすべての大型車両／機械を含み得る。例えば、重機械は、トラクタ、クレーン、ブルドーザ、掘削機、バックホウローダ、フォークリフトおよび同類のものを含み得る。本発明のいくつかの実施形態は、現場で動いて操縦するように構成された重機械を対象とし得る。本明細書で使用されるように、「現場」という語は、例えば、建設現場、鉱山、港、物流倉庫、農業現場、空港、土木プロジェクトなど、重機械の使用を必要とし得る任意の現場を対象とし得る。
【００１７】
本発明の実施形態によるシステムおよび方法は、例えば、機械視覚、人工知能（ＡＩ）機械学習（ＭＬ）および深層学習（ＤＬ）方法を使用して、現場で、重機械の完全に自動化された動作を可能にすることができる。システムは、重機械の少なくとも可動部と、重機械が動作している現場の少なくとも一部とを含む２つ以上の画像を受信することができ、システムが、現場内の重機械の前記少なくとも可動部の位置を識別することができるようになっている。現在位置（例えば、貨物積み込み地点）を決定した後、システムは、目的地位置（例えば、貨物積み降ろし地点）を受信し、重機械の前記少なくとも可動部の積み込み位置から積み降ろし位置までの軌道を計算することができる。
【００１８】
いくつかの実施形態では、計算された軌道は、現場に位置する静止物体も可動物体も考慮に入れることができる。システムは、例えば、重機械制御装置、および／または計算された軌道に沿って（その可動部を）動かすアクチュエータと通信することによって、重機械の少なくとも可動部を自動的に制御することができる。いくつかの実施形態では、システムは、重機械の移動中に、現場の可動物体（例えば、人、移動装置等）を連続的に調べて、新しい軌道を計算すべきかどうかを決定することができる。いくつかの実施形態では、計算された軌道は、荷重の移動時間を短縮すること、移動中の荷重の振動を低減することなど、追加の要件をさらに考慮に入れることができる。これらの考慮事項は、施工手順の全体的な効率を高めることができる。本発明のいくつかの実施形態による自動化された自律的なシステムおよび方法は、無制限の運転時間を可能にすることができ、従って施工手順効率をさらに向上させることができる。
【００１９】
本発明のいくつかの実施形態による重機械の自律動作のためのシステムの高レベルブロック図である図１をここで参照する。重機械の自律動作のためのシステム１００は、少なくとも１つのカメラ１１０と、少なくとも１つの制御装置１２０とを含むことができる。少なくとも１つのカメラ１１０は、カメラ１１０が、重機械５０の少なくとも可動部５６と重機械５０が動作している現場の少なくとも一部の画像を、捕捉することを可能にする位置で重機械５０に取り付けられるように、構成されてよい。追加的にまたは代替的に、カメラ１１０は、カメラ１１０が、重機械５０の少なくとも可動部５６と重機械５０が動作している現場の少なくとも一部の画像を、捕捉することを可能にし得る他の場所（例えば、現場）に配置されてよく、例えば、カメラ１１０は、重機械５０の上方を飛行するドローンに配置されてよい。カメラ１１０は、リアルタイムで、可視光、赤外線または任意の他の適切な波長の画像を捕捉することができる任意の画像捕捉デバイスとすることができ、例えば、サーマルカメラ、ステレオカメラ、単眼カメラ、奥行きカメラである。少なくとも１つのカメラ１１０は、別々の（例えば、単一の）画像を捕捉することができる、または画像のストリーム（例えば、ビデオ）を撮影することができる。
【００２０】
いくつかの実施形態では、少なくとも１つのカメラ１１０は、カメラ１１０が、現場の少なくとも一部と重機械５０の少なくとも可動部の一部とを同じ枠内に捕捉することを可能にし得る、重機械５０の一部に配置されてよい。例えば、カメラは、タワークレーンの水平ジブの下面（例えば、クレーンの静止部分）に取り付けられてよく、ケーブルの少なくとも一部および荷重を保持するフックも捕捉しながら、現場に向かって下方を見る。いくつかの実施形態では、２つ以上のカメラ１１０が、重機械５０の異なる位置（例えば、部品）に配置されてよく、例えば、１つのカメラがタワークレーンの水平ジブの下面に、別のカメラがタワークレーンのマストに、取り付けられてよい。いくつかの実施形態では、カメラは、重機械の可動部、例えば、水平ジブに沿って移動するトロリーに、接続されてよい。さらに別の例では、少なくとも１つのカメラ１１０は、ブルドーザまたは掘削機の前部、例えばオペレータのキャビンのフレームヘッドに、取り付けられてよい。いくつかの実施形態では、少なくとも１つの他のカメラ１１０は、後方移動を感知するために、ブルドーザまたは掘削機の後部に、および／またはブルドーザまたは掘削機の側部（例えば、オペレータのキャビンのフレームヘッドの右側または左側）に、配置されてよい。
【００２１】
いくつかの実施形態では、少なくとも１つのカメラ１１０は、少なくとも１つの制御装置１２０と（有線または無線のいずれかで）通信することができる。制御装置１２０は、プロセッサ１２２と、命令および／またはデータを記憶するメモリ１２４と、他のデバイスと通信する通信モジュール１２６とを含むことができ、プロセッサ１２２は、データ（例えば、撮影された画像またはビデオ）を処理して命令を実行するように構成された任意の処理ユニット（例えば、チップ）とすることができる。メモリ１２４は、本発明のいくつかの実施形態による方法のコードおよび／または命令、例えば、重機械の自律動作の方法を含むことができる。メモリ１２４は、コンピュータまたはプロセッサの一時的でない可読媒体、またはコンピュータの一時的でない記憶媒体とすることができる。いくつかの実施形態では、制御装置１２０は、通信状態にあってよい、またはデータベース１３０を含んでよい。
【００２２】
データベース１３０は、現場（単数または複数）に関連するデータ、例えば、現場の（例えば、建物の）平面（２Ｄ）および／または３次元（３Ｄ）図、ビルディング・インフォメーション・モデリング（ＢＩＭ）、現場の以前に撮られた画像（例えば、ドローンおよび同類のものからカメラ１１０から撮られた）、重機械５０に関連するデータ（例えば、操縦性制限、高さ、位置、範囲等）、荷重関連データ（例えば、現場内の積み込み位置および積み降ろし位置、荷重の種類、重量、優先度、取扱要件など）および同類のものなどを、保存することができる。いくつかの実施形態では、プロセッサ１２２、メモリ１２４および／またはデータベース１３０は、クラウドベースの処理サービスおよび／またはストレージサービスとすることができる。
【００２３】
通信モジュール１２６は、少なくとも１つのカメラ１１０、重機械５０を制御するプロセッサ５２、データベース１３０または任意の他の外部コンピュータ化デバイスとの無線および有線通信のための任意のモジュール（単数または複数）を含むことができる。通信モジュール１２６は、有線および／または無線ネットワークインターフェースカードを含むことができる（ＮＩＣ）。いくつかの実施形態では、システム１００の通信モジュール１２６、重機械５０の通信モジュール５４および／または任意の外部デバイス（例えば、カメラを搭載するドローン）の間の通信／統合は、任意の種類の遠隔接続、例えば、任意の公知の無線周波数（ＲＦ）プロトコルを使用して達成されてよい。例えば、重機械５０が、プロセッサ５４などの制御可能なプロセッサ／制御装置を含む場合、システム１００は、ＰＬＣ、ＣＡＮおよび同類のものなどを使用して、プロセッサ５４を再プログラムする（例えば、引き継ぐ）ために、任意の公知の再プログラミングプロトコルを使用することができる。いくつかの実施形態では、重機械５０が制御可能なプロセッサ／制御装置を含まない場合、プログラマブルモジュールは、組み立てられて、電力網と電力盤との間で、重機械５０の電力盤またはモータの電気制御ユニット（ＰＬＣ／ＣＡＮ−ＥＣＵ）に直接電気的に接続されることができる。プログラマブルモジュールは、通信モジュール１２６と通信することができ、プロセッサ１２２から命令を受信することができる。
【００２４】
いくつかの実施形態では、システム１００は、現場から取得された追加のデータを制御装置１２０に提供するために、１つ以上のセンサ１１２および／または１１４をさらに含むことができ、またはそれと通信することができる。１つ以上のセンサ１１２および／または１１４は、重機械５０または現場の他の場所に配置されるまたは取り付けられることができる。いくつかの実施形態では、１つ以上のセンサ１１２および／または１１４は、現場に関連付けられた異なるデバイス、例えば、現場の上方を飛行するドローンに、配置されるまたは取り付けられることができる。１つ以上のセンサ１１２および／または１１４は、光検出および測距（ＬＩＤＡＲ）センサ、グローバルナビゲーション衛星システム（ＧＮＳＳ）、慣性測定ユニット（ＩＭＵ）、バロメータ、ＲＦ検出器、レーザ検出器、超音波センサ、マイクロフォン、温度および湿度センサ、加速度計、ジャイロスコープ、ＩＲカメラ、ステレオカメラ、ビーコン（ＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、ＮＦＣタグおよび同類のものなどを使用する）、ポテンショメータ、傾斜センサ、エンコーダ、近接センサおよび同類のものなどからなる群から選択され得る。
【００２５】
いくつかの実施形態では、重機械５０は、少なくとも可動部５６（例えば、重機械５０の他の部分に対して）を含むことができ、例えば、タワークレーンにおいて、少なくとも可動部は、旋回ユニット、水平ジブ、ホイストウインチ、ケーブルおよびフックを含むことができる。さらに別の例では、ブルドーザ全体または掘削機全体を可動部とみなすことができる。いくつかの実施形態では、重機械５０は、可動部を支持するように構成された固定部（図示せず）、例えばタワークレーンのベースおよびマスト、を含むことができる。
【００２６】
いくつかの実施形態では、重機械５０は、例えば通信モジュール１２６を介して、システム１００と無線で通信するための通信モジュール５４を、含むことができる。例えば、通信モジュール５４は、例えばインターネットなどの通信ネットワークを介して遠隔装置と通信するためのセルラー送信機またはモデム、Ｗｉ−Ｆｉ通信ユニット、衛星通信ユニットまたは同類のものなどを含むことができる。いくつかの実施形態では、通信モジュール５４は、重機械５０のプロセッサ５２と通信するためのインターフェースユニットを含むことができる。
【００２７】
いくつかの実施形態では、システム１００は、例えば、監視、リアルタイムパフォーマンスイーズメント、マニュアル引継などの規則的な理由のために、またはユーザ要求のために、またはメンテナンスの必要性のために、ヒューマン・マシン・インターフェース（ＨＭＩ）を含むことができる。いくつかの実施形態では、ＨＭＩは、タッチスクリーン、ジェスチャー認識、音声命令（例えば、自然言語処理）および同類のもののうちの１つ以上に基づいてよい。
【００２８】
本発明のいくつかの実施形態による重機械の自律動作の方法のフローチャートである図２をここで参照する。図２の方法は、システム１００の制御装置１２０によって、または任意の他の適切な制御装置によって実行されてよい。ステップ２１０では、制御装置は、少なくとも１つのカメラから少なくとも２つの画像を受信することができ、少なくとも２つの画像のそれぞれは、重機械の少なくとも可動部と現場の一部とを含む。例えば、制御装置１２０は、タワークレーンの水平ジブの下面に配置されたカメラ１１０から、それぞれが少なくともフック（および任意的に荷重も）および現場の２つの異なる光景を含む２つの異なる画像を受信することができる。別の例では、ブルドーザのオペレータのキャビンのフレームヘッドに配置されたカメラ１１０は、例えば、カメラが画像を捕捉する角度を変えることによって、ブルドーザのブレードおよび現場の一部をそれぞれ含む少なくとも２つの異なる画像を、捕捉することができる。さらに別の例では、掘削機のオペレータのキャビンのフレームヘッドに配置されたカメラ１１０は、掘削機のブームおよび現場の一部をそれぞれ含む少なくとも２つの異なる画像を、捕捉することができる。いくつかの実施形態では、ドローンに配置されたカメラ１１０は、例えばドローンの位置を変更することによって、それぞれが掘削機のブームおよび現場の一部を含む少なくとも２つの異なる画像を、提供することができる。
【００２９】
代替的に、２つの画像は、重機械の２つの異なる位置に配置された２つのカメラ１１０から受信することができ、従って、可動部５４および現場におけるその周囲の３Ｄモデルの形成を可能にし得る２つの異なる角度からの画像を提供することができる。
【００３０】
ステップ２２０では、制御装置は、重機械の可動部の現在位置を決定することができる。いくつかの実施形態では、制御装置１２０は、任意の公知の画像解析方法、例えば、同時位置決め地図作成（ＳＬＡＭ）およびキーポイント検出、または、画像が滑らかに融合するように、必要なスケーリングおよび回転を行いながら重なり合った画像を共にステッチングすることによって、受信した２つの画像を解析することから、現在位置を決定することができる。追加的にまたは代替的に、現在位置は、他のセンサ（例えば、センサ１１２および１１４）を使用して受信または決定されてよく、例えば、現在位置は、ＧＮＳＳ座標であってよく、ＬＩＤＡＲおよび同類のものなどを使用して決定されてよい。いくつかの実施形態では、重機械の現在位置（および／または重機械の可動部または一部の位置）は、荷重を積載するための開始位置であってもよい。いくつかの実施形態では、開始位置は、現在位置とは異なっていてよく、システム１００は、重機械５０（および／またはその可動部）を制御して開始位置に移動させてよい。
【００３１】
いくつかの実施形態では、開始位置は、ユーザインターフェース（例えば、ＨＭＩ）を形成し、サイト管理等のためのコンピュータプログラムから自動的に受信されてよい。開始位置は、例えば、システム１００によって生成された（例えば、画像から）、および／またはデータベース（例えば、データベース１３０）および同類のものから受信された、現場の３Ｄモデル上の位置、ＧＮＳＳ座標として受信されてよい。
【００３２】
ステップ２３０では、制御装置は、重機械の可動部の目的地位置を受け取ることができる。いくつかの実施形態では、目的地位置は、重機械５０が重機械へ積み込むための開始位置にない場合、開始位置であってよい。代替的に、目的地位置は、重機械がすでに開始位置にある場合、重機械を提供し、その荷を降ろすための目的地位置であってよい。目的地位置は、ユーザインタフェースを介して、現場の管理等のためのコンピュータプログラムから自動的に受信されてよい。目的地位置は、例えば、システム１００によって（例えば、画像から）生成された、および／またはデータベース（例えば、データベース１３０）および同類のものから受信されたかのいずれかである、ＧＮＳＳ座標、現場の３Ｄモデル上の位置として、受信されてよい。
【００３３】
いくつかの実施形態では、制御装置は、現在位置、目的地位置、および２つの位置の間の領域を含む現場の画像を、さらに受信することができる。いくつかの実施形態では、現在位置および目的地位置は、単一の画像に含まれてよい。いくつかの実施形態では、現在位置および目的地位置は、２つの異なる画像に含まれてよい。いくつかの実施形態では、制御装置は、現場の３Ｄモデルを生成および／または受信することができ、現在位置を受信することができ、目的地位置は、３Ｄモデル内の位置として含めることができる。いくつかの実施形態では、制御装置１２０は、例えば、種類、重量、外形寸法などの、積み込まれて重機械５０によって移送される荷重に関連するデータを受け取ることができる。
【００３４】
いくつかの実施形態では、現在の日（例えば、荷重が移動されるべき作業日）における現場の３Ｄモデルが、ＢＩＭから受信されてよい。受信されたＢＩＭ３Ｄモデルは、受信された少なくとも１つの画像の分析に基づいて更新されてよい。現在の日に現場から撮影された画像は、解析され、ＢＩＭと組み合わされてよく、現場内の物体のより正確な状態（例えば、既に構築されている追加の建物）が考慮されるようになっている。
【００３５】
ステップ２４０では、制御装置は、受信された少なくとも２つの画像を分析することに基づいて、現在位置および目的地位置を含む現場の領域に位置する物体の位置および寸法を識別することができる。制御装置１２０は、現在位置および目的地位置を含む現場の領域に位置する全ての物体の位置および外側境界を識別することができる。制御装置１２０は、追加の画像をリアルタイムで受信するように構成されてよく、物体の位置の変化、例えば、人の移動、他の機械または車両の移動、荷重および物品の交換などを、さらに識別してよい。いくつかの実施形態では、制御装置１２０は、可動部５６と移動物体との衝突を防ぐために、各移動物体の瞬時位置および方位をリアルタイムで決定する。
【００３６】
いくつかの実施形態では、制御装置１２０は、位置および現場の関連部分の要素間の外側境界（例えば、距離）の計算のためのＬＩＤＡＲなどの、追加のセンサから追加のデータをさらに受信することができる。さらに別の例では、制御装置１２０は、クレーンのフックに配置された超音波センサから追加のデータをさらに受信することができ、この超音波センサは、フックが現場で移動する際に、フックの近くの周囲を測定することができる。
【００３７】
本発明のいくつかの実施形態による、現在位置３２０（「スタート」として示される）および目的地位置３３０（「ゴール」として示される）を含む現場の一部の図である図３をここで参照する。図３に示される部分は、現在位置および目的地位置を含む現場の領域に位置するいくつかの物体３１０（例えば、建物）を含む。制御装置１２０は、例えば、ＢＩＭと、受信された画像および／またはビデオストリームとの組み合わせを使用して、本明細書で説明されるような部分の３Ｄマップ／モデルを提供することができる。
【００３８】
ステップ２５０では、制御装置は、物体のいずれか１つとの重機械の衝突を回避することに関して、現在位置から目的地位置までの重機械の少なくとも可動部の軌道を計算することができ、例えば図３に示す軌道３００である。軌道は、重機械の可動部と現場の部分の物体との間の安全マージンを維持することに関して計算されてよい。
【００３９】
いくつかの実施形態では、重機械の軌道を計算することは、場合によってはグローバルナビゲーション衛星システム（ＧＮＳＳ）技術を用いる、ジオフェンシング方法を含むことができる。いくつかの実施形態では、制御装置１１２は、例えば、重機の移動が禁止されている「安全である」ゾーンまたは「飛行しない」ゾーンなどの共通の要件を有するセクタ／エリアにサイトを仮想的に分割することができる。セクタまたはエリアは、画像処理方法（ビジョンベース）を使用して、またはＨＭＩを使用して、カメラ１１０によって撮られた画像から定義された、仮想フェンスによって定義されてよい。追加的にまたは代替的に、セクタまたはエリアの仮想フェンスは、ビーコン（例えば、センサ）から受信されたデータ、例えば、ＲＦＩＤマーキング障害物、またはセクタまたはエリアの境界から、定義されてよい。
【００４０】
いくつかの実施形態では、軌道を計算することは、荷重が軌道に沿って移動し得る速度および／または加速度を決定することを、含むことができる。いくつかの実施形態では、軌道、速度および／または加速度は、荷重の振動または変動、例えばクレーンのケーブルの振動または変動、を減少させるように計算されることができる。そのような場合、荷重は、ケーブルの振動を可能な限り少なくすることができる軌道に沿って移動することができる。いくつかの実施形態では、制御装置１２０は、風速および風向などの環境データをさらに受信することができ、環境データに基づいて軌道、速度および／または加速度をさらに計算することができる。
【００４１】
いくつかの実施形態では、軌道、速度および／または加速度は、軌道に沿った荷重の移動時間を減少させることに関して計算することができる。いくつかの実施形態では、そのような計算は、荷重の移動時間および／または振動もしくは変動により発生した荷重への損傷を減少させることにより、建築効率を向上させることができる。
【００４２】
いくつかの実施形態では、重機械の軌道を計算することは、追加データを受信することを含むことができる。いくつかの実施形態では、追加データは、重機械によって運ばれる荷重の寸法、重機械に関連する情報、規制要件、安全要件、環境条件、および現場のデジタルモデルのうちの少なくとも１つを、含むことができる。例えば、重機械によって運ばれる荷重の寸法は、重量、体積、形状、表面積、密度などの、構造的および物理的制限を含むことができる。荷重の寸法は、プロセッサ１２２が、衝突を回避することに関して障害物と物体との間に荷重を位置決めすることを可能にし得る。重機械によって運ばれる荷重の寸法は、ＢＩＭから、または通信モジュール１２６または制御装置１２０に含まれるユーザインタフェースを介してユーザから、受け取ることができる。
【００４３】
いくつかの実施形態では、重機械に関連する情報は、機械の寸法、位置および姿勢、製造上の制限および指示、例えば最大荷重モーメントおよび力などの構造的および物理的な制限を含むことができる。重機械に関する情報は、重機械データベース、マニュアル等の製造業者から受け取ることができる。いくつかの実施形態では、プロセッサ１２２は、重機械５０の移動およびサイズの制限（例えば、重機械５０の最小旋回半径）を考慮して軌道を計算することができる。
【００４４】
いくつかの実施形態では、軌道を計算する際に、規制要件（例えば、規制法）をさらに考慮に入れることができる。例えば、現場の近くの幼稚園は、重機械が通れない、または荷重を上から揺らせない、幼稚園のフェンスから数メートルの安全区域が必要となり得る。いくつかの実施形態では、現場の安全プロトコル（例えば、鉱山を運転する安全プロトコル、空港を運転する安全プロトコル等）などの安全要件を、軌道を計算する際にさらに考慮することができる。例えば、「人口が多い」として定義される場所（例えば、ワーカーキャラバン、酒場、医療援助センター等）は、重機械が通過できないそのような人口が多い場所の境界から数メートルの安全ゾーンを必要とすることがある。
【００４５】
いくつかの実施形態では、風、湿度、温度などの環境条件も、軌道を計算する際に考慮されることができる。いくつかの実施形態では、プロセッサ１２２は、重機械５０の操縦性に対する、風、雨、湿度などの影響を決定することができる。例えば、深泥や暴風は、重機械５０の機動性を制限するかもしれない。
【００４６】
いくつかの実施形態では、プロセッサ１２２は、現場のデジタルモデルを受信し、ＢＩＭなどのデジタルモデルからデータを使用することができる。プロセッサ１２２は、軌道を計算するために、センサ１１２および／または１１４から受け取ったデータを使用することができる。例えば、プロセッサ１２２は、重機械５０の現在位置を推定するためにＧＮＳＳトランシーバからのデータを使用することができる。
【００４７】
ステップ２６０では、重機械の少なくとも可動部は、計算された軌道に沿って自律的に移動してよい。いくつかの実施形態では、制御装置１２０は、通信モジュール１２６および５４を介して重機械５０のプロセッサ５２と通信して、重機械５０をどこに移動させるかに関する命令をプロセッサ５２に提供することができる。いくつかの実施形態では、制御装置１２０および／またはプロセッサ５２は、軌道３００を、可動部５６に移動を提供するモータおよびアクチュエータのための一連の命令に変換することができる。この一連の命令は、軌道３００に沿った可動部５６の移動に変換することができる。
【００４８】
重機械の少なくとも可動部の移動を安全に制御するために、プロセッサ１２２は、可動部５６の位置をリアルタイムで再計算または再決定しなければならない場合がある。例えば、可動部５６の位置の再決定は、２つのステップで行うことができる。第１のステップは、カメラ１１０によってまたは同じ位置にある他のカメラから以前に撮影された複数の画像を使用して、現場をマッピングすることを含むことができる。マッピングは、現場の静止物体および風景を識別することを含むことができる。第２のステップは、可動部５６の現在位置を識別するために、カメラ１１０から撮影されたリアルタイム画像をマッチングすることを含むことができる。
【００４９】
別の例では、可動部５６の位置の再決定は、任意の公知のシミュレーションローカライゼーションおよびマッピング（ＳＬＡＭ）アルゴリズムを用いて行われることができる。さらに別の例では、可動部５６の場所の再決定は、可動部の場所を推定するためのＧＮＳＳ、ビーコンなどのセンサを使用して行われることができる。
【００５０】
いくつかの実施形態では、画像および／または信号の連続ストリームは、重機械５０が軌道３００に沿って移動しているときに制御装置１２０によって受信されてよい。いくつかの実施形態では、制御装置１２０は、重機械の移動中に軌道から複数の画像を少なくとも１つのカメラから受信することができ、軌道に沿って位置する物体の追加の位置および寸法のうちの少なくとも１つを識別することができる。例えば、軌道を横切る人または車両（例えば、他の重機械）は、重機械５０の移動中に捕捉された画像を分析することによって検査されることができる。分析は、任意の適切な画像分析方法（例えば、古典的な画像処理方法、機械／深層学習方法など）、例えば、移動物体および移動人物、障害物などを識別するように構成された方法を、使用して行われてよい。いくつかの実施形態では、制御装置１２０は、識別された各移動物体の一般的な向き（例えば、人が向いている場所）を予測することもでき、さらに、物体および重機械５０の両方が移動中であるので、識別された移動物体との衝突を回避するために軌道３００を再計算することができる。いくつかの実施形態では、制御装置１２０は、移動物体の識別された追加の位置および寸法のうちの少なくとも１つに基づいて、軌道を変更することができる。
【００５１】
いくつかの実施形態では、本方法は、重機械と可動（例えば、動的）物体の予測運動との間の安全マージンを計算することをさらに含むことができる。例えば、低速および静止物体の場合、安全マージンは、予期しない移動（例えば、３メートル）のリスクがより小さいので、より短くてよく、移動物体の場合、増加したマージンが使用されてよい（例えば、進行方向に６メートル）。さらに、安全マージンは、可能な移動方向によって決定されてよく、例えば、車両の場合、その側面からの安全マージンは、その走行方向に対して垂直に走行する機会がないので、その走行方向よりも小さくなる。
【００５２】
本発明の特定の特徴が本明細書に例示および説明されてきたが、多くの修正、置換、変更、および均等物が、当業者には今や思い浮かぶであろう。従って、添付の「特許請求の範囲」は、そのような修正および変更全てを本発明の真の趣旨に含まれるものとしてカバーすることを、意図していることを理解されたい。
【図１】
2020097488.tif 000003
【図２】
2020097488.tif 000004
【図３】
2020097488.tif 000005
【外国語明細書】
2020097488000001.pdf