(57)【特許請求の範囲】
【請求項１】
教示される掘削から放土までの一巡の動作を、再生操作により繰り返し動作する自動運転建設機械において、
該自動運転建設機械は、
前記放土を受ける作業機械を撮像する撮像手段と、
前記撮像した撮像データに基づいて前記撮像手段を基準とした座標系であるカメラ座標系での前記作業機械の特徴点の座標を算出するとともに、
当該特徴点の座標を、前記自動運転建設機械を自動制御するための基準となる座標系である制御座標系の座標に変換して前記作業機械への適切な放土位置のデータを算出する放土位置データ算出手段と、を備え、
再生動作時、前記算出した放土位置データに基づく放土位置が教示されることを特徴とする自動運転建設機械。
【請求項２】
請求項１記載の自動運転建設機械において、
前記放土位置データ算出手段は、前記撮像した撮像データに基づいて前記作業機械への適切な放土位置を複数箇所に領域分割する複数の放土位置データを算出し、
再生動作時、前記算出した複数の放土位置データに基づく複数の放土位置が、順次教示されることを特徴とする自動運転建設機械。
【請求項３】
教示される掘削から放土までの一巡の動作を、再生操作により繰り返し動作する自動運転建設機械の運転方法において、
該自動運転建設機械の所定の作業位置で前記放土を受ける作業機械を撮像する工程と、
前記撮像した撮像データに基づいて放土位置データ算出手段により前記撮像手段を基準とした座標系であるカメラ座標系での前記作業機械の特徴点の座標を算出するとともに、
当該特徴点の座標を、前記自動運転建設機械を自動制御するための基準となる座標系である制御座標系の座標に変換して前記作業機械への適切な放土位置を複数箇所に領域分割する複数の放土位置データを算出する工程と、
前記算出した複数の放土位置データに基づく複数の放土位置に順次放土する工程と、
を含むことを特徴とする自動運転建設機械の運転方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動運転建設機械に係わり、特に、ダンプトラックやクラッシヤ等の作業機械への自動積み込み作業を行う自動運転建設機械に関する。
【０００２】
【従来の技術】
通常、砕石現場等において、油圧ショベル等の建設機械によるダンプトラックやクラッシャへの積み込み作業は、ある決まった場所から土石を掘削し、ダンプトラックのベッセルやクラッシャのホッパ等の決まった場所へ放土するという単調な繰り返し作業である。このような単調な繰り返し作業は、オペレータにとって苦痛であり、人手を介在せずに自動的に行わせるという要求が高まっている。
【０００３】
従来、このような積み込み作業の自動化方法の一つとしては、掘削位置と放土位置とを教示して、これらの位置間で、油圧ショベルを走行せずに旋回作業を主として繰り返し作業を行わせていた。
【０００４】
特公昭５４−７１２１号公報には、油圧ショベルを用いた自動化の一手法が開示されており、この従来技術は、教示動作によって得られた角度、位置等の動作状態量を記憶し、再生動作時に前述した記憶値を用いて油圧ショベルを再生動作させるものである。
【０００５】
【発明が解決しようとする課題】
しかし、上記従来の方法は、再生動作時、自動運転を行う油圧ショベルとダンプトラック等の作業機械との位置関係の変更に関して考慮されていない形式の自己完結型のシステムである。
【０００６】
そのため、油圧ショベルが採掘した土石等をダンプトラック等に積み込む際、毎回教示された同一位置に放土するため、土石が同一箇所のみ高く積み込まれてしまい適正な積み込みが行れなかったり、また、ダンプトラックも常に同一位置に配置されるとは限らず、さらにダンプトラックが適正な位置に配置されたとしても、再生動作を繰り返しているうちに油圧ショベル自身が位置ずれを起こしてしまった場合、ダンプトラックの放土すべき適正な箇所に放土できないという問題があった。
【０００７】
本発明の目的は、上記の問題点に鑑みて、自動運転建設機械に撮像手段を設け、撮像データからダンプトラック等の作業機械への適切な放土位置を算出することを可能にした自動運転建設機械を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、上記の課題を解決するために、次のような手段を採用した。
【０００９】
教示される掘削から放土までの一巡の動作を、再生操作により繰り返し動作する自動運転建設機械において、該自動運転建設機械は、前記放土を受ける作業機械を撮像する撮像手段と、前記撮像した撮像データに基づいて前記撮像手段を基準とした座標系であるカメラ座標系での前記作業機械の特徴点の座標を算出するとともに、当該特徴点の座標を、前記自動運転建設機械を自動制御するための基準となる座標系である制御座標系の座標に変換して前記作業機械への適切な放土位置のデータを算出する放土位置データ算出手段と、を備え、再生動作時、前記算出した放土位置データに基づく放土位置が教示されることを特徴とする。
【００１０】
また、請求項１記載の自動運転建設機械において、前記放土位置データ算出手段は、前記撮像した撮像データに基づいて前記作業機械への適切な放土位置を複数箇所に領域分割する複数の放土位置データを算出し、再生動作時、前記算出した複数の放土位置データに基づく複数の放土位置が、順次教示されることを特徴とする。
【００１１】
また、教示される掘削から放土までの一巡の動作を、再生操作により繰り返し動作する自動運転建設機械の運転方法において、該自動運転建設機械の所定の作業位置で前記放土を受ける作業機械を撮像する工程と、前記撮像した撮像データに基づいて放土位置データ算出手段により前記撮像手段を基準とした座標系であるカメラ座標系での前記作業機械の特徴点の座標を算出するとともに、当該特徴点の座標を、前記自動運転建設機械を自動制御するための基準となる座標系である制御座標系の座標に変換して前記作業機械への適切な放土位置を複数箇所に領域分割する複数の放土位置データを算出する工程と、前記算出した複数の放土位置データに基づく複数の放土位置に順次放土する工程と、を含むことを特徴とする。
【００１２】
【発明の実施の形態】
以下に本発明の一実施形態を図１から図７を用いて説明する。
【００１３】
図１は本実施形態に係わる自動運転を行う油圧ショベル（以下自動運転ショベルという）の作業態様を示す図である。
【００１４】
図において、１は後述する貯留された土石３を掘削して後述するダンプトラック２に放土する自動運転ショベル、２は、土石が積み込まれるベッセル１４を備え、自動運転ショベル１から放土された土石を積み込み運搬するダンプトラック、３は土石貯留所に貯留された土石、１５は自動運転ショベル１から遠隔の位置に配置され自動運転ショベル１を遠隔操作する遠隔操作装置である。
【００１５】
自動運転ショベル１は、走行体４と、走行体４上に旋回可能に設けられた旋回体５と、旋回体５に俯仰動可能に設けられるブーム６と、ブーム６の先端に回動可能に設けられたアーム７と、アーム７の先端に回動可能に設けられたバケット８と、旋回体５とブーム６との俯仰角を検出する角度センサ９、ブーム６とアーム７との回動角を検出する角度センサ１０、アーム７とバケット８との回動角を検出する角度センサ１１と、旋回体５に設けられた運転台１２と、運転台１２等の屋上に設けられ、ダンプトラック２の積み込み場所を撮像するために設けられたビデオカメラ１３と、から構成されている。
【００１６】
なお、ビデオカメラ１３の設置位置は放土時に放土目標であるベッセル１４が常に見える位置が望ましい。
【００１７】
図２は、本実施形態に係わる自動運転建設機械の再生操作時の制御機構を示すブロック図であり、この図において、図１に示す符号と同じ符号の箇所は図１に示すものと同一箇所を示す。
【００１８】
図において、１７は自動運転ショベル１に搭載される装置を示し、１７１は主としてコンピュータで構成される自動運転コントローラ、１７２は後述するサーボ制御部１７１７から出力される駆動信号によって駆動される図示されていないアクチュエータに流入する油量または油圧を制御する電磁制御弁、１７３はアクチュエータの動作量を検出する検出器である。
【００１９】
自動運転コントローラ１７１は、検出器１７３からの検出信号に基づいて自動運転ショベルの動作位置を演算する現在位置演算部１７１１と、現在位置演算部１７１１からの帰還値と入力値とを比較してその偏差を補正する駆動信号を電磁制御弁１７２に出力するサーボ制御部１７１２と、教示時または再生動作時に教示されて教示位置データが記憶される教示位置格納部１７１３と、教示時に操作されて自動運転ショベル１の教示コマンドが記憶される教示コマンド格納部１７２０と、教示位置格納部１７１３に格納された教示位置データを出力する教示位置出力処理部１７１４と、教示位置出力処理部１７１４から出力される教示位置データ間を補間処理するサーボ前処理部１７１５と、教示コマンド格納部１７２０からの教示コマンドをシーケンシャルに読み出し、教示位置出力処理部１７１４に教示位置データ出力させるための指令信号を出力するとともに、教示点間の移動速度値を出力するコマンドインタプリタ部１７１６と、ビデオカメラ１３によって撮像された画像に基づいて画像の特徴点の座標を算出する画像処理部１７１７と、ビデオカメラ１３がベッセル１４を撮像するのに適切と考えられる自動運転ショベル１の再生動作時の位置が格納されている画像取込位置格納部１７１８と、算出された特徴点の座標から放土位置を算出し放土位置データとして教示位置格納部１７１３に出力する放土位置データ演算部１７１９と、から構成されている。
【００２０】
上記のごとく、教示位置格納部１７１３に格納される、例えば、放土位置、掘削位置、旋回体５の旋回方向等の教示位置データのうち、放土位置データは、他の教示位置データが教示操作時に前もって格納されるのに対して、再生動作時に、放土位置データ演算部１７１９によって算出される度に放土位置データとして格納される。なお、画像処理部１７１７および放土位置データ演算部１７１９における処理については図３において詳述する。
【００２１】
遠隔操作装置１５は、教示時に、教示位置格納部１７１３に教示位置データを格納させ、再生動作時に、教示コマンド格納部１７２０に教示コマンドを格納させる教示操作部１５１と、再生動作時に、コマンドインタプリタ部１７１６を起動させる再生操作部１５２とから構成される。
【００２２】
次に、本実施形態に係わる自動運転建設機械の動作を図１および図２に基づいて説明する。
【００２３】
はじめに、図１に示すように、自動運転ショベル１のバケット８によって、貯留されている土石３を掘削した後、バケット８をダンプトラック２のベッセル１４の位置まで移動させ、このベッセル１４の所定の位置で放土し、再び、バケット８を土石３の貯留場所に復帰させるまでの一巡の動作を再生動作する場合について説明する。
【００２４】
再生起動するために、再生操作部１５２を操作すると、図示されていない、無線通信手段によって再生起動信号が遠隔操作装置１５から自動運転ショベル１に伝達され、コマンドインタプリタ部１７１６に入力される。コマンドインタプリタ部１７１６は再生起動信号を入力すると、教示コマンド格納部１７２０に格納されているコマンドをシーケンシャルに読み出し、教示位置格納部１７１３から教示位置出力処理部１７１４に教示位置データを出力させる。教示位置データはサーボ前処理部１７１５に転送され、かつコマンドインタプリタ部１７１６から与えられる目標速度で、自動運転ショベル１のフロントの各関節が動作するように補間計算を行い、サーボ制御部１７１２に目標角度値を出力する。サーボ制御部１７１２では、現在位置演算部１７１１で演算された現在の位置をもとにフィードバック制御を行い、電磁制御弁１７２に駆動信号を出力する。これにより、予め教示された動作が再生される。
【００２５】
次に、図２に示す画像処理部１７１７および放土位置データ演算部１７１９での処理手順を図３に示すフローチャートを用いて説明する。
【００２６】
はじめに、画像処理部１７１７における処理について説明する。ステップ１０１において、現在位置演算部１７１１から入力される現在位置データと画像取込位置格納部１７１８に格納されている画像取込位置データとを対比して、自動運転ショベル１が画像取込位置に達したか否かを判断し、画像取込位置に達すると、ステップ１０２において、ビデオカメラ１３から画像を取り込む。次いで、ステップ１０３において、取り込まれた画像信号をフイルタでノイズ除去し、ステップ１０４でエッジ抽出のオペレータを用いてエッジの抽出を行う。次に、ステップ１０５で抽出されたエッジからハフ変換などの手法を用いて直線の抽出を行う。次いで、ステップ１０６において、ステップ１０５で抽出された直線とステップ１０４で抽出されたエツジとから、画像内の線分の端点と交点を検出する。次に、ステップ１０７において、あらかじめ登録してある対象物、ここではダンプトラック２のベッセル１４のモデルとステップ１０６で得られた線分の情報から対象物の形状の認識を行う。形状の認識ができると、ステップ１０８において、ベッセル１４上の特徴点の位置情報を得る。
【００２７】
ここで、画像処理部１７１７が認識したベツセル１４の形状および特徴点ａ，ｂ，ｃ，ｄの位置の例を図４に示す。なお、上記のステップ１０２からステップ１０８における画像処理は、その全部もしくは一部をハードウェアで実現することが可能であり、また、逆にその全部もしくは一部をソフトウェアで実現することも可能である。
【００２８】
次に、放土位置データ演算部１７１９における処理について説明する。はじめに、ステップ１０９において、ステップ１０８で求めた特徴点ａ〜ｄの座標からカメラ座標系での特徴点の座標の算出を行う。
【００２９】
なお、この算出は、図５に示すように、一般に、少なくともベッセル１４等の対象物の３点の特徴点間の距離が既知であって、ビデオカメラ１３で撮像された画面内のこれらの点の位置ａ〜ｄが解れば、後述する公知の計算方法によって各点の空間での位置を求めることができる。ここで、１８に示すＸｏ，Ｙｏ，Ｚｏはベッセル１４等の目標物に設定した目標物座標系であり、この座標系は空間中どこをとってもよいが、ここでは特徴点ａ〜ｄのうちの1つである点ａを目標物座標系の原点と置いている。１９に示すＸｃ，Ｙｃ，Ｚｃはカメラ１３のレンズ中心を原点としたカメラ座標系である。２０に示すＸｗ，Ｙｗ，Ｚｗは自動運転ショベル１を自動制御するための基準となる制御座標系である。なお、公知の計算方法としては、特開昭６２−５４１０８号公報、大村等によって発表された電子情報通信学会論文誌Ｄ−１Ｖｏｌ．Ｊ７２−Ｄ−ＩＮｏ．９ｐｐ−１４４１−１４４７、が知られている。
【００３０】
次いで、図３のステップ１１０において、ステップ１０９において算出されたカメラ座標系で求められた特徴点の座標を制御座標系の座標に変換するために、座標変換を行う。
【００３１】
なお、この座標変換は、ビデオカメラ１３を自動運転ショベル１に設置した時点で計算が可能となるものである。
【００３２】
次いで、ステップ１１１において、ステップ１１０において制御座標系に変換された特徴点の座標から、後述する方法によって自動運転ショベル１がベッセル１４に放土すべき放土位置データを算出する。
【００３３】
ここで、算出された特徴点ａ〜ｄの座標から放土位置データを算出する方法（領域分割方法１）を図６に基づいて説明する。
【００３４】
図において、四角形ａｂｃｄの対角線ａｃと対角線ｂｄにより分けられる領域を積み込みの領域とする。次に、対角線ａｃと対角線ｂｄの交点をｍとした時の三角形ａｍｄ、三角形ｂｍａ、三角形ｃｍｂ、三角形ｄｍｃをそれぞれ領域ｆ１１、領域ｆ１２、領域ｆ１３、領域ｆ１４とする。次に、各領域ｆ１１〜ｆ１４の中心位置を計算し、求めた中心位置を放土位置とする。
【００３５】
図７は算出された特徴点ａ〜ｄの座標から放土位置データを算出する方法（領域分割方法２）の他の例である。
【００３６】
図において、特徴点ａ〜ｄから，辺ａｄの中点ｍ１、辺ａｂの中点ｍ２、辺ｂｃの中点ｍ３、辺ｃｄの中点ｍ４を検出する。次いで、直線ｍ１ｍ３と直線ｍ２ｍ４の交点をｍ５とする。ここで，四角形ａｍ２ｍ５ｍ１を領域ｆ２１、四角形ｂｍ３ｍ５ｍ２を領域ｆ２２、四角形ｃｍ４ｍ５ｍ３を領域ｆ２３、四角形ｄｍ１ｍ５ｍ４を領域ｆ２４とする。次に、領域ｆ２１では直線ｍ１ｍ３から距離ｄ１、直線ｍ２ｍ４から距離ｄ２離れた位置を放土位置とする。同様に領域ｆ２２では、直線ｍ１ｍ３から距離ｄ３、直線ｍ２ｍ４から距離ｄ４離れた位置を放土位置、領域ｆ２３では直線ｍ１ｍ３から距離ｄ５、直線ｍ２ｍ４から距離ｄ６離れた位置を放土位置、領域ｆ２４では直線ｍ１ｍ３から距離ｄ７、直線ｍ２ｍ４から距離ｄ８離れた位置を放土位置とする。
【００３７】
次に図３のステップ１１２において、上記各方法で求めた複数の放土位置データは、領域ｆ１１（ｆ２１）、領域ｆ１２（ｆ２２）、領域ｆ１３（ｆ２３）、領域ｆ１４（ｆ２４）へと順番に放土を行うように、再生動作の一巡毎に、順次、教示位置格納部１７１３に格納される。
【００３８】
なお、上記各方法では、領域を４箇所設定したが、何箇所設定するかは諸条件に応じて任意に設定し得ることである。
【００３９】
【発明の効果】
上記のごとく、本発明の一の発明によれば，自動運転建設機械から放土されるダンプトラックやクラッシャ等の作業機械を撮像し、撮像された撮像データに基づいて放土位置データ算出手段によりカメラ座標系での前記作業機械の特徴点の座標を算出し、当該特徴点の座標を制御系に変換して作業機械への放土位置データを算出するようにしたので、作業機械への適切な箇所に放土を可能として適切な積み込みを可能とする。
また、本発明の他の発明によれば、自動運転建設機械から放土されるダンプトラックやクラッシャ等の作業機械を撮像し、撮像された撮像データに基づいて放土位置データを放土位置データ算出手段により複数箇所に領域分割された複数の放土位置データから算出するようにしたので、再生動作時、算出された複数箇所の放土位置データに基づく複数箇所の放土位置に順次放土することができ、作業機械への積み込みが片寄らず、各領域にまんべんなく積み込むことができ、作業効率を改善することができる。
【図面の簡単な説明】
【図１】  本発明の一実施形態に係わる自動運転ショベルの作業態様を示す図である。
【図２】  本実施形態に係わる自動運転ショベルの再生動作時の制御機構を示すブロック図である。
【図３】  図２に示す画像処理部１７１７および放土位置データ演算部１７１９における処理手順を示すフローチャートである。
【図４】  図２に示す画像処理部１７１７が認識したベツセル１４の形状および特徴点ａ，ｂ，ｃ，ｄの各位置を示す図である。
【図５】  ベッセル１４等の目標物に設定した目標物座標系、カメラ１３のレンズ中心を原点としたカメラ座標系、および自動運転ショベル１を自動制御するため基準となる制御座標系の関係を示す図である。
【図６】算出された特徴点の座標から放土位置データを算出する方法を説明するための図である。
【図７】  算出された特徴点の座標から放土位置データを算出する他の方法を説明するための図である。
【図１】
0003789218.tif 000002
【図２】
0003789218.tif 000003
【図３】
0003789218.tif 000004
【図４】
0003789218.tif 000005
【図５】
0003789218.tif 000006
【図６】
0003789218.tif 000007
【図７】
0003789218.tif 000008