(57)【要約】作業機械による積載物の積込動作を、積込後の積載物が目標形状となるよう精度よく計画する。バケット１５を有する作業機械の操作システム１００であって、積載物４２がバケット１５から荷台４１に積込まれるときの油圧ショベル１の積込動作を記録する動作記録部５１と、積込動作をした後の、荷台４１に積込まれた積載物４２の形状を取得する形状取得部５２と、積込動作および積載物の形状の相関関係を演算する相関関係演算部５３と、相関関係と積載物４２の目標形状とに基づき、積込動作を演算する積込動作演算部５４と、を備える作業機械の操作システム１００。
2017010212.tif 000002
【特許請求の範囲】
【請求項１】
容器を有する作業機械の操作システムであって、
積載物が前記容器から積込対象物に積込まれるときの前記作業機械の積込動作を記録する動作記録部と、
前記積込動作をした後の、前記積込対象物に積込まれた前記積載物の形状を取得する形状取得部と、
前記積込動作および前記積載物の形状の相関関係を演算する相関関係演算部と、
前記相関関係と前記積載物の目標形状とに基づき、前記積込動作を演算する積込動作演算部と、を備える作業機械の操作システム。
【請求項２】
請求項１において、
前記相関関係演算部は、前記積込動作と、前記積込動作をする前の前記積載物の形状と、前記積込動作をした後の前記積載物の形状との相関関係を演算する作業機械の操作システム。
【請求項３】
請求項１の作業機械の操作システムを備えた作業機械。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、作業機械の操作システムおよび作業機械の操作システムを備えた作業機械に関する。
【背景技術】
【０００２】
容器内の積載物の形状を推定する技術の一例として、特許文献１には以下のように記載されている。容器内の理想的な積載構成を示す積載マップをグリッド状の部分に分割し、グリッド状の部分における物質の理想的なレベルの高さを示す値を計算する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−３１０３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
油圧ショベルなどの作業機械がダンプトラック等の運搬機械の積込対象物に積載物を積込む際、積込まれた積載物の形状あるいは重心位置が運搬機械への過負荷防止や高寿命化に影響する。このため、作業機械の積込作業には積込対象物への理想の積載物形状あるいは理想の重心位置があり、これを実現するために作業機械に自動で精度よく積込作業をさせる操作システムが考えられる。【０００５】
作業機械による積載物の積込み作業を自動で精度よく行うためには、積込対象物中で目標となる積載物の形状となるように、積載物の積込み作業を計画する必要がある。積載物の種類、粘度、粧度など、積載物の環境によっては、積載物が積込対象物にこぼれ落ちる形状が変わる場合があるため、目標となる積載物の形状を実現するには、ある時点の積載物の形状の把握および油圧ショベルのバケットなど作業機械が積載物を運ぶ容器からどのように積載物がこぼれ落ちるかの推定が必要となる。【０００６】
特許文献１では、積載物の環境を考慮していないため、作業機械による積載物の積込動作を、積込後の積載物が目標形状となるよう精度よく計画することが難しい。【０００７】
本発明は、作業機械による積載物の積込動作を、積込後の積載物が目標形状となるよう精度よく計画することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するための本発明の特徴は、例えば以下の通りである。【０００９】
バケット１５を有する作業機械の操作システム１００であって、積載物４２がバケット１５から荷台４１に積込まれるときの油圧ショベル１の積込動作を記録する動作記録部５１と、積込動作をした後の、荷台４１に積込まれた積載物４２の形状を取得する形状取得部５２と、積込動作および積載物の形状の相関関係を演算する相関関係演算部５３と、相関関係と積載物４２の目標形状とに基づき、積込動作を演算する積込動作演算部５４と、を備える作業機械の操作システム１００。
【発明の効果】
【００１０】
本発明によれば、作業機械による積載物の積込動作を、積込後の積載物が目標形状となるよう精度よく計画することができる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施形態における、油圧ショベルとダンプトラックの側面図
【図２】本発明の一実施形態における、演算装置周辺の構成のブロック図
【図３】本発明の一実施形態における、演算装置の構成のブロック図
【図４】本発明の一実施形態における、油圧ショベルの積込動作の側面図
【図５】本発明の一実施形態における、積込動作を定義するパラメータを示す図
【図６】本発明の一実施形態における、パラメータの相関関係を学習する方法
【発明を実施するための形態】
【００１２】
以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
【００１３】
本発明の操作システムには複数の手順を順番に記載してある。しかし、その記載の順番は、複数の手順を実行する順番を限定するものではない。このため、本発明の操作システムを実施するときには、その複数の手順の順番は内容的に支障しない範囲で変更できる。
【００１４】
さらに、本発明の操作システムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、或る手順の実行中に他の手順が発生すること、或る手順の実行タイミングと他の手順の実行タイミングとの一部乃至全部が重複していること、等を許容する。
【００１５】
図１は、本発明の一実施形態における、操作システムを備えた油圧ショベルとダンプトラックの側面図である。以下、図１から図６までを用いて、容器を有する作業機械としてバケットを有する油圧ショベルを例にとり、操作システムついて説明する。なお、本発明における作業機械は油圧ショベルに限定するものではなく、例えばホイールローダなど他の作業機械にも適用可能である。
【００１６】
油圧ショベル１は、一般的な油圧ショベルと同様に、上部旋回体１１、クローラを含む下部走行体１２、掘削などの作業を行うフロント部を構成するブーム１３、アーム１４、バケット１５、ブーム１３を駆動するブームシリンダ１６、アーム１４を駆動するアームシリンダ１７、バケット１５を駆動するバケットシリンダ１８などから構成されている。上部旋回体１１は下部走行体１２に回転可能に支持されており、図示していない旋回モータによって上部旋回体１１は下部走行体１２に対して相対的に回転駆動される。ブーム１３の一端は上部旋回体１１に回転可能に支持されており、ブームシリンダ１６の伸縮に応じてブーム１３が上部旋回体１１に対して相対的に回転駆動される。アーム１４の一端はブーム１３へ回転可能に支持されており、アームシリンダ１７の伸縮に応じてアーム１４がブーム１３に対して相対的に回転駆動される。バケット１５はアーム１４へ回転可能に支持されており、バケットシリンダ１８の伸縮に応じてバケット１５がアーム１４に対して相対的に回転駆動される。このような構成である油圧ショベル１は、ブームシリンダ１６、アームシリンダ１７、バケットシリンダ１８を適切に駆動することにより、バケット１５を任意の位置、姿勢に制御し、所望の作業を行うことができる。
【００１７】
油圧ショベル１は、これらの構成以外に、ブーム１３の回転姿勢を取得するブーム傾斜センサ２１と、アーム１４の回転姿勢を取得するアーム傾斜センサ２２と、バケット１５の回転姿勢を取得するバケット傾斜センサ２３と、上部旋回体１１に配設され積込対象物及び積込対象物に積込まれた積載物４２の形状を取得するステレオカメラ２５と、演算装置２６とを備えている。ブームシリンダ１６と、アームシリンダ１７と、バケットシリンダ１８とは、演算装置２６によって制御されている。ステレオカメラ２５は、二台以上の複数のカメラから成り、複数のカメラで撮影した撮影画像に基づいて、被写体からステレオカメラ２５までの距離を測定する装置である。なお、ステレオカメラ２５の代わりに、ステレオカメラ２５と同等の効果を発揮するセンサを１つ以上備えてもよい。例えば、ステレオカメラ２５は、レーザセンサやＴＯＦ（Ｔｉｍｅ  ｏｆ  Ｆｌｉｇｈｔ）方式の距離画像カメラなどで代替することも可能である。
【００１８】
本発明の一実施形態においては、積込対象物をダンプトラック４の荷台４１とし、積載物４２は荷台４１に積込まれた掘削物とする。なお、積込対象物は、ダンプトラック４の荷台４１に限られなく、例えば地面などでも良い。この場合は、積載物４２は地面上に積載された掘削物である。
【００１９】
図２と図３とを用いて、本発明の一実施形態における、操作システムの構成を説明する。図２は、演算装置周辺の構成のブロック図である。演算装置２６は、ブーム傾斜センサ２１と、アーム傾斜センサ２２と、バケット傾斜センサ２３とから、ブーム１３と、アーム１４と、バケット１５とのそれぞれの回転姿勢を取得する。加えて、演算装置２６は、ステレオカメラ２５から荷台４１または積載物４２の形状を取得する。そして、演算装置２６は、取得した回転姿勢や形状などの相関関係を求める演算を行い、その相関関係に基づいて掘削物の積込動作を計画し、各シリンダ２０に指示を与える。
【００２０】
図３は、演算装置２６の構成のブロック図である。演算装置２６は、油圧ショベル１を自動で動作させるための操作信号を生成する自動制御コントローラ２４と、車体コントローラ１９とを有している。自動制御コントローラ２４は、操作システム１００と、積込動作指示部５５とを有している。操作システム１００は、動作記録部５１と、形状取得部５２と、相関関係演算部５３と、積込動作演算部５４とを有している。図３を用いて、荷台４１が平らの場合、つまり荷台４１に積載物４２が積載されていない場合の、演算装置２６の処理について説明する。
【００２１】
動作記録部５１は、前述した回転姿勢を取得する。そして、取得した回転姿勢に基づいて、バケット爪先の水平方向位置とバケット爪先の水平方向の速度と、バケット１５の回転姿勢であるバケット回転姿勢を求め、記録する。つまり、動作記録部５１は、掘削物がバケット１５から荷台４１に積込まれるときの、油圧ショベル１の積込動作を記憶する。形状取得部５２は、積込動作をした後の、荷台４１に積込まれた積載物４２の形状を取得する。相関関係演算部５３は、積込動作を成すバケット爪先の水平方向位置とバケット爪先の水平方向の速度とバケット回転姿勢と、形状取得部５２で取得した積載物４２の形状とに基づいて、積込動作と積載物形状との相関関係を演算する。
【００２２】
以上の構成により、掘削物の種類や粘度などの環境が変わるような場合でも、最適な積込動作を計画するための情報を得ることができる。そして、この相関関係を用いることで、最適な積込動作を計画できる。なお、荷台４１の形状が平らではない場合や、荷台４１に積載物４２が積載されている場合は、形状取得部５２で積込動作前の積載物形状と積込動作後の積載物形状との２つの積載物形状を取得し、相関関係演算部５３で積込動作と積込動作前の積載物形状と積込動作後の積載物形状とに基づいて相関関係を求めてもよい。この相関関係を用いることで、より最適な積込動作を計画できる。なお、荷台４１が平らの場合においても、形状取得部５２で積込動作前の積載物形状と積込動作後の積載物形状との２つの積載物形状を取得し、その積載物形状に基づいて相関関係を求めても良い。以降の説明では、形状取得部５２で積込動作前の積載物形状と積込動作後の積載物形状との２つの積載物形状を取得した場合を説明する。
【００２３】
積込動作演算部５４は、相関関係演算部５３で演算した相関関係と、荷台４１に積込む積載物４２の目標形状とに基づき、油圧ショベル１の積込動作を演算する。相関関係演算部５３で演算した相関関係に加えて目標形状にも基づくことで、目標形状となるような積込動作を演算できる。そして、積込動作指示部５５は、積込動作演算部５４で演算された積込動作となるような操作信号を、車体コントローラ１９へ送る。
【００２４】
車体コントローラ１９は、積込動作指示部５５から送られた操作信号に基づいて、ブームシリンダ１６と、アームシリンダ１７と、バケットシリンダ１８とに指示を与える。これにより、ブーム１３、アーム１４、バケット１５を任意の回転姿勢に制御できる。また、ブーム１３、アーム１４、バケット１５の回転姿勢を逐次変化させることで、ブーム１３、アーム１４、バケット１５に対して時間で変化する任意の動作を行わせることができる。なお、同じ軌道、つまり同じ積込動作で掘削物を荷台４１に放出した場合、荷台４１中の一部の場所のみに積載物４２が積込まれ、ダンプトラック４の重心バランスを損ねる可能性がある。よって、バケット１５が荷台４１を沿うような軌道を描きながら、バケット１５の回転姿勢を制御し、積載物形状が均一となるような積込動作を計画するのが望ましい。
【００２５】
以上の構成により、積込後の積載物形状が目標形状となるような油圧ショベル１の積込動作を行うことができる。なお、演算装置２６はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、その他周辺回路などを備えており、例えば動作記録部５１や相関関係演算部５４といった各部をＲＯＭに保存しておき、ＲＡＭを用いてＣＰＵで実行することが考えられる。
【００２６】
図４は、油圧ショベル１の積込動作においてバケット１５の動作に着目して、バケット１５の側面から見た図である。ダンプトラック４の荷台４１は、輪郭のみを図示している。また、積込動作中のバケット１５を、時系列順にバケット姿勢１５ａ、バケット姿勢１５ｂ、バケット姿勢１５ｃ、バケット姿勢１５ｄと抜き出して図示している。バケット爪先は、バケット爪先移動軌跡３１に沿って動き、掘削物を荷台４１に放出する。以降は説明のため、油圧ショベル１のブーム１３、アーム１４、バケット１５が動作可能な平面をＸＺ平面とし、図４に示すとおり水平方向をＸ軸、垂直方向をＺ軸とする。
【００２７】
油圧ショベル１は、バケット姿勢１５ａからバケット姿勢１５ｄに示すように、バケット１５が荷台４１の上をＸ軸方向に進みながら、バケット回転姿勢を逐次変化させる積込動作を行う。つまり、ブーム１３やアーム１４の回転姿勢を逐次変化させる動作を行いながら、バケット回転姿勢を逐次変化させる動作を行う。
【００２８】
動作記録部５１で取得したバケット姿勢１５ａからバケット姿勢１５ｄまでのバケット回転姿勢を、それぞれバケット回転姿勢３３ａからバケット回転姿勢３３ｄとする。バケット１５の開口面とＸ軸とが並行の場合の、バケット回転姿勢を０°とする。図４では、バケット回転姿勢３３ａを０°とする。図４において時計回りを正の方向とすると、バケット回転姿勢は、積込動作中に０°付近から正の方向に変化し、バケット１５内の掘削物を荷台４１に放出する。
【００２９】
荷台４１内には、荷台４１に積込まれた積載物４２の輪郭４２ａと輪郭４２ｂとが図示されている。輪郭４２ａは、あるときの積込動作によって積込まれた積載物４２のＸＺ平面上の積載物形状であり、輪郭４２ｂは、その次の積込動作によって積込まれた積載物４２のＸＺ平面上の積載物形状である。なお、積載物４２のＸＺ平面上の輪郭は、三次元形状をＸＺ平面に投影したものの平均でもよいし、ＸＺ平面に並行な任意の平面上の輪郭でもよい。一般的に油圧ショベル１の積込動作は、同一のダンプトラック４に対して複数回行われることから、積載物４２の積載物形状は複数存在する。
【００３０】
次に、相関関係演算部５３で相関関係を求めるために用いる、バケット爪先の水平方向位置と、バケット爪先の水平方向の速度と、バケット回転姿勢と、積込動作前の積載物形状と、積込動作後の積載物形状との取得方法に関して説明する。
【００３１】
動作記録部５１は、積込動作前に、荷台４１に積込まれている積載物４２の三次元形状を、ステレオカメラ２５から取得する。次に、取得した三次元形状から、積載物４２のＸＺ平面上の輪郭（例えば４２ａ）を抽出する。更に、積込動作後に、積込動作前と同様にステレオカメラ２５によって積載物４２の三次元形状を取得し、ＸＺ平面上の輪郭（例えば４２ｂ）を抽出する。
【００３２】
バケット姿勢１５ａからバケット姿勢１５ｄまでのバケット爪先の速度ベクトルを、それぞれ速度ベクトル３２ａから速度ベクトル３２ｄとする。形状取得部５２は、積込動作中のバケット１５の回転姿勢（例えばバケット回転姿勢３３ｂ）と、バケット爪先の水平方向の速度（例えば速度ベクトル３２ｂのＸ軸方向成分）と、バケット爪先の水平方向位置とを記録する。バケット回転姿勢は、バケット傾斜センサ２３から得られる。バケット爪先の水平方向位置は、ブーム傾斜センサ２１、アーム傾斜センサ２２、バケット傾斜センサ２３から得られるブーム１３、アーム１４、バケット１５のそれぞれの回転姿勢と、予め保有しているブーム１３、アーム１４、バケット１５の幾何学関係とに基づいて得られる。バケット爪先の水平方向速度は、異なる時刻におけるバケット爪先の水平方向位置に基づいて得られる。
【００３３】
以上のように、自動制御コントローラ２４は、積込動作前の積載物形状と、時系列のバケット回転姿勢と、時系列のバケット爪先の水平方向位置と、時系列のバケット爪先の水平方向の速度と、積込動作後の積載物形状との５つの情報を一回の積込動作毎に取得する。これらの情報を基に、積込動作と積載物形状との相関関係を演算することで、目標の積載物形状となるような、積載物の環境を考慮した最適な積込動作を計画できる。積載物の環境とは例えば、積載物の種類や粘度などが挙げられる。例えば、掘削物に水分が大量に含まれている場合と含まれていない場合とでは、双方の場合で同様の積込動作を行うと、異なる積載物形状となる。そこで、積載物形状と積込動作の相関関係を求め、その相関関係に基づいて積込動作を計画することで、精度良く目標形状を実現することができる。
【００３４】
図５を用いて、積込動作を定義するパラメータの演算方法を説明する。時系列のバケット回転姿勢とバケット爪先の水平方向位置から、水平方向位置に対するバケット回転姿勢を演算し、バケット回転姿勢を水平方向位置の三次関数に近似する。この場合のバケット爪先の水平方向位置をＸ、バケット回転姿勢をθｋとする。同様に、バケット爪先の水平方向速度を水平方向位置Ｘの三次関数として近似する。この場合のバケット爪先の水平方向速度をＶｋとする。積載物形状を水平方向位置Ｘの三次関数として近似し、Ｋ回目の積込による積載物形状をＺｋ、Ｋ＋１回目の積込による積載物形状をＺｋ＋１とする。これらの４つの三次関数は、以下の式（１）のように表される。
【００３５】
【数１】
2017010212.tif 000003
【００３６】
式（１）において、ａ１１〜a１４はバケット回転姿勢θｋを表すパラメータであり、ａ２１〜ａ２４はバケット爪先の水平方向速度Ｖｋを表すパラメータであり、ａ３１〜ａ３４は積載物形状Ｚｋ＋１を表すパラメータであり、ａ４１〜ａ４４は積載物形状Ｚｋを表すパラメータである。このように、バケット回転姿勢などのパラメータ化を行うことによって、それぞれの情報を４つのパラメータで一意に定めることが可能となる。そして、合計１６個のパラメータの相関関係を学習することによって、目標の積載物形状となるような最適な積込動作を、精度よく計画できる。
【００３７】
図６を用いて、１６個のパラメータの相関関係を学習する方法を説明する。本発明の一実施形態においては、３層のニューラルネットワークを用いた学習を行う。なお、相関関係の学習手法には様々な方法が存在し、どの方法を用いてもよい。
【００３８】
ｉ１からｉ１２までの１２個のパラメータを入力信号、ｏ１からｏ４までの４個のパラメータを出力信号とする。そして、出力信号を出力する３層のニューラルネットワークを構築する。中間層のニューロンは、数が多いほど学習の精度が向上する。しかし、数が多いほど演算時間が長くなることから、自動制御コントローラ２４の演算能力と必要な精度の兼ね合いで、中間層のニューロンの数を決めるのが好ましい。本発明の一実施形態においては、中間層のニューロンの数をＮ個とした。一般的な誤差逆伝播法のニューラルネットワークと同様に、各ニューロンは重みと閾値を持ち、次の計算によって学習を行う。
［手順１］入力信号ｉ１から入力信号ｉ１２に、パラメータａ２１からパラメータａ４４の１２個のパラメータを入力する
［手順２］入力層から出力層に向けて、各ニューロンの出力を計算する
［手順３］教師信号ｔ１から教師信号ｔ４にパラメータａ１１からパラメータa１４を与え、出力信号ｏ１からｏ４と、教師信号ｔ１からｔ４との差から、各ニューロンにおける誤差信号を計算する
［手順４］誤差信号を用いて、各ニューロンの重みと閾値を更新する
［手順５］手順２〜４を、出力信号ｏ１〜ｏ４と教師信号ｔ１〜ｔ４の差が十分小さくなるまで繰り返す
上記の学習により、パラメータａ２１からパラメータａ４４の１２個のパラメータから、パラメータａ１１からパラメータa１４を精度良く推定することができる。これが意味するのは、積込動作前の積載物形状Ｚｋと目標の積載物形状Ｚｋ＋１、およびバケット爪先の水平方向速度Ｖｋを入力すると、バケット回転姿勢θｋが得られるということである。つまり、積込動作前の積載物形状と目標形状とが定まっている場合に、バケット爪先の水平方向速度を定めることで、目標の積載物形状となるようなバケット回転姿勢を得ることができる。なお、バケット爪先の水平方向速度とバケット回転姿勢が定まっている場合に、積込動作の初期位置を与えることで、ブーム１３、アーム１４、バケット１５のそれぞれの積込動作は一意に定まる。
【００３９】
これらの構成により、操作システム１００は、積込動作を繰り返すことにより環境を学習することで、異なる環境においても、目標の積載物形状となるような積込動作をより精度良く計画できる。なお、実際の作業の前に、実際の作業と同様の環境で、本実施の形態で述べたニューラルネットワークによる学習を複数回行い、学習の精度を上げておくことが望ましい。
【００４０】
なお、制御線や情報線は説明上好ましいと考えられるものを示しており、必ずしも全ての制御線や情報線を示しているとは限らない。
【００４１】
本発明の一実施形態では、動作記録部５１と、形状取得部５２と、相関関係演算部５３と、積込動作演算部５４とは、操作システム１００の一部として記載した。しかし、操作システム１００を構成する各部は、例えば相関関係演算部５３の処理を演算装置２６外で行うなど、各部が備わっている場所や、各部の処理が行われる場所は１つに限定されない。例えば、作業機械を集中管理する装置を作業機械とは別に設け、その装置に操作システム１００を備えても良い。
【符号の説明】
【００４２】
１  油圧ショベル、１１  上部旋回体、１２  下部走行体、１３  ブーム、１４  アーム、１５  バケット、１５ａ〜１５ｄ  バケット姿勢、１６  ブームシリンダ、１７  アームシリンダ、１８  バケットシリンダ、１９  車体コントローラ、２１  ブーム傾斜センサ、２２  アーム傾斜センサ、２３  バケット傾斜センサ、２４  自動制御コントローラ、２５  ステレオカメラ、２６  演算装置、３１  バケット爪先移動軌跡、３２ａ〜３２ｄ  バケット爪先速度ベクトル、３３ａ〜３３ｄ  バケット回転姿勢、４  ダンプトラック、４１  荷台、４２  積載物、５１  動作記録部、５２  形状取得部、５３  相関関係演算部、５４  積込動作演算部、５５  積込動作指示部、１００  操作システム
【図１】
2017010212.tif 000004
【図２】
2017010212.tif 000005
【図３】
2017010212.tif 000006
【図４】
2017010212.tif 000007
【図５】
2017010212.tif 000008
【図６】
2017010212.tif 000009
【国際調査報告】
2017010212.tif 000010
2017010212.tif 000011
2017010212.tif 000012
2017010212.tif 000013