情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-642023/3/1

深層強化学習を用いた不整地作業機械の操作支援システム
横田 和哉†1,a) 神場 蕉伍†1進藤 有貴†1 今井 博英†1高橋 憲吾†2 阿部 雅二朗†2

概要：クローラクレーンなどの不整地作業機械は、事故発生時の被害が大きいため、転倒･過挙動等を未然に防止することが求められる。本研究では、荷役作業時を対象に、発生頻度が高いつり荷の過挙動に対して、AI による危険回避操作支援を行うシステ
ムを検討する。Unity を用いて構築されたクローラクレーンの作業シミュレータ上で、過挙動低減を報酬として深層強化学習サイクルを実行する。得られた制御モデルを用いて操作支援システムを構築する。システムの有用性は、VR を用いたクレーン荷役作業シミュレーションにより評価される。

1. はじめに

2. 本研究の目的

図 1 に示すクローラクレーンのような不整地作業機械は、

2.1 従来のつり荷振れ制御手法

プラントの建設工事や橋梁建設工事など多くの工事現場でつり荷の振れ止め制御は、従来より機械力学的手法に基使用されている。一方で、転倒、つり荷の振れ回りおよびづく方法など[1]が提案されてきた。しかし、1 章にて述べた機体破損などの危険事象から発生する事故が問題となるこように、機械の周辺環境の変化や操作者の各種ミスなどにとがある。クローラクレーンなどは大型な機械であるため、より過挙動が発生することがあり、これらの環境変化に対事故発生時の周辺への被害は甚大となることが多い。このしてロバストな制御手法が望まれる。

ような事故を未然に防止する新たな対策が必要である。

この問題に対応するには、機械学習的手法が有用と考え

クローラクレーンなどの事故は、突風や軟弱地など「周られる。近年、ニューラルネットワークを用いた振れ止め

辺環境の変化に伴う機体の不安定化」、機械操作者の急操作の制御手法が提案されており [2]、Matsumoto らは深層強化などの「操作者による認知・判断・操作ミス」、安全装置の学習を用いる手法を提案した [3]。しかし、実際の荷役作業作動を不快に感じた機械操作者等が同装置を解除する「安での有用性確認はなされていない。

全装置の無効化」、つり荷ワイヤロープの切断やジブの破損などの「機体構成部品の破損とそれに伴う機体の不安定化」

2.2 本研究の目的などに起因する。既存の安全装置や、人（機械操作者）の本研究では、深層強化学習による操作支援システムの構認知･判断･操作によって防止することは難しいことがある。

築を行う。我々はこれまでに VR ヘッドマウントディスプ

このような背景から、人と近年発達の著しい AI の長所

レイを用いたクレーン荷役作業シミュレータ [4]を構築してを融合させ、突風や軟弱地などの多様かつ複雑な荷役作業おり、このシミュレータに操作支援機能を統合し、人によ環境での安全性を確保し、つり荷振れ回り等の過挙動や転る振れ止め制御と比較することで有効性を確認する。

倒を防止する新しい安全システムの構築が求められている。
本研究では、荷役作業時に発生頻度が高いつり荷の過挙動に焦点を絞り、AI によりつり荷の振れ止め制御を行う操作支援システムを検討する。Unity を用いて構築されたク3. クレーン操作支援システム
3.1 MR (Mixed Reality) 荷役作業シミュレータ

レーンの作業シミュレータ上で、過挙動低減を報酬として我々はこれまでに Unity を用いた荷役作業シミュレータ

深層強化学習サイクルを実行することで操作支援システムを構築している[4]。実機を模擬した操作室（図 2(a)）内でを構築する。システムの有用性は、VR を用いたクレーン荷VR-HMD を装着した被験者がレバーを操作することで、仮役作業シミュレーションにより評価される。

想空間上のクレーン（図 2(b)）を操作可能である。

yz

図1

クローラクレーンx(a) 実機を模擬した操作室

図2(b) 仮想空間上のクレーン

クレーン MR 荷役作業シミュレータ†1 長岡技術科学大学 機械系a) yokokazu@vos.nagaokaut.ac.jp†2 長岡技術科学大学 システム安全系© 2023 Information Processing Society of Japan747

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2P-64
2023/3/1

3.2 深層強化学習を用いた振れ止め制御モデル

荷役作業

Unity 上の強化学習開発環境である ML-Agents を用いて、つり荷の過挙動低減を目的として制御モデルの学習を行っ

つり荷振れ角5を超えたかた。観測･行動･報酬の各項目は表 1 とし、アルゴリズムはyes

Proximal Policy Optimization [5]とした。つり荷の振れ角に関する報酬関数 r は次式で定義した。
𝑟 = 0.005 ×

𝜃𝑚 − |𝜃|𝜃𝑚noAIによる操作(1)

ここで、𝜃は地平面に対して垂直な軸からのつり荷振れ角、𝜃𝑚 は振れ角の閾値である。

つり荷挙動
安定状態

エピソードの開始時に、つり荷にランダムなインパルス外力を与え、過挙動状態を擬似的に再現した。開始後 30 秒

図3

操作支援システムの動作モードでエピソード終了とし、1300 エピソード学習を行った。得られた制御モデルを荷役作業シミュレータに統合すること

表 2 つり荷振れ方向の定義

で、操作支援システムを構築した。構築した操作支援シス

呼称振れ方向面外振れ

図 1 の z 軸方向

面内振れ

図 1 の x 軸方向

テムの動作モードを図 3 に示す。

4. 実験

表 3 つり荷振れ制御に要した時間 [s]
AI

操作者 A

操作者 B

面外振れ

4.64

11.75

7.99

面内振れ

9.84

12.16

8.18

4.1 実験条件
荷役作業シミュレーションにより有効性の確認を行う。
操作者は健常な、クレーン運転士免許を有しない 20 代男
性 2 名である。つり荷にインパルス外力を与え、18°の初期振れ角を与えることで擬似的に過挙動の状態を再現し、振れ角が 5°以下になるまでの時間を人と AI で比較した。表2 につり荷振れの呼称と振れ方向の定義を示す。

5. おわりに大気や地盤、人の操作特性などの複雑環境下でロバストな安全システムを目指して、つり荷振れに焦点を絞り操作支援システムの構築と有効性確認を行った。面内振れに対4.2 結果および考察

してはさらなる検討が必要なものの、面外振れに対しては表 3 につり荷振れ制御に要した時間を示す。同表にはそれぞれ 3 回実験を行った平均値を示している。面外（側面）

人の操作と比較して短時間でつり荷振れを制御できる可能性を示した。

振れの場合は、人と比較して制御に要する時間が大きく減

本研究の将来展望として、大気の状態変化である風のほ少した。しかし、面内（正面）振れの場合は操作者 B と AIか地盤の影響を考慮し、つり荷の振れ制御だけでなく、転で大きな差は見られなかった。面内振れの抑制で必要なジ倒防止等も含めた安全システムの構築を行う。機械の動力

ブの起伏操作は、起伏角速度が低速であり、人の認知･判断･学的な影響と、操作者の人間工学的な影響の相互作用につ操作の速度と AI の制御速度で大きな差が見られなかった

いての詳細な検討も進める予定である。

ことが原因として考えられるが、AI より操作者 B の方が、わずかに制御時間が短いことから、制御モデルのさらなる[1]性能向上が必要である。
表 1 学習条件
項目

詳細

観測

・つり荷振れ角・上部旋回体の旋回角
・ジブ起伏角、起伏角速度

行動・つり荷巻き上げ下げ操作
・上部旋回体の旋回操作
・ジブ起伏角操作

[2]

[3]

[4]

・ステップ毎のつり荷振れ角に応じた報酬（式(1)）
報酬以下のイベント発生時はエピソード終了
・つり荷が地面と衝突した場合(-5.0)
・開始時と現在の旋回角の差が 15°以上の場合(-1.0)
・3 秒間、つり荷振れ角が 3°以内の場合(+1.0)© 2023 Information Processing Society of Japan[5]

Eihab M. Abdel-Rahman, Ali H. Nayfeh and Ziyad N. Masoud,Dynamics and Control of Cranes: A Review, Journal of Vibrationand Control, Vol. 9(7), 2003.
Fasih S.M., Mohamed Z, Payload swing control of a tower craneusing a neural network–based input shaper, Measurement andControl, Vol. 53(7-8), 2019.
K. Matsumoto, A. Yamaguch, T. Oka, Simulation-based
Reinforcement Learning Approach towards Construction MachineAutomation, 37th ISARC, Pages 457–464, 2020.
阿部雅二朗, 佐藤瑞紀, 仲川力, 不整地作業機械の安全設
計・制御のためのＭＲシミュレータの基盤開発, 日本機械学会北陸信越支部 第 57 期総会･講演会, 2020.
John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford,
Oleg Klimov, Proximal Policy Optimization Algorithms,arXiv:1707.06347, 2017.

748