計測自動制御学会東北支部 第 312 回研究集会 (2017.11.24)
資料番号 312-2

遠隔作業支援マニピュレータ制御システムに関する研究- モーションキャプチャを用いた腕の動作計測による 6DOF
マニピュレータの物体把持 Study on manipulator control system for remote operation
support - Object grasping by 6DOF manipulator using motion
measurement of arms ○三富剛史 ∗ ，武藤伸洋 ∗ ，柿崎隆夫 ∗○ Takeshi Mitomi∗ , Shin-yo Muto∗ , Takao Kakizaki∗*日本大学工学部*Collage of Engineering Nihon University
キーワード : 遠隔作業支援システム (Remote operation system)
6 自由度マニピュレータ (6DOF manipulator)，モーションキャプチャ(Motion caputre),

連絡先 : 〒 963-1165 福島県郡山市田村町徳定中河原 1 日本大学 工学部 機械工学科
サステナブルシステムズデザイン研究室
三富剛史，Tel.: (024)956-8775 E-mail: mitomi.takeshi.ss.lab@gmail.com

1.

はじめにめ，日本から海外の現場作業員を支援すること

近年，日本における少子高齢化の進行に伴い，様々な問題が顕在化してきた．問題の一つとして労働人口の減少，社会インフラの維持管理需要の増加などを原因とした，熟練現場作業者の不足が挙げられる 1) ．そこで，国土交通省は社会インフラの維持管理効率化を目指し，遠隔作業支援ロボットの開発を奨励している 2) ．また，経済産業省の海外戦略として，新興国・発展途上国向けにインフラ事業の積極的な海外展開がある．インフラ整備後のメンテナンス業務は現地作業者に委託されるが，その指導には日本から熟練作業者を派遣することとなる．しかし，将来的には熟練作業者の不足によって対応可能な現場や指導可能な現場作業員の数が限られるたが望ましい．このような背景から，熟練技術者不足の解消と現場作業者の効率的な活用のため，遠隔地からネットワークを介した，熟練技術者による現地作業員の作業補助や指導を可能をする遠隔作業支援システムが求められる．
そこで本研究では，熟練技術者の効率的な活用，および非熟練者の早期熟達を目的とし，熟練者が遠隔地にいながら現地作業者を支援する遠隔作業支援システムを提案している．現在までに，操作指示者の腕の動作をモーションキャプチャ装置によって計測することで，マニピュレータを操作するシステムの基本機能を実装した．
本稿では，従来のモーションキャプチャによるマニピュレータの操作システムに加え，マウ–1–

Fig. 1: 遠隔作業支援システムのコンセプト．
Concept of remote support system.
ス・キーボードによるマニピュレータ操作システムを実装し，物体の把持・運搬実験を通じてFig. 2: 遠隔作業支援マニピュレータシステムの構成．Configuration of remote operation support system.

システムの動作検証と，異なる操作方式が実験

入力装置は操作指示者がマニピュレータを操結果にどのような差をもたらすか検証した結果作するための装置である．今回は入力装置にマについて報告する．

ウス・キーボードを用いる場合と，モーションキャプチャ装置を用いる場合の 2 通りの条件で2.

遠隔作業支援システム

実験を行う．

Fig.1 に提案する遠隔作業支援システムの概要を示す．本システムは遠隔地にいる操作指示者が現地作業者の作業を支援するシステムである．
操作指示者はネットワークを介して現地作業者と繋がっており，操作指示者は現地の映像，音声およびセンサ情報を元に現地作業者への指示や支援を行う．指示には音声による指示，プロジェクションによる操作箇所の明示などがある．
支援としては，音声や映像以外に移動ロボットに取り付けられたマニピュレータによる工具の把持，簡単な機器の操作など物理的な支援も想定している．これにより，熟練技術者が現地に赴く手間を削減できるため，技術者の効率的な活用が可能となる．

Fig.3 に入力装置からの入力から，各関節角度とグリッパの開閉を決定するまでの流れを示す．基本的にマウス・キーボードによる操作の場合とモーションキャプチャによる操作は，それぞれの入力装置から手先座標とグリッパの開閉度合いを決定し，その値をもとに逆運動学を計算し，ロボットマニピュレータの姿勢を決定している．このとき，手先の姿勢は，第一段階の実験では一定の姿勢で実行可能な作業とする
ため (θy , θx , θz ) = (120, 0, 0) [deg] で一定としている．
マウス・キーボードによる操作は，操作指示者側の PC に接続されたマウス・キーボードを用いて操作する．操作指示者側の PC は VisualC++で作成したウィンドウアプリケーションにより，マウスポインタの座標を取得している．取2.1

遠隔作業支援マニピュレータシステム

得した座標はマニピュレータの XY 平面座標系

Fig.2 に今回の実験に使用するマニピュレータに変換され，逆運動学計算によりマニピュレー操作システムの構成を示す．本システムは入力

タの各関節角度を求める．このとき，垂直方向装置，操作指示者側 PC，現場作業者側 PC，コはマウスポインタの座標が二次元平面上にあるントロールボックス，マニピュレータから構成ため，マウスポインタでは操作することはできされる．

ない．そこで，今回はマウスホイールの回転と–2–

Fig. 3: NEKONOTE の処理の流れ．Processing flow of NEKONOTE.の座標はマニピュレータの座標系に変換したの
ち，逆運動学計算によりマニピュレータの各関節角度を求め，現地作業者側の PC に送信する．
右手は水平方向に動かすことでグリッパの開閉を操作する設定としている．今回はモーションキャプチャ装置にマイクロソフト社の Kinect v2を用いた．
コントロールボックスでは，Raspberry Pi が動作しており，逆運動学から計算した各関節角度と現在のマニピュレータの関節角度の差からマニピュレータの動作生成を行う．生成した動作はマニピュレータへと送信され，マニピュレータはその動作を実行する．今回，マニピュレータは6DOF を持つ RT Corporation 製の NEKONOTE
Fig. 4: NEKONOTE の座標設定．Coordinate
axis setting of NEKONOTE.

を使用した．NEKONOTE の動作周期は実装上の制約から 800 ms とした．Fig.4 に NEKONOTEの座標の設定を示す．ここで L1 ，L2 [mm] はリ

垂直方向の動作を対応させることで，Z 方向のンクの長さを表す．

操作を可能としている．また，グリッパの開閉はキーボードのキー入力により操作可能である．
モーションキャプチャ装置による操作は，操3.

物体の把持・運搬実験

作指示者側の PC に接続されたモーションキャ

Fig.5 (a) に実験装置の構成，Fig.5 (b) に実験

プチャ装置で操作指示者の腕の動作を計測する装置の位置関係を示す．実験装置は操作者が入ことで行う．この方法では，操作指示者の左右力装置によって操作するマニピュレータと，マニの手先位置と両肩の中心点を計測し，両肩の中ピュレータが把持可能な寸法のスポンジキュー心点を原点とした手先の座標を計算する．左手ブ 2 つ，スポンジキューブを置く台座から構成–3–

(a) 実験装置の構成． Composition of ex- (b) 実験装置の位置関係． Positional relation of experimentalsystem.
perimental system.

Fig. 5: 物体把持実験． Object grasping experiment.
される．ここで，スポンジキューブは 30 mm

ここで横軸は実験回数，縦軸は作業完了までにの立方体であり，台座の寸法は幅 280mm，奥要した時間を表す．このとき，操作者 A は 6，7，行 200mm，高さ 170mm である．台座はマニ8 回目に，操作者 B は 4 回目に積み上げ途中のピュレータのベース部から 250mm 離して設置ブロックを誤って崩した．

した．Fig.6 に実験時の様子を示す．実験はマニ

マウス・キーボードによる操作とモーションピュレータを用いて開始地点に積み上げられたキャプチャ装置による操作を比較すると，マウスポンジキューブを 1 つずつ把持，運搬し，目ス・キーボードによる操作は作業時間のばらつ標地点に積みなおす作業を完了にするまでに要きが小さく，実験回数を重ねても作業時間に大する時間を計測する．目標地点は開始地点からきな変化は見られなかった．一方でモーション

150 mm 離れた地点であり，40mm の正方形でキャプチャ装置を用いた操作は，作業時間のば囲まれた範囲にスポンジキューブの全体が収まらつきが大きく，実験回数を重ねると作業時間るように積み上げることとする．実験は入力装が短くなる傾向があることが分かる．このこと

置にマウス・キーボードを用いる場合と，モーから，モーションキャプチャ装置を用いた操作はションキャプチャ装置を用いる場合の 2 通りをマウス・キーボードを用いた操作と比較して操作操作者 A と B がそれぞれ 10 回行った．このと者個人の技量が作業時間に大きく影響すると考き操作者はマニピュレータから 1 m 離れた地点えられる．また，実験回を重ねることで作業時から目視で操作した．

間が減少した要因として，操作者がモーションキャプチャ装置を用いたマニピュレータの操作4.に慣れていったことが考えられる．そのため，操実験結果と考察

作者が操作に十分熟達した時を考えると，モーFig.7 (a) にマウス・キーボードによるマニピュレータ操作時の実験結果を示す．ここで横軸はションキャプチャ装置を用いた操作の方が作業時間が短くなると予想する．

実験回数，縦軸は作業完了までに要した時間を実験後，操作者に特に困難であった個所につ表す．このとき，操作者 A は 4 回目に，操作者いて尋ねたところ，マニピュレータと手先位置B は 8 回目に積み上げ途中のブロックを誤ってとブロックの位置関係が分かりにくいとの報告崩した．Fig.7 (b) にモーションキャプチャ装置があった．現在，マニピュレータを操作するのによるマニピュレータ操作時の実験結果を示す．に必要なブロックと手先位置情報は目視のみに–4–

(a) マウス・キーボードによるマニピュレータ操作．(b) モーションキャプチャ装置によるマニピュレータ
Manipulator control using mouse and keybord.
操作．Manipulator control using motion capture.

Fig. 6: 実験の様子．The conditions of an experiment(a) マウス・キーボードによるマニピュレータ操作．(b) モーションキャプチャ装置によるマニピュレータ
Manipulator control using mouse and keybord.
操作．Manipulator control using motion capture.

Fig. 7: 実験結果． Experimental results
限られている．そのため，今後はマニピュレーテムを実装し，物体の把持・運搬実験を通じてタと作業空間を俯瞰的に眺めることのできる位システムの動作検証と，異なる操作方式が実験置にカメラを設置するなど，操作者が作業空間結果にどのような差をもたらすか検証した．の状況を把握し易い視点の検討が必要である．

その結果，マウス・キーボードによるマニピュレータ操作では作業完了までに要した時間のば5.

らつきが小さく，操作者個人の技量に影響を受おわりにけにくいことが分かった．モーションキャプチャ
本研究では熟練技術者の効率的な活用，およ装置による操作では作業完了までに要した時間

び非熟練者の早期熟達を目的とし，熟練者が遠のばらつきが大きく，操作者個人の技量に影響隔地にいながら未熟な現地作業者を支援する遠を受けることが分かった．また，実験終了後に隔作業支援システムについて研究を進めている．

操作者からマニピュレータの操作空間の状況の本稿では，従来のモーションキャプチャによ把握が困難との指摘もあり，操作者の視点につるマニピュレータの操作システムに加え，マウいて改善が必要であるのと知見を得た．

ス・キーボードによるマニピュレータ操作シス–5–今後は，操作者の視点の改善と，実際に行っている保守作業を選定してより多くの場合を想定した実験を実施する．

参考文献
1) 国土交通省: 社会資本の老朽化の現在と将来，(2014)
2) 経済産業省: 日本企業のインフラ・システム輸出にかかる競争力強化策，(2012)–6–