複数ロボット間の協調作業のための時間的及び空間的同期制御に関する研究
代表研究者
共同研究者
共同研究者
共同研究者

石橋豊
大西仁
三好 孝典
黄平国

名古屋工業大学 教授
放送大学 教授
豊橋技術科学大学 准教授
星城大学 講師

1 研究の目的
本研究は、力覚センサを有するロボット間の時間的及び空間的同期を高品質化することを目的とした。各利用者は、ビデオを見ながら、各自の触覚インタフェース装置を用いて、遠隔にある各自の支配下にある一つのロボットを操作することができる。ロボットアームに付与された力覚センサからのフィードバックをネットワーク経由で触覚インタフェース装置に出力することによって、利用者はロボットが触っている物体からの反力を感じることができる。複数のロボットが協力して物体を運んだり、操作したりするとき、時間的に同時に動く（時間的同期）だけでなく、同じ高さや角度などで行う（空間的同期）ことが必要であることが多い。ここでは、同時に動かしたり、動かす距離を同じにすることは、一定時間だけずらして動かしたり、一定距離だけずらせることも含んでいるものとする。この種の協調作業で要求される高品質な時間的同期及び空間的同期を達成するための制御を検討する。
例えば、二つのロボットがガラス板（または液体が入った容器）の両端を持って、凸凹（以下、デコボコ）した道路を移動する場合、最初にガラス板を同時に保持する必要があり、移動する場合には、同じ距離を保ちつつ並行して移動するだけでなく、デコボコに応じて両端の高さを揃えなければならない。これに失敗すると、ガラス板が割れたり、液体がこぼれたりする。これを避けるためには、高品質な同時性と、位置同期を実現する必要がある。これは、シンクロナイズドスイミングで例えれば、複数人が同時に水中から足を同じ高さに上げることなどに相当する。
地震で被災した人や集中豪雨によって孤立した人を救済し、物資なども届けるレスキューロボットやドローン等に本研究成果を適用すれば、危険で人が入れない場所での作業が容易となると予想する。また、遠隔から複数の手術用ロボットを操作する遠隔医療などの有用なアプリケーションへの力覚の導入が大きく進むと考えられる。

2 研究成果2-1 実験システムの構築
複数ロボット間の協調作業における時間的及び空間的同期制御の検討を行うために、図１に示す実験システムを構築した。実験システムにおける二つのシステム（システム１、２）の各々は、マスタ端末の一人の利用者がビデオを見ながら、各自の触覚インタフェース装置を用いて、遠隔の各自の産業用ロボットを操作できるようになっている。ロボットアームの先端には、力覚センサが付与されており、その先に取り付けられたハンドによって様々な作業を行うことができる。ハンドが物体に当たると、力覚センサで検知された力情報がスレーブ端末からマスタ端末に送信され、触覚インタフェース装置を介して利用者に出力される。利用者は、この力覚フィードバックによって、あたかも自分が物体に触ったような感触を得ることができる。
図 1 に示すように、各システムは、触覚インタフェース装置 (3D Systems Touch) が付与されたマスタ端末と、産業用ロボット（三菱電機製）と WEB カメラ (Microsoft 製) が付与されたスレーブ端末から成る。
マスタ端末は、触覚インタフェース装置制御用 PC とビデオ用 PC（または両者の制御用 PC）から構成されており、それらはスイッチングハブによって接続されている。スレーブ端末は、産業用ロボット制御用 PCとビデオ用 PC（または両者の制御用 PC）から成り、同様にスイッチングハブによって接続されている。産業用ロ ボット制御 用 PC（また は産業用ロボ ット制御用 及びビデオ 用 PC）は、 Ethernet ケー ブル（100BASE-TX）によって産業用ロボットに直接接続されている。産業用ロボットは、ロボットコントローラ（CR750-Q）、力覚インタフェースユニット（2F-TZ561）、ロボットアーム（三菱電機 RV-2FB-Q）で構成されている。ロボットアームの先端には力覚センサ（1F-FS001-W200）が取り付けられており、このセン

1

サで得られた値から触覚インタフェース装置に出力する反力を計算する。以下では、産業用ロボットを単にロボットと呼ぶ。

2-2 QoS 制御と安定化制御の検討
各システムを安定化し、高品質に制御するため、サービス品質（QoS: Quality of Service）制
御と安定化制御について検討した。以下の四つの制御を適用または提案し、図１における一つのシステムを用いて、実験によって、有効適用領域を明らかにした。実験では、図２に示すように、ロボットアームの力覚センサの先にトグルクランプハンドを付与し、そのハンドに金属棒を取り付けて、その棒で柔らかさの異なるボールを押す作業を行った。そして、柔らかさが正確に伝わるかどうかを比較した。
（１）フィルタを用いた安定化制御
共同研究者の三好らが以前に提案したウェーブフィルタに位相制御フィルタを組み合わせて用いる手法（図３参照）[1]を適用し、その有効性を示した。
（２）粘性による安定化制御
ロボットアームの移動量を、速度に比例する一定量だけを減じることによって粘性を生じさせて不安定現象を抑制する手法[2]を提案した。これは、粘性により振動エネルギーが消散されるためである。実験によって、その制御の効果を確認した。

2

（３）衝突時反力制御
ロボットアームに取り付けられた金属棒が硬い物体に衝突したときに、触覚インタフェース装置が出力する反力が急激に大きくなって、ロボットアームが飛び跳ねるような動きをするのを避けるために、力覚センサが急激に増大する力を検知した際、触覚インタフェース装置に出力する反力を緩やかに増大させる手法[3]を提案し、実験により、その有効性を確認した。
（４）切り替え制御
上記の制御（２）と（３）との比較を行ったところ、硬い物体に触るときは制御（３）、柔らかい物体を触るときは制御（２）が優れていることが判明したため、物体の柔らかさに応じて制御を切り替える手法[4]を提案し、その有効性を明確にした。
さらに、実験において、柔らかさの異なる四つのボール（柔らかい順に、スポンジボール、軟式テニスボール、ゴムボール、硬式テニスボール）を押す作業に対して、上記の四つの制御の比較を行い、各制御の有効適用領域を明らかにした[5]-[7]。その結果、硬いボール（ゴムボールと硬式テニスボール）に対しては、フィルタを用いた安定化制御が優れており、それ以外の柔らかいボールに対しては、切り替え制御または粘性による安定化制御が良いことが分かった。
以上の結果から、本研究で扱う協調作業においては、硬い物体を扱う場合には、フィルタを用いた安定化制御が最も有効であることも判明した。
2-3 時間的及び空間的同期制御の検討
時間的及び空間的同期制御を検討するため、図１に示す二つのシステムを用いて、一つの物体を二つのロボットアームで把持して一緒に運ぶ作業（図４）と、一つのロボットアームが把持している一つの物体を他方のロボットアームに手渡す作業（図５）を扱った。また、物体として、いくつかの長さの異なる角材を用いた（30cm、45cm、60cm）。
物体を一緒に運ぶ方法として、二つのロボット間にマスタ・スレーブの関係を持たせる方法と、対等な関係にする方法を検討した。
また、一人の利用者が二つのロボットアームを両手で操作する場合と、遠隔の二人が別々のロボットを一緒に操作する場合を対象にした。物体を手渡す作業においては、ロボット間で手渡す作業を扱う
前に、人がマジックハンドを用いて、一つのロボットアームとの間で手渡す作業（図６）を行い、どのような問題があるかを明らかにした。
（１）マスタ・スレーブ関係を用いた制御
一つのロボットをマスタとし、他方をスレーブとして、マスタロボットの動きに合わせてスレーブロボットを動かすことによって、円滑に物体を運ぶようにした[8]。具体的には、マスタロボットアームの位置情3

報をスレーブロボット側のスレーブ端末に送信して、スレーブロボットを動作させた。マスタロボット側のスレーブ端末とスレーブロボット側のスレーブ端末間のネットワーク遅延が大きくなると、ロボットアーム間の位置のずれが大きくなり、物体に大きな力が働く可能性があるため、ネットワークエミュレータを用いて、ネットワーク遅延の影響を調査した。その結果、ネットワーク遅延が大きくなるにつれ、物体に働く力が強くなることを定量的に明らかにした。もし物体が壊れやすいものならば、この力によって破壊されるため、大きな力が働かないように制御することが必要であることを確認した。
（２）適応型Δ因果順序制御の適用
マスタ・スレーブ関係を用いた制御において、ネットワーク遅延の増大につれて、物体に働く力が大きくなるという問題を解決するためには、マスタロボットとスレーブロボットを同時に動かす、時間的同期制御が必要である。この制御については、研究代表者の石橋らがこれまでに提案してきた適応型Δ因果順序制御を適用すれば、高品質な制御が実現できる可能性があるため、この制御を実装して、同様の実験を行った。
適応型Δ因果順序制御は、Δ因果順序制御におけるΔの値をネットワーク負荷に応じて動的に変更するものである。具体的には、マスタロボット側のスレーブ端末からスレーブロボット側のスレーブ端末へのネットワーク遅延の値にΔの値を設定し、マスタロボットに送信する位置情報をスレーブロボットにも送信するとともに、マスタロボットへの送信をΔ秒だけ遅らせる。実験の結果、ネットワーク遅延が増大しても、大きな力が働くことなく、作業が行えることを確認した。この結果については、今後、電子情報通信学会コミュ
ニケーションクオリティ（CQ）研究会や国際会議などで発表する予定である。
（３）力情報を用いたロボット位置制御
二つのロボット間に対等な関係を持たせる場合には、力覚フィードバックとビデオで確認しながら作業を行うことになるので、マスタ・スレーブ関係を持たせる場合よりも、不安定現象や大きな力が発生しやすくなる[9]-[11]。このうち、不安定現象については、二つのロボットアームが一つの物体によって接続されることになるため、バイラテラル制御からマルチラテラル制御となるからである。大きな力の発生については、一人が両手で作業する場合よりも、二人が一緒に作業する方がより深刻になる。本研究では、主に大きな力の発生を抑制する制御を検討することにし、マルチラテラル制御における不安定現象の抑制については、触覚インタフェース装置に出力する反力をあまり大きくしないようにして不安定現象の発生を避け、今後も継続して研究することとした。
前者の問題を抑制するためには、時間的同期制御だけでなく、空間的同期制御を行うことが必要である。
この制御に関しては、ビデオで確認することに加えて、力覚フォードバックを用いて、高精度に行わなければならない。そのために、人の力に関する知覚特性を調査し、その調査結果を用いて、空間的同期制御を行うことを考えた。人の力に関する知覚特性の調査では、図１と図２の実験環境を用いて、片方のロボットアームだけを動かすことによって、どの程度の力が加われば、他方のロボットの操作者に知覚できるかを調べた[12]-[14]。
空間的同期制御では、上記の調査結果を利用して、操作者に知覚できないように、ロボット間の力に関する情報を用いてロボットアームを半自動的に動かす、力情報を用いたロボット位置制御によって、高精度な操作を実現した。人の力に関する知覚特性に関する調査結果を用いて、提示された力から移動距離を求め、その距離をロボットアームの位置に加えるというものである[15]。
図１のネットワークの代わりにネットワークエミュレータ（NIST Net）を用いて、マスタ端末と対応するスレーブ端末間で転送されるパケットに固定の付加遅延を発生させて、角材を一緒に運ぶ作業を行い、力情報を用いたロボット位置制御を行う場合と行わない場合との比較を行った。その結果を図７に示す。図７は、付加遅延に対する平均反力の平均（反力の時間平均の回数平均）と最大反力の平均を示している。図には、95％信頼区間も示されている。
図７から、制御有りの平均反力の平均と最大反力の平均は、制御無しのそれらより小さく抑えられていることが分かる。これは制御の効果である。また、図から、付加遅延が大きくなるにつれ、平均反力の平均と最大反力の平均が大きくなることも確認できる。今後、上記の（２）の適応型Δ因果順序制御との併用により、さらに改善する予定である。

4

（４）ロボット位置の追従制御
人とロボット間で物体を手渡す
作業[16], [17]と、二つのロボット間で物体を手渡す作業[18]-[21]を比較した結果、作業時間は大きく変わらず、ともに長いが、物体に働く力が大きく異なることが判明した。二つのロボット間で手渡す方が大きな力が物体にかかったのである。ロボットアームの先端に付与した電動ハンドの開閉の際だけでなく、手渡す場所まで移動するときに、電動ハンドが物体に衝突することがあり、大きな力が働くことが判明した。作業時間が長いという問題と、大きな力が物体にかかるという問題を解決するた
め、ロボット位置の追従制御を提案した[22]。追従制御は、物体を円滑に手渡すために、一つのロボットアームの位置を、もう一方のロボットアームの位置へ自動的に近づけていき、ある程度まで近づいた後は、手動との組み合わせによって、手渡しを実現する。
図７の場合と同様にして、付加遅延を発生させて、角材を手渡す作業を行い、作業時間の測定を行った。
作業は、図４に示すように、二つのロボットアームに取り付けられた自動開閉可能な電動ハンドで一つの角材を把持し、角材の前後に積み上げられた最も上の積み木を落とすようにした。これは、各実験において、ほとんど同じ作業を行えるようにするためである。実験の結果を図８に示す。図には、角材を受け取る作業と渡す作業に対して、追従制御ありとなしの場合の、付加遅延に対する平均作業時間を示している。この図にも 95%信頼区間が示されている。
図８から、制御ありの平均作業時間は、制御なしのそれと比べて小さくなっていることが分かる。また、付加遅延が大きくなると、制御なしの平均作業時間は大きく増大するが、制御ありのそれは、それほど大きくなっていない。さらに、受け取る作業と渡す作業では、平均作業時間は大きく異ならないことが分かる。
人がロボットに角材を手渡す場合に角材にかかる力と、ロボット間で角材を手渡す場合のそれを比較した
ところ、ロボット間の方が大きくなることが判明した。今後は、角材にかかる力が人が手渡す場合と同程度以下になるように工夫する予定である。

3 今後の予定
今後の技術的な課題として、（１）マルチラテラル制御における安定化制御と、（２）ロボットとロボット間における協調の高効率化、が挙げられる。これらは、事前に予測できたものであるが、特に（１）は、世5

界的に見て研究がまだ十分に行われていない状況にある。難しい課題であるが、それだけにやりがいがある課題である。今後の研究の方向性を考える上でも重要である。
3-1 マルチラテラル制御における安定化制御
ネットワーク遅延が考慮された状況でのマルチラテラル制御の安定化は、これまでにほとんど行われておらず、この課題に取り組むことは大きな価値がある。この課題は、産業用ロボットの力覚センサで得られた力を触覚インタフェース装置にフィードバックする際に、力を小さくすれば、ある程度解決できることが判明しているため、本研究では、フィードバックする力をある程度小さくして、検討を行ってきた。現在、この問題に本格的に取り組み始めたところである。
3-2 ロボット－ロボット間および人－人間における協調の高効率化
遠隔にある複数のロボットが協調するためには、ある程度のインテリジェンスが必要である。すなわち、AI（Artificial Intelligence）をロボットに入れることになるが、多くの研究がこの分野では行われているため、研究の新規性として、力覚フィードバック情報の処理に AI を利用することを考えている。
現在、力情報を用いたロボット位置制御に対して、ニューラルネットワークを適用し始めている。今後、その他の制御にも AI を利用していく予定である。

【参考文献】[1] 黄平国, 三好孝典, 石橋豊, “遠隔ロボットシステムにおけるバイラテラル制御の安定化,” 電子情報通信学会技術研究報告, CQ2016-125, Mar. 2017.
[2] 力石貴文, 石橋豊, 黄平国, 三好孝典, 大西仁, 立岩佑一郎, K. E. Psannis, 渡邉均, “遠隔ロボットシス
テムにおける粘性による安定化制御の効果,” 電子情報通信学会技術研究報告, MVE2017-19, Sep. 2017.
[3] 有馬僚, 黄平国, 石橋豊, 立岩佑一郎, “力覚を用いた遠隔ロボットシステムにおける物体の柔らかさの評
価: 衝突時反力制御と安定化制御の比較,” 電子情報通信学会技術研究報告, CQ2017-98, Jan. 2018.
[4] Q. Qian, Y. Toyoda, Y. Ishibashi, P. Huang, and Y. Tateiwa, "Switching between stabilization
control by viscosity and reaction force control upon hitting in remote robot system with haptics,"
IEICE Global Conference, SB-2-14, Mar. 2018.
[5] 田口英次郎, 石橋豊, 黄平国, “力覚を用いた遠隔ロボットシステムにおける物体の柔らかさの識別実験:安定化制御の効果,” 電子情報通信学会技術研究報告, CQ2017-38, July 2017.
[6] Q. Qian, Y. Ishibashi, P. Huang, Y. Tateiwa, and H. Watanabe, “QoE assessment of object
softness in remote robot system with haptics: Comparison of stabilization control,” IEICE
Technical Report, CQ2018, May/June 2018.
[7] Q. Qian, Y. Ishibashi, P. Huang, Y. Tateiwa, H. Watanabe, and K. E. Psannis, “Softnesscomparison of stabilization control in remote robot system with force feedback,” in Proc. IEEETENCON, pp. 32-37, Oct. 2018.
[8] N. Hameedha, Y. Ishibashi, P. Huang, and Y. Tateiwa, “Cooperation between remote robot
systems with force feedback by using master-slave relation,” 電気学会東海支部「ビックデータ利活用のための情報通信と信号処理」若手セミナー, Sep. 2018.
[9] 田口英次郎, 石橋豊, 黄平国, 立岩佑一郎, “力覚を用いた遠隔ロボットシステム間の協調作業実験,” 電
子情報通信学会総合大会, B-11-17, Mar. 2018.
[10] 田口英次郎, 石橋豊, 黄平国, 立岩佑一郎, “力覚を用いた遠隔ロボットシステム間の協調作業における安定化制御の比較,” 平 30 電気・電子・情報関係学会東海支部連合大会, H2-3, Sep. 2018.
[11] E. Taguchi, Y. Ishibashi, P. Huang, Y. Tateiwa, and T. Miyoshi, “Comparison of stabilization
control in cooperation between remote robot systems with force feedback,” in Prof. The 11th
International Conference on Future Computer and Communication (ICFCC), Feb. 2019.
[12] 長田大輝, 石橋豊, 黄平国, 立岩佑一郎, “力覚を用いた遠隔ロボットシステムにおける力の方向の知覚特性,” 電子情報通信学会技術研究報告, CQ2018-31, July 2018.

6

[13] Q. Qian, Y. Ishibashi, P. Huang, and Y. Tateiwa, “Assessment of force perception in remoterobot system with haptics,” IEICE Society Conference, BS-7-22, Sep. 2018.
[14] Q. Qian, D. Osada, Y. Ishibashi, P. Huang, and Y. Tateiwa, “Human perception of force incooperation between remote robot systems with force feedback,” in Proc. The 4th IEEE
International Conference on Computer and Communications (ICCC), Dec. 2018.
[15] 田口英次郎, 石橋豊, 黄平国, 立岩佑一郎, “遠隔ロボットシステム間の協調作業における力情報を用いたロボット位置制御の効果,” 電子情報通信学会総合大会, B-11-1, Mar. 2019.
[16] 豊田裕一, 石橋豊, 黄平国, 立岩佑一郎, 渡邉均, “力覚を用いた遠隔ロボットシステムにおけるネットワーク遅延が人との協調作業の効率に及ぼす影響,” 電子情報通信学会技術研究報告, CQ2018-60, Apr.
2018.
[17] Y. Toyoda, P. Huang, Y. Ishibashi, Y. Tateiwa, and H. Watanabe, “Efficiency of cooperation
between human and remote robot system with force feedback,” in Proc. IEEE International
Conference on Intelligence and Safety for Robotics (ISR), pp. 152-157, Aug. 2018.
[18] 豊田裕一, 石橋豊, 黄平国, 立岩佑一郎, 渡邉均, “ネットワーク遅延が力覚を用いた遠隔ロボットシステ
ム間の協調作業に及ぼす影響,” 革新的無線通信技術に関する横断型研究会(MIKA), Sep. 2018.
[19] Y. Toyoda, Y. Ishibashi, P. Huang, Y. Tateiwa, and H. Watanabe, “Efficiency of cooperation
between remote robot systems with force feedback,” in Proc. 2018 IEEE International Conference
on Electronics and Communication Engineering (ICECE), Dec. 2018.
[20] Q. Qian, Y. Toyoda, Y. Ishibashi, P. Huang, and Y. Tateiwa, “Experiment on handover of object
between remote robot systems with force feedback,” 電気学会東海支部「ビックデータ利活用のための情報通信と信号処理」若手セミナー, Jan. 2019.
[21] Q. Qian, Y. Toyoda, Y. Ishibashi, P. Huang, and Y. Tateiwa, “Effect of stabilization control on
hand delivery of object between remote robot systems with force feedback,” IEICE Global
Conference, BS4-23, Mar. 2019.
[22] 豊田裕一, 石橋豊, 黄平国, 立岩佑一郎, 渡邉均, “力覚を用いた遠隔ロボットシステム間における物体を手渡す作業に対するロボット位置の追従制御,” 電子情報通信学会技術研究報告, CQ2018-90, Jan. 2019.

7

〈発題名

力覚を用いた遠隔ロボットシステム間の協調作業実験
力覚を用いた遠隔ロボットシステムにおけるネットワーク遅延が人との協調作業の効率に及ぼす影響
力覚を用いた遠隔ロボットシステムにおける物体の柔らかさの識別実験: 安定化制御の効果
遠隔ロボットシステムにおける粘性による安定化制御の効果
力覚を用いた遠隔ロボットシステムにおける物体の柔らかさの評価: 衝突時反力制御と安定化制御の比較
Switching between stabilization control
by viscosity and reaction force control
upon hitting in remote robot system withhaptics
QoE assessment of object softness inremote robot system with haptics:
Comparison of stabilization control
力覚を用いた遠隔ロボットシステムにおける力の方向の知覚特性
Efficiency of cooperation between humanand remote robot system with force
feedback
力覚を用いた遠隔ロボットシステム間の協調作業における安定化制御の比較
Assessment of force perception in remoterobot system with haptics
Cooperation between remote robot
systems with force feedback by using
master-slave relation
ネットワーク遅延が力覚を用いた遠隔ロボ
ットシステム間の協調作業に及ぼす影響
Softness comparison of stabilization
control in remote robot system with force
feedback
Human perception of force in cooperation
between remote robot systems with force
feedback
Efficiency of cooperation between remoterobot systems with force feedback
力覚を用いた遠隔ロボットシステム間における物体を手渡す作業に対するロボット位
置の追従制御Experiment on handover of object
between remote robot systems with force
feedback
Comparison of stabilization control incooperation between remoterobotsystems with force feedback

表資料〉

掲載誌・学会名等

発表年月

電子情報通信学会総合大会

Mar. 2018

電子情報通信学会コミュニケーシ
ョンクオリティ（CQ）研究会

Apr. 2018

電子情報通信学会コミュニケーシ
ョンクオリティ（CQ）研究会

July 2017

電子情報通信学会（MVE）研究会

Sep. 2017

電子情報通信学会コミュニケーシ
ョンクオリティ（CQ）研究会

Jan. 2018

IEICE Global Conference

Mar. 2018

IEICE Technical Report ofTechnicalCommitteeonCommunication Quality (CQ)
電子情報通信学会コミュニケーシ
ョンクオリティ（CQ）研究会
IEEE International
Conference on Intelligence andSafety for Robotics (ISR)
電気・電子・情報関係学会東海支部連合大会
IEICE Society Conference
電気学会東海支部「ビックデータ利活用のための情報通信と信号処理」若手セミナー
革新的無線通信技術に関する横断型研究会 (MIKA)
IEEE TENCON 2019
The 4th IEEE International
Conference on Computer andCommunications (ICCC)
2018
IEEEInternational
Conference on Electronics andCommunication
Engineering(ICECE)
電子情報通信学会コミュニケーシ
ョンクオリティ（CQ）研究会
電気学会東海支部「ビックデータ利活用のための情報通信と信号処理」若手セミナー
The11thInternational
Conference
onFuture
Computer and Communication(ICFCC)

8May/June 2018
July 2018
Aug. 2018
Sep. 2018
Sep. 2018
Sep. 2018
Sep. 2018
Oct. 2018
Dec. 2018

Dec. 2018

Jan. 2019
Jan. 2019Feb. 2019

題

名Effect of stabilization control on handdelivery of object between remote robot
systems with force feedback
遠隔ロボットシステム間の協調作業における力情報を用いたロボット位置制御の効果

掲載誌・学会名等

発表年月

IEICE Global Conference

Mar. 2019

電子情報通信学会総合大会

Mar. 20199