情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-74
2020/3/9

人×機械の遠隔融合システムの開発- 視覚的力触覚を利用した操作提案と基礎検証 春名正樹†1 †5，川口昇†1，猿田祐輔†1，星野隼人†1, 岡本俊樹†1，道田塁†2，上田賢†2, 神田吉孝†3, 佐藤亨†3, 小池俊昭†4, 荻野正樹†5
概要：世界人口は増加傾向である一方，先進国では人口減による労働力不足が問題となっている．本論文では，その問題の解決策として，遠隔制御技術による人口の少ない地域から多い地域への作業委託というソリューションを提案する．その実現のためには，オペレータの操作インターフェースが単純で， かつ，一体感のある遠隔操作システムとなる．本論文では，その技術基盤として，セルフロック機構を採用した多指ハンド，直動リンク機構を採用した人型遠隔機械，及び，視覚的力触覚を採用した操作インターフェースから構成されるシステムを提案する．本提案システ
ムの基礎的な作業実現性を技術検証機にて確認した．また，脳波計測を利用した視覚的力触覚による操作性評価の取組みについても記載する．

1. はじめにて不可欠であると考え，生活と労働の両立の問題を考えてきた．提案する遠隔制御システムは，地域の生活環境を壊

20 世紀初頭に約 15 億人であった世界人口は，2000 年にさずに出稼ぎを可能にする可能性を秘めており，労働者のは 61 億人に到達し，2011 年には 70 億人を超える．その一生活環境における幸福度を下げずに，労働力不足の問題・方で，日本では人口減少と少子高齢化による労働力不足がアクセス困難な地域や災害現場での作業の問題を解決し得懸念されている[1]．その解決策として自律ロボットの開発る．また，図 2 に示すように遠隔機械システムは労働力不がある．AI 技術のロボットへの適用が期待されており，近足だけでなく，遠隔地の観測施設の保守点検，頻発する自年その進展は目覚しい．特に，移動技術については Google

然災害対応やテレワークなど幅広い用途が考えられる．の自動運転技術，及び，脚移動技術の発展は著しい[ 2][3]．
一方で，人の手を代替できる精巧な自律手指制御の実現は数十年先であるとも言われている[4]．災害現場など高度な判断が必要となる現場での自律的な作業の実現は遠い．海
外人材の積極的な活用も労働力不足のもう一つの有力な解決策と考えられている．実際，海外からの出稼ぎ労働者の数は増加傾向にあり，米独英では人口に占める移民比率は2015 年に 10%を超えており先進国での労働力不足に貢献

図 1

Small World Project [6] a

している[5]．しかし，出稼ぎ労働者の増加は地域生活での文化摩擦の問題等，解決すべき課題を内包している．
本論文では，上記のアプローチに代わる新たなソリューションとして，自律化で代替できない人作業について, 海外等の遠隔地からでも労働力不足の補完を可能とする遠隔機械システムを提案する．出稼ぎ労働にかわる提案を行う
理由は，労働者の生活環境を重要視しているからである．
我々の所属グループでは，技術によって世界の人々の生活を向上させることを目的とし，Small World Project[6]としてインドネシアの無電化地域・電力不安定地域に暮らす人々との交流活動を行っている（図 1）．その活動を通して，慣れ親しんだ家族や友人，地域での生活が人間の幸福にとっ

図 2

遠隔機械システムのアプリケーションイメージ†1 三菱電機(株)†2 三菱電機エンジニアリング(株)†3 三菱電機マイコン機器ソフトウエア(株)†4 Mitsubishi Electric Research Laboratories†5 関西大学© 2020 Information Processing Society of Japan448

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-74
2020/3/9

本論文では，遠隔操作による人代替作業を可能とするた一方，外科手術支援ロボットにおける力触覚提示の有効性めに，安定した把持を目指したセルフロク機能を搭載したが示されている[9][10]にも関わらず, da Vinci を操作する外多指ハンドと，ハイパワー出力を可能とする直動リンク機

科医からは，視覚によって力触覚提示が補われており力触構を有する人型遠隔機械を提案するとともに，操作インタ覚提示は重要でないという意見がある[11]．

ーフェースとしてオペレータが取付ける機器を最小限にす

本開発では，遠隔機械カメラの映像に力触覚情報を ARるために物理的な力触覚のフィードバックを利用しない，技術で視覚的に重畳することで，オペレータに物理的な力視覚的力触覚技術を適用した操作インターフェースを提案

触覚提示を必要としない操作インターフェースを提供しなする．2 章ではこれら 2 つの提案の基礎的な効果を検証すがらも，「一体感」のある遠隔操作システムの実現を目指しるために構築したシステムについて記載する．3 章では構ている．図 4 に操作インターフェースを示す．人への感覚築したシステムの有効性を実作業で検証した結果を述べ伝達インターフェースは視覚提示デバイスのみのためシンる．4 章ではオペレータの操作性を評価するために取組みプルな構成が可能である．機械への運動伝達は環境安定性を始めた脳波計測方法とその結果の一例を紹介する．の高い機械式の角度検出センサを利用している．

2. 人×機械の遠隔融合システム
2.1 人型遠隔機械
11 自由度を有する機械ハンド(片手)の各関節には，高減速ウォームギヤによるセルフロック機能が実装され，対象物形状に沿って安定した把持が可能である．17 自由度を有する機械上半身(両手ハンド除く)の各関節には直動リンク機構が実装され，限られた体積と質量で高い推力を実現し

図 4

視覚ベース操作インターフェース（技術検証機）ている．機械構造，及び，駆動範囲と推力設計値を図 3 に示す．これら技術は三菱電機(株)の大型望遠鏡事業で重量物の高精度な駆動を実現するために，セルフロック機構や直動リンク機構を採用した実績を活用している．例えば，TMT 分割鏡交換ロボット[7]にはこれらの機構に加えて，力覚制御技術[8]が適用されている．

3. 技術検証機による作業実験
遠隔機械側のステレオカメラ映像をヘッドマウントディスプレイ（以後，HMD）に投影して，遠隔機械による作業実験を実施した．本検証では図 5 に示すように 1[m]程度離れた場所に遠隔機械とオペレータを配置した．オペレータ側と遠隔機械側のコントローラは有線 LAN で接続した．使用した HMD は Oculus DK2 や HTC VICE であり，人視力換算で 0.1 程度と低い．直感的にはオペレータが直接見て操作した方がワークとハンドの状態が良く理解できると考えたが，結果的には解像度の低い HMD の操作性が高かったことは，人が視覚を中心とした身体マッピングを脳内でしていることを伺わせる経験であった． 以下，図(a) 機械構造

6 から図 11 に示す作業実験は全て遠隔機械側のステレオカメラとオペレータ側の HMD を利用した．
図 6 から図 9 に示す作業実験は視覚的力触覚フィードバックを利用せずに実施した．セルフロック機構を搭載した多指ハンド，及び，直動リンク機構を搭載した上半身機構により，軽く柔らかいボールから，重く硬いアルミ部材まで直感的な操作で遠隔操作が可能であった．

(b) 機械駆動範囲と推力設計値
図 3 人型遠隔機械（技術検証機）
2.2 視覚ベースの人操作インターフェース「一体感」のある遠隔操作技術として，力触覚を物理的にフィードバックする技術の開発が盛んに行われている．

© 2020 Information Processing Society of Japan

図 5

システムの作業実験風景

449情報処理学会 インタラクション 2020
IPSJ Interaction 2020

ボールの把持・運搬

1P-74
2020/3/9

2kg ペットボトルの把持・運搬

図 6

作業実験(a)(a) 「ボールの把持・運搬」，及び，「2kg ペットボトル円筒の挿入作業の把持・運搬」の 2 つの作業は 1 回目の操作で作業に成功し，その後も概ね失敗することはなかった．

6kg アルミ部材の把持・運搬

図 7

作業実験(b)

変形しやすいワークを対象とする場合には，事前の人の経験値による予測とワーク変形量から，把持力(b) 「円筒の挿入作業」，及び，「6kg アルミ部材の把を脳内で容易に想像可能であることを確認した．ハ持・運搬」はいずれも複雑な形状をしたアルミ部材ンドに搭載したセルフロック機構によりワークをを把持するために 5 回程度の操作練習が必要であっ安定して把持することが可能であった．また，ステた．「円筒の挿入作業」では円筒ワークの隙間はレオカメラと HMD による立体視をすることで，2kg

1[mm]程度であるが挿入作業が可能であった．6kg ののペットボトルを把持・運搬した後にワークを直立ワークも片手で把持，運搬が可能であることを確認に置く作業も直感的に実施できた．

し，直動リンク機構の有効性を確認できた．

© 2020 Information Processing Society of Japan450

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-74
2020/3/9

ファスナー操作と内容物の取出し
図 9

作業実験(d)(d) 「ファスナー操作と内容物の取出し」は両サイドにあるファスナーを開いた後に，ベルクロで固定された蓋を開けて，内容物のプラスチック円筒を取出す作業である．対向する 2 指でファスナーを的確に把持する必要がある．ファスナー把持のために 10 回トグルスイッチの操作
図 8

作業実験(c)程度の操作練習が必要であり困難であった．機械側の指先形状や，指先部材変更などのハードウェア対策が操作性向上に寄与すると考えられる．ファスナ(c) 「トグルスイッチの操作」は 1 回目の操作で作業に成功し，その後もほぼ失敗することはなかった．指ーを把持した後には，適切な方向にアーム操作する必要があるが，アームの操作は比較的容易であった．

先をスイッチ位置に的確に合わせること，力を加えるベクトルを的確に合わせること，スイッチ操作完

図 10，及び，図 11 に示す作業実験は右手機械ハンド指了後には的確なタイミングで動作を停止する一連

先に圧力が付加された場合に点灯する LED を取付け，視覚の作業が可能であることを確認した．使用した的力触覚フィードバックの操作性への影響を実作業におい

HMD は人視力換算で 0.1 程度と低いにも関わらず，て検証した．将来的には指先の圧力に応じて輝度や色合い

人と同じ身体構造と視点からの操作により、いずれが変化する CG 映像を提示する計画である．の作業もスムーズに実施することが可能であった．

© 2020 Information Processing Society of Japan451

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-74
2020/3/9

半田付け
図 11

作業実験(f)(f) 「半田付け」は，半田ゴテを親指，人指し指，中指を使って把持することができた．指先の LED 点灯
によりコテに圧力がかかっていることがわかり把持操作を直感的にすることができた．ただし，使用した圧力センサが 1 つの指に 1 つしかなく，圧力がかかっているが LED 点灯しないこともあり改善の余地がある．

4. 生体信号による操作性評価
卵の把持・運搬図 10

BNC ケーブルの引抜作業実験(e)(e) 「卵の把持・運搬」，及び，「BNC ケーブルの引抜」
は，指先の LED 点灯によりワークに圧力がかかっていることが視覚的に理解でき，操作性が向上した．
カメラ位置から死角になる指の把持状態を視覚的に確認することが難しい場合があるが，提案手法であれば視覚的力触覚情報を CG で死角位置となる指の把持状態を表示することが可能となる．本基礎実
験では，卵を置いた台や BNC ケーブル接続ボック
スが金属光沢を有していることから反射した LEDの状況を理解することで確実な作業を実施することができた．この結果は提案する視覚的力触覚による遠隔機械操作が有効であることを示唆する．

© 2020 Information Processing Society of Japan

視覚的力触覚の操作性向上への有効性を検証するために，VR 空間内のランダムな位置に，ランダムなサイズで出現する立方体を把持して，所定の場所に運搬する実験環境を構築した．評価実験では，出現する立方体と指先が接触した場合に，視覚的効果が現れるケースと，視覚的効果が現れないケースで，被験者に 1 分間の作業を各々3 回ずつ実施してもらった．被験者は HMD を被り，HMD 前に取付けられたハンド認識装置(LEAP MOTION)で VR 空間内のハンドを操作する．操作中，被験者は 14ch の脳波計測計(EEG)を頭部に被り脳波信号を同時に計測した．評価実験の風景を図 12 に示す．
計 測 し た 脳 波 計 測 結 果 は SCoT(Smooth CoherenceTransform)により，脳内情報流として可視化処理をする．処理結果を図 13 に示す．14ch の電極を前頭葉・前部，前頭452

情報処理学会 インタラクション 2020
IPSJ Interaction 2020葉，後頭葉，運動野，頭頂部/側頭葉の 5 つの部位にマッピングして処理をしている．図 13 の中の赤い矢印は脳内情報流の流れる方向（励起される時間順序）を表している．
また，矢印の線の太さは情報流の量を現わしている．図 13の上図のように，視覚的効果がない場合には複数個所の情報が感覚情報の統合・認知を司る頭頂部/側頭葉に出現していることから，VR 空間内で欠如する力触覚情報を他情報から補完しようとしているのかもしれない．一方，図 13 の下図のように，視覚的効果がある場合には脳内情報流れがα波，β波ともに，視覚効果がない場合と比較すると 70%以上低減される結果となった．視覚的効果を重畳することにより脳内情報流が低減し，操縦者の負担が軽減できる可

1P-74
2020/3/9

5. まとめ本開発ではオペレータの操作インターフェースが単純で，かつ，一体感のある遠隔操作システムの実現を目指している．本

論文では，その技術基盤として，セルフロック機構を採用した多指ハンド，直動リンク機構を採用した人型遠隔機械，及び，視覚的力触覚を採用した操作インターフェースから構成されるシステムを提案した．本提案システムの基礎的な作業実現性を技術検証機にて実験し，その有効性を示した．また，脳波計測を利用した視覚的力触覚による操作性評価の取組みを紹介し，被験者数が一人であるが，視覚的力触覚の遠隔操作への適用が操作性向上に貢献する可能性を確認した．

能性が示唆された．
今後，被験者数を増やして視覚的力触覚の適用が遠隔操作に効果的であるかを追加検証するとともに，視覚効果の表現方法として効果的な表現を検討する予定である．

参考文献
[1]
[2]

[3]

図 12

UNITY を利用した視覚的力触覚効果の評価風景

[4]

[5]

[6]

“データブック国際労働比較 2018”, 独立行政法人 労働政策研究・研修機構, 2018.
Hae-Won Park, Sangbae Kim, “The MIT Cheetah, an ElectricallyPowered Quadrupedal Robot for High-speed Running”, 日本ロボット学会誌，2014, vol. 32，no. 4，pp. 323-328.
Siyusan Feng, et al., “Optimization based full body control for theatlas robot”, IEEE-RAS International Conference on Humanoid
Robots, 2014, pp. 120-127.
“ソフトバンクロボティクスの新たな取組みに関する記者発
表会/ロボットの進化”, SoftBank Robotics, 2017.
https://www.softbankrobotics.com/jp/set/data/news/info/20171120
a/20171120_01.pdf
萩原 里紗, ほか, “労働市場のグローバル化と労働者意識”,
日本労働研究雑誌/特集/グローバル化と労働市場, 2018,No.669, pp.18-29.
“三菱電機グループと SDGs/Small World Project BOP 層の暮らしに向けた研究開発の取組”, 三菱電機(株), 2018.
http://www.mitsubishielectric.co.jp/corporate/csr/management/sdg[7]

s/pdf/small_world_project.pdf“注目の研究・技術/次世代超大型望遠鏡 TMT「分割鏡交換ロボット技術」”, 三菱電機(株), 2016.
http://www.mitsubishielectric.co.jp/corporate/randd/spotlight/a28/i

ndex.html
Masaki Haruna, et al., “Force control technology ofsegment mirror exchange robot for Thirty Meter Telescope(TMT)”, Proc. SPIE 9906, Ground-based and Airborne Telescopes
VI, 2016[9] Chin-Hung King, et al., “Tactile Feedback Induces Reduced
Grasping Force in Robot-Assisted Surgery”, IEEE Transactions on
haptics, vol.2, no.2, 2009[10] N. Enayati, et al., “Haptics in Robot-Assisted Surgery:Challenges and Benefits”, IEEE Reviews in biomedicalengineering, vol.9, pp.49-65, 2016[11] 川嶋 建嗣, “低侵襲な外科手術を支援するロボットにおける力触覚センシング”, 日本ロボット学会誌/特集：触覚センサの要素技術・応用技術, vol.37, no.5, pp.25-28, 2019
[8]

図 13

SCoT による脳波解析結果の一例© 2020 Information Processing Society of Japan453