特集論文
春名正樹＊

荻野正樹‡

Masaki Haruna

Masaki Ogino

人×機械の遠隔機械操作システム

畑小池俊昭 §

Remote Machine System with Sense of Oneness

Noboru Kawaguchi

要浩一＊Koichi Hata

川口Toshiaki Koike

昇†旨

遠隔にある観測施設の保守点検，頻発する自然災害対応，に対する優位性を持つことを脳波信号から確認した。これ

不発弾・即席爆弾処理，新型コロナウイルス（COVID－19）

らの技術を統合した小型遠隔操作ロボットは，６kgの硬除菌作業等の身体的・精神的な負担の高い作業に対して，く重いアルミニウム部材から壊れやすい生卵やポテトチッ

遠隔機械操作システム技術は人の安全と安心を実現する。

プスまでを，シンプルな操作インタフェースでありながら大型望遠鏡事業で培った機構設計・駆動制御技術を適用直感的に把持・運搬可能である。筆者らは“Small Worldした人型遠隔操作ロボットは，安定した把持を可能にする（1）
Project”
としてインドネシアの無電化・電力不安定地域

セルフロック機能を搭載した多指ハンドと，ハイパワー出に暮らす人々との交流活動を通して，慣れ親しんだ家族や力を可能にする直動リンク機構を持っている。オペレータ

友人，地域での生活が人間の幸福にとって不可欠であるとの操作負荷を最小限にするシンプルかつ直感的な操作イン実感し，生活と労働の両立の問題を考えてきた。仮想／拡

タフェースは，遠隔機械の力触覚情報を視覚的にフィード

張現実（VR／AR）技術とグローバルな通信技術の進展で，バックする新たに開発した視覚的力触覚技術を適用していこの遠隔機械操作システムが国内外での労働人口偏在のソる。視覚的力触覚フィードバックが脳内情報流の45％低減リューションになることを目指し開発を推進している。

効果，及び視覚以外のモーダル（音と振動）
フィードバック
どこにいても，いつでも，“手”を取り合える共生の世界
安定した把持とハイパワー出力が可能な人型ロボット（2）人の認知能力を活用した操作インタフェース技術（3）ファースト・スター（注1)
発見を支援する（5）TMT（注2)ロボット技術（4）

遠隔地施設の保守 ・ 点検時待機自然災害対応

身体時・精間神か解・放空らの間解放からの放の解ら
間か場

現業
作 放な 解険
危 らのか

不発弾 ・即席爆弾処理（注１） 宇宙創生時のビッグ・バン直後の初期の光

ナロ
コ 放ith 解W らのか・移動遠隔機械操作システム

COVID－19の除菌作業

出稼ぎ労働

身体 ・ 精神の拡張（注２） TMTは，TMT International Observatory LLCの登録商標である。

人×機械の遠隔融合システムが実現する，“どこにいても，いつでも，“手”を取り合える共生の世界”（イメージ）（5）（3）
TMT（Thirty Meter Telescope）
ロボット（4）
開発で培った要素技術群を適用したハイパワーな人型遠隔操作ロボット，及び視覚的力触覚（2）を搭載したシンプルかつ直感的な操作インタフェースの統合によって，人の身体的・精神的な負荷を解放し，さらに“拡張”への進化を目指す。
遠隔機械操作システムは人の安心と安全，慣れ親しんだ地域で家族や友人との生活を維持できる遠隔労働を可能にする。“どこにいても，いつでも，“手”を取り合える共生の世界”実現を目指し開発を推進する。

三菱電機㈱ 先端技術総合研究所 †同社 通信機製作所 ‡関西大学（工博）
Mitsubishi Electric Research Laboratories Inc.
（工博）

＊
§

三菱電機技報・Vol.95・No.4・2021

19（239）

特集論文－12～+80

1．ま え が きyx－80～+5

日本を含む先進国では人口減少と少子高齢化による労働－20～+60

力不足が懸念されている。その解決策として自律ロボット－60～+0の開発があり，人工知能技術のロボット適用が期待されている。特に，移動技術についてはGoogle社の自動運転，

x－20～+20

x－45～+45

及びBoston Dynamics社やMIT（マサチューセッツ工科大zz

y－30～+10－25～+30y学）の脚移動の進展は著しい（図１）。三菱電機の取組みでxも人運転行動から人工知能技術によって自動運転行動が獲－15～+15－15～+15得可能であることを確認している 。
（6）

一方で，人の手を代替できる精巧な自律マニピュレー⒜

ションの実現は数十年先であるとも言われている。近年，VR／AR技術及び通信技術の進化から，遠隔操作が駆動範囲（単位 ： °）120

注目を集めている。1940年代に放射線環境での作業を目155的に研究が始まり，1980年代に電気・計算機技術の進展

165によってテレイグジスタンスやテレプレゼンスに昇華され132た。近年は手術支援ロボットが実用化されて活躍している

18

が，人作業代替を実現した遠隔機械操作システムはない。

66
74424

2．ハイパワーな人型遠隔操作ロボット（5）
三菱電機の大型望遠鏡事業（4）で重量物の高精度な駆動を実現するために培ったセルフロック機構をハンドに，直18動リンク機構を上半身に採用した42自由度の人型遠隔操⒝作ロボット技術検証機を構築した。片手で11自由度を持つ図２．人型遠隔操作ロボット試作機の設計（2）機械ハンドの各関節には，高減速ウォームギヤが実装され，対象物形状に沿って安定した把持が可能である。17自由駆動トルク（単位 ： Nm）

度を持つ機械上半身（ハンド除く）の各関節には直動リンク機構が実装され，限られた体積と質量で高い推力を実現している。駆動範囲と駆動トルクを図２に示す（2）。

3．直感的かつシンプルで繊細な作業ができる操作インタフェース
3. 1
追跡調査時に撮影（2016年12月）⒜

予想外の状況に即座に対応するGoogle社の自動運転車両

直感的な運動伝達インタフェース

手を使う作業をする際には，オペレータの手先位置と姿勢をロボットハンドへ正確に運動伝達することが重要である。この実現方式として順運動学方式と逆運動学方式の二つがある。順運動学方式として小型アームを利用した機械式操作インタフェース，逆運動学方式としてオペレータの手先空間６自由度計測できる光学計測式操作インタフェー
スを運動伝達検証用として試作した（図３）。機械式操作インタフェースはロボットと同じ構造の小型アームをオペ

デモ参加時に会場で撮影（2015年5月）⒝

Boston Dynamics社の４足歩行ロボット

図１．自律化の進展が著しい移動技術
20（240）レータが動かすことで直感的に全ての関節角度を生成できる。演算が不要であり，かつ，計測安定性が高い利点がある。一方で，操作インタフェースの自重がオペレータの負三菱電機技報・Vol.95・No.4・2021

人×機械の遠隔機械操作システム

3. 2. 3

視覚伝達

脳波計測による操作性評価

ハンド接触点に視覚的な力触覚情報
逆運動学方式

順運動学方式を重畳する提案手法の操作性を，脳波（EEG）計 測 デ ー タ にSCoT（Smooth Coherence Transform）ライブラリを使用機械式して解析・評価した。SCoTは脳波セン

光学計測式

腰運動伝達

サによって取得された脳波データから定

図３．二つのオペレータの手先位置・姿勢の運動伝達インタフェース

常ベクトル自己回帰モデルを構築して脳内信号の接続性の相関を推定する手法で荷になる課題がある。光学計測式操作インタフェースは手ある。この解析では，32チャネルの電極を10－20法で規定

先の空間計測だけでよくシンプルでオペレータの負荷が小される主要な頭皮の位置をカバーするように配置してデーさい利点がある。一方で，冗長自由度や関節駆動限界等にタ計測した後に，前頭部，後頭部，頭頂部，側頭，運動領ついて対策が必要である。アプリケーションによって運動域の五つの部位に射影し，さらに脳内信号の接続性の因伝達インタフェースの選択，組合せ，切替えをして最適な

果 関 係 解 析 にffDTF（full frequency Directed Transfer

操作インタフェースを提供することが可能である。

Function）を用いて，これら五つの部位の脳内信号の流れの方向（興奮している時系列）を矢印で，流れの量を線の太3. 2 シンプルで繊細な作業ができる視覚的力触覚伝達技術
3. 2. 1

さとして表す。本稿ではこの脳内信号の流れの方向と量を“脳内情報流（無単位）”という（図５）。

既存の力触覚伝達技術

視覚効果の有無による操作性を図６に示すVR環境で評価した。１分間，次々と現れる“生卵”
をゴールエリアに移遠隔機械の力触覚情報を物理的に伝達する方式として，設置型とグローブ型がある（表１）。特にHaptX
社のグローブ型のHaptX Glovesは，各指先に表１．物理的な力触覚伝達インタフェース30点の力フィードバックを搭載した最先端の市販品であって秀逸である。ただし，システムとしては圧縮機を含めて大型化する課題がある。
また，人の力触覚は表層の皮膚感覚刺激だけではなく，深部感覚の重要性も指摘されている。
3. 2. 2

視覚的力触覚技術の提案

人の力触覚認知には視覚が深く関与していることが知られている。Intuitive Surgical社の手術支援ロボットda Vinci（注4）では，物理的な力触覚情報がなくとも手術が可能であることが示

名称
メーカー／研究者
質量（kg）

Sigma.7
ForceDimension
データなし型
設置型
手首への力✓
フィードバック
指先への力✓
フィードバック
指先への触覚フィードバック（注３） 空気圧縮機を除く

HGlove0.75

Prime Haptic HaptX Gloves なし
TechExperts
Manus VR
HaptX
Inc.
データなし
0.45（注3）
データなし

グローブ型

グローブ型

Haption✓✓（５点）

グローブ型

グローブ型

✓✓

✓（120点）唆されている。これら知見と筆者らの体験から，
この開発では図４に示すように力触覚映像をロボットのカメラ映像にAR技術によって重畳す

力触覚情報を視覚的に重畳したカメラ映像

カメラ映像

ることで，操作インタフェースの簡素化と操作性の向上の両立を目指した（3）。ロボット指先の力触覚情報

接触点に視覚的力触覚情報を重畳する提案は筆者らの調査範囲で前例がない。また，この手法
はARを利用するため遮蔽物のある作業に対してもロボット指先の接触状態をオペレータに視覚的に知らせることが可能である。
（注４） da Vinciは，Intuitive Surgical Inc.の 登 録 商標である。

三菱電機技報・Vol.95・No.4・2021

オペレータ
映像化された力触覚情報を脳内で復元して遠隔操作を実行

ハンド指先に重畳された
視覚的な力触覚情報

人型遠隔操作ロボット（試作機）

運動伝達

図４．提案する視覚的な力触覚伝達技術
21（241）

特集論文

頭頂葉動させる作業である。結果として，脳内情報流運動領域後頭葉として45％の低減，及び“慣れ”を促進する効果

前頭葉側頭葉が確認された（3）（図７⒜ ⒝）。また，被験者の主視覚効果なし

観評価と脳内情報流の低減量には高い相関が視覚効果ありあり（ピアソン係数：0.795，p 値：0.011＜0.05），32チャネル脳波（EEG）計測データ

図７⒞），脳波が操作性評価の定量的指標と五つの脳機能に射影脳内情報流の可視化して活用できることを確認できた。

図５．操作性の脳波データ解析プロセス（3）さらに，人の応答性が高いとされる“音（スピーカー）”，物理的な力触覚フィードバック“生卵”出現エリアの一つである“振動（モータ）”，及び提案手法の視覚フィードバックとして“光”の三つのモーダルについて操作性の評価を実施した（図８）。結果として，把持力は“光”が最も小ゴールエリア“生卵”さく操作性が高いことが確認された（図９⒜）。また，主観

CGハンド評価として，遠隔作業空間に情報が集約されていることが操作性を向上させるという意見が多く“光”が最も高い評価であった（図９⒝）。脳内情報流としては“振動”と“光”が同視覚効果あり等であった（図９⒞）。

図６．VR環境での操作性評価試験

1.2
0.8
0.4
0.0

視覚効果なし⒜＊＊（ p ＜0.011）

40＊（ p ＜0.05）
生卵運搬成功回数（1分当たり）

脳内情報流

1.630

非有意

＊

脳内情報流の低減量（%）

視覚効果なし視覚効果なし＊視覚効果あり＊20100

視覚効果あり脳内情報流の比較

100
500－5090%信頼区間

１回目 ２回目 ３回目－100－100 －50 0
50 100
主観評価⒝⒞

ゲーム成功回数の比較

被験者の主観評価と脳内情報流の低減量の比較

図７．提案する視覚的力触覚技術の有無による評価結果（3）32チャネル脳波（EEG）計測器

操作インタフェース

5自由度アーム

腕位置計測カメラ

ハンドギャップ制御
インタフェース
把持対象物

振動モータ
スピーカー

LED
圧力センサ

アーム拘束面図８．“音”“振動”“光”のモーダルフィードバックの比較評価試験
被験者 ：

ID1

ID4

ID5

ID6

ID7

AVG

4

フィード
バック
なし

⒜

音
フィード
バック

振動
フィード
バック

把持力の比較

光
フィード
バック

33

脳内情報流

主観評価

把持力（g）

100
90
80
70
60
504030

2
10

音
フィード
バック

フィード
バック
なし

⒝

振動
フィード
バック

光フィード
バック

2
10

フィード
バック
なし

主観評価の比較

⒞

音
フィード
バック

振動
フィード
バック

光
フィード
バック

脳内情報流の比較

図９．“音”“振動”“光”のモーダルフィードバックの比較評価結果
22（242）三菱電機技報・Vol.95・No.4・2021

人×機械の遠隔機械操作システム

これらの評価結果から，感覚フィードバックとしてハン限られた体積でハイパワーな出力が得られ，片腕で６kg

ド接触点に視覚的な力触覚情報を重畳する提案手法は，操以上の対象物把持・運搬ができた（図10 ⒝）。さらに，直作インタフェースを最小限にしながらもオペレータの認知感的な運動伝達インタフェースを介して人が操作すること負荷を低減するとともに，直感的で繊細な作業に効果があで初めてのタスクでも柔軟に実施することが可能であった

ることを確認できた。

（図10 ⒞）。
生卵，ポテトチップス，名刺の三つの繊細な把持・運搬4．人型遠隔操作ロボットシステム試作機
での作業検証作業，及びアルコール容器把持について提案した視覚的力

セルフロック機構を搭載したハンドはボール，アルミ応じて視覚的な力触覚情報が変化するハンド指先の色のニウム容器，石等を安定して把持できた（図10 ⒜）。また，変化を見ることで適切な力で把持と運搬が可能であること，ハンドを除く各関節軸に直動リンク機構を採用したことで遮蔽物のある作業に対してもロボット指先の接触状態を視触覚技術の検証を実施した（図11）。どの作業も把持力に覚的に提示可能であることを確認できた。

5．むすび

本稿では，大型望遠鏡事業で培った技術を適用したハイ⒜

セルフロック機構搭載ハンドの安定した把持パワーな人型遠隔操作ロボット，これを直感的に操作する運動伝達インタフェース，及びシンプルで繊細な作業を可能にする視覚的力触覚伝達技術の提案と脳波計測による有効性実証結果について述べた。これら要素技術を統合したシステムは６kg以上の対象物から繊細な把持力調整が必要なポテトチップスまでの把持・運搬が可能であることを実証した。今後，開発した技術をコアに，身体的・精神的な負担の高い作業に対して人の安心と安全，さらに，⒝

片腕６kg以上の把持 ・ 運搬が可能なハイパワーな人型遠隔操作ロボット

Small World Projectの活動（1）で考えた人間の幸福を実現できる生活と労働の両立を可能にする遠隔機械操作システ
ムの社会実装を目指す。
今回の技術開発に当たって，ハードウェア及びソフトウェアの製造には三菱電機エンジニアリング㈱と三菱電機
マイコン機器ソフトウエア㈱が参画し実現した。

トグルスイッチ操作⒞

ファスナー操作

円筒挿入操作

参 考 文 献遠隔操作による様々なタスクへの柔軟な対応

図10．直感的な運動伝達インタフェースによる作業検証⑴⑵⑶
生卵の把持 ・ 運搬

ポテトチップスの把持 ・ 運搬

名刺の把持 ・ 運搬⑷⑸⑹
アルコール容器把持で遮蔽が発生時にもARで力触覚情報を提示

図11．視覚的力触覚技術を適用した繊細な作業検証

三菱電機技報・Vol.95・No.4・2021

三菱電機㈱：三菱電機グループとSDGs Small World Project
BOP層の暮らしに向けた研究開発の取組（2018）
http://www.mitsubishielectric.co.jp/corporate/csr/management/sdgs/
pdf/small_world_project.pdf春名正樹，ほか：人×機械の遠隔融合システムの開発―視覚的力触覚を利用した操作提案と基礎検証―，情報処理学会インタ
ラクション2020，448～453（2020）
Haruna，M.，et al.：Proposal and Evaluation of Visual Haptics for Manipulation of Remote Machine System，Front．
Robot．AI，DOI：10.3389/frobt.2020.529040（2020）
三菱電機㈱：注目の研究・技術／次世代超大型望遠鏡TMT「分割鏡交換ロボット技術」（2016）
http://www.mitsubishielectric.co.jp/corporate/randd/spotlight/a28/index.
html
Haruna，M.，et al.：Force control technology of segment
mirror exchange robot for Thirty Meter Telescope（TMT），
Proc. SPIE 9906，Ground-based and Airborne Telescopes
VI（2016）
Otsubo，S.，et al.：Modular Neural Network for Learning
Visual Features, Routes, and Operation Through Human
Driving Data Toward Automatic Driving System，JACII
2020，24，No.3，368～376（2020）23（243）