情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-01
2023/3/1

異種空間間のコミュニケーションを実現するロボット型メタポータル MetaPo におけるロボットハンド・インタラクション
渡辺 圭貴1,a)

林田 望海2

浦野 健太2

米澤 拓郎2河口 信夫3

概要：球体ディスプレイ，360 度カメラ，ロボットハンドを搭載し，空間間コミュニケーションの統一モデルを構築するモバイルロボット「MetaPo」を提案する．MetaPo は物理空間と物理空間，サイバー空間とサイバー空間，サイバー空間と物理空間のペア間のポータルとして機能し，複数の空間のユーザのためのパノラマコミュニケーションとモビリティ機能による没入型インタースペースマイグレーションを提供する．さらにサイバー空間からロボットハンドコントローラ（RHC）を用いて物理空間の MetaPo に設置されたロボットハンドを操作することで，映像，音声だけでなく，ジェスチャーを加えたコミュニケーションを可能にする．これにより，多人数コミュニケーションにおける問題に対応し，且つ異空間コミュニケーション体験を向上させる．本論文では，MetaPo のコンセプトと最初のプロトタイプ，およびユーザ調査の結果について説明する．

Mixed Link1. はじめに

Immersive Link

Warped !
(leaving from portal)

情報技術は，生活空間をサイバー空間，すなわち仮想現実やメタバースに拡張する．また，物理空間のデジタル対応
Space Aとして，デジタルツイン [1] の概念は，スマートシティの文脈で，学術的にも産業的にも多くの研究者を惹きつけていVirtual Portal

Space B
close

farDistance toSpace B

る．昨年度には全世代の人々のインターネット利用（SNS，オンラインゲーム含む）の平均時間が，「テレビ視聴時間」のそれを初めて超過 [2] した．また，Z 世代の 33%がオンラインとオフラインの自分の違いはないと回答し，35%はそれらの自分は非常によく似ていると回答した [3]．さらに

図 1: MetaPo によるコミュニケーションモデル

Z 世代の 55%は，インターネットはオフラインで経験するよりも創造的な空間であると回答した [3]．このように，物ある．

理空間と同様の価値をサイバー空間にもあると考える人がこのように，様々な空間を接続・統合する手法は，空間増えており，実際現在のメタバースは，オンラインとオフ間のコミュニケーションやサービスを向上させるために，ラインで自己に差異はないという，Ｚ世代の社会的価値により重要となっている．物理空間とサイバー空間をつなぐ基づいている [4]．また，現在，Rec Room, Altspace VR,手法は数多く提案されているが，「分散した物理空間とサVRChat, Horizon Worlds, MozillaHubs などのソーシャルイバー空間をつなぐ統一的な方法は何か」という重要な課

VR といった，コミュニケーションを行う様々なサイバー題が残されている．

空間の利用が増えている．そのため，選択的接触の機会が本論文では，物理空間とサイバー空間の間をつなぐロ増加し，異なる空間間の相互理解の低下につながる懸念がボット型メタポータル，MetaPo を紹介するとともに，ロボットハンドを用いたコミュニケーション手法を提案す1
23a)

名古屋大学 工学部
名古屋大学大学院 工学研究科
名古屋大学 未来社会創造機構
yoshiki@ucl.nuee.nagoya-u.ac.jp© 2023 Information Processing Society of Japan

る．MetaPo は物理空間とサイバー空間の両方に設置でき，球体ディスプレイ，360 度カメラ，ロボットハンド機能を活用して，両方の空間にいるユーザに統一されたユーザ体

791

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-01
2023/3/1

験を提供する．MetaPo は，ユーザがそれぞれの空間に留このように，ロボットを用いたコミュニケーションが有まる Mixed Link と，サイバー空間のユーザが物理空間の効であることは示されているが，これらの研究はロボット

MetaPo に仮想的に憑依する Immersive Link という 2 段階対人が 1 対 1 の場合を想定しており，今回の MetaPo のよのリンク空間を提供し（図 1），Immersive Link の際，サイうな多対多の状況を想定できていない．この多対多の状況

バー空間のユーザがロボットハンドを操作し，物理空間のでは，「複数人で限られた数のロボットハンドを排他的にどユーザにジェスチャーを伝えることができる．一般的に，う使うか」，「ロボットハンドを誰が操作しているのかを物

ジェスチャーを含む非言語コミュニケーションは，社会的理空間のユーザが理解できるのか」という課題が残る．既相互作用において共有される意味を作り出す，暗黙の対話存の研究で，virtual reality teleoperation の研究はなされである．それは感情的，あるいは機能的な意図を保つことており，Matthias らは Leap Motion Controller を用いて，があり，人間のコミュニケーションにおいて伝達されるユーザの上半身のポーズを模倣した直感的な VR ベースの意味の 60%以上を包含すると推定されている [5]．そのた

ヒューマノイドロボット遠隔操作システムの提案を行なっめ，映像，音声だけでなく，ジェスチャーを用いたコミュ

た [10]．この研究では直感的な操作を実現したが，MetaPoニケーションが大切であり，MetaPo ではロボットハンドのようなシナリオの場合，サイバー空間を動く必要があを用いることで実現する．

るため，VR デバイスのコントローラは必須であり，Leap

これらの機能・サービスにより，MetaPo は，分散したMotion Controller のようなハンドトラッキングセンサー

物理空間とサイバー空間をつなぐポータルとして機能し，では機能面で不十分である．また，Zhang らは，VR ベー

ロボットハンドによりコミュニケーション体験を向上させスの遠隔操作セットアップを使用して，深層模倣学習による．今回は MetaPo のプロトタイプを実装しユーザ調査をりロボットに操作タスクを教えた [11]．この際，ロボット行った結果，MetaPo の複数空間を繋ぐポータルとして十のエンドエフェクタは，VR ヘッドセットのモーションコ分な性能をもつことや，ロボットハンド操作システムの有ントローラの位置で制御を行なった．しかし，サイバー空効性を示せた．

間に多数ユーザが存在する場合，誰がロボットを操作して

2. 関連研究
既存の研究では，球体ディスプレイを用いたパノラマコ
ミュニケーション [6] や没入型グループテレプレゼンス [7]

いるかが理解しづらいという課題が残る．

3. MetaPo
3.1 デザインなど，多人数コミュニケーションのための同様の概念的方

MetaPo は，分散した物理空間とサイバー空間をつなぐ法が紹介されている．MetaPo は，ハードウェアとソフト

ポータルとして機能する．図 2 に MetaPo のコンセプトデウェアの組み合わせにより，これらのコミュニケーションザインを示す．各 MetaPo には対応する仮想ポータル空間モードをシームレスに統合し，いくつかのアクチュエーがあり，サイバー空間のユーザは仮想的に MetaPo に移行ションや，モビリティ機能を追加している．

できる．これにより，VR デバイスを介した没入型グルー

また，MetaPo では，サイバー空間のユーザと物理空間プテレプレゼンスを実現し，MetaPo プラットフォーム内のユーザのコミュニケーションにロボットハンドを用いでの様々なアプリケーションを可能にする．1 対多の遠隔る．既存の研究で，コミュニケーションをするにあたって，コミュニケーションは，その非対称な関係から，双方に心ロボットと人が同じ空間を共有することが，人にポジティ理的な負荷がかかる．つまり，遠隔空間をつなぐアプリブな影響をを与えることが示されている．Li らは，ロボッケーションは，どのようなサービスであってもマルチユートの物理的な存在が，コンピュータグラフィックベースのザ機能を提供する必要がある．そこで，MetaPo では，従エージェントとは異なり，あるいはより強く，人とのイン来の一対多のコミュニケーションに加え，パノラマ I/O 機タラクションに影響を与えることを示した [8]. また，コ能や複数のロボットハンドをサポートし，マルチユーザ体ミュニケーションにおいてジェスチャーが人に与える影響験の実現を目指す．

について報告されており，Dargue らが，ジェスチャーは言語情報の理解に役立つのか調査した．彼らはジェスチャー

3.2 異空間間コミュニケーション

を iconic gestures，metaphonic gestures，deictic gestures，MetaPo では，Mixed Link と Immersive Link と名付け

beat gestures の 4 つに分類し，その全てが有益であり，全られた 2 つの基本的な異空間間コミュニケーションモーての種類のジェスチャーが同様に有益であることを示し

ドを定義している．それぞれのモードでは従来のコミュニた [9]．また，Shane Saunderson らはロボットの動作からケーション方式もサポートされているが，以下ではその違受ける人間の精神の影響について調査し，ロボットがジェいに注目する．Mixed Link は，離れた場所にある空間をスチャーを用いて感情表現することで，感情をうまく伝達対等な関係でつなぐコミュニケーションモードである．そできることを示した [5]．

れぞれの空間にいるユーザは，自分の体をそれぞれの空間© 2023 Information Processing Society of Japan792

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

360°microphone
360°camera

3A-01
2023/3/1

Virtual portal space where remoteusers can virtually migrate into the MetaPo

Directional
speakers
Spheric
display
Robotic
hands
Mobilityfunction

図 2: MetaPo のデザインと仮想ポータルに置いたまま，パノラマオーディオビジュアルメディアを利用して，別の空間にいるユーザとコミュニケーションをとることができる．Mixed Link では，従来の音声・映像による通話も可能だが，MetaPo では 360 度のハードウェアにより，より広い視野と音声通話を実現する．Immersive

図 3: ロボットハンドを用いたコミュニケーションの様子（握手）Link は，サイバー空間との，より没入感のある形でつながるコミュニケーションモードである．このモードでは，遠隔のユーザは VR デバイスを装着することで，サイバー空間にある MetaPo の仮想ポータルに入る．仮想ポータルには，MetaPo の周囲 360 度のサラウンド映像が投影され，的にどう使うか」，「ロボットハンドを誰が操作しているのかを物理空間のユーザが理解できるのか」という課題に対応する．

没入感の高いコミュニケーションを実現する．さらに仮想ポータル内に設置したロボットハンドコントローラ（以下RHC）を用いて物理空間の MetaPo に設置されたロボットハンドを動かすことで，映像，音声に加えてジェスチャーを交えたコミュニケーションを可能にする（図 3）．
図 1 は Mixed Link と Immersive Link の関係を示しており，Mixed Link から Immersive Link に移行することで，空間 A にいるユーザは空間 B に近づくことができる．また，シングルユーザ用テレプレゼンスロボットと連携させ

図 4: RHC と各ユーザの位置関係ることで，ワープモードへと更に移行可能なモデルを実現可能と考えられる．

3.3 ロボットハンド操作システム
サイバー空間内に RHC およびその土台を設置し（図 4），

4. プロトタイプとユーザ調査
4.1 プロトタイプ

サイバー空間内のユーザが土台の前に立ち，RHC を操作

Mixed Link，Immersive Link の 2 つのシナリオを実現する．直感的な操作を可能にするために，「RHC をつかんするために，MetaPo のプロトタイプを作成した．図 5 にで動かす」という単純な操作でロボットハンドの制御をでプロトタイプのシステム構成図を示す．本システムでは，きるようにする．これにより，サイバー空間内のユーザは以下のデバイスを使用した．

RHC の数を見るだけで操作可能なロボットハンドの数が• VR デバイス：Meta Quest2*1

分かり，ロボットハンドを排他的に使用できる．また，サ• 360 度カメラ：RICOH THETA V*2

イバー空間内のユーザと物理空間のユーザがコミュニケー• LED 球面ディスプレイ：SP2.5*3

ションをする際には，必ず図 4 のようなサイバー空間内• ロボットハンド：myCobot 280*4

ユーザ-RHC-物理空間ユーザの位置関係となり，物理空間• 自律移動ロボット：HAKOBOT*5のユーザの目線に RHC 及びその土台が入る．これにより，*1

ロボットハンドが誰が操作しているのかが物理空間ユーザ*2から理解しやすくなる．RHC を用いることで多対多の状
況で生じる「複数人で限られた数のロボットハンドを排他© 2023 Information Processing Society of Japan

*3
*4
*5

https://www.meta.com/jp/quest/products/quest-2/
https://theta360.com/ja/about/theta/v.html
https://www.hscled.com/product/sphere-led-display.html
https://www.elephantrobotics.com/myCobot/
https://hakobot.com/793

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-01
2023/3/1

VRアプリRICOH THETA V
リアル映像

360°映像配信

配信用
アプリ

RTMPserver

リアル映像

リアル映像

リアル映像

MetaPo
ロボットハンドコントローラ
RHC
仮想ポータル内映像

仮想ポータル内映像

表示用 アバター情報
アプリ

アバター情報myCobot

ロボットハンド操作

動作コマンドロボット動作計算
プログラム

RHCの座標

図 5: プロトタイプの実装

4.1.1 マルチユーザシステム
RICOH THETA V を用いてリアルタイム映像を撮影し，それに接続された PC に送信する．そしてその PC から配信用アプリの OBS により RTMP と呼ばれるストリーミ
ングプロトコルを用いてリアルタイム映像が Meta Quest2にインストールされた VR アプリに送信され，仮想ポータ
ル内で再生される．このように，360 度映像配信を可能にした．また，VR アプリ内のアバターは，meta アバター

SDK*6 により実装されており，マルチプレイでの同期とコ

図 6: 仮想ポータル内のロボットハンドコントローラ

ミュニケーションの補助として photon*7 を用いた．アバ
ター情報が photon サーバに送られ．photon サーバから他のサイバー空間のユーザが利用している VR アプリに送信れている．これにより，myCobot に動作コマンドが渡さされる．このようにアバター情報が複数の VR アプリで共れ，myCobot が動作する．図 7 のように，コントローラを有され，リアルタイムに同期される．また，photon サー

動かすと，ロボットハンドもそれに追従して動き，それをバからは，物理空間の MetaPo に接続された PC にもアバサイバー空間のユーザは仮想ポータルに映し出された 360

ター情報が送信される．その PC では球面ディスプレイの度映像によって確認できる．ただし，現状のプロトタイプ表示用アプリが実行されており，同期された仮想ポータル

では映像伝送の遅延が最大 4 秒程度生じる場合があり，仮内の映像が MetaPo の球面ディスプレイで再生される．こ想ポータル内のユーザはロボットハンドの動作の確認する

れらのシステムによって，マルチユーザシステムを実現までに時間差がある．このシステムを用いて，VR デバイした．

スを装着したユーザは，自分の身振り手振りをロボットハ

4.1.2 ロボットハンド操作システムンドを用いて遠隔の物理空間にいる相手に伝えることがで

図 6 に示す通り，仮想ポータル内にロボットハンド用のきる.

コントローラ（以下 RHC）を用意した．VR デバイスを装着したユーザは RHC を持ち，移動させることでロボッ

4.2 ユーザ調査

トハンドを操作する．これにより，RHC の座標が変化す

本調査は，令和 4 年 11 月 13，14 日に開催された Hatch

る．次に，RHC の座標を，UDP を用いて，myCobot に接Technology Fes.2022*8 においてデモ展示を行った際に行っ続された PC に送信する．PC では受け取った座標からロたものであり，参加者には VR デバイスを用いて MetaPo

ボットハンドの各関節の角度を定めるプログラムが実行さに憑依してもらい MetaPo の体験をしてもらった．体験の流れは以下の通りである．

*6*7

https://developer.oculus.com/documentation/unity/metaavatars-overview/https://www.photonengine.com/ja/PUN© 2023 Information Processing Society of Japan( 1 ) VR デバイスを装着し，サイバー空間に移動する*8

https://fes2022.hatch-tech-nagoya.jp/794情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-01
2023/3/1

表 1: また使いたいか
そう思う

やや思う

普通

あまり思わない

思わない

人数

117

83

10割合 (%)

90.7

6.2

2.3

0.80

表 2: 仮想空間との自然なコミュニケーションができたか
そう思う

やや思う

普通

あまり思わない

人数

56

46

129

思わない2割合 (%)

44.8

36.8

9.6

7.2

1.6

表 3: 物理空間との自然なコミュニケーションができたか(a) コントローラを持つ(b) コントローラを持ち上げる

図 7: ロボットハンドを動かす様子

そう思う

やや思う

普通

あまり思わない

人数

5246

1411

思わない

4割合 (%)

42.3

34.1

11.4

8.9

3.3

4.3.2 コミュニケーションの評価
サイバー空間内でのコミュニケーションの評価として，（上段：ロボットハンド，下段：仮想ポータル内のユーザ参加者に「仮想空間と自然なコミュニケーションはできた視点）か」について答えてもらった．結果は表 2 に示した通り，自然なコミュニケーションができた（そう思う，やや思う）と感じた参加者は 82%と大多数を占めた．また，ロボット( 2 ) サイバー空間で他のアバターとコミュニケーションを図る( 3 ) サイバー空間に設置された MetaPo に入り，仮想ポータルへ移動( 4 ) 物理空間に設置された MetaPo の周りの人とロボットハンドを用いて物理空間とのコミュニケーションの評価として，参加者に「物理空間との自然なコミュニケーションはできたか」について答えてもらった．結果は表 3 に示す
通り，自然なコミュニケーションができた（そう思う，やや思う）と感じた参加者が 76%と過半数を占めたが，サイハンドを用いてコミュニケーションを図る

バー空間内でのコミュニケーションの結果より低い結果とまた，ユーザ調査内容は以下の 8 項目である．

なった．また，あまり思わない，思わないのそれぞれの項( 1 ) 年齢目についても，サイバー空間内でのコミュニケーションの( 2 ) VR デバイスの使用歴

結果よりも悪い結果となった．これは，ユーザ調査の項目( 3 ) 体験は楽しかったか(8) に，「物理空間の映像の解像度が低い」といったものや，( 4 ) また使いたいか「ロボットハンドの動きの認識に齟齬がある」といった意( 5 ) 仮想空間との自然なコミュニケーションができたか見があったことからも，映像やロボットハンドの操作性が( 6 ) 物理空間との自然なコミュニケーションができたか原因と考えられる．

( 7 ) ロボットハンドで何ができたら嬉しいか（複数回答可）

4.3.3 ロボットハンドの活用方法の調査( 8 ) その他，意見・要望・感想など（自由記述）

サイバー空間のユーザが物理空間のユーザとロボットハ

今回の調査では，133 名 (男性 82 名，女性 51 名) に参加

ンドを用いてコミュニケーションする際に何ができたら嬉してもらった．主なユーザ調査結果を表 1-4 に示す（無回しいかの調査として「ロボットハンドで何ができたら嬉し答を含むため，有効回答数と一致しない）．

いか」について答えてもらった．結果は表 4 に示した通り，「現実の物体を掴む」が 39.1%で最も多かったことや，その4.3 結果と考察他（自由記述）の欄に「子供の頭をよしよししたい」や，4.3.1 満足度調査「感覚のフィードバックが欲しい」という意見があった．こMetaPo の満足度の調査として，参加者に「また使いたのことから，物質空間の物やユーザに直接触れる体験するいか」について答えてもらった．結果は表 1 に示した通ことで，コミュニケーション体験の更なる向上が可能だとり，また使いたい（そう思う，やや思う）と感じた参加者考えられる．

が 96.2%と大多数を占めた．これにより，MetaPo は分散

4.3.4 RHC 設置による効果の評価した物理空間とサイバー空間をつなぐ統一的な方法として十分に機能していると言える．

© 2023 Information Processing Society of Japan

今回のユーザ調査の際に RHC を導入したことで，仮想ポータル内のユーザはどの RHC が使われているのかを理

795

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3A-01
2023/3/1

表 4: ロボットハンドで何ができたら嬉しいか
手を繋ぐ

手を振る

現実の物体を掴む

ハイタッチ

人数3631703012

割合 (%)

20.1

17.3

39.1

16.8

6.7

解して，1 つの RHC が使われていると別の RHC の場所まで移動する様子が確認できた．また，物理空間のユーザもどの仮想ポータル内のユーザがロボットハンドを操作して[8]いるのかを理解した様子であった．

5. 結論

[9]

本論文では，分散した物理空間とサイバー空間の間をつなぐ統一的な方法として，ロボット型メタポータル，MetaPoを提案するとともに，ロボットハンドを用いたコミュニ[10]ケーション手法を提案した．また，プロトタイプを用いたユーザ調査結果を行い，ユーザ満足度，サイバー空間内，物理空間とのそれぞれのコミュニケーションについてや

RHC の効果を考察し，MetaPo が，複数空間を繋ぐポータルとして十分な性能をもつことを示し，RHC を用いたロ
ボットハンド操作システムが多人数のコミュニケーション
における「複数人で限られた数のロボットハンドを排他的にどう使うか」，「ロボットハンドを誰が操作しているのか[11]その他（自由記述）

IEEE Transactions on Visualization and Computer
Graphics, Vol. 19, No. 4, pp. 616–625, 2013.
Jamy Li. The beneﬁt of being physically present: A survey of experimental works comparing copresent robots,telepresent robots and virtual agents. International
Journal of Human-Computer Studies, Vol. 77, pp. 23–37, 2015.
Nicole Dargue, Naomi Sweller, and Michael P Jones.
When our hands help us understand: A meta-analysis
into the eﬀects of gesture on comprehension. Psychological Bulletin, Vol. 145, No. 8, p. 765, 2019.
Matthias Hirschmanner, Christiana Tsiourti, Timothy
Patten, and Markus Vincze. Virtual reality teleoperation of a humanoid robot using markerless human upper
body pose imitation. In 2019 IEEE-RAS 19th International Conference on Humanoid Robots (Humanoids),
pp. 259–265, 2019.
Tianhao Zhang, Zoe McCarthy, Owen Jow, Dennis Lee,
Xi Chen, Ken Goldberg, and Pieter Abbeel. Deep imitation learning for complex manipulation tasks from virtual reality teleoperation. In 2018 IEEE International
Conference on Robotics and Automation (ICRA), pp.
5628–5635. IEEE, 2018.

を物理空間のユーザが理解できるのか」という課題に対応できることを示した．今後はユーザ調査で得た問題点や改善点のフィードバックをもとに，MetaPo システムを改善をしていく．
謝辞 本研究の一部は、JST CREST JPMJCR22M4 お
よび NICT 委託研究 (01701) の支援を受けたものである
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

Roberto Saracco. Digital twins: Bridging physical spaceand cyberspace. Computer, Vol. 52, No. 12, pp. 58–64,
2019.
総 務 省. 令 和 3 年 度 総 務 省 情 報 通 信 白 書.
https://www.soumu.go.jp/johotsusintokei/whitepaper//ja/r03/html/nd242510.html.
BenoitVatere.
Generationz:Identityand expression in the digital world,2021.
https://medium.com/@bvatere/generation-z-identityand-expression-in-the-digital-world-50d2b28df829.
Sang-Min Park and Young-Gab Kim. A metaverse: Taxonomy, components, applications, and open challenges.
Ieee Access, Vol. 10, pp. 4209–4251, 2022.
Shane Saunderson and Goldie Nejat. How robots inﬂuence humans: A survey of nonverbal communication insocial human–robot interaction. International Journalof Social Robotics, Vol. 11, No. 4, pp. 575–608, 2019.
Zhengqing Li, Theophilus Teo, Liwei Chan, Gun Lee,Matt Adcock, Mark Billinghurst, and Hideki Koike. Omniglobevr: A collaborative 360-degree communication
system for vr. In Proceedings of the 2020 ACM Designing Interactive Systems Conference, pp. 615–625, 2020.
Stephan Beck, André Kunert, Alexander Kulik, andBernd Froehlich. Immersive group-to-group telepresence.

© 2023 Information Processing Society of Japan796