立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (A) ］

物理的実体と CG 表現を融合させた MR ロボットの開発
Development of MR Robots Combining Physical Body and CG Representation
2221010

研究代表者

筑波大学

システム情報系助教

川口一

画[研 究 の 目 的]
コミュニケーションロボットは，物理的実体を活かして実空間内の人や物とインタラクションが可能である反面，表現の自由度は CG 表現に劣るという課題があった。そこで本研究では物理的実体と CG 表現を融合させた MR ロボットを提案する。具体的には，例えば頭部は物理的実体，腕部は CG 表現というように身体の部位ごとに提示方法を切替える。ただし，各身体部位について，物理的な実体と CG 表現をどのように組み合わせるべきかの知見は存在しない。
そのため，本研究では各身体部位について物理的提示と CG 提示を切替えることが可能な MR
ロボットシステムを構築し，各身体部位の提示

図 1 実験で用いた 4 つの比較条件の外観：(A) 両方物理条件，(B) 頭物理−腕 MR 条件，(C) 頭 MR−腕物理条件，(D) 両方 MR 条件

方法を切替えた複数の条件で比較実験を実施する。実験に用いた 4 条件のシステム構成を図 1となる。本章では，システムの設計指針と実装に示す。これらの条件を比較することにより，内容について説明する。

各身体部位の提示方法の影響を調査し，MR ロ

1. 1

ボットの設計指針を得ることを目的とする。

設計指針

現地側の人や物へ参照を伝達する上では，頭部を用いた注視の伝達と，腕を用いた指差しが[研究の内容，成果]重要となる。よって本研究では，ロボットの身体部位として，頭部と腕部に着目する。物理的

1

MR ロボットの実装

実体と CG 表現を併用する MR ロボットの設計

本研究では，MR ロボットのユースケースと指針を得るため，頭部，腕部それぞれについて，して遠隔コミュニケーションを支援するテレプ

物理的な実体と MR 提示を切替えられるシスレゼンスロボットに着目した。テレプレゼンス

テムを実装し，実験を行う。

ロボットでは，現地の人とインタラクションを1. 2行うため，現地側の環境への参照の伝達が重要― 1 ―システム実装本研究で実装したシステムは，ロボット，

立石科学技術振興財団

Hololens 2，および制御用 PC から構成される。

反 映 さ れ る。ま た，Microsoft 社 が 提 供 す る

ロボットは著者らの先行研究で実装したヒューMRTK を用いて，実験タスク実行中のユーザマノイド型頭部を付与したテレプレゼンスロの注視対象を記録する機能を実装した。

ボットを拡張し実装した。ロボットの外観を図2 に示す。

制 御 用 PC に は，G-Tune (Intel Core i711800H 2.30 GHz CPU，NVIDIA GeForce RTX
3070 Laptop GPU，64 GB RAM) を用いた。制
御 用 PC 上 で は，ロ ボ ッ ト 本 体 も し く は
Hololens 2 上で MR 提示される身体部位の動作を制御するためのプログラムが実行される。制御に当たっては，PC の web カメラにより取得した映像から Google 社の MediaPipe により操作者の身体動作を取得し連動させるプログラムと，あらかじめ設定した一連の動作と音声を自動再生する説明スクリプト再生プログラムを実装した。

図2

物理的なロボットの外観

2

実験

ロボットは pan-tilt の 2 自由度を有する頭部実験では，開発したシステムを用いて，1 名と，片腕あたり肩 3 自由度と肘 1 自由度を有すの実験参加者に対して実空間内に配置された 2る腕部，および pan の 1 自由度を有する土台枚の資料の説明を行うタスクを設定した。本章部分から構成される。頭部および腕部は，それでは実験の詳細について説明する。

ぞれ独立して着脱可能な機構とした。それぞれ

2. 1

実験タスクの関節はサーボモータにより動作する。各サータスクでは，あらかじめ設定した一連の動作ボモータは，胴体部に設置した Surface Go 3および録音音声を用いて，2 枚の資料について(10.5-inch，intel Core i3，8 GB RAM) からのの説明を行った。本実験で用いた 2 枚の資料はシリアル通信により制御される。また，各関節特定の県の 2 種類のお土産品の写真であり，その角度は，制御用 PC から UDP 通信により受れぞれの名前，特徴，および値段についての説信した情報が反映される。制御用 PC との通信，明を行った。説明後，システムは実験参加者におよびモータとのシリアル通信を行う制御プロ

2 種類のお土産品のどちらが良いかを質問し，グラムは，python で実装し Surface Go 3 上で実験参加者には，どちらを選んだか，およびそ実行した。の理由について口頭で回答させた。

Hololens 2 は頭部および腕部をロボット上にタスク中のシステムの非言語情報提示内容は，MR 提示するために用いる。MR 提示のための腕部を用いた資料に対する指差し，頭部を用いソフトウェアは Unity 上で実装されており，た資料および参加者への視線提示，実験参加者

Microsoft 社が提供する Holographic Remotingの回答に対する相槌の提示とし，各動作の提示Player を用いて Hololens 2 上で再生される。

内容および提示回数は各試行で統一した。一連

MR 提示される頭部および腕部のデータは，物の説明，および回答に要する時間は約 80 秒で理的なロボットの実装に用いた CAD データをあった。なお，モータ音の影響を軽減するため，インポートし使用した。各関節の角度は，制説明音声はノイズキャンセリング機能を有する御用 PC から UDP 通信により受信した情報がヘッドセット (Sony WH-1000XM4) を介して

― 2 ―Tateisi Science and Technology Foundation

は，事前説明，各条件でのタスク実施とアン提示した。実験環境を図 3 に示す。

ケ ー ト 回 答，お よ び 全 条 件 終 了 後 の イ ン タビューという流れで実施され，全体の所要時間は 1 時間程度であった。実験参加者には筑波大学の規定に基づく謝金が支給された。
2. 4評価項目

評価に当たっては，システムを用いた実空間への参照について評価するため，実験中の参加者の注視方向の分析と参照の判別性に関するアンケートを実施した。注視方向の分析に当たっ
図3ては，Hololens 2 の視線認識機能を用いてタス実験環境

ク中にロボット，資料 A，資料 B，その他を見

なお，本研究は遠隔コミュニケーションにおていた時間を取得した。参照の判別性について

いて実空間への参照を伝達するシステムの実装

は，著者らの先行研究で用いた視線の判別性にを目的としていることから，実際にシステムを関するアンケートを元に，指差しの判別性に関遠隔操作して実験を行う方法も選択肢として検する項目を加えた 7 項目を用いた。

討した。しかし，今回の実験では身体部位の提また，遠隔コミュニケーションシステムとし示方法の違いの影響を定量的に評価することをての効果を評価するため，Social Presence に目的としたことから，提示方法以外の発話内容関する評価アンケートを実施した。評価アンや動作内容を厳密に統一するために，あらかじ

ケートは Harms らが設計した Social Presence

め設定した説明を自動再生する方法を選択した。

に関するアンケートのうち，本研究のタスク

2. 2に 関 係 す る Co-Presence (CoP)，Attentional

実験条件

本研究では，頭部・腕部それぞれについて物Allocation (AA)，お よ び Perceived Message

理的な提示と MR 提示を組み合わせた 4 条件

Understanding (PMU) のカテゴリの質問項目を設定した。各条件の外観は図 1 にて示した通を用いた。各カテゴリの質問は 6 項目であり，りである。

それらの平均値をそのカテゴリのスコアとして・C1．両方物理条件用いる。また，各カテゴリのスコアの平均を・C2．頭物理−腕 MR 条件

Overall のスコアとして用いた。加えて，全条・C3．頭 MR−腕物理条件

件終了後に半構造化インタビューを行った。

・C4．両方 MR 条件
本実験は，参加者内配置の実験設計とした。

3 実験結果各条件の順序効果と使用するスクリプトの影響分析に当たっては，頭部表現 (物理・MR)を考慮し，各条件の実施順序，および各条件でおよび腕部表現 (物理・MR) の 2 要因による使用するスクリプトをラテン方格法を用いてラ2 元配置分散分析を行った。なお，アンケートンダム化した。

結果については，整列ランク変換 (ART) 後

2. 3に 2 元配置分散分析を行った。そして，主効果

実験参加者

実 験参加 者は 16 名とし，筑波大学の学部に有意差が見られた場合は，Tukey 法を用い生・大学院生から任意で参加者を募集した。参た多重比較を行った。また，有意水準は 5 %加者の内訳は女性 1 名，男性 15 名であり，平とした。注視方向の分析では，視線データを正

均年齢は 22.4 歳 (SD=1.26) であった。実験

常に取得できなかった P1, P3, P5, P12 のデータ

― 3 ―

立石科学技術振興財団は破棄した。

いて多重比較を行った。Q2 および Q4 につい3. 1て，物理的に腕部を提示する方が，MR 提示に注視方向の分析

各試行の実施時間に対する，ロボットを注視比べて評価が有意に高くなった (p<0.01, p<

した時間，資料を注視した時間 (資料 A，資0.05)。最後に，頭部表現と腕部表現の交互作料 B の合計)，およびそれ以外の方向を注視し用が有意であった Q1 について多重比較を行った時間の割合を図 4 に示す。なお，4 名の参加たが，それぞれの条件間で有意差は得られな者のデータの一部にエラーがあったため，該当かった。

する参加者の全条件のデータを分析から除外し，12 名 分 の デ ー タ で 分 析 を 行 っ た。分 析 に 当
たっては，ロボットを注視した時間の割合に着目した。2 元配置分散分析を行った結果，頭部表現の主効果が有意であった (p<0.01)。頭部表現について多重比較を行った結果，物理的に頭部を提示する方が，MR 提示に比べてロボットを注視する時間の割合が有意に低くなることが示された (p<0.01)。

図5

3. 3

参照の判別性に関するアンケート結果

社会的存在感に関するアンケート

社会的存在感に関するアンケートの結果を図図46 に示す。各項目について，2 元配置分散分析

タスク中に注視した時間の割合を行った結果，CoP(Co-Presence)，PMU(Perceived Message Understanding)，および Over-3. 2 参照の判別性に関するアンケート
参照の判別性に関するアンケートの結果を図all について，頭部表現の主効果に有意差が見5 に示す。各項目について，2 元配置分散分析

られた (p<0.01, p<0.01, p<0.05)。また，AAを行った結果，Q3，Q5，Q6，および Q7 につ(Attentional Allocation) について，腕部表現いて頭部表現の主効果が有意であった (p<の主効果に有意差が見られた (p<0.05)。

0.05, p<0.01, p<0.01, p<0.01)。また，Q2 およ

事後検定として，頭部表現の主効果に有意差

び Q4 について腕部表現の主効果が有意であっが見られた項目について多重比較を行った。

た (p<0.01, p<0.05)。さ ら に，Q1 に つ い て

CoP，PMU，および Overall について，物理的頭部表現と腕部表現の交互作用効果が有意でに頭部を提示する方が，MR 提示に比べてスコあった (p<0.05)。

アが有意に高くなることが示された (p<0.01,事後検定として，頭部表現の主効果が有意でp<0.01, p<0.05)。次に，腕部表現の主効果にあった項目について多重比較を行った。Q3，有意差が見られた項目について多重比較を行っ

Q5-7 の全ての項目で，物理的に頭部を提示すた。AA について，腕部を MR 提示する方が，る方が，MR 提示に比べて評価が有意に高く物理的な提示に比べて有意にスコアが高くなるなった (p<0.05, p<0.01, p<0.01, p<0.01)。次ことが示された (p<0.05)。に，腕部表現の主効果が有意であった項目につ― 4 ―Tateisi Science and Technology Foundation示され，頭部を物理的に提示することの効果が示された。また，資料に対する指差しを用いた参照の判別性については腕部を物理的に提示することの効果が示された。よって，目的に応じて身体部位の提示方法を選定することで，物理的なロボットの設計・実装・メンテナンスのコストを軽減しながら，有効性を維持する MRロボットが実現可能となると考えられる。
5

今後の展望
今回の実験は，実験参加者が 1 名の状況で，図6

またロボットの発話内容は事前に設定したスク社会的存在感のアンケート結果リプトを再生するものであった。今後は，参加者が複数名かつ自由対話を行う状況においても4同様の評価を行う予定である。

考察
実験結果より，頭部・腕部の提示方法の違い

また，本研究では，MR 提示する情報をロによる影響ついて考察する。まず頭部の提示方

ボットの頭部と腕部の 3D データに限定したが，法の違いによる影響として，頭部を物理的に提MR 提示デバイスを用いるのであれば，ロボッ示することで，MR 提示する場合よりも，相互ト頭部への表情付与や，腕を伸縮させて指差し注視や共同注意に関する参照の判別性 (Q3,を行う等，ロボットの物理的な制約に縛られなQ5-Q7) と社会的存在感 (CoP, PMU, Overall)い表現も可能である。また，テキスト情報や画が向上することが示された。タスク中にロボッ像，動画などを用いる表現も可能となる。今後

トを見ていた時間の割合は低下したが，これはは，そのような発展的な MR 提示を用いる場

物理的な頭部であれば周辺視野で情報を取得で合に，どのような内容を提示するべきか，またきることからロボットを見る時間が減少したとロボットの物理的な身体をどう組み合わせるべ考えられる。

きかの検討を行っていく。

次に，腕部の提示方法の違いによる影響として，腕部を物理的に提示することで，MR 提示[成果の発表，論文など]する場合よりも，資料に対する指差しの判別性

・Ikkaku Kawaguchi, Ayumi Ichikawa, Keiichi Ihara,(Q2, Q4) が向上することが示された。一方で，

Ryo Ishibashi, and Aoto Tanokashira. “Hybrid robot

社会的存在感のうち注意の配分に関する評価

with physical and AR body presentation”. In Proc. of(AA) は，腕を物理的に提示することで評価が低下することが示された。よって，腕部の物理的な提示は参照の判別性を向上させる反面，注意を阻害する等の懸念があると考えられる。
これらの結果を総合的に判断すると，C1．
両方物理条件が最も効果的である一方で，参照の判別性 (特に相互注視と共同注意) と社会的存在感は，MR ロボットである C2．頭物理−
腕 MR 条件でも同等の評価を得られることが― 5 ―ICAT-EGVE 2022 (Posters and Demos), The Eurographics Association, 2022.
・本実験結果について，国内学会論文誌に投稿中である (2023 年 8 月末時点)