第一工科大学研究報告第36号（2024）pp.31-36

移動ロボットと Projection mapping を用いた
Playware の試作
渋沢良太
第一工科大学 工学部 情報・AI・データサイエンス学科（〒899-4395 鹿児島県霧島市国分中央 1-10-2）

Playware Using Mobile Robot and Projection Mapping
Ryota Shibusawa
1-10-2 Kokubuchuo, Kirishima-City, Kagoshima, 899-4395, Japan

Abstract: Currently, most games played around the world involve watching a display while playing.
Although games involving robot control have been developed due to advancements in robot control
technology, they lack expressive capabilities compared to games using displays. In this study, we
prototyped and evaluated Playware that uses mobile robots enhanced with projection mapping tosynthesize visual effects during the game, thereby enriching the visual representation.
Key words: Playware, Projection mapping, Mobile robot
1.

はじめにードウェアの総称[6]であり，ゲーム等がこれに現在，世の中で遊ばれているゲームの多く含まれる．現在実用化され，ユーザに良く利用は，ディスプレイを見ながら操作するゲームでされている Playware の多くは，モニタを用いるある．一方で，ロボット制御技術の進展によゲームである．モニタを用いるゲームは，子供り，SONY の toio[1]等，移動ロボットを操作すは慣れ親しんでいるものであるが，高齢者の中るゲームも開発されている．しかし，ディスプには苦手とする人も多い．このように，能力やレイを使うゲームと比較して，ロボットのみをプレイスタイルの好みに大きな差がある場合用いるゲームの視覚的な表現は乏しく，ゲームに，両方がともに楽しめる Playware の研究は多の楽しさ，内容を制限する要因となる．

くない．そこで，筆者の先行研究[4],[5]では，一

そこで本研究では，移動ロボットを用いた方のユーザは現実空間内，他方のユーザは仮想Playware に，プロジェクションマッピングでゲ空間内の対象を操作するように Playware を設計

ーム中のヴィジュアルエフェクトを合成するこした．他方のユーザのプレイ環境を仮想空間にとにより，視覚的な表現も豊富な Playware を試することで，その仮想空間を修正することで，作し，評価を行った．

難易度調整や異なる役割，異なる操作インタフ
ェースやフィードバック情報を与えることが容

2.

先行研究

筆者はこれまでに，高齢者と子供が一緒に遊易になる．
本研究で試作した Playware は，この先行研究

べる Playware について研究してきたの現実空間側の視覚表現を豊かにするものであ[2],[3],[4],[5]．Playware とは，Jessen らによっる．先行研究[4],[5]のシステムと組み合わせて，て提唱された概念で，使用するユーザに対して遠隔地のユーザはコンピュータ画面の CG を見遊びと楽しみの経験を与えるソフトウェア，ハながら操作，現実空間側のユーザは移動ロボッ

第一工科大学研究報告

図 1第36号（2024）

システムの概要

トとプロジェクションマッピングを見ながら操度を検出することができる．この情報は，BLE作が可能となる．

Notify でそれぞれの toio の制御コンピュータに送り，制御コンピュータは制御指令値の計算に3.

開発したシステム使用する．また，それぞれの制御コンピュータ

本システムの概要を図 1 に示す．本システム

は，CG 生成 PC にロボットの x 座標，y 座標，において，移動ロボットのコントローラには，ボディの角度を UDP で CG 生成コンピュータにESP32 を搭載した M5Stack 社製の RISC-V ベ送信し，Unity を使ったプログラムにより CG をースのマイコンである M5StickC[7]に，同社製描画する．の JoyC[8]を接続してプログラムを実装した．こ

現実空間の移動ロボットのサイズ，走行マッのマイコンでは，ジョイスティックが押し倒さトのサイズは，Unity の CG 空間内でも同一のサれている方向を示す角度，その方向を示すベクイズで設定した．また，現実空間の走行マットトルの大きさを取得できるようになっている．の中心を原点とした，プロジェクタの座標と向直接操作空間では，これらの情報をロボットのきを，Unity の CG 空間のカメラの座標と向きと制御コンピュータに BLE Notify で送り，その情して設定することで，プロジェクションマッピ

報をもとに制御コンピュータがロボットに制御ングを行えるようにした．

指令を BLE Write で送る．制御コンピュータには Coral DevBoard[9]を使用した．

本システムを使って，現実空間の移動ロボッ
トが炎を出しながら走行する様子をプロジェク

また，ロボットにはソニー株式会社の toio[1]ションマッピングしている様子を図 2，図 3 に示を用いた．ロボットには向きが分かるようにすす．図 2，図 3 では，4 色のマーカを走行マットるために LEGO の目を取り付け，専用の走行マに投影しており，そのマーカをロボットが踏むット上を移動するものとした．この専用の走行と，踏んだマーカーと同じ色の炎がロボットかマット上には特殊なパターンが印刷されておら出るようにしている．炎は Unity のアニメー

り，toio はそれを光学式センサで読み取ることションで実装している．

で，走行マット上の x 座標，y 座標，ボディの角渋沢：移動ロボットとprojection mappingを用いたPlaywareの試作

る．移動ロボットがマーカを踏むとマーカが大きくなったり，小さくなったりする効果をつけた．toio のバラエティパックでは，物理的な尻尾を toio につけて遊べるゲームが存在している．これに対して，本研究では尻尾を仮想的なものにすることで，尻尾の大きさや形，色などを自由にインタラクティブに変化させることが可能となる．
本システムにおけるロボットの移動制御は，
図 2

プロジェクションマッピングのデモ 1

先行研究[2]，[3]で調査した操作性を踏まえ，直接操作およびデジタルツイン操作ともに図のよ
うにコントローラの操作方向とロボットの進行方向が一致するようにした．

図 3 プロジェクションマッピングのデモ 2

この方法により，本研究では図 4 に示すしっぽとりゲームを実装した．このゲームは，2 人のユーザがそれぞれの移動ロボットを操作する対戦型のゲームである．2 台の移動ロボットのそれ
図 5 コントローラ操作と移動方向の対応

ぞれの後ろに，選択したしっぽを投影し，さきに相手の移動ロボットを踏んだ方が勝者とな
4.

評価実験

4.1

実験の内容と手順本システムの有効性を検証するため，本システム以外に 2 種類の toio を使ったシステムを用意し，被験者 6 名(3 組)に各システムでしっぽとりゲームを遊んでもらい，楽しさを評価してもらった．実験で各ユーザに操作してもらったシステムは，物理的なしっぽを toio につけて物理的な toio を見ながら遊ぶもの（図 6），PC 画面に表示された CG のみを見ながら遊ぶもの（図7），本システム(図 4)の 3 種類である．
図 4 しっぽとりゲームの実装

第一工科大学研究報告第36号（2024）

低かった．移動ロボットを使うゲームは面白さの評価が比較的高く，また提案システムが最も高い評価を得られた．
被験者の感想では，「しっぽの踏みやすさについては，PC 画面のみを見ながら行うゲームが最も高かった」という回答もあった．他に，「提案手法は，PC 画面のみと比べて映像に立体感があ
図 6 物理的なしっぽを使ったゲームって迫力があった」といった回答が得られた．
5.

本システムの応用本研究で開発したシステムと，先行研究で開発したシステムを組み合わせ，次のような応用システムが実現可能であると考えられる．
5.1

デジタルツイン空間の意図的な変形

図 9 のようにデジタルツインの分裂，消滅，形状の変更など，デジタルツイン空間を様々な形で意図的に変形することが可能である．これによって，例えば次のようなアプリケーションが実装可能である．高齢者はロボットを直接操図 7 PC 画面のみを見ながら遊ぶゲーム
4.2

作し，子供はデジタルツインを遠隔から操作して鬼ごっこを行う．その際，デジタルツイン空実験の結果実験に参加した 6 名に対して，それぞれのシステムで遊んだ時の面白さについて，5 段階評価で回答してもらった．その結果を図 8 に示す．
PC 画面のみを見ながら行うゲームは，ユーザが普段遊び慣れていることもあり，面白さが最も間上において高齢者が操作するロボットが突然分身し，子供からはどちらが本物の実体ロボッ
トかを分からなくする．これにより高齢者と子供の操作スキルの差を埋め，両者が共に楽しめるようになる．

図 8 面白さについての被験者による評価

渋沢：移動ロボットとprojection mappingを用いたPlaywareの試作

図 11 デジタルツイン空間への両者の没入
図 9 デジタルツインの意図的な変形
5.3
5.2

デジタルツイン空間への没入

異なる実体空間同士の対応づけ

このタイプの応用例を図 12 に示す．直接操作

デジタルツイン空間のユーザが，PC モニタで空間のユーザは，本システムと同様にコントロはなく，HMD (Head-mounted display)を使用ーラで移動ロボットを操作する．他方のユーザする．そして，デジタルツイン空間のユーザのは，実体空間を動き回り，その動きが実体のロ体の動きに連動して，直接操作空間のロボットボットの動きに連動させる．そして，相手のロが移動するようにする．この構成により，直接ボットの動きと連動させたドローン等の実体の操作空間にいる一方のユーザは手指を動かすこあるロボットを連動させる．5.2 で示した応用ととで，他方のユーザは，全身で動き回ることで異なり，両ユーザとも実体空間を見ながら遊ぶロボットを動かせるようになる．こうすることことが可能になる．本応用は，両ユーザの実体で，高齢者と子供のように，身体能力の差があ空間をデジタライズして対応付けを行う手法でるユーザ同士が，それぞれの身体能力に合わせある．て身体を動かしながら共に遊べるようになる．
このタイプの応用例を図 10 に示す．操作の非対称性は失われるが，図 11 のような構成も可能である．

図 12

6.

実体空間同士の対応づけ

まとめと今後の課題

本研究では，移動ロボットを用いた Playwareに，プロジェクションマッピングでゲーム中の図 10 デジタルツイン空間への没入

ヴィジュアルエフェクトを合成することにより，視覚的な表現も豊富な Playware を試作し，評価を行った．ユーザによる使用評価により，ユーザに面白い体験を与えられることを示した．今後さらなるゲームの作り込んだ上でさら第一工科大学研究報告

第36号（2024）

なる評価実験を実施する．また，5 章で示した応

m5stickc?_pos=6&_sid=495ea8d2b&_ss=r, (参用システムの研究を進める．

照 2021-2-11).
[9]“Coral Devboard”.

謝辞

https://coral.ai/products/dev-board/ (参照 2021-

本研究の遂行にあたり，公益社団法人科学技術2-11).

融合振興財団(FOST)の 2022 年度調査研究助成(身体・認知能力の異なるユーザが遠隔地間で遊べる非対称ゲームインタフェース)の支援を受けた．
参考文献[1]“ソニー株式会社 toio”. https://toio.io/, (参照2024-5-13)[2] 渋沢良太, 中茂睦裕. 操作方向と進行方向の一致を考慮した移動ロボット操作手法の提案. 信
学技報, 2020, vol. 120, no. 136, p. 83-88.
[3] Shibusawa, R., Nakashige, M. and Oe, K.
MarioControl: An Intuitive Control Method for a
Mobile Robot from a Third-Person Perspective. InCompanion Proceedings of the 2020 Conference on
Interactive Surfaces and Spaces (ISS '20). 2020,
November, no. 2020, p.9-13.
[4] DualityBoard: An Asymmetric Remote Gaming
Platform with Mobile Robots and the Digital Twins.
In Proceedings of the 2022 ACM/IEEE International
Conference on Human-Robot Interaction (HRI '22).
IEEE Press, 1035–1039.
[5] 遠隔地間で遊べる移動ロボットとそのデジタ
ルツインによる Playware の試作, 情報処理学会
火の国情報シンポジウム 2021 論文集, 2021 年 3月, A3-4, pp.1-8.
[6] Lund, H., Jessen, T. and Carsten., J.
Playware technology for physically activatingplay. Artificial Life and Robotics. 2005, No.9, p.
165-174.
[7]“M5StickC”.
https://m5stack.com/collections/m5core/products/stick-c, (参照 2021-2-11).
[8]“JoyC”.
https://m5stack.com/products/joyc-w-o-