情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2C-55
2023/3/1

影投影による運動感覚提示システムに関する検討中山雄介†1阿部法寛†1 青木広宙†2

概要：モーションキャプチャ技術により CG をコントロールすることで運動感覚を提示することは，VR 技術において一般的に行われている．本研究では，CG を使わずに運動感覚提示を行う方法について提案する．具体的には，モーションキャプチャされた身体運動を元に，アレイ状に配列された LED の発光を制御する．LED はドーム状のオブジェクトの内部にあり，オブジェクトの影を壁面に投影し，影の動きによって身体感覚を提示するシステムを試作した．

1. はじめに
VR 技術においては，一般的に，モーショントラッキン

2. 方法
本研究で試作された運動感覚提示システムについて，以グにより得られた利用者の身体運動情報を元に，ディスプレイやヘッドマウントディスプレイに映し出されるコンピュータグラフィックス（以下，CG）を制御することで，身体感覚の提示が行われている．われわれは，ヘッドマウントディスプレイ（以下，HMD）とコントローラーを用いて利用者に運動感覚を提示する方法について検討を行った[1]．図 1 のように，利用者はコントローラーをそれぞれの手に持って，平泳ぎの動きをする．利用者のつけているHMD には，図 2 のように利用者の肘から手までの動きが反映された映像が映し出される．利用者が平泳ぎのような

図 1

VR を用いた運動感覚提示

図 2

HMD に映し出される映像

水泳運動を行うとき，手の動きに合わせて，映像上の白い球体が奥から手前に近づいてくることで，利用者に「自身の水泳運動によって前に進んでいる」という運動感覚を提示することができる．
以上の研究を含め運動感覚提示に関する先行研究のほとんどが，プロジェクターや HMD に映し出される CG をコントロールしていることに対し，われわれは，図 3 に示すようなシステムで CG を使わない新しい運動感覚提示システムに関する検討を行った[2]．このシステムがインタラクティブアートとしてインストールされた室内において，鑑賞者が歩くと，鑑賞者の位置に連動して図 3 の LED ア
レイ中の発光位置が変動する．発光する LED チップが変動することで，発光方向に配置されたオブジェクトの影が移動する．オブジェクトの影は建造物のようでもあり，鑑賞者は光による幻想的な空間を進んでいるかのような運動感覚を得る．
本研究では，新しい運動感覚提示を目的とし，CG を使わずに LED によって空間全体に投影された影を操作することで運動感覚提示を行うシステムを試作した．
図 3

CG を使わない運動感覚提示システム†1 公立千歳科学技術大学大学院 理工学研究科†2 公立千歳科学技術大学 理工学部

© 2023 Information Processing Society of Japan703

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2C-55
2023/3/1

下に説明する．システムの全体図を図 4 に示す．システムの利用者は，システムの正面に立ち，平泳ぎのように両手を広げ前後に大きく動かす．利用者の手の動きに連動して，LED アレイの中の LED チップの発光位置が変動する．LEDアレイはドーム状をした網状のオブジェクト内にあり，オブジェクトを内側から照らすことで，オブジェクトの網目の影が壁に投影される．LED チップの発光位置の変動により，オブジェクトの影が奥から手前に移動していく．利用者は水泳運動をしながら影の動きを見ることで，自身が空

図4システムの全体図間中を前方に進んでいるという運動感覚を得ることができる．
2.1

システムの構成

本研究では，利用者の動きをトラッキングするためのモーションキャプチャシ ステ ムとして，Microsoft 社製のKinect V2（以下，Kinect）を用いる．Kinect は，PC に USB接続されている．Kinect による利用者の動きのトラッキン
グには，Processing-4.0b8（以下，Processing）を用いた．
Processing は電子アートとビジュアルデザインのための統合開発環境である．LED アレイの制御には Arduino DUE（以下，Arduino）を用いる．PC と Arduino の間でシリアル通信a) 横から見た発光部を行うことで，利用者の動きによる LED チップの発光位置を制御する．
オブジェクト内は，図 5 に示すように LED アレイ 2 本が直角に交差しており，U の字に曲がった状態で固定されている．LED チップの点灯位置が LED アレイの端から交差の中心に移動していく．LED チップの光がオブジェクトを内部から照らすことで，オブジェクトの影が利用者の正面の壁に対して中心から放射状に広がって像を結ぶ．影は正面の壁だけではなく，天井，床，利用者から見て左右のb) 上から見た発光部

壁にも投影され，左右の壁に投影された影は奥から利用者の横まで移動する．天井に投影される影は，奥から利用者の頭上まで移動する．床に投影される影は奥から利用者の足元まで移動する．
利用者は水泳運動をしながら，奥から手前に移動する影の動きを見ることで，前に進んでいるという運動感覚を得ることができる．
2.2

利用者の掌のトラッキング

Kinect においては TOF 方式の RGB-D センサであり，骨格トラッキング機能により，図 6 のように 25 ヶ所の関節座標を取得することができる．提案システムにおいては，左右それぞれの掌の座標をトラッキングすることで，水泳運動による掌の前から後ろへの移動量を算出する．掌の座標をフレーム毎に取得し，以下の式(1)より掌の移動量を求める．
|0c) 網目模様のオブジェクト
図5|00(1)目のフレームにおける掌の Z 軸方向の座標を示す．

ここで， は i 番目のフレームにおける掌の移動量， は i番目のフレームにおける掌の Z 軸方向の座標，© 2023 Information Processing Society of Japan

オブジェクトと LED テープの配置

フレーム毎に を計算し，負の値のときに，掌を前からは i-1 番704

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

後 ろに 動 かし て い るこ と に な る． こ のと き ，

2C-55
2023/3/1の 値をArduino に送信する．
2.3

LED アレイの制御

Arduino においては PC から受信した数値の分 LED チップの発光位置を LED アレイの端から，交差している中心部方向に移動させる．例として，Arduino に 3 という数値が送られてきたとき，現在発光している LED チップから 3 つ分，中心部に向かってひとつずつずらして発光させる．この結果，図 7 のようにシステムの上下左右の壁面に投影さ

図6

Kinect により取得した関節座標れる影が，利用者から見て奥から手前に向かって，移動していくことになる．

3. 実験
本研究では，20 代 10 人を対象とし，実験を行った．被験者には，運動感覚提示システムの前に立ち，図 8 のように平泳ぎのような水泳運動をするように伝える．被験者には，システムを 30 秒ほど体験してもらい「水泳運動によって前に進んでいるような感覚（運動感覚）を得ることができたか」というアンケートに回答してもらった．アンケー
トの結果，10 人中 10 人が「運動感覚を得ることができた」と回答した．
被験者からは本システムの改善点として，「水泳運動ならば水中だと感じられる模様にしたほうがいい」，「長時間は続けることができない」，「水を掻く動作を止めたときに影がゆっくり止まるようにするべき」などの提案があった．

4. 考察
図7

被験者に行ったアンケートの回答から，本システムによ影の動きり被験者に運動感覚を提示することができた．しかし，指定した水泳運動と投影される影との関連性が一致していな
いことに関する意見が多くあった．すなわち，影の模様を利用者が見ても，自身が水中にいるということが理解できないため，水中であることがわかるような影を投影することが，今後の課題として挙げられた．また，長時間利用しても飽きが来ないように，タスクにゲーム性・ストーリー性を追加することで，本システムへの没入感を高め，利用者がシステムに集中できるように改良する必要があると考えられる．

5. おわりに

図8

システムの前で水泳運動をする利用者

本研究では，新しい運動感覚提示を目的とし，CG を使わずに LED によって空間全体に投影された影を操作するこ

ステムに集中できるようなタスクの設計を行う必要があるとで運動感覚提示を行うシステムを試作した．運動感覚提ものと考えられる．

示システムを試作し，実験を行った結果，被験者全員が運参考文献動感覚を得られたと回答した．しかし，投影されている影[1]の模様が水泳運動のタスクと関連性が薄いとの指摘が多く挙がった．今後，利用者が水中にいると認識できるような影を投影できるようなオブジェクトの制作と，利用者がシ© 2023 Information Processing Society of Japan青木広宙, “仮想現実環境における水泳動作中の疑似力触覚生起に関する検討”, 電気学会論文誌 C, 2021, Vol. 141, No. 9,p.956-961.
[2] Hirooki Aoki, “Interactive Media Art by Applying Depth Sensing”,
Proceedings of 2022 International Power Electronics Conference,
2022.,

705