情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C1-4
2014/3/1

VR エンタテイメントに向けたエア楽器演奏システム
岩谷亮明†

澤田秀之†

VR エンタテインメントにおいて，匂いや触覚などの視聴覚以外の感覚に刺激を与えることで，ユーザの没入感の増幅を計る研究が広く行われている．しかし VR エンタテイメントには，ユーザが仮想空間に入り込み，なんらかの擬似体験を行うことが重要であり，単に視覚や触覚に情報を呈示するだけでは未だ不十分である．そこで我々は，没入感の増幅には視覚，聴覚，触覚への情報呈示に加えて，人の自然な動作を使用するジェスチャインタラクションが必要であると考えた．本論文ではギター，ピアノといった楽器演奏する動作に，楽器音による聴覚情報，拡張現実感技術による視覚情報，ウェアラブルな触覚提示デバイスからの触覚感覚をユーザに提示することで，高い没入感を演出するエア楽器演奏システムを提案，試作し，ユーザ実験によりシステムの評価を行った．

Air Musical Instrument System for VR EntertainmentYOSHIAKI IWATANI†HIDEYUKI SAWADA†

Recently, various studies for getting better immersive feelings have been conducted by presenting different stimuli to humansensations. Just presenting information to vision and auditory sensations is not satisfactory, and it is important for users to beinvolved in new experiences in VR entertainment. We assume that a user will be able to get the better immersive feelings
through gestural interaction with the visual, auditory and tactile sensations. In this study, we construct a VR entertainment systemfor presenting better immersive feeling by combining various sensations through vision, musical sounds and tactile stimuli to auser who plays air-piano and air-guitar, and it is evaluated by a users’ experiment of the air musical instrument performance.

1. はじめに
近年，VR エンタテイメントにおけるユーザへの没入感であるこのパフォーマンスに，視覚，聴覚，触覚情報を同時に呈示することで，ユーザは VR 空間においてより高い没入感を得ることができるのではないかと考えた．

を高めるために，様々な手法が提案されている．カメラに

本論文では，ギター，ピアノといった楽器を演奏する動より得られた画像に仮想 CG モデルを重畳表示する拡張現作に，楽器音による聴覚情報，拡張現実感技術による視覚実感，空間の形に合わせて作られた映像を投影することで情報，ウェアラブルな触覚提示デバイスからの触覚感覚を没入感を演出するプロジェクションマッピングといった視ユーザに提示することで，高い没入感を演出するエア楽器

覚情報を呈示する手法に加えて，匂いや触覚刺激などの視演奏 VR エンタテイメントシステムを提案する．

覚以外の感覚に刺激を与えることで，没入感の増幅を計る

本論文で提案するシステムでは，ギターとピアノのエア研究が広く行われている．その中でも，視覚情報における演奏の体験を行える．ギターは演奏動作が大きく，ユーザCG モデルの動きと触覚刺激を同時に呈示することで，よが直感的にどのようなジェスチャを行えば良いかわかりやり高い没入感を得られることが知られている[1]．しかしすいという特徴がある．パフォーマンスとしても評価が高VR エンタテイメントにおいては，ユーザが仮想空間に入く，エアギターの世界選手権が開かれるほどである．対称り込み，なんらかの擬似体験を行うことが重要であり，単的に，ピアノについては基本的には指の動きだけで演奏をに視覚や触覚に情報を呈示するだけでは不十分である．

行うため，演奏動作が小さく細かくなる．これから，本シ

我々は，VR エンタテイメントにおける没入感の増幅には，視覚，聴覚，触覚への情報呈示に加えて，人の自然なステムが如何に柔軟に楽器演奏ジェスチャに対応できるか評価，検討を行う．

動作を理解するジェスチャインタラクションが必要であると考えた．そこで本研究では，楽器演奏に注目した．楽器演奏は視覚，聴覚，触覚の 3 つの感覚を使うことに加えて，楽器を弾くための動作を必要とする．また，エア楽器と呼ばれる，楽器を弾く動作の真似から楽器演奏を連想させるパフォーマンスが存在する．実際の楽器を演奏できないユーザは，このパフォーマンスにより楽器を弾いたかのような体験が可能である．つまり，ジェスチャによる擬似体験† 香川大学 工学部
Faculty of Engineering, Kagawa University© 2014 Information Processing Society of Japan

2. システム構成
本システムは図 1 に示すように，PC，映像ディスプレイ，スピーカ，Kinect，Leap Motion，触覚提示装置，触覚グローブ，AR マーカで構成される．ARToolKit がインストールされた PC にディスプレイ，スピーカ，Kinect，Leap Motion，触覚提示装置を接続し，ユーザは AR マーカと触覚グローブを身につけて Kinect の前に立ち，楽器 CG が重畳された自身の演奏動作をディスプレイで見ながら，エア楽器を演奏することができる．

587

2.1 NUI デバイス
ユーザの演奏動作のキャプチャを行うために，図 2 に示本システムでは，ユーザの動作に合わせてギター，ピアす既存の NUI (Natural User Interface) デバイスを用いる．まノ，2 種類の CG の重畳表示を行う．ギターCG は図 3 a)にず腕を振るといった比較的大きな動作を認識するために示すように，フレットが 5 つに色分けされており，ユーザMicrosoft Kinect を使用することにした．Kinect は，RGB カ

は色によってギター音を変化させるための左手の位置の認メラ，深度センサ，マイクを含む複数のセンサを内蔵して識が容易になる．またピックアップの位置で右手を振り下いるマルチセンサデバイスである．本システムでは，深度ろす動作がトリガーとなり，ギター音が出力される．

センサを使用して人間の骨格情報を取得し，ジェスチャ認

ピアノ鍵盤 CG は，指の動作を認識する範囲を示してい識を行う．しかし，Kinect だけでは指の動きといった人間る．図 3 b)にパフォーマンス映像に重畳するピアノ CG をの小さく，繊細な動作の取得が困難なため，Leap Motion

示すが， ユーザが鍵盤を指でたたく動作をすることで，ピを使用する．Leap Motion は小型の赤外線カメラセンサデ

アノ音が出力される．ピアノ音の変化は白鍵盤のマスごとバイスであり，内蔵されている 2 台の赤外線カメラで 3Dに設定されているため，ユーザはピアノ鍵盤 CG を見なが測定を行い，手指の位置や動きを認識することができる．

ら演奏動作をおこない，鍵盤をたたくように指を動かすこ

0.01mm の精度で手指の認識を行えるため，詳細な指の動とで演奏を楽しむことができる．

きを追跡するのに適している．これらの NUI デバイスを導入することで，ユーザの動作をリアルタイムで簡易かつ詳細に取得することができる．

2.3 触覚グローブ
ユーザに楽器演奏時の触覚感覚を与えるために，直径50μm，長さ 8mm 程度の糸状に加工した形状記憶合金（SMA）

2.2 ARToolKit による CG 画像の重畳ワイヤを用いた微少振動アクチュエータを利用する[4],[5]．

ARToolKit は，AR（Augmented Reality: 拡張現実感）ア

SMA ワイヤは，電流を流し蓄熱させることによって 5％程プリケーションの開発に利用できる C 言語用のライブラリ

度長さ方向に収縮し，放熱によって温度が下がると元の長である[2],[3]．パターンを印刷したマーカをカメラで読みさに戻るという特性を持つ．この特性を利用し，図 4 に示取ることにより，その位置と姿勢を実時間で計算して，マすようにアーチ状に配置してパルス電流を加えると，パルーカの上に 3D オブジェクトをリアルタイムでオーバーレ

スの ON/OFF に同期して伸縮運動を繰り返し，300Hz までイ表示することが可能である．の微小振動を起こすことができる．この振動の周波数の違いによって様々な触覚感覚を提示することが可能である．
この SMA ワイヤアクチュエータを図 5 に示すように 2 個 1
触覚グローブPC
ディスプレイ

スピーカ組とし，各指の先端から第一関節のあたりに届くように手袋内側に縫い付けている．ユーザは，本アクチュエータ部が指腹部にあたるように手袋を装着する．触覚グローブのLeap motion

AR マーカ

全体を図 6 に示す．これによって指先を使う楽器の演奏時の触覚を再現することが可能となる．

Kinect

図1
Figure 1

システム構成System configuration
重畳するギターCGa)b)
図2
Figure 2

NUI デバイス

Natural user interface devices© 2014 Information Processing Society of Japan

ピアノ鍵盤 CG図 3 実映像に重畳させる CG
Figure 3 Imposed computer graphics588広げている場合はピアノ演奏モード，左手を横方向にのばして，右手を右肩に近付けた場合はギター演奏モードとなる．このようにジェスチャによる演奏楽器のスムーズな切り替えにより，ユーザはストレスなく様々なエア楽器を演奏することすることができ，斬新な楽器演奏体験をすることができる．各楽器の演奏ジェスチャの認識は後節に分けて説明する．
モード選択後，各モードに対応した楽器 CG をカメラ映像に重畳して，ユーザに提示する．同時に演奏ジェスチャ
図4SMA ワイヤアクチュエータ
Figure 4 SMA actuator

認識を行い，演奏動作に合わせてスピーカから楽器音を再生，触覚グローブから演奏時の触感覚を提示する．ギターCG を表示している様子を図 10 に示す．
触覚感提示には，触覚グローブの各指先に組み込んだ 2つのアクチュエータから，微小振動刺激をユーザの指先に与える．各楽器における触覚刺激を提示する詳細なパラメータ，タイミングについては，楽器 CG 同様に後述する．

図 5 SMA ワイヤアクチュエータ部
Figure 5 Two SMA actuators fixed on finger tip

図 6 触覚グローブ全体
Figure 6 Appearance of tactile gloves

図7

システムの流れ

Figure 7

3. エア楽器エンタテイメントシステム

System flow

ユーザの演奏動作に対する，3 つの感覚刺激の組み合わせによる没入感覚の増加の有効性を検証するため，ギターとピアノのエア演奏が可能なエア楽器エンタテイメントシステムを構築した． ユーザは AR マーカと触覚グローブを身につけ，本システムの前に立ちディスプレイを見る．ピアノ演奏やギター演奏のジェスチャを行うと，各ジェスチ
図8ャに対応した楽器 CG，音響，触感覚が提示され，ユーザはエア楽器演奏を楽しむことができる．

Figure 8

Kinect 処理の様子

Skeleton extraction from depth image

本システムの流れを図 7 に示す．Kinect の深度センサから得られる深度値画像から人間のシルエットを認識し，そこから全身骨格情報を取得する．図 8 に，Kinect が骨格情報を取得している様子を示す．また，Leap Motion よって得られる深度値画像から手のシルエットを認識，そこから手・指情報の取得をリアルタイムに行う．図 9 に，LeapMotion が右手を認識している様子を示す．骨格情報と手・指情報からジェスチャ認識を行い，ピアノ演奏とギター演奏を切り替える．ユーザが両腕を前方にのばし両手の指を© 2014 Information Processing Society of Japan

図9Figure 9

Leap Motion 認識の様子

Hand recognition using Leap Motion

589

図 10
Figure 10

ギターCG が重畳された画像

Performance image imposed with guitar CG
図 12
KinectLeap Motion

骨格情報取得

手・指情報取得

右手高さ，背中高さを取得

左手と背中の距離を取得

指の本数を取得

Figure 12

使用する骨格情報

Skeleton information for guitar performance

3.2 エアピアノ演奏モード
図 13 にエアピアノ演奏モードの流れを示す．ユーザがピアノを演奏するジェスチャ，具体的には，ユーザの腰から 30cm 程度前に両手を出している状態をシステムが認識

右手高さ<背中高さ

音声・触覚パターンを決定すると，エアピアノ演奏モードになる．このモードになると，カメラ画像にピアノ鍵盤 CG が重畳され，ディスプレ

図 11
Figure 11

触覚提示開始・ギター音再生

イに表示される．ピアノ鍵盤 CG がカメラ画像に重畳されエアギター演奏モード流れている様子を，図 14 に示す．Leap Motion に内蔵されていFlowchart of air-guitar performance

る 2 台の赤外線カメラから人間の手のシルエットが認識さ

3.1 エアギター演奏モード
ギターのエア演奏を行う場合，ユーザはシステムの前に立ってギター演奏の基本フォーム（左手をフレットに伸ばし，右手をピックアップに近付ける格好）をとる．本シス
テムは，Kinect によって得られる骨格情報からこのフォームを認識すると，ギター演奏モードになる．このギター演奏モードの流れを図 11 に示す．
本モードでは，骨格情報からユーザの右手，左手，背中，腰の座標を取得する．取得する骨格情報の位置を図 12 に示す．ギターを演奏する動作つまり，右手を振り下ろす動作の際，右手の高さが背中より下になったところで，ギター音の再生と触覚提示を行う．左腕を振り下ろした時の速度によって再生されるギター音に強弱をつけられるようにしれると，手・指情報を取得し，そこからピアノの鍵盤を弾く動作のジェスチャ認識が実行される．
本システムでは，ユーザは指を曲げて演奏を行うと仮定し，LeapMotion によって得られる手のひらの法線ベクトル（図 15 破線ベクトル）と各指先のベクトル（図 15 実線ベクトル）の角度を使用して，指のピアノ演奏のジェスチャ認識を行う．ユーザが鍵盤を押した時の角度の閾値を決定するための実験は後述する．鍵盤を押す動作がなされた際，その押した指の座標を取得し，座標に対応した鍵盤の音響をスピーカから再生する．同時にタッピングを行った
指先に触覚呈示を行う．触覚感覚の呈示には 30Hz の振動を指先に提示し，鍵盤を軽く弾いたような触覚を提示する．
3.3 指角度閾値の決定ており，早く弾けば弾くほど大きい音を奏でるという特性

ピアノ音の再生と触覚呈示のタイミングを決定するためを再現し，腕を振り下ろす速さが 30 から 280 [pixels/frame]に，鍵盤を指で押す動作を行う際に各指の角度が手のひらにおいて線形で音量が増加していくよう，音響パラメータの法線ベクトルに対してどれだけ変化しているか実験を行を決定した．

った．被験者は 20 代男性の大学生 3 名で，Leap Motion の触覚提示は，右手親指に SMA アクチュエータから 10Hz上で右手の親指から小指各指 10 秒間程度，鍵盤を押す動作の振動を与えることで，弦を親指で弾く触覚を再現する．

を意識しながら自由に動かしてもらい，各指先ベクトルと左手の指には 20Hz の振動を与え，弦を押さえる触覚を再手のひらの法線ベクトルの角度を計測した．結果を図 16

現する．ユーザの背中と左手の距離と Leap Motion が認識に示すが，各指において 180 度(伸長)から 40 度(屈曲)までしている左手の本数によって，指に提示する触覚の箇所と変化していることがわかる，屈曲時には親指から小指まで再生するギター音を変化させる．ギターCG のフレットの3 名の平均でそれぞれ，80.5 度，34.9 度，54.9 度，75.7 度，色分けされている部分はギター音が変化する左手の位置の81.5 度であった．そこで本システムでは，各指において 90指標になっており、本モードは 5 つのギターコード音の切度，45 度，65 度，85 度，90 度以下になった時に打鍵したり替えが可能になっている．と判断し，音響と触覚感覚の提示を行うこととした．

© 2014 Information Processing Society of Japan590

4. システム評価実験

Kinect

作成した VR エンタテイメントシステムの評価を行うた

両手が腰より30cm以上手前

め，大学生の男性 5 名に対して評価実験を行った．被験者

Leap Motionには，最初にエアギター演奏とエアピアノ演奏を行うこと

手・指情報取得を伝え，その場で二つの楽器のジェスチャを練習させた．
次に以下の 3 条件を指示して，Air 楽器を演奏させた．

手の法線ベクトルと指のベクトル角度を取得

指の座標

角度<閾値

ピアノ音決定触覚提示

ピアノ音再生180

図 13
Figure 13

Angle (palm-index)

160

エアピアノ演奏モード流れ
Flowchart of air-piano performance

140
120
10080
1人目

60

2人目
40

3人目

20
0100

200

300

400

500

600

Frame numberb)

人差し指と手のひらの法線ベクトルの角度

180

図 14
Figure 14

Angle (palm-middle)

160

ピアノ CG を重畳している様子

140
120
10080
1人目

60

2人目

40

Performance image imposed with piano CG

3人目

200c)

100

200

300

Frame number

400500600

中指と手のひらの法線ベクトルの角度

180

図 15

手の平の法線ベクトル，指先のベクトル

Figure 15

Angle (palm-Ring)

160

Vectors defined in a hand model

140
120
10080

1人目

60

2人目
3人目

400180d)

200300

Frame number

400

500600

薬指と手のひらの法線ベクトルの角度

180

140

160

12010080
1人目
2人目
3人目

60
40

Angle(palm-litttle)

Angle (palm-thum)

16010014012010080

1人目

60

2人目

40200100200300400500

Frame number600

3人目200100200300400500

600

Frame numbera)

親指と手の平の法線ベクトルの角度© 2014 Information Processing Society of Japane) 小指と手のひらの法線ベクトルの角度
図 16 指先‐手の平法線ベクトル角度計測結果
Figure 16 Results of vector angle measurement591

1. CG の重畳表示のみ．

打鍵を行うため，本システムではこれが良く再現されてい2. CG の重畳表示と楽器音を再生．

るという評価を得た．逆に演奏経験がない被験者は，違和

3. CG の重畳表示，楽器音の再生，触覚の呈示．

感を覚えたという感想があった．このことからピアノ演奏実際の実験の様子を図 17 に示す．演奏終了後，以下の質問のような細かい動きの認識が要求されるジェスチャには，に 5 段階評価で回答させた．評価値は 5 から 1 のスケール実際の演奏経験の有無で大きな変化があると考えられる．

で，肯定的から否定的とした．

演奏経験に関係なくエア楽器演奏を楽しむためのジェスチ

A: 楽器音のタイミングがジェスチャと一致していたか．

ャ認識の手法を更に検討していく必要がある．

B: 触覚呈示のタイミングがジェスチャと一致していたか．

被験者のコメントには，ジェスチャ認識の問題点の指摘

C: 自然な楽器演奏のジェスチャでこのシステムを利用に加えて，触覚提示装置についての問題の指摘もあり，本システムの課題に関するものを以下にまとめる．

しているように思えたか．
D: このシステムを利用して楽しかったか．

・触覚グローブの装着に時間がかかる．

E: 楽器モードの変更はスムーズに行えたか．

・一人で装着が困難である．
・激しい動作の際に外れそうになる時があった．
等，装着の不便性，振動子と指先の密着性について意見がみられた．今回マジックテープで振動子を強く巻きつけることで，密着性と激しい手の動きの際に外れないように留意したものの，未だ不十分であった．触覚アクチュエータの皮膚への密着性は，適切な触覚提示を行うために重要となるため，今後の検討が必要である．以上の課題を踏まえて，更にシステムの改良と評価を行っていく．

図 17

実験の様子

Figure 17 Performance of air musical instrument

5. まとめ本研究では，VR エンタテイメントにおける没入感の増

5

幅に視覚，聴覚，触覚への情報提示に加えて，人間の自然

4

被験者1な動作であるジェスチャインタラクションが必要であると

3

被験者2
被験者3

考えた．楽器弾く動作の真似をするエア楽器演奏というパ

2

被験者4
被験者5

拡張現実感技術による視覚情報，ウェアラブルな触覚情報

1

評価値平均

0

質問A 質問B 質問C 質問D 質問E
図 18
Figure 18

評価結果

Result of evaluation

評価結果を図 18 に示す．楽器音の再生タイミング，シスフォーマンスに注目し，それらに楽器音による聴覚刺激，デバイスでの触覚刺激をユーザに提示することで，高い没入感を演出するエア楽器演奏 VR エンタテイメントシステムを提案した．また製作したシステムの評価実験から，演奏動作に対して聴覚情報，触覚情報を提示するタイミングが重要となることがわかった．今後は評価実験により得られた課題を踏まえて，本システムの改良と評価を行っていく．

テムの楽しさについては，ほとんどの被験者から高評価を参考文献得ることができた．ギターとピアノの切り替えにおいては，

高瀬裕史，姜長安，澤田秀之:「拡張現実空間における触感覚呈示による仮想キャラクタとのインタラクションシステム」,
情報処理学会 インタラクション 2011 論文集, pp. 83-90, 2011.
2) 加藤博一:「拡張現実感システム構築ツール ARToolKit の開発」,
電気情報通信学会, vol. 101, pp. 79-86, 2002.
3) 橋本直:「ARToolKit 拡張現実感プログラミング入門」, ISBN:
978-4-04-867361-7, 2008.
4) 水上陽介，内田啓治，澤田秀之:「糸状形状記憶合金の振動を利用した高次知覚生起による触覚呈示」, 情報処理学会論文誌,
Vol. 48, No. 12, pp. 3739-3749, 2007.
5) 福山惠士，澤田秀之:「触視覚の同時刺激によるテクスチャ感覚呈示システムの構築とその評価」, 情報処理学会論文誌, Vol.
52, No. 4, pp. 1562-1570, 2011.
6) 谷尻豊寿:「KINECT センサー画像処理プログラミング」, ISBN:978-4877832728, 2011.
7) Leap Motion Documentation,
https://developer.leapmotion.com/documentation .

1 名の被験者を除いて高い評価を得ることができ，瞬時に楽器を持ち替えられて楽しいなどのコメントがあった．
触覚呈示のタイミングついては，エアピアノ演奏の際に違和感を覚えた被験者が多く，今後の検討が必要であることがわかった．一方，ギターについては左手，右手ともに触覚刺激がわかりやすいが，弦を弾く触覚を提示する場所は右手親指のみでは不十分で，ギター演奏のジェスチャパフォーマンスを考慮すると，右手全指に提示した方がよりわかりやすいのではないかという意見もあった．
質問 C において高い評価をした被験者は，実物のピアノの演奏経験者であった．実際のピアノ演奏では指を曲げて© 2014 Information Processing Society of Japan1)592