情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B18
2016/3/4

空間楽器: 全身没入型ワイヤレス VR 環境におけるインタラクティブ・オーディオビジュアル・システムの試作
中川 隆†1	 

松本 直也†1	 

古川 聖†2

概要：本稿では，著者らが試作した VR 空間内でインタラクティブなオーディオビジュアル体験を可能にする「空間楽器」についての解説を通して，全身没入型ワイヤレス VR 環境におけるオーディオビジュアル表現の新たな可能性を提案する．VR 環境の実装には，Android 端末とスマートフォンホルダーによって構成されたワイヤレスなヘッドマ
ウント・ディスプレイと Kinect v2 を用いており，Greuter & Roberts (2014)[11]による小空間のための全身没入型ワイヤレス VR 環境“SpaceWalk”を改変し発展させた形となっている．

Space Instrument: Prototype of Interactive Audiovisual System in
Full-Body Immersive Wireless VR EnvironmentRYU NAKAGAWA†1	  NAOYA MATSUMOTO†1	  KIYOSHI FURUKAWA†2Abstract: In this paper we introduce the prototype of interactive audiovisual system“Space Instrument”that provides interactive
audiovisual experience in VR space, and suggest new possibilities of audiovisual expression in full-body immersive wireless VR
environment.	  The implementation of the VR environment, using Kinect v2 and wireless HMD configured by Android
smartphone and smartphone holder, makes it possible to improve and evolve “SpaceWalk”, full-body immersive wireless VR
environment for a small space, published by Greuter & Roberts (2014) [11].

1. は じ め に開することでオーディオビジュアルの新たな可能性を引き	  	 出せると考え，本稿で解説する「空間楽器」の試作をおこ

1.1 	  オ ー デ ィ オ ビ ジ ュ ア ル と はなった．	  一般的に「オーディオビジュアル」とは，音楽を視覚的

1.3 	  簡 易 全 身 没 入 型 ワ イ ヤ レ ス VR 環 境に表現する試みや，音楽等の聴覚的要素と映像等の視覚的	  現在，VR 環境の形態は，多数の体験者が同時に体験可要素を融合させるような試みによる芸術作品ジャンルのこ能な大規模システムから，スマートフォン端末（以下，スとを指す．このジャンルは，「ヴィジュアル・ミュージックマホ端末）を利用したヘッドマウント・ディスプレイ（以[1]」や「モーション・グラフィックス」等のジャンルに関下，HMD）による小規模で簡易的なものまで多岐に渡って連し，音と映像を積極的に結びつける作品，表現を広く含いる．そのような中，著者らは小空間で構築可能なスマホむものとなっている．

端末を活用した簡易的 VR 環境に着目した．

1.2 	  イ ン タ ラ ク テ ィ ブ・オ ー デ ィ オ ビ ジ ュ ア ル の VR	  スマホ端末型 HMD による簡易 VR 環境の利点として「自環境への展開宅やオフィス等の身近な場での体験が可能であること」「低	  また，オーディオビジュアルの生成に鑑賞者（体験者）コストでの構築が可能であること」「どこでも持ち運べる可が積極的に関わるように構成された作品やシステムは「イ搬性」等が挙げられる．これらを総合して言えることは，ンタラクティブ・オーディオビジュアル」と呼ばれている．

「これまで特別な場所でしか体験できなかった VR 体験を著者らはこれまで，インタラクティブ・オーディオビジュ様々な場所や鑑賞者に届けることが可能となる」というこアル作品の制作と発表を幾つか行ってきた[2][3][4][5]．それらとである．また，このような簡易的な VR 環境によってはの制作を通して，インタラクティブ・オーディオビジュアじめて可能となる新しい研究も今後増えいくものと考えら

ルが創り出す「音楽」「映像」「鑑賞者」「作者」といった既れる．

存の芸術概念の境界が曖昧になる「新しい場」と，そこに	  現在，スマホ端末型 HMD を構成可能な VR 用スマホ端現れる「新しい体験内容」に着目してきた．このような視末ホルダーとして，ハコスコ [ 6] や Google Cardboard[ 7] ，点をバーチャル・リアリティ（以下，VR）環境へ移行・展Durovis Dive5[8]等が販売されており，これらを使用するこ†1 名古屋市立大学 芸術工学研究科
School of Design and Architecture, Nagoya City University.
†2 東京藝術大学 先端芸術表現科
Department of Intermedia Art ,Tokyo University of the Arts.

© 2016 Information Processing Society of Japanとで場所を選ばず簡単に VR 体験が可能となっている．ただし，スマホ端末型 HMD は，主に体験者の頭部運動に対応した VR 体験となるため，「歩く」「しゃがむ」「立つ」と1100

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B18
2016/3/4いった体験者の主体的かつ自然な全身運動によって VR 空なっており，各オブジェクトの画面上での位置や，他のオ間内を自由に移動することは現状では困難である *1．

ブジェクトとの関係性によって，多彩な音楽とアニメーシ	  体験者の実空間での主体的な全身運動を VR 環境内でのョンを生み出すことができる体験型作品である．この作品

運動に連動可能で，かつ小空間に構築可能な簡易全身没入には初期の CD-ROM 出版バージョン以外にインスタレー[9]型 VR 環境として， Oculus Rift DK1 と Kinect v2[10]を組みション・バージョンとパフォーマンス・バージョンが存在合わせる手法が Greuter & Roberts (2014)[11]によって発表さし，どのバージョンでも聴覚と視覚，そして身体性にまた*2れている ．この手法は，スマホ端末を使用せずにワイヤがるインタラクションによって音楽とアニメーションが生レスでの簡易 VR 環境を実現している．しかし，Oculus Rift成されるように構築されている*3 ．

DK1 を接続したコンピュータ類一式を身体に装着しなけ	  Furukawa et al(1999)は，この「鑑賞」と「創作」が重なればならないため，体験者にある程度の重量負荷がかかっる体験を通して，「音楽」「アニメーション（視覚的要素）」てしまう．この問題点の克服のために，著者らは Kinect v2「鑑賞」「創作」といった，既存の芸術概念を拡張・再考すとスマホ端末型 HMD を組み合わせることで，Greuter &る場を立ち上げた[12]．

Roberts (2014)の手法を一歩進めた簡易全身没入型ワイヤ	  「空間楽器」の制作にあたり，著者らは Small Fish やこ

レス VR 環境を構築した．

れまでのインタラクティブ・オーディオビジュアル制作で	  本稿では，この VR 環境におけるインタラクティブ・オ得た知見を VR 空間に展開させることで可能になる新たなーディオビジュアル・システム「空間楽器」についての解体験内容，効果に着目した．

説を通して，オーディオビジュアル表現の新たな可能性を2.2 	  関 連 す る VR 環 境提案する．	 「空間楽器」に関連する VR 環境として，Greuter & Roberts(2014)による“SpaceWalk”が挙げられる．SpaceWalk は，2. 関 連 研 究	  	 商用機材を活用した小空間で構築可能な全身没入型 VR 環境である．このシステムは，HMD を装着した体験者が2.1 	  関 連 す る イ ン タ ラ ク テ ィ ブ ・ オ ー デ ィ オ ビ ジ ュKinect v2 によるモーション・トラッキング可能な範囲内でアル作品移動すると，その動きが HMD にフィードバックされ，VR	  関連するインタラクティブ・オーディオビジュアル・シ空間に反映されるようになっている（図 2）．

ステムとして，Furukawa, Fujihata,& Münch (1999) による“Small Fish”（図１）が挙げられる[2]．

図 2 	  “SpaceWalk”	  使用機材
Figure 2.	  “SpaceWalk”, Equipment
図 1 “Small Fish”，

Source: Greuter & Roberts (2014) p.3

インスタレーション・バージョン，ICC，東京
Figure 1.	  “Small Fish”，Installation version, ICC, Tokyo
Source: http://hosting.zkm.de/wmuench/m_sf_floor_i1，accessed December 15, 2015.	  著者らが構築した VR 環境は，この SpaceWalk と同様の構造となっているが，その相違点は HMD 部分にある．
SpaceWalk では，HMD に Oculus Rift DK1（以下，DK1）を	  Small Fish は，コンピュータのディスプレイ上に配置さ使用している．DK1 はコントローラー部（コントロールボれたオブジェクト群を体験者がマウスで操作できるようにックス）にバッテリーが必要であること，また，有線でコンピュータに接続して使用しなければならない等の属性か*1 加速度センサー等を用いて VR 空間内を移動する手法が既に活用されているが，著者らは「自然な動作の VR 環境内への反映」を求めた．
*2	  国内では「ニコニコ超会議 2015」において，リッテルラボラトリーが「OculusRift と Kinect を使った全身没入型 VR コンテンツ」を発表している．
http://nextdeveloper.hatenablog.com/entry/2015/05/15/174359，accessed
December 15, 2015.

© 2016 Information Processing Society of Japanら，DK1 によるワイヤレス HMD 環境を構築するためには，*3	  これら 3 つのバージョンの他に，iPhone や iPad で体験可能な iOS 版が2011 年に ZKM | Center for Art and Media Karlsruhe よりリリースされている．
http://zkm.de/en/publication/small-fish-app ，accessed December 15, 2015.

1101

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B18
2016/3/4

コンピュータ類一式を体験者が装着しなければならない．

それぞれ異なる速さで周回運動をおこないながら，音楽的そのため SpaceWalk では次の 3 点をバックパックに入れてなリズムの基盤を成している．そして，あるオブジェクト背負った状態で体験するようになっている．① コンピューが体験者の近くに存在する時は，そのオブジェクトが奏でタ（Microsoft Sureface Pro2），② DK1 のコントロールボッる音が大きく聞こえ，オブジェクトの映像も音に合わせてクス，③ DK1 コントロールボックスを接続するバッテリ変化する．逆にオブジェクトが体験者から遠ざかると，そーパック．の音は小さくなり徐々に減衰する．つまり，体験者の受動	  著者らは，DK1 を使用せず，Android 端末と VR 用スマ的かつ能動的な動き，意図により音のパターンの組み合わ

ホ端末ホルダーによってワイヤレス HMD を構成し，バッせは変化し，身体の動きによってインタラクティブにオークパックによる重量負荷の無い快適に動作が可能な VR 環ディオビジュアルを体験できるようになっている．この体境を構築した．

験はある種の「操作」，「演奏」と捉えることができるだろう．

3. 作 品 の 概 要 と 実 装3.1 	  「 空 間 楽 器 」 の 概 要3.2 	  実 装	  本試作で使用したワイヤレス HMD は，VR 用端末ホルダー（Durovis Dive5）に Android 端末（ASUS ZenFone2）を装填し構成した（図 5）．この HMD を装着した体験者の動作は，Kinect v2 によって追跡され，OSC 通信（Wi-Fi 経由）[13]を経てリアルタイムで HMD にフィードバックされる．そのフィードバックされた情報から体験者の身体の動きに応じた VR 環境が HMD に描き出されるようになっている（図 6）．

図 3 「空間楽器」，VR 空間の映像
Figure 3.	  “Space Instrument”，Image of the VR space	  「空間楽器」は，VR 空間内で音楽の断片を奏でながら移動する複数のオブジェクト（半透明な立方体）と体験者

図 5 ワイヤレス HMDが相互作用するインタラクティブ・オーディオビジュア

Figure 5.	 

Wireless HMD

ル・システムである（図 3）．体験者はワイヤレス HMD とヘッドフォンを装着し，眼前に広がる VR 空間内を自由に動くことができる（ただし，自由に動き回れる範囲は Kincet
v2 で体験者の動きを追跡可能な範囲とリンクした部分に限られる）（図 4）．

図 6 「空間楽器」，全身没入型ワイヤレス VR 環境
Figure 6.	  “Space Instrument”， Full-body immersive wireless
図 4 「空間楽器」，システム概観

VR environment

Figure 4.	  “Space Instrument”，Overview of the system	  ソフトウェアに関しては，統合開発環境を内蔵したゲー	  各オブジェクトは VR 空間内のある一点を中心として，© 2016 Information Processing Society of Japan

ムエンジン Unity5（Personal Edition）[14]を用いて，ワイヤ1102

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B18
2016/3/4

レス HMD 用の Android アプリと，Kinect v2 によるモーシ楽器」に関わり，音や音楽が聞こえてくる方向を見たり振ョン・トラッキング用 PC アプリを開発した．

り返ったり，また，見ているオブジェクトから聞こえてく	  Android アプリ開発で必要となるヘッド・トラッキングることを体験する．さらに，積極的に聴こうとしてオブジ機能の実装には，Google が無料提供している Unity 用 Asset，ェクトを追いかけたり，その場にしゃがんでオブジェクト

Cardboard SDK for Unity[15]を使用している．また，PC アプを見上げながら聴いたりもする．そのような空間との対話リ開発で必要となる Kinect v2 によるモーション・トラッキを通して，音楽と映像が変化していくことを身を以て知り，ングの実装には，Unity Asset Store で入手可能な Kinect v2

その可能性を確かめる行為を行なう．

Examples with MS-SDK[16]を使用した（図 7）．	  本試作において使用している音源は，DAW ソフトウェ
ア Ableton Live[17]を用いて作成した．それらを Unity に読み	  「空間楽器」は，楽器としての表現力，操作性，精度を高めることでさらなる可能性が開かれるかもしれないが，逆に現状のシンプルなインタラクションによる認知的な明込み，オブジェクト毎に組み込まれた Audio Source コンポ

晰さも重要であり，今後その両者を兼ね備るようなシステーネントにアサインしてループ再生させている．

ムを指向していくことになるだろう．

5. 展 望	  今後はハンド・トラッキング機能を追加し，オブジェクトを「弾く」「止める」「持つ」「移動する」「置く」等のインタラクション機能を追加しながら，「空間楽器」の表現の可能性とそこから得られる体験を掘り下げていく．
謝 辞 	  本研究の一部は，JSPS 科研費 15H03175 の助成を受けたものです．記して謝意を表します．

参考文献

図 7 「空間楽器」，システムの構成
Figure 7.	  “Space Instrument”， Configuration of the system

4. 考 察	  本試作を通して，「空間楽器」が，これまでにないオーディオビジュアル体験を生み出す可能性を有していることがわかった．それは「視覚と聴覚のみならず，主体的運動を通して得られる現実空間では体験できない複雑かつダイナミックなオーディオビジュアル体験の可能性」である．この体験では，現前する空間をあたかも新しい楽器として捉えることができる．そのため著者らはこのシステムを「空[1]	  土居伸彰「ヴィジュアル・ミュージック／モーション・グラフィックス」Artwords（アートワード），http://artscape.jp/artword/index.php/ヴィジュアル・ミュージッ
ク%EF%BC%8F モーション・グラフィックス ，accessed December
15, 2015.
[2]	  Furukawa, Kiyoshi., Fujihata, Masaki., & Münch, Wolfgang.,
Small Fish，http://zkm.de/en/publication/small-fish[3]	  Nakagawa, Ryu., & Furukawa, Kiyoshi., “ garden with cognitive
dissonance ”-“認知的不協和の庭” ，
http://www2.kb2-unet.ocn.ne.jp/ask/2014/nakagawa_furukawa.html[4]	  Nakagawa, Ryu., vertigo~(AKI Gallery version)，
https://www.artsy.net/artwork/ryu-nakagawa-vertigo-aki-gallery-version[5]	  Furukawa, Kiyoshi., Hamano, Takayuki., Nakagawa, Ryu.,
Kawamura, Tsuyoshi., & Higo, Sayumi., MUCCA，
http://mucca.town/ja/index.html[6]	  ハコスコ	  http://hacosco.com[7]	  Google Cardboard	  https://www.google.com/get/cardboard/[8]	  Durovis Dive5	  https://www.durovis.com/product.html?id=1[9]	  Oculus Rift DK1	  https://www1.oculus.com/order/dk1/[10]	  Kinect	  https://dev.windows.com/en-us/kinect/tools[11]	  Greuter, Stefan., & Roberts, J. David. (2014). SpaceWalk:Movement and Interaction in Virtual Space with Commodity Hardware.
IE2014 Proceedings of the 2014 Conference on Interactive
Entertainment, 1-7.
[12]	  古川聖 (2005).「ドイツと私と音楽」，『D/J Brand the burning
point of the artists who studied in Germany』, 60-61．
[13]	  OSC(Open Sound Control)	  http://opensoundcontrol.org[14]	  Unity5（Personal Edition）http://unity3d.com/[15]	  Cardboard SDK for Unity	 
https://developers.google.com/cardboard/unity/?hl=ja[16]	  Kinect v2 Examples with MS-SDK	 
https://www.assetstore.unity3d.com/jp/#!/content/18708[17]	  Ableton Live	  https://www.ableton.com

間楽器」と名付けた．	  体験者は単なる鑑賞者としてではなく，能動的に「空間© 2016 Information Processing Society of Japan1103