情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B37
2018/3/5

音楽イベントにおける演奏者動作取得と 360 度 VR 配信への重畳
平林真実†1
概要：360 度 VR インターネット配信において会場の状況を共有し臨場感を高めるための手法として，会場内に BLEを用いたセンサと IoT プロトコル MQTT によるセンサ環境を構築し，演奏者の動作情報を可視化し，360 度 VR 配信における映像の余白部分を有効に利用して重畳する試みをイベントにおいて実施し可能性を確認した．

Superimposition of a performer's movement on 360 degree VRinternet broadcast in the music venue
MASAMI HIRABAYASHI†1
Abstract: I tried the method for enhance the experiences by sharing the situation of the music venue in 360-degree VR internet
broadcast. I built the sensor environment using BLE sensor modules with the IoT protocol MQTT in the venue, the visual
generated from the motion of a performer is superimposed to the broadcast by utilizing the margin of the 360 degree VR image
such as floor and ceil.

1. はじめに音楽会場へのテクノロジーによる演出が盛んになっている．我々は音楽体験の拡張をテーマとして，音楽イベ
ント NxPC.Lab[1]を中心にこれまで多くの試みを実施して本稿ではセンサを利用した会場状況取得と 360 度 VR 配
信と演奏者の動作情報と融合の実験として，センサのタイムコードと演奏者の動作情報を重畳している．

3. 関連事例

きた．現在，音楽会場からの 360 度 VR 配信とセンサ類に大規模なコンサートにおける例としては 2014 年に嵐のよる音楽会場での各種情報取得環境の整備を進め，これらコンサートでは心拍数による演出や筋電による演奏が行わの利用したシステムの開発を進めている．

れている．2017 年 9 月からマイクロソフトとエイベックス

本稿では演奏者に装着したセンサ情報を 360 度 VR 配信に重畳するシステムについて報告する．音楽イベントは2017 年 7 月 29 日に本学および 2017 年 9 月 17 日に Circus
Tokyo にて実施した．

2. 目的による音楽ライブ等への来場者の表情分析のプロジェクト[2]も実施されている。
徳井直生によるによる AIDJ[3]，およびイベント「2045」において観客の動作やアルコールセンサによる盛り上がり状況が選曲に影響を与えている．
演奏者の動作解析に関しては，楽器演奏についての解析

360 度 VR によるネットワーク配信は，多数のカメラを等の研究は多数あるが，DJ プレイや PC ベースの演奏やラ配置しスイッチングするような本格的なネット配信が難し

イブコーディングによる演奏などでは，動作が演奏されたいクラブやライブハウスのような音楽会場からの配信にお男との関連に特徴を見いだすことは難しいため，演奏動作いて，カメラ一台を配置するだけで参加性や臨場感をを演出に利用した例はほとんど見られない．

もたらす可能性を持っている．従来のように演奏者だけを我々も 2017 年 3 月 11 日に実施した NxPC.Live vol.27[4]

映すのではなく視聴者が視点を変えられる点，周囲の状況において BLE センサを演奏者や観客および会場に配置し，や観客を見渡すことができるよう点などにより，会場の雰それらのデータを収集し演出に利用する例や，360 度 VR

囲気や臨場感の共有を高めることができる．さらに，360配信においてネット上の観客を会場や映像にフィードバッ

度配信においては，天井や床も配信エリアに含まれるため，クするシステムを開発している．また，2017 年 7 月 17 日

配信画面に様々な情報を重畳する余地が存在している．こに Circus Tokyo で 実 施 し た イ ベ ン ト Interim Reportの余白領域に会場に設置されたセンサからの情報を視覚化

Edition1[5]において，DJ 演奏の動作を演出に利用する試み

し重畳することでネット上の視聴者へ会場の状況を提示す[6]を行っている．

ることで臨場感の向上を試みている．
†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciences© 2018 Information Processing Society of Japan

4. システム構成
システムは，IoT 向けのプロトコルである MQTT と BLE329

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

を用いたセンサデバイス SenStick[7]を用いた構成となっている．

1B37
2018/3/5

5. イベントにおける実施
実験は，2017 年 7 月 29 日に本学にて実施した音楽イベン
ト NxPC.Live vol.28[8]および 2017 年 9 月 22 日に渋谷のCircus Tokyo にて実 施した 音楽イベント Interim Report
edition 2[9]において行った．
NxPC.Live vol.28 は本学オープンハウスに合わせたイベン ト で あ り 、 Interim Report Edition2 は ， live coding やgenerative な表現を主なテーマとして，本学の NxPC.Lab と株式会社間チルダおよび音楽会場である Circus Tokyo の共催で実施し，多摩美術大学の協力を得て教員や学生に多数出演するイベントであった．
演奏者には SenStick を付けた簡易リストバンド（図 3）を装着してもらいライブを実施してもらった（図 4）．

図 1

システム構成会場内には，システム用に無線 LAN アクセスポイントを別途設置し，有線接続の Raspberry Pi3 を２箇所に配置し，複数の BLE センサ SenStick の情報を取得できるようにしている．システム構成を図 1 に示す．
センサデータは Raspberry Pi 3 が MQTT Publisher として

図 3 SenStick を付けたリストバンド機能し時刻情報（タイムコード）を付加した MQTT パケッ
トを生成し，ローカルに設置された MQTT Broker に送信される．これらのデータは MQTT Broker を介して Node-Redで記述された MQTT Subscriber により NoSQL データベース
CouchDB に格納される．同時にデータの視覚化のために
Mac Book Pro 上の MQTT Subscriber によっても取得され，ビデオミキサーRoland V-1HD により 360 度カメラ(Ricoh R
Development Kit)の映像と合成され，LiveShell X によりエンコードされ Youtube Live でインターネット配信される．
情報を重畳した配信映像(Equirectangular 形式)の例を図2 に示す．

図 4

SenStick を装着しての演奏（田所氏）

Interim Report Edition2 は 100 名を超える来場者があったが，ネット配信の視聴者は最大で 20 名程度であり，重畳映像はあまり中継映像に邪魔にならないようにセンサデータから可視化する映像の大きさを実験しながら調整して配信したため，明確に反応を得ることはできなったが，360 度
VR 配信において，タイムコードとセンサ情報を重畳する余地が十分にあることを確認できた．ただし，今回使用し
図 2

情報重畳の例

た BLE センサですべてのデータを取得するようにしたた
め更新速度が最大でも 5Hz 程度であるため，単純にセンサ情報を可視化すると動きが滑らかではなく，可視化する際© 2018 Information Processing Society of Japan330

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1B37
2018/3/5の映像の質を向上させるための表現上の工夫が必須であることも確認できた．

6. まとめ360 度 VR 配信において，演奏者の動き情報を重畳することで会場の状況をネット上の視聴者と共有し，臨場感を向上させる試みを行った．本システムでは，音楽会場内にセンサ環境を構築し，演奏者以外にも多様な情報を取得する環境を構築し，また 360 度 VR 配信映像にタイムコードを埋め込むことで，センサデータ，会場情報，演奏者情報と音楽を絡めた分析を行うことを可能にしている．今後は音楽会場におけるセンサ環境の充実と深層学習等を用いたこれらの分析により，音楽会場，ネット配信における体験の拡張をさらに進めていく予定である．
謝辞

本研究は JSPS 科研費 15K00691 の助成を受けたものである。本研究の実施に協力いただいた株式会社間チル
ダ、Circus Tokyo、永松歩氏に感謝する。

参考文献
[1]
[2]

[3]
[4]
[5]
[6]

[7]
[8]
[9]

NxPC.Lab.
http://nxpclab.info/“より満足度の高いライヴ イベントの実現に向け、AI を活用した来場者分析システムを開発”.
https://news.microsoft.com/ja-jp/2017/09/01/170901-avex-microso
ft-faceapi/.
“AIDJ PROJECT”.
http://qosmo.jp/aidj/
NxPC.Live vol.27 祝.
http://nxpclab.info/vol.27/.
Interim Report Ediion1.
http://interim-report.org/edition1/.
飯島祥,平林真実,小林孝浩. 音楽ライブパフォーマンスにおける奏者の運指に着目した映像表現システムの開発. 情報処
理学会エンタテインメントコンピューティング 2017,2017,pp.246-249.
SenStick.
http://senstick.com/.
NxPC.Live vol.28.
https://www.facebook.com/events/476060352743316/.
Interim Report Edition2.
http://interim-report.org/edition2/.

© 2018 Information Processing Society of Japan331