情報処理学会 インタラクション 2019
IPSJ Interaction 2019

1B-14
2019/3/6

ジェスチャ認識による演奏者と観客のインタラクションに基づくライブの一体感演出システム
紫村勇綺†1宮脇健三郎†2

概要：音楽表現に使用される楽器は，時代と共に新しいものが開発されている．また，コンサートやライブと呼ばれる演奏会は古くからそれらの発表の場として存在する．しかし，そのような形式の演奏会
では鑑賞者はあくまで観客であり，音楽に介入することは出来ない非インタラクティブな芸術である．
近年では観客参加型のインタラクティブなライブなども開催されているが，舞台から流れる音楽そのものに介入が可能なものではない．そこで本研究では観客側の姿勢をセンサで検出し，その変化を演奏者の音楽に反映される楽器を開発する．観客側の演奏者の音楽への介入を可能にすることで，より一体感のあるライブを目指すものである．

1. はじめに出側から示すことで，観客の何をすればいいかわからないという不安をなくし，観客の一人一人の演出への参加意欲

音楽表現に使用される楽器は，時代と共に新しい物が開の向上を狙うものである．文献[2]は観客の行動によってデ発されている．新たな構造・操作方法の楽器が開発される

バイスが光るためインタラクティブアートであるが，音楽ことで，新たな音楽表現が可能となる．音楽表現とは，音自体は演奏者が全て制御している．対して本研究は観客の声に意味を持たせ受け手に伝達させる芸術表現の一種であ動きを音楽に反映させる楽器の開発を目的としている．まり，コンサートやライブと呼ばれる演奏会は古くからそれた複数のセンサを使用したメディアアートとして，吉田ららの発表の場として存在する．演奏者と鑑賞者が存在するが開発した humosic[3]がある．Kinect と Leap Motion[4]を使形式の演奏会は 17 世紀前後に成立し，現代まで続いてい用して演奏者の動きを直感的に音楽に反映させる楽器である．

る点が本研究と類似しているが、本研究では演奏者が直感

しかし，そのようなライブでは鑑賞者はあくまで観客であ的に音楽表現を出来ることに加え，観客の動きも音楽へとり，音楽に介入することは出来ない非インタラクティブな反映することを目的としている．

芸術である．近年では観客参加型のインタラクティブなライブなども開催されているが，舞台から流れる音楽そのものに介入が可能なものではない．

3. 提案手法

そこで本研究では観客側の姿勢をセンサで検出し，その提案システムではゲームエンジン Unity[5]を用い，スク変化を演奏者の音楽に反映される楽器を開発する．観客側

リーン上の仮想 3 次元空間に発音オブジェクトを配置する．の演奏者の音楽への介入を可能にすることで，より一体感

次に手指のモーションキャプチャセンサ Leap Motion が演のあるライブを目指すものである．演奏に用いる楽器は，奏者手指の位置を検出し，その手指の位置にオブジェクト筆者の開発したもの[1]を使用する．

を追従させる．発音オブジェクトと手指オブジェクトが交差した際に，それに応じて MIDI[6]データを用いて発音す2. 関連研究
川元らは楽曲中に観客がどのような振りやアクションを取ればいいのかを演出の中で感覚的に示し，正しい動きをる．また web カメラで取得した観客の映像を Realtime
Multi-Person 2D Pose Estimation[7]（以下 OpenPose）を用いて姿勢推定し，特定のジェスチャを認識して音楽に反映させる．

することで光るペンライトを製作した[2]．LED デバイスを与え，ライブの音楽に合わせてデバイスを正しく振るとデバイスが光るものである．正しいペンライトの振り方を演

3.1 演奏者の操作方法
図 1 に本楽器を実際に操作する演奏者を示す．画面左側†1 大阪工業大学大学院 情報科学研究科
Graduate School of Information Science and Technology
Osaka Institute of Technology†2 大阪工業大学 情報科学部
Faculty of Information Science and Technology, Osaka Institute ofTechnology© 2019 Information Processing Society of Japan233

情報処理学会 インタラクション 2019
IPSJ Interaction 2019の円柱オブジェクトは触れると音を発する発音オブジェク

1B-14
2019/3/6

出する．

トであり同時に音色の変更も行うことが可能である．右側に映っている黄色の矩形オブジェクトは発している音の音高・音量を操作するオブジェクトである．このオブジェク
トに触れる位置によって音量・音高を操作する．これらオブジェクトは演奏者が予め一意に設定できる．操作画面を
図 2 に示す．

図 1

図 3

手を挙げる

図 4

手を振る

演奏者の様子手拍子
観客の手拍子を検出して再生している音楽のリズムに合わせて，打楽器のようなリズム楽器の音を再生する．このとき鳴らす音声は観客の手拍子ではなくあくまで再生している音楽に同期させる．両手首の距離と軌跡を計算し実現する．例を図 5 に示す．

図 2

操作画面

3.2 観客側のジェスチャ
音楽に反映させるジェスチャの例として今回は手を上げる，手を振る，手拍子をするという 3 つのジェスチャを使用する．
図 5

手を上げる

手拍子

観客が上げた手の高さに応じて音楽の音量を変化させる．
例を図 3 に示す．画面内の観客の手首と肩の Y 座標の差の平均を計算し実現している．

4. システム構成
ゲームエンジン Unity を用い，スクリーン上の仮想 3 次

手を振る

元空間に発音オブジェクトと観客の姿勢推定画像を表示す

観客が音楽に合わせて手を振るジェスチャを検出してる．演奏者の手指のモーションキャプチャセンサ(Leap

演奏者が操る楽器の音色を変える．例えばこのジェスチャMotion)が手指の位置を検出し，その手指の位置にオブジェによって楽器の音色をピアノからシンセに変更させる．そクトを追従させる．発音オブジェクトと手指オブジェクトの様子を図 4 に示す．手首の軌跡を追跡しジェスチャを検が交差した際に，それに応じた発音を行う．また観客側を© 2019 Information Processing Society of Japan234

情報処理学会 インタラクション 2019
IPSJ Interaction 2019

撮影した映像から OpenPose で観客の姿勢を推定し、Unity側でその情報を読み取りジェスチャを認識して，それに応じた変化を音楽に与える．
4.1 ハードウェアの構成
このシステムを実現するために使用する開発環境を図 6に示す．

1B-14
2019/3/6

6. おわりに
楽器はアナログやデジタルを問わず，全く発音方法や奏法の異なる物が世界で考案，開発されている．音楽はその楽器の奏法中で可能である表現しかできないため，新たな楽器により新たな音楽が生まれると考える．ライブ自体も同様に時代と共に多様な形態のものが生まれており，演奏者から観客への一方通行だったものが双方向へ作用するインタラクティブなものへと進化してきている．
本研究で開発したシステムは演奏者の直感的な楽器演奏に加え，演奏者と観客とのコミュニケーションを通じてライブの一体感を演出し，よりエキサイトする空間を創り出すきっかけになると考える．
今後は他のジェスチャへの対応や外部音源との連携など，機能拡張を実装していく予定である．

謝辞

本研究は JSPS 科研費 17K01160 の助成を受けたものです。
図 6

ハードウェアの構成

4.2 ソフトウェアの構成
提案システムを実現するため，演奏者側のセンサである
Leap Motion との連携が容易な，ゲーム開発用プラットフォーム Unity を使用している．
また，提案システムでは，音楽的音声再生の際に MIDI データを使用している[4]．MIDI データに応じた音声を指定した音源から発音することで，音楽的音声の再生が可能である．今回は MIDI を操作する為 winmm ライブラリ[8]を使用している．OpenPose で推定した観客の姿勢は，取得した関節情報を 1 フレーム毎に JSON 形式で保存したものをUnity で読みとっている．

5. 動作確認開発した楽器を実際に使用し，観客のジェスチャによっ

参考文献
[1]

紫村勇綺，宮脇健三郎．音楽表現を拡張するジェスチャ操作
楽器の開発．情報処理学会 インタラクション 2018，p.411414．
[2] 川元留輝，串山久美子．コンサートで観客の行動を促す演出と LED デバイス．情報処理学会 インタラクション 2018，p.754-755．
[3] 吉田紘希，中村滋延． 複数の種類のセンサを利用した音楽演奏システム“HUMOSIC”について A STUDY ON THE
EMPLOYMENT OF DIFFERENT TYPES OF SENSORS IN
THE MUSIC PERFORMANCE SYSTEM“HUMOSIC”．先端芸術音楽創作学会会報 Vol.6 No.3 pp.13–16．
[4] “Leap Motion 公式 HP”．http://www.leapmotion.com．
[5] “Unity 公式 HP”．https://unity3d.com/jp/[6] “MIDI 企画委員会 HP”．
http://amei.or.jp/midistandardcommittee/index.html[7] “OpenPose”． https://github.com/CMU-Perceptual-ComputingLab/openpose/tree/master/doc[8]“Musical Instrument Digital Interface (MIDI)”
https://msdn.microsoft.com/jajp/library/windows/desktop/dd743619(v=vs.85).aspxて演奏者の音楽に介入が出来るかを調べた．観客には３つのジェスチャとその効果を演奏会前に数分間説明し，筆者の楽器を用いて 5 分程度の演奏会を行った．その間，観客は挙手による音量の変化，手を振る動作による音色の変化，手拍子による打楽器音声の再生といった演奏への介入を問題なく使いこなし，観客自身も演奏に参加することができた．本システムはライブでの演奏者と観客の一体感を高めることを目的としており，観客のジェスチャはなるべく簡単で直感的なものを選択している．そのため，上記のような非常に簡単な動作説明でも，観客が演奏者と一体となって楽しめる演奏会を実現することができた．

© 2019 Information Processing Society of Japan235