情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C65
2016/3/3

高可聴域音 ID を利用した音楽会場における照明制御とインタラクションの可能性
平林 真実†1渡辺 充哉†2

概要：音楽会場において高可聴域音を用いた音声 ID によるスマートフォンと照明装置を一体とした制御を音楽フェスティバルにおいて実施した．本稿では、ホールなどの大きめの会場における音声 ID の利用についての考察と小さな音楽会場においてアーティストと観客にインタラクションを照明装置を利用する可能性について報告する．

Possibility of Interaction on Lighting Control on a Music Venue
Utilizing Ultrasonic Sound ID
MASAMI HIRABAYASHI†1

MITSUYA WATANABE†2

Abstract: We made a system that control stage lightings and smartphones as a whole with utilizing ultrasonic sound ID(USC) atthe music festival. We report the considerations at using our system in a medium size music venue, and inquire to possibilities
on interaction between artists and audiences at music venues with the lighting control.

1. はじめになコンサートなどで利用されるようになってきている．またディープラーニングによる DJ を諦観している真鍋と徳

近年、音楽会場における音楽の楽しみ方に対して，徐々井による 2045[4]や BaPA というワークショップ[5]などでにメディア技術が導入されはじめ，会場におけるリアルタテクノロジーを使ったエンタテインメントの試みがなされイムの反応や参加性を生かした仕組みが注目されてきていている．また，スマートフォンをペンライトとして利用する．我々は，アートの分野で先行しているインタラクティる方法[6]も提案されている．我々も NxPC.Lab の活動におブな表現形態やメディア技術を音楽会場における体験へ持いて，スマートフォンを動かすことで会場内に VJ 映像とち込むことで，新しい音楽の楽しみ方や新しい音楽体験をし て 共 有 で き る iPhoneVJ[ 7 ] や 高 可 聴 域 音 ID （ 以 下もたらすことをめざした研究活動を行っている．音楽会場

Ultrasonic Sound Communication（USC）と呼ぶ）を利用しにおける体験をパフォーマ/アーティスト，観客，会場空間て DJ が 観 客 の ス マ ー ト フ ォ ン の 映 像 を 制 御 す るの相互インタラクションととらえ，NxPC.Lab[1] という活Cryptone[8]，USC による参加型音楽作品 Sense of Space[9]，動において音楽イベントを実施し実験を行いながら，音楽Bluetooth に利用した観客の盛り上がり間の共有システム体験を拡張するための実践的な研究を行っている．

[10]などの開発/実演を行っている．

本稿では，岐阜県大垣市で開催された音楽フェスティバ

高可聴域音を利用した通信としては，ヤマハ株式会社のル POST に お い て 実 現 し た 高 可 聴 域 音 を 用 い た 音 声InfoSound[11 ]をはじめ，Google の chomecast のペアリング

ID(USC)を利用した観客のスマートフォンのペンライトとや LINE アプリにおける友達追加などスマートフォンを前しての利用と会場の照明装置を DMX により一元的に制御提とすることで多くの場所で利用されるようになってきてすることで会場の一体感を高めるシステムにおける報告と，いる．本研究で用いている音声 ID である USC(Ultra Sonic

これまでに実施している音楽イベントにおける照明の制御

Communication）は，高可聴域音を使い DTMF(Dual Toneから音楽会場における照明制御によるインタラクションのMulti Frequency）によりコード化したものであり，当初は可能性について報告する．特に前者においては高可聴域音

スマートフォン同士の近距離通信向けに開発したものを，ID(USC)の利用については，会場のサイズによる問題や照音楽との相性の良さや反応速度の速さや対応できるプラッ

明制御に用いる場合の問題と解決方法について報告する．

トフォームの広さを生かし音楽会場へのインタラクション

2. 関連事例に応用したものである．

音楽会場における一体感を演出するための方法としては，無線制御のペンライト[2]やリストバンド[3]などが大規模

3. 音楽会場における照明制御とインタラクシ
ョン我々は，音楽会場におけるインタラクションとして，ア†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciences.
†2 株式会社 GOCCO.
GOCCO. Inc.

© 2016 Information Processing Society of Japanーティスト（音楽，映像），観客，会場との相互の関係性を元にさまざまなシステムの開発を行ってきた．Cryptone で735

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C65
2016/3/3

は，音楽のパフォーマである DJ による観客とのインタラ能である．

クションを会場の映像を介して実現し，Sense of Space で

4.2 システム概要

は介入することが難しい音楽演奏への観客の参加可能性を

システム概要を図 1 に示す．

探る作品などを作ってきた．
これらのシステムや作品において対話性を実現するた
めにはアーティストとの協力/共作はもちろんとして観客の積極的な参加が必要であり，特にこれを促す環境作りが重要となる．音楽と比較すると映像による参加性を持ち込みやすいが，強い参加性を持ち込むことはそのシステム自体を楽しむことを強制し音楽イベントの中心である音楽体験との齟齬を生みかねない危険を伴っている．アイドルイ
ベント等にみられる一種の作法が決まっているイベントにおいては効果が期待できるが，我々が本来対象としているクラブやライブイベントにおいては参加性のバランスを取った導入が求められる．
これらの経験から我々はアーティストと観客の間を会場システムを介して”緩い”インタラクションによる繋ぐ方法として照明装置に注目し，音楽イベントにおける照明制御を積極的に行ってきた．大規模なコンサートと違いク
ラブはライブハウスでは照明は PA スタッフらが同時に操作していることが多く，組み込まれたパターンを切り替える等が一般的である．それにも拘わらず音楽会場における

図 1 システム概要

雰囲気作りに照明は必須の要素となっている．我々も，樽Figure 1 System Overview

見鉄道クラブトレインにおける iPad の利用[12]，長良川鉄道ソウルトレイン[13]など狭い空間での照明による演出効

USC および DMX 照明装置は，PA エリア後方の一角に配果の高さとそれを動的に制御することの可能性を実感して置されている．アーティストの演奏中は，ここで演奏に合いる．
そこで本稿では，音楽会場に親和性の高い高可聴域音 ISである USC を音楽会場においては一種の観客側の照明とわせて手動で USC および DMX の制御を行う．なお，ステージの転換時には観客が MIDI コントローラを操作して体験できるようにもなっている．

しても機能するペンライトをスマートフォンアプリとして照明装置はフルカラーLED 照明であり，ステージ上の 2制御し，同時に会場の照明システムを同期するシステムをか所とフロアの前方の 2 か所に置かれ USC と連携して試みた．さらに，DMX 照明装置をも USC による制御するDMX 制御される．必要に応じて MIDI コントローラによるシステムも構築した．

手動制御も可能になっている．正面に配置されたスクリーンにはプロジェクタによる映像が投影されているが，VJ

4. 音楽フェスティバル POST におけるシステムによる映像と PA エリアに置かれた iPad mini2 を介してス

4.1 音楽フェスティバル POST

マートフォンと同じ映像がメインスクリーンにも映ること

POST は「テクノロジーと音楽で未来と届ける」をテーマにシンポジウム，テクノロジーフェア，音楽フェスティバルを融合したイベントである．2015 年 10 月 11 日に岐阜県大垣市にあるソピアホールにて実施された[a]．
本システムはこの中の音楽フェスティバルにおいて，一部のアーティストを除いて基本システムとして常時稼働し，iPhone および android アプリとして各ストアを介して配布マートフォンアプリの映像とが投影されるため，観客のスとなる．USC による音声 ID はメイン PA システムに繋がれ，音楽と共に会場に流れる．
会場の様子を図 2 に示す．左は会場全景（転換中），右は観客の体験用に置かれている MIDI コントローラである．
MIDI コントローラはアーティストの演奏中は，筆者が操作している．
4.1 Ultra Sonic Communication

された POST オリジナルアプリを観客が利用することで参我 々 は ， 高 可 聴 域 音 に よ る DTMF(Dual Tone Multi

加できるようにした．会場は 949m2 の広さであり，フェスFrequency) を 使 っ た 音 声 ID と し て Ultra Sonic

ティバルでは立ち見となるための 1000 人以上の収容が可

Communication(USC)を 2011 年に開発し，スマートフォンa) http://www.postfes.jp/© 2016 Information Processing Society of Japanを使った近距離通信や音楽会場におけるインタラクション

736

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C65
2016/3/3を実現する手段として利用している．USC は，17000Hzー

ティストの情報のページがあり，「ライブに参加」というボ

20000Hz の高可聴域音（いわゆるモスキート音）を使い，タンを押すことで本システムが起動する．

電話の発信用のトーン音に使われている 2 つの周波数の音声を重畳することで音声 ID を構成する DTMF という手法による極めて単純な音声 ID である．
USC の特徴は，以下の通りである．
・16000Hz 以上の音声は 20 歳を超えると聞き取りにくくなり，成人にはあまり聞こえないため，音楽と同時に流しても楽曲に与える影響が小さい
・音楽会場においては常設されている PA システムだけで，会場全体に音声 ID を伝播することでき，音楽会場との親和性が高い

図 3 アプリ画面例
Figure 3 Screenshots of the App・マイクとスピーカがあればよいので，スマートフォンなら単体で完結でき，また，WiFi などのように特別な設定をペンライトを模したシステムとなっているため，ID に応する必要がない

じて色が変化し同時に背景のグラフィックも反応するよう

・DTMF の解読は高速フーリエ変換による周波数解析のみになっている．一部の ID では，矩形が動いたり色がグラで可能であり，ID の生成は 2 つの周波数の音を発生させる

ディエーションで変化するような動的なものもあり，これのみであるため，スマートフォンをはじめ幅広いプラットらの変化も照明と連動する．なお，iPhone 版の実装ではフォームに対応できる

SpriteKit，android 版では libGDX による実装されている．

・エンコード/デコードが簡単であるため，ID に対する応5. USC による照明制御

答速度が速く，楽曲との同期が取りやすい

POST フェスティバルでの実演を踏まえ，DMX 照明装置

ただし，以下のような欠点もある．
・ホワイトノイズのような全周波音に対して脆弱であり，誤動作をすることがある・ID が単純であるため秘匿性が低く，ID を解読されてしまわれやすい
主なプラットフォームとして利用している iOS デバイスについては，iPhone3GS 以降 のすべての iOS デバイス でも USC により一元的に制御するためのシステムも開発した．構成を図 4 に示す．
Raspberry Pi 2 (OS:Jessie)上の openframeworks による USCの解析，Open Lighting Architecture[b] サーバによる DMX照明制御，fadecandy[ c]による Open Pixel Control サーバらによってフルカラーLED 制御を行うことができる．

20000Hz までの認識と再生できることを確認している．今回 Android 版も作成したが，android で機種による違いにより認識率が異なるが我々がテストした端末(Nexus5,Xperia
Z1 等)では動作確認ができた．
表 1 に DMTF の構成をしめす．数字は ID 番号である．
表 1DTMF 対応表

図 4 USC DMX 制御実装

Table 1 DTMF Frequency Mapping

Figure 4 System overview of the USC DMX Control

19000Hz

19250Hz

19500Hz

19750Hz

18000Hz

1234

18250Hz

5678

過去の実演ではクラブや地下駐車場といったスペース

18500Hz

9101112が多く，今回のように 1000 人規模の会場では初めての実演

18750Hz

13141516であり事前実験およびリハーサルにおいて実験を行ってい

6. 結果および考察

る．広い会場ではあるが通常の PA システムによる再生で16 個の ID によりアプリケーションでは 16 パターンの映像

会場全体エリアにて ID が受信可能であることが確認できを表示する．

た．音声 ID であるため会場の場所によって ID の受信時間4.3 アプリケーションに差がでるのは利点でもあり欠点でもあるが，USC では音アプリケーションのスクリーンショットを図 3 に示す．
アプリケーションは，フェスティバルの情報や参加アーb) Open Lighting Architecture, https://www.openlighting.org/ola/c) FadeCandy - Dithering USB-Controlled Driver for NeoPixels,
https://www.adafruit.com/products/1689© 2016 Information Processing Society of Japan737

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

162C65
2016/3/3

楽とスマートフォンの音の同期性を特徴として生かしてい映像と違い，色と明るさおよびそれらの変化を中心としる点でもあるため許容できている．しかしながら照明装置

た照明装置は，音楽や映像と容易に共存できる邪魔にならとの同期を考えると，スピーカーから遠いエリアではスマない範囲での観客の反応を反映できる”ゆるい”インタラートフォンと照明では音速に応じた明らかな差が視認できクションに向いていると考えられ，今後は観客の反応を取た．USC による照明制御を導入することで照明制御を分散得する仕組みを導入し実証を進めたい．

化させることができれば改善が可能なので，次回以降の実演において試行していきたい．

7. まとめもう 1 点問題となったのは，照明制御のため USC を単独高可聴域音 ID である USC を利用したスマートフォンので再生したときにスピーカーから DMTF の 2 つの周波数のペンライトとしての利用と会場の照明装置の連携を行った差分に由来する可聴域の音声が発生してしまい，これが気音楽フェスティバルにおける実演と，USC による DMX 照になることであった．これまでも同様の状態は起きていた明装置の制御システムについて報告し，照明制御によるアが音楽と同時に再生していたため音楽に紛れて気になるこーティスト，観客，音楽会場における“緩い”インタラクとはなかった．しかし単独で再生することで問題となってションシステムについて提案を行った．今後は観客からのしまった．その後の実験で周波数イコライザー等の利用に操作手法を検討し，音楽会場における照明装置によるインより症状を軽減できることはわかったが，USC の ID の再タラクションに検討を行い，各種イベントによる実証する検討や 2 つのスピーカー利用による単一周波数毎の再生な予定である．

どより効果的な方法を検討したい．実際のフェスティバルに運用では，楽曲のタイミングと合わせて USC を再生する

謝辞

スマートフォンアプリ POST のデザインを担当しことで，あまり際立って聞こえないようにすることはできて頂いた長野めぐみ氏および本アプリの開発およびフェス

た．ステージ転換時のデモ体験では明らかに聞こえていた

ティバルへの参加の機会を頂けた株式会社 GOCCO.の森誠にも拘わらず，以外にも気にしない観客も多かったが，耳之氏に感謝いたします．本研究は JSPS 科研費 15K00691 の障りだった観客もいたと考えられる．

助成を受けたものである．

また予想された問題ではあったが，USC は生音特にドラム類の打撃音には弱く，ドラムを含む生演奏では著しく信頼性が低くなった．この点に関しては USC の仕組みの根本的な変更が必要となるため，FFT 解析のみで実現可能な簡易さを生かしながらどのような仕組みが可能かを検討して必要がある．
USC について Android スマートフォンでの実装は初めてあるが USC 自体の実装は容易であったが，スマートフォンの機種に違いよる ID の認識にはかなりの違いがあった．
同じ距離でも認識できる機種とできない機種が存在し，これらをすべて許容できるシステムの構築は難しいと感じた．
演出効果としてみたときには，音楽フェスティバルであるためアイドルからバンドまで多様なアーティストが出演したが，照明としてはどのシーンにも違和感なく融合でき，スマートフォンアプリに関しては観客各自の判断で利用しながら会場を構成することができたと考えられる．さらにステージ正面のスクリーンとも同期しているためステージ，会場，観客といった会場全体を照明により同期することができた．しかしながら照明制御におけるパフォーマンス/演出においては，プロのイベント関係者からみて経験不足からの物足りなさは反省点となった．このようなシステムは大規模なコンサートにおける無線制御のペンライトなどにおいても同様に実現している演出ではあるが，USC を用いることで特殊な装置を用いることなく，限られた設営時参考文献
1) NxPC.Lab: 新次元多層メディア的クラブ体験研究室,http://nxpclab.info
2) Sony Music Communications Inc. FreFlow(フリフラ)®,https://www.youtube.com/watch?v=mZTrVz0_d0o3) Ripple Light, http://www.ripple-light.com/
4) 2045, https://www.facebook.com/events/860725814007294/
5) BaPA2015, http://bapa.ac/
6) ホーソーン ルーク，吉井 貴映，新田 英雅，浅野 剛司，田辺晃弘，平山 貴之，木田 純平，松下 宗一郎: 音楽ライブ会場におけるリズム教示インタフェースの提案，インタラクション 2014 ，インタラクティブ発表， 20147) 白井大地, 白鳥啓, 岡村綾子, 平林真実: iPhone による観客とVJ のセッションシステム, インタラクション 2011, インタラクテ
ィブ発表, 2011
8) Masami Hirabayashi,,Motoi Shimizu :Cryptone: Interaction between
Performers and Audiences With Inaudible DTMF Sounds,SIGGRAPH
ASIA 2012 Emerging Technology,Article No.5,2012
9) Masami Hirabayashi, Kazuomi Eshima: Sense of Space: TheAudience Participate Music Performance with High-Frequency Sound
ID, New Interfaces for Musical Expression(NIME)2015, 201510) 平林真実: 身体活動量情報を用いた音楽イベントにおける盛り上り感の共有, インタラクション 2015, インタラクティブ発表,
201511) ヤマハ株式会社: 音を使った新しい情報発信 INFOSOUND
http://research.yamaha.com/network/infosound/12) 青木聖也,平林真実,城一裕,金山智子:鉄道などの狭い移動体空間を利用した VJ・デコレーション表現の提案,エンタテイメント
コンピューティング 2014, 201413) NxPC.Lab:長良川鉄道ソウルトレイン,
https://www.youtube.com/watch?v=JnpT-hD_Ewo

間において容易に設置できるどのような音楽会場においても実現可能なシステムとなっている．

© 2016 Information Processing Society of Japan738