情報処理学会 インタラクション 2014
IPSJ Interaction 2014

C3-8
2014/3/1

高可聴域音による音声 ID の観客参加型音楽作品への応用
平林真実†1

江島和臣†2

高可聴域音の DTMF による音声 ID を用いることで，楽曲に含まれる ID に反応し観客のスマートフォンや会場のタブレットから音楽を流れる参加型音楽作品を制作し，ライブにて実演を行った．観客の参加性や会場空間への音楽の広がりなどを実現することで，新しい音楽体験の可能性について検討を行った．

Application of High-Frequency Sound ID for a Musical Work in
Which Audiences can Participate
MASAMI HIRABAYASHI†1

KAZUOMI ESHIMA†2

We performed the musical work which uses the sound ID with high frequency sound DTMF. The IDs are embedded into themusic, audiences' smartphones and tablets at the venue reacted by the IDs and they play music pieces. We considered thepossibility for novel music experiences brought by participation of audiences and spreading sound at the music venue

1. はじめに

2. 関連研究および作品

何十年も大きな変化がなかった音楽会場における体感に

音楽におけるパフォーマと観客とのインタラクションの対して，近年，徐々にメディア技術が導入されはじめ，参試みとしては，古くは 1994 年から平沢進氏が行っている加生やリアルタイム性を生かした仕組みが注目されてきて“インタラクティブ・ライブ”[7]での，会場内に仕掛けた独いる．我々は，アートの分野で先行しているインタラクテ

自インターフェイスを介した観客による映像への介入，積ィブな表現形態やメディア技術を音楽体験へ持ち込むこと極的なウェブ展開，音楽配信が有名である．テクノミュー

で，新しい音楽の楽しみ方，新しい体験をもたらすことをジ シ ャ ン , DJ と し て 有 名 な Richie Hawtin の 別 名 義目指した研究を行っている．音楽会場における体験をパフ

Plastikman が 2010 年の世界ツアーの為に AppStore よりリォーマ/アーティスト，観客，会場空間の相互インタラクシ

リースした iPhone アプリケーション SYNK[8]を用いて音ョンととらえ，NxPC.Lab という活動において音楽イベントのコントロールを観客に委ねる仕組み，ステージ上 LED をを実施し実験を行いながら，音楽体験を拡張するための実コントロールする仕組み，DJ 目線のカメラをライブストリ

践的な研究を行っている[1][2][3]．

ーミングする仕組み，ドラム，パーカッションの演奏情報

特に，音楽会場に親和性のある高可聴域の音声（モスキを可視化したリアルタイムビジュアルを提供する仕組み，ート音）を ID として利用したシステムにより，パフォー

その場にいる観客同士がコミュニケーションを取りあうた

マから観客へのインタラクション[4]，観客から会場とパフめのチャットシステムを提供して話題を呼んだ．Aphex

ォーマへのインタラクション[5][6]，を実現するシステムのTwin は，パフォーマンス中にカメラで撮影した観客の顔に，提案している．これらは主に映像システムにより各々の反トレードマークである自身の顔をリアルタイムにマッピン応を提示するものであったが，ライブや DJ プレイなどパグして会場内スクリーンに映し出す仕掛けを行い高い評価

フォーマの演奏に音楽を介して観客が関与するようなインを得た[9]．COLDPLAY はライブにおいて無線制御可能なタラクションは楽曲としての質を確保できず，実現が難し

リストバンド Xylobands[10] を観客に配布することで，開かった．

場での一体感を演出する試みもなされている．また，最近

本稿では，高可聴域音を利用した音声 ID を用いること

では携帯キャリアの CM においてきゃりーぱみゅぱみゅやで，楽曲の一部として観客のスマートフォンや会場内のシFLOWER FLOWER のライブにスマートフォンを用いて参ステムから音声を発生し，観客と会場空間を巻き込んで音加できるライブを実現している[11]．このような事例は，楽空間に包まれるような演奏を体験できるシステムを開発

メディア技術の音楽ライブ会場への適用の可能性を示した

し，音楽会場における可能性について実験を行った．

好例であるが，同時にこのようなシステムを実現するために必要な設備やスマートフォンのための回線容量などを考†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciences†2 Laartry
Laatry© 2014 Information Processing Society of Japanえると大手キャリの CM のような大規模な予算が必要である．我々は通常のクラブやライブハウスのような会場で誰661

でも容易に展開可能なシステムの実現を目指している．

Communication（以下 USC と呼ぶ）を 2011 年に開発し，ス

観客参加型の音楽作品としては，サイン波の音声を発生マートフォンを使った近距離通信や音楽会場におけるインするガジェットを観客が持ち，各々の出す音声が合成されタラクションを実現する手段として利用している．USC は，て演奏となる Sine Wave Orchestra[12]が有名である．他には，

17000Hzー20000Hz の高可聴域音（いわゆるモスキート音）

前述の SYNK などがあるが，参加型の合唱のような従来型を使い，電話の発信用のトーン音に使われている 2 つの周以外のものはまれである．これは，我々もこれまでいくつ波数の音声を重畳することで音声 ID を構成する DTMF とかの実験により経験してきたように，参加型の音楽作品のいう手法による極めて単純な音声 ID である．

難しさを反映しているものと考えられる．

USC の特徴は，以下の通りである．

高可聴域音を利用した通信としては，ヤマハ株式会社の・16000Hz 以上の音声は 20 歳を超えると聞き取りにくくな

InfoSound[ 13 ] ， YouTube な ど で も 使 わ れ て い るり，成人にはあまり聞こえないため，音楽と同時に流してSonicNotify[14]，デジタルサイネージに主なターゲットとも楽曲に与える影響が小さい

し た SoundTag[ 15 ] ， 近 距 離 通 信 用 の Smart Sonic

・音楽会場においては常設されている PA システムだけで，Communication[16]，NTT ドコモによる音響 OFDM[17]など会場全体に音声 ID を伝播することでき，音楽会場との親がある．これらのシステムでは，スマートフォンなどの端和性が高い

末側ではデコードのみを行っているものが多いが，不特定・マイクとスピーカがあればよいので，スマートフォンな多数への同時通信手段や近距離での外部機器を必要としなら単体で完結でき，また，WiFi などのように特別な設定をい通信手段としての音声通信の可能性を示していると考えする必要がない

られる．本研究で用いている音声 ID である USC(Ultra Sonic・DTMF の解読は高速フーリエ変換による周波数解析のみCommunication）は，高可聴域音を使い DTMF(Dual Toneで可能であり，ID の生成は 2 つの周波数の音を発生させるMulti Frequency）によりコード化したものであり，反応速のみであるため，スマートフォンをはじめ幅広いプラット度の速さや対応できるプラットフォームの広さに特徴があフォームに対応できる．ID の生成だけなら，数百円程度のる．詳細については 3 章で述べる．

ワンチップマイコンで実装できるため，コンサートグッズ

3. 作品の目的と概要的なガジェットの試作も行っている

今回実験を行った作品「Sense of Space」は，ライブ演奏・エンコード/デコードが簡単であるため，ID に対する応答速度が速く，楽曲との同期が取りやすいする音楽に対して，いかに参加性を実現するかを目的とし

ただし，以下のような欠点もある．て作成したものである．楽曲に観客が参加している体験を・ホワイトノイズのような全周波音に対して脆弱であり，提供すること，PA だけでなく，会場全体からも音楽が鳴る誤動作をすることがある

ことで，パフォーマ，観客，会場空間の 3 つが音楽的に繋・ID が単純であるため秘匿性が低く，ID を解読されてしがり，相互作用により会場全体で体験できる参加型の音楽まわれやすい空間を実現しようとしている．また当然のことながら，楽主なプラットフォームとして利用している iOS デバイス

曲としての質・完成度が高くなければ音楽体験として成立については，iPhone3GS 以降のすべての iOS デバイスでしない．そのため音楽アーティストとして kafuka 名義で活20000Hz までの認識と再生できることを確認しているため．

動している江島に楽曲の作成を依頼し，システムとともにiOS デバイスに関しては AppStore によるアプリ配布で誰に共同で制作する作品となっている．

でも使えるようになっている．

作曲は，PA から音楽，観客からの音楽，会場からの音楽

4.2 DTMF の構成として素材を作成し，全体で楽曲となるように構成したもこれまでのシステムでは，17000Hz から 20000Hz を 500Hzのとなっている．システムは，スマートフォンアプリに音毎の音声として DTMF を構成し，合計 12 個(4 行×3 列)のの素材を入れ，音声 ID に対応して音楽が鳴るようになっ

ID を構成していたが，今回は，参加型音楽作品として楽曲ている．ライブ演奏では，観客が手元に持つスマートフォを構成するにあたり，楽曲の一部となる音声のためによりン，会場内に複数設置されたタブレット，そして PA シス

多くの ID を必要としたことと，楽曲になるべく影響を与テムからの音楽が一体となって会場空間を満たすこととなえないようにするため周波数をこれまでより高くしたいとる．

いう２つの要件を満たすため，以下のような条件により

4. 高可聴域音による音声 ID (USC)

USC を構成し USC Ver.2 とした．

4.1 Ultra Sonic Communication
我 々 は ， 高 可 聴 域 音 に よ る DTMF(Dual Tone MultiFrequency) を 使 っ た 音 声 ID と し て Ultra Sonic© 2014 Information Processing Society of Japan・周波数の 250Hz 間隔とすること・18000Hz 以上の周波数を使うことしたがって，18000-20000Hz を 250Hz 単位で 16 個（4 行×4 列）のテーブルとなるような DTMF とした．

662

表 1 に DMTF の構成をしめす．数字は ID 番号である．

きる．iPad および iPhone のアプリは，iOS6.1 上に Objective
C による書かれたプログラムにより実装されている．

表 1

DTMF ID 構成

Table 1DTMF ID List

19000Hz

19250Hz

19500Hz

6. 作品"Sense Of Space"19750Hz

作品は，2013 年 9 月 7 日に，現代美術の展覧会である「岐阜おおがきビエンナーレ」のオープニングライブである

18000Hz

123418250Hz

567818500Hz

910111218750Hz

1314151616 個の ID のうち，前半の 8 つを会場内に配置した iPad2から発生する音声，後半の 8 つを観客の持つ iPhone から発生する音声用に割り当てている．

5. 演奏システム構成「NxPC.Lives」にて実演された．情報科学芸術大学院大学の校庭に簡易ステージを設営し会場としている．演奏時間は 19:30-20:20 までの約 40 分である．図 2 にステージおよび iPads の配置図を図 3 に設営時の写真を示す．会場にはメインとなる PA として d&b のメインスピーカおよびウーファを 2 チャンネル分と，iPad2 に M-Audio のパワードスピーカを接続したものを 6 台設置した．iPad2 のパワードスピーカの向きは，観客エリアの中心に向けられており，この間で iPhone 等を持って鑑賞することで，最も良い効果演奏するためのシステムは，パフォーマが演奏する楽曲が得られるようにしてある．設営時には小雨が降っていたを鳴らす PA 用スピーカ，会場内の配置された iPad2 とパワため保護用に透明なビニールシートを被せてあるが，本番ードスピーカ，観客の持つ iPhone 等により構成される．

ではこれらは外している．

iPad2 と iPhone には，ほぼ同様でだが反応する USC の ID
番号と発生する音声が異なるプログラムが実装されている．
なお，iPhone 向け，つまり観客向けのプログラムは，イベント用のアプリとして AppStore にて公開して配布している．システム概要図を図 1 に示す．

図 2
Figure 2

図 1
Figure 1

ステージ配置Layout of the stage

システム概要Summary of system

iPhone 等は，USC ID1 から ID8 を受け取ると，ID に対応した音楽（楽曲の断片）を再生し，iPad2 は USC ID9 からID16 を受け取ると ID に対応した音楽を再生する．
パフォーマは，USC の音声 ID を含んだ楽曲を演奏する
ことで，会場で発する音声（iPad2 の音をパワードスピー
カで再生），観客の発生する音声（iPhone 等の音を観客が

図 3

設営風景

Figure 3 Scene of setting up

手元で聴く）を制御し会場全体を包み込むような音楽空間を構成する．これらの楽曲は予め，USC ID を含めて作曲しiPhone 用のアプリは，事前に AppStore にてイベント情報てあるが，必要に応じてリアルタイムで制御することもで用のアプリ「NxPC.App」[18]として公開してあり，このア© 2014 Information Processing Society of Japan663

プリ内のコンテンツとして，「Sense Of Space」を体験できしく，なかなか最適な音声のバランスを設定するところまるようになっている．図 4 にアプリの画面例を示す．左ので行くことができなかった．通常の PA とは違う音響設定画面が起動時に表示されるメニューとなっている．中央のがパフォーマ自身により必要となるため，設営にも時間と画面は，”info”ボタンを押したときに表示されるものであ調整が必要であることがわかった．

る．右の画面は，Sense Of Space 実行時のもので，USC IDを認識すると画面上の矩形が振動し同時に音楽を再生する．
なお，画面デザインは，Jose Maria Campana Rojas が担当し

8. まとめ
高可聴域音を利用した音声 ID により観客参加型の音楽作品を実現し，新たな音楽体験として可能性があることをた．

確認した．楽曲としてもシステムとして，必要な要件が多く準備に時間がかかるため，まだ一度の実験を行ったのみであるが，さらにシステムを改良し楽曲としての質の高い演奏を実現していく予定である．まずは次回の実演では，音声の跡切れを解消したシステムにより，楽曲として完成度を高めた演奏を実現したい．今回の実験では，音楽に注目したかったため，USC ID に応じた画面変化など映像表現や観客や会場からのインタラクティブな関与を除いてあるが，これらとの相乗効果を狙った展開も考えていきたい．

図 4Figure 4

アプリ画面例Screenshots of app

途中で小雨が降るなどのトラブルはあったが，ライブの参加者は 60 名程度，iPhone アプリを起動し積極的に鑑賞した観客は 10 名程度だった．

7. 考察
屋外でのイベントであったため，途中雨により iPad2 およびスピーカ類にカバーをかけなくてはならなくなるなどトラブルもあり，完全な形では実現できなかった．しかし，会場内に配置された iPad2 から発生する環境音的な音声が会場に広がり演奏と混ざっていく状況や，さらに手元のiPhone から音声がそこに混ざっていくことで，楽曲に参加していく感覚はある程度実現できたと考えている．ライブ
参加者に簡単に感想を聞くことができたが，特に音楽をやっている人には，体験としての面白さや演奏としての可能性を感じてもらえたと思われる．これらについては，完全な形で演奏を行なった上で意見を得ることにより，体験としての可能性を確認していきたい．
パフォーマおよび作曲を行う側からの意見としては，まずはシステム上の問題として iPad2 および iPhone から発生する音声が途切れてしまうことが挙げられた．応答性を良くするため，USC ID がなっている間だけ音声を発生するようにしたため，PA からの音声が途切れると発生する音声も途切れてしまっていた．今回は屋外での演奏であったために特にこの症状が顕著に発生してしまい，楽曲としての質を損なうことになってしまった．また，会場全体が演奏空

参考文献
1) NxPC.Lab: http://nxpclab.info
2) 白井大地, 白鳥啓, 岡村綾子, 平林真実: iPhone による観客とVJ のセッションシステム, インタラクション 2011, インタラクテ
ィブ発表, 20113) 當間忍, 清水基, 大総佑馬, 藤吉功光, 平林 真実: CJmix(Cloud media Jockey Mix), インタラクション 2011, インタラクテ
ィブ発表, 20114) 清水基, 平林真実, ビュトナー・クレメンス, 赤松正行: 高可聴
閾音を利用した DTMF 通信によるアーティストと観客のインタラクションの実現, インタラクション 2012, インタラクティブ発表,
20125) Masami Hirabayashi,，Motoi Shimizu :Cryptone: Interaction
between Performers and Audiences With Inaudible DTMF Sounds，SIGGRAPH ASIA 2012 Emerging Technology，Article No.5，2012
6) 平林真実，清水基: Cryptone:音楽会場におけるパフォーマと観客の相互インタラクションのためのシステム,インタラクション
2013,インタラクティブ発表,2013
7) 平沢進:http://noroom.susumuhirasawa.com/modules/artist/content0001.html
8) Plastikman: iPhone Application SYNK, AppStore, 2010
9) Aphex Twin Face Mapping at London Electronic Festival:
http://www.youtube.com/watch?v=rGosqmf-740
10) Xylobands:http://xylobands.com/glowbands-product_info.php
11) KDDI, au FULL CONTROL YOUR CITY:
http://www.au.kddi.com/odoroki/12) The SINE WAVE ORCHESTRA: http://swo.jp/
13) ヤマハ株式会社: 音を使った新しい情報発信 INFOSOUND
http://research.yamaha.com/network/infosound/14) Sonic notify : http://sonicnotify.com/
15) PERPLES: SoundTAG: http://www.perples.com/en/16) Smart Sonic Communication: http://www.yamagata-corp.jp/ssc/17) 松岡保静, 中島悠輔, 吉村健: 可聴帯域における音波情報伝送技術 : 音響 OFDM,, 電子情報通信学会技術研究報告. EA, 応用
音響 106(125), 25-29, 200618) NxPC.Lab: iPhone Application “NxPC.App”:
https://itunes.apple.com/jp/app/nxpc.app/id588340738

間となるため，会場に配置した iPad の音量の調整が必要だ
が，パフォーマ自身が演奏しながらモニターすることが難© 2014 Information Processing Society of Japan664