情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q05
2021/3/10

ライブ会場や家庭におけるリアルタイムの同期を支援する
高周波音声信号を用いたライトデバイスの提案

大津大知†1岩井将行†1

概要：本研究はライブ会場や家庭におけるリアルタイムの同期を支援する手持ちのライトデバイスを提案する．持っている本人が操作せずとも音楽ライブやパレードの進行や演出に合わせて光り方が変化する，無線で制御をするペン
ライトは NHK 紅白歌合戦などでも採用されている．しかし，既存の無線制御型ライトデバイスは DMX 信号などを用いた制御が多く，ライブ会場以外では使用できないという問題があった．そこで，高周波数帯域に予め挿入した音声信号を用いて制御することで，ライブ会場のみならず家庭内においても演出に応じて光り方が変化するデバイスのシステムの提案を行った．プロトタイプを設計し，制御信号を標準的な距離感で受け取り，インタラクティブにデバイスに反映することができた．また，ライブストリーミング配信などでの使用によって離れた観客のリアルタイムの一体感を促進することも目的としたものである．

タイムでの一体感を高めるアイテムとして, ライブ会場と1. はじめに自宅において対応できるようなライトデバイスの作成を目近年, 音楽ライブ会場において, 観客の一体感を高める的としている. 観客はライブ会場及び各家庭にて, スピー照明器具として様々なものが存在する. 化学発光による照カーの前で使用することを想定している. 舞台で演奏され明器具としては安価なケミカルライトがあり, アーティス

る, あるいはインターネットを介して配信される音楽に対トの全国ツアーなどにおいて, ファンが各々手に持つアイ

して 17,000Hz~17,500Hz の高周波数帯域に制御用の音声信テムとして使用されることが多い. 近年では LED などを発号を載せることにより, ライブ会場だけでなくストリーミ光体に用いて電子的に制御をする手持ちデバイスがある.

ングサービスでのライブ配信, 更にはブルーレイディスク

前述のケミカルライトと違い, 音楽ライブの運営側によっなどの記録媒体においても, 音楽ライブの運営側の設定して「会場全体を同じ色で埋め尽くす」など, 舞台演出に合た演出に合わせてリアルタイムで遠隔で制御できるシステわせて制御が可能となっている. これらの多くは, 近距離

ムを提案し, 既存の DMX 信号で制御するデバイスよりも無線のために割り当てられた 920MHz 帯の電波を使い, 照拡張性を高めることを目的としている.

明業界で標準的に使われるプロトコル「DMX」で信号を届ける仕組みを採用している. 既存の研究では Jhansen らの

3. 方法

バッテリー駆動のワイヤレス DMX LED 照明システム[1]や,初めに, 演奏される任意の音楽に, 制御する音声信号と谷川，斉藤らの大量のペンライトを無線通信によりリモーして 17500Hz のサイン波（以下、制御信号）を任意のタイト制御するシステム及び点灯制御法の提案[2]がある.

ミングで挿入した音声データを作成する．

近年は COVID-19 の感染症流行等の理由で, リアルのラ次にプロトタイプとなるシステムについて述べる. 高音

イブは激減し, 自宅など家庭でインターネット回線を用い域の音声を受信するデバイスとして Raspberry Pi 4 と USBて視聴する前提のストリーミングサービスでのライブ配信マイクを用いる. GPIO を介して LED の点灯に反映させるが増加している. しかし, 観客が手持ちライトデバイスをまでを同システムとする.

家庭で使用するとなると, 各家庭の観客が持つデバイスに音声の取得から LED への反映までの流れについて述べ

DMX 信号を届ける必要があるため, 家庭環境においてはる. Python のオーディオ関連ライブラリである pyaudio を実現困難であると考えられる. そこで本研究では, 高音域用いて市販の USB マイクからの音声取得を行う. サンプリに制御用の音声を付加することで機能するデバイスのプロ

ング周波数は 44,100Hz とする. 取得できる音声の帯域はトタイプを作成し, 音声制御型のライトデバイスシステム

USB マイクの周波数特性に準ずる. 取得した音声は Pythonの技術計算用ライブラリである SciPy の FIR (Finite Impulseを提案する.

Response) フィルタを通し, 信号の波形を整形する. 挿入

2. 目的した制御信号のみを取得するため, 17, 000~17, 500Hz を通本研究では, 主に音楽ライブなどにおいて観客のリアル†1 東京電機大学未来科学部

過周波数とするバンドパス・フィルタを設計する.

情報メディア学科© 2021 Information Processing Society of Japan794

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q05
2021/3/10

matplotlib において可視化したバンドパス・フィルタをFigure 1 に示す.

Figure 1 通過周波数を 17500[Hz]としたバンドパス・フィル
タ
関数 scipy.signal.lfilter(b, a, x, axis=-1, zi=None)によりバン

Figure 3, システム全体図の距離感ドパス・フィルタを設計し信号に適用する. この関数では、以上のシステム構成により, 演奏される音楽に合わせて,フィルタが以下の式で表されているものとする.

予め設定したタイミングで制御信号が鳴っている間, シス∑#" # "!

テムは制御信号を検知する. LED の点灯としてこれが反映!

されれば, 音楽に合わせて演出するライトデバイスのプロ

H(z) = ∑'$%& $! # "!
$%&引数 b が右辺の分子の係数, 引数 a が右辺の分母の係数にトタイプとしての機能が果たされると考える. また制御信対応する. 今回, FIR フィルタを扱うので, 分母の a を 1 と号は高音域であるため, 観客はライブ体験を阻害されないおく.と考えられる.

PyAudio の callback 関 数 に よ り , 音 量 が 数 値 と し て
Numpy の配列に格納される. 配列の中で最も大きい値が設定した閾値を超えると, Raspberry Pi の GPIO を通じて LEDが点灯する. 実験装置の全体像を Figure 2 に示す.

4. 結果と考察本システムによって, 家庭のスピーカーから発せられる音声から有意に制御信号を検知し, LED の点灯に反映させる事を可能とした. 制御信号であるサイン波は聴き取り辛いものであり, 観客の体験の妨げになることも少ないと考えられる.
また今後の展開として, 現状のプロトタイプシステムでは単に制御信号のオンオフによる単一の LED のみの制御であるが, これを数ビットのパターンとして挿入し, パターンごとに色や光の強弱などを割り当てることで, DMX信号で制御する先行デバイスのようなライティングパターンの複雑な変化を実現できるような拡張性も考えられる.

5. おわりに提案するシステムによって, ライブ会場のみならず各家庭でも観客はストリーミング放送やブルーレイディスクな
Figure 2, 実験装置の全体図
以上のシステムをスピーカーの前に置き, 挿入した制御信号が入った音楽データを流す. スピーカーとの距離感を含めた実験システム全体を Figure 3 に示す。

どを介して設定した信号を受け取れることで, 一体感の体験を有意に得られると考えられる.
また, 今回は USB 接続の市販のマイクを使用したが, 検知できる距離はマイクの特性によってある程度変化しうると考えられるため, 今後の課題となる.
さらに現状ではあくまでプロトタイプとしてのシステムの設計であるため、実用に当たってはさらなる軽量化と, バッテリなどを含めた手持ちできるデバイスの外装の制作が求められる.

© 2021 Information Processing Society of Japan795

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

3Q05
2021/3/10

参考文献
1 Jhansen Reinoso, Reinoso Leilani, “Battery powered wireless DMX
led lighting system”, 2013
2 谷川昴，斉藤冬樹，芝田善紀，難波耕佑，森茂樹，四方博之，“無線通信を用いた大量ペンライト群のリモート制御”，電子情報通信学会総合大会，通信講演論文集 2，2012.

© 2021 Information Processing Society of Japan796