情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-40
2024/2/28

奏者自身による照明演出を可能にするシステムの提案
瀧口 友莉1,a)

羽田 久一1

概要：
音楽ライブにおいて照明演出を行うためには，事前に設定したシーンを読み取りタイミングに合わせて変更する方法が最も一般的に用いられている．しかし，このシステムでは曲中のアドリブに対応することが難しく，またシーンの設定にも時間がかかるという問題が生じている．この問題を解決するため，本研究では奏者が演奏をしながら照明を操作することが可能なシステムと，ドラムの音に同期してインタラクティブに照明が変化するシステムを開発した。これにより演奏者は自在に照明を操作でき，曲中のアドリブにも柔軟に対応できるようになる．実際のライブでこのシステムを使用した結果，多くの参加者から好意的な意見が寄せられ，実用性が確認された．既存の照明制御システムにはない新たな表現手段を提案する．

1. はじめにて歌詞中の単語の印象に合った色の中から，曲調抽出により音楽自体の特徴にふさわしい色を抽出して照明の色と現在，ライブパフォーマンスにおいて照明の制御は主にした．照明の配置も曲調演出によって変更しており，感情照明制御卓と呼ばれる機械を使用して行われている．事前

環と言語イメージスケールを用いて配置を決定付ける．まに設定された照明シーンをプログラムによって記録し，本た，明度のオフセットを BPM を用いて変更をし，歌詞の番中にこれらのシーンを呼び出すことで照明を変化させる

ネガティブ・ポジティブさも反映させて明度を設定していことが一般的である．しかしこの方法では，操作者は演奏る．実験の結果，多くの回答者が楽曲と照明の印象が一致のタイミングを的確に把握する必要があり、即興的な演奏していると感じ，一定の効果があることを確認している．

や予測不可能な瞬間に対応することが難しいという点が挙武部ら [2] は，照明の制御パターンをリアルタイムに生げられる．また，プログラムの作成には時間がかかってし成・編集し制御することを可能にした．プリセット方式のまうため，時間的な制約がある場合は照明制御卓を本番中制御に加え，制御パターンをリアルタイムに生成・編集しに操作する必要がある．この場合，一人で複数の機器を同制御可能にしたメインシステムを制作した．システムの入時に操作することは難しいため，演出が制限される可能性出力が拡張され，照明以外の演出との同期を容易に行うこがある．とができるようになっており，外部情報を用いた照明制

本研究ではこれらの問題を解決するために，奏者自身に御や他の演出機器への出力をすることができる．DJ が照よって照明演出を操作するシステムを開発した．ドラムの明操作に参加することで Open Sound Control や MIDI な

音に同期して照明がインタラクティブに変化するシステム

どの信号を送受信させ，音楽に合った演出を行うことがと，演奏者が演奏中に照明を操作できるシステムの二つの可能になった．また，機械学習モデルである Variational有用性について検証した．

Autoencoder のデータセットを作成し，照明パターンを生

2. 関連研究
照明演出については様々なアプローチの関連研究がある．

成するシステムも制作した．実験の結果，システムの導入に関して比較的容易に行うことができ，プリセットデータを再編集する機能の効果も確認することができた．

神野ら [1] は，歌詞に注目して調光を変化させることで，浅田ら [3] は，演奏者の身体情報と鑑賞空間に導入した楽曲の印象を伝える照明演出に関する研究を行った．照明演出装置の連動によって両者の身体性の接続を強化するの調光・調色及び配置を曲調だけではなく歌詞の特徴も用オンラインライブ空間のデザインや実装を行った．オンラ

いて変化させることで曲のストーリーを考慮した自然な照

インライブにおいての観客と演奏者一体感や，臨場感を向明の移り変わりを実現させた．まず，自然言語処理によっ上させることを目的としている．演奏者による音の強弱に

1a)

東京工科大学メディア学部
m0a2117072@edu.teu.ac.jp© 2024 Information Processing Society of Japan

よって，遠く離れた場所にいる鑑賞者が座る椅子に振動を

1236

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-40
2024/2/28

与える．また，演奏者（ギター）の腕の角度で鑑賞者の後ろに設置されたムービングライトが動く．そして演奏者の立ち位置によって鑑賞者のヘッドホンから流れる左右の音量バランスが変化する．インタビューの結果，両者の距離が離れたことにより弱体化した一体感や親近感に向上が見られた．
門脇ら [4] は，演劇における照明設計のための支援シス
テムを研究した．演劇の実際の現場では，舞台の設計に関する視覚的調整は本番直前にしかできないことが多い．舞台のイメージは事前に図面などを用いて話し合いをする必要があるが，限られた時間の中でのイメージの共有は困難

図 1

ドラムと照明を連携させるシステムの画面

図 2

本システムで動いている LED バーライトである．舞台設計時におけるイメージ共有を容易に行うためのシステムとして新たに支援システムを制作した．
先行研究では，多くの人が照明を操作が可能になるような一般化を目的としたシステムが多い．本研究では，曲中のアドリブに対応することができるシステムによって照明演出の表現の幅を広げることを目的としている．

3. 照明機材について
ライブ演出で用いられる照明演出において，照明器具の制御信号は DMX512（以下 DMX）という通信規格が主流となっている．512 チャンネルの信号の送受信が可能となっており，1 チャンネル当たり 256 段階の制御を行うことができる．一つの照明器具で複数のチャンネルを利用す

TouchDesigner で開発した．

る必要があり，利用するチャンネル数は基本的に照明器具側で設定することができる．音楽ライブの照明演出では基4.1 ドラムと照明を連携させるシステム

本的に複数の種類の照明器具を用いる．DMX ケーブルは1 つ目のシステムでは，バスドラムの音を抽出し LED一繋ぎとなるように配線し，照明器具を個別に制御する場

バーライトと同期させる．ドラム奏者は両手両足を使用し合はスタートアドレスというものを設定することで同時にて演奏を行う．そのため，自ら照明を変更することはでき複数の機器を操作する．また，LED ではなく電球を使うよない．ドラム奏者が行うアドリブソロは，音程を変更する

うな照明は DMX 信号で動かない．そのため DMX に対応ことができない楽器のため，リズムやテンポを意図的にずした調光ユニットを用いることで，ライブの照明演出の操らして演奏することになる．このような場合，別の人がア作がおこなわれている．

ドリブソロに合わせて照明の操作をすることは極めて困難

ライブ演出の照明演出で最も主流なのが照明制御卓を用いて，専門の操作者が DMX の信号を送る方法である．事である．そのため，ドラムの音で照明が変化するシステムを制作した．

前に照明を変化させるタイミングと色を決め，色情報を卓このシステムではバスドラムの音を PC 上に送り，音量に記憶させ本番中の決めたタイミングでシーンを呼び出す

が一定の値を超えた場合に，ドラムの位置から放射状になことで変化させる．しかしこの方法は即興的な演奏に対応るようバーの LED が点灯する．まずバスドラムの前にマすることが難しいという懸念点がある．また，即興的な演イクを置き音を取り出し，オーディオインターフェースを奏に合わせてリアルタイムに照明を変化させることを考え用いて PC 内に取り込む．取り込んだ音を分析し，最大音ると，一人では操作ができず色を変えるだけといった簡単量が設定した一定の値を超えた場合に DMX の信号を送るな演出になってしまう．

処理を行う．今回プロトタイプで使用した LED バーライ

4. システム概要ト（WALL WASHER II）では，24 チャンネルの操作が可能なモードがある．バー状の LED を 8 つのブロックに分前述した照明制御卓の懸念点を解決し照明演出の幅を広け，それぞれのブロックの RGB の値を設定することがでげるため，ドラムのバスドラムの音を照明に同期させるきる．そのため，ドラムの位置から放射状になるように，システムと MIDI コントローラーを用いて奏者自身が照明信号を送るタイミングを遅らせ，8 つのタイミングで信号を操作するシステムを制作した．本システムはどちらもが流れるようにした．

© 2024 Information Processing Society of Japan1237

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

図 3

3B-40
2024/2/28

図 4

舞台の照明位置

図 5システム構成フットコントローラーで照明を操作するシステムの画面

プログラムとしては図 1 の通りである．まず，スライダーで光が流れるスピードと，輝度の最大値を決める．また，流れる色を RGB 方式で設定する．色によって明るさが変化しないように HSV 方式で色を決め，RGB 方式に変換している．この二つの値を掛け合わせることで，タイミングに応じて設定した RGB の値まで上昇し，徐々に消えるようになる．実際に動かすと図 2 のようになった．これにより，バスドラムの音に応じて流れるような照明演出をすることが可能となった．
色系は H の値が-70 から 50,S の値が 60 から 80，V の値が4.2 コントローラーを踏むことで照明を操作するシステム

80 から 100 に設定し，派手系は H の値が 0 から 110,S と2 つ目のシステムでは，足でコントローラーを踏むことV の値が 100 で設定している．目で変化をとらえやすいよで照明を操作する．ドラム以外の楽器奏者とボーカルは足うに H の値は 10 の倍数とした．派手系はより差が出やすが主に体の上半身を使って演奏を行うため，足元のボタンいように 30 の倍数となっている．これらの値の中からボを押すことができる．奏者自身が奏者のタイミングで照明

タンが押されるたびにランダムで数値が抽出され色が変化を操作することができるように，足元のボタンを押すことする．

で照明を変更することができるシステムを開発した．
今回は 1 つのエクスプレッションペダルと，4 つのボタンを用いた．エクスプレッションペダルでは全体の照明の輝度を変更することができる．右端のボタンは，ムービン
グライトの ON/OFF を切り替えることができる．右から2 番目のボタンは，一つ目のシステムで制作した，ドラムその後，用いる照明機材に応じた形にデータを変更している．これらをまとめて DMX に変換し，照明機材にデータを送ることで操作することができる．

5. 実験
5.1 ドラムと照明を連携させるシステムの実験と照明を連携させるか否か切り替えることができる．左か前述のドラムと照明を連動させるシステムを，2023 年

ら 2 番目のボタンでは，押している間 LED の照明がスト

12 月に行われた東京工科大学内の音楽系部活動のライブにロボになる．左端のボタンでは，LED の照明の色を変更すて使用した．

ることができる．これらを用いて照明を操作可能にした．

使用した照明機材は LED パーライトが 4 つ，電球のパープログラムとしては図 3 の通りである．まず MIDI コンライトが 2 種類で 2 つづつ，LED バーライトが 2 つ，ムートローラーの信号を MIDIin というオペレーターで読み取

ビングライトが 2 つ，電球のフットライトが 4 つである．

り，扱いやすいようにデータを整理する．整理したデータ

これらの機材を図 4 のように配置している．今回はドラムを用いて色を変化させるようにする．どのボタンを押しての音と同期させるシステムのみを使用しており，他の照明も色が変化するようにし，他の機材の点灯タイミングに合機材は奏者以外の人が操作した．

わせて同時に変化することが可能である．事前に寒色系・システム構成としては，図 5 のようになっている．マ

暖色系・派手系の 3 パターンから一つを選ぶことで，そのルチボックスを用いて PA 卓に送られたバスドラムの音を中の色がランダムで点灯する．輝度の変化がないよう HSV

オーディオインターフェースを用いて PC 上に取り込む．

方式を用いて色を決め，照明機材に合うように RGB 方式

その後 PC 上で処理を行い，DMX 変換をはさんで DMXに変換している．寒色系は H の値が 90 から 260，S の値ケーブルを用いて照明を操作した．

が 60 から 80，V の値が 80 から 100 に設定している．暖© 2024 Information Processing Society of Japan

実験の様子は図 6 である．結果，バスドラムの音という

1238

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3B-40
2024/2/28ばよりよい演出になると考えられる．
参考文献
[1]

[2]

[3]
図 6

実験の様子

ベースとなるリズムに合わせて動くため，キメの部分がより際立つようになっていた．鑑賞者や操作者にしたインタ[4]

神野 満里奈, 原 義久: 歌詞や曲調の印象に基づいた照明演出の自動生成システムの実現, エンタテインメント
コンピューティングシンポジウム論文集, Vol. 2021, pp.
135-143 (2021)
武部 瑠人, 平林 真実: リアルタイム信号生成による舞台照明制御手法の提案, インタラクション 2021 論文集, pp.
354-357 (2021)
浅田 風太, 南澤 孝太: 演奏者と鑑賞者の身体性を接続するオンライン音楽ライブ空間のデザイン, 慶應義塾大学大学院メディアデザイン研究科修士論文 (2020)
門脇 まどか, 秋濱 茉唯, 越後 宏紀, 五十嵐 悠紀: 舞台設計および照明設計のための支援システムの提案, 第 28 回
インタラクティブシステムとソフトウェアに関するワー
クショップ (WISS2020) 論文集, pp. 1-5 (2020)

ビューの結果，通常の照明演出と比較すると好意的な意見を持つ人が多く，今後も取り入れていきたいという意見が多かった．また，LED をドラムの音に合わせて同時に光らせる場合は，音との遅延を感じてしまったが，このように流れるように光が出る場合は遅延が気にならないことが分かった。
一方でドラムの音を認識するかは奏者の能力によることが分かった．バスドラムの音をとるためのマイクにスネア
ドラムの音が大きく入っていしまい，バスドラムの音以外を認識してしまっていることがあった．

6. まとめと今後の展望
本研究では奏者が照明を操作可能なシステムと，ドラムの音に合わせてインタラクティブに照明が変化するシステ
ムを作成した．本システムを使用すると必ず照明の操作者が必要であった従来の照明演出方法と比べると奏者本人が操作をするため事前準備の必要がなくなり，急な曲の追加があったとしても照明演出をすることができる．特にアドリブがあるような曲の場合に効果を発揮した．鑑賞者にとって新しい経験となり，照明演出の表現の幅を広げることができた．
しかし実験ではドラムの音と同期させた場合，バスドラムの音を認識するかどうかは個人差があった．そのため，周波数の制限などを用いてより多くの人の場合でも本システムが動作するようにしていきたい．また，MIDI コント
ローラーを用いて奏者が操作するシステムはまだ実際のライブで使用する実験が行えていない．実際にライブで奏者が本システムを用いて照明を操作し，アンケートをとりた
いと考えている．特に演奏に支障が出ないかどうか，別の操作者が手動で行った場合とどのような差が出るかどうかについて，今後の実験で確認していきたい．そして，色に関しては現在，寒色系・暖色系・派手系の 3 パターンから一つを選ぶことで変更をしている．この色の選択を，関連研究で述べたように曲調に応じて自動で行うことができれ© 2024 Information Processing Society of Japan

1239