情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B03
2021/3/10

リアルタイム信号生成による舞台照明制御手法の提案
武部 瑠人†1平林 真実†1

概要：音楽ライブの現場で照明制御を行う場合，事前にプログラムを組み本番中に呼び出す方式が主流である．これに対し本研究では，従来の制御方法に加え，音楽イベント等における舞台照明の制御信号をリアルタイムに生成するシステムを提案する．また，システムの入出力を拡張することにより，音響や映像との同期を動的に行い各環境に適した入出力へと応用した．この制作したシステムを用いた照明制御手法の適用されたパフォーマンス・演出について考察し，本システムの有用性を論じた．

1. はじめにが，例として藤本（Kinsei R&D）の演出が挙げられる[2]．
この演出では, PC 内にある別の照明制御ソフトとプログラ

現在，舞台照明の現場で使用されている照明制御卓（調ミングを併用して制御を行なっている．パフォーマーの動光卓）は 30 年程前のものとほとんど変わらない仕様であきや音に合わせた照明はプログラミングを用いた制御を行る[1]．昨今の技術力向上により処理速度やシミュレーショなっており，事前にきっかけが決まっている”キメ”の部

ンの精度は向上したものの，制御方法自体の変化はほとん

分や大枠は照明ソフトで事前にシーンのプリセットを作っどなく，事前に仕込んだプログラムを本番中に呼び出す方ている．他の演出との同期は基本的に音のきっかけを主導法を採用している．この方法は綿密なプログラムを組み，に行われている．

細かい調整ができる一方で，パフォーマーのアドリブに対照明と同期した演出の例として，stu による映像演出シス応するのが難しい．また，プログラムが複雑で仕込みに時テムが挙げられる[3]．このシステムでは一般的な照明制御間がかかる傾向にあり，十分に準備する時間が取れない場卓と映像の同期が実現されているが，照明信号を映像ソフ合は，プリセットのみで対応が難しい場面も多い．

トで変換し使用している．この時，照明のオペレータは曲照明と他の演出との同期にも課題が存在する．照明制御に合わせて手動で照明制御卓を操作し，映像側がその信号

卓はフェーダーやツマミなど，その卓上のインターフェーを入力し，照明信号を反映した映像演出を行なっている．

スで操作することが多く，外部からの制御信号を自由に入照明制御を複数人で行なっている例として，室崎らによ力することは難しい．また，出力する信号は照明制御用信る LED 搭載バルーンを用いた LanternFish がある[4]．これ

号のみであることがほとんどであり，他の演出用ソフトなは，観客が自身のスマートフォンからインターネットを通どに入力し処理するのが煩雑な形式である．

じて信号を送り，照明などの演出を制御することが可能な

本研究では，この音楽イベント等における舞台照明の制システムである．

御信号を，従来のプリセットを用いた方法に加えリアルタイムに生成するシステムを提案する．さらに，その入出力を拡張することにより音響や映像との同期を動的に行い，3. 舞台照明現場の現状．

各環境に適した出力へと応用する．これにより，十分な演

3.1 照明制御技術出が行われていなかった音楽イベントでの照明に対して，照明制御卓（調光卓）には多くの種類が存在する．照明

外部からの信号を含めた容易かつ効果的な制御操作を可能

制御信号の規格が統一された現在でも，灯体の種類によっにし，照明以外のコンテンツも含めた演出の質の向上を目て制御手法に相性が存在し，それぞれに適した制御方法が指す．リアルタイムな信号生成による照明制御手法を実現開発されている．また，そのインターフェースも物理フェした本システムと，それを用いたパフォーマンスや演出にーダーのついた卓だけでなく，PC から変換機材を介して制ついて考察し，その有用性を論じることを目的とする．

御する場合もある．照明制御信号は DMX512 という規格が主流となっている．また，ネットワーク化が進み，LAN 上

2. 先行事例
本システムに関連する研究やシステムを以下に紹介する．プログラミングを用いた照明制御の例はいくつかあるで DMX512 信号を複数系統送受信可能な Art-Net という規格が一般化してきた．
3.2 課題と提案手法
現在，舞台現場で使用されている照明制御卓は 30 年前†1 情報科学芸術大学院大学 メディア表現研究科© 2021 Information Processing Society of Japan354情報処理学会 インタラクション 2021IPSJ Interaction 2021

2B03
2021/3/10のものとほとんど変わらない仕様であり，事前に仕込んだ学習済みモデルを指定すると，メインシステムからも学習プログラムを本番中に呼び出す方法を採用している．
以下，結果の生成パターンを呼び出すことができる．

これをプリセット方式と呼ぶ．このプリセット方式は，綿密なプログラムを組み細かい調整ができる一方で，パフォーマーのアドリブに対応するのが難しい．また，プログラムが複雑になり仕込みに時間がかかる傾向にある．本研究で対象としているライブハウスやクラブなどの会場では連日異なる音楽イベントが行われるが，それに対する照明プログラムを毎回作成することは非現実的である．
この場合，一度「ある程度どんな現場にも対応可能なプリセット」を作成し，そのプリセット内で曲にあうものを選択する，という方法で対応し，各公演で使い回すことになる．
照明と他の演出との同期にも課題が存在する．照明制御
卓はその卓上のインターフェースなどで操作することが多
図 1

く，外部からの信号を自由に入力することは難しい．
また，

システム概要図

出力する信号は照明制御用信号のみであることがほとんどであり，他の演出用ソフトなどに入力し処理するのが煩雑な形式である．

4.2 メインシステムについて
メインシステムはプリセット方式の制御に加え，制御パ

これらの課題を踏まえて制作した本システムは，プリセターンをリアルタイムに生成・編集し制御可能なものであット方式の制御に加え，制御パターンをリアルタイムに生る．照明パターンや色，光量などを随時調整可能としてい成・編集し制御可能なものである．照明パターンや色，光る．また，照明の制御信号を高次元に記号化したことによ量などを随時調整可能とした．さらに，その入出力を拡張り，システムの入出力を拡張し，照明以外の演出との同期することにより音響や映像との同期を動的に行い，各環境をより容易に行うことができる．このシステムにより「照に適した出力へと応用する．入力には各種センサなどから明オペレータによるプリセットの選択」だけでなく，映像入力した値を用いることでインタラクティブな演出にも容からの色情報や音などの外部情報を用いた照明制御や，そ易に照明を用いることを狙う．の信号を照明機材と共に他の演出機器に出力することができる．

4. 制作システムの概要
4.1 システム概要及び使用方法
制作したシステムは大きく二つに分けられる．一つ目はまた，出力した照明のシミュレーションを行う独自シス
テムも考えられるが[5]，本システムでは出力機器に依存しない形で信号を出力可能なため，一般的な照明用シミュレーションソフトでの出力確認が可能である．

MIDI コントローラー，もしくは他のソフトウェアからの信号を受け取り，照明を制御する信号を出力するメインシステム．二つ目は上記システム内で使用する機械学習モデルである Variational Autoencoder(VAE)のデータセットを作成し，照明パターンを生成するシステム．二つ目のシステ
ムを特に”VAE for Lighting”と呼ぶ．
メインシステムには，照明制御のための様々なパラメータ用 UI を表示し，各パラメータの状態を保存することができる．各灯体の明滅や色だけでなく，ゴボやムービングの動き方，パラメータの変化速度まで調整するシステムとしている．
VAE for Lighting はデータセット作成システムと，それらを学習させパターンを生成するシステムに分かれる．デー

図 2

メインシステム

タセット作成は，各灯体の明滅パターンをマス上で作成し，”．dmxp”という拡張子を用いた独自の形式で保存する．

4.3 VAE for Lighting について

このファイルを学習用のシステムに入力し，ボタン一つで(1) VAE について学習させることが可能である．学習が終了するか保存した© 2021 Information Processing Society of Japan

Autoencoder とは，教師なし学習のひとつでデータを表現

355

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B03
2021/3/10

する特徴量を獲得するためのニューラルネットワークである．その一種である VAE(Variational Autoencoder)は，確率変数内に潜在変数を押し込む形でデータの圧縮を行うものである．潜在変数上の値を変化させると学習データに近い出力データへデコードすることが可能であるため，学習データに存在しなかった間のデータを出力することが可能になる．
(2) VAE の使用例
VAE は GAN とともに深層学習における生成モデルであり，特にバリエーション生成に使われることが多い．例えば徳井（Qosmo）は VAE を用いたリズム生成のためのデバ

図 3

パフォーマンスの例 1

イスを制作・公開している[6]．これはリズムを含む MIDIデータを学習させることで，VAE の潜在空間内を移動し，二つ目は，複数人で照明制御を行う方法である．映像や音リズムパターンを大量に生成するものである．このプロジなど照明以外の演出を行うパフォーマーから信号を受け取ェクトは，アーティストが AI を用いた音楽制作を簡単にり，メインの照明システムで信号を調整して最終的な制御試せるよう，音楽制作ソフトウェア(DAW)内で完結させ，信号を出力した．リモートコントローラーとしてタブレッ一般的な音楽フローへの組み込みが可能となった．これにト端末を使用し，色や明滅などの信号を送受信した．

より，AI を用いた音楽制作の民主化を目指していることも従来の照明制御卓を複数台用いた操作では，それぞれが大きな特徴である．本システムの VAE 部分は，このデバイ同じ灯体に対して信号を送る形となり，信号が自動で統合

スを参照している．

されていた．この場合，一般的には各制御卓から送られた(3) 本システムでの応用信号の中で，一番大きい値のものを送信する仕様（HTP 方本システムでは，この VAE を照明制御にて応用してい式）となっている．そのため，制御する灯体や内容を事前る．具体的には，各灯体の明滅を行うシーケンス(チェイス)に分けて制御することが多かった．本システムを用いたパを組み，そのパターンを学習させている．学習させるため

フォーマンスでは，それぞれが全体を意識して照明制御をのパターンデータもシステム内で作成することができ，任行いながら，その情報をメインオペレータが取捨選択し，意のパターンを学習させるため，オペレータの個性を反映出力することができた．また，DJ が照明操作に参加するこしたチェイスパターンのバリエーションをリアルタイムにとで，音の波形に合わせただけのオーディオリアクティブ生成することができる．

な演出より，さらに楽曲に寄り添った演出が可能となった．

4.4 実施例
本システムを用いて，複数回に渡りパフォーマンスを行なった．これらのパフォーマンスは大きく 2 つに分けることができる．
一つ目は，映像などの演出操作を行いながら，照明の制御を一人のオペレータが行う方法である．こちらは，サウンドのパフォーマーから事前にどのような音が出力されるか知らされていない状況で，より展開に合わせた演出を行うことを目指して行なった．
現実空間内の照明制御信号を映像にも送信し用いることで，それぞれの演出を一人で行うことが可能となった．
また，現実空間のカメラ映像に CGI を重畳するような AR

図 4

パフォーマンスの例 2

映像を作成する際に，それぞれの空間にある照明の色や強さなどを同期させることで，より現実感の感じられる演出

これらのパフォーマンスは，Open Sound Control や MIDIを行うことができた．などの信号を送受信することで実現している．また，リア
ルタイムに照明制御信号を生成することで，その受信した信号を照明信号に反映させることができた．

© 2021 Information Processing Society of Japan356

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2B03
2021/3/10とについては，比較的容易に行えたという評価が多かった．
操作についても，特殊な技能を必要とせずに用意された画面上の UI をもとに扱うことが可能であると言える．
また，事前に公演内容が確定していないような音楽イベントでの演出については，プリセットデータを再編集する機能が特に効果を発揮する，とする意見を多くいただいた．
一方で，システム導入による照明演出の変化については大幅な変化はないとする意見が多かった．システムを使いこなすまでは既存の方法を基準に照明演出を設計するため，
図 5 パフォーマンス時のシステム図

従来のシステムと同じような演出を設計しようとするのではないかと考えられる．その場でイメージした演出を照明

本システムは九州大学の学内イベントにて既存のシステにて実現させるために，より要素を絞って少ない操作で照ムに追加する形でも使用された．このイベントでは，映像明を制御することが可能なシステムも有効ではないかと感など他の演出との同期はなく同時に操作するのは一人のみじた．

であった．会場での事前準備時間が少なかったため，シミュレーションにて事前準備ができ，プリセットを後から再編集することできる本システムの利点はより効果を発揮す

6. 結論と展望
本論文では，従来の制御方法に加え，音楽イベント等にることができた．

おける舞台照明の制御信号をリアルタイムに生成するシステムを提案・実装し，その機能や有用性について概説した．

5. 評価と考察本システムを使用し外部信号も含めた操作を行うことで，本システムについて，ライブハウスに勤務する照明エン容易かつ効果的な照明演出を可能とし，リアルタイムな信ジニアや実際にシステムを使用した九州大学の照明演出サ号生成による舞台照明制御が有用であることを確認できた．

ークルに所属する学生，計 7 名に対して行なったアンケー

今後の展望として，本システムを有効的に活用できる舞台ト調査の回答をもとに考察を行う．

照明現場を想定しながら，より実践に寄り添った活用を目指して改善を重ねていきたい．

表 1 アンケート質問項目
質問項目
Q1

システムの使用感について(1．使えそうにない − 5．すぐに使えそう+自由記述)

Q2

既存のシステムに追加導入するハードルの高さ(1．難しい − 5．簡単+自由記述)

Q3

照明での演出(表現の幅)の変化について(1．ない − 5．ある+自由記述)

Q4

導入するハードルの高さ(操作面)(1．高い − 5．低い+自由記述)

参考文献
[1]
[2]
[3]

[4]

[5]

[6]

山本正人, 照明制御, 照明演出の歴史, 電気設備学会誌 vol,33, p.7-11．
藤本隆行 (Kinsei R&D) https://kinsei．asia/
すぎの ひろのり， 高尾 航大， 今村理人 (株式会社 stu) :ライブエンターテインメントに置ける Unity https://www．
slideshare．net/UnityTechnologiesJapan002/unite-tokyo2019unity-176301008， (参照 2020-04-26)．
室崎 之典， 小野 龍一， 羽田 久一 : LanternFish:ライブエンターテインメントにおけるインタラクティブ照明演出の拡
張 エンタテインメントコンピューティングシンポジウム
2016 論文集 pp.143-147．
門脇 まどか， 秋濱 茉唯， 越後 宏紀， 五十嵐 悠紀 : 舞
台設計および照明設計のための支援システムの提案 WISS2020 予稿集，N-06．
Nao Tokui: Towards democratizing music production with AIDesign of Variational Autoencoder-based Rhythm Generator as a
DAW plugin, arXiv:2004. 01525, 2020．

図 6 調査結果
既存のシステムに追加する形で本システムを導入するこ© 2021 Information Processing Society of Japan357