情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-41
2024/2/28

演者観客間の相互コミュニケーションを目指した
インタラクティブ演出システム
岡村未来†1

秋田純一†1

概要：本研究では，音楽ライブにおいて会場全体の一体感を創出することを目的に，演者・対面観客・オンライン観客の 3 方向からの相互コミュニケーションを実現するシステムを提案する．対面観客の盛り上がりは「心拍」と「腕の振り」，オンライン観客の盛り上がりは「表情」と「歓声」から取得し，ペンライト・MR・VJ の 3 つの演出をリアルタイムに変化させることで相互コミュニケーションを実現した．観客によるインタラクションがある場合とない場合で実験を行った結果，観客から演者への作用に加え，観客同士の共鳴が演者にも伝わることで盛り上がりの相乗効果が生まれるという結果を得られた．一方，Wi-Fi 経由の通信を行っていたため遅延の課題や，複数人によるインタラクションになった場合にも観客が自身と連動している実感を得られる必要があるという課題が得られた．

1. はじめにプで装飾された演者の衣装に反映するシステムを開発した[3]．また，武井らは観客同士の腕の振りが共鳴するために，音楽ライブにおいて，演者-観客間の相互コミュニケーシペンライトの光で応援行動を誘導するシステムを開発した

ョンは会場に一体感をもたらす重要な要素であり，実際に[4]．これらの研究では，対面ライブでの演者-観客間のコミこれを実現するための様々なシステムが開発されている．

ュニケーションや観客同士の共鳴を実現している．

そ の 一 例 と し て ， 表 情 認 識 を 用 い た AI DJ シ ス テ ム

次に，中山らは[3]の応用として，インタラクティブペンラ「HUMANOID DJ」[1]がある．これは，観客の表情から性イトを用いて，過去のコンサート映像に対して演者-観客間別や年齢，感情を解析し，それに合わせた DJ プレイと映の相互作用を実現するシステムを開発した[5]．南谷らは演像演出をリアルタイムに行うものである．

劇の無観客公演において，遠隔地の観客の表情を解析し，また，コロナ禍をきっかけに主流となったオンラインライ

その結果を笑い声の音声として演者に届けるシステムを開ブにおいてその演出技術は急速に進化を遂げおり，発した[6]．これらの研究では，演者と観客が対面していな「Astronomical」[2]もその一例である．これはアメリカのラい状況下での相互作用を実現している．

ッパーTravis Scott がゲーム空間で行った音楽ライブであり，このように，対面ライブにおける演者-観客間と観客同士観客が自由に移動できるなど仮想空間ならではの体験がでのコミュニケーションを実現するシステムや，非対面ライきる．このライブは現実のコンサートイベントの記録をはブにおける演者-観客間のコミュニケーションを実現するるかに超える売り上げとなった．オンラインライブは様々システムがこれまで開発されてきた．しかし，これらが混なメリットから，今後も市場の拡大が予想されている．

在している状況下でリアルタイムにコミュニケーションをこれらのように，音楽ライブ市場の変化や成長に伴い，演実現するシステムは検討されていない．そこで，本研究で者のパフォーマンスを見るだけでなく，観客がインタラクは対面観客の盛り上がりを「心拍数」と「腕の振り」，オンティブにライブに参加できるシステムの開発が行われてきライン観客の盛り上がりを「表情」と「声援」から取得し，た．しかし，[1]，[2]は対面ライブとオンラインライブの個々

ペンライト・MR・VJ の 3 つの演出をリアルタイムに変化の状況下でのシステムであり，これらが混在している場合させることで，演者・対面観客・オンライン観客の全員がの相互コミュニケーションについては検討されていない．

相互コミュニケーションを実現できるシステムを提案する．

そこで本研究では，演者・対面観客・オンライン観客の 3
方向から，相互にコミュニケーションを実現できるシステ
ム「InteRLive」を提案するとともに，その効果を検証する．

2. 関連研究
これまでも演者-観客間，観客同士の相互作用を実現する

3. 実験
本研究のシステム概要を以下の図１に示す．ペンライト・
MR・VJ のビジュアライズには TouchDesigner を使用した．
また，制御マイコンとして M5StickCPlus を使用し，市販のペンライトに内蔵した．

システムは提案されている．
大津らは，演者からのインタラクションとしてパフォーマンスをペンライトに振動と色として反映し，観客からのインタラクションとしてペンライトの振り具合を LED テー†1 金沢大学インタフェースデバイス研究室© 2024 Information Processing Society of Japan806

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-41
2024/2/28

なるように設定する．
次に，オンライン観客から演者への作用を記述する．オン
ラインの観客は，配信視聴用 PC の WEB カメラと PC マイクから，「表情値」と「歓声」を親機の PC へ UDP 経由で送信する．表情認識には Keras のライブラリを使用した．
これは，読み取った表情を neutral ,surprise, sad, happy, fear,disgust, angry の 7 つの感情に分類するプログラムである．
本研究では，「happy(%) +surprise(%)」を表情値とした．ペンライトデバイスには表情値のみが用いられる．入力された表情値は，TouchDesigner 内で閾値と比較され，閾値以上の場合はグラデーションに，閾値より小さい場合は単色に
図1

システム構成設定する．
これらのように処理された結果を，再度 UDP 経由で親機

3.1 演者から観客への作用 ~MR~の PC からペンライトデバイスに RGB マッピングし，リアまず，演者から観客への作用を考える．本研究では演者のルタイムにペンライトの色・明るさ・パターンを変化させパフォーマンスに集中できるよう，MR を用いたパフォー

る．以下の図 3 に仕組みを示す．

マンスの拡張表現を行った．演者の足元に深度カメラ「IntelRealSense D435」を設置し，繋がれた PC 内の TouchDesignerでエフェクトを生成する．ここから生成されたエフェクトを，リアルタイムにプロジェクタで投影する．
3.2 観客から演者への作用 ~ ペンライトデバイス~
次に，観客から演者への作用を考える．この手法として，
本研究ではセンサ内蔵ペンライトデバイスを作成した．このペンライトデバイスは，前述の通り M5StickCPlus を市販

図3

ペンライトデバイスの仕組みのペンライトに内蔵したものである．M5StickCPlus にNeoPixel を接続し，ペンライトの筒を上から被せる形とし

3.3 観客同士の作用 ~VJ・MR~た（図 2）．

最後に，観客同士の作用を考える．本研究では，対面観客からの作用としてステージ横の映像演出である VJ (VideoJockey)を，オンライン観客からの作用として MR を使用した．
まず，対面観客からの作用について記述する．入力は 3.2
節の「心拍数」と「腕の振り(Yaw 値)」と同様である．
TouchDesigner でリアルタイムに生成されている VJ の色が，受信した心拍数と Yaw 値によって変化する．心拍数が閾値以上で暖色，閾値未満で寒色となり，暖色の状態で同じ向きに腕を振っている人が増えるほど，VJ がその向きへ大きく形状を変化させる．心拍数による暖色⇔寒色の切り替えは，MR にも反映する．

図2

M5StickCPlus 内蔵ペンライトデバイス

次に，オンライン観客からの作用について記述する．入力は 3.2 節に記述した「表情値」と「歓声」の 2 つである．

まず，対面観客から演者への作用を記述する．このペンラ

これらは配信視聴 PC から UDP 経由で親機の PC に送信さイトデバイスは，心拍センサ HAT と M5StickCPlus 内蔵 IMU

れ，3.1 節の MR の激しさと明るさを変化させる．表情値がを用いて観客の「心拍数」と「腕の振り(Yaw 値)」を親機の閾値以上の場合は，例えば粒子の発生数が増えることなど

PC に UDP 経由で送信する．その後 TouchDesigner 内で，によって MR が激しくなる．歓声が閾値以上の場合は，MR受信した心拍数が閾値以上の場合はペンライトの色を暖色の明るさが明るくなり，はっきり映るようになる．これらに，閾値より小さい場合は寒色に設定する．同時に，同じの仕組みを以下の図 4 に示す．

向きに腕を振っている人が増えるほどペンライトが明るく© 2024 Information Processing Society of Japan807

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-41
2024/2/28

図5
図4

実験の様子

VJ・MR の仕組み

4. 実験4.2 評価方法
本実験では，それぞれ実験後に演者と観客の両方にアンケ演者・対面観客・オンライン観客の 3 方向からの相互作用ートに答えてもらい，評価とした．また，定量評価としてが，実際に会場全体の盛り上がりに寄与するのかを検証すそれぞれの実験中の心拍数と表情値を記録した．アンケーるため，3 章の作用がある場合とない場合で 2 通りの実験

トの内容は，以下の通りである．5 段階評価（「そう思う」を行なった．

を 5，「どちらでもない」を 3，「そう思わない」を 1 とす

4.1 実験環境る）で答えてもらった．アンケートでは，「相互コミュニケ

実験では，金沢大学のダンスサークルのメンバー6 名に演ーションが実現できているかどうか」，そして「それによる者となってもらい，体育館でダンスショーケースを行なっ効果はあったか」の観点で設問を設けた．

た．また，対面ライブには 5 名，オンラインライブには 1【対面観客】

名の大学生と大学院生に観客として参加してもらった．

設問 1: 自身の盛り上がりが演出と連動していると感じた

演者には 2 分半の曲で 1 人 8 拍子ずつのソロ回しを行なか．ってもらい，最後のパートのみ 3 名で踊ってもらった．オ

設問 2 : 自身の動きが演出と連動していると感じたか．

ンラインの観客には，今回 UDP 経由での通信を行うため

設問 3: 他の対面観客との一体感を感じたか．

廊下でライブ配信を視聴してもらった．本実験では，ライ

設問 4: オンライン観客との一体感を感じたか．

ブ配信方法として Webex を使用した．

設問 5: ライブ全体の一体感を感じたか．

1 回目の実験では，ペンライト・MR・VJ の色はパートご【オンライン観客】とに暖色，寒色を交互に繰り返すように設定した．また，設問 1: 自身の表情が演出と連動していると感じたか．

ペンライトの明るさは一定，パターンは常に単色，VJ は腕

設問 2: 自身の歓声が演出と連動していると感じたか．の振りによる形状変化なし，MR も激しさ・明るさを一定

設問 3: 対面観客との一体感を感じたか．とした．

設問 4: ライブ全体の一体感を感じたか．

2 回目の実験では，3 章の作用を全て実装したものを被験【演者】

者に体験してもらった．今回，ペンライトの明るさと VJ の設問 1: 対面観客の盛り上がりを感じたか．

形状変化は腕振り方向の多数決によって決まるため，5 名

設問 2: 対面観客同士の一体感を感じたか．の観客のうち 3 名以上が振っている方向に VJ が変化し，3

設問 3: オンライン観客の盛り上がりを感じたか．

名から 5 名の 3 段階でペンライトの明るさが変化するよう設問 4: ライブ全体の一体感を感じたか．にした．また，事前に 1 人ずつ 1 分間の心拍数の平均をとり基準値とした．そしてリアルタイムの心拍数との差分を5 名分平均し，閾値と比較するようにした．実験の様子を以下の図 5 に示す．

© 2024 Information Processing Society of Japan808

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-412024/2/28

5. 結果と考察を除いたすべての設問の差において，有意（p<0.05）ある

対面観客と演者のアンケート結果に対して，ウィルコクソンの符号順位検定を行い，各項目の p 値を求めた．設問ごとの平均スコアと p 値を図 6，図 8 に示す．オンライン観客は被験者が 1 人のため，アンケート結果をそのまま図 7に示す．

5

p=0.041**p=0.045**p=0.045
**

32.01

1.01

図64.6

また，それに伴いペンライト・MR・VJ の色も寒色のまま変化が体験できなくなっていた．
だったため，対面観客の設問 1「自身の盛り上がりが演出客の盛り上がりを感じたか」の評価が期待していた結果よ2.2

り低い結果となった．一方で，VJ の形状変化がなかったにも関わらず，対面観客同士の一体感が得られていた．これ

1.03

実験1れる．一人一人の心拍変動を確認したところ，半数以上がと連動していると感じたか」と演者観客の設問 1「対面観1.02

VJ の形状変化が体験できるようにしていたことが挙げら下がっている人がいる場合に結果が引っ張られ，VJ の形状

4.0

2.2

1.2

実験では心拍値が閾値以上の場合のみに，腕の振りによる

p=0.039**3.0

2

ちらの実験においても平均が 1.0 であった理由として，本閾値以上の心拍数になっている場合にも，心拍数が大きく対⾯観客評価

4いは有意傾向（p<0.1）であった．上記の設問において，ど45

実験2

は，ペンライトの明るさの変化が当初は演者への作用のみとして考えていたが，観客自身もその作用を感じることが4.3 節の各設問の平均スコアと p 値（対面観客）できたためだと考えられる．この共鳴による効果が，演者の設問 3「対面観客同士の一体感を感じたか」のスコアに繋がった．
オンライン観客は対面観客と異なり，自身の反応が直接MR の演出に現れるため，演出との連動，会場との一体感

オンライン観客評価
55.0
45.0

4.0

をともに大きく感じることができたと考えられる．
また，会場全体の盛り上がりに対しては，対面観客・オンライン観客・演者の全てにおいて，平均 4.5 以上の高スコ

4.0

アとなった．

3

次に，実験中に記録した心拍数の平均比較を図 9 に，表情値の変動を以下の図 10 に示す．

2
2.0

2.0
1.0
12

3
実験1

図7

⼼拍数平均

4

実験2

72

4.2 節の各設問の評価
演者評価

5

p=0.025**p=0.023**

p=0.025
**
4.5

4
3.8

被験者1

66.44

被験者364

被験者4
被験者562

図9p=0.083
*
1.0

1.5
11.2

実験2

実験中の心拍数平均の比較

1.0
23
実験1図8

被験者266

実験1
2.7

16860

3.7

3269.16

70

⼼拍数

11.0

4

実験2

4.2 節の各設問の平均スコアと p 値（オンライン観客）これらの評価結果について考察する．本実験では，対面観客の設問 2「自身の動きが演出と連動していると感じたか」© 2024 Information Processing Society of Japan809

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

2B-41
2024/2/28

参考文献

表情値の変動 (平均39.6→49.6 +10)
実験190

実験2

80

[1]
[2]

70
60
50
40

[3]

302010
1713
1925
31
37
43
4955
61
67
73
79
85
91
97
103
109
115
121
127
133
139
145
151
157

0[4]

時間[s]

図 10

実験中の表情値変動[5]

今回 5 名中 4 名の心拍値の平均が実験 2 で上がり，全体の平均値も上がる結果となった．また，表情値の平均も実験 2 で上がる結果となった．これらのアンケート結果と数[6]“AI DJ が生み出す音楽体験 HUMANOID DJ”,
https://avex.jp/humanoiddj/“Travis Scott の『Astronomical』は『フォートナイト』から生まれた現代アートだ”,
https://realsound.jp/tech/2020/04/post545319_2.html#google_vign
ette
大津耕陽，福島史康，高橋秀和，平原実留，福田悠人，小林貴訓，久野義徳，山崎敬一，Affinity Live: 演者と観客の一体感を増強する双方向ライブ支援システム，情報処理学会論文
誌，Vol. 59, No. 11, pp. 2019–2029 (2018).
川元留輝，串山久美子．コンサートで観客の行動を促す演出と LED デバイス．情報処理学会 インタラクション 2018,
pp. 753-755, 2018.
中山雅方，鈴木亮太，大津耕陽，福田悠人，小林貴訓，対話性の付与に基づく過去のコンサート映像のライブ感増強，情報処理学会 インタラクション 2023, pp.621-624, 2023.
南谷有祇，土方嘉徳，表情認識技術を用いた役者支援システ
ムの開発，情報処理学会 インタラクション 2022，pp.734735, 2022.

値結果より，対面観客・オンライン観客・演者の 3 方向の相互作用があることは，観客の盛り上がりに効果的だったと考えられる．
しかし，アンケート以外には「遅延が少し気になる」というフィードバックがあった．予備実験の際の遅延は気にならない程度であったが，やはり Wi-Fi を使用した制御のため，時間帯などの環境による影響が大きいという欠点があることもわかった．

6. まとめ本研究では，インタラクティブなペンライト・MR・VJ を活用することで，演者・対面観客・オンライン観客の 3 方向からの相互コミュニケーションを行い，ライブ会場全体の盛り上がりの向上を実現するシステム「InteRLive」を提案した．このシステムを活用することで，観客から演者への作用だけでなく，観客同士の共鳴が演者に伝わりさらに相乗効果を生むことがわかった．
しかし，今回の実験ではオンライン観客のインタラクションを UDP 経由で行うために同じ Wi-Fi 環境で配信を視聴してもらったため，実際の音楽ライブとは異なる環境となっていた．また，心拍数の閾値との比較に，対面観客全員の平均を使用していたため，半数以上が閾値以上だったとしても少数の観客の結果に引っ張られてしまい，寒色から変化しないという結果となってしまった．
これらの改善として，表情値と歓声を MQTT などでインターネットを介して親機の PC に送信できるようし，実際のライブ配信と同様に体験できるようにすることや，心拍数も腕の振りと同じように多数決にすることなどが考えられる．本研究では，実験に向けた最低限の機能の制作を行ったが，速度の面やユーザビリティの面で改良を進めていくことで，実際の音楽ライブに近い状態で使用できるシステムになることが期待できる．

© 2024 Information Processing Society of Japan810