情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-35
2023/3/1

対話性の付与に基づく過去のコンサート映像のライブ感増強
中山 雅方1,a)

鈴木 亮太1

大津 耕陽2

福田 悠人3

小林 貴訓1

概要：本研究では，ペンライトを活用した双方向情報伝達システムを用いることで，過去のコンサート録画映像を鑑賞する場合でも，実際のコンサートに参加しているような体験ができることを目指す．映像内の演者から現実の観客への働きかけと，現実の観客から映像への働きかけを組み合わせることで対話性を創出する．提案したシステムを用いた場合と用いなかった場合とでどのような違いがあるのかを検証した
結果，提案したシステムを用いた場合の方が，臨場感・盛り上がり・没入感・満足感の 4 つの点で高い効果を得られた．一方で，演者のパフォーマンスや提案システムのペンライトの振りが何に反映されているかが分かりにくいといった意見も得られた．

さらに，振動のような触覚刺激を適切に与えることが，遠1. はじめに隔地のユーザに対して，現場にいるかのような臨場感を提昨今のコロナ禍での様々な制限によるストレスから，音供するために有効であることも示唆されている [2] ことか楽コンサートをはじめとする様々なエンタテインメントコ

ら， Aﬃnity Live の振動機能は遠隔地においても有効にンテンツの需要がこれまで以上に高まっている．それは，作用することが期待できる．

コンサートでしか味わうことの出来ない熱量や一体感，演

そこで本研究では，コール＆レスポンスのような，演者出による非日常感が，人々の心を掴んでいるためである．と観客の双方向性に着目して，両者の対話性を過去のコン

しかし，医療従事者であることや身体的な理由など，様々サート映像に付与するシステムを提案する．具体的には，な要因でコンサート会場に行きたくても行けない人々も多「インタラクティブペンライト」を用いて，映像内の演者かい．また，過去の思い出のコンサートをもう一度同じ熱量ら現実の観客へのアプローチと，現実の観客から映像へので味わいたいという人もいるだろう．過去のコンサート映アプローチをそれぞれ作成し，これらの片方向システムを像が，DVD や Blu-ray ディスクとして販売され，何度も統合して，過去のコンサート映像との双方向システムを実見ることができるというのは珍しくない．しかし，過去の現する．

コンサート映像を鑑賞する際は，応援するというよりも，作品として見るという感覚に近く，そこには，現実のコン

2. 先行研究

サートで感じられるような臨場感や一体感はほとんどない．

先行研究では，演者と観客の一体感向上を目的とした，この問題を解決するために，これまでの研究において開演者の衣装と観客のペンライトを連動させる双方向ライブ発された，双方向ライブ支援システム

Aﬃnity Live [1]支援システムAﬃnity Live が開発されている（図 1）．の応用を考える．このシステムでは LED と振動モータ，演者から観客へのアプローチでは，演者のリストバンド加速度センサを内蔵したペンライト型デバイス（以下，「イがダンスパフォーマンスによって振られることで，リストンタラクティブペンライト」と表記する）を用いることで，バンド内部のセンサで加速度が計測され，マイクからの演者の演技を振動・光として体感でき，さらには聴衆の応音声入力と共にデータが制御用 PC に送られる．これらの援を演者の電飾衣装を光らせることで反映できる．開発しデータを光や振動といった情報に変換して観客側に送信たシステムを用いて，実際のライブ環境を模した評価実験することで，ペンライトの光や振動として提示される．まを行った結果，評価アンケート及びインタビューにより，た，観客から演者へのアプローチでは，観客がペンライト演者・聴衆間及び聴衆同士の一体感増強が確認されている．

を振ることで，ペンライト内部のセンサで計測された加速度が制御用 PC に送られる．そして，多数のペンライトか

123a)

埼玉大学
立命館大学
群馬大学
m.nakayama.919@ms.saitama-u.ac.jp© 2023 Information Processing Society of Japanらの加速度データに基づいて計画された信号が電飾衣装に送られ，演者の衣装の発光として提示される．この 2 つの621

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-35
2023/3/1

メラとは違い，編集されたコンサート映像では様々なカットが使われる．主に，引きで演者の全身が映るカットか，アップで演者の上半身が映るカットである．そこで，どのカットでも映ることが比較的多いと考えられる演者の手や手首に着目した．2 つ目は，演者が左手でマイクを持つことが非常に多いためである．したがって，より演者のパフォーマンスが現れる 右手 を観客へのアプローチの手がかりとした．
具体的なシステムとしては，映像に映る演者の右手首の情報を深層学習に基づく画像からの骨格推定手法 OpenPoseを用いて取得し，一定時間の右手首の振り幅を得る．この
図 1

双方向ライブ支援システム Aﬃnity Live

振り幅の大きさを観客が持つ「インタラクティブペンラ
イト」に色や振動として反映させる．先行研究から，振動システムを組み合わせることによって，演者と観客の対話が多すぎると不快感が増すという結果が得られているたが実現する．これまでに開発された，ペンライト型デバイ

め，ひとつの動画での振動回数は 2〜3 回となるように設ス「インタラクティブペンライト」は，市販のペンライト定した．色は，振り幅の大きさによって，小さい順に白・(King Blade X10III,RUIFANJAPAN LTD.) を基に，加速赤・青に光るものとした．青に光るときは，同時に振動さ度センサ，送受信機，振動モータを内蔵しており，内蔵させるようにした．実際には，事前に映像内の演者の動きをれた加速度センサの値を制御用 PC に送信できる．このシOpenPose を用いて解析し，観客の持つペンライトへ送る

ステムを用いて，ミニライブ形式での実験を行った際には，信号をあらかじめ記録しておくことで，動画を再生する度いつも以上に一体感や臨場感が得られたという意見が多くに実時間で骨格推定を行う計算コストを削減した．

得られている．

3. 提案手法
本稿で提案するシステムの概要を図 2 に示す．

図 3

映像中の演者の動きの大きさによるペンライトの色の変化

3.2 観客から映像へのアプローチ
次に，現実の観客から映像へのアプローチを考える．今
図 2

システム概要

回は，観客の持つ「インタラクティブペンライト」の動きを映像に反映させた．同デバイスを大きく早く振れば振るほど画面が明るくなり，振りが弱くなると画面が暗くなる

3.1 映像内の演者から観客へのアプローチようにした．これにより，振れば振るほど画面が明るく見まず，映像内の演者から現実の観客への片方向のアプやすくなるため，必然的にユーザはペンライトを多く振るローチを考える．今回は，映像内の演者の動きを観客側へようになり，それが応援している感覚に繋がると考えたた

送ることを考え，その手がかりとして演者の右手の振りのめである．

大きさを取得することとした（図 3）．これには理由が 2 つ

明るさの設定は，上限を 80 ％下限を 20 ％とし，基本的ある．まず 1 つ目が，過去のコンサート映像が対象であるに 60 ％の明るさ状態を保つようにした．これは，同デバことから，上半身のカットが多く入るためである．定点カイスを普通に振ると 60 ％の明るさを保ち，より大きく早く© 2023 Information Processing Society of Japan622

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-35
2023/3/1

ンケート（「そう思わない」を 1，「どちらでもない」を 3，「そう思う」を 5 とする）を行い，自由記述にも回答してもらった．なお，設問 1〜4 は 1 回目と 2 回目共通の設問となっており，設問 5 以降は，2 回目の動画鑑賞後のみの設問となっている．

図 4

実験の様子

設問 1

実際にコンサートに参加しているように感じたか．

設問 2

コンサートの盛り上がりを感じたか．

設問 3

アイドルを応援しているように感じたか．

設問 4

コンサートを楽しめたか．

設問 5

2 回目のペンライトは光り方が変化していると感じたか．

振ることで 80 ％の明るさまで上昇し，まったく振らなくなると 20 ％の明るさとなる．上限が 80 ％である理由は，80 ％〜100 ％の明るさの変化は，モニタ上でほとんど分からないためである．また，下限が 20 ％なのは，0 ％にして全く見えなくなり，応援を強制する形となってしまうと考えたためである．

4. 実験
提案する双方向システムが，一般的なペンライトに比べて，どの程度，臨場感や没入感を得られるのかを，実際に過去のコンサート映像を鑑賞する環境に近い状況で評価した．

設問 6

2 回目のペンライトの光り方は盛り上がりに良い影響があったと感じたか．

設問 7

2 回目のペンライトは振動していると感じたか．

設問 8

2 回目のペンライトの振動は演者のパフォーマンスを反映していると感じたか．

設問 9

2 回目の映像に，ペンライトの振りが反映されていると感じたか．

設問 10 2 回目の映像は，より応援しているように感じたか．

5. 実験結果と考察
実験参加者のアンケートに対して，設問毎に平均と標準偏差を求めたものを図 5,6 に示す．通常ペンライトと「インタラクティブペンライト」共通の設問 1〜4 の比較では，4.1 実験設定「インタラクティブペンライト」の方が，評価が高いという実験は，埼玉大学の一室で行った．実際に過去のコン結果が得られた．これは，臨場感・盛り上がり・没入感・サート映像を見る際は，家の中で座って見ることがほとん

満足感の全ての項目で同デバイスの方が有効であることをどである．そこで，周囲の目が気にならず，家の中で観賞示している．設問 5，7 のペンライトの光り方の変化と振する際の環境に近い状況である個室に一人ずつ入室しても動に気づいたかという問いでは，ほぼ全員が確実に気づいらい，実験を行った．実験参加者は計 10 名の大学生，大たと示している．設問 6 では，比較的高い評価が得られた．

学院生である．

しかし，設問 8 のペンライトの振動が演者のパフォーマン

実験参加者に 2 曲のアイドルのコンサート動画を見てもスを反映していると感じたかどうかの質問に関しては，あらい，1 曲が終わる毎にアンケートに回答してもらった．1

まり効果的であるという評価は得られなかった．さらに，曲目の動画では通常ペンライト，2 曲目の動画では「インタ設問 9 の映像にペンライトの振りが反映されていたかどうラクティブペンライト」を用いて鑑賞してもらった．2 つかの質問に関しては，評価が 3 を下回り，ほとんど効果をの動画は，同じ女性アイドルグループの違う曲のコンサー得られなかった．設問 10 では，比較的効果が得られた．

ト映像である．バイアス除去のために，2 つの動画の再生順は実験参加者ごとにシャッフルした．図 4 は実験中の様子を示したものである．評価は，実験後のアンケート及び，実験中の実験参加者を撮影したビデオによって行った．

4.2 実験手順
今回の実験では，意図的にシステムの説明は行わずに「ペンライトを振りながら観賞してください．
」とだけ依頼してペンライトを用いた動画鑑賞をしてもらい，1 回目と2 回目の鑑賞での違いがどのくらいあるのかを検証した．
1 回目と 2 回目の動画観賞後，以下に示す 5 段階評価のア© 2023 Information Processing Society of Japan

図 5

アンケート結果（共通）623情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-35
2023/3/1

において有効な結果が得られなかった．そこで，画面の明暗が変化するシステムに，歓声と拍手が鳴るシステムを付け加えて，実験を行った．これは，画面の明るさが 60 ％から 80 ％に上昇する際に同時に歓声と拍手の音量が大きくなるように設定した．この設定での実験は，実験参加者は2 名のみとなってしまったが，実験参加者が歓声が鳴ることに気づいてペンライトの振り方を変えたり，歓声が鳴るという変化によって，画面の明暗の変化に気づく様子が見図 6

アンケート結果（連動ペンライトのみ）られた．また，主に設問 9「2 回目の映像に，ペンライトの振りが反映されていると感じたか」，設問 10「2 回目の映今回の実験では，過去のコンサート映像におけるペンラ像は，より応援しているように感じたか」の 2 つで，非常イトの機能の違いを検証するため，システムについての説に高い評価となった．これは，歓声と拍手が付け加えられ明をほとんど行わなかった．したがって，実験参加者がどたことによって，視覚と聴覚の両方からのアプローチによこに重点をおいて映像視聴を行うか迷う様子が多く見られり，変化に気付き易くなった為ではないかと考えられる．

た．そのため，ユーザが提案システムの機能を活かすことができなかったのではないかと考えられる．

7. まとめと今後の展望

通常ペンライトと「インタラクティブペンライト」共通

本稿では，「インタラクティブペンライト」を活用した双の質問で，「インタラクティブペンライト」の方が高い評価

方向システムを用いることで，過去のコンサート映像でも，を得られたということは，通常ペンライトよりもコンサー

現実のコンサートに参加しているような臨場感や没入感に

ト映像に対する臨場感や没入感が高いということが分か近い体験ができることをめざしたシステムを提案した．

る．これは，演者から観客へのアプローチであるペンライ

これまでに開発された，ライブにおける演者の演技・そトの色の変化と振動による効果が大きいと考えられる．しれに対する観客の応援を振動・光に変換し，双方向に伝達

かし，ペンライトの色の変化が，ペンライトの振りによるし合うペンライト型デバイス，「インタラクティブペンラものだと感じた実験参加者も見られた．振動に関しては，イト」を応用し，過去のコンサート映像に対話性を持たせ演者のパフォーマンスを表す手がかりとはなったものの，ることで，臨場感や没入感を増強させるシステムを提案し「何のタイミングで振動しているかは分からなかった」とた．その結果，過去のコンサート映像を同デバイスを用いいう意見がほとんどだった．て鑑賞することで，臨場感・盛り上がり・没入感・満足感をまた，観客から演者へのアプローチとして，同デバイス向上させるのに有効であることが分かった．一方で，特にの振りに応じた画面の明暗の変化は，「ほとんど気づかな観客から映像へのアプローチにおいて，映像の変化が分かかった」という結果が得られた．この原因として，映像中りにくかったため，システムを改良して，追加実験を行っのカメラのカット割や演者の立ち位置，照明の変化などでた．歓声と拍手という聴覚的な提示を付け加えた結果，少画面の変化を感じにくかったのではないかと考えられる．

人数での実験ではあるが，非常に高い評価が得られた．

また，実験参加者が基本的にペンライトを振り続けていた

今後は，さらに光る色を好きなアイドルのメンバーカため，暗くなっていく場面が少なかったことも原因としてラーに変えたり，振動のタイミングを最も盛り上がるとこ考えられる．

ろに設定することでさらなる臨場感や没入感の向上が期待

これらの結果から，演者から観客へのアプローチでは，できる．また，追加実験で，有効性が示唆された聴覚的な特に振動のタイミングを適切に定める必要があることが明アプローチについても，再度，評価実験を行いたいと考えらかとなった．1 つの動画で振動は 2〜3 回程度であり，色ている．将来的には，映像を改変するなど，より高度な双の変化と振動のタイミングはあらかじめ記録してあること

方向システムの開発をめざしていきたい．

から，演出として，人手でタイミングを決めても良いのではないかと考えられる．また，観客から映像へのアプロー

参考文献

チでは，カット割りや映像内のステージの照明変化が大き[1]いことから，画面の明暗だけでは全く気づかれなかった．
これに対しては，拍手・歓声を付け加えるなどで，気づきを促すことができると考えられる．

6. 追加実験[2]

大津耕陽，福島史康，高橋秀和，平原実留，福田悠人，小林貴訓，久野義徳，山崎敬一： Aﬃnity Live: 演者と観客の一体感を増強する双方向ライブ支援システム，情報処理学会論文誌， Vol. 59, No. 11, pp. 2019–2029 (2018).
田中一晶，加藤良治，中西英之： 鏡型ビデオ会議における視触覚相互作用によるソーシャルテレプレゼンスの強化，情報処理学会論文誌， Vol. 58, No. 5, pp. 946–954 (2017).

今回用いたシステムでは，観客から映像へのアプローチ© 2023 Information Processing Society of Japan624