情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-31
2023/3/1

YouSubcon!（ユーさぶこん！）：配信型音楽ライブの CGM 化に関する研究増田慶士郎†1高島健太郎†1西本一志†1

概要： 近年音楽コンサートや舞台において無観客でのオンライン配信，また有観客公演のオンライン同時配信が増加している．しかし配信される映像は主催者で用意した 1 種類であるため，視聴者の多岐にわたるニーズに対応できていない．そこで映像編集ができるファン(ディレクター視聴者)に複数のカメラの収録映像を無編集で提供し，編集してもらうことで配信映像のバリエーションを増やすことで，多様なニーズにできる限り対応できるシステムを提案した．従来の 1 種類の映像，複数のカメラの収録映像をそのまま提供するマルチアングル映像と提案手法の 3 条件での比較実験を行ったところ，満足度はマルチアングル映像に及ばなかったが，複数の映像から選択可能であることは有益であること，動画の選択方法に改善の余地があること示唆された．

1. はじめにムでこれを編集することで複数の配信映像の提供を実現することを考えた．映像編集者にファンを選んだ理由としては，新型コロナウイルス感染症（COVID-19）の流行により様々ファンはパフォーマンスの見どころを理解している可能性がな文化活動に影響が出ている．感染拡大初期では音楽コンサ高い点，ファンごとに見てほしいポイントが異なることからートや舞台の多くの公演が延期・中止された．その後，コロ多様な映像編集が期待される点が挙げられる．

ナ禍の中で興行を続けるため，無観客でのオンライン配信と本稿では，このようにライブのオンライン配信において，いう形態で開催する公演が増加した．また感染状況が落ち着多様な視聴者のニーズに応えるために，ファンが映像編集をくにつれて，会場での有観客公演をオンラインで同時配信す行うことで複数種類の映像配信を行う手法を提案し，効果検るという公演も増えつつある．オンライン配信であれば，会証を行った結果について報告する．

場の収容人数による来場者数上限などの問題を緩和，もしくは解決することが可能である．ぴあ総研による調査では，有2. 先行事例

料オンラインライブの国内市場規模が 2020 年 4～6 月には 11

本研究に関連する先行事例として，様々なアングルからの億円であったのに対し，同年 10～12 月には 373 億円となっ撮影を可能にする撮影技術，視聴者が多様な映像を選択可能たと推計されている[1]．また年単位の調査でも，2020 年全体にする配信技術について述べる．

で 448 億円であった国内市場規模が 2021 年全体で 512 億円に増加していると推計されている[2]．

様々なアングルからの撮影を可能にする撮影技術としては
ボリュメトリックビデオ技術[3]，EyeVision[4]などがある．ボ

現状のオンライン配信では，会場の設置カメラが複数台あ

リュメトリックビデオ技術は撮影スタジオの全体にカメラをるにも関わらず配信映像はそれらのカメラの映像を主催者が設置し，同時に撮影することで空間を 3D データ化し，即座編集した 1 種類のみである．しかし視聴者は個人ごとに視聴に 3D 映像を生成できる技術である[3]．しかし 3D 映像を生したい映像のニーズが異なると思われる．例えば全景映像と成することで好きなアングルを捉えられるものの撮影した映呼ばれるステージ全体を定点で映した映像，推しと呼ばれる像を編集するという 3D 映像の生成処理が必要なうえ，大掛好みの出演者を対象にその出演者をメインに映した映像，各かりな設備が必要なため，ライブでの普及は発展途上である．

タイミングで歌唱中の出演者を映した映像などである．予備EyeVision は 2001 年にアメリカのスーパーボウル中継で導入的な調査として著者らが研究室内の学生 2 名に対し同じ曲をされた 3D リプレイシステムである[4]．会場に等間隔で設置

パフォーマンスしているアングルが違う 3 種類のアニメ映像されたカメラ同士で死角を補い合うことで会場のどこでスーを視聴してもらい好みの順番の回答を依頼した結果，学生ごパープレイが起こっても映像として捉えることができる．しとに異なる回答となった．これらのことから，現状の 1 種類

かし EyeVision は死角を補い映像補完することを主に想定しの映像のみのオンライン配信では視聴者の多様なニーズに対たシステムであり，本研究の主旨である各出演者や会場の様応しきれていないという問題があるのではないかと考える．

子を捉えるという点には合致しない．また両方に言えること複数種類の映像を作成し配信を行うことが望ましいが，ことして，映像の編集には専用の設備及び技術が必要であり，れを行おうとすると主催者の編集の負担が増加してしまう．

場合によっては専用の場所などが必要であるため容易に使用

そこで本研究では，主催者が複数台あるカメラの映像を編集できるものではない．

せずに出演者のファンに渡し，出演者のファンがリアルタイ

一方，視聴者に多様な映像を選択可能にする配信技術とし†1 北陸先端科学技術大学院大学 先端科学技術研究科
Graduate School of Advanced Science and Technology, Japan Advanced
Institute of Science and Technologyてはマルチアングル映像[5]などがある．マルチアングル映像© 2023 Information Processing Society of Japanとは複数のカメラでアングルを変えて同時に撮影した各映像

902

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-31
2023/3/1

を 1 つのタイトルの中に収録し，各映像を視聴者の好みに応じて切り替えて視聴できるようにしたものである．視聴者は常にカメラを切り替えられるため，見たいアングルの映像を視聴することができる．しかし視聴者自身が映像の切り替えを行う必要があり，「映像を選択する」「映像を視聴する」という 2 つのタスクが生まれるため，視聴に集中することができない．そのため視聴者は映像を選択するための小画面ばかりを注視することになり，映像を大画面で楽しめない恐れがある．

3. 提案手法
本手法に係る関係者として，アーティストおよび主催者，映像編集ができる出演者のファン（以下「ディレクター視聴図 2 予備実験システム 動作画面者」），映像編集を行わない視聴者（以下「一般視聴者」）があ②は主催者から提供されるカメラ映像を想定したものであり，る．提案手法の概要を図 1 に示す．

複数のカメラアングルの映像がそれぞれ同タイミングで再生

アーティストおよび主催者はステージでのパフォーマンスされている．その映像のうち視聴したいカメラアングルのアを行い，その様子を複数のカメラで撮影する．そして撮影しイコンをクリックすることによりその映像が①の選択映像ウたそれらの映像をディレクター視聴者に対し無編集の状態でインドウに大きく表示される．①は視聴者に配信される映像提供する．

を想定している．リアルタイム編集を模するために各映像はディレクター視聴者は提供された無編集の映像を受け取り，巻き戻せないようになっている．またライブの音は操作に関リアルタイムで編集する．編集を行った映像は一般視聴者にわらず映像に合わせて流れ続ける．①に投影する映像を変更

そのまま配信される．その際，編集した映像に対し視聴者がすると，変更した映像の番号および再生開始からの経過時間

選ぶ上で参考になるキャッチフレーズをつけ公開する．キャがシステムにログとして記録される．システムは HTML 及びッチフレーズはディレクター視聴者がどのような目的の映像JavaScript を用いて作成している．

を編集したかを示すものであり，「出演者のうち A さんを中予備実験ではこのログに加え，作成された映像の保存およ

心に映している映像」「舞台セットを含めた全体を映している

び実験後のインタビューを行った．実験は著者らの研究室の映像」といったものを想定している．

博士前期課程学生 2 名である．映像に関しては本研究室の博そして一般視聴者はディレクター視聴者が作成したキャッチフレーズをもとに映像を選択，視聴する．

表 1 予備実験 実験結果

4. 予備実験
4.1 概要本手法を実現するにあたり，ディレクター視聴者は映像編集を行うことができるか，ディレクター視聴者ごとに編集された映像が変化するかを確認するために予備実験を行った．
予備実験では作成した実験システムを用いて提供映像から配信映像を作成してもらう作業を行った．編集はカメラのスイッチングのみを行ってもらっている．
図 2 は本研究で使用する実験システムの動作画面である．

図 1 提案手法の概要© 2023 Information Processing Society of Japan903

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-31
2023/3/1

士前期課程学生 1 名がピアノを演奏している様子を「全体のすることで満足感の向上につながるかを検証するために実験様子」「演奏者の表情」「鍵盤」「足元のペダル」の 4 ヶ所同時を行った．実験はディレクター視聴者側と一般視聴者側それに撮影した映像を無編集の状態で使用している．

ぞれで実施している．実験に用いたシステムと実験内容につ4.2 結果と考察いて下記に述べる．

実験結果を表 1 に示す．行は実験開始からの経過秒数であり，左列が被験者 A，右列が被験者 B の編集操作である．

5.2 ディレクター視聴者側
ディレクター視聴者には実験システムを用いカメラ映像を

被験者 A と被験者 B の大きな違いとして，被験者 B はす編集してもらった． 実験手順としては初めに操作方法，カメべてのカメラアングルを使用した一方で，被験者 A は足元のラアングルの説明を行い，被験者が操作を理解した段階でチペダルを映した映像は使用しなかった．また，被験者 A はペュートリアル用の映像で練習を行い，その後，3 曲分の映像ダル以外のカメラを同じ回数用いたが，被験者 B は演奏者のを編集してもらった．各映像の編集前に「ステージへの出演表情を映したカメラを他のカメラよりも頻繁に用いた．

人数」「編集する映像に使用する曲の概要」のみを被験者に伝またインタビューで「作成映像のコンセプト」「カメラアングルを切り替えたきっかけ」「カメラアングルの切り替え先をえた．各映像編集後，被験者には作成した映像にキャッチフレーズをつけてもらった．

決めたきっかけ」について聞いたところ，作成映像のコンセ

図 3 は使用したシステムの画面である．4.1 節で述べた予プトでは「飽きず，視聴者の興味対象を意識した映像（被験備実験で使用したシステムと基本的には同じだが，予備実験者 A）」「音楽番組でのピアノ演奏の映像をイメージした映像

では実験プログラムを開くと同時に再生していた映像を，実（被験者 B）」という回答がそれぞれ得られた．カメラアング

験上の利便性から③の再生ボタンを押すことによる再生へとルを切り替えたきっかけに関しては「演奏者が視聴者の興味変更した．

対象だと考えた（被験者 A）」「演奏者が座りなおすなど，演ラ イ ブ 映 像 に は 3DCG 作 成 ソ フ ト ウ ェ ア で あ る

奏者の動きは映すようにした（被験者 B）」という回答が得ら

MikuMikuDance[6]を使用し作成したキャラクターのダンスれた．またカメラアングルの切り替え先を決めたきっかけに映像を使用した．楽曲はチュートリアルが「ロウワー」，実験関しては「全体の様子と演奏者の表情を多めにするようにし使用曲が「トラフィック・ジャム」「グッバイ宣言」「ヒビカた（被験者 A）」「同じ映像ばかりで飽きが来ないようにしたセ」である．
「ロウワー」及び「トラフィック・ジャム」は 2（被験者 A）」「後半以降は使用していない映像を優先的に使人でのステージ，「グッバイ宣言」は 1 人でのステージ，「ヒ用するようにした（被験者 B）」という回答が得られた．

ビカセ」は 4 人でのステージとした．キャラクターモーショ

これらのことから本手法で提案するリアルタイムでの映像

ンおよびステージのモデルデータに関してはインターネット編集及びキャッチフレーズの作成は可能であることが分かっ上にて無料公開されているデータを使用した．また，キャラた．またディレクター視聴者が想定する視聴者のニーズは同

クターのモデルデータに関しては MikuMikuDance に収録さ一でないことが改めて確認できた．そのため，今後ディレクれている「初音ミク」「鏡音リン」「鏡音レン」「巡音ルカ」

ター視聴者を増加させた場合も，すべてが同一の傾向の映像「MEIKO」「カイト」のデータを使用した．映像のカメラアンになるとは考えにくく，多様な視聴者ニーズに対応できるのグルは「正面（通常距離）」「斜め 22.5 度（左側）」「斜め 45 度ではないかと考えられる．

5. 本実験
5.1 概要予備実験を踏まえ，実際に本手法が視聴者のニーズに対応
図 4 正面（通常距離）

図 5 斜め 22.5 度（左側）

図 6 斜め 45 度（左側）

図 7 斜め 22.5 度（右側）

図 8 斜め 45 度（右側）

図 9 正面（遠距離）

図 3 ディレクター視聴者側実験システム・一般視聴者側実験システム（マルチアングル映像用） 動作画面

© 2023 Information Processing Society of Japan904

情報処理学会 インタラクション 2023IPSJ Interaction 2023（左側）」「斜め 22.5 度（右側）」「斜め 45 度（右側）」「正面（遠距離）」の 6 種類である．実際のカメラアングルを示した
図を図 4～9 に示す．

3B-31
2023/3/1

査した．
指定映像は各カメラをまんべんなく用いて第一著者が編集した映像を使用した．実験システムの外観を図 10 に示す．マ

被験者は著者らが所属する大学の大学院生 6 名とした．評

ルチアングル映像は先述のディレクター視聴者側実験で提示

価方法としては，各映像の編集終了毎に編集した映像のキャした映像と同じカメラ映像・システムを使用した．実験シスッチフレーズを聞くほか，実験終了後にアンケートとインタ

テムの外観は図 3 と同じである．被験者は映像を視聴途中でビューを実施し，編集環境についての質問を行った．編集さ変更することができる．本手法の映像では事前にディレクタれた映像は保存し，キャッチフレーズとともに後述する一般ー視聴者側実験で作成したキャッチフレーズを表示したリス

視聴者側実験にて使用する．

トを提示し，その中から見たい映像を選択してもらった．マ

5.3 一般視聴者側

ルチアングル映像と違い選択した映像は途中で変更すること

一般視聴者側の実験では，従来通りの「1 種類の映像（以はできない．システムの外観は図 10 と同じである．

下「指定映像」）」，複数のカメラ映像をそのまま見せる「マル被験者は著者らが所属する大学の大学院生 17 名を 3 つのチアングル映像」，ディレクター視聴者が編集した映像を選択グループ(A,B,C)に分け，順序効果を排除するため，グループして視聴する「本手法の映像(以下「本手法」)」の 3 種類を視ごとに同内容の映像に対する提示方法を変えたうえ，実験を聴してもらい，満足度をアンケートおよびインタビューで調行ってもらった（図 11）．実験終了後にアンケートとインタ

図 11 グループ毎の実験順番
図 10 一般視聴者側実験システム（指定映像・本手法用）
動作画面
表 2 ディレクター視聴者が作成したキャッチフレーズの一覧© 2023 Information Processing Society of Japan905

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

3B-31
2023/3/1

ビューを実施し，一番満足した動画，満足していない動画，て回答者が多かったのは指定映像であり 17 人のうち 11 人がそれらの理由について質問した．なお，本稿執筆時点でまだ選択した．本手法は 2 人とこちらは全手法の中で 1 番少なか被験者を募集している状況であり，以降これまでに得られたった．

データについて述べる．

自由記述およびインタビューにて聞いた動画順位の選択理
由としては，マルチアングル映像は「好きなアングルで視聴6. 結果と考察することができる」という好印象の意見が多かった一方で「自6.1 ディレクター視聴者側身でアングルを調整するのが少し面倒だと感じた」「カメラがディレクター視聴者が作成したキャッチフレーズの一覧を表 2 に示す．

多くても使わなかった」などという意見が得られた．一番満足度した動画として挙げられた一方，4 名が満足していない

アンケートでは主に「映像編集に対しキャッチフレーズ以外で意識した点」「キャッチフレーズを考えることが負担となるか」「システムへの追加機能の要望」について聞いた．

動画として答えているのは，この手間によるものが大きいと考えられる．
従来手法である指定映像は一番満足していない動画として映像編集に対しキャッチフレーズ以外で意識した点では，最も回答数が多かった．
「引きで見るべきでないタイミングで「曲のリズムに合わせるようにした」「サビなどの盛り上がる引きのアングルになったりしたため見づらかった」など単調シーンでは正面からのカメラアングルとした」「出演者が複数なカメラ切り替えの動画を視聴せねばならず，自分の嗜好に人いる場合は人同士が重ならないようなカメラアングルを選合った動画の選択ができないことが満足度を下げる大きな要択した」などの回答が得られた．

因だと考えられる．

キャッチフレーズを考えることが負担となるかに関しては，

本手法は一番満足した動画にも一番満足していない動画になると答えた人とならないと答えた人に分かれたほか，条件も回答が少ない結果となった．動画を選択可能にしたことは，によると答えた人もいた．負担となるという回答に関しては指定映像より良い評価に結び付いたと推測される．一方，一「テーマを持つことはできてもそれをキャッチフレーズのよ番満足した動画では指定映像よりも劣ってしまった理由としうに言語化できない」という意見があった．一方ならないとて，インタビューより，選んだキャッチフレーズと実際の動いう回答に関しては「そもそもライブ自体にテーマがあるた画でイメージの齟齬があったことが考えられる．アンケートめそれをもとに考えられる」という意見があった．条件によでも「ダンスの見やすさで選んだはずなので切り替わるとやるという回答に関しては「人数や内容による」「容易に考えらや見づらい印象を受けた」という意見があった．また，本手れるがライブ中にそれを貫き続けるのは難しい」という意見

法では映像を切り替えることはできないが，他の映像が存在が得られた．

するということは伝わるので，不本意な動画であった場合にシステムへの追加機能の要望に関しては，「出演者を追従するようなカメラアングルの映像」「斜め下や斜め上，真上，背別の映像はどうなっていたのかが気になり，満足度を下げた可能性もある．

面など今回の実験では用意していないカメラアングルの映像」

より満足度を上げるための改善点としては，本実験で 6 種「映像に対するズームインやズームアウトなど映像の距離感類であったバリエーションを増やすことが有効であると考えを変える機能」「映像の上からエフェクトをかける機能」などる．しかし，ただ増やすだけでは映像の選択が大変になるたが挙げられた．

め選択を行いやすくするための工夫も同時に必要である．ま6.2 一般視聴者側

た動画を切り替えたいというアンケートでの要望も多く，マ

これまでに得られたアンケートの結果を表 3 に示す．一番

ルチアングル同様に途中での切り替え機能を足すことも考え満足した動画として回答者が多かったのはマルチアングル映られる．しかし切り替え機能を足すことによりマルチアング像であり 17 人のうち 10 人が選択した．一方本手法は 3 人とル映像同様に映像を選択するというタスクが増えてしまうた

全手法の中で一番少なかった．一番満足していない動画としめ十分な検討が必要である．

表 3 一般視聴者側実験結果© 2023 Information Processing Society of Japan906

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

7. 実現時の課題
本研究をビジネスとして実現する場合に生ずる主要な課題
として「権利的問題」「金銭的問題」について述べる．
権利的問題は，「ライブという肖像権などが関わる映像の提供をどのようにして行うか」「編集後の映像の，著作権などの権利はどのように扱われるか」などがある．ディレクター視
聴者の画面では画面キャプチャを制限する必要があるほか，事前の確認や規約の記載が重要であると思われる．
金銭的問題としては，ライブ開催・配信にかかる費用，そして収益をどのように分配するかがあげられる．通常のライブ配信では興行・配信に係る費用は主催者が負担し，視聴者からのチケット収益を得てそれを賄う．しかしディレクター視聴者による配信は想定されていないため仕組みが存在しない．著者としては，ディレクター視聴者は一般視聴者より少し高額なチケット料金を支払い，その後編集した映像の視聴数に応じてグッズ，キャッシュバックなど何かしらのインセンティブを受け取れることにすることで，充実した映像を作成するようになるのではないかと考えている．

8. おわりに本研究では近年増加する音楽コンサートや舞台などのオンライン配信について，幅広い視聴者ニーズに対応するため，映像編集ができるファン(ディレクター視聴者)にカメラの収録映像を無編集で提供し編集してもらうことで映像のバリエーションを増やして配信するシステムを提案した．
従来の 1 種類の映像と，複数のカメラ映像を無編集で提供するマルチアングル映像との 3 条件での比較実験を行ったと© 2023 Information Processing Society of Japan

3B-31
2023/3/1

ころ，本稿執筆時点では一番満足した動画にはマルチアングル映像が選ばれ，提案手法はこれに大きく及ばない結果となった．一方で，一番満足していない動画としての回答数は少なく，マルチアングル映像よりも好ましい結果となった．これは，映像をある程度選択できる余地を与えつつ，操作をしながら視聴しなければならないという問題点を解決しているからではないかと考えらえる．
今後は実験を継続するとともに，判明した改善点をもとに，より満足感を向上させることができるシステムの構築に取り組みたいと考えている．

参考文献[1] “2020 年の有料型オンラインライブ市場は 448 億円に急成長。～
ポスト・コロナ時代は、ライブ・エンタテインメントへの参加ス
タイルも多様化へ ／ぴあ総研が調査結果を公表｜ぴあ株式会社”. https://corporate.pia.jp/news/detail_live_enta_20210212.html,(参照 2022-11-30).
[2] “2021 年のオンラインライブ市場は前年比 14.4%増の 512 億円に成長 ／ ぴあ総研が調査結果を公表｜ぴあ株式会社”. https://corporate.pia.jp/news/detail_live_enta20220615_3.html, (参照 2022-1130).
[3] “ボリュメトリックビデオ技術：空間を 3D データ化し即時に 3D 映像を生成できる技術 | 知財図鑑”. https://chizaizukan.com/property/382/, (参照 2022-11-30).
[4] “金出武雄 - 武田計測先端知財団調査報告書”. http://takeda-foundation.jp/reports/pdf/ant0210.pdf, (参照 2022-12-20).
[5] “マルチアングルとは何？わかりやすく解説 Weblio 辞書”. https://www.weblio.jp/content/%E3%83%9E%E3%83%AB%E3%83%8
1%E3%82%A2%E3%83%B3%E3%82%B0%E3%83%AB, (参照 2022-11-30).
[6] “Vocaloid Promotion Video Project”. https://sites.google.com/view/vpvp/, (参照 2022-12-20).

907