福井大学 学術研究院工学系部門 研究報告 第 71 巻 2022 年 11 月
Mem. Fac. Eng., Univ. Fukui, Vol. 71（ November 2022 ）9Transformer モデルによる感情を基にした動画 BGM の生成と評価
原田楓 ∗ 小高知宏 ∗∗ 黒岩丈介 ∗∗ 諏訪いずみ ∗∗∗ 白井治彦 ∗∗∗∗

Generation and Evaluation of Emotion-based Video BGM
Using Transformer Model
Kaede HARADA∗ Tomohiro ODAKA∗∗ Jousuke KUROIWA∗∗
Izumi SUWA∗∗∗ Haruhiko SHIRAI∗∗∗∗(Received September 30, 2022)
In this paper, we developed a system that automatically generates appropriate background music
for a video using the emotions contained in the video as input. A dataset of piano music was createdfor each emotion and trained using Music Transformer models. Music was generated by inputting
emotion words to the 4 models that had been trained. Two evaluation experiments were conducted on
the generated songs. In the evaluation experiment of the music piece alone, we asked the subjects tolisten to and evaluate 16 generated music. In the evaluation experiment of the videos as backgroundmusic, we asked the subjects to watch 4 videos without sound, and determined the emotions of thevideos. Then, 16 videos with background music were created by combining the 4 videos and 4songs that contained each emotion. Then, we asked the subjects to watch the created videos andevaluate which background music was most suitable for them. For the experimental results, some of
the models produced suitable music for the videos with expected emotions, but not all of the models
were able to produce suitable music for the videos. In order to complete the system, we need toimprove the training dataset and revise the experimental method.
Key words : music genelation, Transformer, BGM
緒言

1.

近年, 動画サイトの使用率, 使用人数は増加しており,言える. 加えて, 多種多様なジャンルの動画, 動画投稿者の増加によって日本を含め, 世界の様々な分野に影響を与えている. このことから, 動画というコンテンツの加えて動画投稿者の数も増えている. また, ショート動需要が増加傾向にあると考えられる.

誰でも手軽に動画の制作や投稿ができる環境にあると選択が挙げられる. 動画の内容にマッチした BGM を付画を投稿する機能に力を入れた SNS アプリが普及し,**大学院工学研究科 知識社会基礎工学専攻

Fundamental Engineering for Knowledge-Based Soci-ety, Graduate School of Engineering** 知能システム工学講座** Department of Human and Artiﬁcial Intelligent Systems*** 仁愛女子短期大学 生活科学学科*** Jin-ai Women’s College**** 工学部 技術部**** Technical Division

動画制作の重要な要素の一つとして, 適切な BGM の与することで, 動画のクオリティ向上に繋がると考えられる. しかし, 個人利用, 商業利用が可能な BGM に絞ったとしても存在する楽曲数は膨大である. そのため, 個人が気に入る BGM の選択, 動画に合わせる編集などの作業には時間を要する.

本研究では, 動画に含まれる感情を入力として, 動画に適した BGM を自動生成するシステムの開発を目的とする. BGM を生成する手法には, 深層学習モデルである Transformer を応用した音楽生成モデル Music Trans-

10former を用いる. Music Transformer には楽曲の感情を基に作成したデータセットを学習させる. 学習させた

た. 全世界ユーザーのうち, 約 50 ％が 34 歳以下, 32.5 ％は 10 歳～19 歳の利用者であることから, 若年層を中心モデルに感情を入力して生成された BGM を評価するに成長している SNS アプリだと言える. TikTok の特徴る.

が挙げられる. TikTok におけるマイクロインフルエン生成に関する研究について述べる. 3 章では Music Trans-ンサーのエンゲージメント率は約 5 ％と他の動画プラッされた楽曲の評価実験について説明し, 5 章で評価実験アによるマーケティング効果が大きく期待できるアプ

ことで, 動画に適した BGM が生成されているか判定す
本論文では, 2 章で現在の動画サイト等の動向, BGMformer を用いた楽曲の生成について述べる. 4 章で生成の結果を示す. 6 章で実験結果に対する考察を述べ, 7 章で本論文についてのまとめを述べる.

2. 動画サイトの現状と BGM の自動生成
近年では, 動画投稿を主軸とした SNS の普及によっとして, エンゲージメント率 (視聴者の反応率) の高さ

サーのエンゲージメント率は約 18 ％, メガインフルエトフォームの約 5 倍である. このことから, 動画メディリだと言える [3] .

これら以外にも, 様々な動画プラットフォームがアクティブユーザー数や動画投稿数の面で成長を見せており, 動画という情報メディアの需要が増加していることが伺える.て, 動画サイトや SNS の利用者数は増加傾向にある. 加2.2より, 動画の投稿者数も増加している. 動画投稿者の増

近年では, 自然言語処理の分野に登場した深層学習モデれ, 投稿される動画の本数も増加している. また, 視覚former が注目されている. 2018 年に Curtis Hawthorne

作において, 適切な BGM の選択は重要な要素の一つでタで構成された大規模データセット「MAESTRO」をえて, 操作が簡易化された動画作成アプリの登場などに加に伴い, 以前より多種多様なジャンルの動画が確立さと聴覚に情報を伝達できる動画というコンテンツの制ある. このことから, BGM の選択にかかる時間の簡略

BGM の自動生成に関する研究

BGM の自動生成に関する研究は数多く存在する. 特にル Transformer を応用した音楽生成モデル Music Trans-らによって発表された研究では, ピアノ演奏の midi デー用いて, オリジナルのピアノ演奏を生成するモデルの開化, 個人の気に入る BGM の生成という点に需要が存在

発とテストを行った [4] . この研究では, モデルの一部

節で動画と BGM の自動生成に関する過去の研究につノ演奏楽曲はデータセットに含まれるピアノ演奏と同すると考える. 2.1 節で現在の動画サイト等の動向, 2.2いて述べる.

2.1 動画サイト等の動向

1.YouTube「YouTube」は Google 社が運営する動画プラットフに Music Transformer を使用しており, 生成されたピア様の音楽的特性を持っているという結果が得られた. 加

えて, 長期的な依存関係を含んだ約 1 分程度のピアノ演奏楽曲の生成が可能になった.

本研究の目的は, 感情を基にして動画に適した BGMを自動生成するシステムの開発である. そのため, 感ォームである. 2021 年には, 全世界で 23 億人以上 (ソー情を基に収集した楽曲のデータセットを作成し, Musicしている. 全世界ユーザーのうち, 日本のユーザー数は徴を持った楽曲が生成できると考えた. この理由から,シャルメディアユーザーの 50 ％以上) が月に 1 回利用6000 万にも上る. また, 投稿者として活動するために新しく開設されたチャンネルの数は 2019 年～2020 年にかけて約 2 倍に増加している. クリエイターの増加により, 日本では音楽産業への貢献, 学習ツールとしての需要増加, 国を超えたカルチャーの発信などに影響を与えている [1][2] .

2.TikTok「TikTok」は 2016 年にサービスを開始し, 2021 年には ios, Google Play を合わせると世界で最もダウンロードされたモバイル向けの動画プラットフォームである.

2022 年には, 月間アクティブユーザー数が 10 億人を超え, 世界第 6 位のソーシャルネットワークアプリとなっTransformer に学習させることで, ある感情の音楽的特本研究では楽曲の学習, 生成モデルに Music Transformerを使用することとした.

3. 楽曲の生成
本章では, Music Transformer を用いた感情語を入力とした楽曲の生成方法について述べる. まず, 感情語の取得方法や設定について説明する. 次に, 使用する

Music Transformer モデルについて説明し, モデルに学習させるデータセットの作成方法を述べる. 最後に, MusicTransformer を用いた楽曲生成の方法を説明する.

113.1

感情語の取得と設定

情に沿った楽曲であるか判断を行った. 楽曲は各感情で

本研究では, 動画の内容から楽しい, 悲しいなどの感

20 曲, 計 80 曲収集した. その後, オンラインファイルコ入力することで感情に適した BGM の生成を行う. 目標

データから midi データに変換した (図 1). これらの作情語を取得し, 取得した感情語を Music Transformer には, 自動で動画内容から感情語を取得できるようにする

ことだが, 今回は手動で動画に含まれる感情語を取得した. 対象者に動画を視てもらい, どのような感情を含んンバーター AnyConv[6] を用いて, 収集した楽曲を wav

業を行い, 各感情 (楽しい, 穏やか, 悲しい, 恐ろしい) のデータセットを作成した.

でいるか判定してもらうことで, 動画の持つ感情語を決定した. 得られた感情語を Music Transformer への入力に使用した. また, 感情には様々な種類の表現が存在するが, 今回は動画から取得する感情を楽しい, 穏やか, 悲しい, 恐ろしいの 4 種類に設定した.

3.2 使用モデルの説明

本研究では, データセットの学習, 楽曲の生成に Music

Transformer を使用する. Music Transformer は 2018 年

図 1 : データセットの作成工程

3.4

学習方法と生成方法

入力する感情語に適した楽曲を生成するためには, 各に Google LLC が発表した Transformer を用いた自動作感情を持つ楽曲の特徴を学習したモデルが必要になる.

や長短期記憶ネットワーク (LSTM) の登場により, 楽曲

トをそれぞれ Music Transformer に学習させる. 楽しい曲 AI である[5]. 回帰型ニューラルネットワーク (RNN)(時系列データ) の過去情報を長期的に記憶することが可能になった. Music Transformer では, 情報の長期記憶

そこで, 3.2 節で説明した各感情のピアノ楽曲データセッ
ピアノ楽曲 20 曲分のデータセットを学習させた FUN

モデル, 穏やかなピアノ楽曲 20 曲分のデータセットを性能が強化されている. これによって, 従来のモデルで学習させた RELAX モデル, 悲しいピアノ楽曲 20 曲分る似たメロディ) を持った楽曲の生成が可能になった.

アノ楽曲 20 曲分のデータセットを学習させた FEAR モ

は困難だった繰り返しフレーズ (楽曲中に複数回登場すのデータセットを学習させた SAD モデル, 恐ろしいピ

また, 音楽には文脈性が存在する. 音楽では, 前の時系列デルの計 4 種類の楽曲生成モデルを作成する. 作成しの調 (キー) などが決定される. しかし, 長い時系列になジナル楽曲を生成する.の特徴として, 音楽の文脈性を従来のモデルより上手にル, SAD モデル, FEAR モデル) を用いて BGM の生成をデータ情報から, 次に使用できる音階 (スケール) や曲るほど文脈性の表現は難しくなる. Music Transformer

表現できることも挙げられる.

3.3

データセットの作成方法

今回使用する Music Transformer モデルでは, 学習デー

タ, 楽曲生成時の入力データにピアノ楽曲の midi デー

タが必要となる. そのため, 以下の配布サイトでピアノBGM を収集し, データ形式を変換することで, データセットの作成を行った.

• 音楽の卵 (https://ontama-m.com/)• 甘茶の音楽工房 (https://amachamusic.chagasi.com/)

たモデルを用いて既存の BGM 数秒を始めとしたオリ作成した 4 種類のモデル (FUN モデル, RELAX モデ行う. 学習させたモデルに感情語を入力すると, まずモ

デルは入力された感情語と関連性のある既存の BGM を選択する. そして, 選択された BGM の冒頭数秒を始めとして, 選択された BGM の持つ音楽的情報 (使用されている音, 音の長さなど) を基に続きとなるメロディーを生成する. 最後に, 生成された BGM を wav 形式で出力する (図 2).

今回は評価実験に使用するために, 4 種類のモデルでそれぞれ楽曲を 20 曲 (合計 80 曲) 生成を行った. 生成

された BGM の長さは約 30 秒～1 分 30 秒だった.

• ポケットサウンド (https://pocket-se.info/)

4. 楽曲の評価実験

はじめに, 各配布サイトにて, 4 種類の感情 (楽しい,のか判定するために 2 種類の評価実験を行う. 4.1 節で• 魔王魂 (https://maou.audio/)

本章では, 生成した楽曲が動画 BGM として適してる穏やか, 悲しい, 恐ろしい) をキーワードとして検索をは生成楽曲の評価実験について, 4.2 節では生成楽曲をた. そして, 私自身がダウンロードした BGM を聴き, 感明する.

行い, ピアノ BGM を wav データ形式でダウンロードし動画の BGM として使用した際の評価実験について説124.2

動画 BGM としての評価実験生成された楽曲が BGM として動画に適しているか確認するために, 動画と生成楽曲を組み合わせて評価実験を行った. こちらの実験も, 4.1 節の評価実験と同様の人物に対象者とした.

まず, 対象者 4 名に音が付いていない動画 4 本を視てもらい, 動画から感じた感情を評価してもらった. 今回の評価実験では, フリー素材配布サイト Pixabay[7] の動画を使用した. 動画の評価指標は 4.2 節で説明したのと同様に, 各感情 (楽しい, 穏やか, 悲しい, 恐ろしい) に 1～4 の 4 段階の値を設定した. 対象者に値を決定してもらうことで, どの感情を多く含む動画か評価した.

その後, 4.1 節の評価実験で感情値が高かった楽曲を感情ごとに 1 曲ずつ (計 4 曲) を選定し, 評価してもらった動画 4 本に BGM として組み合わせた. つまり, 動画4 本と楽曲 4 曲を組み合わせることで, BGM 付きの動画を合計 16 本分作成した (図 3).

そして, 作成した動画 16 本を対象者 4 名に視聴してもらい, 各動画に対してどの感情を多く含んだ楽曲が一番適していたか評価してもらった.

図 2 : BGM 生成の工程図

4.1生成楽曲の評価実験各モデルから生成された楽曲が期待する感情を含んでいるか確認するために評価実験を行った. まず, 各モデルで生成した楽曲 80 曲 (モデルごとに 20 曲) の中から, 私自身が対象者に聴いてもらう楽曲を 16 曲 (モデルごとに 4 曲) 選定した. その後, 対象者 4 名に選定した 16 曲を聴いてもらい, 楽曲が持つ感情を評価してもらった. また, 対象者 4 名は全員 20 代の男子大学生である.

楽曲の評価実験には, 対象者が楽曲の持つ感情を定量的に評価する指標が必要である. 今回は評価指標として, 曲に含まれる各感情 (楽しい, 穏やか, 悲しい, 恐ろしい) に 1～4 の 4 段階の値を設定した. 設定した値が4 に近いほど楽曲は対象の感情を含んでおり (強く感じる), 1 に近いほど対象の感情を含んでいない (あまり感じない) ものとした. この評価指標を基に対象者に楽曲を聴かせ, 各感情の値を決定してもらった. このようにして, 楽曲にどの感情が多く含まれているか, 各感情がどの程度含まれているのかを評価した.

図 3 : ある評価された動画に対する BGM の組み合わせ
評価結果

5.

本章では, 4 章で説明した 2 種類の評価実験の結果を示す. 5.1 節では, 生成楽曲の評価実験結果, 5.2 節では,生成楽曲を動画 BGM として使用した際の評価実験結果を示す.

5.1

生成楽曲の評価結果

各モデル (FUN モデル, RELAX モデル, SAD モデル,FEAR モデル) から生成した楽曲の評価平均を表 1～4に示す. また, 表の数値は楽曲の評価実験で対象者 4 名

13が評価した各感情の数値 (1～4) の平均を取ったものである.

5.2

動画 BGM としての評価結果

対象者に映像のみで動画を評価してもらった結果、動RELAX モデルからは穏やかな楽曲が生成されるこ

画 1, 2 は明るい (楽しい, 穏やかな) 感情, 動画 3, 4 は暗やかに感じると評価された (表 2). SAD モデルからはられた. 評価してもらった動画と合わせた際の各 BGMとを期待しており, 期待通り生成された楽曲の多くが穏い (悲しい, 恐ろしい) 感情を持っているという評価が得悲しい楽曲が生成されることを期待しており, 期待通りの適合率を表 5 に示す. また, 表の数値は対象者 4 名が1). FEAR モデルからは恐ろしい楽曲が生成されること合を示している.

しく感じると評価された (表 4). これらの結果から, ほと最も高い適合率が得られた. しかし, 悲しい BGM は適ている楽曲が生成されていたと言える. しかし, FUN モ

動画に対しては, 悲しい BGM が最も適していると評価生成された楽曲の多くが悲しく感じると評価された (表を期待しており, 期待通り生成された楽曲の多くが恐ろんどのモデルからそれぞれに期待する感情を多く持っ各動画に対して, 最も適していると評価した BGM の割
暗い感情を持った動画に対しては, 恐ろしい BGM がしていないと評価された. 反対に, 明るい感情を持ったデルからは楽しい楽曲が生成されることを期待していされた. また, 全体的に楽しい BGM や穏やかな BGM

れた (表 1).

に対して適切な BGM を付与できるように多くの改善たが, 生成された楽曲の多くが穏やかに感じると評価さ
表 1 : FUN モデル生成楽曲の評価平均
曲
楽しい 穏やか 悲しい 恐ろしい

Acc1

2.75

3.5

1.25

1

Acc2

2.25

3.25

1.75

1

Loss1

3.5

2

1

1

Loss2

1.75

3.5

1.75

1

は適合率が低い結果となった. これらの結果から, 動画が必要である.

表 5 : 動画に対する楽曲の平均適合率
BGM1(楽しい)
BGM2(穏やか)
BGM3(悲しい)BGM4(恐ろしい)

動画 1

動画 2

動画 3

動画 4

25%

0%

25%

25%

50%

50%

0%0%0%0%75%50%25%

50%0%25%

考察

表 2 : RELAX モデル生成楽曲の評価平均
曲
楽しい 穏やか 悲しい 恐ろしい

6.

Acc1

3.5

1.25

11.75

Acc2

13

2.5

1.25

Loss1

1.25

2.5

2.25

1.5

価実験の考察, 6.2 節では動画 BGM として使用した際

Loss2

2.5

3.25

1.75

1

本章では Transformer モデルを用いて生成した楽曲の評価実験の考察を述べる. 6.1 節では生成楽曲単体の評の評価実験の考察を述べる.

6.1
表 3 : SAD モデル生成楽曲の評価平均
曲
楽しい 穏やか 悲しい 恐ろしい

Acc1

1.25

2.75

3.5

1

Acc2

1

1.5

3

1.25

Loss1

12.5

3.5

1

Loss2

1.25

32.25

1

表 4 : FEAR モデル生成楽曲の評価平均
曲
楽しい 穏やか 悲しい 恐ろしい

Acc1

11.25

2.25

3.25

Acc2

11.75

2.75

2.25

Loss1

1.75

2.75

1.5

1.75

Loss2

111.5

2.75

生成楽曲の評価実験考察

表 2, 3, 4 より, RELAX モデル, SAD モデル, FEAR モデルではそれぞれのモデルに期待する感情を含んだ楽曲が多く生成されているという結果が得られた. このことから, 作成した 4 種類のモデルのうち, 3 種類 (RELAXモデル, SAD モデル, FEAR モデル) は各感情を持つ楽曲生成に適したモデルであったと言える. それと同時にこれらのモデルに学習させたデータセット (楽曲) は,それぞれの感情 (穏やか, 悲しい, 恐ろしい) を持つ楽曲生成に適していたと言えるだろう.

しかし表 1 より, FUN モデルからは期待した感情と異なる感情を多く含んだ楽曲が生成された. また, RELAXモデル, SAD モデル, FEAR モデルからも少数だが期待する感情以外の感情評価が高い楽曲が生成された. こ

れらの結果から各学習データセットの内容の見直しが必要であると考える. 今回は私自身の判断でそれぞれ

14のデータセットに使用する楽曲を選定したが, 自分以外の人間にもデータセットに使用する楽曲を評価してもを投稿している. そのため, 性別や年齢の異なる人々を対象者として評価実験を行うことで, より一般的な評価らうべきだと考える. 多くの人間に楽曲の持つ感情を結果を得られると考える. 加えて, 今回は対象者の結果価を得ることができ, より大勢の感情とマッチする学習注目して評価することも必要だと考えている.の改良を行うことで, 学習させたモデルから, より期待7. 結言評価してもらうことで学習に用いる楽曲の一般的な評データセットの作成に繋がるだろう. 学習データセットする感情を多く含んだ楽曲が生成されるようになると考える.

また, 生成した楽曲の中には, 終盤のメロディーが音楽として聴きづらいものがいくつか存在し, 楽曲の完成全体を平均して評価を行ったが, 対象者の個々の結果に

本研究では, Transformer モデルを用いて 4 種類の感情語 (楽しい, 穏やか, 悲しい, 恐ろしい) から BGM を生成し, 生成された楽曲に対して評価実験を行うことで度に差が見られた. このような楽曲が生成された原因

動画に適した BGM の生成ができているか判定した. 今

今回は一つのモデルに学習させた楽曲数は 20 曲だった

セットを感情ごとの楽曲に分けて 4 種類作成した. 楽曲として, 学習する楽曲が少なかったことが考えられる.
が, 学習させる楽曲数を増やすことで, より完成度の高いオリジナル BGM の生成が可能になると考える.

6.2 動画 BGM としての評価実験考察

表 5 より, 恐ろしい BGM が動画 3 では平均適合率75 ％, 動画 4 では 50 ％と, 暗い感情を持った動画に対して最も高い適合率が得られた. また, 楽しい BGM は動画 2 において平均適合率 50 ％という数値が得られた.

回は動画に含まれる感情を基に生成を行うため, データの学習, 生成には Music Transformer モデルを使用し, 4種類のデータセットをそれぞれ学習させることで 4 種類のモデル (FUN モデル, RELAX モデル, SAD モデル,FEAR モデル) を作成した. 各モデルに感情語を入力し,既存楽曲の冒頭数秒に続くメロディーを生成したものがオリジナル楽曲として出力された. 楽曲は各モデル
で 20 曲 (合計 80 曲) 生成を行った.

生成された楽曲に対しては, 楽曲単体の評価実験と動これらの結果から, FEAR モデルからは動画に適した恐画 BGM としての評価実験を行った. 楽曲単体の評価実に関しても, 今回の実験では動画に適した楽しい BGM

16 曲を聴いてもらい, 評価してもらった. 評価指標にはろしい BGM が生成されていると言える. FUN モデル

験では, 対象者 4 名に生成した 80 曲の中から選定したが生成できたと考える.

曲に含まれる各感情に 1～4 の 4 段階の値を設定した.

0 ％と, 暗い感情を持った動画に対して適合率が低いとを含んでいないものとし, 対象者には各感情の値を決定と, 明るい感情を持った動画に対して適合率が高い結果かを評価した. 評価結果より, 作成した 4 種類のモデルが悲しい以外の感情を多く含んでいた可能性が考えらデル) は各感情を持つ楽曲が生成された. しかし, FUNでいるという結果だったが, 悲しい以外の感情も多く含楽曲が生成された.

しかし, 悲しい BGM は動画 3, 4 ともに平均適合率いう結果になった. 反対に動画 1, 2 では平均適合率 50 ％が得られた. このような結果となった理由として, 楽曲れる. 楽曲の評価実験では悲しい感情を最も多く含んんでいたことによって, 動画と組み合わせた際の評価実値が 4 に近いほど感情を含んでおり, 1 に近いほど感情してもらうことで, 楽曲にどの感情が多く含まれているのうち, 3 種類 (RELAX モデル, SAD モデル, FEAR モ

モデルからは期待した感情と異なる感情を多く含んだ

動画 BGM としての評価実験では, 対象者 4 名に音の験では対象者の評価が変化したと考えられる. また, 楽無い動画 4 本を視てもらい, 動画の持つ感情を決定し率が低い結果となった. この結果から, これらの楽曲にだ楽曲 4 曲を組み合わせて BGM 付き動画を 16 本作製性がある. 音楽的特徴があまり含まれていないことにてもらい, 動画に対してどの BGM が最も適しているかていると判断されたと考えられる. ただし, これらの問

い感情を持った動画に対して最も高い適合率が得られしい BGM, 穏やかな BGM は多くの動画に対して適合は感情の音楽的特徴があまり含まれていなかった可能より, 対象者の印象に残りにくく, 他の楽曲の方が適し
題は 6.1 節で述べた学習データセットの改良によって解決できる可能性が高いだろう.

また, 今回は 20 代の男子大学生 4 名に対象者となってもらい, 評価実験を行った. しかし, 動画サイトや SNS

では中学生や高校生, 30 歳以上の人々, 女性の方も動画た. その後, 評価してもらった動画 4 本と各感情を含んした. そして, 作製した 16 本の動画を対象者に視聴し評価してもらった. 評価結果より, 恐ろしい BGM は暗た. しかし, 悲しい BGM は暗い感情を持った動画に対して適合率が低く, 反対に明るい感情を持った動画に対して適合率が高い結果が得られた. また, 楽しい BGM,穏やかな BGM は多くの動画に対して適合率が低い結果となった.

15本研究では, 感情を基にして動画に適した BGM を自動生成するシステムの開発を研究目的とした. 評価実

験の結果から, 作成した一部のモデルからは期待した感情を含み動画に適した楽曲が生成されたが, 全てのモデルからは動画に適した楽曲が生成できなかったので, 学習楽曲の再評価や楽曲数の増加など, 学習データセットの改良が必要であると考える. また, 評価実験の対象者の年齢層の拡大や対象者個々の結果に対して評価を行うことで, より一般的な評価を得ることが必要だと考える.

また, 今回は感情ごとにデータセットを作成し, 学習させた 4 種類のモデルから楽曲を生成した. しかし, 学習させていたデータセットを一つにまとめてモデルに学習させ, 生成した楽曲の評価を行うことで, どちらの形態が研究目的である動画に適した BGM を自動生成するシステムに適切か比較する必要がある.
参考文献
をめぐる

[1] ”YouTubeの 統 計 デ ー タ”,

16

https://www.infocubic.co.jp/blog/archives/15518/(2022/4/11)[2] Oxford

Economics,

port：2021

年”YouTubeImpact

日 本 に お け る

Re-YouTubeの 経 済 的・社 会 的・文 化 的 影 響”,

https://www.oxfordeconomics.com/resource/a-

platform-for-japanese-opportunity-assessing-theeconomic-societal-and-cultural-impact-of-youtubein-japan-in-2021-jp/(2022/4/11)[3] BusinessenueofandApps,
Usage”TikTok
Statistics

Rev(2022)”,https://www.businessofapps.com/data/tik-tokstatistics/(2022/4/11)[4] Curtis Hawthorne, Andriy Stasyuk, Adam Roberts,Ian Simon, Cheng-Zhi Anna Huang, Sander Dieleman, … Douglas Eck, ”Enabling Factorized Piano

Music Modeling and Generation with the MAESTRO Dataset”, In ICLR(2019)[5] Cheng-Zhi Anna Huang, Ashish Vaswani, Jakob
Uszkoreit, Noam Shazeer, Ian Simon, Curtis

Hawthorne, … Douglas Eck, ”Music Transformer:

Generating Music with Long-Term Structure”, InICLR(2019)[6] ”無料のオンラインファイルコンバータ-AnyConv”,
https://anyconv.com/ja/(2022/6/18)[7] ”高 品 質 な フ リ ー 動 画 素 材-Pixabay”,
https://pixabay.com/ja/(2022/6/20)