拡散モデルを用いた感情に基づく音楽生成への取り組み
川邉 もゆ1(指導教員：小林 一郎)

はじめに拡散モデルは生成の分野において生成品質・拡張性が高い点，学習が安定に行える点などで近年注目されており，拡散過程を用いた要望に応じた音楽生成を行う手法も提案されている．しかし，拡散モデルにおいて複雑な属性に対して制御を行うのは難しく，また音楽と密接な関わりのある感情に重点を置いた音楽生成の手法もあまり開発されていない．
本研究では，音楽生成に関する研究への取り組みとして，生成の制御が可能である拡散モデルを使用し，感情を反映した音楽生成手法の開発を目的とする．

2

研究概要

2.1

拡散モデル

√a¯t x0 +

√

3.1

実験設定

入力データとなる感情の設定 Russel’s 4Q モデル [7]の xy 座標値を入力として選ぶ新たな感情のデータセットを作成した．入力を決定する流れを図 3 に示す．グラフに EMOPIA のデータをマッピングし各音楽に対応する座標を決定する前処理が必要となる．
そのため各音楽の Valence，Arousal それぞれの要素が High，Low である推定値を EMOPIAcls 3 を用いて算出し High 値と Low 値の差を求めて正規化を行うことで，x に対応する Valence 値と y に対応するArousal 値をそれぞれ {−1, 1} の範囲の値に収めた.
その値を (x, y) として EMOPIA の音楽それぞれに対応する座標とした. 入力感
情のパターンを増やすことで，より細かい感情に対した音楽の作成を試みる．座標の正確さにおける
図 3: 感情の入力調査についてを付録
A.2 に記載している．

1 − a¯t ϵ

逆拡散過程 xt →xt−1 にて，毎時間ごとにパラメータ化された予測データ x0 と真のデータ x0 との損失を求め，減らすように勾配更新を行なっていくことによってモデルを学習し，ノイズから純粋なデータの生成を行う．つまり x0 の推定を行うことで学習・生成を行う．損失の計算には二乗平均誤差を使用する．

2.2

実験

使用データセット クラシックのピアノ曲の MIDIデータセットを使用する．拡散モデルの学習には先行研究 [2] 同様 “GiantMIDI-Piano”を使用する．またモデルの入力データの設定には “EMOPIA [6]”というRussel’s 4Q モデル [7] に基づいて定義された感情ラベル [Q1，Q2，Q3，Q4] 付きデータセットを使用する．

拡散モデルとは，データ x0 をノイズ ϵ を付加して破壊していく拡散過程について学習したモデルのことである [1]. ここで，a¯t をデータ信号の強度とすると，xtは以下の式で表される．

xt =3

提案手法

音楽生成において拡散モデルは Diﬀusion-LM [2, 3]を使用し，音楽データから簡単に取得できる音楽属性値を制御の対象とする1 ．
学習の段階では，まず拡散過程にてデータセットにノイズを付加していく．次に逆拡散過程にて，Transformer [4] で予測した真のデータとノイズを付加する
前の真のデータを比較し，その後分類器を用いて 2 つのデータの音楽属性値を比較する．Diﬀusion-LM と分類器を使用した 2 段階の処理でそれぞれ発生した損失の和を全体の損失として勾配更新し，ノイズ除去を行う．以上の処理を繰り返すことでモデルを学習させる．
生成の段階では，入力である感情を対応する音楽属性値に変換し，分類器において感情の識別を行いながら，学習済み拡散モデルにて逆拡散過程で入力データと学習時と同様の手法で予測したデータを比較してノイズの除去を行うという手順を繰り返していくことで，感情に沿った音楽を生成させる. 生成の手順を図 1 に示す．
また各段階の逆拡散過程に使用する分類器は，先行研究 EMOGEN [5] を参考に，音楽属性値において感情との相関が高い値の選択と識別を行うものを今回新たに作成した2 ．分類器の詳細を図 2 に示す．

使用システム Diﬀusion-LM での音楽生成 [2] 同様，モデルに学習させる音楽を MidiTok [8] でトークン化した．分類器には EMOGEN [5] 同様，音楽属性値を取り出す jSymbolic [9] を使用した．感情との相関が高い音楽属性値を選択する処理については，EMOGEN
にてランダムフォレストを使用して事前に選択された属性と設定された閾値を使用して行なった．
学習設定 Diﬀusion-LM [2, 3] と同様の設定で学習を行なった．モデルに与えるデータセットを訓練デー
タ/検証データ/評価データ = 9,552/2,400/398 に設定した．またノイズ処理の段階でパラメータを予測する
Transformer [4] は BERT [10] エンコーダを使用した．
学習における詳細な設定は付録 A.1 に記載している．

3.2

実験課題

提案手法を用いて感情を入力とした音楽生成を行い，生成された音楽の完成度や入力感情の反映度に対する分析を行う．

1 https://github.com/SwordElucidator/
Diffusion-LM-on-Symbolic-Music-Generation.git
2 https://github.com/microsoft/muzic/tree/main/emogen3 https://github.com/seungheondoh/EMOPIA_cls1図 2: 分類器の処理の流れ (生成の場合)
図 1: 感情から音楽を生成する処理の流れ(1)

音楽生成における精度(3)

EMOGEN と同様に感情ラベルを入力として提案手法を用いて音楽を作成し，EMOGEN で作成された音楽との比較を行う．
(2)

表 1 に作成した音楽の感情を推定した結果示す．
(1)(2) より, 作成された音楽は暗く落ち着いている印象であったが，印象通り全ての音楽の感情が Valence，Arousal の値が低い Q3 と推定された.

多様な感情を反映する音楽生成

3.4

感情の座標を入力とすることでより細かい感情にアプローチした音楽の作成を試みる．さらに xy 軸に対して対称な座標を入力とした音楽と比較し，音楽に対する印象の違いを確認する．

(3)

感情反映精度に対する分析

4

実験結果

図 5: EMOGEN の音楽

入力

正解感情

推定感情

推定値 [Q1,Q2,Q3,Q4]

Q3

Q3

Q3

[-8.25, -2.52, 8.56, -3.71]

座標 (-0.4,0.5)

Q2

Q3[-6.64, -0.16, 4.19, -5.41]

座標 (0.4,-0.5)Q4Q3[-5.07, -1.61, 4.92, -2.14]

参考文献[1] Jonathan Ho, Ajay Jain, and Pieter Abbeel. Denoising diﬀusion probabilistic models. In H. Larochelle,
M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 6840–6851. Curran Associates, Inc.,
2020.
[2] Hao Sun and Liwen Ouyang. Diﬀusion-lm on symbolic
music generation with controllability. 2022.
[3] John Thickstun Xiang Lisa Li, et al.
Diﬀusion-lm
improves controllable text generation.
ArXiv, Vol.
abs/2205.14217, , 2022.
[4] Ashish Vaswani, et al. Attention is all you need. In
I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advancesin Neural Information Processing Systems, Vol. 30. Curran Associates, Inc., 2017.
[5] Peiling Lu Chenfei Kang, et al. Emogen: Eliminating
subjective bias in emotional music generation, 2023.
[6] Hsiao-Tzu Hung, et al. EMOPIA: A multi-modal pop
piano dataset for emotion recognition and emotion-based
music generation. In Proc. Int. Society for Music Information Retrieval Conf., 2021.
[7] J.Russell. A circumplex model of aﬀect. In Journalof Personality and Social Psychology 39(6), pp. ”1161–1178”, 1980.
[8] Jean-Pierre Briot Nathan Fradet, et al. Miditok: A
python package for midi ﬁle tokenization. In Extended Abstracts for the Late-Breaking Demo Session of the 22ndInternational Society for Music Information Retrieval
Conference, 2021.
[9] Cory McKay, et al. Jsymbolic 2.2: Extracting featuresfrom symbolic music for use in musicological and mir research. In Proceedings of the 19th ISMIR Conference,Paris, France, September 23-27, pp. ”348–354”, 2018.
[10] Ming-Wei Chang Jacob Devlin, et al. BERT: pre-trainingof deep bidirectional transformers for language understanding. CoRR, Vol. abs/1810.04805, , 2018.

表 1: 音楽に対する感情推定(1)

入力に沿った音楽の生成

感情ラベル Q3 を入力として音楽を作成した．図 4,
図 5 はそれらの midi データの一部である．図を比較すると提案手法で作成した音楽は音数が非常に少ないことがわかる．実際に聞いて見ても，EMOGEN で作成した曲の方が音楽として成り立っているように聞こえた．

(2)

まとめ

拡散モデルを使用し感情を制約条件として音楽生成を行なった．生成された音楽が感情を反映していることは確認できなかった．今後は，音楽生成の手法やモデルの学習方法を見直し改善していく必要がある．さ
らに被験者実験を行うなど，より客観的で正確な感情分析なども導入したい．

実験課題 (1)〜(3) の結果を以下に示す．

図 4: 提案手法の音楽考察(2)(3) より，感情に即した音楽であることを確認できなかった．(1) より，良い音楽が生成できない事で感情推測が困難だということが 1 つの原因ではないかと推測される．また生成される音楽の長さが短いなどの点もあり，モデルの学習・生成の手法に加え，学習設定や損失の取り方にも工夫が必要と考える．

作成された音楽が，どの程度入力感情を反映しているか EMOPIAcls を用いて分析する．

3.3

感情反映における精度

多様な感情を反映する音楽生成

結果の MIDI データは付録 89 に記載している．感情ラベル Q2 にあたる座標 (-0.4,0.5) の音楽と，Q4 にあたる座標 (0.4,-0.5) の音楽をそれぞれ作成した．それぞれ聞いてみたところ，(1) で作成した音楽と同様，どちらも音が少なく不協和音を聞いているような不気味な印象があり，2 つの音楽の異なる点を探すのが困難であった．

2

A

付録

A.1

モデルの学習について

A.3

実験 2 の結果

図 8: (-0.4,0.5) の音楽

図 6: 学習の流れの推移 (6000 ステップ)

図 7: 学習設定

A.2

入力感情の正確度

入力感情として設定した Russel s 4Q モデルに基づくグラフの座標がどれだけ信用できるものであるかを確認するため，感情相関の高い音楽属性値(0,1 の値 100 個) についての類似度を計算した．表 2
EMOGEN で決められた Q3 の音楽属性値
ピアソン類似度

コサイン類似度

0.718

0.859

(-0.8,-0.3)

0.727

0.863

(-0.3,-0.8)

0.664

0.834

(1) 感情ラベル Q3 の音楽における実際の音楽属性値(2) Q3 の範囲の座標に対する推定音楽属性値

表 2: 入力感情の正確度(1)

回帰モデルの推定精度

各データにおける「EMOPIAcls から取得した推定値（Q1，Q2，Q3，Q4）」と「音楽属性値」の対応関係を学習した回帰モデルにおいて，「推定値」を入力としたとき，どれほど正しい「音楽属性値」を出力できるかを表す．回帰モデルは，音楽生成の入力値を音楽属性値に変換する処理に使用される．

(2)

座標の信用度「設定した座標」と「4 つに分けた感情」がどれくらい一致しているかを表す．座標が Russel s 4Q モデ
ルとどれほど一致しているかを示すために算出した．

3

図 9: (0.4,-0.5) の音楽