A-1-5
音楽を用いた感情誘導のための脳波からの感情予測
奈良先端科学技術大学院大学
理化学研究所 革新知能統合研究センター
宮本 佳奈，田中 宏季，中村 哲

12021/12/18

TAPAS SUPPORTED BY ANR-CREST

音楽を用いた感情の誘導と課題
感情を適切に誘導することはメンタルヘルスの向上に有効音楽を用いた感情誘導◦ リズムや音の大きさなどは感情を変化させる [Wallis+ 2011]◦ 聴覚刺激のみを利用するため他の動作中での利用が期待◦ 誘発される感情は個人によって異なる [Larsen+ 1991]

応用先プレゼンテーション中の感情誘導

個人に合わせた音楽を利用した感情誘導が必要

2

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

個人に適応した音楽を生成する感情誘導システム
脳波から予測した感情を利用して音楽を生成するシステムの提案 [Miyamoto+ 2020]

音楽生成器への入力[Russell 1980]

aro
誘導したいvalence (快-不快)，arousal (覚醒-睡眠)を設定

101val03

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

個人に適応した音楽を生成する感情誘導システム
脳波から予測した感情を利用して音楽を生成するシステムの提案 [Miyamoto+ 2020]

入力した感情と似た感情を誘発する音楽を生成

音楽生成器

音楽生成器への入力

4

音楽

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

個人に適応した音楽を生成する感情誘導システム
脳波から予測した感情を利用して音楽を生成するシステムの提案 [Miyamoto+ 2020]

実際に感じた感情を脳波から予測

音楽生成器

脳波を用いた感情予測
arousal1

音楽生成器への入力

音楽

脳波
0105

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

valence個人に適応した音楽を生成する感情誘導システム
脳波から予測した感情を利用して音楽を生成するシステムの提案 [Miyamoto+ 2020]
予測感情音楽生成器の入力のコントロール

音楽生成器

参加者の感情が誘導したい感情に近づくよう音楽生成器への入力を計算

脳波を用いた感情予測
arousal1

音楽生成器への入力

音楽

脳波
010

6

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

valence我々のこれまでの取り組み
音楽生成器の作成と評価 [Ehrlich+ 2019]◦ 入力した感情から音楽を構成するパラメータを計算して音楽を生成◦ 作成した音楽生成器は入力した感情と似た感情を誘発した [Miyamoto+ 2020]
参加者の実際の感情

音楽生成器

脳波を用いた感情予測

valencearousalarousal1

音楽生成器への入力

音楽

脳波
01

valencearousal70
TAPAS SUPPORTED BY ANR-CREST

2021/12/18

valence本発表の内容
本研究の目的◦ 音楽生成器で作られた音楽を聴取している間の脳波から感情を高精度に予測
予測感情と実際の感情を比較
参加者の実際の感情

音楽生成器

脳波を用いた感情予測

valencearousalarousal1

音楽生成器への入力

音楽脳波
01

valencearousal80
TAPAS SUPPORTED BY ANR-CREST

2021/12/18

valence音楽聴取時の脳波を用いた感情予測
先行研究 [Ehrlich+ 2019]◦ 線形回帰の類似モデルを使用

Convolutional Neural Network（CNN）◦ 特徴量抽出に有効であり，画像認識でよく利用されるモデル◦ 脳波電極の位置関係を考慮した予測が可能

本研究で使用したモデル
1.
2.
3.
4.

9

線形回帰（ベースラインモデル）
CNN
転移学習ありのCNN
CNNと音楽生成器の入力を用いたニューラルネットワーク

TAPAS SUPPORTED BY ANR-CREST

提案モデル

2021/12/18

データ収集参加者◦ 男性10名，女性10名（19歳から37歳 平均24.3歳）
valence

実験刺激

arousal
1 0.875 0.75 0.625 0.5 0.375 0.25 0.125◦ 音楽生成器で作成した41曲の音楽

0Self-Assessment Manikin [Bradley+ 1994]

方法
Self-Assessment
Manikinの表示
無音（5秒）

音楽聴取（20秒）

valenceとarousalの評価

脳波収録（25秒）
10

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

脳波計 CGX社製 Quick-30

脳波の前処理
以下の前処理を参加者ごとに行なった1曲分の音楽20秒
1秒

1. 音楽聴取中の脳波を1秒ごとに切り分けた
2. バンドパスフィルタにより5つの周波数帯に分けた
3. 脳波波形の対数の分散を計算した

11◦

𝑓 = 𝑙𝑜𝑔(𝑣𝑎𝑟 (𝐸𝐸𝐺𝑑𝑎𝑡𝑎))◦

20サンプル × 41曲分 = 820サンプルを獲得

TAPAS SUPPORTED BY ANR-CREST

ThetaAlpha Gamma High beta Low beta

脳波電極 14 ch × 5 周波数帯 = 70 次元の特徴量

2021/12/18

提案モデル1CNNマッピング

脳波の電極の位置関係を考慮して感情を予測
AF3AF4F7 F3F4 F8FC68T7T8P7P8O1O20 0 0 O1 0 O2 0 09

脳波電極の位置12⋯⋯FC5AF3 FP1FP1FP2 AF4AF4AF3FP2AF3FP1FP2AF4AF3FP1FP2AF40 F7F70 AF3 F3F30 0 FZFZ0 AF4F4F40 0 F8F8F7F3FZF4F8F7F3F4F8F70 FC5F30 0FZ 0 F40 FC6F8FC5FC6FC5FC6FC5FC6FC60 T7FC50 C3C30 0 CZCZ0 0 C4C40 T8T8T7T7C3CZC4T8T7C3CZC4T8T70 CP5000000T8CP5CP6CP6CP5CP6CP5CP60 P7P70 0 P3P30 0 PZPZ0 0 P4P40 0 P8P8P7P3PZ
P4P8P7P8P70 PO70P3 0 PO30PZ 0 PO40P4 0 PO8P8
PO7PO3PO4PO8PO7PO3PO4PO80 0PO7 0 0PO3O1O10 0PO4O2O20 PO80 0O1O2O1O2Gamma
Highbeta
0Low beta
Alpha
Theta

8×9×5の行列

TAPAS SUPPORTED BY ANR-CREST

CNN

2021/12/18

提案モデル2
転移学習ありのCNN転移学習 [Pan+ 2009]◦ あるドメインで事前に学習したモデルを少量データで別ドメインに適用◦ 収録した脳波データは少量のため，転移学習を利用

DEAPデータセット [Koelstra+ 2011]◦ ミュージックビデオを視聴中の32名の脳波と感情の主観評価を収録
Step1. DEAPデータセットで学習
AF3 FP1FP1AF3AF3FP1FP2 AF4AF4FP2FP2AF4AF3 FP1AF40 F7F70 AF30 0 FZFZ0FP2 AF40 0 F8F8F3F4F3F4F7F3FZF4F8F7F3FZF4F8F7 0 FC5F3 0 0 0 F40 FC6F8FC5FC6FC5FC6FC5FC60 T7FC50 C3C30 0 CZCZ0 0 C4FC60 T8T8T7C4T7C3CZC4T8T7C3CZC4T8T7 0 CP50 0 0 0 0 0 CP6T8CP5CP6CP5CP60 P7P70CP5 0 P3P30 0 PZPZ0 0 P4P40CP6 0 P8P8P7P3PZ
P4P8P7P8P70 PO70P3 0 PO30PZ 0 PO40P4 0 PO8P8PO7PO3PO4PO8
PO7PO3PO4PO80 0PO7 0 0PO3O1O10 0PO4O2O20 0PO8 0O1O2O1O20 0 0 O10 O20 0 0Conv

BN

ReLU

Conv

BNReLU

DropoutFC

BNReLU

DropoutFCnessiorge
R

Step.2 我々のデータセットを使用して再学習
13TAPAS SUPPORTED BY ANR-CREST

2021/12/18

提案モデル3CNNと音楽生成器の入力を用いたニューラルネットワーク
脳波＋脳波以外の情報を用いた予測◦ 脳波以外の情報を追加することで安定した予測が期待される [Kwon+ 2018, Parmonangan+ 2020]

音楽生成器の入力を利用したニューラルネットワーク◦ 音楽生成器の入力を感情の予測値と見なす
AF3 FP1FP1AF3AF3FP1FP2 AF4AF4FP2FP2AF4AF3 FP1AF40 F7F70 AF30 0 FZFZ0FP2 AF40 0 F8F8F3F4F3F4F7F3FZ
F4F8F7F3FZF4F8F70 FC5F3000F40 FC6F8FC5FC6FC5FC6FC5FC60 T7FC50 C3C30 0 CZCZ0 0 C4FC60 T8T8T7C4T7C3CZC4T8T7C3CZC4T8T7 0 CP5000000T8CP5CP6CP6CP5CP60 P7P70CP5 0 P3P30 0 PZPZ0 0 P4P40CP6 0 P8P8P7P3PZ
P4P8P7P8P70 PO70P3 0 PO30PZ 0 PO40P4 0 PO8P8PO7PO3PO4PO8PO7PO3PO4
PO80 0PO7 0 0PO3O1O10 0PO4O2O20 0PO8 0O1O2O1
O20 0 0 O10 O20 0 0CNN

脳波の特徴量脳波かvale ら予測n ce としarou たsal
ニューラルネットワーク

音楽生成器の入力入力されたvalenceとarousal
14

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

参加者ごとの4 種類のモデルによる予測値と実測値のRMSE◦ 参加者ごとにそれぞれ4種類のモデルを学習◦ leave-one-music-out交差検証によりRMSEを計算

参加者のRMSE

提案モデル

線形回帰
15CNN

転移学習

TAPAS SUPPORTED BY ANR-CREST

CNN＋
音楽生成器の入力 音楽生成器の入力
2021/12/18

4 種類のモデルによる予測値と実測値のRMSE
20名分のRMSEの平均
転移学習ありの
CNN

CNN

線形回帰

CNN＋音楽生成器の入力

音楽生成器の入力

valencearousalvalencearousalvalencearousalvalencearousalvalencearousal

0.237

0.269

0.214

0.239

0.207

0.230

0.151

0.164

0.232

0.213

◦ ウィルコクソンの符号順位和検定より，線形回帰と提案モデルの間に有意差があった（p < 0.05）→ 脳波の電極の位置関係を考慮することが感情予測に有効であったと考えられる◦ 最もRMSEが低くなったモデルは脳波と音楽生成器の入力を用いたニューラルネットワークであった→ 転移学習もCNNよりRMSEが低くなったが，2種類の情報を使用した方が感情予測は安定したCNNを用いたモデルはベースラインモデルの線形回帰より予測精度が向上
16

TAPAS SUPPORTED BY ANR-CREST

2021/12/18

まとめと今後の課題
脳波を用いた感情予測◦ 感情誘導システムを構築するために脳波を用いた感情予測モデルを検討◦ 線形回帰よりCNNを用いたモデルは有意に予測精度が向上した

今後の課題◦ 音楽生成器の入力のコントロール方法の検討
今後の課題

予測感情

音楽生成器の入力のコントロール

本研究の内容脳波を用いた感情予測

音楽生成器

aro
1

音楽生成器への入力

音楽

脳波
01val

017

TAPAS SUPPORTED BY ANR-CREST

2021/12/18