メタ学習による個人に適応した脳波からの感情予測
奈良先端科学技術大学院大学
理化学研究所 革新知能統合研究センター
宮本 佳奈，田中 宏季，中村 哲

12022/6/20

TAPAS SUPPORTED BY ANR-CREST

脳波◦ 脳から生じる電気的な活動◦ 多チャンネルで測定される時系列データチャンネル◦ 時間分解能が高く、リアルタイムな感情予測への利用が期待

脳波計
2

感情の予測

時間
脳波
TAPAS SUPPORTED BY ANR-CREST

機械学習モデル
2022/6/20

脳波を用いた感情予測の応用
システムと人の円滑なインタラクションに向けた取り組み◦ 参加者の感情を考慮した応答生成の提案 [Sourina+ 2011, Ehrlich+ 2019]
参加者

システム

脳波を用いた感情予測

参加者の感情を考慮した応答

我々のこれまでの研究：感情喚起に向けた音楽のフィードバック
3

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

我々のこれまでの研究
感情喚起のための音楽生成◦ 日常生活において感情の適切な喚起が必要 [Stanton+ 2016]◦ 参加者の感情に寄り添った音楽は感情喚起に有効 [Madson+ 2015]◦ 脳波から予測した感情を基にした音楽生成による感情喚起を提案

脳波を用いた感情予測

感情に合わせた音楽生成

音楽のフィードバック
4

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

音楽生成のデモビデオ
ラッセルの円環モデル [Russell 1980]
arousal
覚醒-睡眠

Angry
valence快-不快Neutral
Sad

5

Happy

RelaxedTAPAS SUPPORTED BY ANR-CREST

2022/6/20

音楽生成のデモビデオ
リラックスした感情の喚起に向けた音楽生成のデモ
arousal
覚醒-睡眠

感情喚起

valence快-不快Neutral

脳波を用いた感情予測

Relaxed

感情に合わせた
音楽生成

音楽は徐々に明るく落ち着いた曲調に変化

6

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

7

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

システムの実用に向けた課題点
脳波収録時間の短縮◦ 学習データの不足はモデルの性能に影響◦ システム使用前の長時間の脳波収録は参加者の負担

脳波
感情
学習データの収録

モデル学習

システムの利用

システム利用までの時間の短縮
少量の脳波データを用いたモデルの学習が必要
8

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

少量の脳波データを用いた感情予測
転移学習の利用 [Lan+ 2008, Miyamoto+ 2020]◦ 複数人の脳波データから事前学習モデル𝜃を学習し、対象者の脳波データを使用して適応◦ 事前学習モデルの学習に使用するサンプルが誰の脳波データか識別されない◦ 一部の人に適応しにくい事前学習モデルが学習される可能性

脳波𝜃
事前学習モデル

学習データ
9

𝜃!"

𝜃#"
𝜃$"

事前学習モデルの学習
TAPAS SUPPORTED BY ANR-CREST

2022/6/20

さまざまなタスクに適応しやすいモデルの学習
Model-Agnostic Meta-Learning (MAML) [Finn+ 2017]◦ 2つのループから事前学習モデル𝜃を学習

𝜃!" タスク 𝑇!

(1) inner loop: タスク𝑇! ごとに𝜃!" を学習𝜃!" = 𝜃 − 𝛼𝛻# ℒ $! 𝑓#

𝛼: 学習率𝜃(2) outer loop: 全タスクの損失の合計が小さくなるように𝜃を更新𝜃 ← 𝜃 − 𝛽𝛻# , ℒ $! (𝑓#" )!

10!

𝛽: 学習率TAPAS SUPPORTED BY ANR-CREST

2022/6/20

𝜃#" タスク 𝑇#
𝜃$"

タスク 𝑇$

MAMLを利用した脳波からの予測◦ 1タスクを1名の脳波データとし、どの参加者にも適応しやすい事前学習モデル𝜃を学習◦ 先行研究◦ 睡眠レベルの分類 [Banluesombatkul+ 2020]◦ ミュージックビデオまたは映画視聴中の感情予測 [Duan+ 2020]
タスク 𝑇!

𝜃!"脳波

タスク 𝑇!

タスク 𝑇#脳波𝜃脳波

𝜃#"タスク 𝑇#

𝜃$"タスク 𝑇$

タスク 𝑇$

音楽聴取中の脳波を用いた感情予測へのMAMLの有効性の検証が必要
11

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

本研究の概要目的◦ MAMLが音楽聴取中の脳波を用いた感情予測モデルの学習に有効であるか検証

3種類の学習手法の比較◦ 提案手法
複数人の脳波を用いたMAMLを利用した学習◦ ベースライン手法
1. 複数人の脳波を用いたMAMLを利用しない学習 [Lan+ 2018, Miyamoto+ 2022]
2. 対象者の脳波のみを用いた学習 [Ehrlich+ 2019, Miyamoto+ 2022]
12

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

データセット [Miyamoto+ 2020]
参加者

Self-Assessment Manikin [Bradley+ 1994]◦ 男性10名、女性10名（19歳から37歳 平均24.3歳）
valence

実験刺激◦ 1曲20秒の音楽を41曲再生
10.875 0.75

arousal
0.625

0.5

0.375 0.25 0.125

データ収集
Self-Assessment
Manikinの表示
無音（5秒）
13

音楽聴取（20秒）
TAPAS SUPPORTED BY ANR-CREST

valenceとarousalの評価
2022/6/200

学習の特徴量とモデル
1秒

特徴量の計算20秒

1. 音楽聴取中の脳波を1秒ごとに分割
2. バンドパスフィルタによる周波数帯成分の取り出し
3. 脳波波形の分散の対数を計算

Theta Alpha Gamma High beta Low beta

1人あたりのサンプル数:
20サンプル × 41曲分 = 820サンプル

モデル [Miyamoto+ 2021, 2022]◦ Convolutional Neural Network (CNN)

1400 00 AF3AF400 00
AF400 00 AF3
AF3AF400 00
AF3AF400
AF3AF40
F700 F3F400 0F8F7F3F4F8F700 F3F400 F8F7F3F4F70F3F400 F8F800 FC500FC6FC500FC6000 FC500 00 FC600FC5FC60FC500
FC60
T700 00 00 00 T8
T7T8
T700 00 00 00 T8
T7
T700 00 00 0P8T8
T8
P70P70000P8
P700 00 00 00 P8P7P7000 00 P8
P800 00 0O1O2O1O20000 00 O1
O2 00 000 0 O1
O1 O2
O2 0 0

Low beta⋱ThetaTAPAS SUPPORTED BY ANR-CRESTCNNの入力
2022/6/20

AF3 AF4F7 F3F4 F8FC5FC6T7T8P7O1 O2P8電極配置

提案手法：複数人の脳波を用いたMAMLを利用した学習
タスク𝑖 ごとにパラメータを学習
𝜃%" = 𝜃 − 𝛼𝛻& ℒ '! (𝑓& )1名ずつ𝜃%" を学習
全タスクのロスの合計が小さくなるようにパラメータを更新
10名分のモデルの損失の合計が小さくなるよう𝜃を更新𝜃 ← 𝜃 − 𝛽𝛻& ∑% ℒ '! (𝑓&" )!
学習データ
10名
𝜃𝜃%"

バリデーションデータ
9名

ファインチューニング
5分割交差検証
20曲

テスト
𝜃の更新
バリデーション

15

テストデータ 対象者
21曲

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

提案手法：複数人の脳波を用いたMAMLを利用した学習

学習率やイテレーションを決定

学習データ
10名
𝜃𝜃%"

バリデーションデータ
9名

ファインチューニング
5分割交差検証
20曲テスト
𝜃の更新
バリデーション

16

テストデータ 対象者
21曲

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

提案手法：複数人の脳波を用いたMAMLを利用した学習

学習率やイテレーションを決定

学習データ
10名
𝜃𝜃%"

バリデーションデータ
9名

ファインチューニング
5分割交差検証
20曲

テスト
𝜃の更新
バリデーション

17

テストデータ 対象者
21曲

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

ベースライン手法1：複数人の脳波を用いたMAMLを利用しない学習

10名分の脳波データを用いて𝜃を更新

学習データ
10名

バリデーションデータ
9名

ファインチューニング
5分割交差検証20曲

𝜃テスト
バリデーション

18

テストデータ 対象者
21曲

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

ベースライン手法2：対象者の脳波のみを用いた学習対象者以外の脳波データは学習に使用しない
5分割交差検証20曲
𝜃19

テストデータ 対象者
21曲
テスト

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

予測値と真値のRMSEによる3手法の比較
提案手法

MAMLを利用

ベースライン手法1 ベースライン手法2
MAMLを利用しない 対象者の脳波のみ

ボンフェローニ補正を適用したウィルコクソンの符号順位検定より、３手法間で有意差が認められた (p<.001)
20

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

考察
複数人の脳波データの利用 vs 対象者の脳波データのみの利用◦ 複数人の脳波を用いた学習の方がRMSEが低くなった◦ 対象者のみでは学習データ量が不足している可能性

MAMLの利用 vs MAMLの利用なし◦ MAMLを利用した学習の方がRMSEが低くなった◦ MAMLにより、どの参加者にも適応しやすい事前学習モデルが学習できた
21

TAPAS SUPPORTED BY ANR-CREST

2022/6/20

まとめと今後の課題
目的◦ MAMLが音楽聴取中の脳波を用いた感情予測モデルの学習に有効であるか検証結果◦ ３手法を比較した結果、MAMLによるモデルの学習が最も感情予測に有効であった

今後の課題◦ より高精度な感情予測に向けたアルゴリズムの改良
22

TAPAS SUPPORTED BY ANR-CREST

2022/6/20