生体情報を用いた感情の推定・制御手法と応用
芝浦工業大学 工学部 情報工学科教授 菅谷みどり
2019年 6月13日
2019/6/13

JST新技術説明会

1感情推定技術のニーズ• 人がどのように感じたか？多様化の時代– 人がどのような感想（印象）を持ったのか？詳細に知るニーズ• 率直な気持ちを知りたい– 製品テスト– CM評価製品テスト-

精密測定，成分分析，定量分析ではなく，人の印象にかかわるテストが求められるCM評価-20項目を超える印象を選択
新鮮な，ムードがない，説得力のある etc.. （因子分析）.

• 人のリアルタイムの反応が知りたい– ドライバーの状態推定– ロボットの印象評価

ドライバーモニタリングシステム(DMS)-カメラによる動作・表情分析[1]- 発話・会話から人工知能による解析[2]視線計測- ロボットの方をみる視線による計測

印象は主観が強く差を統計で正規化することが難しく，大量の情報が必要
JST新技術説明会
リアルタイムの反応で問題改善のために主観ではなく観察情報が持ちいられる
2019/6/13[1]オムロン株式会社 2016年6月6日 ニュースリリース ドライバー運転集中度モニタリング技術[2]トヨタ自動車 人工知能搭載車「Concept-愛」

2

従来技術とその問題点• 人の情報処理の仕組み[3]からみる感情推定手法
表情解析

行動分析

外部からの人の行動観察の情報分析•••

自然言語処理文化や習慣などの差の影響が大きい
個人ごとに多様な表現 認知部分の経験に依存した部分の影響が大きく解析が困難
2019/6/13

JST新技術説明会

3

新技術の利点• 人の情報処理の仕組み[3]からみる感情推定手法
比較実験[3]

OKAOTMvision[4]による表情からの感情解析
結果を正規化して比較

生体信号情報分析

エラー率(%)

表情解析

被験者A

13

被験者B

100

生体情報
downup25
22• 表情では被験者の傾向によって誤差が変動する–  生体情報ではどちらの被験者も誤差は20〜25前後で安定• 認知の差よる影響を受けづらい. 恣意的な表現が反映しない．
• センサの利用によるリアルタイム推定が可能[3] Yuhei Ikeda, Ryota Horie, Midori Sugaya, Estimate Emotion with Biological Information for Robot Interaction, 21st International Conference on Knowledge-Based andIntelligent Information & Engineering Systems (KES-2017), Marseille, France, 6-8, Sep, Procedia Computer Science, Vol.112, pp.1589-1600, Year 2017.
JST新技術説明会
2019/6/13[4]画像センシング技術
製品情報. http://www.omron.co.jp/ecb/products/mobile/4新技術の概要
生体情報による感情評価手法
脳波センサによる計測

怒不快

覚醒度（高）

現在の感情エリア「驚き」

喜快

心拍・脈拍センサ
による計測

哀
覚醒度（低）楽

MindWave Mobile

本モデルを基礎とした感情分類
 「生体感情評価手法」[7]Russellの円環モデル[5][5] James A. Russell, “A Circumplex Model of Affect”, Journal of Personality and Social Psychology, Vol.39, No.6, pp.1161-1178. 1980.
[6] Francesco Moscato et al, “Continuous Monitoring of Cardiac Rhythms in Left Ventricular Assist Device Patients, Wiley Periodicals”, Inc. and International Center
for Artificial Organs and Transplantation, 2014[7] Yuhei Ikeda, Ryota Horie, Midori Sugaya, Estimate Emotion with Biological Information for Robot Interaction, 21st International Conference on Knowledge-Basedand Intelligent Information & Engineering Systems (KES-2017), Marseille, France, 6-8, Sep, Procedia Computer Science, Vol.112, pp.1589-1600, Year 2017.

5感情の解析および分類方法の比較検証[8]手法1

手法2

手法3

手法4

解析手法A において，主観との相関係数の値が約３０％高い結果となる

主観評価と解析結果が一致しても有意な感情分析ではない可能性がある「感情の識別」の能力が高い人の主観評価の信憑性は高い
ただし、感情の識別能力が高い人
学生では全体の 20%
生体情報の分析はより詳細な感情の推測が可能- 時間による感情の変化- EQの能力に関係なく感情の推測が可能[8] Midori Sugaya, Takuya Hiramatsu, Reiji Yoshida, Feng Chen, Preliminary Stage Reaction Analysis of Audience with Bio-Emotion Estimation Method. The 1st IEEE
International Workshop on Emotion and Affective Computing Interfaces and Systems (EACIS2018)), July 23-27. pp.601-605

2019/6/13

JST新技術説明会6感情のリアルタイム計測
1800.8600.6400.4200.200

覚醒指標

100

経過時間
ミスのタイミング(縦棒)

集中度

リラックス度不快指標

協力者:0001 条件(1) 指標グラフ
計算課題時のミス発生時の感情分析

不快度

図 周りに誰もいない条件の計測結果 指標グラフ
開始直後に不快指標が大きく下降→不快感（高覚醒＋不快  イライラ感情(第2象限の感情））
2019/6/13

ミスの前後で低覚醒に傾きが反転（低覚醒 + 不快  疲れ，飽き感情 (第3象限の感情) ）JST新技術説明会

7走行経路上のリアルタイム感情反応分析
実験走行経路図

芝浦工大・訓化による影響→環状経路４周（1周10分）

交差点

春海橋
豊洲交差点

晴海交差点

・感情を想起させそうな地点→2か所の橋→4か所の交差点
脳波計

脈拍計

晴海大橋
2019/6/13

JST新技術説明会

る

実験器具 装着した姿

Arduino

るを

新豊洲
交差点

腕に巻き付け ことのでき Arduino

80014:20:15
14:20:48
14:21:22
14:21:57
14:22:31
14:23:04
14:23:39
14:24:13
14:24:47
14:25:21
14:25:57
14:26:32
14:27:06
14:27:42
14:28:11
14:28:46
14:29:23
14:29:58
14:30:32
14:31:07
14:31:42
14:32:17
14:32:53
14:33:27
14:34:01
14:34:32
14:35:02
14:35:24
14:35:50
14:36:30
14:37:16
14:37:50
14:38:24
14:38:58
14:39:32
14:40:06
14:40:40
14:41:15
14:41:50
14:42:24
14:43:01
14:43:26
14:43:54
14:44:28
14:45:01
14:45:37
14:46:12
14:46:45
14:47:19
14:47:49
14:48:17
14:48:52
14:49:27
14:50:11
14:50:45
14:51:12
14:51:47
14:52:22
14:52:57
14:53:32
14:54:06
14:54:41
14:55:15
14:55:49
14:56:22
14:56:54
14:57:26
14:57:58
14:58:43
14:59:15
14:59:47
15:00:12

馴化と漫然状態

50

感情値

120

120
10
100
0

80
80

60
60

40
40

20
20

退屈（漫然状態）の想起回数

2019/6/13

退屈（漫然状態）

40
１周目
２周目

1周目

17回

３周目

2周目

28回

JST新技術説明会

3周目
40回

４周目

30

20
訓化と漫然の関係

10

0
4周目

21回

9

00
14:20:15
14:20:48
14:21:22
14:21:57
14:22:31
14:23:04
14:23:39
14:24:13
14:24:47
14:25:21
14:25:57
14:26:32
14:27:06
14:27:42
14:28:11
14:28:46
14:29:23
14:29:58
14:30:32
14:31:07
14:31:42
14:32:17
14:32:53
14:33:27
14:34:01
14:34:32
14:35:02
14:35:24
14:35:50
14:36:30
14:37:16
14:37:50
14:38:24
14:38:58
14:39:32
14:40:06
14:40:40
14:41:15
14:41:50
14:42:24
14:43:01
14:43:26
14:43:54
14:44:28
14:45:01
14:45:37
14:46:12
14:46:45
14:47:19
14:47:49
14:48:17
14:48:52
14:49:27
14:50:11
14:50:45
14:51:12
14:51:47
14:52:22
14:52:57
14:53:32
14:54:06
14:54:41
14:55:15
14:55:49
14:56:22
14:56:54
14:57:26
14:57:58
14:58:43
14:59:15
14:59:47
15:00:12

馴化と漫然状態（第一象限）
喜び（第一象限）

感情値
12120
0100
10080
80

１周目

60
60

2019/6/13

２周目
３周目

JST新技術説明会

４周目

強い第１象限感情を連続して観測

40
40

20
20

10

00
14:14:08
14:14:44
14:15:28
14:16:16
14:17:05
14:17:39
14:18:16
14:19:04
14:19:53
14:20:40
14:21:26
14:22:14
14:23:00
14:23:48
14:24:34
14:25:21
14:26:11
14:26:57
14:27:46
14:28:28
14:29:18
14:30:06
14:30:53
14:31:42
14:32:30
14:33:18
14:34:05
14:34:49
14:35:21
14:36:00
14:36:54
14:37:50
14:38:37
14:39:23
14:40:10
14:40:58
14:41:46
14:42:33
14:43:18
14:43:54
14:44:40
14:45:28
14:46:15
14:47:02
14:47:46
14:48:26
14:49:14
14:50:11
14:50:54
14:51:39
14:52:26
14:53:14
14:54:02
14:54:49
14:55:36
14:56:22
14:57:06
14:57:49
14:58:47
14:59:31
15:00:09
15:00:36
15:01:15
15:01:59
15:02:43

緊張状態の感情

感情値

100
10
0
9090

8080

2019/6/13

高覚醒, 不快(第二象限）の感情
事前の車線変更

運転開始直後に頻繁に中程度の緊張を観測

車線変更禁止区間で前方にトラックが割り込む
JST新技術説明会

同じ区間で緊張が観測された

7070

6060

5050

4040

3030

20201010

11

人とロボットの共生社会
人に好印象を与えるロボットが必要
人とロボットの心地よい距離 パーソナルスペース(PS)• 人と人のパーソナルスペース[1]周りを囲む見えない境界
社会距離(1.20~3.60m)
密接距離(~0.45m)
上司家族・恋人親密さによって変化[9]
個体距離(0.45~1.20m)
公衆距離(3.60m~)
侵害不快
[10]
友達
講演

• 人とロボットのパーソナルスペース

定義されていない
2019/6/13[9] Edward T．Hall: “The Hidden Dimension”, Doubleday Publishing, 57-71p, 1966
[10]八重澤敏男, 吉田富二雄: ”他者接近に対する生理・認知反応
JST新技術説明会 –生理指標・心理評定の多次元解析– . 心理学研究. 52,166-172p, 1981

12

生体感情の大きさ02019/6/13
16:00:16
16:00:17
16:00:18
16:00:19
16:00:20
16:00:21
16:00:22
16:00:23
16:00:24
16:00:25
16:00:26
16:00:27
16:00:29
16:00:30
16:00:31
16:00:32
16:00:33
16:00:34
16:00:35
16:00:36
16:00:37
16:00:38
16:00:39
16:00:40
16:00:41
16:00:43
16:00:44
16:00:45
16:00:46
16:00:47
16:00:48
16:00:49
16:00:50
16:00:51
16:00:52
16:00:53
16:00:54
16:00:55
16:00:57
16:00:58
16:00:59
16:01:00
16:01:01
16:01:02
16:01:03
16:01:04
16:01:05
16:01:06
16:01:07
16:01:08
16:01:10
16:01:11
16:01:12
16:01:13

ロボット移動に伴う生体感情の分析例• 生体感情の推移例（実験協力者A）
0.8

0.7

前進開始（00.26）

0.4

楽しい
興奮

停止
（00.43）

驚き
緊張
不愉快

JST新技術説明会

退屈

動作①
0.1[m/sec]– 速度0.2[m/sec]（遅い）
後退開始（00.52）落ち着き

動作②0.2[m/sec]

驚き上昇

0.9

動作終了
（01.08）

0.6

0.5

主観PS

0.3

0.2

0.1

時間[s]

眠気
13

生体感情の大きさ
0.8

0.7

0.4

0
16:00:16
16:00:17
16:00:18
16:00:19
16:00:20
16:00:21
16:00:22
16:00:23
16:00:24
16:00:25
16:00:26
16:00:27
16:00:29
16:00:30
16:00:31
16:00:32
16:00:33
16:00:34
16:00:35
16:00:36
16:00:37
16:00:38
16:00:39
16:00:40
16:00:41
16:00:4316:00:44
16:00:45
16:00:46
16:00:47
16:00:48
16:00:49
16:00:50
16:00:51
16:00:52
16:00:53
16:00:54
16:00:55
16:00:57
16:00:58
16:00:59
16:01:00
16:01:01
16:01:02
16:01:03
16:01:04
16:01:05
16:01:06
16:01:07
16:01:08
16:01:10
16:01:11
16:01:12
16:01:13

ロボット移動に伴う生体感情の分析例• 生体感情の推移例（実験協力者A）
前進開始（00.26）
停止（00.43）時間[s]通常観測が難しいリアルタイムの印象評価を把握することが可能
楽しい
興奮
驚き
緊張
不愉快 動的自律位置調整による印象改善手法,
退屈
落ち着き
眠気
[11]鈴木 翔大, 他,共用型ロボットにおける生体計測による感情推定を用いた情報処理学会，情報処理学会,ヒューマンコンピュータインタラクション研究会第182回研究会,
3月2019年.
パーソナルスペースの自動調整[11]2019/6/13
14
JST新技術説明会

動作①
0.1[m/sec]– 速度0.2[m/sec]（遅い）
後退開始（00.52）動作②
0.2[m/sec]

緊張/不愉快最大

0.9

動作終了（01.08）

0.6

0.5

主観PS

0.3

0.20.1表 快不快値(pNN50)

工業製品への応用
声がけロボットの研究開発[12]表 快不快に応じた声がけ
不快の場合(pNN50 < 0.23)

快の場合(pNN50 >= 0.23)

よろしくお願いします

今日も頑張りましょう

少し休みますか嬉しそうですね
私も嬉しいです

焦らなくても大丈夫ですよ

もう少しですよこの調子で少しずつやっていきましょう

また明日よろしくお願いします

開始時• 実験••

気持ちにより，異なる声がけフレーズ
複数動作パターンで比較

歩行途中
終了時

表 比較動作パターン

2019/6/13

ロボットの動作パターン

動作生[12] Teppei Ito, Reiji Yoshida, Yoshito Tobe,
Midori Sugaya, Supportive Voice-Casting Robots
using Bio-Estimated Emotion for Rehabilitation,
Intelligent Environments 2019, to be appeared.

声かけ( 体情報に基づく)

フォローアップ．移動のみ

××．移動+声かけ○×．移動+フォローアップ

×○．移動+声かけ+フォローアップ

○

○

15

実験結果
Ⅲ(移動+フォローアップ)とⅣ(移動+フォローアップ+声かけ)との間で，生体情報：有意傾向 (p < 0.10)(図9)，主観評価：有意(p < 0.01)[11]

快不快値の平均変化率(%)
pNN50の
平 均 変 化 (%)* : p < 0.10率

パターンⅢ
70

*

パターンⅣ

60
50
4030

声かけの有無20100

図1 ⅢとⅣのt検定結果(生体情報)

図2 ⅢとⅣのt検定結果(主観) Ⅰ(移動)とⅡ(移動+声かけ)との間には有意傾向が見られない
 生体情報にあわせた支援的な声かけが有効であることが示唆された[12]2019/6/13

JST新技術説明会

16

覚醒度の考慮[13]• 感情の判定（快/不快＋覚醒度）– 不快の分類の必要性  怒り(第二象限）に励ましは逆効果では？
• 怒りor退屈• 緊張or悲しみ

計測結果からも，第2象限（高覚醒度，不快：イライラ．
怒り）感情時の声がけは不快となることが示唆された[13] Koudai Matsumoto, Midori Sugaya et al, Emotion Aware Voice-Casting Robot for Rehabilitation Evaluated with Bio-signal Index, Human Computer Interaction International 2019 (HCII 2019), LNCS, to be appeared.
JST新技術説明会
172019/6/13

色彩を用いた感情の安定化[14]脳波指標(交感神経と相関がある[15])*100
100 興奮緊張苛立ち

弛緩

-100
観測された感情
原点方向へ感情を移動させる

悲しみ
α波と相関がある[16]β波と相関がある[16]1000
感情の安定した状態

退屈-100

眠気脈拍指標)*100(だらけ
副交感神経と相関がある[15][14]川上洋平, 他, 生体情報を用いた感情分類および色彩を用いた感情の安定化手法の提案, 情報処理学会, HCI研究会, 3月18日, 東京, 2019年.
[15]張禎.“色彩環境の変化が身体運動能力に及ぼす影響”.人間発達学研究.2014,第5号,p.23‒29[16]三島孔明.“色彩と脳波特性に関する基礎的研究”.造園雑誌.1990,54巻5号,p.108-113

2019/6/13

JST新技術説明会

19脳波指標の主成分分析• 疲労度が高い実験協力者を対象(5人)• 第1主成分軸1.000- 8色すべてに正の相関

0.800
0.600
0.400

第2主成分軸• 第2主成分軸- 心理四原色 (赤,緑,黄,青)→ 正の相関
- 中間色 (橙,黄緑,緑青,紫)→ 負の相関0.200
0.000-0.200-0.400-0.600-0.800

疲労度の高い実験協力者に関して,第1主成分軸
心理４原色は覚醒,中間色は眠気の影響が示唆された-1.000-1.000-0.500

0.000

0.500

1.000

図5 脳波指標に関する主成分分析の結果

2019/6/13

JST新技術説明会

20実用化に向けた課題• 現在，脳波，心拍により感情推定を行い，工学的に様々な形で利用可能な形とした．ただし，反応潜時の違いの考慮や，アプリケーションに応じた幅広い世代を対象とした実証実験，計測が必要である．
• 非接触計測器での精度評価はニーズはあるものの，十分にセンサの比較が吟味できていない．心拍指標のみを利用した覚醒度評価は検討中．
– アプリケーションの特性にあった計測の例• e.g 食品評価
– 反応潜時の違いの考慮– 評価指標の検討，パフォーマンステストなどとの組み合わせ– 多チャンネル脳波計測器の利用
2019/6/13

JST新技術説明会

21

企業への期待• 人の感情反応/感性評価が必要な分野での評価に興味がある企
業との共同研究• 人のリアルタイムな感情反応を反映した製品の共同開発• 非接触または軽量なウエアラブル機器にて覚醒度を計測する機器の共同開発

2019/6/13

JST新技術説明会

22

本技術に関する知的財産
発明の名称：感情推定システム，および感情推定装置
出願番号 ：2019-091325
出願人：学校法人 芝浦工業大学
発明者：菅谷 みどり、池田 悠平、川上 洋平

2019/6/13

JST新技術説明会

23

お問い合わせ先• 芝浦工業大学– 研究推進室 研究企画課– 産学官連携コーディネータ– 青木 昭彦• TEL 03-5859-7180• e-mail aoki.akihiko@ow.shibaura-it.ac.jp

2019/6/13

JST新技術説明会

24