オンライン時代の感情コミュニケーション
千葉工業大学情報科学部
准教授 有本泰子
2021/3/5
本発表の内容は，JST,ERATO岡ノ谷情動情報プロジェクトの助成を受けた

内容• オンライン場面の感情理解• 対面場面の感情理解• まとめと提言

1

モデルの推定精度• 混合効果モデルで話者を変量効果として追加• 正解データと推定値との相関係数

Arousal（覚醒－睡眠）
Valence（快－不快）Positivity（肯定的－否定的）

Closed
0.60
0.48
0.58

Open
0.59
0.47
0.57

• 個人差を考慮すれば，そこそこの精度だが，コンピュータが感情を理解できるとは言えない
Y. Arimoto and K. Okanoya, "Multimodal features for automatic emotion estimation during face-to-face conversation," Journalof Phonetic Society of Japan, vol. 19, no. 1, pp. 53-67, 2015.

3

そもそも
• われわれ人間は対話相手の感情を本当に理解しているのか？
集合時間は8時に変更

了解です

Bさんは怒ってる？

♪

話者A

話者B

その時に、、、AさんはBさんの感情について理解しているか？

4人間同士で対話で分析• 対面対話 26組52名• 協調課題と競合課題（10分程度）• オンライン対話 50組100名• ディスカッション（7分程度）• 対面対話とオンラインチャット（ビデオ／音声／テキスト）
空間を共有
対面対話

空間を非共有ビデオチャット

テキストチャット

音声チャット5

メディア・リッチネス理論• コミュニケーションチャンネルが少なくなると，対話相手の考えていることや気持ちを誤解しやすくなる (Daft and Lengel,1986)• コミュニケーションチャネル
対話中に話者が情報を伝達するために使う手段のこと（言語，音声，表情，ジェスチャ，身振りなど）• ということは，感情理解度も？
• オンライン対話 ＜ 対面対話

6

80
100人に聞いてみました• 情報伝達のしやすさ• 対面とオンラインのどちらが言いたいことを言うことができましたか？

• 感情伝達・理解のしやすさ• 対面とオンラインのどちらが対話相手の感情を理解できましたか？
• 対面とオンラインのどちらが対話相手に感情が伝わっていると感じましたか？

7情報伝達のしやすさ
コミュニケーションチャネルがテキスト情報だけの場合、伝達される情報に欠落が生じる可能性

Chat

FaceToFace

Chat

FaceToFace

20
51015

TX N= 26†051015n.s.

Number of participants

20

VC N= 24051015n.s.

Number of participants

20

VD N= 30

0Number of participants

Q1. ど ち ら が自分の言いたいこ と を 言う こ と ができ ま し たか？

Chat

FaceToFace

Y. Arimoto and K. Okanoya, "Comparison of Emotional Understanding in Modality-controlled Environments using Multimodal Online Emotional Communication
Corpus," in Proceedings of The International Conference on Language Resources and Evaluation (LREC2016), pp. 2162-2167, 2016.

8感情伝達・理解のしやすさ

Chat

FaceToFace

***

Chat

N=24

FaceToFace

Chat

N=30

FaceToFace

Number of participants
0 5 10 15 20 25 30

Number of participants
0 5 10 15 20 25 30

Q3. ど ち ら が自分の感情が伝わっ ている と 感じ ま し たか?
VC
VD

***

N=24*

Chat

Number of participants
0 5 10 15 20 25 30

N=30

FaceToFace

TX

***

Chat

N=26

FaceToFace

TX

Number of participants
0 5 10 15 20 25 30***

Number of participants
0 5 10 15 20 25 30

Number of participants
0 5 10 15 20 25 30

Q2. ど ち ら が対話相手の感情を 理解する こ と ができ ま し たか?
VD
VC***ChatN=26

コミュニケーションチャネルの制
約条件にかかわらず、対話相手の感情を理解しづらく、自分の感情も伝えづらい

FaceToFace

Y. Arimoto and K. Okanoya, "Comparison of Emotional Understanding in Modality-controlled Environments using Multimodal Online Emotional Communication Corpus," in9
Proceedings of The International Conference on Language Resources and Evaluation (LREC2016), pp. 2162-2167, 2016.

話者の認識としては。。。

オンライン対話 ＜ 対面対話

感情理解においても，メディア・リッチネス理論をサポートか？
10話者に感情を評価させた• 評価対象者： 自分自身（①と②）と対話相手（③と④）• 感情次元• Arousal（覚醒－睡眠）• Valence（快－不快）• Positivity（肯定的－否定的），または， Dominance（支配－服従）• 対話の流れに沿って，動的に感情を評価③
AによるBの評価②Bの自己評価①Aの自己評価

話者A④
BによるAの評価

話者B
11

オンライン対話での感情理解• 自己評価値 VS 対話相手による評価値（①vs④あるいは②vs③）の相関• メディア・リッチネス理論をサポートするなら，対面対話における相関の方が高くなるはず③
AによるBの評価②Bの自己評価①Aの自己評価

話者A④
BによるAの評価

話者B
12

オンライン対話での感情理解• 自己評価値 VS 対話相手による評価値（①vs④あるいは②vs③）の相関
Arousal（覚醒－睡眠）

VC

Correlation coefficient
−1.0
0.0
1.0

VD

Chat FaceToFace

Chat FaceToFace

テキストチャットのみが有意傾向を示す

TX†

Chat FaceToFace

Y. Arimoto and K. Okanoya, "Comparison of Emotional Understanding in Modality-controlled Environments using Multimodal Online Emotional
Communication Corpus," in Proceedings of The International Conference on Language Resources and Evaluation (LREC2016), pp. 2162-2167, 2016.

13

オンライン対話での感情理解• 自己評価値 VS 対話相手による評価値 オンライン対話と対面対話の感情理解に有意な差は見られない（①vs④あるいは②vs③）の相関
Valence（快－不快）

VC

TX

Correlation coefficient
−1.0
0.0
1.0

VD

Chat FaceToFace

Chat FaceToFace

Chat FaceToFace

Y. Arimoto and K. Okanoya, "Comparison of Emotional Understanding in Modality-controlled Environments using Multimodal Online Emotional
Communication Corpus," in Proceedings of The International Conference on Language Resources and Evaluation (LREC2016), pp. 2162-2167, 2016.

14

オンライン対話での感情理解• 自己評価値 VS 対話相手による評価値オンライン対話と対面対話の感情理解に有意な差は見られない（①vs④あるいは②vs③）の相関
Dominance（支配－服従）

VC

TX

Correlation coefficient
−1.0
0.0
1.0

VD

Chat FaceToFace

Chat FaceToFace

Chat FaceToFace

Y. Arimoto and K. Okanoya, "Comparison of Emotional Understanding in Modality-controlled Environments using Multimodal Online Emotional
Communication Corpus," in Proceedings of The International Conference on Language Resources and Evaluation (LREC2016), pp. 2162-2167, 2016.

15

実際の感情理解はオンライン対話 ≒ 対面対話
• ただし，テキストチャット場面の覚醒－睡眠の理解度は対面対話の方がやや高い⇒対面対話ではどのくらいの人が感情を理解できているのか？
16

対面対話における感情理解• 自己評価値 VS 対話相手による評価値（①vs④あるいは②vs③）の相関
100%

80%
60%

3

322

116

20

30

40%
20%

333

27

N=52,

4

4

34

30

1418

競合

協調

3119

p<0.05

0%
競合

協調

競合

協調

Valence

ArousalArousal（覚醒－睡眠）Valence（快－不快）
Pos.

N.S

Positivity

Positivity（肯定的－否定的）

Neg.

Y. Arimoto and K. Okanoya, "Mutual emotional understanding in a face-to-face communication environment: How speakers understandand react to listeners' emotion in a game task dialog," Acoustical Science and Technology, vol. 36, no. 4, pp. 370-373, 2015.

17

対面対話における感情理解• 快－不快の理解ができるのは60%程度のひと• 覚醒－睡眠と肯定的－否定的では全く感情を理解していない人が半数以上いる• 対話相手の感情を誤解している人もちらほら⇒対面対話で我々が理解していると思っているものはなんなのか？
18

自分自身の感情が対話相手の感情理解に影響する？
• 自分自身の感情が影響するならsiの相関係数の方が高くなるはず• si：自己評価 VS 対話相手への評価（①vs③あるいは②vs④）の相関

思い込みの感情理解度• ss：自己評価 VS 自己評価（①vs②）の相関 真の感情理解度③
AによるBの評価②Bの自己評価①Aの自己評価

話者A④
BによるAの評価

話者B

Y. Arimoto and K. Okanoya, "Emotional synchrony and covariation of behavioral/physiological reactions between interlocutors," in Proceedings of the 17th Oriental
COCOSDA Conference 2014, pp. 100-105, 2014.

19

対面場面で我々が理解していると思っているものはなんなのか？
• si：思い込みの感情理解度• ss：真の感情理解度

Y. Arimoto and K. Okanoya, "Emotional synchrony and covariation of behavioral/physiological reactions between interlocutors,"in Proceedings of the 17th Oriental COCOSDA Conference 2014, pp. 100-105, 2014.

20

まとめ
• コンピュータに人間の感情を理解させようとしている我々は。。。
• 対話相手の感情をさほど理解していない• コミュニケーションチャネルの制約条件に係らない• オンライン環境におけるコミュニケーションを恐れる必要があるか？

21