高齢者対話における音響的および韻律的エントレインメントの分析
杉本 浩之, 田中 宏季, 中村 哲
奈良先端科学技術大学院大学 先端科学技術研究科

1

エントレインメントとは ?
エントレインメント = 会話相手に対する "話し方の適応 (似ること)".
◼ 言語的特徴および非言語的特徴で報告されているex.) 文章の構文構造[Reitter+ 2006], 頭の動き[Louwerse+ 2012], 基本周波数[Levitan+ 2011]◼ コミュニケーションの質と関連ex.) エントレインメント ~ ラポール (信頼関係)[Lubold+ 2014]2

エントレインメント研究の現状
会話に関するさまざまな側面に着目した研究が存在.
◼ 会話場面ex.) あるタスクに取り組む際の会話 [Menshikova+ 2020]
薬物中毒者に対するカウンセリング [Xiao+ 2015]◼ 会話中の現象ex.) 笑い (Laughter) [Ludusan+2022]
コードスイッチング [Soto+ 2018]3

対話システムへの応用
ロボットの対話システムへのエントレインメントの応用がユーザに対して良い影響を与える.
ex. ユーザの顔の表情に良い影響 [Westlund+ 2019]
ロボットへの好ましさや信頼性の向上 [Metcalf+ 2019][Westlund+ 2019]4

話者の特性や発話の特性に分けた分析
応用先の会話場面に適合したエントレインメント分析が別途必要.
◼ 会話場面や話者の特性がエントレインメントに影響する
ex. 会話の話者同士の関係での分類 [Menshikova+ 2020]◼ 発話において, その目的などによる多次元性がエントレインメントに影響する
ex. 発話行為タグの利用 [Mizukami+ 2016]5本研究の目的
傾聴対話評価や傾聴対話システムへの応用に向けた, 種々の状況によるエントレインメントの程度の理解.
そこで本研究では,一般に高いコミュニケーション能力が必要とされる, 臨床心理士
高齢者との会話機会が多い, 介護士
比較対象としての, 大学院生の発話におけるエントレインメントを割り込みの有無や発話行為タグ, 発話回数による発話の分類を用いて分析

6

分析手法概要
分析単位
発話の分類

7

発話ごと

割り込みの有無

会話セッションごと発話行為タグ(分類なし)

目的割り込みの有無によ 発話行為タグの違るエントレインメント いによるエントレインの違い
メントの違い

前半と後半の発話におけるエントレインメントの違い

エントレインメントの変化の様子

手法

マン・ホイットニーのU検定

マン・ホイットニーのU検定

ウィルコクソンの順
位和検定

回帰分析

結果

ラウドネスの最大値
で有意差

介護士において有意差

ラウドネスの平均値において有意差および有意傾向

回帰係数が負の値に

データセット
高齢者と臨床心理士, 介護士, 大学院生の2者間の会話データ [Yoshino+ 2018]

会話内容
セッション数

高齢者側があるニュースを話す
臨床心理士, 介護士, 大学院生側は積極的傾聴を行う
高齢者と臨床心理士 20セット

高齢者と介護士 20セット

高齢者と大学院生 20セット

各発話のアノテーショ
ン

書き起こし, 開始と終了時間, 発話行為タグ(ISO24617-2)の付与

その他

高齢者24名, 臨床心理士5名, 介護士5名, 大学院生5名が参加(互いに初対面)
0.5秒以上のポーズに加え, 発話内容を考慮し, 各発話が区切られる

なお, 音声データを適切に取り出すことができなかった, 高齢者と臨床心理士の2セット分の会話は除外した.

8

会話の一例[Yoshino+ 2018]

はじめに取り扱うニュースの紹介

そのニュースについて, 高齢者が話す

9

聞き手は, 高齢者の話を傾聴

分析対象となる音響的および韻律的特徴量
ラウドネスと基本周波数(F0), 発話速度を分析対象に.

10

F0

分析対象

ラウドネス

発話速度

抽出内容

各発話ごとにその平均値と最大値を計算

値そのまま抽出方法

openSMILEの利用 + 話者ごとに標準化

モーラ数/発話時間[秒]音響的および韻律的特徴量の距離 [Levitan+ 2011]
2つの発話ペア間の特徴量におけるユークリッド距離が小さいほど, エントレインメン
トの程度が大きい.
◼ 発話ペアの設定対象となる発話は, 会話ターンが高齢者からもう一方へ移った時の, (アノテーション上の)最初の発話.

𝐸𝑥.
𝑖番目のペアになるのは, (𝐴! , 𝐵! ).
ペアごとに, 特徴量のユークリッ
ド距離を計算.

なお, 1つの発話の途中で生じる相槌以外の相槌は事前に取り除く.

11

1. 発話単位における分析

発話ごと
割り込みの有無

発話行為タグ

割り込みの有無によ 発話行為タグの違るエントレインメント いによるエントレインの違い
メントの違い12

マン・ホイットニーのU検定

マン・ホイットニーのU検定

ラウドネスの最大値
で有意差

介護士において有意差割り込みの有無の利用
各発話を割り込み有りの発話と割り込み無しの発話に分類. その後, 両者間の違いを統計検定.
分類規則 : 対象となった発話の開始時刻が, ペアとなった発話の終了時刻と重なっているか否か.
◼ 各発話数13

臨床心理士

介護士

大学院生

割り込
み有り
発話数544787588

割り込み無し
発話数369580

450発話行為タグを用いた分析
発話行為タグにおいて, Information seeking(IS) と Information providing(IP) を利用し, 各発話を分類. その後, 両者間の違いを統計検定.
◼ 選択理由◼ 各発話数
臨床心理士

介護士

大学院生

IS213324253

IP291508447

十分なサンプル数が存在.
情報を求める行為と情報を与える行為には対称性が考えられる.

14割り込みの有無における統計的分析結果
ラウドネスの最大値において, 臨床心理士, 介護士, 大学院生の全ての場合で有意差を確認.
一方, F0の最大値においては, 介護士の発話でのみ有意差を確認.
◼ p値と効果量(r)
臨床心理士

介護士

大学院生

ラウドネス 平均値

0.166

0.495

0.945

ラウドネス 最大値

𝟎. 𝟎𝟏𝟎∗∗∗ (𝟎. 𝟎𝟖𝟔)

< 𝟎. 𝟎𝟎𝟏∗∗∗ (𝟎. 𝟏𝟓𝟓)

𝟎. 𝟎𝟐𝟓∗∗∗ (𝟎. 𝟎𝟔𝟗)

F0 平均値

0.153

0.934

0.299

F0 最大値

0.687< 𝟎. 𝟎𝟎𝟏∗∗∗ (𝟎. 𝟏𝟕𝟒)

0.469

発話速度

0.089" (0.056)

0.194

0.792

▸ 有意水準は,

15∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

割り込みの有無における, ラウドネスの最大値の距離の違い
割り込みが有る発話において, ラウドネスの最大値における距離の中央値が大きく.
▶ 割り込みが有る発話におけるエントレインメントは小さい

1.967

1.797

2.087

▸ 有意水準は,

161.558∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

1.876

1.676

ISとIPにおける統計的分析結果
介護士の発話においてのみ有意差を確認(ラウドネスの平均値および最大値).
◼ p値と効果量(r)
臨床心理士

介護士

大学院生

ラウドネス 平均値

0.116

𝟎. 𝟎𝟒𝟑∗∗∗ (𝟎. 𝟎𝟕𝟎)

0.321

ラウドネス 最大値

0.808

< 𝟎. 𝟎𝟎𝟏∗∗∗ (𝟎. 𝟏𝟓𝟒)

0.191

F0 平均値

0.946

0.691

0.309

F0 最大値

0.407

0.952

0.420

発話速度0.398

0.3760.149▸ 有意水準は,

17∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

ISとIPにおける距離の違い
共にISの場合の方が, 距離の中央値が小さい.
▶ 情報を求めるための発話においてはエントレインメントが大きく.

▸ 有意水準は,

0.289

180.338

1.3621.829∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

2. 会話セッション単位における分析

会話セッションごと(分類なし)

19

前半と後半の発話におけるエントレインメントの違い

エントレインメントの変化の様子

ウィルコクソンの順
位和検定

回帰分析

ラウドネスの平均値において有意差および有意傾向

回帰係数が負の値に

前半と後半の発話での比較
各会話セッションごとに, 前半の発話と後半の発話に分割した上で, エントレインメン
トに変化が生じているかを統計分析.

◼ 分割の方法
各会話セッションごとに, 発話回数をもとに前半と後半に分ける.

20

回帰分析
エントレインメントが発話するごとにどのように小さくなっていくか, 回帰分析により分析.
◼ 回帰分析手順
会話セッションごとに, 発話回数をもとに発話を10等分.
説明変数 : 10等分部分の番号 (1, 2, . . . , 10).
被説明変数 : 各部分における距離の平均値.
なお, 回帰分析を行う前に説明変数, 被説明変数ごとに標準化を行う.
また, 分析する特徴量はラウドネスの平均値と最大値のみ.
21

前半と後半の発話における統計的分析結果
ラウドネスの平均値において, 介護士では有意差が, 臨床心理士と大学院生においても有意傾向が確認された.
また, 介護士においては, ラウドネスの最大値においても有意差を確認.
◼ p値と効果量(r)
臨床心理士

介護士

大学院生

ラウドネス 平均値

𝟎. 𝟎𝟖𝟏" (𝟎. 𝟐𝟗𝟒)

𝟎. 𝟎𝟎𝟐∗∗∗ (𝟎. 𝟒𝟔𝟔)

𝟎. 𝟎𝟖𝟑" (𝟎. 𝟐𝟕𝟕)

ラウドネス 最大値

0.369

𝟎. 𝟎𝟎𝟐∗∗∗ (𝟎. 𝟒𝟔𝟔)

0.231

F0 平均値

1.0000.596

0.189

F0 最大値

0.702

0.143

0.927

発話速度

0.523

0.498

0.143

▸ 有意水準は,22∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

前後半の発話における, ラウドネスの平均値の距離の違い
ラウドネスの平均値において, 後半の発話における距離の中央値が小さくなっている.
► いずれの場合においても, 後半の発話におけるエントレインメントは大きく.

0.469
0.426
0.380

0.380

▸ 有意水準は,

23∗∗∗

𝑝 < 0.05, † 𝑝 < 0.10

0.3920.337

回帰分析における回帰係数
回帰係数の値は全て負の値である. よって, エントレインメントの程度は発話するごとに大きくなっている.
また, 前後半で分けた分析において有意差, 有意傾向が見られた部分においては,回帰係数の絶対値も大きい.
◼ 回帰係数24

臨床心理士

介護士

大学院生

ラウドネス 平均値

−𝟎. 𝟏𝟔𝟖−𝟎. 𝟑𝟏𝟗−𝟎. 𝟏𝟎𝟕ラウドネス 最大値−0.036−𝟎. 𝟐𝟏𝟎−0.083

まとめ全体会話相手が話している最中での発話においては, エントレインメントは小さく.
職業という個人の特性もエントレインメントに影響.
介護士
情報を求める際にはエントレインメントが大きく.
会話回数が増加するとエントレインメントが大きく.
臨床心理士

介護士と比較し, エントレインメントの変化が確認できない特徴量が存在.
確認できたとしても, その程度が弱い.
今後話し方の影響を見るため, 言語的特徴量にも着目.

25

文献[Rei%er+ 2006]
D. Reitter, Johanna D. Moore, and Frank Keller. Primingof syntactic rules in task-oriented dialogue and spontaneousconversation. 2006.

[Louwerse+ 2012]
Max M. Louwerse, Rick Dale, Ellen Gurman Bard, andPatrick Jeuniaux. Behavior matching in multimodal
communication
is synchronized. Cognitive science, Vol. 36 8,pp. 1404–26, 2012.

[Levitan+ 2011]
Rivka Levitan and Julia Hirschberg. Measuring
acousticprosodic
entrainment with respect to multiple levels anddimensions. In Interspeech, 2011.

[Lubold+ 2014]
Nichola Lubold and Heather Pon-Barry. Acoustic-prosodic
entrainment and rapport in collaborative learning dialogues.
Proceedings of the 2014 ACM workshop on Multimodal
Learning Analytics Workshop and Grand Challenge, 2014.

26[Westlund+ 2019]
Jacqueline Kory Westlund and Cynthia Lynn Breazeal.
Exploring
the effects of a social robot’s speech entrainmentand backstory on young children’s emotion, rapport,relationship,and learning. Frontiers in Robotics and AI, Vol. 6,, 2019.

[Metcalf+ 2019]
Katherine Metcalf, Barry-John Theobald, Garrett Weinberg,
Robert Lee, I-M. Jonsson, RussellWebb, and Nicholas
Apostoloff. Mirroring to build trust in digital assistants. InInterspeech, 2019.

[Menshikova+ 2020]

Alla Menshikova, Daniil Kocharov, and Tatiana V.
Kachkovskaia. Phonetic entrainment in cooperative dialogues:
A case of russian. In Interspeech, 2020.

文献[Xiao+ 2015]
Bo Xiao, Zac E. Imel, David C. Atkins, Panayiotis G. Georgiou,and Shrikanth S. Narayanan. Analyzing speech rate
entrainment and its relation to therapist empathy in drug
addiction counseling. In Interspeech, 2015.

[Ludusan+ 2022]
Bogdan Ludusan, Marin Schr.er, and Petra Wagner.
Investigatingphonetic convergence of laughter in conversation.
In Interspeech, 2022.

[Soto+ 2018]
V.ctor Soto, Nishmar Cestero, and Julia Hirschberg. The
role of cognate words, pos tags and entrainment incodeswitching.
In Interspeech, 2018.

27[Mizukami+ 2016]
Masahiro Mizukami, Koichiro Yoshino, Graham Neubig,
David R. Traum, and Satoshi Nakamura. Analyzing theeffect of entrainment on dialogue acts. In SIGDIAL
Conference,2016.

[Westlund+ 2019]
Jacqueline Kory Westlund and Cynthia Lynn Breazeal.
Exploring
the effects of a social robot’s speech entrainmentand backstory on young children’s emotion, rapport,relationship,and learning. Frontiers in Robotics and AI, Vol. 6,, 2019.

[Yoshino+ 2018]
Koichiro Yoshino, Hiroki Tanaka, Kyoshiro Sugiyama,
Makoto Kondo, and Satoshi Nakamura. Japanese dialogue
corpus of information navigation and attentive listening
annotatedwith extended iso-24617-2 dialogue act tags. In
International Conference on Language Resources andEvaluation,
2018.