言語処理学会 第30回年次大会 発表論文集（2024年3月）

エントレインメント尺度および戦略が対話システムの評価に与える影響の調査
金崎 翔大 1,2

河野 誠也 2

1 同志社大学大学院理工学研究科

湯口 彰重 3,2

桂井 麻里衣 1

吉野 幸一郎 22 理化学研究所ガーディアンロボットプロジェクト

3 東京理科大学先進工学部{kanezaki21,katsurai}@mm.doshisha.ac.jp{seiya.kawano,koichiro.yoshino,akishige.yuguchi}@riken.jp

概要
人間同士の会話では，やりとりを重ねるうちに話者のふるまいが同調するエントレインメント現象がしばしば発生する．こうした現象を扱う対話システムを構築しようとする場合，どのようなエントレインメント尺度を活用するか，どのようなタイミングでどのようなエントレインメント度合いを用いるかの 2 点を明らかにする必要がある．本研究ではニューラル雑談対話モデルをエントレインメント度合いに応じてリランキングするシステムを用い，複数の語彙的エントレインメント尺度，および複数のエントレインメント戦略を網羅的に組み合わせた主観評価実験を行った．

1

はじめにするため，人間による対話コーパスを用いてエントレインメント予測モデルを学習し，目標とする同調度合いを決定するエントレインメント戦略を構築してきた．これらの手法に対してコーパス内の対話履歴を正解データとみなした定量評価実験を行ってきたものの，対話システム構築にあたっては実際のユーザによる評価が重要である．そこで本研究では，各エントレインメント尺度と，エントレインメント予測モデルにその他の戦略を織り込んだ複数のエントレインメント戦略の組み合わせを用い，エントレインメントを行う対話モデルにおける最適な設定を網羅的に探索する．具体的には，各組み合わせによってリランキングされた対話応答に対してクラウドソーシングによる主観評価実験を行う．

2

対話が進行するにつれて，語彙，構文構造，文体，韻律など，様々な要素において話者間のふるまいが類似する現象をエントレインメントとよぶ．エント
レインメントは対話タスクの成功率や自然さと相関することが報告されており，その追跡を通じて対話システムの性能を評価しようとする試みがある [1, 2, 3, 4]．
我 々 は こ れ ま で に，対 話 文 脈 に お い て エ ン ト
レインメントを柔軟に考慮するように応答文を 選 択 す る 手 法 を 構 築 し て き た [5, 6, 7]．こ の中 で，Word Mover’s Distance （WMD）に 基 づ く 尺
度 [2, 3] と，Bidirectional Encoder Representations fromTransformers （BERT）に基づく尺度 [4] の二種類のエントレインメント尺度（スコア）を定義して用いてきた．また，どのような対話文脈でどのようなエントレインメント尺度を持つ応答を選択するか決定

エントレインメントスコア

エントレインメントスコアは，発話者 𝑆1 ，応答者 𝑆2 による発話ペア (𝑈𝑆1 , 𝑈𝑆2 ) に関し，ターゲット発話 𝑈𝑆2 に与えられる．言語的エントレインメントを測定するフレームワークとして Local InterpersonalDistance （LID） [2] が提案されており，このスコア計算に異なる 2 つの指標を用いる．

2.1WMD に基づくスコア

二つの文の類似度を計算するために提案された
WMD [8] を用いて，発話 𝑈𝑆1 , 𝑈𝑆2 間の単語分散表現
空間上での意味的距離をスコアとする [2, 3]．
LIDWMD,𝑈𝑆2 = WMD(𝑈𝑆1 , 𝑈𝑆2 )(1)

WMD は単語埋め込みを用いた手法であるため，文脈埋め込みと比較して単語の構成性を考慮でき，よりスタイルに焦点を置いたスコアになっていることが期待される．

― 1384 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2.2の 𝑛-best 応答候補集合 𝑹 = {𝑅1 , 𝑅2 . . . , 𝑅𝑛 } および応BERT に基づくスコア

答候補の尤度集合 𝒍 𝑹 = {𝑙 𝑅1 , 𝑙 𝑅2 . . . , 𝑙 𝑅𝑛 } を出力する．

BERT 文脈埋め込み空間におけるコサイン類似度により二つの文の類似度を計算する手法として提案された BERTScore [9] を用いて，発話 𝑈𝑆1 , 𝑈𝑆2 間の埋め込み空間上での意味的距離をエントレインメン

ただし，応答候補集合 𝑹 は尤度の降順になっており，𝑙 𝑅1 ≥ 𝑙 𝑅2 ≥ . . . , ≥ 𝑙 𝑅𝑛 を満たす．

4.2

エントレインメント予測モデル

エントレインメント予測モデルは，発話文 𝑈𝑆1 がトスコアとする．
(2)

入力されたとき，その応答文 𝑈𝑆2 が持つべきエンこちらは発話文全体の内容を考慮したエントレインように学習する1）．図 2 に示すように，予測モデルメントスコアとなることが期待される．

は Gated Reccurent Unit （GRU） [10] を用いた階層

エントレインメント戦略的エンコーダモデルとバイアス項を含む全結合層

LIDBERT,𝑈𝑆2 = 1 − BERTScore(𝑈𝑆1 , 𝑈𝑆2 )3トレインメントスコア LIDWMD/BERT,𝑈𝑆2 を予測する（Linear）を用いたエントレインメントデコーダモデ

エントレインメント戦略の一つとして，人間がルで構成される．

行っているエントレインメント戦略の模倣を考える．このため，エントレインメントスコアの予測値
ˆ 𝑈𝑆 を予測するモデルを構築する（4.2 節）．まLID
2

た，実際に人間が行っているエントレインメント戦
略が最適であるかどうかを確認するため，以下の 2

図 2 エントレイメント予測モデルの概要

種類の戦略を試行する．
LIDoracle = LID𝑈𝑆2
LIDmin = min LID𝑅𝑖



𝑅𝑖 ∈𝑹

(3)
(4)

発 話 文 中 の 各 単 語 𝑢 𝑆1 ,𝑖 ∈ 𝑈𝑆1 を，式（5）で 定義するエンコーダで発話レベルの特徴ベクトル𝒉 𝑺1 = 𝒉 𝑺1 ,|𝑼𝑺1 | に変換する2）．

ここで 𝑅𝑖 は応答候補集合 𝑹 から選択された応答候補の一つである．LIDoracle は実際に人間同士の対話データに存在するデータから計算したエントレインメントスコアであり，人間のエントレインメント戦略を模倣した場合に相当する．また LIDmin は常に最大限ユーザ発話に同調する発話を選択することに相当する．

4𝒉 𝑺1 ,𝒊 = GRUutter (𝒉 𝑺1 ,𝒊−1 , Embedding(𝑢 𝑆1 ,𝑖 ))(5)

ここで，Embedding(·) は，𝑈𝑆1 における各単語 𝑢 𝑆1 ,𝑖 ∈𝑈𝑆1 を固定長の密ベクトル表現に変換する単語埋め込み層である．
本研究では発話文だけではなく，発話に付随する属性情報を対話エンコーダの追加の入力として用いることでエントレインメントの予測性能の向上を期

エントレインメントを考慮した応答リランキング

待する [11, 12]．具体的には，属性情報 𝑴 を発話レ各エントレインメントスコアおよびエントレインメント戦略の効果を検証するため，著者らが過去ベルの特徴ベクトル 𝒉 𝑺1 の一部と見なして次式のように結合する．
𝒉 𝑺𝑴1 = Concat(𝒉 𝑺1 ,𝒊 , 𝑴)に提案したリランキング手法 [6] を適用する．手法の概要を図 1 に示す．以下で各モジュールを説明する．

(6)

ここで，属性情報 𝑴 は 2 人の話者 𝑆1 ，𝑆2 の社会的関係ベクトル 𝑣 𝑢𝑆 ，𝑣 𝑢𝑇 を用いた．
次に，式（7）で定義される対話エンコーダを用いて，各ターンまでに得られた発話レベルの特徴ベク

図1

4.1

トル 𝒉 𝑺1 の系列を対話レベルの特徴ベクトル 𝒉′𝑺1 にリランキング手法の概要統合する3）．

ニューラル雑談対話モデル

ニューラル雑談対話モデルは，入力として発話文𝑈𝑆1 を受け取り，出力として入力発話に対する 𝑛 個1） “LIDWMD/BERT ” は LIDWMD または LIDBERT を意味する．これ以降，LID と略す．
2） 𝒉 𝑺1 は 発 話 エ ン コ ー ダ GRUutter に 対 す る 最 後 の 単 語
𝑢𝑆1 ,|𝑈𝑆1 | の入力に対応する，隠れベクトル 𝒉 𝑺1 ,|𝑼𝑺1 | である．
3） 𝒉′· は発話 𝑆1 の 1 ターン前の対話レベルの特徴ベクトルを― 1385 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

𝒉′𝑺1 = GRUcontext (𝒉 𝑺𝑴1 , 𝒉′ )さらに，デコーダ Linear(·) を用いて，各ターンのˆ 𝑈𝑆 を得る．
特徴ベクトル 𝒉′ から予測値 LID
𝑺12ˆ 𝑈𝑆 = Linear(𝒉′ )
LID
𝑺1
2

4.3

· : 常に最もユーザ発話に同調した発話候• LIDmin

(7)

(8)

補を利用

5.1

データセット

実験には Twitter のデータを使用した [13]．Twitterから，ユーザ間のフォロー・フォロワー（FF）関リランキング機構

リランキング機構では，応答候補集合 𝑹 からエントレインメント戦略に従った候補を選択して利用する．各エントレインメント戦略から得られた目
標エントレインメントスコア LIDtarget と，応答候補
𝑅𝑖 ∈ 𝑹 のエントレインメントスコア LID𝑅𝑖 との差の絶対値を，エントレインメントの実現距離 𝑑 𝑅𝑖 ,targetとする．

係，返信ペア，すべてのユーザとツイートに関連するメタデータを得るために，まず 5 人のシードユーザを選んだ．シードユーザには，Twitter 上で多くのフォロワーを持ち，情報工学に関する有名な日本人研究者を用いた．次に，彼らの友人とフォロワーのリストを取得した．これらのリストに含まれるユーザから，2 次の FF 関係であるフォロー及びフォロ(9)ワー関係のリストを取得する．最初のシードユーザと上記の関係リストを用いて，ユーザーをノード，この値が小さくなるように応答を選択する．具体“フォロー” 関係を有向エッジとするソーシャルグ

的には，𝑅𝑖 ∈ 𝑹 に対し，正規化した尤度 𝑙 𝑅𝑖 と正規ラフを構築した．その後，グラフ内のノード・ユー

𝑑 𝑅𝑖 ,target = |LID𝑅𝑖 − LIDtarget |.

化した実現距離 𝑑 𝑅𝑖 ,target の重み付き調和平均を算出

ザーから全てのツイート（2018 年 3 月から 2022 年

し，最大値をとる応答 𝑅F-beta (𝛽) を選択する．
11

× 

𝑑𝑅𝑖 ,target |𝑙𝑅𝑖 |2 . (10)
𝑅F-beta (𝛽) = 𝑎𝑟𝑔 𝑚𝑎𝑥  (1 + 𝛽 )11𝛽2 + 𝑅𝑖 ∈𝑹𝑑𝑅𝑖 ,target |𝑙𝑅𝑖 |e· はそれぞれの応答候補リストを基準とした Min-3 月まで）を取得した．ツイートデータの分割は，Max 正規化を表し，𝛽 は 0 以上の実数となる重み係

行研究 [14] に従い，ユーザのフォロワーネットワー数である．本研究では，𝛽 = 1 と設定した．

クを node2vec アルゴリズムに入力して計算した．

5評価実験

50,000 ペア（2018 年 3 月から 2022 年 1 月まで）を学習データ，5,000 ペア（2022 年 2 月）を開発デー
タ，300 ペア（2022 年 3 月）をテストデータとした．
社会的属性情報を表すユーザベクトル 𝑣 𝑆1 , 𝑣 𝑆2 は先

5.2

実験では，WMD と BERT に基づく 2 種類のエントレイメントスコア及び各エントレインメント戦略

実験設定

応答候補集合を生成するニューラル雑談対話モデ
ルには，NTT から公開されている Twitter のデータの組み合わせと，クラウドソーシングによる対話システムの主観評価値との関係を調べる．エントレイで事前学習済み Transformer Encoder-Decoder モデル

ンメント戦略の設定には次の 5 種類がある．

個とした．

·• LIDpredict: 予測されたエントレインメントスコ

アを利用·• LIDpredict
𝑤/𝑣 𝑆2 : 予測されたエントレインメントを用いた [15]．リランキング対象の応答候補は 40
単語分散表現モデルについては，Akama らが提案したスタイルの類似性と統語的・語義的な類似性の両方を考慮した単語分散表現モデル [16] を用いた．

スコアを利用（当該対話コンテキストにおいて単語分散表現モデルの学習には学習データセットシステム側の発話者が持つ属性情報を追加）内に含まれる発話を用いた．BERT モデルについて·• LIDpredict
𝑤/𝑣 𝑆1 , 𝑣 𝑆2 : 予測されたエントレインメ

ントスコアを利用（当該対話コンテキストにおいて両方の発話者が持つ属性情報を追加）·• LIDoracle: 対話コーパス上の正解から計算されたエントレインメントスコアを利用（人間のエンは，学習済み多言語 BERTScore を用いた [9]．

5.3

クラウドソーシングにおける主観評価

ワーカに発話文 𝑈𝑆1 を提示し，応答について 5 つの項目に関する 5 段階評価の質問を行った．
• 自然性：人間らしい自然な応答ができているか

トレインメント戦略の模倣）表す．ただし，本研究では対話履歴は 1 ターンのみであるた
めゼロベクトルを用いた．

― 1386 ―• 楽しさ：応答文は面白かったか，会話を続けたThis work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

主観評価と自動評価の実験結果
主観評価
話題追随性 共感性

LIDtarget , 予測モデル

自然性

楽しさ

Human

3.65**

3.13

3.72*

𝑅1 （baseline）

3.27

3.00

LIDWMDpredict
LIDWMD
（w/ 𝑣𝑆2 ）predict
LIDWMD
（w/ 𝑣𝑆1 , 𝑣𝑆2 ）predict
LIDWMD
oracleLIDWMDmin
LIDBERTpredict
LIDBERT（w/ 𝑣𝑆2 ）predict
LIDBERT（w/ 𝑣𝑆1 , 𝑣𝑆2 ）predict
LIDBERT
oracleLIDBERT
min

3.34
3.30

自動評価
スタイル類似性

sMAPE

BLEU （ ×100）

3.46

3.39

-

3.47

3.34

3.29

24.89%（LIDWMD ）24.78%（LIDBERT ）

3.12

3.47

3.39

3.42

11.08%

0.49

3.00

3.49

3.33

3.31

11.38%

0.50

3.25

2.96

3.30

3.34

3.20

11.30%

0.70

3.24
3.32

3.00
3.13

3.37
3.75*

3.22
3.59*

3.37
3.64*

8.24%
40.87%

0.93
1.22

3.34

3.14

3.56

3.46

3.38

10.35%

0.54

3.30

3.02

3.53

3.46

3.46

9.70%

0.32

3.32

3.03

3.46

3.39

3.31

9.29%

0.52

3.30
3.113.47
3.31
3.34
7.00%
3.46
3.18
3.89*
3.50
3.86*
36.00%
各項目ごとに 𝑅1 （baseline）との両側 t 検定を行い有意差がある場合: * : 𝑝 ≤ 0.05, ** : 𝑝 ≤ 0.01

0.86

0.92
1.03

いかとが示唆された．これは我々の，WMD 尺度がより• 話題追従性：人間の話題に沿っていたかスタイル類似性に作用し，BERT 尺度はより話題追• 共感性：システムは人間と共感・協調できてい随性に作用するという予想とは異なる結果となっるかた．また意外なことに，いくつかの主観評価項目に• スタイル類似性：システムは人間と似た口調でおいては，人間の応答よりも BERT スコアによるリ応答ができているかランキング応答がより高い評価を得ており，これはすべての評価項目において「5」が最も良い評価，必ずしも人間のエントレインメント戦略が対話相手「1」が最も悪い評価であり段階的な評価とした．

にとって最適ではない可能性を示している．
次に，自動評価について注目する．エントレイン

5.4

自動評価

メント誤差（sMAPE）はベースラインであるリラン応答の評価指標としてテストデータ中に存在する参照発話との BLEU[17] を用いた．また，選択されキング前の応答と比較して，LIDmin を除いて誤差が小さくなった．一方で，最も同調するようにリランた応答の理想的なエントレインメントスコアとのキングをする場合の LIDmin では，エントレインメ誤差の計算には式（11) で表される symmetric mean

ント尺度にかかわらず，エントレインメント誤差がabsolute percentage error （sMAPE）を用いた．𝑛 は評増加している．これは，人間が対話文脈に合わせて価データの数である．

柔軟に同調度合いを調整していることを示唆している．しかし主観評価で示唆されたように，このよう

sMAPE(LIDRF-beta , LIDoracle )𝑛200 Õ |LIDRF-beta , 𝑗 − LIDoracle, 𝑗 |=𝑛 𝑗=1 |LIDRF-beta , 𝑗 | + |LIDoracle, 𝑗 |5.5

な人間の対話戦略を模倣することが対話システムに(11)

とって常に良い戦略とは限らない．

おわりに

6

実験結果

本研究では，エントレインメント現象を考慮する

表 1 に主観評価及び自動評価の結果を示す．ま対話システムを構築し，その評価実験をした．特た，比較として Twitter における人間の応答とリラに，異なるエントレインメントスコア及びエントレンキング前の応答についても評価を行った．sMAPE

インメント戦略を用いた場合に，各主観評価項目にについては，それぞれのリランキング機構に用いたどのような影響が出るかを調査した．
クラウドソーシングによる主観評価の結果，当初エントレインメントスコアによって計算した．
主観評価について注目すると，oracle 戦略を用いの予想と異なり，話題追随性，スタイル類似性につたシステムを比較しても，min 戦略は各主観評価において高い評価を得られることが示された．また，

いては BERT 尺度に基づくリランキングが，共感性

話題追随性，スタイル類似性については BERT 尺度く作用することが示唆された．また，人からの印象に基づくリランキングが，共感性については WMDを良くするためには常にエントレインメント度合を尺度に基づくリランキングがより大きく作用するこ最大化するような戦略が望ましいことが示された．

については WMD 尺度に基づくリランキングが大き― 1387 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本 研 究 は JSPS 科 研 費 22K17958，22H04873，20H04484 の助成を受けた．

参考文献[1] Ani Nenkova, Agustin Gravano, and Julia Hirschberg.
High frequency word entrainment in spoken dialogue. InProceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169–172. As-sociation for Computational Linguistics, 2008.
[2] Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W.
Baucom, David C. Atkins, Panayiotis Georgiou, andShrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover sDistance. In Proc. INTERSPEECH 2019, pp. 1423–1427,
2019.
[3] Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino,
and Satoshi Nakamura. Entrainable neural conversation
model based on reinforcement learning. IEEE Access,Vol. 8, pp. 178283–178294, 2020.
[4] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues inservice scenarios. In Companion Publication of the2021 International Conference on Multimodal Interaction, ICMI ’21 Companion, p. 71–74, New York, NY,USA, 2021. Association for Computing Machinery.
[5] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 50–55, 2021.
[6] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル
雑談対話モデルの応答リランキング. 人工知能学会全国大会論文集, Vol. JSAI2022, pp. 3Yin248–3Yin248,2022.
[7] 金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメントスコアを用いた応答リラン
キングとその自動評価. 言語処理学会 第 29 回年次大会 発表論文集, pp. 1963–1968, 2023.
[8] Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. InInternational Conference on Machine Learning, pp.
957–966, 2015.
[9] Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q.
Weinberger, and Yoav Artzi. Bertscore: Evaluating textgeneration with bert. In International Conference onLearning Representations, 2020.
[10] Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre,
Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, andYoshua Bengio. Learning phrase representations usingrnn encoder–decoder for statistical machine translation. In
Proc. of EMNLP, pp. 1724–1734, 2014.
[11] Penelope Brown, Stephen C Levinson, and Stephen CLevinson. Politeness: Some universals in language
usage, Vol. 4. Cambridge university press, 1987.

[12] Cindy Gallois, Tania Ogay, and Howard Giles. Communication accommodation theory: A look back and a lookahead. In Theorizing about intercultural communication, pp. 121–148. Thousand Oaks: Sage, 2005.
[13] Seiya Kawano, Shota Kanezaki, Angel Fernando Garcia Contreras, Akishige Yuguchi, Marie Katsurai, andKoichiro Yoshino. Analysis of style-shifting on social media: Using neural language model conditioned by socialmeanings. In Findings of the Association for Computational Linguistics: EMNLP 2023, 2023.
[14] Aditya Grover and Jure Leskovec. node2vec: Scalable feature learning for networks. In Proceedings ofthe 22nd ACM SIGKDD international conference onKnowledge discovery and data mining, pp. 855–864,

2016.
[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training
strategies of transformer-based japanese chit-chat systems,
2021.
[16] Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke
Kobayashi, and Kentaro Inui. Unsupervised learning ofstyle-sensitive word vectors. In Proceedings of the56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp.

572–578, 2018.
[17] Matt Post. A call for clarity in reporting BLEU scores.
In Proceedings of the Third Conference on MachineTranslation: Research Papers, pp. 186–191, Belgium,
Brussels, October 2018. Association for Computational
Linguistics.

― 1388 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).