言語処理学会 第29回年次大会 発表論文集 (2023年3月)

エントレインメントスコアを用いた応答リランキングとその自動評価
金崎 翔大 1,2

河野 誠也 2

1 同志社大学大学院理工学研究科

湯口 彰重 2

桂井 麻里衣 3

吉野 幸一郎 22 理化学研究所ガーディアンロボットプロジェクト

3 同志社大学理工学部{kanezaki21,katsurai}@mm.doshisha.ac.jp{seiya.kawano,akishige.yuguchi,koichiro.yoshino}@riken.jp

概要
人間と人間の会話では，エントレインメントと呼ばれる対話の進行に従って話し方が同調する現象がしばしば発生する．著者らは直近の研究で，対話文脈に対して理想的なエントレインメント度合いを自動決定し，それに基づきニューラル雑談対話モデルの応答リランキングをする手法を提案した．
本研究ではこの枠組みに基づき，新たに BERTScoreに基づくエントレイメント尺度を提案する．また，従来研究で提案したエントレインメント尺度と本研究で提案したエントレイメント尺度に基づいて，ニューラル雑談対話モデルの応答リランキングを行う．また，このリランキング結果に対する自動評価を行う．

1

はじめにエントレインメントは，収束やアラインメントとも呼ばれ，対話における話者間の話し方が対話の進行に従い類似する現象を指す．この現象は，語彙[1]，統語構造 [2]，文体 [3]，韻律 [4]，ターンテイキ
ング [5]，対話行為 [6] など，対話における様々な要素で観測される．エントレインメントは，対話のタスク成功率や自然性，対話意欲と相関することが報告されており，エントレインメントの分析 [7, 8] を通して対話システムの性能や対話の質を評価する試みが行われている．また，エントレインメントを考慮して，対話システムの応答選択・応答生成を制御する試みもある [9, 10, 11]．
著者らは直近の研究で，対話文脈に対する応答のエントレインメント予測モデルを構築し [12]，それに基づきニューラル雑談対話モデルの 𝑛-best 応答候補をリランキングする手法を提案した [11]．この研究では，システムが対話文脈に対して “どの程度”
エントレインメントした応答をするべきかを予測モデルによって学習し，“理想的” なエントレインメント度合いをもたらすような応答を自動決定する手法を提案した．提案したリランキング手法が主観評価を顕著に悪化させることなく応答のエントレインメントを制御することが可能であることを示した．一方で，この研究で用いた単語分散表現に基づく尺度だけではエントレインメント現象を十分に捉えられず，対話システムの応答生成に利用するための十分な情報量を持っていない可能性が示唆された．
言語的なエントレインメント分析における先行研
究では，様々なエントレインメント尺度が提案されている．Nenkova らは対話コーパス内の頻出単語に着目し，2 名の話者によるそれらの利用傾向に基づくエントレインメント尺度を提案した [7]．しかし，頻出単語のみに着目した尺度では，単語の意味や統語構造などの複数の側面を捉えきれない可能性があった．そこで，Nasir らは単語分散表現の類似度に基づく尺度を新たに提案した [8]．2 つの対話コーパ
スを用いた分析実験の結果，bag-of-words に基づくエントレイメント尺度と比べ，単語分散表現に基づく尺度が対人行動情報を把握するために有用であることが示された．なお Nasir らは深層学習による文脈埋め込み表現を用いた尺度の可能性に言及していた．その方向性の研究として，Bidirectional Encoder
Representations from Transformers (BERT) [13] によって埋め込まれた文ベクトルの相関に基づくエントレイメント尺度が Liu らにより提案されている [14]．
本研究では，著者らが直近に提案した単語分散表
現に基づくエントレイメントスコアを用いたリランキング手法に対して，新たに BERT の文脈埋め込みに基づくエントレインメントスコアを用いることを― 1963 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

提案する．そして，これらのスコアに基づくリランみ表現を獲得する．この文脈埋め込みを発話文間のキング手法で得られた応答の自動評価を比較する．

類似度算出に用いることで，発話文全体を考慮した

2エントレインメントスコアを用いた対話応答のリランキング
本研究では，著者らが直近で提案したリランキンエントレインメントスコアを期待する．
(BERT)LID𝑈=𝑡min

𝑈 partner ∈𝑼 partner ⊂𝑼{1 − BERTScore(𝑈 partner , 𝑈𝑡 )}(2)

グ手法 [11] を適用する．手法の概要を図 1 に示す．

(BERT)LID𝑈
は 0 以上 1 以下の値をとる実数であり，𝑡値が 0 に近いほど発話 𝑈𝑡 が対話相手の発話集合
図1

𝑼 partner に対して同調しているとみなせる．

リランキング手法の概要

2.3
2.1

ニューラル雑談対話モデル

エントレインメント予測モデル

𝑡 ターン目までの対話履歴 𝑼 が入力されたとき，ニューラル雑談対話モデルは，入力に 𝑡 ターン

𝑡 + 1 ターン目の発話文 𝑈𝑡+1 が持つべきエントレイン目の発話文 𝑈𝑡 までの対話履歴 𝑼 = {𝑈1 , 𝑈2 . . . , 𝑈𝑡 }メントスコア LID𝑈𝑡+1 を予測するようモデルを学習を受け取り1），出力として 𝑡 + 1 ターン目の 𝑛 個の𝑛-best 応答候補リスト 𝑹 = [𝑅1 , 𝑅2 . . . , 𝑅𝑛 ] および応する [12]．図 2 に示すように，Gated Reccurent Unit
(GRU) [18] を用いた階層的エンコーダモデルと線答候補の尤度リスト 𝒍 𝑹 = [𝑙 𝑅1 , 𝑙 𝑅2 . . . , 𝑙 𝑅𝑛 ] を出力す

形変換層（Aﬃne）を用いたエントレインメントデる．ただし，応答候補リスト 𝑹 は尤度の降順になっコーダモデルで構成する．ており，𝑙 𝑅1 ≥ 𝑙 𝑅2 ≥ . . . , ≥ 𝑙 𝑅𝑛 を満たす．

2.2

エントレインメントスコアの定義

本研究では，局所的な（固定窓幅における対話文脈の）言語的エントレインメントを測定するフレームワークである Local Interpersonal Distance (LID) [8]を用いてエントレインメントスコアを算出する．著者らの従来手法 [11] では，ある発話者による発話
𝑈𝑡 に関し，その対話相手へのエントレインメント度
合い LID𝑈𝑡 を次式により算出した．
LID (WMD)= partner min
WMD(𝑈 partner , 𝑈𝑡 )𝑈𝑡𝑈
∈𝑼 partner ⊂𝑼
ここで，𝑼 partner は 𝑈

図 2 エントレインメント予測モデルの概要(1)𝑡 より過去に観測された発話のうち，対話相手による過去 2 ターンの発話文集合を表す．また，WMD(𝑈 partner , 𝑈𝑡 ) は Word Mover’s Distance

発話文中の各単語 𝑢 𝑡 ,𝑖 ∈ 𝑈𝑡 を，式 (3) で定義する
エンコーダで発話レベルの特徴ベクトル 𝒉𝒕 = 𝒉𝒕,|𝑼𝒕 |に変換する2）．
𝒉𝒕,𝒊 = GRUutter (𝒉𝒕,𝒊−1 , Embedding(𝑢 𝑡 ,𝑖 ))(WMD) [16] を用いて計算される発話 𝑈 partner , 𝑈𝑡 間の 単 語 分 散 表 現 空 間 上 で の 意 味 的 距 離 で あ る．
LID (WMD)
は 0 以上の値をとる実数であり，値が小𝑈𝑡

さいほど発話 𝑈𝑡 が対話相手の発話集合 𝑼 partner に対(3)

ここで，Embedding(·) は，𝑈𝑡 における各単語 𝑢 𝑡 ,𝑖 ∈ 𝑈𝑡を固定長の密ベクトル表現に変換する単語埋め込み層である．
次に，式 (4) で定義される対話エンコーダを用いして同調しているとみなせる．
本稿では，式 (1) の代わりに，新たに BERTScore [17]て，各ターンまでに得られた発話レベルの特徴ベク(BERT)に基づくエントレインメント度合い LID𝑈を𝑡トル 𝒉𝒕 の系列を対話レベルの特徴ベクトル 𝒉′𝒕 に統用いることを提案する．BERTScore は単語ごとに合する．

独 立 し て 埋 め 込 み 表 現 を 獲 得 す る の で は な く，

𝒉′𝒕 = GRUcontext (𝒉𝒕 , 𝒉′𝒕 −1 )Self-Attention により文全体の意味を考慮して埋め込
1） 文献 [15] の実験に従い，実際の入力には直近 4 発話の対話
履歴 𝑼 𝑡 = {𝑈𝑡 −3 , 𝑈𝑡 −2 . . . , 𝑈𝑡 } を用いる．

(4)2） 𝒉𝒕 は発話エンコーダ GRUutter に対する最後の単語 𝑢𝑡,|𝑈𝑡 |の入力に対応する，隠れベクトル 𝒉𝒕,|𝑼𝒕 | である．

― 1964 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

さらに，エントレインメントデコーダ Aﬃne(·) を用いて，各ターンの特徴ベクトル 𝒉′𝒕 からエントレˆ 𝑈𝑡+1 を得る．
インメントの予測値 LID
ˆ 𝑈𝑡+1 = Aﬃne(𝒉′𝒕 )
LID

2.4

3.2

実験設定

𝑛-best 応答候補リストを生成するニューラル雑談
対話モデルとして，JEmpatheticDialogues でファイン(5)チューニングされた Transformer Encoder-Decoder モ

エントレインメントを用いたリランキング機構

デル [15] を用いた．𝑛-best 応答候補リストのサイズ

ま ず，対 話 履 歴 か ら み て 望 ま し い エ ン ト レ
イ ン メ ン ト ス コ ア を 式 (5) で 予 測 し，そ れ をˆ 𝑈𝑡+1 とおく．そして，ニューラル雑談
LIDtarget = LID

は 𝑛 = 80 に設定した．本実験では，次に示すベース
ライン応答とリランキング応答を自動評価によって比較する．
• 𝑅1 （ベースライン，尤度最大の応答）• 𝑅 (BERT) （提案手法，LID (BERT)に基づく応答）
𝑈𝑡

対話モデルによる応答候補 𝑅𝑖 ∈ 𝑹 が実際にもたら• 𝑅 (WMD) （従来手法，LID (WMD)に基づく応答）
𝑈𝑡

すエントレインメントスコア LID𝑅𝑖 との差の絶対値を，エントレインメントの実現度 𝑑 𝑅𝑖 ,target として定また，エントレインメント予測モデルの教師スコア義する．

を用いて，式 (6) について LIDtarget = LID𝑈𝑡+1 として設定した場合のリランキング応答も比較する．これ

𝑑 𝑅𝑖 ,target = |LID𝑅𝑖 − LIDtarget |(6)はテストデータ中の対話履歴に存在する実際の応答

著者らのこれまでの手法 [11] と同様に，実現度発話のエントレインメントスコアを目標とする設定

𝑑 𝑅𝑖 ,target と応答尤度 𝑙 𝑅𝑖 の両方をバランスよく考慮しであり，エントレインメント予測モデルの誤差が無て応答候補リスト 𝑹 内をリランキングする．具体的には，𝑅𝑖 ∈ 𝑹 に対し，正規化した尤度 𝑙 𝑅𝑖 と正規化した実現度 𝑑 𝑅𝑖 ,target の F-beta を算出し，最大値をとる応答 𝑅F-beta (𝛽) を選択する．
11
× 
𝑑𝑅𝑖 ,target |𝑙𝑅𝑖 |2𝑅F-beta (𝛽) = arg max  (1 + 𝛽 )
1
1𝛽2 + 𝑅𝑖 ∈ 𝑹 𝑑𝑅𝑖 ,target |𝑙𝑅𝑖 |い場合に相当する．
エントレインメントスコアの計算に使用する単語分散表現モデルについては，Akama らが提案したス
タイルの類似性と統語的・語義的な類似性の両方を考慮した単語分散表現モデル [19] を用いた．単語分(7)散表現モデルの学習には，学習データセット内に含まれる発話を用いた．
エントレインメント予測モデルにおけるハイパー

上式において，e· はそれぞれの応答候補リストを基パラメータは，単語埋め込み層の次元を 300，GRU準とした Min-Max 正規化を表し，𝛽 は 0 以上の実数となる重み係数である．𝛽 が 1 より大きいほどエンの中間層の次元を 300，層数を 1 に設定した．また，使用する語彙サイズは 8,000 とし，未知語は特殊記トレインメントを重視して応答を選択する．本研究号 “UNK” に置き換えた．予測モデルの訓練においでは，𝛽 = 1 と設定した．てはバッチサイズを 64，学習率を 1 × 10−3 として，Optimizer には Adam[20] を使用した．

評価実験

3

本章では，ニューラル雑談対話モデルの応答リランキングに提案手法を適用した場合の応答の自然性を自動評価指標を用いて評価する．

3.1

3.3

評価指標

システム応答 𝑅# と対話履歴に対する実際の応答発話 𝑈𝑡+1 とのエントレインメント誤差を評価するために，次式で表される symmetric mean absolute

データセットpercentage error (sMAPE) を用いた．

評価実験では，感情的な状況下での共感的な対話対話は 4 ターンである．文献 [15] の実験に従い，

sMAPE(LID𝑅# , LID𝑈𝑡+1 )𝑛200 Õ |LID𝑅# , 𝑗 − LID𝑈𝑡+1 , 𝑗 |=𝑛 𝑗=1 |LID𝑅# , 𝑗 | + |LID𝑈𝑡+1 , 𝑗 |16,667 対話（83.34%）を学習データ，1,667 対話を検ここで 𝑛 は評価データの数である．また LID には証データ（8.34%），1,666 対話（8.33%）を評価デー

LID(BERT) と LID(WMD) の 2 種類がありエントレイ

タとした．

メント誤差はそれぞれの尺度について算出する．

を収録した雑談対話コーパス JEmpatheticDialogues[15] を 用 い た．コ ー パ ス 内 の 対 話 数 は 20,000，1― 1965 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(8)

手法
ベースライン
BERTScore
WMD
手法
BERTScore
WMD

sMAPE(BERT)ˆ 𝑈𝑡+1 ）表 1 自動評価結果（LIDtarget = LID
sMAPE(WMD) BLEU-1 BLEU-2 Distinct-1

Distinct-2

Embedding average

0.891
0.886
0.907

0.906
0.911
0.887

0.435
0.428
0.430

表 2 自動評価結果（LIDtarget = LID𝑈𝑡+1 ）sMAPE(WMD) BLEU-1 BLEU-2 Distinct-1

Distinct-2

Embedding average

0.9100.907

0.441
0.453

14.28%
9.71%
12.16%
sMAPE(BERT)
2.92%
11.85%

20.84%
19.08%
14.72%

18.03%
4.29%

23.9
23.1
23.2

7.2
6.4
6.6

23.9
24.5

7.1
7.2

0.885
0.883

LID𝑈𝑡+1 はテ ストデー タに お ける 対 話履 歴 に対 すなどの自動評価指標は人間による主観評価とはほとる実際の応答発話のエントレインメントスコアでんど相関がないことが報告されており [23]，主観評ある．応答の自動評価指標には BLEU [21]，Distinct

価は異なる結果が得られる可能性がある．

[22]，Embedding Average [23] を用いた．

3.4

おわりに4

実験結果

本研究では，著者らが直近に提案した単語分散表

ˆ 𝑈𝑡+1 とした場合）
表 1 に予測モデル（LIDtarget = LID

現に基づくエントレイメントスコアを用いたリラによるリランキング応答の自動評価の結果を示す．

ンキング手法に対して，新たに BERT の文脈埋め込

これは提案手法と従来手法による評価実験の結果でみに基づくエントレイメントスコアを導入した．まある．BERTScore と WMD のどちらの手法においてた，これらのエントレイメントスコアに基づく応答も，ベースラインに比べてリランキングされた応答はそれぞれの尺度に対応するエントレイメント誤差を自動評価し，性能を比較した．従来手法と提案手法によるリランキングはどちらもベースラインに比（sMAPE）が減少した．さらに，リランキングで用べてエントレイメント誤差が減少した．一方，応答いなかった尺度に対応するエントレイメント誤差もの自動評価の結果は提案手法と従来手法の間でほと僅かに減少する．これは BERTScore と WMD が埋んど違いがみられなかった．

め込み表現を獲得する際に，一部は同じ言語特徴量

今後は，BERTScore に基づくリランキング結果にを捉えている可能性がある．一方で，どちらの尺度ついて主観評価を実施する．また，異なるエントレを用いた場合でも自動評価の結果に大きな差はみらイメントスコアが捉える言語的側面（語彙，統語構れなかった．特に，埋め込み表現を用いたにも関わ造，文体，ターンテイキング，話者の意図など）をらず，Embedding Average は向上しなかった．

分析し，それらを網羅的に捉える新たなエントレイ

次に，表 2 に教師スコア（LIDtarget = LID𝑈𝑡+1 とした場合）によるリランキング応答の自動評価の結果を示す．これはエントレインメント予測モデルの誤差が無い場合に相当する．表 1 と比較すると，どちらの手法においてもベースラインに比べてリランキングされた応答はそれぞれの尺度に対応するエントレイメント誤差が大幅に減少した．しかし，リランキングで用いなかった尺度に対応するエントレイメント誤差はそれほど減少しない．このことからメントスコアの算出方法を検討する．

謝辞
本 研 究 は，JSPS 科 研 費 22K17958, 22H04873,20H04484 の助成を受けた．

参考文献[1] Susan E Brennan and Herbert H Clark. Conceptual pacts
and lexical choice in conversation. Journal of Experimental Psychology: Learning, Memory, and Cognition, Vol. 22, No. 6, p. 1482, 1996.

BERTScore と WMD は異なる言語的特徴を捉えている可能性がある．自動評価の結果については大きな差はみられない．しかし，表 1 と比較すると全体として自動評価の結果が僅かに良い傾向にある．このことから，エントレインメント予測モデルの精度が向上することで応答の自然性などが向上する可能性がある．ただし，雑談対話システムに対する BLEU

[2] David Reitter and Johanna D Moore. Predicting successin dialogue. 2007.
[3] Kate G Niederhoﬀer and James W Pennebaker. Linguisticstyle matching in social interaction. Journal of Language
and Social Psychology, Vol. 21, No. 4, pp. 337–360,
2002.
[4] Arthur Ward and Diane Litman. Measuring convergenceand priming in tutorial dialog. University of Pittsburgh,― 1966 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2007.
[5] Nick Campbell and Stefan Scherer. Comparing measuresof synchrony and alignment in dialogue speech timing withrespect to turn-taking activity. In Eleventh Annual Con-

[16]

ference of the International Speech Communication
Association, 2010.

[6] Masahiro Mizukami, Koichiro Yoshino, Graham Neubig,David Traum, and Satoshi Nakamura. Analyzing the eﬀectof entrainment on dialogue acts. In Proceedings of the17th Annual Meeting of the Special Interest Groupon Discourse and Dialogue, September 2016.

[17]

[18]

[7] Ani Nenkova, Agustin Gravano, and Julia Hirschberg.
High frequency word entrainment in spoken dialogue. InProceedings of the 46th annual meeting of the association for computational linguistics on human language technologies: Short papers, pp. 169–172. As-

[8]

[9]

[10]

[11]

[12]

[13]

sociation for Computational Linguistics, 2008.
Md. Nasir, Sandeep Nallan Chakravarthula, Brian R.W.
Baucom, David C. Atkins, Panayiotis Georgiou, andShrikanth Narayanan. Modeling Interpersonal Linguistic Coordination in Conversations Using Word Mover sDistance. In Proc. INTERSPEECH 2019, pp. 1423–1427,
2019.
水上雅博, 吉野幸一郎, Graham Neubig, 中村哲. エン
トレインメント分析に基づく応答文選択モデルの評
価. 言語処理学会第 23 回年次大会 (NLP2017), 茨城,3 2017.
Seiya Kawano, Masahiro Mizukami, Koichiro Yoshino,
and Satoshi Nakamura. Entrainable neural conversation
model based on reinforcement learning. IEEE Access,Vol. 8, pp. 178283–178294, 2020.
金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. エントレインメント予測に基づいたニューラル
雑談対話モデルの応答リランキング. 人工知能学会
全国大会論文集, Vol. JSAI2022, pp. 3Yin248–3Yin248,2022.
金崎翔大, 河野誠也, 湯口彰重, 桂井麻里衣, 吉野幸一郎. 対話における後続発話のエントレインメント予測. 人工知能学会研究会資料 言語・音声理解と対話処理研究会, Vol. 93, pp. 50–55, 2021.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: pre-training of deep bidirectional transformers for language understanding. In Jill Burstein,Christy Doran, and Thamar Solorio, editors, Proceedings of the 2019 Conference of the North American
Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACLHLT 2019, Minneapolis, MN, USA, June 2-7, 2019,
Volume 1 (Long and Short Papers), pp. 4171–4186.

[19]

strategies of transformer-based japanese chit-chat systems,
2021.
Matt Kusner, Yu Sun, Nicholas Kolkin, and Kilian Weinberger. From word embeddings to document distances. InInternational Conference on Machine Learning, pp.
957–966, 2015.
Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q.
Weinberger, and Yoav Artzi. Bertscore: Evaluating textgeneration with bert. In International Conference onLearning Representations, 2020.
Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre,
Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, andYoshua Bengio. Learning phrase representations using
rnn encoder–decoder for statistical machine translation. InProc. of EMNLP, pp. 1724–1734, 2014.
Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke
Kobayashi, and Kentaro Inui. Unsupervised learning ofstyle-sensitive word vectors. In Proceedings of the56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp.

572–578, 2018.
[20] Diederik P Kingma and Jimmy Ba. Adam: A method forstochastic optimization. arXiv preprint arXiv:1412.6980,2014.
[21] Matt Post. A call for clarity in reporting BLEU scores.
In Proceedings of the Third Conference on MachineTranslation: Research Papers, pp. 186–191, Belgium,Brussels, October 2018. Association for Computational
Linguistics.
[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao,and Bill Dolan. A diversity-promoting objective function
for neural conversation models. In Proceedings of the2016 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language Technologies, pp. 110–119, San Diego,

California, June 2016. Association for Computational Linguistics.
[23] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT toevaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on
Empirical Methods in Natural Language Processing,pp. 2122–2132, Austin, Texas, November 2016. Association for Computational Linguistics.

Association for Computational Linguistics, 2019.
[14] Yuning Liu, Aijun Li, Jianwu Dang, and Di Zhou. Semantic and acoustic-prosodic entrainment of dialogues inservice scenarios. In Companion Publication of the2021 International Conference on Multimodal Interaction, ICMI ’21 Companion, p. 71–74, New York, NY,USA, 2021. Association for Computing Machinery.
[15] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training― 1967 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

付録（Appendix）
実際の対話例A

本節には，評価実験における実際の対話履歴とリランキング応答について 3 つの具体例を示す．各表では対話者 A，B による対話履歴を示した後に，対話履歴に続く実際の応答，𝑅1（ベースライン応答，応答尤度最大），𝑅 (BERT)（提案手法によるリランキング応答），𝑅 (WMD)（従来手法によるリランキング応答）を順に示す．

A.1

対話例 1

𝑅 (BERT) には 5 番目の応答候補が選択され，𝑅 (WMD) には 7 番目の応答候補が選択された．
AB
実際の応答
𝑅1
𝑅 (BERT) = 𝑅5
𝑅 (WMD) = 𝑅7

A.2

表 3 対話例 1
今日は、仕事が終わった後に合コンの予定が入ってるんだ。
楽しみだね！
うん、夕方から、もう、ワクワクそわそわしてるよ。
うん、今から、わくわくしてるんだ。
ずっと前から楽しみにしてたから、早く家に帰りたくてうずうずしてる。
うん、合コンって初めてだから緊張するけど、楽しいと良いな。

対話例 2

𝑅 (BERT) には 1 番目の応答候補が選択された．つまり BERTScore に基づく尺度を用いたリランキング手法を適用しても，リランキングする前と同じ応答が出力された．𝑅 (WMD) には 3 番目の応答候補が選択された．
A
B
実際の応答
𝑅1
𝑅 (BERT) = 𝑅1
𝑅 (WMD) = 𝑅3

A.3

表 4 対話例 2中学校転校の日に、教室に入ると黒板にメッセージが書いてあったよ。
それうれしいね。みんなと離れるのがいやになっちゃうよね。
全員から一言ずつメッセージが書いてあって感動したよ。転校さみしいな。
うん。今でも黒板にメッセージを見ると、青春を思い出すよ。
うん。今でも黒板にメッセージを見ると、青春を思い出すよ。
うん。あの日はなんだか思い出が蘇ってきて、感傷的になってしまったよ。

対話例 3

𝑅 (BERT) には 8 番目の応答候補が選択され，𝑅 (WMD) には 2 番目の応答候補が選択された．
ABA
実際の応答𝑅1
𝑅 (BERT) = 𝑅8
𝑅 (WMD) = 𝑅2

表 5 対話例 3
リニア新幹線って大丈夫なのかな？
たまにニュースで環境への影響が話題になってるよね
山を貫通させるわけでしょ？土砂とか水とか不安なんだけどしっかり調査して進めてほしいよね
そうだよね。リニアが開通する頃にはだいぶ復旧してると思うから、大丈夫だよと、思うけどどうなんだろうね？とりあえず安全には配慮してるとは思うけど。
確かにそうだよね。大きな影響が出なきゃいいんだけど― 1968 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).