文脈に対して同調的応答を生成するニューラル会話モデルの検討
Toward Entrained Response Generation for Neural Conversation Model∗1

河野 誠也 ∗1

水上 雅博 ∗2

吉野 幸一郎 ∗1

中村 哲 ∗1

Seiya Kawano

Masahiro Mizukami

Koichiro Yoshino

Satoshi Nakamura

奈良先端科学技術大学院大学∗2

NTT コミュニケーション科学基礎研究所

Nara Institute of Science and Technology

NTT Communication Science Laboratory

Synchronization of words in conversation, called entrainment, is generally observed in human-human conversation.
It is reported that entrainment has a high correlation with dialogue engagement. In this work, we consider using
several entrainment scores based on the word, co-occurrence to evaluate the entrainment of system generation. We
try to build a neural conversation model optimized for these entrainment scores by using reinforcement learning.
Experimental results showed that the proposed neural conversation model optimized by the entrainment scores
achieved a better entrainment score than general neural conversation models.

1.

はじめに

2.1

エントレインメント (Entrainment) は，同調傾向やシンクロニー (Synchrony) とも呼ばれ，対話における話者間の話し方や声の調子などの振る舞いが同調，類似する現象を指す．この現象は，語彙 [Brennan 96]，統語構造 [Reitter 07]，
文体 [Niederhoﬀer 02]，韻律 [Ward 07]，ターンテイキング[Campbell 10]，対話行為 [Mizukami 16] など，対話における様々な要素で観測されることが知られている．エントレインメン
トは，対話のタスク成功率や自然性，対話意欲 (Engagement)と相関することが報告されており [Nenkova 08, Levitan 15,Nasir 19]，エントレインメントの分析を通して対話システムの性能や対話の質を評価する試みが行われている．また，エントレインメントを対話中に考慮し，用例ベース対話システムにおける応答文選択に応用する取り組みが行われている [水上 17]．しかしながら，近年盛んに研究されている sequence-to-sequence
モデル [Vinyals 15, Serban 16] を用いたニューラル会話モデ
ルにおいて，エントレインメントを考慮したうえで応答生成を行う手法についての検討は行われていない．そこで本研究では，エントレインメントを考慮して応答生成を行うニューラル会話モデルについての検討を行った．具体的には，提案するニューラル会話モデルはユーザとの対話履歴を考慮して，ユーザに対して同調した発話の生成を行う．このようなモデルを構築するにあたり，本研究ではエントレインメント評価指標を報酬として用いた方策勾配型強化学習によりニューラル会話モデルの最適化を行った．

2.

注意機構付き階層型 Encoder-Decoder モデル

ニューラル会話モデルにおける応答文生成では，対話履歴
H = {Hi−1 , Hi−2 , . . . , Hi−N } が与えられたとき，応答発話
Ri = {wi,1 , wi,2 , · · · , wi,t } を生成する．ここで，i はターン，N は履歴長 ∗1 ，t は単語順である．本研究では，ニューラル会話モデルの構成として，与えた対話履歴を固定長の文脈表現に符号化する階層型 Encoder と，階層型 Encoder から受け取った文脈表現を用いて発話生成を行う Decoder からなるモデルを用いる [Serban 16]．さらに本研究では，より対話履歴を考慮した応答生成を実現するために，上記モデルに対して対話履歴を考慮した注意機構を新たに導入する．RNN セルには，Gated Reccurent Unit (GRU) を用いた．

2.1.1 階層型 Encoder
階層型 Encoder では，発話 Encoder を用いて対話履歴における各発話 Hi を固定長の発話表現 hi に符号化する．ここで，hi は Hi の各単語 wi,t について，次式を再帰的に適用することで最終的に得られるベクトル ui,t である．また，Embedding は単語 wi,t を固定長密ベクトルに写像する線形変換関数である．
ui,t = GRU(ui,t−1 , Embedding(wi,t ))(1)

次に，文脈 Encoder において発話 Encoder から得られた発話表現 hi に対して次式を再帰的に適用することで対話履歴の文脈表現 ci を得る．

ci = GRU(ci−1 , hi )(2)

2.1.2 注意機構付き Decoder
Decoder においては，階層型 Encoder から得られた対話履
歴 H の文脈表現 ci−1 を初期状態 h′0 として用いて，デコーダの中間状態 h′t と単語の生成確率 pt を計算することができる．
ここで，Linear は h′t を語彙サイズ次元の密ベクトルに写像する線形変換関数である．また，wi,t は pt からサンプルされ次のステップの入力として使用される．

提案手法

本研究では，ニューラル会話モデルがより文脈に対してエントレインメントしているような応答を生成できるように，強化学習を用いたニューラル会話モデルの最適化法の提案を行う．
本章では，まず 2.1 節で本研究で用いるニューラル会話モデルの構成について述べる．また 2.2 節において，本研究で用いたエントレインメント評価指標について述べる．最後に 2.3 節
で，強化学習に基づいたニューラル会話モデルの最適化法について述べる.

連絡先: kawano.seiya.kj0@is.naist.jp∗11h′t= GRU(h′t−1 , Embedding(wi,t−1 ))(3)

pt= softmax(Linear(h′t ))(4)

本研究では，N = 6 を設定した．

本研究では，エントレインメントという会話現象を取り扱う性質上，より対話履歴を考慮したモデルを構築することが求められる．したがって，上記の Decoder に対して対話履歴における各発話の情報をより効率的に扱うための注意機構の導入を行う．具体的には，文脈 Encoder によって得られた文脈ベ
クトルの系列 ci−1−N :i−1 ，t ステップにおける Decoder の中間状態を h′t としたとき，次のようにして各中間状態に対してアラインメントの重みを計算し，文脈ベクトル h̄t を求める．

exp(cj · h′t )exp(cj̃ · h′t )j̃=i−1−N

αj = ∑i−1i−1∑h̄ =αj̃ · cj̃

生成する．このような単語生成のプロセスは，マルコフ決定過程において，ある政策 π に従って実行される一連の行動系列とみなすことができる．本研究では，報酬計算モデルによって評価される生成応答のエントレインメント評価値を報酬として利用し，この期待報酬を最大化するようにモデルのパラメータを REINFORCE アルゴリズムにより更新する [Williams 92]．
目的関数 JREINFORCE と勾配は次式のように定義することができる．ここで，パラメータ θ を持つニューラル会話モデルを Gθ ，単語 wt を生成する確率を p とする．また，パラメー
タ θ に従って，単語 wt を出力することによって得られる報酬
rt の期待値を QGθ とする．

(5)

JREINFORCE (θ) =(6)∑Gθ (wt |w1:t−1 , H) · QGθ ((w1:t−1 , H), wt )w1:Tj̃=i−1−N(10)
さらに，文脈ベクトル h̄ を用いて，ステップ t における出力単語の予測を次のようにして行う．

∇JREINFORCE (θ) ≃(7)

pt = softmax(Linear(ĥt ))(8)· ∇θ Gθ (wt |w1:t−1 , H)Local Interpersonal Distancemini≤j≤i+k≤N

WMD(Ai , Bj )1 ∑Ewt ∼Gθ [QGθ ((w1:t−1 , H), wt )T t=1· ∇θ log p(wt |w1:t−1 , H)](12)

しかしながら，本研究で用いる報酬計算モデルは，終端状態まで生成された完全な発話系列に対してのみ計算されるため，中間ステップ t における報酬期待値 QGθ を単純には計算することができない．したがって，各ステップ t からのロールアウトを用いた Monte Carlo Tree Search によって報酬期待値 QGθ の見積もりを行う [Yu 17]．

2.3.2 エントレインメントを考慮した報酬計算モデル
生成応答のエントレインメント度合いを評価するための報酬計算モデルを定義する．最も単純な報酬計算モデルとして，
WMD を用いて他方の話者による直前の発話 Hi−1 と生答応
答 Ri の類似度を報酬 rprevious として定義することができる．
実際には，WMD は正規化されていない類似度指標であるため単純に強化学習における報酬として利用することは望ましくない．したがって，本研究では，WMD の計算結果を 0 から1 に正規化するための関数 WMDnorm を定義した．

(9)は話者 B から A に対してのエントレインメントをdB→Ai示す．同様に，A から B に対してのエントレインメントとして dB→Aを計算することができる．LID は，値が小さいほどi発話がエントレインメントしているとみなすことができる．さらに，Nasir らは，各ターンにおいて計算された LID の平均値から計算される対話セッションレベルのエントレインメント評価指標である Conversational Linguistic Distance (CLiD)を提案しており，動機付け面接における患者の共感，カップルセラピーにおける患者へ与えた肯定的影響と有意な相関があることを確認している．

2.3

(11)

T

本研究では，自動エントレインメント評価指標を報酬として用いた強化学習による最適化によって，ニューラル会話モデルが対話履歴に対してエントメントした応答を生成する．本研究では，Nasir らが提案したエントレインメント評価指標であるLocal Interpersonal Distance (LID) [Nasir 19] をベースとして，強化学習における報酬計算計算モデルの構築を行う．LID
は，エントレインメントの局所的な側面を発話レベルで捕捉することを目的としており，対話における各ターンの話者の発話のエントレインメント度合いを Word Mover’s Distance(WMD)[Kusner 15] に基づいて以下のように計算する．ここで，対話における各話者 A と B はそれぞれ交互に一発話ずつ対話 (A1 , B1 , A2 , B2 , · · · , AN , BN ) を行うものと仮定する．
N は発話ペアの総数，k は直近の発話数であり，WMD は発話間の WMD 値を計算する関数である．

dB→A=i∑ G1Q θ ((w1:t−1 , H), wt )T t=1 w ∈Vtĥt = tanh(Linear([h̄, h′t ]))

=2.2

T
∑

rprevious (Hi−1 , Ri ) = WMDnorm (Hi−1 , Ri )WMDnorm (Hi−1 , Ri ) = e−WMD(Hi−1 ,Ri )

2(13)
(14)

さらに，エントレインメントは必ずしも他方の話者による直前の発話に対してのみ行われるものではなく，他方の話者による発話履歴から文脈に応じて適切にエントレインメント対象の発話を決定することが望ましい．そこで，他方の話者の発話に対するエントレインメント度合いを示す rLID を次のように定義する．ここで，Riref は，対話履歴 H に対応するレファレンスの応答発話，H ′ は対話履歴 H から，自身による発話をすべて除外したものである．また，Uent は与えた対話履歴 H ′ の中でレファレンスの応答発話と最も類似している発話を示す．

方策勾配型強化学習による最適化

前節で述べた LID を参考に，ニューラル会話モデルの生成
応答のエントレインメント度合いを評価するための報酬計算モデルを提案する．ニューラル会話モデルの最適化には，方策勾配型の強化学習の一種である REINFORCE アルゴリズム[Williams 92] を導入する．

Uent (H ′ , Ri ) = arg max WMDnorm (Hj′ , Ri )Hj′ ∈H ′2.3.1 REINFORCE アルゴリズム
ニューラル会話モデルにおける応答生成では，対話履歴 Hの文脈表現が与えられると，単語列 R = {w1 , w2 , · · · , wT } を2(15)rLID (H ′ , Ri , Riref ) =1−|rideal − WMDnorm (Uent (H ′ , Riref ), Ri )|max(rideal , 1 − rideal )よるスコア計算を用いたアテンション機構 [Luong 15] を導入したモデル (Attention-SEQ2SEQ)，前章で述べた階層型 Encoder-Decoder モデル (HED)，注意機構付き階層型
Encoder-Decoder モデル (Attention-HED) の 4 つニューラル会話モデルを使用する．
いずれのモデルも RNN には GRU を使用し，単語埋め込み層の次元を 300，中間層の次元を 300，層数を 1 に設定した．また，使用する語彙サイズは 1,5000 とし，未知語は特殊記号 “UNK” に置き換えた．ニューラル会話モデルの事前訓
練は交差エントロピー誤差を用いて行った後，報酬計算モデル
70%50%
rprevious ， r90%
LID ，rLID ， rLID のそれぞれを用いた場合で強化
70%50%
学習による最適化を行った．ここで， r90%
LID ，rLID ， rLID は訓練データにおける実際のエントレインメント度合いの上位90%，70%，50%の値を rideal として rLID の計算を行う場合に対応する．モデルの訓練においてはバッチサイズを 64，学習率を 1 × 10−4 として，Optimizer には SGD を使用した．

(16)

rLID では，応答発話がレファレンスから計算されたエントレインメント対象の発話と類似するように，理想的なエントレインメント値 rideal との相対値を考慮して報酬を与える．これにより，前節で述べた LID を間接的に最大化するようなモデルの学習を行うことが可能になる．本研究では，理想的なエントレインメント値 rideal として，訓練データにおけるすべての応答事例における実際のエントレインメント度合いを LID の定義を参考に以下の式を用いて計算し，上位 90%，70%，50%の値を理想的なエントレインメント度合い rideal としてモデルの学習を行う．
LID(H ′ , Riref ) = max
WMDnorm (Hj′ , Riref )′Hj ∈H ′(17)3.3

2.3.3 強化学習によるニューラル会話モデルの訓練手順
強化学習によるニューラル会話モデルの訓練手順を以下に示す．まず，ニューラル会話モデルの事前学習として，Decoderの各ステップにおける単語予測結果と正解単語の負の対数尤度
JMLE (θ) を最小化するようにモデルの訓練を行う．次に，強化学習を用いて目的関数 JREINFORCE (θ) を最大化するようにモデルの訓練を行う．実際には，言語モデルの崩壊を防ぐために，各ステップにおいて JREINFORCE (θ) によるモデルパラメータ更新後に，JMLE (θ) を用いたモデルパラメータの更新も行う．
ただし，JMLE (θ) による更新の影響が支配的になることを防ぐために係数 λ = 0.1 を乗じたものを使用する．
Algorithm 1 ニューラル会話モデルの訓練手順
1: for number of steps do2:
sample (H, R) from training data
3:
4:
5:
6:

generate response R̂ by using Gθ on H
compute QGθ for (H, R̂)
update Gθ based on JREINFORCE (θ)
update Gθ based on JMLE (θ)

3.

評価実験

3.1

データセット

生成文の自動評価

応答生成の評価においては，これまでの既存研究と同様に，言語モデルの性能を測るための指標である Perplexity (PPL) による評価と，生成応答とレファレンス発話の類似度（関連性）による評価を行う．関連性についての評価指標としては，BLEU による評価と，(14) 式で定義した正規化を適用した Word Mover’s
Distance 値 [Kusner 15] の平均による評価 (WMD) を用いた．
また，エントレインメントに着目した応答生成の評価を行うために，各報酬計算モデルが応答発話に対して与える報酬値の平70%50%
均 (r̄previous ， r90%
LID ，rLID ， rLID ) を用いる．ここで，r̄previous
70%
50%
は rprevious を用いた場合， r90%
LID ，rLID ， rLID は訓練データ
における実際のエントレインメント度合いの上位 90%，70%，50%の値を理想的なエントレインメント度合いとして，それぞれ用いた場合を示す．WMD の計算においては，Twitter デー
タで事前学習された 200 次元の単語分散表現ベクトル ∗3 をノルムが 1 になるように正規化したものを用いた．

4.

実験結果

評価実験に用いるニューラル会話モデルとしては，Sequenceto-Sequence モデル (SEQ2SEQ) と，SEQ2SEQ に内積に

表 5 に各ニューラル会話モデルにおける応答生成結果について示す．ここで，強化学習を使用しないモデルでは，開発セットにおいて最も Perplexity が下がったモデルを使用した．また，強化学習を適用したモデルでは，訓練に使用した報酬計算モデルが開発セットに対して生成した応答に与える報酬の平均が最も大きいモデルを使用した．
表 5 より，負の対数尤度の最小化による訓練を用いたベースラインモデル (MLE) は，人間による応答と比較してエント70%50%
レインメント評価値 ( rprevious ，r90%
LID ， rLID ，rLID ) が大きく劣ることが確認できる．これは，既存のニューラル会話モデ
ルがエントレインメントを行う能力に乏しいのに加え，既存研究でも指摘されているように対話履歴の情報を有効に活用できていないことを示唆している．一方で，エントレインメント評価値を報酬として用いた強化学習を適用したモデルは，ベースラインモデルと比較して PPL がほぼ同等でかつ，モデルの訓練に用いた報酬計算モデルに対応するエントレインメント評価値が大きく向上していることが確認できる．
生成応答とレファレンス応答についての関連性評価については，強化学習を適用する場合では，WMD が大きく向上していることが分かる．一方で，BLEU については低下傾向にあることが確認できた．今回訓練したモデルではどのような文脈においても必ずエントレインメントした応答を生成するよ∗2∗3ニューラル会話モデルの訓練と評価には，ConvAI2∗2 で提供された PersonaChat データセットを使用した．データセッ
トは，表 2 のように訓練・開発・評価用データセットに分割したものを用いる．評価用データセットについては，非公開であったため開発用データを二分割し，それぞれ開発・評価用
データセットとして用いた．
表 1: ConvAI2 データセットにおける対話数/発話数
訓練
開発
評価3.2

対話数

発話数

17,876498
499

262,862
7,798
7,788

モデル設定

http://convai.io

3

http://nlp.stanford.edu/projects/glove/表 2: 各ニューラル会話モデルにおける応答生成結果
訓練方法

MLE

REINFORCEw/ r90%
LID
REINFORCEw/ r70%
LID
REINFORCEw/ r50%
LID

モデル

PPL

BLEU

WMD

rprevious

r90%
LID

r70%
LID

r50%
LID

Human
SEQ2SEQ
Attention-SEQ2SEQHED
Attention-HED
HED
Attention-HED
HED
Attention-HED
HED
Attention-HED

1.0
38.70
38.25
38.34
38.23
38.37
38.19
38.3538.13
38.34
38.10

100
2.08
1.81
1.47
1.9
0.79
1.12
0.27
1.12
1.6
1.04

100
37.74
36.51
36.4
38.16
47.36
47.41
44.70
45.43
41.11
39.27

40.31
34.00
32.89
31.62
33.36
43.63
43.97
41.94
41.48
37.37
36.08

72.06
60.43
57.92
56.99
60.52
78.56
79.58
76.41
76.28
68.30
66.32

81.96
75.62
72.99
72.71
76.42
86.54
86.67
87.10
88.30
84.68
83.54

84.58
83.98
81.57
82.14
85.22
85.26
84.87
87.22
88.72
90.84
90.96

うに訓練されており，実際の人間の応答傾向とは大きく異なっていることが関連性評価指標に一貫した改善が確認できない要因であると考えられる．

5.

[Levitan 15] Levitan, R., Benus, S., Gravano, A., andHirschberg, J.: Entrainment and turn-taking in human-humandialogue, in 2015 AAAI spring symposium series (2015)[Luong 15] Luong, M.-T., Pham, H., and Manning, C. D.: Eﬀective approaches to attention-based neural machine translation,
arXiv preprint arXiv:1508.04025 (2015)

おわりに本研究では，自動エントレインメント評価指標を報酬として用いた方策勾配型強化学習によるニューラル会話モデルを提案した．評価実験の結果，提案モデルは，言語モデルの性能を維持しつつ，従来モデルと比較して大幅に生成応答のエントレインメント度合いを改善することを示した．今後の課題としては，客観評価だけでなく，実際の人間による対話を通じた主観評価により提案法の有効性を検証する必要がある．また，本研
究で提案したモデルは，どのような文脈に対しても必ずモデルの訓練時に与えた理想的なエントレインメント値に近づくような応答の生成を行っている．しかしながら，対話において常にエントレインメントすることが必ずしも有効でない場合がある．したがって，文脈に応じた適切なエントレインメント度合いの調整や制御を行えるようにモデルの拡張を行う必要がある．また，応答発話と対話履歴における単語表層の単純な類似性を考慮するだけでなく，対話行為を考慮した応答生成手法[水上 17, Kawano 19] の検討も行う．

[Mizukami 16] Mizukami, M., Yoshino, K., Neubig, G.,Traum, D., and Nakamura, S.: Analyzing the Eﬀect of Entrainment on Dialogue Acts, in Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse andDialogue (2016)[Nasir 19] Nasir, M., Chakravarthula, S. N., Baucom, B. R.,
Atkins, D. C., Georgiou, P., and Narayanan, S.: ModelingInterpersonal Linguistic Coordination in Conversations Using
Word Mover s Distance, in Proc. Interspeech 2019, pp. 1423–1427 (2019)[Nenkova 08] Nenkova, A., Gravano, A., and Hirschberg, J.:High frequency word entrainment in spoken dialogue, in Proceedings of the 46th annual meeting of the association forcomputational linguistics on human language technologies:
Short papers, pp. 169–172Association for Computational Linguistics (2008)[Niederhoﬀer 02] Niederhoﬀer, K. G. and Pennebaker, J. W.:
Linguistic style matching in social interaction, Journal of Language and Social Psychology, Vol. 21, No. 4, pp. 337–360(2002)

謝辞[Reitter 07] Reitter, D. and Moore, J. D.: Predicting success indialogue (2007)

本研究は，JST さきがけ (JPMJPR165B) および JST CREST(JPMJCR1513) の支援を受けた．

[Serban 16] Serban, I. V.,
Sordoni, A.,
Bengio, Y.,
Courville, A. C., and Pineau, J.: Building End-To-End
Dialogue Systems Using Generative Hierarchical Neural
Network Models., in AAAI, pp. 3776–3784 (2016)

参考文献[Brennan 96] Brennan, S. E. and Clark, H. H.: Conceptual pacts
and lexical choice in conversation., Journal of Experimental
Psychology: Learning, Memory, and Cognition, Vol. 22, No. 6,p. 1482 (1996)[Vinyals 15] Vinyals, O. and Le, Q.: A neural conversationalmodel, arXiv preprint arXiv:1506.05869 (2015)[Ward 07] Ward, A. and Litman, D.: Measuring convergenceand priming in tutorial dialog, University of Pittsburgh (2007)[Campbell 10] Campbell, N. and Scherer, S.: Comparing measures of synchrony and alignment in dialogue speech timingwith respect to turn-taking activity, in Eleventh Annual Conference of the International Speech Communication Association (2010)[Williams 92] Williams, R. J.: Simple statistical gradientfollowing algorithms for connectionist reinforcement learning,
Machine learning, Vol. 8, No. 3-4, pp. 229–256 (1992)[Yu 17] Yu, L., Zhang, W., Wang, J., and Yu, Y.: SeqGAN:
Sequence Generative Adversarial Nets with Policy Gradient.,in AAAI, pp. 2852–2858 (2017)[Kawano 19] Kawano, S., Yoshino, K., and Nakamura, S.: Neural Conversation Model Controllable by Given Dialogue Act
Based on Adversarial Learning and Label-aware Objective, inProceedings of the 12th International Conference on NaturalLanguage Generation (2019)[水上 17] 水上 雅博, 吉野 幸一郎, Neubig, G., 中村 哲：エントレイ
ンメント分析に基づく応答文選択モデルの評価, 言語処理学会第 23回年次大会 (NLP2017), 茨城 (2017)[Kusner 15] Kusner, M., Sun, Y., Kolkin, N., and Weinberger, K.: From word embeddings to document distances,in International conference on machine learning, pp. 957–966(2015)

4