人工知能学会研究会資料
SIG-SLUD-B505-35

エントレインメント分析に基づく用例選択モデルの提案
Response Selection on EBDM-Dialogue System based onEntrainment Analysis
水上 雅博 ∗
Masahiro Mizukami

吉野 幸一郎Graham Neubig †Koichiro Yoshino Graham Neubig

中村 哲
Satoshi Nakamura

奈良先端科学技術大学院大学 情報科学研究科
Nara Institute Science and Technology, Information Science
1

1Abstract: Entrainment is a factor in dialogue that aﬀects not only human-human dialogue but
also human-machine interaction. While the entrainment on the lexical level is well documented,
less is known about how entrainment aﬀects dialogue on a more abstract, and structural level.
In previous works, we investigated the eﬀect of entrainment on lexical choice given dialogue acts.
From these results, we build the example selection on the EBDM dialogue system that would liketo entrain with users in a similar manner.

1

はじめにの実現が期待される．

エントレインメント（Entrainment）は，同調傾向やシンクロニー（Synchrony）とも呼ばれ，対話中の話者間において，話し方や声の調子などの振る舞いが同調，類似する現象を指す．この現象は，語彙 [1, 2]，統語構
造 [3, 4]，文体 [5, 6]，韻律 [7, 8, 4, 9]，発音 [10]，ター
ンテイク [11, 12]，対話行為 [2] など，対話中の多様な要素で観測されることが知られている [13]．
また，エントレインメントが対話のタスク成功率や自然性，対話意欲（Engagement）と相関することが報告されており [14]，エントレインメントの分析を通して対話システムの性能や対話の質を測る試みが行われている．一方で，エントレインメントを対話中に考慮し，対話行為選択や応答選択に利用する取り組みは未だなされていない．
そこで本研究では，エントレインメントを考慮した用例ベース対話システムの応答選択手法に取り組む．この手法では，対話行為によって語彙のエントレインメントの度合いが変化する現象に着目し，ユーザの現在の対話行為とそれに対する応答におけるシステムの対話行為から次の発話のエントレインメントの度合いを推定し，適切なエントレインメントが生じている応答を選択する．ユーザの対話行為に合わせてエントレインメントの度合いを変化させることで，ユーザと対話システム間でより高い自然性と対話意欲を持った対話

2エントレインメントと関連研究

対話のエントレインメントを分析する研究として，聞き役対話における聞き役側の相槌（Backchannel）のエントレインメント傾向の分析がある．具体的には，ピッチ（F0）や声量（Power）の相関関係を示す研究 [9] や，発話のタイミングのみでなく，対話のターン管理や主導権についてエントレインメントが起きることを示す研究 [15] がある．さらに，対話において重要な要素である対話行為に着目した分析 [2] も行われている．この研究では，対話行為の選択傾向においてもエントレインメントが生じ，また，語彙のエントレインメントの度合いには発話の対話行為が非常に強く影響していることが分かっている．
また，人対システムの対話においては，エントレインメントを対話のモデルや戦略に組み込む研究もなされている．例えば，エントレインメントを考慮することで発話タイミングを高精度に予測する研究 [11] や，エントレインメントを誘発することで，より音声認識の成功率を高める対話戦略を持った情報提示対話システムを構築する研究 [16] がある．さらに，これらを統合し，ユーザのエントレインメントを制御・検出することで音声認識とターン管理の性能を向上する研究 [13]もある．

∗ 連絡先：奈良先端科学技術大学院大学情報科学研究科〒 630-0101 奈良県生駒市高山町 8916-5
情報科学研究科 知能コミュニケーション研究室
E-mail: masahiro-mi@is.naist.jp† 現在，カーネギーメロン大学所属．

― 135 ―

3
3.1

語彙と対話行為のエントレインメ
ント関係

ンメント指標 Ennon−partneri (V |d) を計算する．

Ennon−partneri (V |d) =∑−|Ptarget (w|d) − Pnon−partneri (w|d)|

エントレインメントの分析手法(4)w∈V

語彙のエントレインメント分析 [1] では，語彙におけるエントレインメントの度合いを示す数値としてエントレインメント指標（Entrainment Score）を提案している．エントレインメント指標は，それぞれの話者が発した単語頻度の差であり，その具体的な値 En(V )は，特定の語彙群 V と両話者の 1-gram 言語モデル確
率 PS1 (w) および PS2 (w) を用いて，以下のように表現される．
En(V ) = −∑|PS1 (w) − PS2 (w)|(1)w∈V

ここで，語彙群 V はコーパス全体において最も出現頻度の高い 25 単語（25MFC；25 Most Frequent Words
in Corpus）を用いる．先行研究において，この語彙群25MFC を用いて計算したエントレインメント指標は，タスクの成功率と高い相関を示している．
我々は，対話行為と語彙のエントレインメント分析のために，先述のエントレインメント指標を拡張した．
発話の対話行為を考慮した条件付 1-gram 言語モデル
確率を用いて，以下のように表現される．
En(V |d) = −∑|PS1 (w|d) − PS2 (w|d)|(2)w∈V

この拡張されたエントレインメント指標では，ある対話行為 d が与えられた際に生じる語彙のエントレインメントの度合いを示している．
さらに，エントレインメント指標の拡張として，対話相手以外の話者とのエントレインメント指標との勝率の利用を提案する（エントレインメント指標比率；
Entrainment Score Ratio）．これにより，対話のターン数や語彙数の影響で直接比較することが困難なエントレインメント指標が比較可能となる．エントレイン
メント指標比率は次の手順で計算される．まず，特定の話者において，その話者の条件付き言語モデル確率
PStarget (w|d) と，対話している相手話者との条件付言語モデル確率 PSpartner (w|d) から，対話相手とのエントレインメント指標 Enpartner (V |d) を計算する．

Enpartner (V |d) =∑−PStarget (w|d) − PSpartner (w|d)(3)

この対話相手とのエントレインメント指標と対話外の相手とのエントレインメント指標を比較し，対話相手とのエントレインメント指標が対話外の相手とのエントレインメント指標より高くなる確率を計算すること
で，エントレインメント指標比率 R(V |d) が得られる．

R(V |d) =(Enpartner (V |d) > Ennon−partneri (V |d))
11 ∑
0.5 (Enpartner (V |d) = Ennon−partneri (V |d))
Ni∈N 0(Enpartner (V |d) < Ennon−partneri (V |d))(5)
このエントレインメント指標比率は，エントレイン
メント指標の勝率であるため，1 に近いほど対話中の話者間に強くエントレインメントが生じていることを示す．逆に，エントレインメントが生じていない場合は 0.5 に近くなり，対話中の話者間にエントレインメントと逆の現象が生じている場合 0 に近くなる．

3.2

エントレインメントの分析結果

対話行為と語彙のエントレインメント分析 [2] の結果，語彙のエントレインメントは対話全体で一様な強さを持つのではなく，特定の対話行為において強く生じていることが明らかになった．
具体的には，挨拶（Conventional closing, Conventisonal opening），相槌（Acknowledge），表明（Statement non opinion, Statement opinion）などの対話行為においてエントレインメントは強く生じ，逆に謝罪（Apology），指示（Action directive），ネガティブな否定でない回答（Negative non-no answer）などの対話行為においてはエントレインメントは生じなかった 1 ．
これらのことから，人間は対話において，対話行為を考慮してエントレインメントを行うかどうかを決定していることが分かる．

4w∈V

エントレインメントを考慮した応
答選択モデル

同様に，特定の話者の条件付き言語モデル確率 PStarget (w|d)
対話行為と語彙のエントレインメント分析の結果かと，対話と無関係な話者群の条件付き言語モデル確率
ら，自然なエントレインメントを行う対話システムをPnon−partneri (w|d) から，対話外の相手とのエントレイ
1 Switchboard dialogue act corpus を対象にした分析結果．詳
細は [2] を参照．

― 136 ―

Enparticipants (V |d) =∑−Puser (w|d) − Psystem+rj (w|d)

(7)

w∈V

Ennon−partneri (V |d) =∑−Pnon−partneri (w|d) − Psystem+rj (w|d)

図 1: 提案法の全体図(8)w∈V構築する．まず，対話システムの全体像を図 1 に示す．
この対話システムでは，用例ベース対話システム [17]の枠組みに沿って用例選択を行うが，用例選択の際に入力文との類似度のみでなく，エントレインメントの度合いを考慮して用例を選択する．そのため，応答選択はユーザから与えられたユーザ発話 q ′ に対して，適当なシステム応答 rj を持つ用例 ⟨qj , rj ⟩ を用例データベース e から探索する処理を，ユーザ発話 q ′ とクエリ
発話 qj との類似度 Sim(q ′ , q) と，その用例がユーザに対するエントレインメント度合いの妥当性 Entr(rj ) の両者の最大化を行うことで決定する．
r̂ = argmax(λSim(q ′ , qj ) + (1 − λ)Entr(rj )).

(6)

R(V |d, Puser , Psystem+rj ) =(Enparticipants (V |d) > Ennon−partneri (V |d))
11 ∑
0.5 (Enparticipants (V |d) = Ennon−partneri (V |d))
Ni∈N 0(En(V |d) < En(V |d))participants

non−partneri(9)この応答候補ごとの条件付き言語モデル確率から計算されたエントレインメント指標比率 R(V |d, Puser , Psystem+rj )が，事前に計算された理想とするエントレインメント指標比率 Rideal (V |d) との差から，エントレインメントの妥当性を示す Entr(rj ) を計算する．

⟨qj ,rj ⟩∈e

このエントレインメント度合いの妥当性 Entr(rj ) について，3 章で述べたエントレインメント指標では，相手と同じ発話を対話システムが返したとき，言語モデル確率の差は 0 になり，最もエントレインメントが強く生じていることになる．しかしながら，エントレインメントは対話行為ごとに適切な度合いがあり，常にオウム返しが有効な戦略ではない．つまり，対話行為に応じて適切なエントレインメントの度合いを推定し，それに合わせた応答文を選択しなければならない．そこで，我々はエントレインメント指標比率を用いて，エントレインメント分析の結果と同程度のエントレインメント指標比率を持つ応答をそれぞれの発話文に対して推定する手法を提案する．具体的には，ユーザの対話行為を与えられた条件付き言語モデル確率 Puser (w|d) と対話システムの対話行為に対応する条件付き言語モデル確率 Psystem (w|d) を用いる．これらを事前に用意された対話と無関係な話者の発話から学習された N 個の条件付き言語モデル確率群 Pnon−partneri (w|d)（i ∈ N ）と比較してエントレインメント指標比率を計算し，応答選択に利用する．応答選択を行う際，応答候補群の発話rj を対話システムの言語モデルにそれぞれ追加し，応答候補ごとの条件付き言語モデル確率 Psystem+rj (w|d)
を計算する．これを用いてエントレインメント指標比率 R(V |d, Puser , Psystem+rj ) を求める．

Entr(rj ) = 1 − R(V |d, Puser , Psystem+rj ) − Rideal (V |d)(10)

これにより，理想的なエントレインメントの度合いに近い応答文を選択することが可能となり，より自然なエントレインメントの再現が期待される．

5

まとめ

本稿では，対話行為と語彙のエントレインメント分析について報告した．また，その結果に基づいて，エントレインメントの度合いを考慮した用例選択を行う
用例ベース対話システムの応答の選択手法を提案した．
この手法により，対話行為ごとに理想的なエントレインメント度合いに近い応答文を選択し，出力することが可能になる．

謝辞
本研究は，JST，CREST の支援を受けたものである．

参考文献[1] Susan E Brennan and Herbert H Clark. Conceptual pacts and lexical choice in conversation. Journalof Experimental Psychology: Learning, Memory, andCognition, Vol. 22, No. 6, p. 1482, 1996.

― 137 ―

[2] Masahiro Mizukami, Koichiro Yoshino, Graham Neubig, David Traum, and Satoshi Nakamura. Analyzing
the eﬀect of entrainment on dialogue acts. In Proc.
SIGDIAL, 2016.
[3] David Reitter and Johanna D Moore. Predicting success in dialogue. In Proc. ACL, 2007.
[4] Arthur Ward and Diane Litman. Measuring convergence and priming in tutorial dialog. In University ofPittsburgh, 2007.
[5] Kate G Niederhoﬀer and James W Pennebaker. Linguistic style matching in social interaction. Journalof Language and Social Psychology, Vol. 21, No. 4,
pp. 337–360, 2002.
[6] Cristian Danescu-Niculescu-Mizil, Michael Gamon,and Susan Dumais. Mark my words!: linguistic styleaccommodation in social media. In Proceedings of the20th international conference on World wide web, pp.
745–754. ACM, 2011.
[7] Michael Natale. Convergence of mean vocal intensity
in dyadic communication as a function of social desirability. Journal of Personality and Social Psychology,
Vol. 32, No. 5, p. 790, 1975.
[8] Rachel Coulston, Sharon Oviatt, and Courtney
Darves. Amplitude convergence in children’s conversational speech with animated personas. In Proc. ICSLP, Vol. 4, pp. 2689–2692, 2002.
[9] Tatsuya Kawahara, Takashi Yamaguchi, Miki Uesato, Koichiro Yoshino, and Katsuya Takanashi. Synchrony in prosodic and linguistic features between
backchannels and preceding utterances in attentive
listening. In APSIPA, pp. 392–395. IEEE, 2015.
[10] Jennifer S Pardo. On phonetic convergence during
conversational interaction. The Journal of the Acoustical Society of America, Vol. 119, No. 4, pp. 2382–2393, 2006.
[11] Nick Campbell and Stefan Scherer. Comparing measures of synchrony and alignment in dialogue speechtiming with respect to turn-taking activity. In INTERSPEECH, pp. 2546–2549, 2010.
[12] Štefan Beňuš, Agustı́n Gravano, Rivka Levitan,
Sarah Ita Levitan, Laura Willson, and Julia
Hirschberg. Entrainment, dominance and alliance insupreme court hearings. Knowledge-Based Systems,Vol. 71, pp. 3–14, 2014.
[13] Rivka Levitan. Entrainment in spoken dialogue systems: Adopting, predicting and influencing user behavior. In HLT-NAACL, pp. 84–90, 2013.
[14] Ani Nenkova, Agustı́n Gravano, and JuliaHirschberg.
High frequency word entrainment
in spoken dialogue. In Proc. ACL, pp. 169–172.
Association for Computational Linguistics, 2008.
[15] Rivka Levitan, Stefan Benus, Agustın Gravano, andJulia Hirschberg. Entrainment and turn-taking inhuman-human dialogue. In AAAI Spring Symposium on Turn-Taking and Coordination in HumanMachine Interaction, 2015.
[16] Andrew Fandrianto and Maxine Eskenazi. Prosodicentrainment in an information-driven dialog system.
In INTERSPEECH, pp. 342–345, 2012.
[17] 水上雅博, Lasguido Nio, 木付英士, 野村敏男, GrahamNeubig, 吉野幸一郎, Sakriani Sakti, 戸田智基, 中村哲.
快適度推定に基づく用例ベース対話システム. 人工知能
学会論文誌, 2016.

― 138 ―