言語処理学会 第25回年次大会 発表論文集 (2019年3月)

フレーズ単位の発話応答ペアを⽤いた対話応答⽣成の多様化佐藤 志貴 1

大内 啓樹 2,1
1

東北大学

井之上 直也 1,22

鈴木 潤 1,2

乾 健太郎 1,2

理化学研究所 AIP センター

{shiki.sato,naoya.inoue,jun.suzuki,inui}@ecei.tohoku.ac.jp
hiroki.ouchi@riken.jp
1

はじめに



How are you ?

対話応答生成は，ユーザの発話に対する適切な応答を生成することが目的のタスクである．近年，Sequence-PBMTPBMT



so tired .

How are you ? <PBMT> so tired .

to-sequence (seq2seq) モデル [1] を代表とするニューラル機械翻訳 (Neural Machine Translation; NMT) の枠Seq2seq

組みを応答生成へ応用することによって，比較的流暢な応答を容易に生成可能となった．この応答生成法の問題点として，“I don’t know.” などの無難な単調応答 (dullI am so tired . Thanks .

responses) を頻繁に生成してしまうことが報告されて

図1: PBMT-seq2seq ハイブリッドモデル

いる [2]．
一 方 で， フ レ ー ズ (句) に 基 づ く 統 計 的 機 械 翻 訳(Phrase-based Machine Translation; PBMT) [3] を応用した応答生成法も提案されている [4]．この手法では，対話応答⽣成2

本節では，対話応答タスクの設定とその評価指標につ学習データ内の入力発話に含まれるフレーズとその応答いて詳述する．となるフレーズのペアを自動獲得し，それらを参照しな2.1

がら適切な応答を生成する．実際の対話で用いられたフレーズペアを外部メモリのように保持・参照することにタスク設定

ユーザの発話 C に対して適切な応答 R を返すタスク(シングルターン対話応答生成) に取り組む．

より，多様な応答が生成可能である．しかし，NMT に入力: C = {c1 , c2 , ...}

比べ，流暢さに欠けるという問題がある．

出力: R = {r1 , r2 , ...}

これら二つの手法の利点を活かすため，本研究では，NMT と PBMT を統合したハイブリッド生成モデル(図1) を対話応答生成に適用する．この手法では，まずPBMT 応答生成モデルが応答を生成する．次に，生成された応答と元の入力発話の両方を NMT モデルが入力として受け取り，応答を再生成する．これにより，NMTモデルによる応答生成の利点である発話の流暢さを保ちつつ，問題であった応答の多様化を図る．
評価実験として，NMT，PBMT，ハイブリッドモデ
ルを応答の多様性の観点から評価した．全体としてはNMT モデルに比べハイブリッドモデルの有意な改善は確認されなかったが，事例によってはハイブリッドモデ
ルが PBMT モデルの出力を用いることで，NMT モデルよりも多様な応答生成をすることが確認された．

例えば，ユ ーザの”How are you ?” という発 話に対し て”I am fine” と い う 応 答 を 生 成 し た 場 合，C ={How, are, you, ?}，R = {I, am, fine} となる．
2.2

評価指標

生成された応答発話 R に対して，Zhang らの先行研
究 [5] を参考に以下 2 つの観点から評価する．

1. R が流暢かつ入力発話 C の応答として適切か
2. R が多様性に富んだ発話か
1 では R が文法上正しく，かつ C への応答として意味的に妥当かを評価する．例えば，”How are you?” という入力に対し”I like soccer.” という応答は文法上正しいが C への応答として意味的に妥当でないものとする．
生成される発話の意味的な妥当性を自動評価することは極めて難しい．そこで本研究では，データセットが提供する応答発話 (リファレンス発話) に近い応答発話は― 966 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表1: 抽出されたフレーズ対の例

流暢かつ入力発話への応答として適切なものとみなし，BLEU[6] を指標として用いる．また BLEU に加え，発入力発話フレーズ話集合 R の中からリファレンス発話 Rtrue を選択する

典型的

Thank youwelcome .
do you likeI likeI help you
I ’d like to
非典型的
he is pretty
and very considerate
an aging populaton increase the retirement
How about winter ?
cold and damp

応答発話選択問題の正解率についても評価する．R は不正解としてテストデータ中からランダムサンプリングした 4 発話を加えた 5 発話の集合とする．発話選択は，モデルがタイムステップ t において応答発話中の単語 rtをデコードする確率を P (rt ) としたとき次式に従う:

1 ∑logP (rt |C, r1 , ..., rt−1 )m t=1marg max
R∈R(1)

応答発話フレーズ

Ritter ら [4] によると PBMT モデルを直接対話応答生成システムとして用いる際に次のような問題が生じる．

2 では R が”I don’t know” などの，多様性を欠いた

1. 対話においては入力発話と出力発話の対の中で同一の応答ではないかを評価する．多様性のない応答を生成し句が繰り返されることが多い．そのため入力発話を繰がちなシステムは，異なる入力発話に対しても似通ったり返すような応答を生成するモデルが学習される．

応答発話を生成しやすい．そのような応答を低く評価

2. 入力発話と応答対話の対からは，機械翻訳モデルの学し，多様な応答を高く評価する自動評価指標がいくつか習に用いられるバイリンガルデータに比べてフレーズ提案されている [2][7]．その中でも，本稿では最先端ののアラインメントが取りにくい．

自動評価指標 Ent-n[5] を用いる．Ent-n は，システムが1 について同研究では，学習により抽出されたフレーどれだけ多様な n-gram を生成したかを，生成された各ズ対のうち一方のフレーズがもう一方のフレーズの部

n-gram の出現頻度情報を考慮して評価する指標である．

分単語列になるものをフレーズテーブルから除くこと

∑1
F (w)
Ent = − ∑F (w)log ∑w F (w)w F (w)で対処した．またフレーズ対の各フレーズを単語集合(2)としたときの Jaccard 係数を負の素性として追加した(Similarity 素性) ．

w∈V

ここで，w は各 n-gram を表す．V はテスト中に出現し2 について同研究では，1 発話対のみからではなく訓た n-gram の集合であり，F (w) は各 n-gram の評価デ練データ全体を参照してアラインメントをとることで対ータ中での頻度を表す．Ent-n は，高頻度 n-gram に対応した．具体的には，用意した大量のフレーズペアの候して低い値を割り当てるような指標となる．

補に対し，訓練データ中での出現頻度をもとにフィッシ

3

従来法

3.1

NMT モデルャーの正確確率検定によってスコアリングし，上位のペアをフレーズテーブルに加えた．フレーズペアの候補は，全入力発話，応答発話の 1,2,3,4-gram 全てをそれぞれSutskever らの seq2seq[1] はエンコーダー，デコーダ

入力発話フレーズ，応答発話フレーズとしたとき，一つーに Long short-term memory (LSTM) と呼ばれる再以上の訓練データ中の発話応答対で同時に出現するよう帰型ニューラルネットワーク (RNN) を用いた生成モデな組み合わせとする．表1にこの方法で得られたフレールである．エンコーダー側の LSTM で可変長の単語列ズ対の例を示す．同表より”Thank you” - ”welcome .”を受け取り，デコーダー側の LSTM で可変長の単語列のような対話のトピックに縛られず広く用いられるようを順方向に 1 単語ずつ出力していく．

な出現頻度の高い典型的フレーズ対から，”How about

本研究では，エンコーダー側については入力単語列をwinter ?” - ”cold and damp” などのトピックが限定さ順方向，逆方向の両方向から読むことで性能を向上させれた出現頻度の低い非典型的フレーズ対も得られた．

る双方向 LSTM[8] を用いる．またデコーダー側には，デコード時に入力単語列のどの部分を重視するかを考慮す

本研究では，PBMT モデルの生成する応答を NMT

る Luong らのアテンション機構 [9] を用いる．

3.2

提案法

4モデルが参照できるようにすることで，NMT モデルのPBMT モデル

PBMT は訓練データから事前にフレーズ対とその流暢性と PBMT モデルの多様性を備えた応答生成手翻訳確率を計算した上でフレーズテーブルを作成する．

法を検討する．モデルは，機械翻訳においてニューラ― 967 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表2: 自動評価結果

ルベースモデルが低頻度語の翻訳を正確に行うことなどを目的に Niehues らにより用いられた PBMT-NMTシステム

ハイブリッドモデル [10] を用いる．図1にモデルの概リファレンス

要を示す．3.1節の NMT モデルとの違いは，エンコ

NMT
PBMTーダーに対する入力として，3.2節の PBMT モデルが′生成した C に対する応答発話 R′ = {r1′ , ..., rm′ } を加えた点である．これにより NMT モデルが PBMT モデルの生成する応答発話を参照可能にした．エンコー
ダーには C と R′ を特殊記号 <PBMT> でつないだ′{c1 , ..., cn , < PBMT >, r1′ , ..., rm′ } を入力する．

して，(a) 3.1節で示した NMT 応答生成モデル (以下NMT-model と表記)，(b) 3.2節で示した PBMT 応答生成モデル (以下 PBMT-model と表記) を用いた．これら

NMT-model，PBMT-model および提案法を用いて 2章に示した実験を行い，その結果を比較・分析することで，提案法の特徴である NMT モデルが PBMT モデルの出力を参照可能とした場合の効果を検証した．

実験結果

表2に，各モデルによって生成された応答発話の評価答発話選択精度 (select) を評価しないこととした．
表2よ り，BLEU に お い て NMT-model は 7.25 とPBMT-model のスコア 3.20 を大きく上回った．これにより NMT モデルが入力発話に対して妥当な応答を生成するタスクにおいて有効であることが改めて確認された．提案手法モデルは select において 0.356 と，NMT-model の 0.375 を下回った．しかし BLEU においては7.15 と，PBMT-model の 3.20 と比べて NMT-model に近く，PBMT モデルの出力を用いることで NMT モデルデータセット

実 験 で は 雑 談 対 話 デ ー タ セ ッ ト で あ る DailyDia-log[11] を用いた．データセットに含まれる各対話データは複数発話から成るが，今回はシングルターンでの対話応答生成を行う．そのため訓練データおよび検証データについては，N 個の発話から成る 1 つの対話データから，隣接する発話同士を (入力発話，応答発話) として取り出して N-1 個のシングルターン対話データを作成した．テストデータにおいてはデータ中の各対話データの応答の適切さが大きく損なわれることはなかった．
一方で表2より，生成された発話の多様性においてはPBMT-model がいずれの Ent-n においても NMT-modelを上回っており，より多様な n-gram を生成していることが確認された．このことから，多様な応答発話の生成を目的としたとき，PBMT モデルの出力を用いることには一定の効果が見込まれることがわかった．しかし，提案モデルはどの Ent-n についても NMT-model のスコアをわずかに上回るのみで，NMT-model に比べて大きの最終 2 発話を (入力発話，応答生成) とした．
シングルターン対話数は，訓練データ 76052，検証データ 7069，テストデータ 1000 対，1 発話あたりの単語数は 14.6 となった．

5.2

5.3

率が評価できないことから式 (1) が求まらないため，応

4節で示した提案手法に対するベースラインモデルと5.1

2 層 LSTM とした．また Dropout 確率は 0.2 とした．

結果を示す．なお，PBMT モデルでは各単語の生成確実験

5

提案手法

BLEU Ent-1 Ent-2 Ent-3 Ent-4 select5.71 8.34 9.04 9.15
7.25 5.26 7.68 8.45 8.71 0.375
3.20 5.38 8.00 8.92 9.20
7.15 5.26 7.71 8.50 8.75 0.356

な多様性の向上は確認できなかった．
以上のように NMT-model と提案手法で BLEU および Ent-n のスコアに大きな差がないことから，提案手法が PBMT モデルの出力を参照せず，NMT-model に近モデル設定

PBMT-model および提案手法の PBMT 部の実装にはMoses[12] を用いた．Ritter ら [4] の設定に従いフレー
ズペア数は 5M，素性の重みは言語モデル 0.5，フレーズ翻訳モデル 0.2，Similarity を-0.2 とした．

NMT-model および提案手法の seq2seq 部の実装にはLuong らのコードを用いた [13]．単語ベクトル，隠れ層を 300 次元として，単語ベクトルは GloVe[14] によって初期化し，語彙は GloVe の頻度上位 25000 語とした．エンコーダーは各方向 1 層の双方向 LSTM，デコーダーはい応答生成を行っている可能性がある．そのため各モデル出力の類似度を BLEU により評価した．表3に，各行に示したモデルの出力をリファレンスとしたときの，各列に示したモデルの出力の BLEU を示す．表3より，NMT-model の出力をリファレンスとした時の提案手法
モデルの BLEU スコアはわずか 7.74 となり，両者の出力には一定の異なりがあることがわかった．この異なりについては，PBMT-model の出力をリファレンスとした
とき NMT-model の BLEU スコアは 1.97，比べて提案― 968 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表3: 各モデルの生成した応答の類似度 (BLEU)

NMT
PBMT
提案手法

NMT
1.97
7.75

PBMT
2.24
5.50

モデルにより生成された応答発話の NMT モデルへの入提案手法

力方法の改善や，NMT モデルへの入力として用いるこ7.74
5.45-とを想定した PBMT モデルの工夫などが挙げられる．

謝辞

表4: 応答生成の出力例

入力発話モデル本 研 究 の 一 部 は JST 未 来 社 会 創 造 事 業 （JP-MJMI17C7）の支援を受けて行った．

応答発話

Can I have
Sure. The fitting room is
提案手法
another try?
on the right.
PBMT Sure. The fitting room is that?
NMTSure. Here you are.
Have they set
No, not yet. But Susan says
a date for 提案手法 they’d like to have married
the wedding?
in November or December.
PBMTin November or December.
NMTNot yet.

手法の BLEU スコアは 5.45 と高くなったため，提案手参考⽂献
[1]

[2]

[3]

[4]

法モデルが PBMT モデルの出力の一部をモデルの出力に組み込むことを学習したことで生じた可能性がある．

[5]

提案手法モデルが PBMT モデルの出力の一部を用いて応答生成をしたと思われる例を表4に示す．同表の例で[6]は，提案手法が PBMT 出力を用いることにより，NMTモデルに比べて多様な応答を生成したと考えられる．

6[7]

関連研究
NMT ベースモデルによる多様な応答生成に向けて，先行研究では様々な方法が検討された [2][7]．中でも本[8][9]研究に関連した研究として，Weston ら [15] は，検索モデルにより得られた応答を本研究における PBMT 出力と同じ要領で入力に加え，多様な応答生成を試みている．
フレーズペアを考慮した対話応答生成として，Wu らの研究が挙げられる [16]．同研究では，既存の対話ペア

[10]

[11]

を用いて応答を生成するランキングモデルにおいて，フ[12]レーズペアを考慮したスコアリングを行っている．

7

おわりに

[13]

本研究では，対話応答生成タスクにおいて，PBMT とNMT を統合することによって，NMT 出力の特徴であ[14]る流暢さを損なわない多様な応答生成ができるかを検証した．自動評価による多様性の向上は見られなかったが，[15]

事例によっては，提案手法が PBMT モデルの出力を用いることで NMT モデルの出力よりも多様な応答を生成していることがわかった．今後の課題として，PBMT[16]― 969 ―Ilya Sutskever, Oriol Vinyals, and Quoc V Le. “Sequenceto Sequence Learning with Neural Networks”. In: Advancesin Neural Information Processing Systems 27 . Ed. by Z.
Ghahramani et al. 2014, pp. 3104–3112.
Jiwei Li et al. “A Diversity-Promoting Objective Function
for Neural Conversation Models”. In: Proceedings of the2016 Conference of the North American Chapter of theAssociation for Computational Linguistics: Human Language Technologies. 2016, pp. 110–119.
Philipp Koehn, Franz Josef Och, and Daniel Marcu. “Statistical Phrase-based Translation”. In: Proceedings of the 2003
Conference of the North American Chapter of the Association for Computational Linguistics on Human Language
Technology - Volume 1. NAACL ’03. 2003, pp. 48–54.
Alan Ritter, Colin Cherry, and William B. Dolan. “DataDriven Response Generation in Social Media”. In: Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing. 2011, pp. 583–593.
Yizhe Zhang et al. “Generating Informative and Diverse
Conversational Responses via Adversarial Information Maximization”. In: Advances in Neural Information Processing
Systems 31. Ed. by S. Bengio et al. 2018, pp. 1815–1825.
Kishore Papineni et al. “Bleu: a Method for Automatic Evaluation of Machine Translation”. In: Proceedings of 40th Annual Meeting of the Association for Computational Linguistics. 2002, pp. 311–318.
Kris Cao and Stephen Clark. “Latent Variable Dialogue
Models and their Diversity”. In: Proceedings of the 15th
Conference of the European Chapter of the Associationfor Computational Linguistics: Volume 2, Short Papers.
2017, pp. 182–187.
M. Schuster and K. K. Paliwal. “Bidirectional recurrent neural networks”. In: IEEE Transactions on Signal Processing
45.11 (1997), pp. 2673–2681.
Thang Luong, Hieu Pham, and Christopher D. Manning.
“Effective Approaches to Attention-based Neural MachineTranslation”. In: Proceedings of the 2015 Conference on
Empirical Methods in Natural Language Processing. 2015,
pp. 1412–1421.
Jan Niehues et al. “Pre-Translation for Neural MachineTranslation”. In: Proceedings of COLING 2016, the 26th
International Conference on Computational Linguistics:
Technical Papers. 2016, pp. 1828–1836.
Yanran Li et al. “DailyDialog: A Manually Labelled Multiturn Dialogue Dataset”. In: Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers). 2017, pp. 986–995.
Philipp Koehn et al. “Moses: Open Source Toolkit for Statistical Machine Translation”. In: Proceedings of the 45th
Annual Meeting of the Association for Computational Linguistics Companion Volume Proceedings of the Demo andPoster Sessions. 2007, pp. 177–180.
Minh-Thang Luong, Eugene Brevdo, and Rui Zhao.
“Neural Machine Translation (seq2seq) Tutorial”. In:https://github.com/tensorflow/nmt (2017).
Jeffrey Pennington, Richard Socher, and Christopher Manning. “Glove: Global Vectors for Word Representation”.
In: Proceedings of the 2014 Conference on EmpiricalMethods in Natural Language Processing (EMNLP). 2014,pp. 1532–1543.
Jason Weston, Emily Dinan, and Alexander Miller. “Retrieve and Refine: Improved Sequence Generation Models
For Dialogue”. In: Proceedings of the 2018 EMNLP Workshop SCAI: The 2nd International Workshop on SearchOriented Conversational AI. 2018, pp. 87–92.
Xianchao Wu et al. “りんな：女子高生人工知能”. In: 言語処理学会第 22 回年次大会. 2016.

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.