ILYS aoba bot:
大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム
藤原吏生1 岸波洋介1
佐藤汰亮1

宮脇峻平1

今野颯人1

加藤拓真1

東北大学1

佐藤志貴1

鈴木潤1,2

理化学研究所2

乾健太郎1,2

目指すシステム：
Seq2seqとルールベースを統合した雑談対話システム
本コンペティションの評価指標
自然性

話題追随

話題提供

自然な対話が可能か

話題に関して適切に応答可能か

話題に関して新たな情報を提供可能か

ILYS aoba bot
系列変換器(seq2seq)
話題に即した自然な応答を生成
2020-11-30

ルールベース
話題に関する新たな情報を含む応答を生成
SLUD20202システム概要
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

ILYS aoba bot
応答候補から応答を選択

応答フィルタリングモジュール
継続度

重複度 類似度 情報量

もちろんだよ。東京のシンボル・観光地として知られているそうだよ
東京タワーは東京タワーですね
スカイツリーは大好きです…

対話履歴から応答候補を生成

応答生成モジュール

東京のシンボル・観光地として知られている

東京タワー

系列変換応答生成モジュール

知識ベース

知識ベース応答生成モジュール

東京タワーについて教えて2020-11-30

ユーザ

SLUD2020

3

システム概要
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

ILYS aoba bot
応答候補から応答を選択

応答フィルタリングモジュール
継続度

重複度 類似度 情報量

もちろんだよ。東京のシンボル・観光地として知られているそうだよ
東京タワーは東京タワーですね
スカイツリーは大好きです…

対話履歴から応答候補を生成

応答生成モジュール

東京のシンボル・観光地として知られている

東京タワー

系列変換応答生成モジュール

知識ベース

知識ベース応答生成モジュール

東京タワーについて教えて2020-11-30

ユーザ

SLUD20204応答生成モジュール与えられた対話履歴から応答を生成
系列変換応答生成モジュール

知識ベース応答生成モジュール

Seq2seqによる応答の生成

知識ベースを参照した
ルールベース応答の生成

東京タワーは大好きです

もちろんだよ。東京のシンボル・観光地として知られているそうだよ
東京のシンボル・観光地として知られている

東京タワー

知識ベース

東京タワーについて教えてユーザ
2020-11-30

SLUD20205応答生成モジュール
系列変換応答生成モジュール• Seq2seqのアーキテクチャ：Transformer• 総パラメータ数：約4.8億（DialoGPT medium[Zhang+’20]は3.45億）• 学習データ• 事前学習• Fine-tuning

Twitterのリプライチェーン約3億個
Twitterのリプライチェーン約6万個
対話破綻検出チャレンジ約1万個[東中+ʼ15]
話題転換対話データ約5万個• 応答生成• Diverse beam search[Vijayakumar+’18]• N-gramの繰り返しを抑制[Roller+’20]• 最小出力系列長を設定

系列変換器のパラメータは公開済（https://github.com/cl-tohoku/ILYS-aoba-chatbot）
2020-11-30

SLUD2020

6系列変換応答生成モジュール（生成例）
発話者

発話

ユーザ

最近肩こりが辛くて困っています

システム

整体とか行ってみたらどう？肩こり改善されるかもよ

ユーザ

自分でできる解決方法があれば教えてください。

システム

肩甲骨をほぐすといいらしいよ。肩凝りには✔ 話題に即した応答が生成できている
2020-11-30

SLUD20207応答生成モジュール
知識ベース応答生成モジュール
知識を尋ねるようなユーザ発話に対し知識ベース[松田+’19]と応答テンプレートを組み合わせて応答を生成

2020-11-30

SLUD2020

8

知識ベース応答生成モジュール
知識ベース

2020-11-30

SLUD2020

9

知識ベース応答生成モジュール
応答テンプレート

2020-11-30

SLUD2020

10

知識ベース応答生成モジュール
応答生成

2020-11-30

SLUD2020

11

知識ベース応答生成モジュール（生成例）
ユーザシステム東京タワーってどこにあるの？

東京タワーは東京都にあります。
東京タワーは東京都港区にある総合電波塔の愛称らしいですよ。

安倍晋三って誰ですか？

安倍晋三は内閣総理大臣の人です。
自由民主党所属の衆議院議員、第90代・第96代・第97代・第98代内閣総理大臣です。

鬼滅の刃って知ってますか？

もちろんです。
『鬼滅の刃』は、吾峠呼世晴による日本の漫画作品です。

✔ 知識に基づいた応答が生成できている
2020-11-30

SLUD2020

12システム概要
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

ILYS aoba bot
応答候補から応答を選択

応答フィルタリングモジュール
継続度

重複度 類似度 情報量

もちろんだよ。東京のシンボル・観光地として知られているそうだよ
東京タワーは東京タワーですね
スカイツリーは大好きです…

対話履歴から応答候補を生成

応答生成モジュール

東京のシンボル・観光地として知られている

東京タワー

系列変換応答生成モジュール

知識ベース

知識ベース応答生成モジュール

東京タワーについて教えて2020-11-30

ユーザ

SLUD202013応答フィルタリングモジュール
ユーザ発話

東京タワーについて教えて目的
応答生成モジュールの生成した応答候補から最終的な応答を選ぶ

応答生成モジュール

四つの指標に基づき応答を選択
応答生成モジュールの生成した応答候補
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

東京タワーは楽しいよ東京タワーについて教えます

継続度スコア
ユーザ発話に続く発話として不自然な候補を除去

重複度スコア
同じ語句が繰り返し出現する候補を除去

類似度スコアスカイツリーは大好きだよ
東京タワーは東京タワーですね2020-11-30

対話中の過去の発話と類似する候補を除去

情報量スコア
より内容のある候補を選択
SLUD202014応答フィルタリングモジュール
ユーザ発話

東京タワーについて教えて目的
応答生成モジュールの生成した応答候補から最終的な応答を選ぶ

応答生成モジュール

四つの指標に基づき応答を選択
応答生成モジュールの生成した応答候補
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

東京タワーは楽しいよ東京タワーについて教えます

継続度スコア
ユーザ発話に続く発話として不自然な候補を除去

重複度スコア
同じ語句が繰り返し出現する候補を除去

類似度スコアスカイツリーは大好きだよ
東京タワーは東京タワーですね2020-11-30

対話中の過去の発話と類似する候補を除去

情報量スコア
より内容のある候補を選択
JSAI202115

応答フィルタリングモジュール
ユーザ発話

東京タワーについて教えて目的
応答生成モジュールの生成した応答候補から最終的な応答を選ぶ

応答生成モジュール

四つの指標に基づき応答を選択
応答生成モジュールの生成した応答候補
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

東京タワーは楽しいよ東京タワーについて教えます

継続度スコア
ユーザ発話に続く発話として不自然な候補を除去

重複度スコア
同じ語句が繰り返し出現する候補を除去

類似度スコア
対話中の過去の発話と類似する候補を除去
東京タワーは東京タワーですね2020-11-30

情報量スコア
より内容のある候補を選択
SLUD2020

16応答フィルタリングモジュール
ユーザ発話

東京タワーについて教えて目的
応答生成モジュールの生成した応答候補から最終的な応答を選ぶ

応答生成モジュール

四つの指標に基づき応答を選択
応答生成モジュールの生成した応答候補
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

東京タワーは楽しいよ東京タワーについて教えます

継続度スコア
ユーザ発話に続く発話として不自然な候補を除去

重複度スコア
同じ語句が繰り返し出現する候補を除去

類似度スコア
対話中の過去の発話と類似する候補を除去

情報量スコア
より内容のある候補を選択
2020-11-30

SLUD202017応答フィルタリングモジュール
ユーザ発話

東京タワーについて教えて目的
応答生成モジュールの生成した応答候補から最終的な応答を選ぶ

応答生成モジュール

四つの指標に基づき応答を選択
応答生成モジュールの生成した応答候補
もちろんだよ。東京のシンボル・観光地として知られているそうだよ

東京タワーは楽しいよ

継続度スコアユーザ発話に続く発話として不自然な候補を除去

重複度スコア
同じ語句が繰り返し出現する候補を除去

類似度スコア
対話中の過去の発話と類似する候補を除去

情報量スコア
より内容のある候補を選択
2020-11-30

SLUD2020

18

予選の評価対話したワーカによる5段階評価の平均
3.6
3.4

3.392
3.216

3.2
3

2.725

2.8
2.6
2.4
2.2
2

自然性

話題追随

話題提供

✔自然性・話題追随で高評価を得ることができた
2020-11-30

SLUD2020

19実際に対話したワーカの声
良かった点• 『自然に対話できていると感じた』
話題に即した自然な応答を生成できた

悪かった点• 『矛盾した内容もありましたが、とても人との会話のような返し方が結構あって面白かったです。』
応答に矛盾が含まれることがある
継続度スコアの精度向上が必要• 『もっと、奥の深い専門的な話ができるところまで進めばもっと楽しいなと思います。』

新情報の提供が不十分
知識ベース応答生成モジュールを更に活用する必要2020-11-30

SLUD2020

20

まとめ• 大規模な系列変換器とWikipediaの知識を利用したルールベースを統合した対話システムを構築• 2つの応答生成モジュールの応答候補を4つの観点でフィルタリング• 評価結果から、構築した対話システムが話題に即した自然な応答を実現できたことを確認

課題・今後の展望• 応答に矛盾が含まれる→継続度スコアの算出方法の工夫• 応答による新情報の提供が不十分→知識ベース応答生成モジュールの発動条件の工夫
2020-11-30

SLUD2020

21

参考文献• Yizhe Zhang, Siqi Sun, Michel Galley, Yen-Chun Chen, Chris Brocke@, Xiang Gao, Jianfeng

Gao, Jingjing Liu, Bill Dolan
DialoGPT: Large-Scale Genera3ve Pre-training for Conversa3onal Response Genera3on.
(ACL2020)• 東中竜一郎, 船越孝太郎, 小林優佳, 稲葉通将.

対話破綻検出チャレンジ.
第75 回言語・音声理解と対話処理研究会(第6回対話システムシンポジウム)• Ashwin K Vijayakumar, Michael Cogswell, Ramprasath R. Selvaraju, Qing Sun, StefanLee, David Crandall, Dhruv Batra
Diverse Beam Search: Decoding Diverse Solu3ons from Neural Sequence Models.
(AAAI2018)• Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, JingXu, Myle O@, Kurt Shuster, Eric M. Smith, Y-Lan Boureau, Jason Weston
Recipes for building an open-domain chatbot.
(arXiv2020)• 松田耕史, 鈴木正敏, 乾健太郎.

Wikidataからの遠距離教師あり学習に基づく大規模関係知識獲得.
言語処理学会第25 回年次大会(NLP2019)2020-11-30

SLUD2020

22