# 魅力的な対話応答生成のための複数教師による知識蒸留

Ritvik Choudhary 河原大輔
早稲田大学理工学術院
\{ritvik@fuji.,dkw@\}waseda.jp

## 概要

オープンドメイン対話応答生成は、未だに人間の精度には及ばないタスクの一つである。近年の生成モデルの発展にもかかわらず、モデルは知識を活用することができず、一般的で無味乾燥な応答が多くみられる。先行研究では、感情や知識ベースなどの外部文脈をモデルに付加することでこの問題に対処している。本論文では、対話応答生成にモデルのパラメータ内知識を利用した新たなアプローチを提案する。魅力的な対話応答を生成するための 2 つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留することによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。

## 1 はじめに

人工知能が日常生活に普及するにつれ、単純な受け答えを超えた魅力的な対話ができる対話システムの実現が期待されている。オープンドメイン対話応答生成タスクは、そのような対話を生み出す可能性を秘めており、これまでにも多くの研究がなされている $[1,2]$ 。特に最近では、数千億パラメータに及ぶ超大規模言語モデル (LLM) の登場により、大きな進展がある [3]。しかし、LLM はサイズが大きく、 アクセスも制限されているため、さらなる学習やスケーラビリティに問題がある [4]。

そのため、本論文ではより広く使われている中規模モデル [5] に焦点を当てるが、これらのモデルは生成された応答において魅力的でないという問題がある [6]。根本的な原因の一つは、学習中にモデルが関連する知識を持たないことにあり、その結果、無味乾燥な応答が多くなってしまうことになる。

この問題に対処するため、先行研究ではペルソナ情報の追加 [7]、外部知識ベースの利用 [8]、また情報検索の応用 [9] が検討されている。これらの先行研究の多くは、生成モデルに知識を補うことで応答の品質を高めることに焦点を当てている。一方、モデルのパラメータ内知識を直接活用する手法の一つとして知識蒸留 [10] があり、対話生成にも適用されている [11]が多くない。本研究は、上記の対話応答生成の問題を解決するために、知識蒸留に基づく新たなアプローチを試みる。人間の学び方に倣い、魅力的な対話応答生成というタスクに必要な能力を複数の教師モデルに分割し、各教師のパラメータに保持されている関連知識を蒸留しながら、生徒モデルに応答生成を学習させることを目指す。

魅力的な対話応答を生成するには、以下の 2 つの能力が必要であると考える。(1) 会話能力 (conversational ability, 対話応答の発話に対する関連性)、(2) 情報提供能力 (informativeness, または知識性)。まず、それぞれの能力に対応する 2 つの教師モデルを学習する。次に、2つの教師モデルから知識蒸留を行い、応答生成のタスクにおいて生徒モデルを学習する。このアプローチにより、生徒モデルは、より魅力的な対話応答生成に必要な複数の能力を効果的に学習することができる。オープンドメインの対話データセットを用いた実験の結果、様々なベースラインを上回り、提案手法の有効性が示された。

## 2 関連研究

知識に基づく応答生成モデル自然言語生成において、知識に基づく seq2seq モデルの分野では様々な研究が行われている。近年の研究ではペルソナや共感情報を考慮する手法 [12] や、より適切で魅力的な応答を生成するために、知識に基づくオープンドメイン対話生成 [8]を発展させた手法もある。また、外部の知識ベースを照会し、応答を生成するように情報検索とテキスト生成を統合したアプローチもある [13]。外部知識べースを取り込むことを意図した

Expert distillation loss $L_{\mathrm{Ex}}$

Dialogue task-specific loss $L_{\mathrm{NLL}}$

図 1 提案手法の概要

既存の研究 [8] とは異なり、本研究はモデルのパラメータ内に蓄積された知識を利用することに焦点を置く。この点に関する先行研究には、言語モデルの内部知識の更新に注目しているもの [14] はあるが、提案手法は対話応答生成のタスクに内部知識を利用することを目的としている。

知識蒸留と対話応答生成知識蒸留 (Knowledge Distillation, KD) [10] は、当初コンピュータビジョンの分野で提案されたが [15]、最近では様々な言語処理タスクで利用されている [16]。しかし、対話応答生成における知識蒸留の利用は比較的少ない。近年では、知識蒸留を用いたデータ拡張 [11] の他、対話生成のためにカリキュラム学習と KDを組み合わせるアプローチ [17] が提案されている。本研究は、このアプローチ [17] と同様の分野ではあるが、より魅力的で情報量の多い応答を生成するために、複数の専門教師の学習と蒸留に焦点を当てている点が異なる。

## 3 提案手法

本節では、オープンドメインの対話応答生成において、複数の教師モデルから効果的に知識蒸留を行い、生徒モデルの生成結果の魅力度を向上させるための手法について述べる。まず、対話応答生成タスクを定式化し、次に提案手法を述べる。

## 3.1 対話応答生成

対話応答生成のタスクは、入力発話 $\mathbf{u}$ が与えられたときの応答 $\mathbf{r}=\left(r_{1}, r_{2}, \ldots, r_{m}\right)$ を予測する。入力発話 $\mathbf{u}$ が与えられたときに、モデルが確率 $p\left(r_{i} \mid r_{<i}, u ; \theta\right)$ に従って応答 $\mathbf{r}$ を生成できるように、 モデルのパラメータ $\theta$ を学習する。モデルパラメー タは次の損失関数、すなわち負対数尤度 (NLL) を最小化することで学習できる。

$
\mathscr{L}_{\mathrm{NLL}}(\theta)=-\sum_{i} \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

## 3.2 複数教師による知識蒸留を用いた応答生成

本研究では、魅力的な応答生成に必要な 2 つの能力に着目する。会話能力と情報提供能力である。まず、オープンドメインと知識関連の対話データに対して、それぞれ $\operatorname{Ex}(\mathrm{D})$ と $\operatorname{Ex}(\mathrm{K})$ という 2 つのモデルを、3.1 節の NLL loss に従って学習する。これらのモデルは知識蒸留 (KD) を通して、生徒モデルの教師として機能する。図 1 に提案手法の概要を示す。

KD [10] は、ある教師と生徒モデルが与えられたとき、それらの出力確率分布間の Kullback-Leibler (KL) 距離を最小にすることによって、生徒の確率分布を教師に近づける手法である。生徒 $S$ と教師 $T$ の予測分布 ( $\mathbf{r}_{s}$ と $\mathbf{r}_{t}$ とする) に対して、KD は次の距離を最小化する。

$
\mathscr{L}(\mathrm{T})_{K D}=\mathrm{KL}\left(\mathbf{r}_{s} \| \mathbf{r}_{t}\right)
$

複数の教師モデルが存在する場合、生徒には各教師からの得る知識を最適化することが重要になる。 また、知識蒸留の先行研究 [18] では、生徒と教師モデルの出力確率分布の差が大きい場合、生徒モデルの学習に悪影響を及ぼすという、容量ギャップの問題が指摘されている。

そこで、カリキュラム学習やアクティブラーニングにおける生徒中心の学習方法 [19] にならい、学習中に教師モデルの蒸留信号を効果的に調整するための指標として、生徒による応答の難易度を考慮する。先行研究 [19] に従い、本研究では生成された応答に対する生徒モデルのエントロピー $H$ を難易度の指標とみなす。

$
H=-\sum_{i} p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right) \log p\left(r_{i} \mid \mathbf{r}_{<i}, \mathbf{u}\right)
$

難易度を生徒モデルの自信としても考えることもできる。

上記の指標に基づき、バッチ内の応答を簡単なものから難しいものへと並び替え、各教師からの蒸留信号はその順序に従って分割する。例えば、難しい応答の場合、生徒 $S$ は学習しやすい教師の指導を受け、もう一方の教師から、より簡単な応答について指導を受けることになる。よって、教師モデルから蒸留信号の分割を以下のように定式化する。

$
\mathscr{L}_{\mathrm{Ex}}=\gamma \mathscr{L}(\operatorname{Ex}(\mathrm{D}))_{K D}+(1-\gamma) \mathscr{L}(\operatorname{Ex}(\mathrm{K}))_{K D}
$

ここで、 $\gamma$ は教師モデル間のバランスをとるためのパラメータとする。

式 (1)と (4)を組み合わせることで、生徒モデルの対話応答生成タスクで最適化すべき全体の損失関数 $\mathscr{L}$ を以下のように定義する。

$
\mathscr{L}=\mathscr{L}_{\mathrm{NLL}}+\lambda \mathscr{L}_{\mathrm{Ex}}
$

## 4 実験

本研究では、多様なオープンドメインの対話デー タセットを用いて提案手法を評価する。様々なべー スラインモデルの組み合わせと比較し、本研究のアプローチの有効性を確認する。

## 4.1 実験設定

本研究では様々なオープンドメインと知識的対話で fine-tuning された BART ベースの seq2seq モデルを教師と生徒モデルとして採用する。モデルの学習には Adam optimizer を用い、学習率 3e-5 のデフォルトパラメータで学習する。実装には Hugging Face ライブラリを使用する。

## 4.1.1教師モデル

3.2 節で述べたように，会話能力を表す $\operatorname{Ex}(\mathrm{D})$ と、情報提供能力を表す $\operatorname{Ex}(\mathrm{K})$ という 2 つの教師モデ

ルを学習する。Ex(D) はオープンドメインの対話データセットで学習した BART-large モデルであり、 $\operatorname{Ex}(\mathrm{K})$ は情報や知識が多い疑似対話データセットで学習した BART-base ${ }^{1)}$ モデルである。Ex(D) の単純な日常会話に比べ、 $\operatorname{Ex}(\mathrm{K})$ はより情報量の多い（多様な）データセットで学習される。そのため、知識の教師である $\operatorname{Ex}(\mathrm{K})$ は $\operatorname{Ex}(\mathrm{D})$ よりも難しいタスクを学習した教師であると想定される。すなわち、生徒にとって、 $\operatorname{Ex}(\mathrm{K})$ が $\operatorname{Ex}(\mathrm{D})$ よりも学習が困難な教師である。なお、提案手法では学習時、生徒による学習サンプルの難易度に基づいて教師を選択する。したがって、学習の過程では生徒にとって難易度の高いサンプルは、学習しやすい教師 $\operatorname{Ex}(\mathrm{D})$ の信号を受け、その逆も同様である。本研究では、 $\gamma=0.5$ に設定し、教師モデルは均等にバランスされている。

## 4.1.2 データセット

本研究では様々なオープンドメインの対話と知識に基づく対話データセットを用いて、教師と生徒モデルの fine-tuningを行う。

Open-domain dialogue datasets (ODD) 高品質な日常対話データセットとして DailyDialog [20] DailyDialog++ [21]、Cornell Movie-Dialogs Corpus [22] の 3 種類をマージして教師 Ex(D) と生徒モデルの学習に用いる。各モデルの学習サンプル数を 200,000 に固定する。

知識疑似対話データセット知識教師 $\operatorname{Ex}(\mathrm{K})$ の学習では、Wikipediaから抽出した擬似対話データセットである WikiDialog [23]を用いる。さらに、Reddit から抽出した対話データセット [13]を用いて別の教師 $\mathrm{Ex}\left(\mathrm{K}_{R}\right)$ を学習し、比較する。

なお、知識の対話データがより複雑であるため、教師モデルの学習サンプル数を 500,000 に設定する。
(\mathrm{K})$ について比較的安定した学習ができることから選択。
}
表 2 生成された応答の自動評価結果。ODD 4.1 .2 節の Open-Domain Dataset の集合である。

表 3 各評価観点において提案手法の勝率 (\%)

## 4.2 評価

提案手法の有効性を確認するため、ODD テストセットで生成された応答について自動評価と人手評価を行う。なお、教師モデルによって学習条件が異なるため、比較対象は同規模のベースラインに限定する。

ベースライン 4 つの異なるベースラインを学習し、比較する。まず、4.1.2 節で述べた ODD で直接学習したバニラ BART-base モデル (以下「バニラ」) は提案手法の同サイズの生徒モデルと直接比較する。次に、複数教師の効果を確認するため、どちらか一つの教師モデルのみで学習したベースライン (標準的な知識蒸留に相当、以下「Ex(D)-Distill」と 「Ex(K)-Distill」)を比較する。最後に、Wikipedia べー スのモデルを知識教師として使用する効果を測るため、Reddit ベース (4.1.2 節) の教師モデル Ex $\left(\mathrm{K}_{R}\right)$ を学習し、 $\operatorname{Ex}(\mathrm{K})$ と入れ替えた組み合わせ (「Multi $\left.\operatorname{Expert}\left(\mathrm{w} / \operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right)\right.\lrcorner$ 以下、「ME-Ex $\left.\left.\left(\mathrm{K}_{\mathrm{R}}\right)\right.\lrcorner\right)$ を提案手法と比較する。

自動評価生成された応答に対して自動評価を行う。先行研究に従い, BLEU とパープレキシティ (PPL) [24] のスコアを算出する。

人手評価自動評価指標は、生成された対話応答の質とあまり相関がないことが先行研究で報告されている [25]。そこで、ACUTE-Eval の手法 [2] に従い、提案手法とベースラインモデルの応答をぺア
ごとに人手評価を行う。評価は、Amazon Mechanical Turk を介して 2 つの指標で行う。一つは会話能力 (Engagement) であり、その応答をした相手とさらに会話を継続したいかどうかを表す。もう一つは情報提供能力 (Informativeness) であり、その応答が知識に富んでいるかどうかを表す。評価者となるクラウドワーカーには、テストデータから無作為に選んだ 100 個の応答を上記の各指標に基づいて比較するように求める。各応答は 7 人の評価者による多数決で勝敗を決定し、提案手法の勝率を算出した。

## 4.3 結果

評価結果を表 2、表 3 にまとめる。BLEU では提案手法が各ベースラインを上回ることが確認された。さらに、提案手法の PPL も低い值となっている。なお、提案手法の PPL が最小値ではない原因は、生成された応答が多様であるためだと考えられる。しかし、前述したように、n-gram からなる指標は応答の品質を正確に表現していないことが示されている [25]。そのため、生成された応答の人手評価も実施した。人手評価では、提案手法によって全てのベースラインに対して双方の指標が改善した。さらに、単一教師 (通常の KD) のベースラインより提案手法が全体として勝率が高いため、会話能力と情報提供能力の双方がより魅力的な回答を生成する上で重要な役割を果たすことも示された。提案手法とベースラインによる生成応答の例を付録 A に示す。

## 5 おわりに

本論文では、モデルのパラメータに含まれる知識を学習、活用することで、より魅力的な対話応答生成のためのアプローチを提案した。具体的には、2 つの異なるドメインの対話について学習した複数の教師モデルから知識蒸留を行う手法を提案した。これにより、対象となる生徒モデルは両方の教師ドメインから学習することができ、自動評価と人手評価の双方で、より魅力的で情報量の多い対話応答生成ができることが確認された。

## 謝辞

本研究は LINE 株式会社との共同研究の助成を受けて行った。

## 参考文献

[1] Apoorv Kulshreshtha, Daniel De Freitas Adiwardana, David Richard So, Gaurav Nemade, Jamie Hall, Noah Fiedel, Quoc V. Le, Romal Thoppilan, Thang Luong, Yifeng Lu, and Zi Yang. Towards a human-like open-domain chatbot. In arXiv. 2020. abs/2001.09977.

[2] Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Eric Michael Smith, Y-Lan Boureau, and Jason Weston. Recipes for building an opendomain chatbot. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 300-325, Online, April 2021. Association for Computational Linguistics.

[3] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, et al. Language models are few-shot learners. Advances in neural information processing systems, Vol. 33, pp. 1877-1901, 2020.

[4] Conglong Li, Minjia Zhang, and Yuxiong He. The stabilityefficiency dilemma: Investigating sequence length warmup for training gpt models. In Advances in Neural Information Processing Systems, 2022.

[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880, Online, July 2020. Association for Computational Linguistics.

[6] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[7] Peixiang Zhong, Chen Zhang, Hao Wang, Yong Liu, and Chunyan Miao. Towards persona-based empathetic conversational models. In Proceedings of the $\mathbf{2 0 2 0}$ Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 65566566, Online, November 2020. Association for Computational Linguistics.

[8] Emily Dinan, Stephen Roller, Kurt Shuster, Angela Fan, Michael Auli, and Jason Weston. Wizard of wikipedia: Knowledgepowered conversational agents. In International Conference on Learning Representations, 2019.

[9] Kurt Shuster, Spencer Poff, Moya Chen, Douwe Kiela, and Jason Weston. Retrieval augmentation reduces hallucination in conversation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 3784-3803, Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.

[10] Geoffrey Hinton, Oriol Vinyals, and Jeffrey Dean. Distilling the knowledge in a neural network. In NIPS Deep Learning and Representation Learning Workshop, 2015. abs/1503.02531.

[11] Rongsheng Zhang, Yinhe Zheng, Jianzhi Shao, Xiaoxi Mao, Yadong Xi, and Minlie Huang. Dialogue distillation: Opendomain dialogue augmentation using unpaired data. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 3449-3460, Online, November 2020. Association for Computational Linguistics.

[12] Tatsuya Ide and Daisuke Kawahara. Multi-task learning of generation and classification for emotion-aware dialogue response generation. In Proceedings of the $\mathbf{2 0 2 1}$ Conference of the North American Chapter of the Association for Computational Lin- guistics: Student Research Workshop, pp. 119-125, Online, June 2021. Association for Computational Linguistics.

[13] Ritvik Choudhary and Daisuke Kawahara. Grounding in social media: An approach to building a chit-chat dialogue model. In Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop, pp. 9-15, Hybrid: Seattle, Washington + Online, July 2022. Association for Computational Linguistics.

[14] Daliang Li, Ankit Singh Rawat, Manzil Zaheer, Xin Wang, Michal Lukasik, Andreas Veit, Felix Yu, and Sanjiv Kumar. Large language models with controllable working memory. arXiv preprint arXiv:2211.05110, 2022. abs/2211.05110.

[15] Yuang Liu, Wei Zhang, and Jun Wang. Adaptive multi-teacher multi-level knowledge distillation. Neurocomputing, Vol. 415 pp. 106-113, 2020 .

[16] Victor Sanh, Lysandre Debut, Julien Chaumond, and Thomas Wolf. DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter. In 5th Workshop on Energy Efficient Machine Learning and Cognitive Computing @ NeurIPS 2019, 2019.

[17] Qingqing Zhu, Xiuying Chen, Pengfei Wu, JunFei Liu, and Dongyan Zhao. Combining curriculum learning and knowledge distillation for dialogue generation. In Findings of the Association for Computational Linguistics: EMNLP 2021, pp. 12841295, 2021.

[18] Aref Jafari, Mehdi Rezagholizadeh, Pranav Sharma, and Ali Ghodsi. Annealing knowledge distillation. In Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Main Volume, pp. 2493-2504, Online, April 2021. Association for Computational Linguistics.

[19] Burr Settles and Mark Craven. An analysis of active learning strategies for sequence labeling tasks. In proceedings of the 2008 conference on empirical methods in natural language processing, pp. 1070-1079, 2008.

[20] Yanran Li, Hui Su, Xiaoyu Shen, Wenjie Li, Ziqiang Cao, and Shuzi Niu. DailyDialog: A manually labelled multi-turn dialogue dataset. In Proceedings of the Eighth International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 986-995, Taipei, Taiwan, November 2017. Asian Federation of Natural Language Processing.

[21] Ananya B Sai, Akash Kumar Mohankumar, Siddhartha Arora, and Mitesh M Khapra. Improving dialog evaluation with a multireference adversarial dataset and large scale pretraining. Transactions of the Association for Computational Linguistics, Vol. 8, pp. 810-827, 2020

[22] Cristian Danescu-Niculescu-Mizil and Lillian Lee. Chameleons in imagined conversations: A new approach to understanding coordination of linguistic style in dialogs. In Proceedings of the 2nd Workshop on Cognitive Modeling and Computational Linguistics, pp. 76-87, Portland, Oregon, USA, June 2011. Association for Computational Linguistics.

[23] Zhuyun Dai, Arun Tejasvi Chaganty, Vincent Y Zhao, Aida Amini, Qazi Mamunur Rashid, Mike Green, and Kelvin Guu. Dialog inpainting: Turning documents into dialogs. In International Conference on Machine Learning, pp. 4558-4586. PMLR, 2022.

[24] Gábor Melis, Chris Dyer, and Phil Blunsom. On the state of the art of evaluation in neural language models. In International Conference on Learning Representations, 2018.

[25] Chia-Wei Liu, Ryan Lowe, Iulian Serban, Mike Noseworthy, Laurent Charlin, and Joelle Pineau. How NOT to evaluate your dialogue system: An empirical study of unsupervised evaluation metrics for dialogue response generation. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2122-2132, Austin, Texas, November 2016. Association for Computational Linguistics.
表 4 各モデルにおける応答生成の例

発話応答 $\left(\right.$ 提案手法) 応答 $\left(\operatorname{ME}-\operatorname{Ex}\left(\mathrm{K}_{\mathrm{R}}\right)\right) \quad$ 答 $($ バニラベースライン)

Removal Point? What're you It's Removal Point. That's I'm not talking about anything. I'm not talking I'm not talking talking about! where they put the boat. I'm talking

I know why you broke up with I know, but I cannot forgive I don't forgive you. I don't know what you are talkme in college. Can you forgive you. ing about. me?

Shes very striking, don't you No, I don't think so. Its prob- No. I don't know. I don't think so. think? Are these glasses ably just fashion.

a fashion where she comes

from?

## A 対話応答生成結果の例

主なベースラインと提案手法による発話に対する生成応答の例を表 4 に示す。