魅力的な対話応答生成のための複数教師による知識蒸留

オープンドメイン対話応答生成は、未だに人間の精度には及ばないタスクの一つである。近年の生成モデルの発展にもかかわらず、モデルは知識を活用することができず、一般的で無味乾燥な応答が多くみられる。先行研究では、感情や知識ベースなどの外部文脈をモデルに付加することでこの問題に対処している。本論文では、対話応答生成にモデルのパラメータ内知識を利用した新たなアプローチを提案する。魅力的な対話応答を生成するための2つの能力を定義し、それぞれを持つ複数の教師モデルを構築する。教師モデルから関連する知識を蒸留することによって、より魅力的な対話応答生成が可能な生徒モデルを学習する。学習された生徒モデルの自動及び人手評価を行った結果、提案手法の有効性を確認した。