情報源のアノテーションによる外部知識に基づいた応答の魅力度の分析

対話システムに情報性の高い応答を生成させるために外部知識を活用する研究が増加している[1,2,3,4,5]．そうした研究では与えられた外部知識を正確に応答に反映させる方法に注目することが多い[6,7]．しかし外部知識に基づく対話において，図1に示すように，人間は単に外部知識による情報を相手に知らせるだけでなく，話者自身が持っている知識や意見を有効に織り交ぜる[8]ことで，発話を魅力的なものにしている．与えられた外部知識を応答に正確に反映することに特化したモデルが，そのような魅力的な振る舞いをどの程度実現できるかはこれまで定量的に確認されていない．そこで本研究ではまず，外部知識に基づいた対話コーパスの発話に情報源のアノテーションを追加で施すことで，人間が話者由来情報をどの程度発話に取り込んでいるかを分析する．具体的には，発話いちばんの⾒どころはどこですか︖製作年度︓2003年レビュー︓世界的にヒットした海賊たちの争いがテーマの映画の１作⽬被推薦者⾒どころですか︖2003年の古い映画なのですが今⾒ても古さを感じず⾒れるとこですかね。海賊の争いがテーマなんですけど裏切りもあるのですがそれを超え絆を深めて⾏くとこがなんとも⼤好きです。推薦者例．推薦者発話中の青字と赤字の箇所がそれぞれ外部知識由来情報と話者由来情報を指す．推薦者発話の上部の四角部分には推薦者が該当発話で使用している外部知識を示す．中の各エンティティに対して，そのエンティティが外部知識に由来する（外部知識由来）か，話者自身の知識や意見に由来する（話者由来）かをアノテーションする．アノテーションされたデータセットを分析した結果，魅力的な発話は話者由来情報を多く含むことを確認できた．次に，パープレキシティを最小化するという一般的な手法で訓練した，BARTベースの応答生成モデルが話者由来情報をどの程度使用できているかを調査した．その結果応答生成モデルは人間ほど頻繁には話者由来情報を使用できていないことが明らかになった．以上の分析と実験結果より，外部知識に基づく応答生成における魅力度を高めるにはパープレキシティを最小化するだけでは不十分であり，学習フレームワークに改善の余地があることが示唆された．