雑談対話における会話継続予測に基づくユーザ適応的応答評価

GPT-3[1]などの大規模事前学習済み生成モデルの出現により，近年の雑談対話システムは与えられた発話に対し、ある程度自然な応答ができるようになった[2,3,4,5]．今後、雑談対話システムがスマートスピーカやスマートフォンに搭載され，日常的に会話を続けるためには，過去の会話履歴やユーザの最新のプロフィールなどを参照しながら対象ユーザに即した応答を返すなど，応答生成モデルの個人適応が求められると考えられる[5,6,7]．では，このように特定のユーザとの会話に特化した対話システムをどのように評価するのがよいのだろうか．ユーザが好む応答は、個別ユーザに依存する[8]ため、ユーザによる対話的評価[3,4,5]は理想的ではあるものの，そのようなコストが高く，再現性が担保できず，評価の信頼性が評価者に依存する[9]という問題もあり，効率的に対話システムを開発する上で課題が残る．雑談対話システムの自動評価に関する研究[10,11,12,13,14]は様々あるが，これらの既存の自動評価手法では，対話システムの∗現在は企業に所属．予測するタスク話し相手であるユーザの視点は考慮されていない．このような背景を受けて、我々は対話の継続性予測タスクを通じた生成応答の自動主観評価[15]（図1）の研究を進めている。この研究では、Twitterなどから得られる大規模対話ログにおいて、ユーザが応答した発話は応答しない発話よりそのユーザにとって良い発話であるという仮定に基づき、ユーザのプロフィールを考慮して会話の継続性予測を行うモデルを用いて自動で主観評価を行うことを実現した．予備的な実験を通して、継続性の予測ができることを確認したものの、プロフィール文のあるユーザしか評価に利用できず、対話システムの生成応答の評価まで行えていなかった。そこで本稿では、ユーザトークン[16]を用いて会話の継続性予測を個人適応する手法を提案し，これをプロフィール文を用いて個人適応する手法[15]との比較を行う。また，実際に対話システムの生成応答に対して提案手法を適用し，評価ユーザによる人手評価との相関に基づき、提案手法の自動主観評価手法としての有効性を確認する．実験では，Twitter上の膨大な会話データセットを用いた実験により，本稿で提案するユーザトークンを用いた会話の継続性予測手法が既存のプロフィール文を用いた会話の継続性予測手法と同程度の精度で会話の継続性を予測できることを確認した．また，評価ユーザによる対話システムの生成応答に対.する人手の継続性評価にとの相関については、一部のユーザに関して，人手の継続性評価と提案手法の予測結果が相関する結果が得られた．