対話評価における参照応答集合の妥当性と言語モデルが出力する応答の多様性の関係

自然言語を用いて人間と意思疎通を行う雑談対話応答生成システムは医療，教育など様々な分野で注目され，研究開発が活発に行われている[1,2]．対話システムの開発においてシステム同士の性能を比較する場面は多くあり，そのような場面では評価の再現性が重要になる．現在BLEU[3]，ROUGE[4]，METEOR[5]などの参照応答に基づく評価がその需要を満たすが，人手評価との相関が弱いことが知られている[6,7]．ある対話履歴に対する妥当な応答は無数に考えられる場合があるため，単一の参照応答のみでは評価を十分に行うことが難しい．こうした問題を解決する方法として，複数の参照応答（参照応答集合）を用意する手法[8,9]が挙げられる．ただ参照応答集合を用いる場合でも，対話履歴に対して想定される応答候補を網羅する必要があるという問題は引き続き存在する．この参照応答集合の大きさは，対話履歴の種類によって大きく異なることが考えられる．近年対話タスクに用いられる言語モデルは，対話履歴に応じて多様な応答を出力することができる[10]．言語モデルから収集できる応答の多様性も，先述の参照応答集合の大きさ同様に与える対話履歴に依存して変化する．これらに関係を見出すことができれば，対話評価に必要な参照応答集合の大きさを，言語モデルを用いることであらかじめ求めることができる可能性がある．そこで本研究では，言語モデルが出力する応答候補の多様性が評価に十分な参照応答集合の大きさを予測する指標として利用可能であるかを検討する．具体的には，ある対話履歴に対して複数の参照応答が与えられたときに，その参照応答で十分に参照応答集合が網羅されているかどうかの人手評価を通じて，対話履歴の種類を評価に十分な参照応答集合の大きさごとに分類し，その種類ごとの応答候補の多様性を言語モデルを用いた応答サンプリングで定量化することを試みる．実験の結果，一定数の参照応答でも評価可能と分類された対話履歴は，それ以外の対話履歴と比較して応答の多様性が低くなることが確認された．この結果から，言語モデルが出力する応答候補の多様性が評価に十分な参照応答集合の大きさの予測に対して有用である可能性が示された．