対話評価における参照応答集合の妥当性と言語モデルが出力する応答の多様性の関係

雑談対話システムの性能を参照応答に基づいて評価する際，評価の妥当性を担保するためには，参照応答集合が評価対象の対話履歴に対して想定される応答候補を十分に網羅している必要がある．本研究では，言語モデルが出力する応答の多様性が，評価に必要な参照応答集合の大きさを予測する指標として有用であるかを検討した．実験の結果，少数の参照応答でも評価可能と分類された対話履歴は，それ以外の対話履歴と比較して応答候補の多様性が低いことが確認された．得られた結果から言語モデルが出力する応答の多様性が，必要な参照応答集合の予測に有用である可能性が示唆された．