複数参照ベース評価における参照集合の評価に向けて

自然言語生成タスクの有望な自動評価方法として、複数の参照に基づく評価方法が存在する。この評価方法が機能するには、複数参照によって想定される出力候補が網羅される必要があるが、既存の評価データセットがそうした網羅性を持つかどうかは明らかではない。本研究では既存の複数参照ベース評価のデータセットに含まれる事例について、参照集合の意味的な網羅の程度を可視化するための方法論を検討する。