自然言語生成タスクの有望な自動評価方法として、複数の参照に基づく評価方法が存在する。この評価方法が機能するには、複数参照によって想定される出力候補が網羅される必要があるが、既存の評価データセットがそうした網羅性を持つかどうかは明らかではない。本研究では既存の複数参照ベース評価のデータセットに含まれる事例について、参照集合の意味的な網羅の程度を可視化するための方法論を検討する。

機械翻訳、自動要約、対話応答生成のような自然言語生成タスクにおける代表的な自動評価として、参照ベース評価が挙げられる。参照ベース評価では出力に対する正解をあらかじめ準備し、システム出力と正解との類似度を何らかの指標によって計測することでシステム出力の良さを測る。参照ベースの評価指標には類似度の定義やタスクに応じて様々なバリエーションが存在し、たとえば機械翻訳ではBLEU[1]やMETEOR[2]、自動要約ではROUGE[3]、対話応答生成ではBERTScore[3]などが用いられる。参照ベース評価において、自然言語の多様性により望ましい出力が複数存在する場合がある。こうした問題を解消するために考案された枠組みのひとつが複数参照ベース評価で、問題毎に複数の正解からなる参照集合を用意しておくことにより、多様性が想定される出力に対しても評価可能となる。複数参照による評価は単一参照による評価と比較して人手評価との相関が強いことが報告されている[4,5,6]。複数参照ベース評価において適切な性能評価を実現するためには、参照集合が「想定される出力候補を過不足なく網羅していること」が理想的である。もし、事例ごとに必要十分な参照集合の規模や構成を事前にある程度予測できれば、評価データセットすることで網羅性を保った参照集合を構築する構築に伴うコストを最小化しつつ効果的な評価基盤を構築することが可能となる。以上の動機から、本研究では、既存の複数参照ベース評価のデータセットに含まれる事例について、参照集合の網羅の程度を定量化するための方法論を提案する。方向性としては、参照集合に対してクラスタリングを行い、類似する網羅性への貢献度が低いサンプルが凝集されることを期待する。具体的には、クラスタリングの閾値に応じて動的に構成されたクラスタの代表点を抽出して新たな参照集合を構築する。その上で、構築した参照集合を用いて複数参照ベース評価を行いスコアの変化を観察することで、元の参照集合の網羅性を特徴づけることを考える。