自然言語生成におけるタスク横断自動評価のメタ分析

本研究は、自然言語生成における自動評価尺度の信頼性をタスク横断の観点でのメタ分析で明らかにする。具体的には、機械翻訳・文書要約・物語生成のメタ評価データセットにてタスク横断で用いられる自動評価手法4つを調査した。従来研究のメタ評価との違いは、データセット間の比較が可能な形でシステム出力の自動・人手評価結果の相関係数を分析した点である。分析結果からは相関係数がタスク横断で著しく低下する現象が観察され、自動評価尺度のタスク横断での信頼性に留意すべきことが示唆された。従来研究の比較検討から新たな知見が得られたことでメタ分析の有用性が示された。