本研究は、自然言語生成における自動評価尺度の信頼性をタスク横断の観点でのメタ分析で明らかにする。具体的には、機械翻訳・文書要約・物語生成のメタ評価データセットにてタスク横断で用いられる自動評価手法4つを調査した。従来研究のメタ評価との違いは、データセット間の比較が可能な形でシステム出力の自動・人手評価結果の相関係数を分析した点である。分析結果からは相関係数がタスク横断で著しく低下する現象が観察され、自動評価尺度のタスク横断での信頼性に留意すべきことが示唆された。従来研究の比較検討から新たな知見が得られたことでメタ分析の有用性が示された。

自然言語生成(naturallanguagegeneration;NLG)の自動評価尺度1）はタスク横断でも用いられる。例えば、代表的な手法BLEU[2]は元々機械翻訳[3,4]のために提案されたが、いまや文書要約[5]や物語生成[6]など他タスクに応用されている。しかし、これら手法がタスク横断の自動評価において信頼に足るか十分検討されていない。その結果、比較的新しいタスクの一つで自動評価手順が確立されていない雑談対話[7]にて、BLEUがベンチマーク指標として流用され、未だに使われ続けている問題がある。この問題に対し、従来研究のNLGメタ評価[4,5,6]では、機械翻訳や文書要約などの各タスク内でシステム出力の自動・人手評価結果の相関係数を算出し、自動評価手法の信頼性を議論している（図1a）。またMarieらの研究[8]は、機械翻訳において共通する自動評価手順の問題点を二次的な文献調査の形で報告している。しかし従来研究の議論は各タスク内に閉じているため、俯瞰的なタスク横断の観点で1）NLGの自動評価尺度は質的評価尺度qualitymetricsと多様性評価尺度diversitymetricsに大きく二分され、両者ともに広く用いられるが、多様性評価尺度についてはメタ評価方法[1]が定まっていないため本研究の対象外とする。(a)各NLGタスクでのメタ評価（一次研究）(b)NLGタスク横断でのメタ分析（二次研究）の信頼性は議論されていない。そこで本研究は、NLGタスク横断での自動評価尺度の信頼性をメタ分析により明らかにする（図1b）。メタ分析はサーベイ論文と似た二次研究の一種であり、一次研究（原著論文）の統計的な分析を目的とする。原則的に新たなデータ・実験を用いず、従来研究の比較のみから新たな解釈や知見を導き出す形で一次研究を俯瞰的に再検討する。本研究では機械翻訳・文書要約・物語生成のメタ評価データセットにてタスク横断で用いられる自動評価手法4つの信頼性を調査した。具体的には、メタ評価での知見も踏まえつつ、自動評価と人手評価のシステム順位相関係数をタスク間で比較可能な形で報告し、自動評価尺度の信頼性を議論する。調査の結果、BLEUなど自動評価手法の信頼性がタスク横断で著しく低下する現象や、タスク横断の観点でより信頼性が高い手法の存在などが観察された。総じて、自動評価尺度のタスク横断での信頼性.に留意すべきことが示唆される。一次研究の比較検討から新たな知見が得られたことで、メタ分析の有用性が示された。