最小ベイズリスク復号におけるバイアスと多様性の分解

一般的な自然言語生成は、探索空間を制限し出力品質を低下させる貪欲法やビーム探索に依存している。最小ベイズリスク(MBR)復号は、自動評価尺度とモデルが生成した擬似参照を利用することでこの問題を緩和する。従来研究では、MBR復号による生成性能の改善を明らかにするための経験的分析が行われ、様々な観察結果が報告されている。その一方で、それらの理論的な背景は不確かである。これに対処するために、本研究ではバイアス-多様性分解の観点からMBR復号の新しい理論的解釈を提示する。この解釈では、MBR復号による仮説の品質推定の誤差を、効用関数と人間の評価との近接性を考慮したバイアスと効用関数の品質推定のばらつきを表す多様性の二つの主要な要因に分解する。理論的分析により、バイアスと多様性の両方を同時に改善することの難しさが明らかになり、多様性を高めることによるMBR復号の性能向上の妥当性が確認された。また、複数のNLPタスクにおける実験により、理論的特性と合致する結果が観測された。