一般的な自然言語生成は、探索空間を制限し出力品質を低下させる貪欲法やビーム探索に依存している。最小ベイズリスク(MBR)復号は、自動評価尺度とモデルが生成した擬似参照を利用することでこの問題を緩和する。従来研究では、MBR復号による生成性能の改善を明らかにするための経験的分析が行われ、様々な観察結果が報告されている。その一方で、それらの理論的な背景は不確かである。これに対処するために、本研究ではバイアス-多様性分解の観点からMBR復号の新しい理論的解釈を提示する。この解釈では、MBR復号による仮説の品質推定の誤差を、効用関数と人間の評価との近接性を考慮したバイアスと効用関数の品質推定のばらつきを表す多様性の二つの主要な要因に分解する。理論的分析により、バイアスと多様性の両方を同時に改善することの難しさが明らかになり、多様性を高めることによるMBR復号の性能向上の妥当性が確認された。また、複数のNLPタスクにおける実験により、理論的特性と合致する結果が観測された。

大規模言語モデル(LLM)の成功が示すように[1]、自然言語生成は自然言語処理における重要タスクの一つである。これらは一般に、探索空間を制限することで、生成テキストの品質低下を招く可能性がある貪欲法やビーム探索に依存している。ベイズ最小リスク(MBR)復号[2]は、モデルが生成した擬似参照と共に、効用関数として自動評価尺度を使用することでこの問題を軽減できる。MBR復号は当初、音声認識[2]に適用され、その後、様々な自然言語生成タスクで利用されている。このため、人手評価と高い相関を持つ評価尺度∗現在、NTTコミュニケーション科学基礎研究所。を効用関数として使用することを推奨する研究[3,4,5,6]や人手のものに近い、高品質な擬似参照と、その多様性の重要性を指摘する研究[7,8]等、様々な経験的分析が行われている。これらはMBR復号の様々な側面を扱っているが、理論的背景の欠如により、統一的な解釈が依然として困難である。本研究ではこの問題に対処するために、MBR復号の理論的解釈をバイアス-多様性分解[9,10]に基づき行う。この解釈は、MBR復号における各仮説への品質推定の誤差に焦点を当てている。これらの誤差は、バイアスと多様性の二つの重要な要素に分解される。バイアスは効用関数の推定する品質と人間の評価の近さを表し、多様性は効用関数の品質推定のばらつきを反映する。この解釈に基づき、MBR復号における多様性の向上が重要であることと、バイアスと多様性の両方を同時に改善することの困難さを理論的に示し、過去の研究から得られた経験的な知見との対応を確認した。さらに、機械翻訳、テキスト要約、画像キャプション生成を対象とした実験を実施した結果、我々の理論的な分析に沿う傾向が実際に観測された。