最小ベイズリスク復号におけるバイアスと多様性の分解

大規模言語モデル(LLM)の成功が示すように[1]、自然言語生成は自然言語処理における重要タスクの一つである。これらは一般に、探索空間を制限することで、生成テキストの品質低下を招く可能性がある貪欲法やビーム探索に依存している。ベイズ最小リスク(MBR)復号[2]は、モデルが生成した擬似参照と共に、効用関数として自動評価尺度を使用することでこの問題を軽減できる。MBR復号は当初、音声認識[2]に適用され、その後、様々な自然言語生成タスクで利用されている。このため、人手評価と高い相関を持つ評価尺度∗現在、NTTコミュニケーション科学基礎研究所。を効用関数として使用することを推奨する研究[3,4,5,6]や人手のものに近い、高品質な擬似参照と、その多様性の重要性を指摘する研究[7,8]等、様々な経験的分析が行われている。これらはMBR復号の様々な側面を扱っているが、理論的背景の欠如により、統一的な解釈が依然として困難である。本研究ではこの問題に対処するために、MBR復号の理論的解釈をバイアス-多様性分解[9,10]に基づき行う。この解釈は、MBR復号における各仮説への品質推定の誤差に焦点を当てている。これらの誤差は、バイアスと多様性の二つの重要な要素に分解される。バイアスは効用関数の推定する品質と人間の評価の近さを表し、多様性は効用関数の品質推定のばらつきを反映する。この解釈に基づき、MBR復号における多様性の向上が重要であることと、バイアスと多様性の両方を同時に改善することの困難さを理論的に示し、過去の研究から得られた経験的な知見との対応を確認した。さらに、機械翻訳、テキスト要約、画像キャプション生成を対象とした実験を実施した結果、我々の理論的な分析に沿う傾向が実際に観測された。