テキスト生成における最小ベイズリスク復号の理論的な理解に向けて

最小ベイズリスク(MinimumBayesRisk)復号[1,2]は,自己回帰型確率モデル(例:大規模言語モデル)から系列を生成するための決定則である.最小ベイズリスク復号は,機械翻訳[3,4],画像キャプション生成[5],および指示追従型タスク[6]など,さまざまなテキスト生成タスクにおいて高品質なテキストを生成できることが示されている.また,多くの実験で,最小ベイズリスク復号がMAP復号(例:ビームサーチ)[7,8]に比べて優位性を持つことが報告されている.最小ベイズリスク復号の有効性は,多くの実験的評価によって示されているが,その根本的な理由については十分に解明されていない.Kamigaitoら[9]は最小ベイズリスク復号の人間とモデルの嗜好分布間の不一致はバイアスと多様性の項に分解できることを示唆した.Bertschら[10]は最小ベイズリスク復号の性能の成功に寄与する4つの要因を実験的に分析した.さらに,Ohashiら[11]は異常検知を用いた解析によって,モデルの嗜好分布が人間の嗜好分布に近い場合,最小ベイズリスク復号が優れた性能を引き起こすことを確認した.本研究では,最小ベイズリスク復号による出力の理論的な性能の解析を行う.本研究の結果は略式に述べると以下になる．定理1(最小ベイズリスク復号の収束レート;略式).後述する仮定の下,最小ベイズリスク復号の誤差は高い確率で参照仮説集合の大きさ𝑛に対して𝑂1√𝑛である．この理論的な知見は,先行研究において最小ベイズリスク復号の性能が参照仮説集合の大きさ𝑛に対して向上するという実験的評価と整合している[8,12].最小ベイズリスク復号によって生成されるテキストの品質に関する実験的評価は多く先行研究があるが,理論的な誤差の上界を解析した研究はこれまで存在していない.本結果はテキスト生成アルゴリズムにおける未解決の課題の一つに対する解答につながるものである.