最小ベイズリスク復号(MinimumBayesRiskdecoding)は,自然言語処理のテキスト生成において効果的であることが知られている手法である.この手法は基盤となる人間の嗜好確率分布に基づく期待効用を最大化することを目的とし,出力選択を行う.先行研究における実験的評価ではこのアプローチが顕著な成功を収めていることが示されているが,これらの手法が有効に機能する原因については未だ解明されていない.本研究では最小ベイズリスク復号が何故高い性能が得られるかを明らかにすることを目的として,その理論的な性能を分析する.分析の結果として,いくつかの仮定の下,最小ベイズリスク復号の誤差が計算に用いる参照仮説集合の大きさ𝑛に対して高い確率で𝑂(1√𝑛)に収まることが示された.

最小ベイズリスク(MinimumBayesRisk)復号[1,2]は,自己回帰型確率モデル(例:大規模言語モデル)から系列を生成するための決定則である.最小ベイズリスク復号は,機械翻訳[3,4],画像キャプション生成[5],および指示追従型タスク[6]など,さまざまなテキスト生成タスクにおいて高品質なテキストを生成できることが示されている.また,多くの実験で,最小ベイズリスク復号がMAP復号(例:ビームサーチ)[7,8]に比べて優位性を持つことが報告されている.最小ベイズリスク復号の有効性は,多くの実験的評価によって示されているが,その根本的な理由については十分に解明されていない.Kamigaitoら[9]は最小ベイズリスク復号の人間とモデルの嗜好分布間の不一致はバイアスと多様性の項に分解できることを示唆した.Bertschら[10]は最小ベイズリスク復号の性能の成功に寄与する4つの要因を実験的に分析した.さらに,Ohashiら[11]は異常検知を用いた解析によって,モデルの嗜好分布が人間の嗜好分布に近い場合,最小ベイズリスク復号が優れた性能を引き起こすことを確認した.本研究では,最小ベイズリスク復号による出力の理論的な性能の解析を行う.本研究の結果は略式に述べると以下になる．定理1(最小ベイズリスク復号の収束レート;略式).後述する仮定の下,最小ベイズリスク復号の誤差は高い確率で参照仮説集合の大きさ𝑛に対して𝑂1√𝑛である．この理論的な知見は,先行研究において最小ベイズリスク復号の性能が参照仮説集合の大きさ𝑛に対して向上するという実験的評価と整合している[8,12].最小ベイズリスク復号によって生成されるテキストの品質に関する実験的評価は多く先行研究があるが,理論的な誤差の上界を解析した研究はこれまで存在していない.本結果はテキスト生成アルゴリズムにおける未解決の課題の一つに対する解答につながるものである.