LLMベース文法誤り訂正における編集の多数決による過剰訂正の抑制

大規模言語モデル（LLM）による文法誤り訂正では，過剰訂正の問題があることが知られている[1,2]．過剰訂正は，LLMが流暢になるように文法誤りではない単語まで編集したり，“Okay,thisisthecorrectedsentence:”のような不要なテキストを生成することで生じる．CoNLL-2014共通タスク[3]をきっかけとして，訂正性能は適合率を重視する尺度である𝐹0.5によって評価されることが多いため，過剰訂正は望ましくない現象である．従来研究では，LLMを追加学習することで過剰訂正を抑制したが[4,5]，追加学習のコストは高く，ベースモデルごとに追加学習済みの重みを保持する必要があるという運用時の問題も残る．本研究では，LLMの追加学習なしで過剰訂正問題に対処するため，複数の訂正文候補を生成後，編集レベルの多数決をとるアンサンブル推論手法を提案する．提案法は，LLMから複数候補をサンプルしたとき，妥当な誤り訂正はそうでない訂正よりも多くの出力で現れるという仮説に基づいている．この仮説に従い，図1に示すように，単一モデルからHegototheschool.誤り文Hegoestoschool.訂正文採用された編集["go"→"goes"]["the"→]LLM(+Prompt)誤り文に適用仮説文1編集セット1カウントが閾値τ以上のみ採用Okay,thecorrectedsentenceis:Hegoes[→"Okay,the..."]（ここではτ=2）編集抽出["go"→"goes"]to_school.["the"→]編集カウント仮説文2編集セット2count([→"Okay,the.."])=1count(["go"→"goes"])=3count(["the"→])=2count([→"everyday"])=1count([→"Icorrected..."])=1Hegoestotheschooleveryday.["go"→"goes"]編集抽出[→"everyday"]仮説文3編集セット3Hegoesto_school.["go"→"goes"]編集抽出Icorrectedgoestogo,anddeletedthe.["the"→][→"Icorrected..."]ル多数決をとる場合の概要図．赤文字で示した不要なテキストや過剰編集[→“everyday”]を除去し，緑文字で示した訂正のみが採用された．複数の候補をサンプルし，閾値以上の候補数で現れた訂正のみを採用する．この方法は複数モデルの出力を考慮するMajorityVotingアンサンブル[6]と似ているが，本研究では単一モデルから生成された複数候補に適用する点が異なる．また，言語モデルにおけるself-consistency[7]を編集レベルで捉える．実験では，4-shot設定においてgreedyな推論と提案法による推論を比較した．その結果，過剰訂正が問題となるドメインであるほど提案法が有効であり，CWEB[8]という誤りの数が少ないドメインでは最大14ポイント以上𝐹0.5が改善した．また，提案法はテンプレートに依存せず高品質な訂正文を安定して出力できることも報告する．