言語モデルが生成したテキストを書き換えるタスク非依存の復号手法

先述したように提案する書き換えタスクは，特定近年，言語モデルのテキスト生成能力は飛躍的にの目的に沿った書き換えテキストを生成し，また言改善され，その流暢な出力から機械翻訳や文書要語モデルが生成したテキスト上の任意の区間の書約，チャットボットなどの幅広いテキスト生成タスき換えを扱う必要がある．これらの要件を満たすたクに利用されている．しかし，言語モデルによってめに，提案手法は元のテキストを生成した言語モデ生成されたテキストが常に正しいとは限らず，文法ルを再利用し，一般的な復号アルゴリズムである的な誤りや事実と異なる内容が含まれる可能性があBeamsearchを拡張して任意の書き換え区間においる．このような問題から，言語モデルが生成したテて複数の書き換え候補を生成する．言語モデルの再キストを人手により校正する必要があるが，これは利用により，元の目的に沿った書き換えテキストのコストのかかる作業である．人手によるテキストの生成を保証する．さらに言語モデルの再利用には，校正は，(1)誤りを含む修正区間の特定，(2)特定し追加のデータセットやモデルを必要としない利点がた区間のテキストの書き換えの二つのステップに分ある．またBeamsearchの拡張により書き換え区間けられる．多くの場合，(1)の修正区間は直感的にの後方にあるテキストを生成する制約を与えること判断でき，そのコストは比較的小さい．一方で(2)で，元の文脈と自然に繋がる書き換えテキストの生のテキストの書き換えは創造的なプロセスであるた成を可能とする．め，そのコストは比較的大きい[1]．したがって，(2)実験では，要約と翻訳の2つのタスクにおいて，―2396―.タスク固有の性能と書き換え候補の多様性の2つの観点から評価を行った．ベースライン手法として，text-inﬁllingにより書き換えを行うBART[5]とparaphraseにより書き換えを行うDElIteraTeR[4]を提案手法と比較し，提案手法がタスク固有の性能と多様性の両方においてベースラインよりも優れた性能を示した．