言語処理学会 第30回年次大会 発表論文集（2024年3月）

言語モデルが生成したテキストを書き換える
タスク非依存の復号手法
藤田 正悟 1 小林 尚輝 1 後藤 啓介 1
1 株式会社 LegalOn Technologies{shogo.fujita,naoki.kobayashi,keisuke.goto}@legalontech.jp

概要
言語モデルは流暢なテキスト生成を可能とし幅広い生成タスクに使用されているが，その出力は常に正しいとは限らない．そのため，実際には言語モデ
ルによって生成されたテキストを手作業で校正する必要があるが，これは時間のかかる作業である．本
稿では指定された区間のテキストを書き換えるタス
ク，および書き換えのための復号手法の拡張を提案
する．提案手法は書き換えたいテキストの生成に使用した言語モデルを再利用するため，追加のモデルの学習やデータセットを必要とせずテキストを書き換えることができる．実験では要約タスクと翻訳タ
スクにおける本手法の有効性を評価し，text inﬁllingモデルと paraphrase モデルをベースラインとして比較した．提案手法は品質と多様性の両方においてベースラインを上回り，書き換えタスクへの有効性を実証した．

1

はじめに

近年，言語モデルのテキスト生成能力は飛躍的に改善され，その流暢な出力から機械翻訳や文書要
約，チャットボットなどの幅広いテキスト生成タス
クに利用されている．しかし，言語モデルによって生成されたテキストが常に正しいとは限らず，文法的な誤りや事実と異なる内容が含まれる可能性がある．このような問題から，言語モデルが生成したテキストを人手により校正する必要があるが，これはコストのかかる作業である．人手によるテキストの校正は，(1) 誤りを含む修正区間の特定，(2) 特定した区間のテキストの書き換えの二つのステップに分けられる．多くの場合，(1) の修正区間は直感的に判断でき，そのコストは比較的小さい．一方で (2)のテキストの書き換えは創造的なプロセスであるため，そのコストは比較的大きい [1]．したがって，(2)の書き換えが校正にかかるコストの大半を占める．
本稿では，校正にかかるコストの削減を目的として，言語モデルが生成したテキストを対象に，指定した区間を書き換えるタスクを提案する．ただし，本タスクで対象とする言語モデルは，要約や翻訳などの特定のタスクに応じたテキストの生成を目的とした言語モデルに限定し，書き換えられたテキストはそのタスクに応じた特性を満たす必要がある．例えば，文書要約を行う言語モデルの生成したテキストを対象にした書き換えでは，書き換えられたテキストも入力文書の要約である必要がある．そのため，一般的な知識から一部が欠落したテキストの穴埋めを行う text-inﬁlling [2] や，テキストの意味
を変えずに長さや文体の異なるテキストを生成する paraphrasing [3, 4] とはタスクの性質が異なる．また，実際のシステムとして運用する場合，複数の書
き換え候補から手動で最も良いものを選べた方が有用である．そこで，本タスクでは複数の候補を生成し，その多様性も評価する．
先述したように提案する書き換えタスクは，特定の目的に沿った書き換えテキストを生成し，また言語モデルが生成したテキスト上の任意の区間の書き換えを扱う必要がある．これらの要件を満たすた
めに，提案手法は元のテキストを生成した言語モデ
ルを再利用し，一般的な復号アルゴリズムである
Beam search を拡張して任意の書き換え区間において複数の書き換え候補を生成する．言語モデルの再利用により，元の目的に沿った書き換えテキストの生成を保証する．さらに言語モデルの再利用には，
追加のデータセットやモデルを必要としない利点がある．また Beam search の拡張により書き換え区間の後方にあるテキストを生成する制約を与えること
で，元の文脈と自然に繋がる書き換えテキストの生成を可能とする．
実験では，要約と翻訳の 2 つのタスクにおいて，― 2396 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

タスク固有の性能と書き換え候補の多様性の 2 つの観点から評価を行った．ベースライン手法とし

2.3

出力の品質に関する工夫て，text-inﬁlling により書き換えを行う BART [5] とSAGen は，(eos) の代わりに suﬃx を生成すること

paraphrase により書き換えを行う DElIteraTeR [4] をで，書き換えられた出力の末尾を suﬃx にする．こ

提案手法と比較し，提案手法がタスク固有の性能とれは，出力を冗長にしたり，文法的に不正確にした

多様性の両方においてベースラインよりも優れた性りする可能性があるため，これらの悪影響を回避す能を示した．

るために以下の方法を提案する．

2

提案手法

2.1

タスク定義

2.3.1

Length Adjust (LA)

書き換えタスクの目的は，元のテキストを置き換えるテキストを生成することであり，ほとんどの場

提案する書き換えタスクを，言語モデルの生成し合，書き換えの前後でテキストの長さは類似していたテキスト上の指定された区間に対して書き換え

る．Length Adjust (LA) は，式 (1) で生成された suﬃx候補を生成するタスクとして定式化する．本タス
クの入力は，特定のタスクで学習された言語モデのスコアに 𝛼 を用いて以下のように重み付けを行い，出力長を制御する．

ル，言語モデルに入力されたテキスト，言語モデ
ルの生成したテキスト 𝑂 = [𝑜1 , . . . , 𝑜 𝑛 ] および 𝑂 上𝛼ˆ𝑃(suﬃx|𝑤<𝑡 ) = 𝑃(suﬃx|𝑤 <𝑡 )の書き換え区間 (𝑠, 𝑒) とする．本タスクの出力は，[𝑜 𝑠 , . . . , 𝑜 𝑒−1 ] に代わる書き換え候補とする．以降でmin(𝑡 − 𝑠, |target|)𝛼 = 𝛼𝑠 + (𝛼𝑒 − 𝛼𝑠 )|target|は [𝑜 1 , . . . , 𝑜 𝑠−1 ]，[𝑜 𝑠 , . . . , 𝑜 𝑒−1 ]，[𝑜 𝑒 , . . . , 𝑜 𝑛 ] をそれ

𝛼𝑠 と 𝛼𝑒 はそれぞれ，𝛼 の最大値と最小値を表すハ

ぞれ，preﬁx，target，suﬃx とし， preﬁx と suﬃx は書

イパーパラメータである．

(2)

き換え区間の前後のテキスト，target は書き換え区間に該当するテキストである．

2.2

2.3.2

Word Joint (WJ)

SAGen は suﬃx と文法的に繋がらないような文を

Suﬃx-Aware Generation (SAGen)

生成してしまうことがある．これは，suﬃx の先頭

一般に，言語モデルは左から右へ逐次的にトークのトークンの生成スコア 𝑃(𝑜 𝑒 |𝑤 <𝑡 ) と，式 (1) とのンを生成し，(eos) が出力されると生成を終了する．

間に乖離があるために起こると考えられる．このず

テキスト上の与えられた区間の書き換え候補を生れを埋めるために，Word Joint (WJ) は，suﬃx の先頭成する場合，出力される書き換え候補は元のテキス
トの前後の文脈と自然につながる必要がある．しかの生成スコアを利用して suﬃx の生成確率を次のように補正する．

し，先に述べたように，言語モデルは左から右へと{生成するため，生成時に後ろの文脈を考慮しない．

ˆ𝑃(suﬃx|𝑤<𝑡 ) =

結果として生成された書き換え候補は，後続する文と上手く繋がらない．この問題を解決するために，
我々は (eos) の代わりに suﬃx を出力して生成を終了する Suﬃx-Aware Generation (SAGen) を提案する．
SAGen は，各時刻ステップにおいて，以下のように
suﬃx を生成するスコアを計算する．
𝑃(suﬃx|𝑤 <𝑡 )𝑛∏1=
𝑃(𝑜𝑖 |𝑤 1 , . . . , 𝑤 𝑡 −1 , 𝑜 𝑒 , . . . , 𝑜 𝑖−1 ) |suﬃx|

𝑃(suﬃx|𝑤 <𝑡 )𝑃(𝑜 𝑒 |𝑤 <𝑡 ) ≥ 𝑑0𝑃(𝑜 𝑒 |𝑤 <𝑡 ) < 𝑑(3)

ここで，𝑑 は suﬃx に繋がるかどうかを判断する閾
値でありハイパーパラメータである．

2.4

出力の多様性に関する工夫

実際の書き換えシステムのユースケースでは，複数の候補を出力させ，その中から最適なものを手動で選択する方法が考えられる．そこで，Beam search(1)（BS）に SAGen を適用することで，suﬃx で終わる

ここで，𝑃 は言語モデルの生成スコア，𝑤 <𝑡 は時刻

かし，BS は尤度に基づいて候補を生成するため，

𝑡 以前に生成されたトークン列，|suﬃx| は suﬃx のビーム間で類似した候補が生成される傾向がある．
Diverse beam search (DBS) [6] は，ビームを複数のグ

𝑖=𝑒

複数の候補を効率的に生成することができる．しトークン数であり，スコアの正規化に用いられる．

― 2397 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ループに分割し，グループ間の類似性を低減する制ベースライン: ベースラインモデルとして BART [5]約により，BS の出力間の多様性を改善する手法でと DElIteraTeR [4] を用いた．BART は書き換え候補ある．ここで DBS に追加して候補間の長さの多様を Text-Inﬁlling タスクとして生成し，DElIteraTeR は性を改善する多様長ビーム探索（DLBS）を提案す

書き換え候補を Paraphrase タスクとして生成する5）．

る．様々な長さの候補を生成することは，書き換え

これらのモデルは，この実験で使用されたデータ

時の情報の追加や削除に相当するため有用である．

セットとは異なるデータセットで学習されている．

DLBS はグループ 𝑔 について式 (2) の 𝛼 を計算する．
min(𝑡 − 𝑠, 𝛽𝑔 |target|)𝛼𝑔 = 𝛼𝑠 + (𝛼𝑒 − 𝛼𝑠 )(4)
𝛽𝑔 |target|

復号手法: 貪欲な復号手法では，target と同じテキス
トが再度生成されるため，書き換え候補を生成する

ここで，𝛽𝑔 はグループ 𝑔 の出力長を制御するパラメータである．

我々は DLBS と比較するためのベースラインとして3

際には BS や確率的な復号手法を用いる必要がある．
Sample beam search (SBS) [15] と DBS を使って実験
を行った．

実験設定

準備: 我々は翻訳と要約における書き換えタスクに取り組む．まず，各タスクの言語モデルによる出力を用意する．書き換え区間の指定を模倣するため，文頭から 20%の単語を preﬁx，文末の 20%を suﬃx とした．残りの 60%を書き換え，各タスクに対する書き換えの適切性を評価した．

ハ イ パ ー パ ラ メ ー タ: 我 々 は LA の パ ラ メ ー タを 𝛼𝑠 = 0.5，𝛼𝑒 = 0.1 とし，DLBS のパラメータを
𝛽 = [0.8, 0.9, 1.0, 1.1, 1.2] とした．WJ のパラメータは 要 約 タ ス ク で は 𝑑 = 1𝑒−3 を，翻 訳 タ ス ク で は
𝑑 = 1𝑒−4 を使用した．復号時にはビーム幅を 𝐵 = 10とし，サンプリングを上位 𝑘 = 50 の尤度に，グルー
プサイズ 𝑔 = 5 として実験を行った．

検 証 す る デ ー タ セ ッ ト と 言 語 モ デ ル: 翻 訳 タス ク の 検 証 で は，デ ー タ セ ッ ト に WMT19 En-

結果

4

De [7]，言語モデルに ‘facebook/bart-wmt19-de-en を

XSum での実験結果 (表 1) は，SAGen が ChatGPT-

用 い て 実 験 し た1）．ま た，要 約 タ ス ク の 検 証 では，デ ー タ セ ッ ト に XSum [8] を，言 語 モ デ ル に

Score において DElIteraTeR と同等であり，Self-BLEU
において総合的に最も優れていることを示してい‘facebook/bart-large-xsum を用いた．実験では，各る．さらに，WMT19 の結果（表 1）では，ChatGPT-

データセットに含まれる dev セットと test セットのScore と Self-BLEU の両方で SAGen が最も優れてい

分割をそのまま使用した．

る．BART と DElIteraTeR は，preﬁx と suﬃx を出力

評 価 指 標: 各 タ ス ク の 性 能 を 評 価 す る 評 価 指 標する制約に違反することが多く，DElIteraTeR の出力と し て，要 約 に は ROUGE 1/2/L [9] を，翻 訳 に はの半分は制約を満たしていなかった．

BLUE [10] と Comet22 [11] を使用した2）．これらのどちらのデータセットにも共通して，BART は出

スコアは，各タスクの正解文と書き換えた出力の力の質を評価する ChatGPT-Score が他より低い傾向間で計算する．また，ChatGPT3）を利用した評価指があった．これは，BART の言い換えた出力が極端標である ChatGPT-Score も報告する4）．書き換え候に短くなる傾向から，その言い換え元のテキストと補 の 多 様 性 を 評 価 す る た め に，生 成 さ れ た 候 補の乖離が大きくなったためである．DElIteraTeR は間 の 類 似 度 を 計 算 す る Self-BLEU [14] を 用 い た．

出力品質の指標は高いものの，多様性が低い．これ

Self-BLEU が低いほど，多様性が高いことを示す．
書き換えタスクではその書き換え出力において，はピリオドの追加や単語の削除などの小さな変更が多いためであり，このことから書き換えタスクには

preﬁx と suﬃx を保持しなければならない．この制適さないとわかる．
Self-BLEU に お い て SBS は DBS と 比 較 し て，約を満たした割合を Constraint として報告する．
1） 書き換えは単語単位で行うので，3 単語未満の文章は検証から除いた．
2） これらの設定はすべて，Evaluation by Huggingface のデフォ
ルト・パラメーターを使用した．
3） https://openai.com/chatgpt
4） [12] のプロンプトを翻訳の評価に，[13] のプロンプトを要約の評価に使用し，各データセットからランダムに 100 件のサンプルを選択して評価した．

XSum で 27.13 ポイント，WMT19 で 30.04 ポイント増加した．ここから，SBS は多様性の点で DBS より劣っているということがわかる．これは，SBS が確
5） DElIteraTeR は 5 つの編集注釈タグを使用して，どのように言い換えるかを指定する．タグの中で style が平均して良いスコアであったため，style を用いた出力を評価に用いる．

― 2398 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

ChatGPT-Score

ROUGE
1/2/L

Decoding method
Rel. Con. Flu. Coh.

Self-BLEU

Constraint

no-rewriting-

8.53 9.60 8.21 8.47 43.82/21.76/36.29

-

-

BART
DElIteraTeR
SAGen

DBS
DBS
DBS

3.43 7.50 7.02 6.33 26.67/10.58/23.03
7.72 9.32 8.04 8.05 35.07/15.03/29.50
7.78 9.24 7.98 8.05 40.30/17.51/32.39

58.38
61.86
46.46

0.11
0.50
1.00

SAGen

SBS
DLBS

7.94 9.39 7.94 8.04 41.81/20.04/34.29
7.77 9.20 7.96 8.02 40.31/17.52/32.40

73.29
45.39

1.00
1.00

Decoding method

ChatGPT-Score

BLEU

Comet22

Self-BLEU

Constraint

no-rewriting

-

89.20

80.89

39.84

-

-

BART
DElIteraTeR
SAGen

DBS
DBS
DBS

32.61
73.27
81.46

57.46
73.81
79.62

8.38
17.00
29.77

57.50
57.57
48.42

0.65
0.49
1.00

SAGen

SBS
DLBS

82.69
79.68

78.22
79.44

38.92
29.64

78.46
47.71

1.00
1.00

表 1 XSum で の 実 験 結 果 (上) WMT19 で の 実 験 結 果 (下). XSum の ChatGPT-Score は relevance, consistency, ﬂuency,
coherence の 4 つの観点で 10 段階で評価した。各指標で最も優れたスコアを bold で示した.

率的に次の候補を選択するため，スコアの高いビー

スクは書き換え対象が特定の言語モデルの出力であムの影響を強く受け，ほぼ同じテキストが複数出力るため，その言語モデルに入力されたテキストも考されるためである．また，DLBS は DBS より XSum

慮した上で書き換えを行う違いがある．

が 1.07 ポイント，WMT19 が 0.71 ポイント低かっ

復号手法は言語モデルがテキストを生成する仕組

た．これは，DLBS が出力をさらに多様化する効果みである．復号手法の一つである BS は貪欲な復号があることを示している．一方，品質に関する評価

手法より良いテキストを生成することが報告されて尺度である ChatGPT-Score は WMT19 では 1.78 ポイ
ント低下したが，XSum はほぼ同じであった．ここいる [27]．さらに BS を拡張する多くの手法が提案されている [28, 6, 29]．後方の文脈を考慮する復号

からほとんどの場合 DBS を使用し，多様性がより手法として SAGen を提案し，また BS の拡張として重要な場合にのみ DLBS を使用することが適切であ長さを考慮する DLBS を提案した．
校正は高品質な文章を書くために不可欠なプロセ

ることがわかる．事例分析については Appendix 7.1
を参照されたい．

5

スであり，人間と機械が分担して校正を行う取り組
みが多くなされている [30, 5, 31, 1]．これらの研究

関連研究

では，人がすべての校正作業を行うよりも，機械とText inﬁlling [16, 17, 18, 19] はテキストの欠落部

共同作業を行う方が効率的であることが報告されて分を生成するタスクである．Text inﬁlling は特定のいる．SAGen はこのような校正作業に利用できる．

区間のテキストを書き直すと言う点で我々の提案する書き換えタスクと類似している．一方で，Text

まとめ

6inﬁlling は周囲の文脈のみを利用してテキストの欠

我々は言語モデルによって生成されたテキストの落部分を生成するのに対し，我々のタスクは書き換

任意の区間を書き換えるタスクに取り組み，対象区

え対象のテキストの特性を満たすように生成する．
周囲の文脈と明示的に結びついた文章を生成する

間の書き換え候補を生成する手法 SAGen を提案し手法として，[2] は，順方向と逆方向の 2 つの言語モ

た．SAGen の有効性を検証するために，要約と翻訳の 2 つのタスクで学習した言語モデルによって生成デルを用いる手法を提案した．SAGen は復号手法をされたテキストに対して実験を行い，SAGen が品質拡張することでこれを実現しており，追加のモデルと多様性の点でベースラインを上回ることを示しの学習やデータセットを必要としない．

た．SAGen は，モデルの学習やデータセットの作成

Paraphrasing は教師なし手法 [20, 21, 22, 23] と教を行うことなく，任意の言語モデルによって生成さ師あり手法 [24, 25, 26, 3, 4] に分けられる．Paraphrase

れたテキストを書き換えることができるため，多くタスクは任意のテキストを書き換えるが，我々のタの場面で校正に貢献できる．

― 2399 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Wanyu Du, Zae Myung Kim, Vipul Raheja, Dhruv Kumar, and Dongyeop Kang. Read, revise, repeat: A systemdemonstration for human-in-the-loop iterative text revision. In Proc. In2Writing, pp. 96–108, 2022.
[2] Peter West, Ximing Lu, Ari Holtzman, Chandra Bhagavatula, Jena D. Hwang, and Yejin Choi. Reﬂective decoding:
Beyond unidirectional generation with oﬀ-the-shelf language models. In Proc. ACL-IJCNLP, pp. 1435–1450,
2021.
[3] Wanyu Du, Vipul Raheja, Dhruv Kumar, Zae Myung Kim,
Melissa Lopez, and Dongyeop Kang. Understanding iterative revision from human-written text. In Proc. ACL, pp.
3573–3590, 2022.
[4] Zae Myung Kim, Wanyu Du, Vipul Raheja, Dhruv Kumar,
and Dongyeop Kang. Improving iterative text revision bylearning where to edit from other revision tasks. In Proc.
EMNLP, pp. 9986–9999, 2022.
[5] Mina Lee, Percy Liang, and Qian Yang. Coauthor: Designing a human-ai collaborative writing dataset for exploring
language model capabilities. In Proc. CHI, 2022.
[6] Ashwin K. Vijayakumar, Michael Cogswell, Ramprasaath R. Selvaraju, Qing Sun, Stefan Lee, David J.
Crandall, and Dhruv Batra. Diverse beam search: Decoding diverse solutions from neural sequence models.
CoRR, Vol. abs/1610.02424, , 2016.
[7] Nathan Ng, Kyra Yee, Alexei Baevski, Myle Ott, Michael
Auli, and Sergey Edunov. Facebook FAIR’s WMT19 news
translation task submission. In Proc. WMT, pp. 314–319,
2019.
[8] Shashi Narayan, Shay B. Cohen, and Mirella Lapata. Don’t
give me the details, just the summary! topic-aware convolutional neural networks for extreme summarization. In
Proc. EMNLP, pp. 1797–1807, 2018.
[9] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Proc. Text Summarization
Branches Out, pp. 74–81, 2004.
[10] Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing
Zhu. Bleu: a method for automatic evaluation of machinetranslation. In Proc. ACL, pp. 311–318, 2002.
[11] Ricardo Rei, José G. C. de Souza, Duarte Alves, Chrysoula
Zerva, Ana C Farinha, Taisiya Glushkova, Alon Lavie,
Luisa Coheur, and André F. T. Martins. COMET-22:
Unbabel-IST 2022 submission for the metrics shared task.
In Proc. WMT, pp. 578–585, 2022.
[12] Mingqi Gao, Jie Ruan, Renliang Sun, Xunjian Yin, Shiping Yang, and Xiaojun Wan. Human-like summarization
evaluation with chatgpt. CoRR, Vol. abs/2304.02554, ,2023.
[13] Tom Kocmi and Christian Federmann. Large language
models are state-of-the-art evaluators of translation quality.
In Proc. EAMT, pp. 193–203, 2023.
[14] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan
Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In Proc. SIGIR,
p. 1097–1100, 2018.
[15] Angela Fan, Mike Lewis, and Yann Dauphin. Hierarchicalneural story generation. In Proc. ACL, pp. 889–898, 2018.
[16] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proc. NAACL, pp.
4171–4186, 2019.
[17] Chris Donahue, Mina Lee, and Percy Liang. Enabling
language models to ﬁll in the blanks. In Proc. ACL, pp.
2492–2501, 2020.
[18] Mandar Joshi, Danqi Chen, Yinhan Liu, Daniel S. Weld,
Luke Zettlemoyer, and Omer Levy. SpanBERT: Improving
pre-training by representing and predicting spans. Proc.
TACL, Vol. 8, pp. 64–77, 2020.
[19] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,
Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language
generation, translation, and comprehension. In Proc. ACL,
pp. 7871–7880, 2020.
[20] Dekang Lin and Patrick Pantel. Dirt @sbt@discovery ofinference rules from text. In Proc. KDD, p. 323–328, 2001.
[21] Stanley Kok and Chris Brockett. Hitting the right paraphrases in good time. In Proc. NAACL, pp. 145–153,
2010.
[22] Jonathan Mallinson, Rico Sennrich, and Mirella Lapata.
Paraphrasing revisited with neural machine translation. In
Proc. EACL, pp. 881–893, 2017.
[23] Aurko Roy and David Grangier. Unsupervised paraphrasing without translation. In Proc. ACL, pp. 6033–6039,
2019.
[24] Aaditya Prakash, Sadid A. Hasan, Kathy Lee, Vivek Datla,
Ashequl Qadir, Joey Liu, and Oladimeji Farri. Neural paraphrase generation with stacked residual LSTM networks.
In Proc. COLING, pp. 2923–2934, 2016.
[25] Ankush Gupta, Arvind Agarwal, Prawaan Singh, andPiyush Rai. A deep generative framework for paraphrase
generation. In Proc. AAAI, 2018.
[26] Jonathan Mallinson, Aliaksei Severyn, Eric Malmi, andGuillermo Garrido. FELIX: Flexible text editing throughtagging and insertion. In Find. EMNLP, pp. 1244–1255,
2020.
[27] Markus Freitag and Yaser Al-Onaizan. Beam search strategies for neural machine translation. In Proc. NGT Workshop, pp. 56–60, August 2017.
[28] Chris Hokamp and Qun Liu. Lexically constrained decoding for sequence generation using grid beam search. In
Proc. ACL, pp. 1535–1546, 2017.
[29] Tong Niu, Semih Yavuz, Yingbo Zhou, Nitish Shirish
Keskar, Huan Wang, and Caiming Xiong. Unsupervised
paraphrasing with pretrained language models. In Proc.
EMNLP, pp. 5136–5150, 2021.
[30] Vishakh Padmakumar and He He. Machine-in-the-loop
rewriting for creative image captioning. In Proc. NAACL,
pp. 573–586, 2022.
[31] Nikhil Singh, Guillermo Bernal, Daria Savchenko, andElena L. Glassman. Where to hide a stolen elephant:
Leaps in creative writing with multimodal machine intelligence. Proc. ACM Trans. Comput.-Hum. Interact.,Vol. 30, No. 5, 2023.

― 2400 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

7

付録 (Appendix)

7.1

事例分析

モデル
入力文書

各タスクの出力例を分析するために，モデルの尤度が最も高い上位 3 つのケースを示す．XSum の例(表. 2) では，BART の出力はソース文の内容と乖離

正解の要約

した文章を出力してしまっており，DElIteraTeR の出力は表面的な書き換えに過ぎない．一方，SAGen の最初の出力は，警察車両の窃盗に言及しておらず，

no-rewriting

3 番目の出力は，2 人の若者が「加重車両窃盗」でBART起訴されているという新しい情報を追加しているこの例から，SAGen の出力は内容レベルで多様な出力ができていると言える．
WMT19 の例 (表. 3) においても，BART の出力はDElIteraTeR

ソース文と乖離していた．DElIteraTeR の出力は書き換えとして問題ないが，文字 ”ß”を出力できていない．これは，DElIteraTeR が扱える語彙に ”ß”がな
いために生じたミスである．一方，SAGen は言い換え対象を生成したモデルを用いているため，正SAGen

しく書き換えられている．これは，タスクごとにﬁnetune されたモデルをそのまま利用する SAGen の優位性を示している．

出力
Four police oﬃcers were injured in theincident on Friday night.A man, aged
19, and a boy, aged 16, have been
charged with six counts of aggravatedvehicle taking.They are due to appear
before Belfast Magistrates’ Court on
Monday.The 19-year-old man has also
been charged with driving while disqualiﬁed and using a motor vehicle without insurance.
Two teenagers have been charged in connection with an incident in west Belfast
in which a car collided with two police
vehicles.
Two teenagers have been charged after
a police car was stolen in north Belfast.
Two teenagers shot dead in northBelfast.
Two teenagers stabbed in northBelfast.
Two teenagers stabbed to death innorth Belfast.
Two teenagers have been charged after
a police car was stolen in north Belfast.
Two teenagers have been charged after a police vehicle was stolen in northBelfast.
Two teenagers have been charged inconnection with the theft of a police carin north Belfast.
Two teenagers have been charged inconnection with an incident in northBelfast.
Two teenagers have been charged inconnection with an attempted carjacking in north Belfast.
Two teenagers have been charged withaggravated vehicle taking following an
incident involving a police car in northBelfast.

表 2 Xsum の 出 力 例．preﬁx と suﬃx を bold で 示 し ている．
モデル
ドイツ語の原文
正解の翻訳文no-rewriting
BART

DElIteraTeR

SAGen

出力
Ja, hier an der Auerfeldstraße sperrte
man einst Menschen mit Wahnvorstellungen ein.
Yes, here on Auerfeldstraße, they once
imprisoned people with delusions.
Yes, people with delusions were once
imprisoned here on Auerfeldstraße.
Yes, people still live on Auerfeldstraße.
Yes, people are still on Auerfeldstraße.
Yes, people live on Auerfeldstraße.
Yes, people with delusions were once
imprisoned on Auerfeldstrae.
Yes, people with delusions were imprisoned on Auerfeldstrae.
Yes, people are imprisoned on Auerfeldstrae.
Yes, people with delusions were once
imprisoned here on Auerfeldstraße.
Yes, people with delusions were once
locked up here on Auerfeldstraße.
Yes, people who had delusions wereonce imprisoned here on Auerfeldstraße.

表 3 WMT19 の出力例．preﬁx と suﬃx を bold で示している．

― 2401 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).