⾃然⾔語⽣成における内容の制御
岡崎 直観
東京⼯業⼤学
情報理⼯学院
okazaki@c.titech.ac.jp
https://www.nlp.c.titech.ac.jp/

⾃然⾔語⽣成（機械翻訳・⾔語モデル）の精度向上
Statistical Machine Translation (Durrani+ 14)

20年間の統計的機械翻訳の研究

20.7

RNNsearch (Jean+ 15)

21.6

Attention mechanism (Luong+ 15)

23

Google's NMT (Wu+ 16)

24.61

ConvS2S (Gehring+ 17)

25.16

Transformer (Vaswani+ 17)

ニューラル
機械翻訳の精度が⾶躍的に向上
28.4

DeepL (press release, 17)

33.3

Transformer Big (Ott+ 18)

29.3

Transformer Big + Back translation (Edunov+ 18)
WMT 2014 英独翻訳のBLEUスコア
035
51015

20

25303540

⾔語モデルの精度と計算能⼒、訓練データ量、パラメータ数の間にべき乗則 (Kaplan+ 2020)
J Kaplan et al. (2020) Scaling Laws for Neural Language Models. arXiv:2001.08361.
1⾃然⾔語⽣成を「制御」したい ニューラル機械翻訳は訓練データに依存 ⼤量の訓練データがあれば、⾼精度な翻訳モデルを構築できる どのような⽣成結果になるかは、動かしてみるまで分からない
 訓練データから少し逸脱したタスクの⽣成を⾏うには⼯夫が要る 教師あり学習に基づく⽣成モデルを活かしながら、所望する出⼒が得られるようにその振る舞いを制御したい テキスト⽣成の制御 ⻑さの制御 ⾒出しの忠実性の制御
 ⾔及すべきキーワードの制御 ⽣成⽂の構造の制御
2

⾒出しの⾃動⽣成
朝⽇新聞は⼀つの記事に対して5種類の⾒出しを作成している[1]

Large
[2]

 Print: 新聞紙⾯⽤
 Sum (50): 新幹線向けの要約
 Large (26): asahi.comのニュース⽤
 Middle (13): SNS向け
 Short (10): デジタルサイネージ向け※カッコ内の数字は最⼤⽂字数

SumPrintMiddle[1] ⼈⾒ 雄太, ⽥⼝ 雄哉, ⽥森 秀明, 岡崎 直観, 乾 健太郎. ⼩規模リソースにおける⽣成型要約のためのスタイル転移. ⾔語処理学会第26回年次⼤会(NLP2020), pp. 929–932, 2020年3⽉.
[2] https://www.asahi.com/articles/ASN6G5D0JN6GUTIL00K.html

3デモ︓指定された⻑さの⾒出しを⽣成

Sho Takase and Naoaki Okazaki. Positional Encoding to Control Output Sequence Length. 2019. NAACL, pp. 3999-4004.
4

問題点︓⾒出し⽣成が「誤報」を⽣む
衆院選は 14 ⽇に投開票される。前回 2012 年は 19 ⼈だった県内五つの⼩選
挙区の候補 者は、今回 14 ⼈に減少。少数激戦になった。

⽣成された⾒出し: 14 候補、最後の訴え あす投開票 衆院選
実際の⾒出し: 14候補、最後の訴え きょう投開票 深夜に ⼤勢判明
 ⾚字で⽰した箇所は記事（⼊⼒）中で⾔及されていない（逸脱した⾒出し） 学習データにも逸脱した⾒出しが含まれている ⾒出し⽣成モデルも記事に書かれていないことを含めようとしてしまう5

デモ︓忠実性を改善した⾒出し⽣成

Kazuki Matsumaru, Sho Takase, Naoaki Okazaki. 2020. Improving Truthfulness of Headline Generation. ACL, pp. 1335-1346.
6

問題点︓⾒出しの内容を制御したい
台⾵１９号による豪⾬災害。氾濫などによる浸⽔範囲は去年の「⻄⽇本豪⾬」を超えたほか、⼟砂災害も１つの台⾵によるものとしては最も多くなるなど、国が対策の⾒直しを迫られる記録的な豪⾬災害になりました。台⾵１９号で亡くなった⼈は全国で９３⼈で、３⼈が⾏⽅不明となっています。国⼟交通省によりますと、台⾵１９号による豪⾬で川の堤防が壊れる「決壊」が発⽣したのは１２⽇時点で７つの県の合わせて７１河川、１４０か所となっています。台⾵１９号による豪⾬で発⽣した⼟砂災害は、……

⾒出し例１: （⼈的被害に焦点）
台⾵１９号による死者は全国で９３⼈、３⼈が⾏⽅不明
⾒出し例２: （物的被害に焦点）
台⾵１９号による⼟砂災害は８２１件、住宅被害は８万棟超
⾒出し例３: （避難⽣活に焦点）
台⾵の影響により２３６７⼈が避難所で⽣活
7

デモ︓キーワード指定による⾒出しの制御

8⽂構造の制御（対句の⽣成）
⼈⽣は、近くで⾒ると悲劇だが、遠くから⾒れば喜劇である。
（対句構造を持つキャッチコピーの⽣成）

1.

対句構造のアノテーション・解析
⼈⽣は、近くで⾒ると悲劇だが、遠くから⾒れば喜劇である。
反義語・対称語︓（近く，遠く），（悲劇，喜劇）

2.

対句構造になるように単語列を⽣成（単語⽳埋め）
必要な時の 終わりが、無駄な時の始まりです。

Ayana Niwa, Naoaki Okazaki, Kohei Wakimoto, Keisuke Nishiguchi, and Masataka Mouri. Construction of a Corpus of Rhetorical
Devices in Slogans and Structural Analysis of Antitheses. ACM Transactions on Asian and Low-Resource Language Information
Processing (TALLIP), 20(6), November 2021.

9対句構造のアノテーション・解析
 10,108件の対句からなるデータセットを構築
 このデータセットで対句の識別器を学習（F1スコアは0.865）

対句の識別器
対句構造の特徴量抽出（類似性・可換性）

⽬を留める花の真下
留める花の真下真下

⽬を背けたい光景
背けたい光景光景

終了位置判定⽬を留める花の真下が、⽬を背けたい光景だった。
Ayana Niwa, Naoaki Okazaki, Kohei Wakimoto, Keisuke Nishiguchi, and Masataka Mouri. Construction of a Corpus of Rhetorical
Devices in Slogans and Structural Analysis of Antitheses. ACM Transactions on Asian and Low-Resource Language Information
Processing (TALLIP), 20(6), November 2021.

10対句構造になるように単語列を⽣成 疑似教師データなどを⽤いてBERTをファインチューニングする⼿法を提案
 ⼈⼿評価によると、⼈間が単語を⽳埋めするのと同程度の精度を達成

⼿法

Hit@1

Hit@10

辞書を⽤いた⼿法

9.6

BERT（ファインチューニング無し）

15.7

39.1

BERT（ファインチューニング有り）

25.0

44.4

提案⼿法

30.4

49.1

作業者

51.8

66.6

Ayana Niwa, Keisuke Nishiguchi, and Naoaki Okazaki. Predicting Antonyms in Context using BERT. In Proceedings of the 14th
International Conference on Natural Language Generation (INLG), pages 48–54, Aberdeen, Scotland, UK, August 2021.
11