指定語句を確実に含む見出し生成
山田 康輔 1,21 名古屋大学

人見 雄太 2

田森 秀明 22 株式会社朝日新聞社

岡崎 直観 33 東京工業大学

乾 健太郎 4,54 東北大学

5 理化学研究所

yamada.kosuke@c.mbox.nagoya-u.ac.jp, processor.su2300@gmail.com,tamori-h@asahi.com, okazaki@c.titech.ac.jp, inui@ecei.tohoku.ac.jp

1

はじめにRush ら [1] の研究以降，生成型要約モデルによる新聞記事の見出し生成が広く行われている．近年では，指定語句の挿入など，生成される見出しの制御に関する研究も盛んである．たとえば，Fan ら [2] はConvolutional Seq2Seq [3] を利用し，エンコーダに入力する記事の直前に指定語句を示す 1 トークンを挿入することで，指定語句を含んだ見出しを生成するよう制御した．また，He ら [4] は BART [5] を利用し，Fan らの手法の拡張として記事の直前に指定語句と “|” を挿入することで，複数トークンの語句指定を可能にした．加えて，生成結果への指定語句の出現率を高めるために学習時に指定語句を一定の確

表 1: 従来モデルと DOG で語句を指定した見出し生成例• 新聞記事: 刈谷市の伊勢湾岸自動車道のパーキングエ
リア「刈谷ハイウェイオアシス」の観覧車に、シースルーゴンドラが登場した。天井を除くイスや壁、床面が透明で、足元に広がる景色を 360 度楽しめる。観覧車は高さ 60 メートルで、1 周約 12 分。
• 人手で作成された見出し:
透明ゴンドラ登場 刈谷ハイウェイオアシスの観覧車• 指定語句が「360 度楽しめる」の生成結果:
DOG: 360 度楽しめる観覧車 刈谷ハイウェイオアシス
He: 風に誘われ、360 度楽しむ 刈谷ハイウェイオアシス
Fan: 360 度の観覧車、シースルーゴンドラ登場 刈谷ハイウェイオアシス• 指定語句が「透明ゴンドラ登場」の生成結果:
DOG: 観覧車、透明ゴンドラ登場 刈谷ハイウェイオア
シスHe: 観覧車にシースルーゴンドラ 刈谷
Fan: 透明な景色、360 度 刈谷ハイウェイオアシス

率でドロップアウトさせている．
100

しかし，これらの手法は生成された見出しが指定DOG語句を含む確率を高めることは可能だが，指定語句指定語句
出現率を含む見出しが必ず生成されるとは限らない．記事を広告として用いるネイティブ広告向けの見出し生成では，見出しに指定語句を必ず含めなければなら

Fan et al. (2018)

400

まれるような見出し制御が必要となる．

mechanism (DOG) を提案する．DOG は見出しを生He et al. (2020)
60

20ないケースがあり，実応用では指定語句が確実に含そこで本研究では，指定語句を確実に含む見出しを生成する手法として，Dual Outward Generation

80

1-gram2-gram3-gram

図 1: 記事中の単語の 1,2,3-gram を指定語句としたときの各モデルの生成結果の指定語句出現率

指定語句から文頭および文末に向かって双方向に見ス Japanese News Corpus (JNC) [7] の 2019 年版を利用し，指定語句出現率と自動要約の評価指標として代出しを生成することで，指定語句を必ず含む見出し表的な ROUGE [8] にて提案手法を評価した．提案生成を実現する．表 1 に Fan ら [2] と He ら [4] の従手法は指定語句出現率 100%を達成し，ROUGE の F成する際に，文頭から文末へ生成するのではなく，来モデル1 および DOG を用い，語句を指定したとき値も従来手法と同等なスコアを達成した．の見出し生成例を示す．また，図 1 に記事中の単語

2

1,2,3-gram を指定したとき，指定された語句が生成結果に含まれた割合 (指定語句出現率) を示す．
実験には日本語の新聞記事-見出しペアのコーパ

本研究では，指定語句を確実に含む見出し生成手法を提案する．具体的には，指定語句を 𝑊 (= 𝑦 ℎ:𝑡 ) 22

1 Seq2Seq モデルは Transformer [6] ベースに統一している．

提案手法𝑦ℎ と 𝑦𝑡 はそれぞれ指定語句の先頭トークンと末尾トークンを示し，𝑦ℎ:𝑡 はトークン列 𝑦ℎ ...𝑦𝑡 を意味する．

𝑦&𝑋…

𝑦' ( $ 𝑦' ( #𝑦# … 𝑦' ( # 𝑦' … 𝑦!

𝑦!" # 𝑦!" $ … 𝑦% " #𝑦' … 𝑦! 𝑦!" #…

𝑦&𝑦%

𝑋

(a) DOG w/ dual-independent decoder

𝑦#𝑦!" # 𝑦!" $ … 𝑦% " #… 𝑦' ( $ 𝑦' ( #… 𝑦' ( # 𝑦'…

𝑦! 𝑦!" # … 𝑦%(b) DOG w/ single decoder

図 2: Dual Outward Generation mechanism (DOG) の概要図．青枠が Transformer のエンコーダ，緑枠がデコーダ，橙枠が生成機構を示す．エンコーダからデコーダへの矢印は，エンコードされた隠れ状態をデコーダの注意機構で参照していることを指す．また，点線の矢印は，見出しの生成順序を示す．
として，見出し 𝑌 (= 𝑦 0:ℎ−1 , 𝑊, 𝑦 𝑡+1:𝐽 +1 ) を生成する場

2.2.1

各生成機構で独立に生成するモデル

合，指定語句の 1 つの前のトークン 𝑦 ℎ−1 から文頭前向きと後ろ向きの生成機構で独立に生成するトークン 𝑦 0 への生成と指定語句の 1 つ後のトーク

モデルは，前向きと後ろ向きのトークン列を個別にン 𝑦 𝑡+1 から文末トークン 𝑦 𝐽 +1 への生成を同時に行入力する必要があり，各生成機構に対応する 2 つのうことで実現する．提案モデルは Transformer [6] 型デコーダを持つ．見出し生成の各ステップでは，前の Seq2Seq モデルを基本とする．

向きのデコーダに指定語句と前向きの生成トーク

2.1

Transformer

ン列，後ろ向きのデコーダに指定語句と後ろ向きの生成トークン列を入力し，それぞれ独立に単語を生Transformer [6] は 注 意 機 構 を ベ ー ス と し た エ ン成する．本モデルを DOG w/ dual-independent decoder

コーダ-デコーダモデルである．エンコーダは自己注意機構と 2 層のフィードフォワードネットワークと定義し，図 2 (a) に概要を示す．また，記事のトークン列 𝑋，見出しのトークン列 𝑌 (= 𝑦 0:𝐽 +1 )，指定語(FNN) からなる Transformer Encoder 層を複数層積み

句のトークン列 𝑊 (= 𝑦 ℎ:𝑡 )，指定語句から文頭まで←−の見出しのトークン列 𝑌 (= 𝑦 0:ℎ−1 )，指定語句から文→−←−末までの見出しのトークン列 𝑌 (= 𝑦 𝑡+1:𝐽 +1 )， 𝑌 の長→−− = 𝐽 − 𝑡 + 1 とし，式 1 のよ− = ℎ， 𝑌 の長さ 𝐿→さ 𝐿←
𝑌𝑌上げることで構成され，デコーダは自己注意機構，注意機構，2 層の FFN からなる Transformer Decoder層を複数層積み上げることで構成される．これらの入力は単語埋め込み層と位置エンコーディング層にうに定式化される．

よって生成される記事と見出しの各単語の埋め込み←−𝑃( 𝑌 |𝑋, 𝑊)を利用する．また，デコーダの出力から線形変換層

=

𝑗=1−
𝐿→
𝑌と Softmax 層を通すことで見出しの各単語を生成す→−𝑃( 𝑌 |𝑋, 𝑊)

る．本研究では，これら 2 層を合わせて生成機構と定義する．

2.2

Dual Outward Generation mechanism

指 定 語 句 を 確 実 に 含 む 見 出 し 生 成 す る Dual
Outward Generation mechanism (DOG) は指定語句から文頭へ向けた前向きの生成と文末へ向けた後ろ向きの生成を行うため，生成機構を 2 つ持つ構造となる．この構造の場合，前向きの生成機構と後ろ向きの生成機構で独立に生成するか，あるいは前向きと後ろ向きの生成機構で生成過程を共有しつつ生成するかの大きく 2 つのアイデアが考えられる．

←−𝐿𝑌∏

=

∏

𝑃(𝑦 ℎ− 𝑗 |𝑦 ℎ− 𝑗+1 : 𝑡 , 𝑋)
(1)
𝑃(𝑦 𝑡+ 𝑗 |𝑦 ℎ : 𝑡+ 𝑗−1 , 𝑋)

𝑗=1

本モデルのデコーダの位置エンコーディング層に入力するトークン位置は，前向きでは指定語句の末尾を 0 としたときの距離の値，後ろ向きでは指定語句の先頭を 0 としたときの距離の値としている．
学習時には，前向きと後ろ向きの見出しを分けて学習させるため，見出しを分割する必要がある．3 そこで，学習させる見出し中で無作為に 1 トークンを指定し，その位置を基準として見出しの分割を行う．
3 2.2.2 節のモデルも同様の処理が必要である．

2

前回のmtgからやっていたこと生成機構間で生成過程を共有するモデル

Input
𝑦! 𝑦" 𝑦# 𝑦$ 𝑦%2.2.1 節のモデルでは，前向きと後ろ向きでそれテップにおいて互いの生成機構が生成したトークンを考慮しておらず，前向きと後ろ向きで似たトークOutputぞれ独立に生成しているため，見出し生成中の各ス

𝑦!

𝑦!

𝑦"

𝑦"

𝑦#ン列が生成される可能性がある．そこで，DOG の𝑦$生成機構間で生成過程を共有するモデルを考える．

𝑦%

具体的には，見出し生成中の各ステップにおいて，前向きの生成トークン列，指定語句のトークン列，後ろ向きの生成トークン列を連結して 1 つのトークン列にまとめて入力とする．ここではデコーダを 2

Input
𝑦! 𝑦" 𝑦# 𝑦$ 𝑦%

Output

2.2.2

𝑦#
𝑦$𝑦%

(a) Causal Mask(b) DOC Mask

図 3: Causal Mask (左) と DOC Mask (右) の概要図．白色のセルがマスクする箇所を示す．DOC Mask は学習時に 𝑦 3を指定したときを示す．

つ持つモデルと 1 つ持つモデルを検討する．デコー
ダが 2 つのモデルを DOG w/ dual decoder，デコーダが 1 つのモデルを DOG w/ single decoder と定義し，用した．JNC には 1,932,399 件の記事-見出しペアがDOG w/ single decoder の概要を図 2 (b) に示す．ま存在し，本研究ではこれらを学習セット，開発セッた，式 1 と同様の記号を用いて，式 2 のように定式

ト，テストセットとして 98:1:1 の比率で無作為に分割した．テキストの形態素解析には ipadic4 を用化される．
𝑚𝑎𝑥
∏
←
−→−
𝑃(𝑦 ℎ− 𝑗 , 𝑦 𝑡+ 𝑗 |𝑦 ℎ− 𝑗+1 : 𝑡+ 𝑗−1 , 𝑋)
𝑃( 𝑌 , 𝑌 |𝑋, 𝑊) =𝐿𝑗=1(2)− ) とし，𝑦 <0 と 𝑦 >𝐽 はトークン列− , 𝐿→
𝐿 𝑚𝑎𝑥 = 𝑚𝑎𝑥(𝐿 ←𝑌𝑌

長を揃えるための特殊トークン “<pad>” とする．

本モデルのデコーダの位置エンコーディング層に入力するトークン位置は，中央から生成していくた
め，指定語句の中央を 0 とし，それより前向きは中央からの距離を負にした値，後ろ向きは中央からの距離の値としている．
また，本モデルの学習時には，デコーダの自己注意機構で使用するマスク方法に工夫を必要とする．
通常の Transformer は文頭から文末に向けて見出しを生成するため，デコーダの自己注意機構にて入力時点以降の単語を参照しないために図 3 (a) に示す
Causal Mask を活用している．しかし，DOG では入力時点以降の単語を参照しないだけではなく，入力時点以前の単語も参照しないようにする必要がある．このため，図 3 (b) に示す Dual Outward Causal
Mask (DOC Mask) を利用している．また，本モデル
は学習時の分割した見出しを前向きと後ろ向きで長さを揃える必要があることに注意する．

3実験

3.1

実験設定

提案手法と従来手法を比較するために日本語の新聞記事から見出しを生成するためのコーパスである Japanese News Corpus (JNC) [7] の 2019 年版を利いた MeCab [9] を使用し，Byte Pair Encoding (BPE)5[10] によるサブワード化を行っている．
指定語句は人手で作成された見出し中の内容語とし，評価指標には ROUGE-1, ROUGE-2, ROUGE-L の適合率, 再現率, およびその調和平均である F 値を利用した．ROUGE による評価する際には，人手で作成された見出しと生成された見出しから指定語句を除去している．これは従来手法では指定語句が必ず含まれた見出しになるとは限らず，本研究の提案手法では必ず指定語句が含まれた見出しとなっているため，指定語句を除去しなければ提案手法が有利な評価となってしまうためである．また，生成結果の長さを分析するために，生成された見出し数𝑛，生成した見出しの長さを 𝑙 𝑖 ，人手で作成された見出しの長さを len として Average Length Error (ALE)∑𝑛𝑙 𝑖 − len) を算出する．
(= 𝑛1 𝑖=1
比較する手法は Transformer をベースモデルとした Fan ら [2] の手法と He ら [4] の手法とする．Fanらは記事の前に 1 トークンのみの指定語句を挿入，
He らは記事の前に複数トークンの指定語句と “|"を挿入し，学習時に指定語句を一定の確率でドロップアウトさせている．これらの手法の学習時の指定語句は人手で作成された見出しから抽出している．He
らの手法の学習時の指定語句は 3-gram までとする．

4 https://taku910.github.io/mecab/
5 https://github.com/rsennrich/subword-nmt表 2: 従来手法および提案手法の実験結果．SR は指定語句出現率，P/R/F はそれぞれ適合率/再現率/F 値を示す．
SRTransformer [6]Fan et al. (2018) [2] (Transformer Ver.)He et al. (2020) [4] (Transformer Ver.)
DOG w/ dual-independent decoder
DOG w/ dual decoder
DOG w/ single decoder

52.0
94.0
95.9
100.0
100.0
100.0

ROUGE-1
P/R/F
55.8/50.0/51.4
57.7/51.2/52.7
52.7/49.3/49.4
59.6/44.3/48.3
60.3/47.5/51.5
59.3/47.9/51.4

ROUGE-2
P/R/F
29.7/26.4/27.1
31.1/27.4/28.2
26.5/24.8/24.8
33.1/24.5/26.6
32.9/25.8/27.9
31.9/25.6/27.5

ROUGE-L
P/R/F
46.4/41.5/42.8
48.0/42.4/43.9
43.5/40.0/40.6
53.9/38.7/43.1
50.9/40.1/43.6
50.0/40.2/43.3

ALE-3.3-2.5-1.2-5.8-5.0-4.6

params
×106
72
72
72
106
10680

表 3: DOG w/ single decoder における生成例
新聞記事: ▽約 1 万匹のイワシが群れで泳ぐ様子を見られる京都水族館 (京都市)。この展示に合わせ、ちょっぴり変わった特別スイーツが 6 月末まで販売される。▽名前は「桜といわしのパフェ」で、桜でんぶと甘辛いイワシのショウガ煮の下には、抹茶とバニラのアイスや小豆……。
人手で作成された見出し:「目からウロコのおいしさ」 京都水族館にイワシパフェ
桜といわしのパフェ「桜といわしのパフェ」 京都水族館で特別スイーツ
6 月末までイワシの特別スイーツ 京都水族館、6 月末まで販売
指定語句 「目からウロコのおいしさ」 生成結果 「目からウロコのおいしさ」 京都水族館で特別スイーツ
泳ぐ
イワシ泳ぐイワシ、特別スイーツに 京都水族館
展示
展示

3.2

実験結果

リースを元にした記事や，ネイティブ広告の記事への見出し付与として活用が期待される．

表 2 に従来手法および提案手法の指定語句出現

しかし，DOG は両方向同時に生成するため，「泳率 (SR)，ROUGE-1，ROUGE-2，ROUGE-L の適合率,ぐ」を指定した生成例のように指定語句の前後どち再現率，F 値，ALE，パラメータ数 (params) を示す．

らにも出現しうる単語を両方向共に生成させてし表 2 から従来手法が 95%前後の指定語句出現率なまったり，「展示」を指定した生成例のように文頭のに対し，提案手法はモデルサイズを大きく変えずと文末のどちらにも出現しやすいと判断された単語に 100%出現させることに成功している．また，各のときに，両方向とも早い段階で生成を止める可能

ROUGE の再現率は従来手法の方が高いが，適合率性があり，課題が残る．

は提案手法の方が高くなっており，F 値では同等のスコアとなっている．ここで，提案手法で ROUGE

4

まとめと今後の展望の再現率が低いのは，ALE の値が小さいことから本研究では，指定語句を確実に含んだ見出しを生成結果が全体的に短い傾向があるためであると生成するために，指定語句から文頭および文末に考えられる．以上の結果から，指定語句を 1oo%含めた見出しを生成した上で，モデルサイズおよび向かって見出しを生成する Dual Outward Generation
mechanisum (DOG) を提案した．JNC を用いて DOG

ROUGE の F 値が同等である提案手法は，実応用上を評価したところ，従来手法では不可能だった指定においても有用であることが確認できる．

語句出現率 100%の見出し生成を可能にし，その上3.3

提案手法による見出し生成例

で ROUGE の F 値にて同等のスコアを達成した．
実験では日本語の見出し生成を行ったが，DOG

表 3 に DOG w/ single decoder による見出し生成例

は多言語の見出し生成や機械翻訳などの他タスクを示す．たとえば，「桜といわしのパフェ」や「6 月にも応用可能だと考えている．DOG はモデルのデ末まで」のような商品名や日付情報を指定した結コーダ側の機構を変更したが，エンコーダ側で指定果，これらの語句に合わせて自然な見出しが生成で語句の位置情報などを取り込むことでスコアが改善きており，また，記事中に存在しない「目からウロされると考えている．また，ビームサーチなどの動コのおいしさ」のようなフレーズを指定しても自然的計画法による生成もスコアの改善が期待される．

な生成ができていることが確認できる．このような商品名や日付情報，フレーズの語句は忠実性が求められるため，指定語句を確実に出現させる提案手法は実応用の観点で需要が高い．たとえば，プレスリ

謝辞
本研究は，東京工業大学のスパコン TSUBAME3.0を用いて行った．

参考文献[1] Alexander M. Rush, Sumit Chopra, and Jason Weston. A
neural attention model for abstractive sentence summarization. In Proceedings of the 2015 Conference on EmpiricalMethods in Natural Language Processing (ACL’15), pp.
379–389, 2015.
[2] Angela Fan, David Grangier, and Michael Auli. Controllable abstractive summarization. In Proceedings of the 2ndWorkshop on Neural Machine Translation and Generation(WNMT’18), pp. 45–54, 2018.
[3] Jonas Gehring, Michael Auli, David Grangier, Denis
Yarats, and Yann N Dauphin. Convolutional sequence
to sequence learning. In Proceedings of the 34th International Conference on Machine Learning (ICML’17), pp.
1243–1252, 2017.
[4] Junxian He, Wojciech Kryściński, Bryan McCann,Nazneen Rajani, and Caiming Xiong. CTRLsum: Towards
generic controllable text summarization. arXiv preprint
arXiv:2012.04281, 2020.
[5] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan
Ghazvininejad, Abdelrahman Mohamed, Omer Levy,Veselin Stoyanov, and Luke Zettlemoyer. BART: Denoising sequence-to-sequence pre-training for natural language
generation, translation, and comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL’20), pp. 7871–7880, 2020.
[6] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser,and Illia Polosukhin. Attention is all you need. In Advancesin Neural Information Processing Systems (NeurlIPS’17),
pp. 5998–6008, 2017.
[7] Yuta Hitomi, Yuya Taguchi, Hideaki Tamori, Ko Kikuta,
Jiro Nishitoba, Naoaki Okazaki, Kentaro Inui, and Manabu
Okumura. A large-scale multi-length headline corpus foranalyzing length-constrained headline generation modelevaluation. In Proceedings of the 12th International Conference on Natural Language Generation (INLG’19), pp.
333–343, 2019.
[8] Chin-Yew Lin. ROUGE: A package for automatic evaluation of summaries. In Text Summarization Branches Out(WAS’04), pp. 74–81, 2004.
[9] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random ﬁelds to Japanese morphological analysis. In Proceedings of the 2004 Conferenceon Empirical Methods in Natural Language Processing(ACL’04), pp. 230–237, 2004.
[10] Philip Gage. A new algorithm for data compression. CUsers Journal, Vol. 12, No. 2, pp. 23–38, 1994.