言語処理学会 第24回年次大会 発表論文集 (2018年3月)

複数エンコーダを用いたヤフートピックス見出し候補生成小林 健 † 小林 隼人 †‡ 村尾 一真 † 増山 毅司 †† ヤフー株式会社 ‡ 理化学研究所 AIP センター

{kenkoba, hakobaya, kmurao, tamasuya}@yahoo-corp.jp

1

はじめに
スマートデバイスの普及に伴い，コンテンツを閲覧するデバイスは PC からスマートフォン等に移り変わってきている．しかし，これらのデバイスのディスプレ
イのサイズは PC と比較して小さく，ユーザーが様々なコンテンツを視認するために，コンテンツのタイトルを一定の長さ以内に抑える技術が求められている．
一方で，日々のニュースをピックアップする Yahoo!
ニュース・トピックスでは，Yahoo! JAPAN のトップページの表示領域に合わせて，編集者の手により全角

記事提供：THE PAGE（2017 年 1 月 11 日)

文字を 1 文字，半角文字を 0.5 文字として，合計 13.5文字に収まるように，トピックスページのタイトルを

図 1: Yahoo!ニュース・トピックス作成してきた (図 1)．この作業を何らかの方法によって学習することができれば，限られた文字数でニュー要約に関する研究も盛んに行われている. そのため，スの要点を押さえたトピックスページのタイトルの生トピックスの見出し生成においても，エンコーダ・デ成が可能になる．ここで，トピックスページは，あるコーダを用いたモデルが有効だと推測される．そこでニュースに対して記事詳細ページや関連リンクなどを

本稿では，エンコーダ・デコーダの枠組みを利用して，編集したページであり，例えば，図 1 の右の例では最トピックス見出し生成に取り組む．その際，トピック上部の黒字でトピックス見出し，青字で記事の見出しスページ中の記事タイトルと記事リード文を同時に利(詳細記事へのリンク)，グレーの文字で記事リード文が記載されている．以後，トピックスページのタイトルをトピックス見出し，記事の見出しを記事タイトルとして議論を行う．
トピックス見出しをニュース記事を凝縮したものだと考えると，トピックス見出しの生成は要約問題として捉えることができる．特に編集者がトピックス見出しを作成する際には，記事タイトル，記事の中身，関連記事等を考慮しながら適切な長さに収めているため，略語，体言止め，順序の入れ替え，といった処理が発生し，記事タイトルや記事中に含まれない文字が出現する場合もある．このため，トピックス見出しの生成を適切に学習するためには，抽象型要約として捉える必要がある．
近年では，エンコーダ・デコーダ [1] を用いたモデルが翻訳や対話などの文字列生成タスクで高い成果を出しており，記事タイトル生成 [2, 3] のような抽象型用するため，エンコーダ・デコーダの枠組みを拡張し，複数のエンコーダ出力を用いてトピックス見出しを生成する手法を提案する．

2

エンコーダ・デコーダモデル

Bahdanau らのエンコーダ・デコーダを用いたモデル [1] について説明する．このモデルでは，長さ S の入力文字列を X ＝ [x1 , x2 , · · · , xS ]，長さ T の出力文
字列を Y = [y1 , y2 , · · · , yT ] として，以下の確率を最大にするように学習することで，X から Y を生成するモデルを作成する．
p(Y | X) =T∏−1p(yt+1 | y≤t , X)

(1)

t=1

p(yt+1 | y≤t , X) は X をベクトル化するエンコーダとY を出力するデコーダを用いて，以下のように表さ― 9 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

れる．

hs= fenc (xs , hs−1 )(2)

表 1: ハイパーパラメータ
パラメータ値

st= fdec (yt , st−1 )(3)

層数 (RNN, CNN)

ct=S∑

αt,s hs

(4)

s=1

3

ユニット数 (Embedding)200

ユニット数 (RNN, CNN)400

CNN ウィンドウ幅7ドロップアウト率0.3

ここで，式 (2) はエンコーダ，式 (3) から式 (5) はデ学習率0.05

コーダによる処理を表している．式 (2) の fenc は入モメンタム率0.8

力 xt と，s-1 番目の状態ベクトル hs−1 を用いて s 番減衰率0.85目の状態ベクトル hs を計算する状態遷移関数である．

エポック数

20

式 (3) の fdec も状態遷移関数であり，yt と t-1 の状態

バッチサイズ64p(yt+1 | y≤t , X) = gdec (st , ct )(5)ベクトル st−1 を利用して st を計算している．なお，

s0 = hS である．式 (4) はアテンションと呼ばれる処理である．αt,s は st と hs に基づいて計算される重みで，各入力の hs の重要度を表す．この重みつき和を

αt,s の計算時に利用することで，適切なベクトルが計算できるようになると考えられる．

計算することにより，st に関連する入力文字列のベクトルを計算することができる．そして，式 (5) の gdec

3.2

で ct と st を入力として，次の出力の確率を計算する．
例えば，入力文字列を記事タイトル，出力文字列をトピックス見出しとすることで，記事タイトルからトピックス見出しを生成するモデルを作成することができる．

Multimodal Attention モデル

Hori らによる動画の説明文生成に関する研究 [5] でも複数のエンコーダの出力を組み合わせて利用している．彼らは，映像用のエンコーダ，音声用のエンコーダ等を利用して動画の説明文をエンコーダ・デコーダの枠組みで生成しているが，その際，エンコーダごとにスカラーの重みを動的に計算し，その重み付き和ベ複数エンコーダを利用するモデル

クトルを利用することで，精度が向上したと報告して編集者がトピックス見出しを作成する際は，記事タ

記事リード文のベクトルを d′t ，β をスカラーの重みとイトル，記事の内容，双方を参考にしており，どちらすると，ct = βdt + (1 − β)d′t のようにして，出力をのデータも有用な情報源である．そこで，本研究では，統合する．

3いる．我々の問題でも，記事タイトルのベクトルを dt ，記事タイトル，記事リード文をそれぞれエンコーダによってベクトル化し，その出力をデコーダで統合して利用する．3 章では，3.1 節と 3.2 節で複数のエンコー

3.3

提案手法

ダの出力をデコーダで利用する関連研究について紹介

Multimodal Attention モデルでは，重みをスカラーし，3.3 節で我々の提案する手法について述べる．

値で計算し，これを掛けることによって重み付き和を計算した．しかし，ct の各要素がそれぞれ，特徴を表3.1現する役割を担っていると考えると，要素ごとに重みQuery-based Attention モデルを計算できれば，より適切な特徴を表現できると予想

複数のエンコーダの出力を利用して要約を行う研究として，Preksha らのクエリベースの要約に関する研される．そこで，以下のようにして ct を計算し，複数エンコーダの出力を統合する手法を提案する．

究 [4] がある．質問文と回答文のペアから，回答文の要約を生成するタスクに取り組んでおり，式 (4) のアテンション重み αt,s を計算する際に，質問文をベクト上したと報告している．本研究でも，記事リード文を= σ(W [dt ; d′t ; st ])

(6)

wt′

= σ(W ′ [dt ; d′t ; st ])

(7)

ct

ル化した情報を利用している．これにより，質問に関連する本文の部分を注目できるようになり，性能が向wt=wt ⊙ dt + wt′ ⊙ d′t(8)

ここで，⊙ は要素ごとの積，σ はシグモイド関数，Wと W ′ は重み行列を表している．このように，要素ご― 10 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 2: ROUGE 値による評価結果 (下線は上段のモデルで比較した場合の最良の数値で，太字は全モデルを対象とした時の最良の数値)

SimpleComplex

Total

R-1

R-2

R-L

R-1

R-2

R-L

R-1

R-2

R-L

タイトルのみ (5 モデル)

75.52

63.74

72.05

56.64

41.00

52.07

60.50

45.65

56.15

Query-based(5 モデル)

75.13

63.12

71.73

56.67

41.07

52.04

60.45

45.57

56.07

Multimodal(5 モデル)

75.45

63.46

72.01

56.38

40.75

51.81

60.28

45.39

55.94

提案手法 (5 モデル)

75.66

63.96

72.35

56.35

40.82

51.79

60.30

45.55

55.99

タイトルのみ (10 モデル)

75.52

63.64

72.13

56.60

40.97

51.99

60.47

45.61

56.10

提案+Query-based(10 モデル)

75.91

64.12

72.58

56.83

41.25

52.24

60.73

45.93

56.39

ムを用いた手法を利用し，4 エポック経過後からは学
表 3: クラウドソーシング結果 (太字は下段のモデルで比較して最良の数値であり，∗ はタイトルのみ手法に対して対応のある t 検定の結果 p < 0.01 となる項目)
手法
可読性 有用性
編集者

3.623

3.179

先頭 13.5 文字

2.715

2.380

タイトルのみ

3.534

3.157

Multimodal

3.511

3.121

Query-based

3.524

3.112

提案手法

3.496

3.219∗

提案手法+Query-based

3.553

3.224∗

習率を 15%づつ減衰させつつ学習を行った．

4.2

見出しの生成と評価

評価には，次の 2 種類のデータを利用した．

• Simple: 記事タイトルに含まれる文字のみで見出しを生成可能なデータ• Complex: Simple 以外のデータ (トピックス見出しに記事タイトルに無い文字が含まれる)評価指標としては，要約タスクの評価指標として利用されている ROUGE-1(R-1)，ROUGE-2(R2)，とに重みを計算することで，より詳細な重みつき和をROUGE-L(R-L) を用いた．また，人手による評価と計算できる．

して，クラウドソーシングを利用した見出しの可読性，有用性の評価も行った．可読性は内容の意味は考慮せ

4

実験

4.1

モデルの学習ず，日本語として自然かを，有用性は生成された見出しの内容が適切かを 1〜4 の範囲で評価する．これを1 記事あたり 10 人が行い，その平均値を利用する．
評価対象として，2 章で説明した記事タイトルのみ

モデルの学習は，Yahoo!ニュース・トピックスで掲を用いたシンプルな手法 (タイトルのみ)，3 章で説明載されたニュース記事 (トピックス見出し，記事タイした，Query-based Attention(Query-based)，Multi-トル，記事リード文) の 3 つ組を用いて行った．また，modal Attention(Multimodal)，提案手法の 4 手法を学習時には形態素単位ではなく文字単位による学習を利用し，比較実験を行なった．なお，モデルの学習結行った．これは，事前実験を行った際，形態素単位よ果は，ばらつきを考慮し，アンサンブルを行った結果りも文字単位の方がより高い精度を出すことができたで評価する．

ためである．なお，記事タイトルのエンコーダには双方向 LSTM(BiLSTM) を，記事リード文のエンコーダ

4.3には速度等を考慮し，CNN を利用した．

実験結果

モデルのハイパーパラメータについて表 1 で示す．

モデルを 5 個作成し，アンサンブルによる出力を評

各パラメータは埋め込み表現も含め，(-0.1, 0.1) の一価した結果を表 2 の上段に示す．Simple データを対様分布よりサンプリングした値を用いて初期化した．

象にした場合には，提案手法が最も良い性能を示した

パラメータの最適化では，SGD に Nesterov モメンタ

が，Complex データを対象にした場合の精度は最も― 11 ―Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

小さくなった．これは，記事タイトルと記事リード文双方で出現する文字の重みが大きくなり，結果的に，元タイトルの文字を優先的に出力するようになったと推察できる．Multimodal も，重み付き和を行うため，

表 4: 出力例 (I:記事タイトル E:編集者 T:タイトルのみモデル H:提案手法+Query-based モデル)
I:10 年ぶりの減益でローソンが岐路にローソンに秘策はあるのか

Complex を苦手とするが，より詳細に重みを計算する

E:10 年ぶり減益 岐路のローソン

提案手法の方が Simple では良い性能となった．

T:ローソン ローソンに秘策ある?

Complex を対象にした場合には，Query-based が R-

H:ローソン 10 年ぶり減益で岐路

1，R-2 の値で若干その他手法を上回ったが，Simpleデータを対象とした場合の精度は最も小さくなった．

I:逆境をチャンスに変えたダルビッシュの進化

この結果は，Query-based が積極的に記事タイトル以

E:術前より進化 ダルの肉体改造外に出現する文字を利用していることを示唆している．

T:逆境をチャンスに変えた進化

Total(Complex データ+Simple データ) で見ると，H:ダル 逆境をチャンスに変えた

タイトルのみを利用する手法が最も良い値を示した．

記事提供 (上)：THE PAGE（2016 年 10 月 17 日)
記事提供 (下)：THE PAGE（2016 年 5 月 30 日)

今回検証した手法がそれぞれ異なった特徴を持ち，全体で平均すると悪い結果が良い結果を打ち消してしまうため，このような結果になったと予想される．

で評価した結果，提案手法は Simple データに対して，ここまでの議論により，Query-based と提案手法でQuery-based は Complex データに対して強い傾向がはそれぞれ異なる特徴が明らかになった．これらの手あり，全てのデータを利用した場合にはタイトルのみ法を組み合わせることにより，より良い結果が得られを利用した手法に劣ることがわかった．そこで，異なっると予想できる．そこで，これら 2 手法のモデルをそた特徴があると想定される Query-based と提案手法をれぞれ 5 個づつ (計 10 個) 利用しアンサンブルを行っ組み合わせた結果，ROUGE 値，クラウドソーシングた場合の結果と，タイトルのみのモデルを 10 個使っの評価結果ともに，タイトルのみ手法を上回る最も良てアンサンブルを行った場合の結果を表 2 下段に示す．

い性能を出すことが明らかになった．

表 2 下段を見ると，組み合わせたモデルでは Simple，Complex 共に精度が向上し，タイトルのみのモデル

今後は，より適切な手法の開発や，強化学習を取り入れた手法の検討を行っていく予定である．と比較しても良い結果となった．これは，双方の得意な部分をうまく取り入れることができたことを示して参考文献いる．
次に，クラウドソーシングの結果を表 3 に示す．この結果を見ると，提案手法が可読性は低いものの，有用性はタイトルのみ手法と比較しても有意に高くなっている．つまり，提案手法では読みやすさを犠牲にして，内容に関係のある語を利用するようになったことを示唆している．また，提案手法+Query-based では可読性，有用性，共に最も良い値になっており，この弱点を克服することができた．表 4 の実際の出力例を見てみても，提案手法+Query-based のモデルでは，読みやすさを犠牲にせず，必要な語を利用できていることがわかる．

5

おわりに
本論文では，記事のタイトルとリード文とを組み合わせたトピックス見出し生成について取り組み，既存[1] Dzmitry Bahdanau, Kyunghyun Cho, andYoshua Bengio. Neural machine translation by
jointly learning to align and translate. ICLR,
2015.
[2] Alexander M. Rush, Sumit Chopra, and Jason
Weston. A Neural Attention Model for Sentence
Summarization. EMNLP, 2015.
[3] Konstantin Lopyrev. Generating News Headlines
with Recurrent Neural Networks. CoRR, Vol.
abs/1512.01712, , 2015.
[4] Preksha Nema, Mitesh M. Khapra, Anirban
Laha, and Balaraman Ravindran. Diversity
driven attention model for query-based abstractive summarization. In ACL, pp. 1063–1072,
2017.
[5] Chiori Hori, Takaaki Hori, Teng-Yok Lee, Ziming
Zhang, Bret Harsham, John R. Hershey, Tim K.
Marks, and Kazuhiko Sumi. Attention-BasedMultimodal Fusion for Video Description. InICCV, 2017.の複数エンコーダ利用手法と，提案手法の比較を行った．各手法，5 個づつモデルを作成し，アンサンブル― 12 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.