言語処理学会 第26回年次大会 発表論文集 (2020年3月)

メタ情報に基づいた論⽂タイトル⾃動⽣成⿊⽥ 和⽮ 1

狩野 芳伸 2

静岡⼤学⼤学院総合科学技術研究科
kkuroda@kanolab.net1, kano@inf.shizuoka.ac.jp2
1. はじめに研究に取り組むにあたって、研究者は膨⼤な数の論⽂の中から⾃⾝の研究に関連する情報を取捨選択する必要がある。しかし、⽇々増え続ける論⽂のすべてを限られた時間の中で読むことは現実的ではない。そこで重要になるのが論⽂タイトルと論⽂概要である。これらは論⽂の内容を端的に表したものであり、研究者が短い時間で論⽂の内容を把握するために役⽴てられる。
特に、論⽂タイトルは論⽂検索エンジン等で論⽂を探した際に⼀番初めに⽬にする情報であり、その論⽂が必要かどうかの判断に⼤きな影響を与えるものである。
実際、論⽂タイトルが論⽂の引⽤数やダウンロード数に影響を与えるということが調査されており (Jamaliら 2011, Letchford ら 2015) わかりやすい論⽂タイトルを付けることは書き⼿、読み⼿双⽅にとって重要であると考えられる。しかし、論⽂タイトルの付け⽅を解説した Web ページが多数が存在するように、論⽂執筆に慣れていない⼈にとってわかりやすいタイトルを付けることは難しい⾏為である。そのため、論⽂タイトル⽣成の⽀援として、論⽂概要を要約して論⽂タイトルを⽣成する研究 (安藤ら 2004, Putra ら 2017, ⼤部ら 2018) がいくつか⾏われている。
本研究では初学者および⾮英語話者のための論⽂タイトル⽣成の⽀援として、先⾏研究と同様に論⽂概要を要約する形で論⽂タイトルを⽣成する⼿法を提案する。このとき著者やジャーナルといったメタ情報が論⽂タイトルの表現に与える影響を考慮することで、論⽂タイトル⽣成の精度の向上を試みる。実験の結果、ジャーナル名を⽤いて論⽂タイトルを⽣成した際にベースラインと⽐較して ROUGE スコアが上昇した。

2. 関連研究2.1. 論⽂タイトル⽣成論⽂概要を⼊⼒とした論⽂タイトルの⾃動⽣成に関する既存研究について述べる。Putra ら (2017) は⽂の修辞的カテゴリーを考慮したテンプレートベースおよび K 近傍法を⽤いた論⽂タイトルの⾃動⽣成を試みた。論⽂概要中の各⽂を論⽂の⽬標や提案⼿法等の修辞的カテゴリーに基づいて分類した後、修辞的カテゴリーに基づいた⽂のフィルタリングを⾏うことで論⽂概要中の特定の⽂のみを論⽂タイトル⽣成に⽤いている。安藤ら (2004) は論⽂タイトルを構成する上で必要となる主題要素を⼿がかりとした、限定されたパターンで構成される論⽂タイトルの⾃動⽣成を試みた。
論⽂概要から 2 ⽂以内の重要⽂を抽出した後、抽出された⽂の⽂節を⼀定の規則で探索することで主題要素を獲得し、獲得した主題要素を整形することで論⽂タイトルを⽣成した。⼤部ら (2018) は RNN を⽤いた抽出型および抽象型の論⽂タイトルの⾃動⽣成を試みた。抽出型の要約では論⽂概要中の各単語についてその単語がタイトルに出現するかの⼆値分類を RNN を⽤いて⾏った後、テンプレートを⽤いて論⽂タイトルを⽣成した。抽象型の要約では未知語に対応するために Encoder-Decoder 型のモデルに Pointer Networksの機構を組み合わせたモデルを⽤いて論⽂タイトルを⽣成した。

2.2. メタ情報を使った⽂⽣成
⽂⽣成のタスクにおいて、データに付随するメタ情報を⽤いることで⽣成される⽂を制御する研究が⾏われている。Dziri ら (2019) は対話応答⽣成に会話のトピックを組み込んだ THRED（Topical Hierarchical
Recurrent Encoder Decoder）を提案し、⽂脈に応じた 対 話 を ⽣ 成 す る こ と を 試 み て い る 。 Mathur ら(2017) は e コマースの Web ページタイトルを⾃動⽣成する際に商品のカテゴリーやブランドを⽤いることで、Web ページの内容に則したタイトルの⽣成を試みた。Iwama ら (2019) はニュース記事の⾒出しを⽣成する際に⾒出しの順序や⽂字サイズを⽤いることで、ひとつのニュース記事に対して複数の⾒出しを⽣成することを試みた。
論⽂タイトルに関する分析として、佐々⽊ (2017)
は国内⼼理学会機関紙において機関紙の種類によって論⽂タイトルの⻑さや⽤いられる単語の傾向に違いがあることを明らかにしている。機関紙名のようなメタ情報に基づく論⽂タイトルの傾向を学習することができれば、論⽂概要から論⽂タイトルへの要約の精度が向上すると考えられる。そこで、本研究では論⽂概要に加えて論⽂に付随するメタ情報を⽤いて論⽂タイトルを⽣成することを試みる。

― 61 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

図 1 提案モデル全体図
表 1 データ制限に⽤いた項⽬と最⼤／最⼩値

3. 提案⼿法
本研究では Transformer (Vaswani ら 2017) にメ
タ情報を扱うための MetaEncoder を組み込んだモデルを提案する。モデルの全体図を図 1 に⽰す。
MetaEncoder は Transformer の Decoder と同じ構造をしており、論⽂概要をエンコードした結果とメタ情報を⽤いてメタ情報をエンコードする。メタ情報をエンコードする際に論⽂概要をエンコードした結果を⽤い る こ と で 、 メ タ 情 報 の 持 つ 傾 向 が Attention
Mechanism において論⽂概要のどの単語に注意を向けるかという形で学習されることを期待している。
MetaEncoder に複数のメタ情報を⼊⼒する際には、メタ情報を並べて単語列のように扱う。MetaEncoder の出⼒の平均を Decoder の⼊⼒に加えることでメタ情報の持つ傾向を論⽂タイトルに組み込むことを試みている。

4. 実験
4.1. データセット
本研究では PubMed1データベースからダウンロードした論⽂情報を⽤いた。PubMed は NLM の NCBIが運営する⽣物医学および⽣命科学に関する⽂献の無料検索エンジンであり、データベースには 3000 万件
1

https://www.ncbi.nlm.nih.gov/pubmed/

タイトル
単語数
(単語)

概要
単語数
(単語)概要⽂数(⽂)

概要によるタイトル単語含有率(%)

最⼩5100370

最⼤20200

10100を超える⽣物医学⽂献の要約が含まれている。論⽂概要、論⽂タイトルに加えメタ情報が記述されおり、深層学習を⾏うために⼗分な量のデータが存在するという点から本データを採⽤した。ただし、論⽂情報の中には⼀部の情報が⽋損しているものや、論⽂概要や論⽂タイトルの⻑さが極端なものが存在する。そこで、本実験では英語論⽂かつ最低限必要な論⽂概要と論⽂タイトルを含む論⽂情報に対して単語数および⽂数に関する分析を⾏い、表 1 に⽰すように使⽤するデータに制限をかけた。
本研究では論⽂概要および論⽂タイトルのトークン分析に Genia Tagger 2 を⽤いた。Genia Tagger はMEDLINE 等の⽣物医学テキスト⽤に調整されたトークン分析およびタグ付けを⾏うライブラリである。タグには単語の基本形、品詞、チャンク、固有表現を表すものがある。本研究では実験データ全体を通して⽣物医学に関する専⾨⽤語が⼀般⽤語に対して出現回数が少なく未知語として扱われると考え、論⽂概要および
2― 62 ―

http://www.nactem.ac.uk/GENIA/tagger/

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 2 実験結果
モデル

ROUGE-1

ROUGE-2

ROUGE-LTransformer(ベースライン)

43.85

23.29

40.10

ジャーナル名

44.62

23.80

40.80

公開年

44.43

23.77

40.73

インパクトファクター

44.07

23.45

40.33

著者名

42.18

22.12

38.73

ジャーナル名+公開年

44.39

23.71

40.60

ジャーナル名+公開年+インパクトファクター

44.22

23.52

40.47

ジャーナル名+公開年+インパクトファクター+著者名

42.40

22.10

39.00

提案モデル

論⽂タイトルのトークン分析を⾏う際に固有表現の置換を⾏った。置換は論⽂概要と論⽂タイトルのペアごとに検出された固有表現のうち⽂字列⻑が⻑いものから順に<NE-X> (X=0,1,...) という形で置き換えた。

4.2. 実験設定
本実験では 4.1 にて⽤意した 2,170,402 件の論⽂情のうち、1,736,322 件を学習データ、217,040 件を検証データ、217,040 件を評価データとして使⽤する。
ベースラインは Transformer とし、複数あるメタ情報のうち 1 つのみを⽤いた場合といくつかのメタ情報を組み合わせた場合について実験を⾏う。本実験ではメタ情報として、論⽂が掲載されたジャーナルの名前、ジャーナルの巻号が公開された年、ジャーナルのインパクトファクター、論⽂の著者名を使⽤する。なお、著者名については筆頭著者名及び最終著者名のみを使⽤する。なお、本実験ではメタ情報をモデルへの⼊⼒として扱う際、トークン分析は⾏わず例えばジャーナル名であ れ ば 「 Current neurology and neuroscience
reports」、著者名であれば「Suzuki T」をひとつの⼊⼒として扱う。また、インパクトファクターについては取得した値を切り上げて整数値として使⽤した。
本実験で扱うすべてのモデルのハイパーパラメータについて Encoder、MetaEncoder および Decoder の層数 N = 2、単語の埋め込み表現の次元 dmodel = 512、全結合層の次元 dff = 2048、Multi Head Attention のヘッド数 h = 8、ドロップアウト率 Pdrop = 0.1、オプテ
ィマイザを Adam、学習率 lrate = 0.0001 とした。また、単語数は学習データ中の出現回数上位 30,000 件の単語に固有表現を置換した<NE-X> (X=0,1,...,17)を加えた 30,018 件とした。また、メタ情報は学習デー
タ中の出現回数をもとに、ジャーナル名 8,104 件、公開年 105 件、インパクトファクター37 件、著者名315,755 件を使⽤し、それ以外は未知語として扱う。

学習の際にはバッチサイズを 64、エポック数を 20とし、エポックごとの検証データの損失が 3 エポック上昇し続けたら学習を終了する。検証データの損失が最も低かったエポックのモデルを評価データを⽤いて評価する。評価には ROUGE-1、ROUGE-2、ROUGEL を⽤いる。

5. 結果
実験を⾏った結果を表 2 に⽰す。表 2 より、提案モデルを⽤いた結果のうちメタ情報に著者名を含むもの以外のすべてがベースラインと⽐べて精度が向上していることが⾒て取れる。このことから、メタ情報のもつ論⽂タイトルの表現に対する傾向を学習することが論⽂タイトルの⽣成に効果的であると考えられる。また、メタ情報のうちジャーナル名のみを使⽤した際に最もスコアが⾼くなったことから、ジャーナル名の持つ使⽤する単語の傾向や論⽂タイトルの⻑さの傾向が適切に学習されたのではないかと考えられる。インパクトファクターを使⽤した際にベースラインと⽐べて精度があまり変わらなかった原因として、提案モデルがメタ情報の性質を考慮していないことが考えられる。提案モデルでは連続値であるインパクトファクターを⼀定の範囲で区切り離散値として使⽤している。その結果、細かい値の差による傾向が学習されずあまり精度が向上しなかったのではないかと考えられる。また、著者名を⽤いた際に最も精度が低下したことが⾒て取れる。本実験では学習データ 1,736,322 件に対して315,755 件の著者名を使⽤した。ひとつの著者名あたりの学習データの数が少なくなることで、過学習を引き起こし精度が低下したと考えられる。メタ情報を順に組み合わせて使⽤した際に、使⽤するメタ情報の種類を増やすたびに精度が低下していることが⾒て取れる。著者名と同様にひとつのメタ情報の組み合わせ、例
えば 2010 年かつ Scientific reports の論⽂に対する学― 63 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

表 3 評価データに対する論⽂タイトル⽣成結果
論文概要：pharmacological treatment of colorectal cancer has improved survival rates in recent years .
individual genetic variation in genes associated with metabolism and targets of commonly used drugs canbe responsible for variability in treatment outcome and toxicity . diverse study designs have been usedand heterogeneous end points evaluated by studies assessing the association of genetic markers withtreatment outcome . we conducted this systematic review , including 51 studies , to present acomprehensive overview and draw further conclusions . to facilitate comparison of reported study results ,risk estimates for observed genetic variants in <NE-0> are presented using defined reference categories
and recalculated risk estimates based on data provided in original publications , where necessary . overall ,evidence indicates associations of the ugt1a1 ( * ) 28 variant genotype with toxicity after irinotecan
treatment , mutations in gstp1-105 with improved treatment outcome and the xpd-751 variant genotype
with poor treatment outcome after oxaliplatin treatment , and amplification of the <NE-1> with improved
treatment outcome after therapy with <NE-2> . adequately powered prospective investigations designed
specifically for pharmacogenetics are needed .
論文タイトル（正解）：pharmacogenetics in colorectal cancer : a systematic review .
Transformer：pharmacogenetics of treatment outcome after oxaliplatin treatment .
提案モデル：pharmacogenetics of irinotecan treatment outcome in colorectal cancer : a systematic review .

習データの数が減ることが精度低下の原因になっていると考えられる。
Transformer とジャーナル名を使⽤した提案モデル
による評価データに対する論⽂タイトルの⽣成結果を表 3 に⽰す。⽣成結果について、提案モデルのみが正解同様「:」で区切られたタイトルを⽣成していることが⾒て取れる。学習データについて分析を⾏った結果、全データ中で「:」が含まれる論⽂タイトルが230,143/1,736,322 (13.25%) であったのに対し、表3 の論⽂が掲載されている Pharmacogenomics では53/229 (23.14%)であった。このことから、ジャーナルが持つ「:」を含む論⽂タイトルが多いという傾向が学習されていると考えられる。

6. おわりに本研究ではメタ情報を⽤いた論⽂タイトルの⽣成⼿法を提案した。実験の結果、メタ情報としてジャーナル名を使⽤した際にベースラインと⽐べて最も精度が向上し、メタ情報を⽤いることが効果的であることを確認した。今後の課題として、メタ情報ごとに適切な使い⽅が可能なモデルの構築やメタ情報に対して⼗分な量のデータを⽤いて実験を⾏うことが挙げられる。また、実際の論⽂タイトルの傾向と学習済みモデルが⽣成した論⽂タイトルの傾向の違いをさらに分析することが精度の向上につながると考えられる。

参考⽂献

Augmenting Neural Response Generation with ContextAware Topical Attention. Proceedings of the First Workshop
on NLP for Conversational AI , 18-31.
Iwama, K., Kano, Y., 2019. Multiple News Headlines
Generation using Page Metadata. Proceedings of 12thInternational Conference on Natural Language Generation,Vol. 91, pp. 1689-1699.
Jamali, H. R., Nikzad, M., 2011. Article title type and its
relation with the number of downloads and citations.
Scientometrics, 88(2), 653-661.
Letchford, A., Moat, H. S., Preis, T., 2015. The advantage ofshort paper titles. Royal Society Open Science, 2(8),150266.
Mathur, P., Ueffing, N., Leusch, G., 2017. Generating titles formillions of browse pages on an e-Commerce site.
Proceedings of the 10th International Conference onNatural Language Generation, 158-167.
Putra, J. W. G., Khodra, M. L., 2017. Automatic Title
Generation in Scientific Articles for Authorship Assistance:
A Summarization Approach. Journal of ICT Research andApplications, 11, 253.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L.,
Gomez, A. N., Kaiser, Ł., Polosukhin, I., 2017. Attention is
all you need. Advances in Neural Information Processing
Systems, 2017-Decem(Nips), 5999-6009.
佐々⽊宏之, 2017. 国内⼼理学会機関誌 7 誌の論⽂タイトル傾向
分析 - KH Coder を⽤いたテキストマイニングから-. 暁星論叢,67, 11-47.
⼤ 部 達 也 , ⼤ 囿 忠 親 , 新 ⾕ ⻁ 松 , 2017. Recurrent Neural
Network を⽤いた抽出型および⽣成型論⽂タイトル⽣成について. ⼈⼯知能学会全国⼤会論⽂集, JSAI2017, 3A11.
安藤⼀秋, 新居雅也, 溝渕昭⼆, 2004. 論⽂概要からのタイトル
⾃ 動 ⽣ 成 の 試 み . ⾔ 語 処 理 学 会 年 次 ⼤ 会 発 表 論 ⽂ 集 , 10,
A10C2-04.

Dziri, N., Kamalloo, E., Mathewson, K., Zaiane, O., 2019.

― 64 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.