言語処理学会 第21回年次大会 発表論文集 (2015年3月)

重要箇所同定用コーパスの構築–New York Times Annotated Corpus の文書要約資源化に向けて–菊池 悠太 ††

渡邉 亮彦 †高村 大也 ‡奥村 学 ‡東京工業大学 大学院総合理工学研究科，‡ 東京工業大学 精密工学研究所{kikuchi, watanabe}@lr.pi.titech.ac.jp,{takamura, oku}@pi.titech.ac.jp

1

はじめに様々な単位を考えることができる．生成型要約手法は原文書に存在しない表現を用いて高度な言い換えや内文書要約は，与えられた単一あるいは複数の原文書(集合) から，一つの要約を作成するタスクである．要約は，要約者がどの視点で作成したかによって大きく二種類に分けられる．以下に二つの具体例を示す1 ．
(a) Second annual Family Television Awards are presented by coalition of advertisers interested in stimulating production of prime-time television programsthat appeal to broader multigenera tional audiences.
(b) Daniel Gross Economic View column on economic
advantages of congestion pricing, particularly asmeans of unclogging urban streets; some economists
say now is time to expand concept; photo; graph.

容の抽象化を行う．どちらも原文書の視点を保ちつついかに短くするかという共通の前提を持つ．
現在，人手による要約（参照要約）が付与された最も大規模なコーパスの一つは，New York Times An-

notated Corpus2 (NYTAC) である．NYTAC を構成する 180 万記事のうち 64 万記事に専門家による参照要約が付与されている．この規模の要約付きコーパス
は他に類を見ないが，本コーパスにも上述のような細分された参照要約の情報は付与されていない．具体的には，参照要約が概要的か説明的か，またその作成方法が抽出型か生成型かという情報である．
本研究の目的は，NYTAC の各参照要約に細分化さ要約例 (a) は，原文書の著者と同じ視点で要約が書れた情報を付与することである．これにより，文書要かれている．つまり，要約そのものが原文書と同じ主約に関するより詳細な分析や信頼性の高い定量評価，張をしている．一方で，要約例 (b) は，原文書そのも大規模データによる構造学習などが可能となる．本稿のの情報やその内容を客観的に説明するような論調で，では本研究の最初の段階として，本コーパスの一部か原文書の著者の視点とは異なった第三者の視点 (しばら重要箇所同定に特化した訓練，評価用サブコーパスしば要約者自身の視点) に立って書かれた要約である．の構築を行う．

本稿では，(a) のような要約を概要的要約，(b) のような要約を説明的要約と呼び両者を区別する．両者はそれぞれが強い特徴を持っており，各々の違いを意識して分析を行うことが重要である．また，それぞれに対し要約手法が担うべき技術も大きく異なる．しかしながら，文書要約に用いるコーパスには，これらの分類が明示的に付与されていることは少ない．

重要箇所同定用サブコーパス

2

本節では，本稿で我々が構築する重要箇所同定用のサブコーパスについて説明する．

2.1

対象とする NYTAC の記事

従来の文書要約について取り組んだ研究の多くは，NYTAC は米国の New York Times 社が過去に発行した記事にアノテートを行なった約 180 万記事からな概要的要約の作成であるといえる．このときしばしばるコーパスである．そのうち約 64 万記事には専門家議論される要約の分類は，抽出型要約手法と生成型要が作成した要約が付与されている．NYTAC は非常に約手法という要約の作成方法に焦点を当てたものであ

大規模なコーパスであるため，今回は一部の記事のみる．抽出型要約手法は顕在性スコアに基づいて原文書を取り扱う．具体的には，“types of material” というの一部を抜き出す．抜き出す単位は文や単語，句など記事種別を表すメタ情報のうち，「記事の訂正」や「人1 二つの要約はそれぞれ別の文書を要約したものであり，内容は一致しないことに注意されたい．

― 593 ―

2 https://catalog.ldc.upenn.edu/LDC2008T19

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

処理

処理前

処理後

抽出

The Turkish Government should be encouraging, notsilencing, those who support a political solution to theKurdish crisis.
Over the next two weeks, the justices are to hear fourcases that will help define the true dimensions of thelaw.
[文 1] Studies consistently show that those obtaining
Chapter 7 protection are truly in dire straits.
[文 2] On the broader issue, there is scant evidence thatbankruptcy abuse is rampant.
Editorial contends that China should be admitted toWorld Trade Organization if it is prepared to honor
international fair-trade rules.

says Turkish Govt should be encouraging, not silencing, those support political solution to Kurdish crisis.

圧縮融合

改変

note that justices will hear four cases that will help
define true dimensions of the law.
says there is scant evidence that bankruptcy abuse isrampant, and studies consistently show that those obtaining Chapter 7 protection are truly in dire straits.
If China is prepared to honor international fair-traderules, it should be admitted to the World Trade Organization.

図 1: 原文から抽出型処理により作成された要約文の例．
物の経歴など」特殊な記事種別を除いた上でその総数が多く出現するため，抽出型処理により十分に再現でが最も多かった「社説 (Editorial)」を対象とした．将きることが予想される6 ．ただし，時には要約者自身

来的には，NYTAC の文書要約資源化に向けて，本研により原文書に存在しない表現が生成されることもあ究により得られた知見から 64 万記事すべての要約にる．説明的要約は原文書の内容を第三者の視点に立っ対し処理を行う．て客観的に説明するような論調で書かれている．その2.2ため，原文書に存在しない表現が現れることが多い．

文の種類

説明的要約はしばしば 1,2 文のみの比較的少ない文数要約に含まれる各文は，以下のいずれかの処理によで構成されている．また，冒頭のみが説明的でその後り作成されている．抽出は，原文書中の文（原文）をが概要的な要約では，記事の冒頭に要約者による客観ほぼそのまま抜粋する．圧縮は，原文の不要な部分を的な説明が記述された後，具体的な内容が概要的要約削除し，冗長な表現を短縮する3 ．改変は，文内で完の形で現れているものも存在する．そのような場合，結した節の入れ替えや数単語のみを対象とした言い換

説明となっている冒頭部分以外は抽出型処理により再4えなど，比較的小規模な変更 を行う．融合は，原文中の複数の文を連結し一つの文を作成する．連結される各文は，事前に圧縮，改変の処理が施されている場合現が可能である．

2.4

本サブコーパスを作成する意義もある5 ．生成は，原文書に存在しない表現を用いて単一文書要約における重要箇所同定は困難な課題の高度な言い換えや内容の抽象化を行う．説明は，原文一つである．複数文書要約では重要な話題は文書横断

書の内容を要約者自身の視点から客観的に説明する．

的に原文書集合中の多くの文書に出現するという特性

上記の処理のうち，本稿では抽出，圧縮，改変，融合を手がかりとして利用できるが，単一文書ではそのよをまとめて抽出型処理と呼ぶ．図 1 に抽出型処理のそうな情報が利用出来ない．報道記事であれば冒頭に重れぞれの具体例を示す．生成，説明の処理が施された要なまとめが存在する場合も多いが，必ずしもそうで文は抽出型処理による再現が困難であり，今回構築すないことも報告されており [4]，必ずしも文の位置にるサブコーパスには含まない．

依存しない重要箇所の同定手法を構築することは有用

2.3である．ここで，参照要約が生成型アプローチで作成

記事の種類された概要的要約や，そもそも説明的要約であった場社説に関する記事を調査した結果，概要的要約，説明的要約，冒頭のみ説明的でその後が概要的な要約，合，重要箇所の同定のみでは参照要約を再現できず，重要箇所同定に対する定量的な判断ができない．の三種類の要約が存在することを確認した．概要的要

そのため，本稿では，技術的な焦点を重要箇所同定

約は原文書を原文書の著者と同じ視点で短くまとめたに絞るために，抽出型アプローチで参照要約を再現可要約である．そのため，要約には原文に含まれる表現能な参照要約を収集し，重要箇所同定用サブコーパス

3 ただし，原文からの冠詞や副詞の削除は極めて高い割合であらゆる文に発生するので，圧縮とはみなさないこととする．
4 当該箇所以外の大部分は抽出である．
5 ただし，融合される文に後述の説明や生成による文が含まれている場合は融合に含まずにそれぞれ説明，生成に属することとする．

1 とする．ただし，抽出型処理のなかでも文の圧縮や6 ただし，要約文の冒頭に表 1 中の “says” のような特有の語句が挿入される場合が多いため，このような語句は原文からは必ずしも再現できないことに注意されたい．

― 594 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

融合など比較的複雑な処理を経て要約が生成されてい表 1: 構築したサブコーパスの統計値

る場合は，重要箇所の同定の他に技術的に難しい側面が出てきてしまう7 ．そこで，サブコーパス 1 のうち特に純粋に文抽出のみで構築されたサブコーパス 2 を

sub1
sub2

要約単語数5158

原文書単語数468444

要約文数2.12.3

圧縮率0.1200.142

構築する．適切な文を選択することさえできれば，高い評価値が得られることが分かっているため，重要箇抽出に基づくオラクル要約を手がかりとして利用した．

所同定の側面のみを定量評価できるようになる．

オラクル要約とは，要約システムにより再現できる評3

重要箇所同定サブコーパスの構築

3.1

サブコーパス 1 の構築

価関数の上限値を持った要約である．評価関数にはRecall-Oriented Understudy for Gisting Evaluation(ROUGE)[1] を利用した．オラクル要約の評価値が高い要約は，適切な文を選択することで参照要約の大部まず，今回対象となる 12996 記事から，サブコーパ分を再現できることを意味する．そこで，オラクル要

ス 1 を構築する．構築には，参照要約側の文と原文約の ROUGE-2 値が閾値 thr2 以上の参照要約を取り書側の文に対し，それらの語幹バイグラム集合間の出し，サブコーパス 2 とする．オラクル要約は，参照Simpson 係数を用いる:

要約に含まれる語幹バイグラム集合をできるだけ被覆

simp(si , sj ) =する文集合を選択する問題として，以下の整数計画問|sb(si ) ∩ sb(sj )|.
min(|sb(si )|, |sb(sj )|)

題として定式化した:

ここで si は文，sb(·) は，文を受け取り語幹バイグラ

max.

ム集合を返す関数である．Simpson 係数は，単語数のs.t.

少ない方の文から見た被覆率を意味することから，ある要約文 si に対し simp(si , sj ) の高い文 sj が存在す
る場合，その要約文は抽出型処理によって作成されたとみなせる．
以下の条件を満たす参照要約を，サブコーパス 1 の∑m∑njzj

i ci xi ≤ L;∑n(1)i aij xi ≥ zj ;∀j(2)xi ∈ {0, 1};∀i(3)zj ∈ {0, 1};

∀j ．

(4)

スを i，原文書側の文インデックスを j ，si が抽出型

zj は，j 番目の被覆単位を要約に含めるときに 1 となる決定変数である．xi は文インデックス i を要約に選択するときに 1 となる決定変数である．制約式 (1) は，処理によって作成されたかを決定する閾値を thr1 と要約に選択された文に含まれる単語数が要約長 L 以下構成要素とした．ここで，参照要約側の文インデックする．になることを保証する．式 (2) は，文と文に含まれる- 全ての文 i に対し simp(si , sj ) ≥ thr1 となる文 jが存在する．
- i が一文目の場合は，カンマ8 で区切った最初のセ
グメント sk も同様に simp(sk , sj ) ≥ thr1 となる
j が存在する．

概念単位の整合性を保つための制約である．

4

構築と評価

4.1

サブコーパス構築結果

二つ目の条件は，2.3 節で述べた冒頭のみに説明的な3 節の方法でサブコーパス 1(sub1) およびサブコー記述がされている要約を除外するための条件である．

パス 2(sub2) を構築した．このとき，thr1 ，thr2 をそ冒頭の文をカンマで区切った最初のセグメントが説明れぞれ 0.5，0.7 とした．構築されたサブコーパス１おであった場合は，原文に対応する箇所が存在しないた

よび２の記事数はそれぞれ 4228 記事，166 記事となっ

め，Simpson 係数の値が低くなり，サブコーパスからた．サブコーパスの各種統計値を表 1 に示す．表中の除外することが可能となる．

値は，全記事に対する平均値を示している．

3.2

4.2

サブコーパス 2 の構築

アノテーションによる評価

サブコーパス 1 のうち，さらに文抽出による再現率作成したサブコーパスの信頼性を評価するために，が高くなるサブコーパス 2 を構築する．構築には，文それぞれのサブコーパスからランダムに 15 記事をサンプリングし，1 名の作業者による参照要約のアノテー

7 文圧縮を含んだ文書要約手法は近年盛んに研究されているトピックの一つである．
8 ただし，文頭から 10 単語以内のカンマは除く．

ションを行った．具体的には，サブコーパス 1 の記事については，要約中の全ての文が抽出型処理のみで作― 595 ―Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.

40

表 2: 構築したサブコーパスへのアノテーション結果

35

負例
3830

記事数

sub1
sub2

正例
137

表 3: オラクル要約と各要約手法の ROUGE-2 値
オラクルLEADMCPTR

Editorial
0.318
0.131
0.093
0.066

sub10.410
0.199
0.124
0.087

25201510

sub20.762
0.484
0.237
0.159

500.0 0.1

0.20.30.4 0.50.6

ROUGE-2値

0.7 0.8

0.91.0

図 2: LEAD 手法のサブコーパス 2 における ROUGE成された文である（正例）かどうか，サブコーパス 2の記事については，各記事の要約の全ての文が抽出により作成された文（正例）かどうかをアノテーションした．信頼性評価の結果をそれぞれ表 2 に示す．表 2を見ると，サブコーパス 1 は大部分が意図通りの参照

2 値の度数分布重要箇所を同定する必要がある．表 3 で示したように今回用意したベースライン手法では十分な ROUGE-2値が得られていないことから，より強力な重要箇所同定手法が必要である事がわかる．

要約で構成されていることが確認できた．サブコーパ
ス 2 における負例のほとんどは，2-3 単語の削除によ6

まとめり文圧縮処理だと判断されたものの，圧縮箇所以外は本稿では，NYTAC を大規模な要約資源として整備抽出であることを確認したため，極めて抽出に近い要するための研究の第一段階として抽出型アプローチに約が取り出せていると言える．詳しくは 6 節に述べる

よる概要的要約のみで構成された参照要約を収集するが，今後はより精度の高い分類を進める予定である．

ことで重要箇所同定用サブコーパスを構築した．

5

今回は，抽出型処理による要約とそれ以外の分類の構築したコーパスに基づく要約実みに焦点を当てた．しかしながら，説明的要約と概要験

的要約はその特性が大きく異なるため，両者を分離することができれば非常に興味深い分析が可能になる．

構築したサブコーパス 1，サブコーパス 2，および原文書集合 (Editorial) を対象に，いくつかの文書要約

今後は，特に説明的要約と，生成型アプローチによる概要的要約との違いについて焦点を当てて研究を行う．

手法についての評価実験を行なった．今回用いた要約手法について説明する．LEAD は，原文書の冒頭から逐次的に文を抽出することで要約とする手法である．

MCP は，原文書内の語幹ユニグラムを概念単位とした最大被覆問題に基づく文書要約モデル [3] に基づく手法である．TR は，TextRank に基づく手法 [2] である．TextRank は，共通課題タスクとして単一文書要約が扱われた Document Understanding Conference(DUC) 2002 において最も性能が高かった要約手法と同等の性能を示した文書要約モデルである．表 3 にオラクル要約と各要約手法による平均 ROUGE-2 値を9示す．表の sub2 の列から，LEAD による要約は文抽出における ROUGE-2 値の上限であるオラクル要約の約 6 割のスコアを獲得していることがわかる．しかしながら，sub2 における LEAD が獲得した ROUGE-2値の度数分布（図 2）を見ると，その約 2 割は 0.1 未満である．LEAD による要約で十分な ROUGE-2 値が得られない文書は，重要箇所が記事冒頭に無いため9 文抽出に特化したサブコーパス

今回は，語幹バイグラムの Simpson 係数により抽出型処理か否かの分類を行なったものの，抽出型処理のうちいずれの処理であるかの詳細な分類基準は作成していない10 ．今後は，要約文書と原文書内のテキストスパン同士のアライメントを取るなど，詳細な分析を行う．また，構築したサブコーパスは，英語話者による詳細なチェックを行うことで，本サブコーパスの評価セットとしての信頼性を担保する．

参考文献[1] Chin-Yew Lin. Rouge: A package for automatic evaluationof summaries. In Proc. ACL workshop on Text Summarization Branches Out, pp. 74–81, 2004.
[2] Rada Mihalcea and Paul Tarau. Textrank: Bringing order
into texts. In EMNLP, pp. 404–411, Jul. 2004.
[3] Hiroya Takamura and Manabu Okumura. Text summarization model based on maximum coverage problem andits variant. In EACL, pp. 781–789, March 2009.
[4] Yinfei Yang and Ani Nenkova. Detecting informationdense texts in multiple news domains. In AAAI, pp. 1650–1656, Jul. 2014.
10 バイグラムの Jaccrad 係数や被覆率などの他の指標，あるいはそれらの組み合わせが一定の分類基準になることは確認している．

― 596 ―

Copyright(C) 2015 The Association for Natural Language Processing.
All Rights Reserved.