# 抽出型オラクル要約の人手評価
## 平尾努 $\dagger \cdot$ 西野 正彬 $\dagger \cdot$ 永田 昌明 $\dagger$

本稿では, 抽出型要約手法におけるオラクル要約, すなわち自動評価スコアを最大化する要約を生成するための整数計画問題による定式化を示し, 抽出型要約システムが到達可能な自動評価スコアの上限値を明らかにする。そして，オラクル要約の妥当性を検証するため, ピラミッド法と Document Understanding Conference (DUC) で利用されたQuality Questions を用いて内容と言語品質の双方の観点から人手評価を行う. 文抽出, Elementary Discourse Unit (EDU) 抽出, 根付き部分木抽出の 3 種の抽出型要約手法を対象とし, Text Analysis Conference (TAC) 2009/2011 のデータセットを用いて ROUGE と BasicElements (BE)を最大化するオラクル要約を生成してそれらを評価した。その結果, 抽出型オラクル要約の自動評価のスコア, ピラミッド法による評価スコアは現状の要約システムのスコアよりも明らかに優れていることがわかった。一方, 言語品質に関しては現状の要約システムと差がない, あるいは劣る結果となった。これらより, 抽出だけでもまだ良い要約を生成できる余地がある一方，言語品質を改善する必要が明らかとなった.

キーワード：オラクル要約，抽出型要約, 整数計画問題

## Manual Evaluations of Extractive Oracle Summaries

\author{
Tsutomu $^{\prime} \operatorname{HiraO}^{\dagger}$, Masaaki Nishino $^{\dagger}$ and Masaaki Nagata ${ }^{\dagger}$
}

In this paper, we derive the Integer Linear Programming (ILP) formulations to obtain extractive oracle summaries to reveal the upper bound automatic score of the extractive summarization paradigm. Then, we manually evaluate the oracle summaries in terms of the pyramid method and Quality Questions to assess the validity of the oracle summaries. We evaluated three kinds of extractive oracle summaries, sentence extraction, Elementary Discourse Unit (EDU) extraction, and subtree extraction, against ROUGE and Basic Elements (BE) on Text Analysis Conference (TAC) 2009/2011 data sets. The results demonstrated the pyramid scores and automatic scores of the oracle summaries are quite high, but the linguistic quality of them is not so good. The results imply that we can generate informative summaries by extraction, but we have to improve the linguistic quality of the summaries.

Key Words: Oracle Summaries, Extractive Summarization, Integer Linear Programming


## 1 はじめに

流暢な文の生成を可能にするニューラルネットワークによる系列変換モデル (Sutskever， Vinyals, and Le 2014；Bahdanau, Cho, and Bengio 2014）の発展は，文生成を利用する自然言語処理タスクに大きな恩恵をもたらした。文書要約タスクも例外ではなく, Rush, Chopra, and Weston (2015) 以降, 系列変換モデルを用いた生成型要約 (abstractive summarization) の研究が盛んに行われており, ヘッドライン生成, 単一文書要約ではそれが顕著である。一方, 文書の一部を抜き出すことで要約を生成する抽出型要約 ${ }^{1}$ (extractive summarization) の研究は脈々と続いているものの生成型要約の研究と比較すると数は少なくなってきた. たとえば， 2019 年開催の第 57 回 Association for Computational Linguistics (ACL) では, 抽出型要約手法に関する発表は約 5 件であったが生成型要約手法に関する発表は約 15 件であり, 生成型要約手法に注目が集まっていることがよくわかる。このように自動要約研究の主流は抽出から生成へと移り変わりつつある。では，抽出型要約は終わってしまった研究，すなわち，継続する価值のない研究なのだろうか？この疑問に答えるためには，抽出型要約手法の上限，つまり抽出型要約でどれほど人間の要約に近づけるかを知る必要がある。抽出型要約手法の上限が十分高い水準にあるのならば，研究を続ける価値があるし，そうでないのならば続ける価値はない．自動要約手法のパラダイムが移りつつあるいまだからこそ，抽出型要約手法の上限を明らかにすることは自動要約研究の今後の発展に大きな意味を持つと考える。

本稿では人間が生成した参照要約に対する自動評価スコアを最大化する抽出による要約，すなわち抽出型オラクル要約を上限の要約とみなす。そして，それを得るための整数計画問題による定式化を提案し，自動評価という観点から抽出型要約手法の到達点を調べる。次に，その妥当性をより詳細に検証するため，ピラミッド法 (Nenkova and Passonneau 2004; Nenkova， Passonneau, and McKeown 2007), Document Understanding Conference (DUC) ${ }^{2}$ で用いられた Quality Questions (Trang Dang 2006) を用いて内容と言語品質の両側面から人手で評価し，それが人間にとってどの程度良い要約なのかを検証する。

Text Analysis Conference (TAC) ${ }^{3}$ 2009/2011 のデータセットを用いて，自動評価指標である ROUGE-2 (Lin 2004), Basic Elements (BE) (Hovy, Lin, Zhou, and Fukumoto 2006) に対する文抽出, Elementary Discourse Unit (EDU) 抽出, 根付き部分木抽出の 3 種の抽出型オラクル要約を生成し，上記の観点でそれらを評価したところ，(1) 自動評価スコアはいずれの抽出型オラクル要約も非常に高く, 現状のシステム要約のスコアと比較すると差が大きいことがわかった. (2) ピラミッド法による評価結果から, 要約の内容評価という点でも優れていることがわかっ
^{3}$ https://tac.nist.gov
}

た. (3)しかし, Quality Questionsによる言語品質評価の結果は, 現状の要約システムと大差ない, あるいは劣る結果となった。これらより, 抽出型要約手法で重要情報に富んだ要約を生成できることが明らかとなった。つまり, 抽出型要約は今後も続けていく価値のある研究であることが示された. その一方, 言語品質には改善の余地があることも明らかとなった.

## 2 抽出型オラクル要約の定義

オラクル要約とは参照要約にもっとも類似し，かつシステムが生成可能な要約を指す. 生成型要約の場合, その要約生成の仕組みに一切の制約がないため, 実際にそれが生成可能かどうかの議論はあるが，オラクル要約は参照要約そのものになる。一方，抽出型要約は原文書中のテキストユニットを切り貼りして要約を生成するため，参照要約を再現することは基本的には不可能である. よって, 抽出型オラクル要約（以降，オラクル要約）は参照要約との間の類似尺度を最大化する原文書中のテキストユニットの集合と定義できる。一般的には，ROUGE やBE などの自動評価指標が類似尺度として利用されるので, 自動評価指標 (ROUGE-2/BE) を $f($ ),参照要約の集合を $\mathcal{R}$ ，原文書におけるテキストユニット集合を $\mathcal{D}$ とすると，オラクル要約は以下の定義となる.

$
\begin{aligned}
& \qquad O=\underset{S \subseteq \mathcal{D}}{\operatorname{argmax}} f(\mathcal{R}, S), \\
& \text { subject to } \quad \ell(S) \leq L .
\end{aligned}
$

$\ell()$ は要約の長さを返す関数であり， $L$ はあらかじめ与えられた要約長である。そして, $f()$ は以下の式で与えられる。

$
f(\mathcal{R}, S)=\frac{\sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} \min \left.\{N\left(u_{j}, R_{i}\right), N\left(u_{j}, S\right)\right.\}}{\sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} N\left(u_{j}, R_{i}\right)}
$

$U_{\mathcal{R}}$ は自動評価スコアの計算に利用する基本ユニットの参照要約全体における集合である. ROUGE-2 であればバイグラム集合，BEであれば依存関係にある単語対とその関係ラベルからなるタプル集合をあらわす. $u_{j}$ はその $j$ 番目の要素である. $N\left(u_{j}, R_{i}\right)$ は $u_{j}$ の $R_{i}$ における頻度， $N\left(u_{j}, S\right)$ は $u_{j}$ の $S$ における頻度である。式 (2)の分母は $S$ に依存しないため，分子を最大化すればオラクル要約を得ることができる。式 $(2)$ より，関数 $f()$ の分子は $u_{j}$ の重みを $S$ における頻度 $N\left(u_{j}, S\right)$ と $R_{i}$ における頻度 $N\left(u_{j}, R_{i}\right)$ のどちらか小さい方として, すべてのユニットに対してその和を計算したものである。 よって式 (1)の最適化問題は, $N\left(u_{j}, R_{i}\right)$ があらかじめ決まった値であることを考慮すると，長さ制約のもと，ユニット $u_{j}$ の被覆回数を $N\left(u_{j}, R_{i}\right)$ まではカウントしつつその和を最大化するよう $\mathcal{D}$ の部分集合 $S$ を選択する問題となる。これは一種の Max- $k$-Cover 問題であり，NP 困難であることが示されている (Feige 1998; Feige, Mirrokni，
and Vondrák 2011) . そして, この問題に対し疑多項式時間で厳密解を得ることのできるアルゴリズムが知られていないことから，本稿では整数計画問題による定式化を提案し，ソルバを利用することでオラクル要約を生成する.

## 3 整数計画問題によるオラクル要約の生成の定式化

本稿では，文抽出，EDU 抽出，根付き部分木抽出の 3 種の抽出型オラクル要約を生成するための整数計画問題による定式化を提案する．オラクル要約を得るための自動評価指標としては, TAC の公式指標として用いられた ROUGE-2 と BE を利用する。 よって，スコア計算の基本ユニットはバイグラム，係り受け関係にある 2 つの単語と関係ラベルのタプルとなる。なお，以下の定式化では原文中の文，EDU，チャンク（依存構造木のノード），単語にはユニークなインデックスが割り当てられていることを想定している（図 1 参照）.

$S_{1} \quad$ [The amphibians] [have] [wet] [skin] [and live] [near water] [.]

$S_{2}$ [Larvae] [amphibians] [and fishes] [have] [gills] [and live] [in water] [.]

Subtree extraction

$u_{j}=$ "amphibians have" $V_{u_{j}}=\{(2,3),(12,15),(22,28)\}$

$s_{3}$ [Amphibians] [that] [include] [frogs] [and newts] [have] [a backbone] [.

図 1 単語, チャンク, EDU, 文の関係。実線矢印はチャンク間の係り受け関係をあらわす.
^{4}$ ROUGE が劣モジュラ関数であることが Lin ら (2011)によって証明されており，劣モジュラ関数の最大化が NP 困難であることが Feige ら (2011) によって示されていることから, 式 (1) の最適化問題が NP 困難であるということもできる.
}

## 3.1 文抽出によるオラクル要約

文抽出型要約は広く利用される要約手法である。もっとも古典的な手法であり, 1958 年よりその研究が始まったと言われている (Luhn 1958)，文抽出によるオラクル要約を得るための整数計画問題による定式化は以下となる.

$
\begin{array}{cll}
\operatorname{maximize} & \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j} & \\
\text { subject to } & N\left(u_{j}, R_{i}\right) \geq z_{i, j} & \forall i, j \\
& \sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} & \forall i, j \\
& s_{\mathrm{id}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
& \sum_{k=1}^{|\mathcal{D}|} \ell_{k} s_{k} \leq L & \\
& s_{k} \in\{0,1\} & \forall k \\
t_{p} \in\{0,1\} & \forall p \\
z_{i, j} \in \mathbb{Z}_{\geq 0} & \forall i, j
\end{array}
$

式 (3) は式 (2) の分子を最大化するための目的関数であり, 解として得られる $z_{i, j}$ は式 (2) における $\min \left(N\left(u_{j}, R_{i}\right), N\left(u_{j}, S\right)\right)$ と一致する.ここで, $z_{i, j}$ が $u_{j}$ の $i$ 番目の参照要約における頻度と要約 $S$ における頻度のうち, 小さい方の値をとるようにするための制約が式 (4) と (5)である. 式 (4)より, $z_{i, j}$ は $u_{j}$ の $i$ 番目の参照要約における頻度よりも小さいことが保証され，式 (5)より， $z_{i, j}$ は原文書における $u_{j}$ の頻度よりも小さいことが保証される。したがって， $z_{i, j}$ は $i$ 番目の参照要約における $u_{j}$ の頻度, 原文書における $u_{j}$ の頻度の双方よりも小さい值をとる. なお，原文書における $u_{j}$ のすべての出現をその左側の単語の出現位置をあらわすインデックスと右側の単語の出現位置をあらわすインデックスのペアの集合 $V_{u_{j}}$ としてあらわす. $t_{p}$ は 0/1 変数であり, $t_{p}=1$ のときに $V_{u_{j}}$ 中の単語の出現位置インデックスペア $p$ に対応する基本ユニットがオラクル要約に採用される。 $\operatorname{id}(p)$ は， $p$ に対応する基本ユニットが出現する文番号を返す関数であり, 式 (6) は基本ユニットと文の間の依存関係をあらわす. $t_{p}=1$ のときには, $p$ に対応する基本ユニットを含む $\operatorname{id}(p)$ の文がオラクル要約に採用される。 すなわち任意の文をオラクル要約に採用するか否かをあらわす $0 / 1$ 変数 $s_{\mathrm{id}(p)}$ が 1 となる. 式 (7) はオラクル要約の長さ制約をあらわし， $\ell_{k}$ は $k$ 番目の文の長さ，ここでは単語数をあらわす。 $L$ はあらかじめ与えられた単語数の上限をあらわす。なお， $\mathbb{Z}_{\geq 0}$ は非負整数集合をあらわす.

図 1 の例を用いて説明する。いま， $u_{j}$ として “and live”というバイグラムを考える．このバイグラムは単語インデックス $(6,7)$ と $(17,18)$ に出現しているので $V_{u_{j}}=\{(6,7),(17,18)\}$ となる. $t_{(6,7)}=1$ のときには, “and 6 live $_{7}$ ” がオラクル要約に採用され, $\operatorname{id}(6,7)=1$ より, $s_{1}$ がオラクル要約に採用される。同様に, $t_{(17,18)}=1$ のときには, “ $\mathrm{and}_{17}$ live $_{18} ”$ がオラクル要約に採用さ

れ, $\operatorname{id}(17,18)=2$ より, $s_{2}$ がオラクル要約に採用される. この整数計画問題をソルバを用いて解いた後, $s_{k}=1$ となる文を集めれば文抽出によるオラクル要約を得ることができる.

なお，ROUGE-2ではなく BE に対するオラクル要約を得る時には， $u_{j}$ の出現に対応する単語インデックスペアが連続するとは限らないだけで，それ以外に ROUGE-2 の場合との違いはない.

## 3.2 EDU の抽出によるオラクル要約

Elementary Discourse Unit (EDU) とは, Rhetorical Structure Theory (RST) (Mann and Thompson 1988) における修辞構造木の葉であり，およそ節に相当する。よって EDU は多くの場合文よりも小さい. Li, Thadani, and Stent (2016) はピラミッド法 (Nenkova et al. 2007) における Summary Content Unit (SCU)（詳細は後述する）が EDU とよく一致することをヒントに EDU 抽出による要約手法 (near-extractive summarization) を提案し，その有効性を示した. EDU 抽出によるオラクル要約生成は基本的には文抽出によるオラクル要約生成と同じであるが，それが文よりも小さいテキストユニットであるため，いくつかの制約を追加する必要がある。 EDU 抽出によるオラクル要約を得るための整数計画問題による定式化は以下となる.

$
\begin{array}{ccl}
\operatorname{maximize} & \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j}-\sum_{k=1}^{|\mathcal{D}|} s_{k} & \\
\text { subject to } & N\left(u_{j}, R_{i}\right) \geq z_{i, j} & \forall i, j \\
\sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} & \forall i, j \\
e_{\text {left }_{e}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
e_{\text {right }_{e}(p)} \geq t_{p} & \forall p \in V_{u_{j}} \\
e_{g} \leq 1-t_{p} & \forall g \in D_{p}, \forall p \in V_{u_{j}} \\
s_{\text {id }(n)} \geq e_{n} & \forall n \\
\sum_{n=1}^{|\mathcal{E}|} \ell_{n} e_{n} \leq L & \\
t_{p} \in\{0,1\} \forall p & e_{n} \in\{0,1\} \forall n \\
s_{k} \in\{0,1\} \forall k & z_{i, j} \in \mathbb{Z}_{\geq 0} \forall i, j
\end{array}
$

EDU のような文よりも小さいユニットを抽出することでオラクル要約を生成する場合, 抽出に何らかの制約を導入しなければ，バイグラム，係り受け関係にある単語対をカバーするよう多くの文からばらばらに EDU が抽出される。すると, ROUGE-2/BE は高いものの断片化された可読性の低いオラクル要約となってしまう。これを避けるため, Morita ら (2013) にならい, 目的関数 (3) にぺナルティを導入し, 選択した EDU の元となる文の数がなるべく少なくなるようにする。式 (11) の第 2 項は抽出した EDU が属する文の異なり数をあらわすので，多

くの文から EDU を抽出する場合には目的関数の値が小さく, 少ない文から EDU を抽出する場合には目的関数の值が大きくなるようになる。式 (12), (13) は文抽出の場合と同様で式 (2) の分子を表現するための制約である。式 (14), (15) は単語インデックスペアと EDU インデックスとの依存関係をあらわしており, $\operatorname{left}_{e}(p), \operatorname{right}_{e}(p)$ は, ペアの左側の単語インデックスが属する EDU のインデックス，右側の単語インデックスが属するEDU のインデックスである。 すなわち，インデックスペアが $p$ であるバイグラムをオラクル要約に採用するとき，その左側の単語が属する EDU とその右側の単語が属する EDU を同時にオラクル要約に採用することを示す。さらに，EDU という文よりも小さなユニットを抽出するため，原文書ではスキップのあるバイグラムをオラクル要約では単なるバイグラムとして採用することができる。つまり，任意の EDU の最後の単語とそれよりも右側の EDU の最初の単語で構成される原文書中のスキップバイグラムはオラクル要約ではバイグラムとして採用可能である。ただし，その際には左右の単語を含む EDU に挟まれた EDU はオラクル要約に採用できない。式 (16) はその制約をあらわしており， $D_{p}$ は単語インデックスペアの左側の単語が属する EDU のインデックスと右側の単語が属する EDU のインデックスに挟まれた EDU インデックスの集合をあらわす。つまり， $D_{p}=\left.\{\operatorname{left}_{e}(p)+1, \ldots, \operatorname{right}_{e}(p)-1\right.\}$ である. 式 (17) は長さ制約をあらわしており， $\ell_{n}$ は $n$ 番目の EDU の単語数, $\mathcal{E}$ は原文書中の EDU の集合をあらわす.

図 1 の例で説明する。 $u_{j}$ として “amphibians and”というバイグラムを考える．スキップを許すと図の例では $(2,6),(12,13),(12,17),(22,26)$ という 4 つの単語インデックスペアがそれに該当する。ここで, $(2,6)$ と $(12,17)$ は EDU の最後の単語と最初の単語で構成されるスキップバイグラムではないことからオラクル要約に採用することはできないので無視する。よって, $V_{u_{j}}=\{(12,13),(22,26)\}$ となる. “amphibians ${ }_{12} \operatorname{and}_{13}$ ”をオラクル要約に採用する時, 2 つの単語を含む EDU は連続しているため, $D_{(12,13)}=\phi$ となる. $\operatorname{left}_{e}(12,13)=3, \operatorname{right}_{e}(12,13)=3$ より，インデックスが 3 である EDU のみがオラクル要約に採用される。 そして, $\operatorname{id}(3)=2$ より, $s_{2}=1$ となる. 一方, “amphibians ${ }_{22} \operatorname{and}_{26}$ ”をオラクル要約に採用するとき, left $_{e}(22,26)=5$, $\operatorname{right}_{e}(22,26)=7$ より, 2 つの EDU に挟まれた EDU のインデックスが 6 であることから, $D_{(22,26)}=\{6\}$ となる. よって, インデックス 5 と 7 の EDU がオラクル要約に同時に採用され, インデックス 6 の EDU は採用されない. また, $\operatorname{id}(5)=\operatorname{id}(7)=3$ より, $s_{3}=1$ となる. 整数計画問題を解いた後, $e_{n}=1$ となる $\mathrm{EDU}$ 集めることで $\mathrm{EDU}$ 抽出によるオラクル要約を得ることができる.

なお, ROUGE-2ではなくBEに対してオラクル要約を生成する時, 係り受け関係にある単語対が連続して出現する必要がないため, 式 (16) を無視すればよい. それ以外は ROUGE-2 の場合と同じである.

## 3.3 根付き部分木の抽出によるオラクル要約

根付き部分木の抽出による要約は圧縮型要約 (compressive summarization) (Martins and Smith 2009; Berg-Kirkpatrick, Gillick, and Klein 2011; Almeida and Martins 2013) とも呼ばれ，文抽出と文圧縮を統合した要約手法である。文書中の文は構文木として表現され，その根付き部分木を抽出することで要約を生成する。構文木としては句構造木, 依存構造木の双方とも用いられるが，本稿では依存構造木を利用する。なお，依存構造木は Filippova and Altun (2013)のルールに従い，単語の依存関係でなくフレーズをチャンクとするチャンク間の依存構造へと変換しておく．根付き部分木抽出によるオラクル要約生成を得るための整数計画問題による定式化は以下の式となる.

$
\begin{aligned}
& \operatorname{maximize} \quad \sum_{i=1}^{|\mathcal{R}|} \sum_{j=1}^{\left|U_{\mathcal{R}}\right|} z_{i, j}-\sum_{k=1}^{|\mathcal{D}|} s_{k} \\
& \text { subject to } \quad N\left(u_{j}, R_{i}\right) \geq z_{i, j} \quad \forall i, j \\
& \sum_{p \in V_{u_{j}}} t_{p} \geq z_{i, j} \quad \forall i, j \\
& c_{\text {left }_{c}(p)} \geq t_{p} \quad \forall p \in V_{u_{j}} \\
& c_{\text {right }_{c}(p)} \geq t_{p} \quad \forall p \in V_{u_{j}} \\
& c_{g} \leq 1-t_{p} \quad \forall g \in D_{p}, \forall p \in V_{u_{j}} \\
& s_{\mathrm{id}(n)} \geq c_{n} \quad \forall n \\
& c_{\text {parent }(n)} \geq c_{n} \quad \forall n \\
& \sum_{n=1}^{|\mathcal{C}|} \ell_{n} c_{n} \leq L \\
& t_{p} \in\{0,1\} \forall p \quad c_{r} \in\{0,1\} \forall r \\
& s_{k} \in\{0,1\} \forall k \quad z_{i, j} \in \mathbb{Z}_{\geq 0} \forall i, j .
\end{aligned}
$

EDU 抽出によるオラクル要約生成の定式化とほぼ同等であり, 式 (21)-(23) までは同じである. $\operatorname{left}_{c}(p)$ は $p$ に対応するバイグラムの左側の単語が属するチャンクのインデックス, $\operatorname{right}_{c}(p)$ は右側の単語が属するチャンクのインデックスであり， $c_{n}$ は $n$ 番目のチャンクをオラクル要約に採用する場合に 1 , そうでない場合に 0 をとる $0 / 1$ 変数である。式 $(24),(25)$ より, $p$ に対応するバイグラムをオラクル要約に採用する場合, 左側の単語が属するチャンクと右側の単語が属するチャンクの双方を同時にオラクル要約に採用しなければならない. そして， 2 つのチャンクが連続していない場合にはそれらに挟まれたすべてのチャンクをオラクル要約に採用しない.式 $(26)$ がその制約であり， $D_{p}=\left.\{\operatorname{left}_{c}(p)+1, \ldots, \operatorname{right}_{c}(p)-1\right.\}$ が左側の単語が属するチャンクと右側の単語が属するチャンクに挟まれたチャンクの集合をあらわす。式 (27) はチャンクと文の依存関係をあらわし， $n$ 番目のチャンクをオラクル要約に採用すると，それを含む文に対応する $0 / 1$ 変数 $s_{\mathrm{id}(n)}$ が 1 となる. 式 (28) は抽出したチャンクが文の依存構造木の根付き部分木

となるための制約である。 $n$ 番目のチャンクをオラクル要約に採用すると，その依存構造木における親のチャンクである $c_{\text {parent }(n)}$ もオラクル要約に採用される. 式 (29) はオラクル要約の長さ制約をあらわし， $\ell_{n}$ は $n$ 番目のチャンクの長さ，C は原文書中のチャンク集合をあらわす.

図 1 の例を用いて説明する。 $u_{j}$ として “amphibians have”というバイグラムを考える。 スキップ5も考慮した上で “amphibians have”となる単語インデックスペアは $(2,3),(12,15),(22,28)$ であるから， $V_{u_{j}}=\{(2,3),(12,15),(22,28)\}$ となる. “amphibians ${ }_{2}$ have $_{3}$ ”をオラクル要約に採用するとき, $\operatorname{left}_{c}(2,3)=1, \operatorname{right}_{c}(2,3)=2$ より， $D_{(2,3)}=\phi$ となるので， $c_{1}, c_{2}$ を同時にオラクル要約に採用するだけでよい。そして, $\operatorname{id}(1)=\operatorname{id}(2)=1$ より， $s_{1}=1$ となる。また, $\operatorname{parent}(1)=2, \operatorname{parent}(2)=\operatorname{Root}$ なので，式 $(28)$ の制約によって新たに採用するチャンクは存在しない. “amphibians 12 have $_{15}$ ”をオラクル要約に採用するとき, $\operatorname{left}_{c}(12,15)=9$, $\operatorname{right}_{c}(12,15)=11$ より， $D_{(12,15)}=\{10\}$ となり， $c_{9} ， c_{11}$ を同時にオラクル要約に採用し， $c_{10}$ を採用しない。そして, $\operatorname{id}(9)=\operatorname{id}(11)=2$ より, $s_{2}=1$ となる. また, $\operatorname{parent}(12)=15$, parent(15) = Root であるから式 (28) の制約によって新たに採用するチャンクは存在しない. “amphibians 22 have 28 "をオラクル要約に採用するには, $c_{16}$ と $c_{21}$ を同時にオラクル要約に採用し， $c_{17}$ から $c_{20}$ までを採用しない. そして， $s_{3}=1$ となり, 式 $(28)$ の制約によって新たに採用するチャンクも存在しない. この整数計画問題を解いた後, $c_{n}=1$ となるチャンクを集めることで根付き部分木抽出によるオラクル要約を得ることができる.

$\mathrm{BE}$ の場合には, EDU 抽出によるオラクル要約生成の場合と同じく係り受け関係にあるチャンクが連続する必要はないため, ユニットの左側の単語が属するチャンクと右側の単語が属するチャンクに挟まれたチャンク集合を削除する必要はない，よって，式 (26)を無視する.

## 4 人手評価の方法

オラクル要約の妥当性を調べるため, 内容と言語品質という 2 の観点からそれぞれ人手で評価を行う，以下，内容評価に用いたピラミッド法, 言語品質評価に用いた Quality Questions について説明する。

## 4.1 ピラミッド法による内容評価

ピラミッド法 (Nenkova and Passonneau 2004; Nenkova et al. 2007) は, 要約の内容評価を評価者の直感に頼らず，根拠をもって評価する手法である．ピラミッド評価では 1 つ要約課題に対して複数の参照要約が与えられることが前提となっており，それらに基づきピラミッドを構築するステップと構築したピラミッドに基づき評価対象要約のスコアを決定するステップか
^{5} \mathrm{EDU}$ 抽出と同じく, チャンクの最後の単語とそれより右のチャンクの最初の単語からなるスキップバイグラムのみを考える。
}

らなる.

まず，評価者はそれぞれの参照要約から Summary Content Unit (SCU) と呼ばれるユニットを同定し，それに言及する参照要約の数でその重みを決定する．SCU は参照要約内で言及される事象であり，節相当のユニットである。図 2 に SCU の例を示す。図中の Con. は contributor と呼ばれ，SCU に対応する参照要約中の実際の文字列である．Label は Contributor に対して人間が割り当てた簡潔なラベルである。図の上段の 4 つの contributor, 下段の 3 つの contributor はそれぞれ同じ意味を持つ。また，上段の SCU は contributor の数が 4 であることからその重みは 4 となり，下段の SCU の重みは 3 である。つまり，K個の参照要約が与えられた場合，SCU が取りうる最大の重みは $K$ であり，最小の重みは 1 となる。一般的に SCU の重みが大きくなると異なる SCU の数は少なくなり，小さくなると異なる SCU の数が多くなる。これを図示するとピラミッド（三角形）を想起させることからピラミッド法と名付けられた.

次に，評価対象要約に対しても同様にSCU を同定し，ピラミッドのSCU と評価対象要約の SCU の対応関係を決定した後，評価スコアを以下の式で決定する。

$
\operatorname{Pyr}(\mathcal{R}, S)=\frac{\sum_{e_{r} \in \mathcal{R}} \sum_{e_{s} \in S} W\left(e_{r}\right) b\left(e_{r}, e_{s}\right)}{\sum_{e_{k} \in \mathcal{R}_{\text {top }-M}} W\left(e_{k}\right)}
$

$e_{r}$ はピラミッドの $\mathrm{SCU}, e_{s}$ は評価対象要約の $\mathrm{SCU}$ をらわし， $W()$ は $\mathrm{SCU}$ の重みを返す関数, $b\left(e_{r}, e_{s}\right)$ は 2 つ $\mathrm{SCU}$ の間に対応関係が与えられていれば 1 , そうでなければ 0 を返す関数である。また， $\mathcal{R}_{\mathrm{top}-M}$ は，ピラミッドの重みが上位 $M$ 件の SCU の集合であり， $M$ は，参照要約中の平均 SCU 数である. 式 (32)より, 要約の人手評価でよく用いられる 5 段階評価などとは異なり，ピラミッドというスコア決定の基準が与えられるため，その評価には客観性が期

Label Kozlowski and Swartz's trial ended in mistrial

Con. 1 The first grand larceny trial of former Tyco CEO Dennis Kozlowski and codefendant Mark Swartz ended in mistrial

Con. 2 The first unfocused, lengthy trial...was aborted after juror intimidation

Con. 3 The first trial ended in a hung jury

Con. 4 A trial of Kozlowski and Swartz ended in a hung jury

Label Kozlowski faces tax charges

Con. 1 Kozlowski still faces separate tax, conspiracy, falsifying business records and evidence tampering charges

Con. 2 charges against Kozlowski... he failed to pay sales taxes

Con. 3 He is accused...avoid paying over $\$ 1 \mathrm{M}$ tax

図 $2 \mathrm{SCU}$ とそれに対応する contributors とラベルの例. トピック ID“D0928", “Trials of Tyco's Dennis Kozlowski"より.
表 1 言語品質評価のための Quality Questions

 \\

待できる. しかし, 何を SCU とするのか, ピラミッド中の SCU と評価対象要約との間の SCU が意味的に一致するかどうかについては評価者によって判断が摇れることがありえる.

## 4.2 Quality Questionsによる言語品質評価

要約の言語品質には，DUC で提案された Quality Questions (Trang Dang 2006) を利用した。表 1 に詳細を示す。Grammaticality は可読性に影響を与える文レベルでの文法ミスを評価する. Non-redundancy は, 事象の繰り返しや固有表現の繰り返しなど冗長な表現を評価する. Referential clarity は，参照表現が指す実体が要約中に含まれるかを評価する．Focusは要約の焦点が定まっているか，Structure and Coherence は要約の構成，結束性を評価する。いずれの観点も 5 段階 ( 5 が最高) で評価する.

## 5 実験

## 5.1 設定

最大化する自動評価指標には，ROUGE-2 と BE を採用し，TAC-2009/2011 の複数文書要約タスクのデータセットに対し 3 種の抽出型オラクルを生成する。それぞれのデータセットには 44 トピック (文書セット）が与えられ，各トピックには新聞記事が 10 記事, 参照要約が 4 つ含

まれる。なお，要約システムは各トピックに対し 100 単語以内で要約を生成することが求められるのでオラクル要約の長さの上限も 100 単語となる.

また，EDU 抽出によるオラクル要約を生成するため，3 層の双方向 LSTM を用いたセグメン夕を実装し，RST Discourse Treebank (RST DT) (Carlson, Marcu, and Okurowski 2001)を用いて訓練した。EDU 境界の認定性能は RST DT のテストセットで F 值が 0.9 程度である。根付き部分木抽出によるオラクル要約の生成のため, Stanford Parser (de Marneffe, MacCartney, and Manning 2006) を用いて単語依存構造木を構築し, Filippova ら (2013) のルールを用いてチャンク間の依存構造木へと変換した.

比較評価のため, TAC-2009 で最も良い成績を残したシステム peer_40 (Gillick, Favre, HakkaniTur, Bohnet, Liu, and Xie 2009) ${ }^{6}$, TAC-2011で最も良い成績を残したシステム peer_22 (Li, Hu， Li, Wan, and Xiao 2011)7を評価対象に含めた。また，TAC-2009に対しては，人間による文抽出 HEXTAC も評価対象とした. HEXTAC は各トピックに対し 5 名の被験者が文抽出により要約を生成した後, それらの多数決で要約を生成する手法である。被験者は計算機科学分野の研究者である。

なお，ピラミッド評価の際には，TAC-2009/2011 で作成されたピラミッドを再利用し，評価対象要約における SCU の同定および既存ピラミッドの SCU と評価対象要約の SCU の対応付けのみを新たに行った。なお，1トピックあたりの参照要約数は 4 なので， SCU の重みの最大値は 4 である. 対応付け，スコア計算にはピラミッド評価ツール DUCView-1.4.jar を利用した. ピラミッド評価, Quality Questions とも1つのトピックに対し 1 名の被験者が全ての要約を評価した。

## 5.2 結果と考察

## 自動評価結果

人手評価結果を示す前に, 自動評価という観点からの抽出型オラクル要約の ROUGE-2, BE スコアの到達点を表 2 に示す. なお, 表中の “Best” は peer_40 と peer_22 のスコアである.表より，双方のデータセットとも EDU 抽出，根付き部分木抽出，文抽出の順でスコアが高い. EDU 抽出，根付き部分木抽出は文よりも小さな単位を抽出するので，ある長さの制約のもとで多くの情報を詰め込むことが可能なことから妥当な結果である. Best と比較するとその差は非常に大きく, ROUGE-2 では 0.1 から 0.13 ポイント，BEでは 0.13 から 0.17 ポイントの差である。なお，TAC-2009/2011のデータセットにおける現在の ROUGE-2 のベストスコアはそれぞれ 0.128 (Li, Liu, and Zhao 2015), 0.144 (Li, Liu, Weng, and Liu 2013) であり 8 , これらスコア


とオラクル要約のスコアを比較してもその差は非常に大きい，特に，古典的な文抽出型オラクル要約であっても極めて高い自動評価スコアを獲得していることから，自動評価という観点ではあるが現在の要約システムは抽出型要約の上限には程遠いことがわかる.

## ピラミッド評価の結果

表 3 にピラミッド評価と Quality Questions の結果を示す.カッコ内の数値は分散をあらわす.オラクル要約間を比較すると自動評価指標の場合と同様の傾向を示しており，EDU 抽出，根付き部分木抽出, 文抽出の順にスコアが高い. $\mathrm{TAC}$ 参加システムと比較するとこれも自動評価指標の場合と同じくその差は大きい。この結果をより詳細に分析するため, 各オラクル要約と参照要約に含まれる平均部分文数を調べた。その結果を表 4 に示す。表より，1つの要約に

表 2 抽出型オラクル要約の自動評価スコア

Sent. は文抽出, EDU は EDU 抽出, Subtree は根付き部分木抽出をあらわす.

表 3 ピラミッド評価と Qualiry Questions の結果

表 4 各要約の平均部分文数

含まれる平均部分文数は， EDU 抽出，根付き部分木抽出，文抽出の順に多い. EDU 抽出は $3-4$文，根付き部分木抽出は 2 文程度，文抽出よりも文数が多い. また参照要約は根付き部分木抽出の場合に比べ 1 文弱程度, 文数が少ない，先に述べたとおり，EDU や根付き部分木は，文抽出よりもより多くの部分文を要約に含めることができる。 よって，SCUがうまく部分文に含まれていれば高いピラミッドスコアを達成できる．Li ら（2016）は SCU と EDU は一致することが多いことを報告しており，この実験結果を支持している。これらの結果は，原文書の一部を抽出するだけで，自動評価だけでなく人手の内容評価も高い要約が生成可能であることを示している.

なお，人間による文抽出である HEXTAC のスコアは，要約システムとほぼ変わらずオラクル要約に対しては大きく劣る結果となった。HEXTAC はそもそも参照要約を再現するように生成されていないこと，参照要約は NIST が訓練した情報分析のエキスパートが生成していることに対し, HEXTAC は計算機科学の研究者が要約を生成していることが原因であろう．HEXTAC の 5 名の要約作成者間の文抽出に対する一致が低いことも報告されており (Genest, Lapalme, and Yousfi-Monod 2009), 非エキスパートによる要約に問題があったのではないかと考える.

## Quality Questions の結果

自動評価とピラミッド評価においてオラクル要約は非常に高い評価を得たが, 表 3 より, Quality Questions の結果は既存の要約システムと同等か劣る結果となった。要約システムがどの項目においても 4 以上のスコアを得ていることに対し，オラクル要約のスコアは， TAC-2009の場合にはすべての項目で 4 未満，TAC-2011の場合には文抽出オラクル要約のみがシステムと同等の 4 程度のスコアである。 TAC-2009/2011とも文抽出オラクル要約の Grammaticality スコアが要約システムよりも低く， TAC-2009では 4 未満である。TACでは原文書に対して文区切りは与えられず，何らかの方法で文境界を認定しなければならない．文区切りには Stanford CoreNLP を用いて同定したが，引用符号やカッコの対応がとれていない文があり，これらが悪影響を与えた。さらに，原文書に含まれる名詞句だけの短い文（記事の小見出し）を抽出した際にも Grammaticality スコアが低いと判断された．EDU 抽出，根付き部分木抽出の Grammaticality

スコアはさらに低く, EDU 抽出は 2 から 3 程度でしかない. 文の一部を抽出することにより文頭が大文字でない場合があること，EDU セグメンタのエラーにより非文法的な EDU が生成されること, 依存構造解析のエラーにより根付き部分木の文法性が損なわれることが原因である.文頭が小文字であればそれを大文字にすることは自動的にできるが，後者の 2 つの事象については解析器の性能が完璧でない限り避けることができない。つまり，部分文を抽出する限りある程度文法的な誤りが含まれることは避けられない. Non-redundancy, Referential clarity が低い原因として，EDU，根付き部分木抽出は参照要約での出現回数程度，固有表現を繰り返し抽出するものの，人間のように参照表現を織り交ぜて表現することができないため，単なる固有表現の繰り返しとなってしまい冗長に感じること, そもそも要約生成法に参照表現とその実体を対応付ける機構がないため，部分文の数が多いと参照表現が指すものが曖昧になる可能性が高くなることが原因である．さらに，部分文は接続詞を欠くことが多いこと，部分文の数が多いことで情報が断片化してしまうことにより文脈が損なわれることが多々ある。その結果，焦点や結束性という観点で低い評価となってしまう.

図 3 に参照要約, 各種法によるオラクル要約, peer_40の要約例を示す.オラクル要約の生成の際に最大化する自動評価スコアには BE を用いた. オラクル要約は参照要約との間の BE スコアを最大化しているため，当然であるが，参照要約の内容をよく反映している．特に，EDU 抽出, 根付き部分木抽出は文の数が多いためより多くの内容で参照要約と一致している。 システム要約 peer_40 は参照要約を考慮せずに作成された要約であるため, オラクル要約と比較すると参照要約との間の内容の一致は高くない. 一方, 要約の言語品質に着目すると, EDU 抽出,根付き部分木抽出には先頭が大文字でない文が含まれており，Grammaticality が低い．また，文抽出と比較すると，固有表現の繰り返し回数が多く人名の参照に対して一貫性がない. たとえば, “L. Dennis Kozlowski”に対し, 参照要約では初出時がフルネーム, 2 回目以降は姓だけであることに対し, EDU 抽出, 根付き部分木抽出は, 初出時に姓のみ, 2 回目がフルネームとなっている.

なお，部分文の数が多いことが Quality Questions の評価を下げる要因であるのなら，それを抑制すればよい. オラクル要約に採用する部分文の数をさらに抑制するには式 (11), (21)のぺナルティ項に対する重みを 1 よりも大きくすればよいことから， TAC-2009 のデータセットを対象として, EDU 抽出, 根付き部分木抽出の双方のペナルティ項に対する重みを $\alpha$ として 1 から 0.5 刻みで 3.5 まで変化させ，要約あたりの平均文数，ROUGE- 2 スコアの変化を調べた．その結果を図 4 に示す. 図より， $\alpha$ を大きくするにつれて平均文数が減っており Quality Questions による言語品質の評価が向上することが期待できる。一方，ROUGE-2 スコアは低下してしまう．つまり，単純に部分文の数を抑制しただけでは要約の内容が劣化することを示している.

以上より，抽出型要約手法により情報に富んだ要約を生成できることがわかったが，その言語品質は決して高いとは言えず改善が必要であることが明らかとなった. ピラミッド評価で高

Ref. In January 2005, Dennis Koslowski and Mark Swartz, former top executives of Tyco International Ltd., went on trial in New York a second time for stealing $\$ 600$ million from the company. The first trial ended in a hung jury. Prosecutors claim the two men illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. A judge refused to combine a retrial of larceny charges against Kozlowski with charges he failed to pay sales taxes on $\$ 13$ million worth of art. If convicted, Koslowski and Swartz each could face 25 years in prison.

Sent. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. chief executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth of art. Prosecutors are saying the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million (euro 483.33 million) from the company. Their first trial resulted in a hung jury.

EDU The first trial of Kozlowski and Tyco chief financial officer Mark Swartz ended in a sensational mistrial. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. chief executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth of art. the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million from the company.

Subtree The first trial of Kozlowski and Tyco Mark Swartz ended in a mistrial. A judge refused to combine a retrial of larceny charges against former Tyco International Ltd. executive L. Dennis Kozlowski with a trial on charges that he failed to pay sales taxes on $\$ 13$ million worth. If convicted, Kozlowski each could face up to 25 years in prison. Prosecutors are saying the two men had illegally awarded themselves millions of dollars in bonuses and concealed them from the company's board and shareholders. top executives are awaiting retrial in court in New York on charges of stealing $\$ 600$ million from the company.

peer_40 The retrial of two top Tyco International executives accused of stealing $\$ 600$ million of company money to finance lifestyles of gaudy excess is set to begin next week. Kozlowski, Tyco's former chief executive, and his one-time chief financial officer Swartz are accused of grand larceny, securities fraud and conspiracy in an alleged plot to loot the company and cheat shareholders. Defense lawyers said Kozlowski and Swartz earned every penny they got from Tyco. Former top executives L. Dennis Kozlowski and Mark Swartz are awaiting retrial in federal court in New York on charges of stealing $\$ 600$ million from the company.

図 3 トピック ID“D0928”, “Trials of Tyco's Dennis Kozlowski”に対する要約.

4 ペナルティの重みを変化させた場合の ROUGE-2, 部分文数の変化

い評価が期待できるほどの高い自動評価スコアを維持しつつ言語品質をいかに高めていくかが抽出型要約の重要な研究ポイントとなるであろう.

## 6 おわりに

本稿では文抽出， EDU 抽出，根付き部分木抽出という 3 種の抽出型要約手法によるオラクル要約，すなわち ROUGE-2 あるいは BE スコアを最大化する要約を生成するための整数計画問題による定式化を提案し, それらの上限を明らかにした. オラクル要約の自動評価スコアは現状の要約システムのスコアよりも明らかに高く, 抽出型要約手法にはまだ研究の余地が残されていることがわかった。そして，オラクル要約の内容評価と言語品質評価をピラミッド評価と Quality Questions を用いて人手で評価しその妥当性を検証した結果, 自動評価スコアと同様, オラクル要約のピラミッドスコアは非常に高いことがわかった。一方, Quality Questions の結果から, EDU 抽出, 根付き部分木抽出の場合, 解析器の誤りなどにより部分文の文法性が低下し，それにより要約全体の言語品質が大きく低下することが明らかとなった.これらの結果より, 抽出型要約手法はまだまだ有望な要約手法であり, 今後も研究を続ける価値があることが明らかとなった。一方, 言語品質を担保するための研究が重要であることも明らかとなった.

## 謝 辞

有益なコメントをくださった査読者, 担当編集委員の皆様に感謝いたします。本研究の一

部は The 15th European Chapter of Association for Computational Linguistics (EACL) での発表 (Hirao, Nishino, Suzuki, and Nagata 2017b) と The 55th Association for Computational Linguistics (ACL) での発表 (Hirao, Nishino, and Nagata 2017a)に基づいています.

## 参考文献

Almeida, M. B. and Martins, A. F. (2013). "Fast and Robust Compressive Summarization with Dual Decomposition and Multi-Task Learning." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 196-206.

Bahdanau, D., Cho, K., and Bengio, Y. (2014). "Neural Machine Translation by Jointly Learning to Align and Translate." CoRR, abs/1409.0473.

Berg-Kirkpatrick, T., Gillick, D., and Klein, D. (2011). "Jointly Learning to Extract and Compress." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 481-490.

Carlson, L., Marcu, D., and Okurowski, M. E. (2001). "Building a Discourse-Tagged Corpus in the Framework of Rhetorical Structure Theory." In Proceedings of the SIGDIAL01, pp. 1-10. de Marneffe, M.-C., MacCartney, B., and Manning, C. D. (2006). "Generating Typed Dependency Parses from Phrase Structure Parses." In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC), pp. 449-454.

Feige, U. (1998). "A Threshold of $\ln n$ for Approximating Set Cover." Journal of the ACM, 45 (4), pp. 634-652.

Feige, U., Mirrokni, V. S., and Vondrák, J. (2011). "Maximizing Non-monotone Submodular Functions." SIAM Journal on Computing, 40 (4), pp. 1133-1153.

Filippova, K. and Altun, Y. (2013). "Overcoming the Lack of Parallel Data in Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 1481-1491.

Genest, P.-E., Lapalme, G., and Yousfi-Monod, M. (2009). "HEXTAC: The Creation of a Manual Extractive Run." In Proceedings of the Second Text Analysis Conference (TAC).

Gillick, D. and Favre, B. (2009). "A Scalable Global Model for Summarization." In Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing, pp. 10-18.

Gillick, D., Favre, B., Hakkani-Tur, D., Bohnet, B., Liu, Y., and Xie, S. (2009). "The ICSI/UTD Summarization System at TAC 2009." In Proceedings of Second the Text Analysis Conference (TAC).

Hirao, T., Nishino, M., and Nagata, M. (2017a). "Oracle Summaries of Compressive Summarization." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 275-280.

Hirao, T., Nishino, M., Suzuki, J., and Nagata, M. (2017b). "Enumeration of Extractive Oracle Summaries." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (EACL), pp. 386-396.

Hovy, E., Lin, C.-Y., Zhou, L., and Fukumoto, J. (2006). "Automated Summarization Evaluation with Basic Elements." In In Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC), pp. 889-902.

Li, C., Liu, F., Weng, F., and Liu, Y. (2013). "Document Summarization via Guided Sentence Compression." In Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 490-500.

Li, C., Liu, Y., and Zhao, L. (2015). "Using External Resources and Joint Learning for Bigram Weighting in ILP-Based Multi-Document Summarization." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics (NAACL): Human Language Technologies (HLT), pp. 778-787.

Li, H., Hu, Y., Li, Z., Wan, X., and Xiao, J. (2011). "PKUTM Participation in TAC2011." In Proceedings of the 4 th Text Analysis Conference (TAC).

Li, J. J., Thadani, K., and Stent, A. (2016). "The Role of Discourse Units in Near-Extractive Summarization." In Proceedings of the 17th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 137-147.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Proceedings of Workshop on Text Summarization Branches Out, pp. 74-81.

Lin, H. and Bilmes, J. (2011). "A Class of Submodular Functions for Document Summarization." In Proceedings of the 49th Association for Computational Linguistics: Human Language Technologies (ACL-HLT), pp. 510-520.

Luhn, H. P. (1958). "The Automatic Creation of Literature Abstracts." IBM Journal of Research and Development, 2 (2), pp. 159-165.

Mann, W. C. and Thompson, S. A. (1988). "Rhetorical Structure Theory: Toward a Functional Theory of Text Organization." Text, 8 (3), pp. 243-281.

Martins, A. and Smith, N. A. (2009). "Summarization with a Joint Model for Sentence Extraction and Compression." In Proceedings of the Workshop on Integer Linear Programming for Natural Language Processing, pp. 1-9.

Morita, H., Sasano, R., Takamura, H., and Okumura, M. (2013). "Subtree Extractive Summarization via Submodular Maximization." In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (ACL), pp. 1023-1032.

Nenkova, A. and Passonneau, R. (2004). "Evaluating Content Selection in Summarization: The Pyramid Method." In Proceedings of the Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics: HLT-NAACL 2004, pp. 145-152.

Nenkova, A., Passonneau, R., and McKeown, K. (2007). "The Pyramid Method: Incorporating Human Content Selection Variation in Summarization Evaluation." ACM Transaction Speech and Language Processing, 4 (2), p. 4-es.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 379-389.

Sutskever, I., Vinyals, O., and Le, Q. V. (2014). "Sequence to Sequence Learning with Neural Networks." In Advances in Neural Information Processing Systems, NIPS'14, pp. 3104-3112.

Trang Dang, H. (2006). "Overview of DUC 2006." In Proceedings of the Document Understanding Conference (DUC).

## 略歴

平尾努：1997 年奈良先端科学技術大学院大情報科学研究科博士前期課程修了. 同年, 株式会社 NTT データ入社. 2000 年より日本電信電話株式会社コミュニケーション科学基礎研究所. 博士 (工学). 自然言語処理の研究に従事. 情報処理学会, 言語処理学会, ACL 各会員.

西野正彬 : 2008 年京都大学大学院情報学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学基礎研究所. 博士（情報学). 自然言語処理, アルゴリズムの研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

永田昌明：1987 年京都大学大学院工学研究科修士課程修了. 同年, 日本電信電話株式会社入社. 現在, コミュニケーション科学研究所上席特別研究員.工学博士. 自然言語処理の研究に従事. 電子情報通信学会, 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

(2019 年 9 月 30 日受付)

(2019 年 12 月 19 日再受付)

(2020 年 2 月 4 日採録)