# 会話文における暗黙的引用を利用した抽出型教師なし要約

狩野 竜示 $\dagger,+\dagger$ ・谷口 友紀 $\dagger \cdot$ 大熊 智子†
}

本研究では，返信を伴う会話形式のテキストを対象とした，教師なし抽出型ニュー ラル要約モデル Implicit Quote Extractor (IQE) を提案する. 引用は投稿やメール に返信する際，言及している箇所を強調するために使われる。高頻度に引用される 箇所は重要であるとの仮説の元, 我々は引用を要約として抽出するモデルを提案す る.ほとんどの返信は明示的な引用を含まない。そのため, 引用を直接要約モデル の教師データとして使うことは難しい. しかしながら, 明示されていなかったとし ても，返信は返信元の文章のある箇所に必ず言及している。返信が投稿のどの箇所 に言及しているかは, 返信内容から推測できるため, 明示的な引用を用いずに，返信のみから本来引用されるべき箇所を推定することが可能である。この箇所を暗黙的引用 (Implicit quote) と呼ぶ. 提案モデルである IQE は, 返信を用いて暗黙的引用を推定する機構を備える。IQEの学習タスクは，あるテキスト（返信候補）が，あ る投稿に対する実際の返信になっているかを判定することである．IQE は，数文を 投稿から抽出し, それを返信候補の真偽判定の特徴量とする. IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するため, 返信が言及 しやすい文を要約として抽出するようになる，我々は本モデルを 2 つのメールデー タセットと 1 つのソーシャルメディアデータセットで評価し, 本モデルが要約タス クに有用であることを示す. 更に，提案モデルが引用を抽出できる点，また，提案 モデルが従来モデルが抽出できない重要文を抽出可能であるという点を実験によっ て検証し，それを支持する結果を得た。

キーワード：要約, 教師なし学習, 抽出型, 引用, 会話文, メール, ソーシャルメディア
## Identifying Implicit Quotes for Unsupervised Extractive Summarization for Conversational Texts

\author{
Ryuji Kano ${ }^{\dagger, \dagger \dagger}$, Tomoki Taniguchi ${ }^{\dagger}$ and Tomoko Ohкuma ${ }^{\dagger}$
}

\begin{abstract}
We propose Implicit Quote Extractor, an end-to-end unsupervised extractive neural summarization model for conversational texts. When we reply to posts, quotes are used to highlight important parts of texts. We aim to extract quoted sentences as summaries. Most replies do not include quotes, so it is difficult to use quotes as supervision. However, even if it is not explicitly shown, replies always refer to certain parts of texts, and those parts can be presumed from the content of a reply. Those parts we call implicit quotes. Using replies, Implicit Quote Extractor aims to extract
\end{abstract}

implicit quotes as summaries. The training task of the model is to predict whether a reply candidate is a true reply to a post. As a feature for prediction, the model has to choose a few sentences from the post. To predict accurately, the model adjusts the parameters to extract sentences that replies frequently refer to. We evaluate our model on two email datasets and one social media dataset, and confirm that our model is useful for extractive summarization. We further discuss two topics; one is whether quote extraction is an important factor for summarization, and the other is whether our model can capture salient sentences that conventional methods cannot.

Key Words: Summarization, Unsupervised, Extractive, Quote, Conversation, Email, Social Media

## 1 はじめに

インターネット上の会話が活発化するにつれ，会話文の自動要約技術の必要性は益々増している. ニューラルネットワークを使用したモデルは教師あり要約において, 高い性能を発揮しているが，教師なし要約への応用は未だ限定的である，教師あり要約モデルの学習には，数万の要約-本文対が必要になる。 あらゆるドメインにおいてこれらの対データを用意することは現実的ではないため，教師なし要約の手法が求められている．我々は返信を伴う会話形式のテキストを対象とした教師なし要約手法を提案する.

過去, 多くの教師なし要約手法が提案されてきた. 文の類似度グラフの Centrality を使用した手法は強力な教師なし要約手法であり (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), 会話文の要約にも応用されている (Mehdad et al. 2014; Shang et al. 2018). Centrality の他にも, 文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017), KullbackLeibler divergence (Haghighi and Vanderwende 2009), Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016), 単語をノードとした有向グラフの経路スコア計算 (Mehdad et al. 2014; Shang et al. 2018)などが，要約に使われている，上記全ての手法の前提にあるのは，重要なトピックは文書中に高頻度に言及されるという点である。しかし, 重要なトピックは必ずしも高頻度に言及されるわけではない。そのため，もし重要なトピックの言及回数が少ない場合，上記手法は重要文の抽出に失敗する。より高精度の要約を実現するためには，“頻度”とは異なる文書の側面に着目する必要がある。

頻度とは異なる文書の重要度の指標として, 我々は “引用のされやすさ”に着目する。我々は, メールや投稿文に返信する際，投稿の一部分を引用することがある．具体例を図 1 に示す．右側の返信の例にあるように。引用文は，引用符“>”から始まり，返信先の投稿文中の文・フレー ズと一致する箇所を指す。高頻度に引用される箇所は重要であると考えられるため，引用される箇所を予測できれば，本文中で言及される頻度に関わらず，重要な情報を含む文を抽出できる

図 1 投稿と引用付きの返信と引用無しの返信の例。暗黙的引用は，返信が言及している投稿の一部であるが，返信には明示的に示されていないものを指す.

と考えられる. 過去の研究に, 引用を要約モデルに補助的に利用したものがある. Carenini は,引用文に現れる単語に重み付けをし, Centroid ベースの要約手法の精度を向上させた (Carenini et al. 2007; Oya and Carenini 2014). ただし, ほとんどの返信は明示的な引用を含まない. そのため，引用を直接教師データとして扱うことは難しい，我々は，引用文を教師として使用せずに引用箇所を抽出できるモデル，Implicit Quote Extractor（IQE：暗黙的引用抽出器）を提案する。図 1 に示す例のように，引用文は返信が言及している投稿の箇所であるため，明示的な引用が無い場合にも，返信内容から本来引用されるべき箇所を間接的に特定できる。これを暗黙的引用と呼称する.

IQE は，返信によって言及される箇所を特定することにより, 明示的な引用なしに，引用箇所を抽出することを目指す．IQE は投稿と返信候補のみを学習に使用し，明示的な引用を使用しない，返信候補は，投稿に対する実際の返信，あるいはランダムにサンプリングされた返信である，学習タスクは，返信候補が実際の返信であるかどうかを判定することである．IQE は，投稿から少数の文を抽出し，これを真偽判定の特徴量に使う．IQE は返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するので，返信が言及しやすい文を要約として抽出するようになる。要約は本文のみから作成する必要があり, 返信に依存してはならない. そのため, IQE は抽出文の選択に，返信の特徴量を使わない。すなわち, IQE は学習時にのみ返信を必要とし，評価時には必要としない，IQEが抽出するのは返信に依存した引用箇所では無く，返信によって最も引用されやすい箇所となる.

IQE を 2 つのメールデータセット, Enron 要約データセット (Loza et al. 2014)の業務メールと私用メールで評価し, また, ソーシャルメディアのデータセットとして, Reddit TIFUデータセット (Kim et al. 2019) でも評価を行い, 多くのべースラインの性能を上回ることを確認した.提案したモデルは 2 つの仮説に基づいている．1つは提案モデルが引用を抽出できるという
点である．IQE は引用抽出を目的としているが，引用を教師として使用していないため，実際に引用される文を抽出できるかは明らかでない，そのため，我々は，提案モデルがどの程度引用を抽出できるか評価する。もう 1 つ仮説は，引用は要約として有用であるという点である.先行研究 (Carenini et al. 2007; Oya and Carenini 2014) は引用文を利用して, Centroid 要約モデルの性能を向上させ，引用が要約に有効であることを示した．しかしながら，これらの先行研究は引用を補助的な特徵量として使用しているため, 引用それ自体が要約になりうるかは明らかでない。これを検証するため，我々は引用を要約とみなし，そのROUGE 值を評価することで，引用が要約として有用であるかを評価する。

引用が多数存在する Reddit データセットで，上記 2 点の仮説を検証し，仮説を裏付ける結果を得た。また, 定量的, 定性的 2 つの観点で, 頻度べースの既存手法が抽出できない重要文を提案モデルが抽出できることを示した.

本研究の貢献は以下の 3 つである.
- 言及頻度に依存した従来の教師なし抽出型要約手法の問題点を指摘し，新たな文書の重要度の指標として“返信による引用のされやすさ”を提案，実験により有効性を示した。
- End-to-end で学習可能な教師なし抽出型要約モデル, Implicit Quote Extractor (IQE) を提案し, ベースラインと同等の性能を示すことを 2 つのメールデータセットと 1 つのソー シャルメディアデータセットを対象にした評価実験によって示した.

・ 引用を実際に含むソーシャルメディアデータセットを使い，提案モデルが引用を抽出しやすいこと，また，引用が要約に有用であることを示した.

## 2 関連研究

要約手法は 2 つの方法に大別される。抽出型要約 (Extractive Summarization) と生成型要約 (Abstractive Summarization)である。これまで提案されてきたほとんどの教師なし要約手法は抽出型である．教師あり要約においては，ニューラルネットワークを使用した手法が多く提案され発展を遂げているが，教師なし抽出型要約においては古典的手法が現在でも強力である.

文の類似度グラフの Centrality (Mihalcea and Tarau 2004; Erkan and Radev 2004; Zheng and Lapata 2019), Bag-of-words などの文の特徴量ベクトルの Centroid (Gholipour Ghalandari 2017) を利用した手法は教師なし抽出型要約における主要な手法とされてきた。その他にも，抽出文の特徴量ベクトル（単語の頻度ベクトルや Paragraph Vector などを使用）から本文の特徴量ベクトルを復元する Reconstruction Loss (He et al. 2012; Liu et al. 2015; Ma et al. 2016)を用いたものや，抽出文と文全体の Unigram 単語分布の Kullback-Leibler divergence (Haghighi and Vanderwende 2009)を利用した手法がある。単語をノードとしたグラフの経路スコア計算を用いた手法 (Mehdad et al. 2014; Shang et al. 2018) は, 複数文圧縮アルゴリズム (Filippova 2010)

## に依拠している.

ニューラルネットワークを利用した教師なし抽出型要約手法もいくつか存在する． Skipgram から得られた単語べクトルの和を文ベクトルとして, サブモジュラ最適化を行う手法 (Kågebäck et al. 2014) や，Paragraph Vectorを用いて計算された抽出文と全文の特徴量の誤差を最小化する手法 (Ma et al. 2016), CNN 言語モデルや BERT の特徴量を TextRank に適用する手法 (Yin and Pei 2015; Zheng and Lapata 2019) が提案されている. これらは事前学習されたニューラルネットワークを特徴量抽出器として用いて, 既存の要約モデルに適用しているが, 我々は end-to-end での学習が可能なフレームワークを提示する。

End-to-end で学習可能なニューラルネットワークベースの要約モデルは, 生成型のモデルがいくつか提案されている。文圧縮においては，シャッフルされた単語を元の順番に並び替えるタスクを使用したもの (Fevry and Phang 2018)，圧縮された文から元の文を復元するタスクを使用したもの (Baziotis et al. 2019) がある. レビュー文の生成型要約として, 木構造の親ノー ドから要約生成を行うもの (Isonuma et al. 2019), レビュー文の特徴量ベクトルの平均ベクトルから要約を生成する手法 (Chu and Liu 2019), VAE (Variational Auto-Encoder) の事前分布を要約生成に応用したもの (Amplayo and Lapata 2020) がある。他に，マスクされた文を復元するタスクを要約生成に応用した研究がある (Laban et al. 2020).

メール，チャット，ソーシャルメディアなどのオンライン会話の要約は古くから研究されている. ニューラルネットワークを利用した要約モデルが台頭している一方, 会話文の要約には非ニューラルモデルが使われている．既存手法として，単語をノードとしたグラフの経路スコア計算を利用したもの (Mehdad et al. 2014; Shang et al. 2018)がある. Dialogue Act 分類は,文をその役割（例：質問，回答，挨拶など）ごとに分類するタスクであるが，会話文の要約研究にも応用されている (Bhatia et al. 2014; Oya and Carenini 2014).

引用は要約の重要な要素になりうる。我々は返信する際, 重要な箇所を強調するため, 引用を利用する. 引用を特徴量として活用した研究として, 引用に出現した単語に重み付けをして, Centroid ベースの手法を改善したものがある (Carenini et al. 2007; Oya and Carenini 2014). この先行研究では, 引用を補助的な特徴量として使用したが，本研究では，引用のみに着目する. また，本研究では明示的な引用を教師信号として使わずに，暗黙的引用を抽出する.

## 3 提案モデル

本研究では, 教師なし抽出型要約モデルである Implicit Quote Extractor (IQE) を提案する.図 2 にモデルの概要を示す。学習時のモデルの入力は投稿と返信候補である。返信候補は，投稿に対する真，あるいは偽の返信である，IQEの学習タスクは返信候補が真であるか偽であるかを判定することである.

図 2 提案モデル, Implicit Quote Extractor (IQE)の概要図. Extractor は, 投稿の文をいくつか抽出し,返信候補が投稿に対する真の返信であるかの予測に利用する． $k$ と $j$ はから $\mathrm{N}$ の整数である.

IQE は 3 つの構成要素から成る. Encoder, Extractor, Predictorである. Encoder は, 投稿文の特徵量を計算する。 Extractor は少数の文を投稿から抽出する。この抽出文はテスト時には要約として使用される. Predictor は Extractor が抽出した投稿の文を用いて, 返信候補の真偽を判定する。各構成要素の詳細を以下に説明する。

Encoder Encoder は投稿の特徴量を計算する。まず，投稿を $N$ 個の文 $\left.\{s_{1}^{p}, s_{2}^{p}, \ldots, s_{N}^{p}\right.\}$ に分割する. 各文 $s_{i}^{p}(i \in\{1, \ldots, N\})$ は $K_{i}$ 個の単語 $W_{i}^{p}=\left.\{w_{i 1}^{p}, w_{i 2}^{p}, \ldots, w_{i K_{i}}^{p}\right.\}$ を含む. 単語は単語埋め达み層を通じて, 連続空間のベクトル $X_{i}^{p}=\left.\{\boldsymbol{x}_{i 1}^{p}, \boldsymbol{x}_{i 2}^{p}, \ldots, \boldsymbol{x}_{i K_{i}}^{p}\right.\}$ に埋め达まれる. 各文の特徴量 $\boldsymbol{h}_{i}^{p}$ は各埋め込み単語ベクトルを双方向 Long Short-Term Memory (BiLSTM) に入力し, 最初と最後の隠れ層を結合することで得る。

$
\boldsymbol{h}_{i}^{p}=\operatorname{BiLSTM}\left(X_{i}^{p}\right)
$

Extractor Extractor は Attention 機構を用いて返信候補の真偽判定に利用する少数の文を投稿から抽出する。IQEが正確な判定を行うようパラメータを学習する過程で, Extractor は返信が言及しやすい文を抽出するように学習する。これは, 返信に言及されない文は返信候補の真偽判定に有用では無いからである。 Extractor は抽出文の選択に返信の特徵量を使わないことに注意されたい．これは，要約の抽出処理を返信に依存させないようにするためである．IQE は学習時にのみ返信を必要とし, 評価時には返信なしで要約を抽出することができる.

我々は Extractor における特徴量計算器としてLSTM を使用する. Extractorの隠れ層の初期値 $\boldsymbol{h}_{0}^{\text {ext }}$ として, Encoderの隠れ層 $\boldsymbol{h}_{i}^{p}$ の平均値を使用する. Extractor の隠れ層 $\boldsymbol{h}_{t}^{\text {ext }}$ は入力べ

クトル $\boldsymbol{x}_{t-1}^{e x t}$ を逐次的に入力することで更新される. この逐次的な更新は, 抽出したい文の数 $L$回分行われる.

$
\boldsymbol{h}_{t}^{e x t}= \begin{cases}\frac{1}{N} \sum_{i=1}^{N} \boldsymbol{h}_{i}^{p} & (t=0) \\ \operatorname{LSTM}\left(\boldsymbol{x}_{t-1}^{e x t}\right) & (1 \leq t \leq L)\end{cases}
$

Extractorの LSTMへの入力ベクトル $\boldsymbol{x}_{t}^{e x t}(0 \leq t \leq L)$ は, 以下のように計算される.

$
\boldsymbol{x}_{t}^{e x t}= \begin{cases}\boldsymbol{p} & (t=0) \\ \sum_{i=1}^{N} \alpha_{t i} \boldsymbol{h}_{i}^{p} & (1 \leq t \leq L)\end{cases}
$

$t=0$ の時, $\boldsymbol{x}_{t}^{e x t}$ はパラメータベクトル $\boldsymbol{p}$ であるが, $t>0$ の時, Encoder で計算された投稿文の特徵量べクトル $\boldsymbol{h}_{i}^{p}$ の線形和である。この線形和は, Attention 機構によって計算される。図 2 に示すように Extractor は LSTM と Attention 機構を用いて逐次的に文を抽出する。図の $\boldsymbol{h}_{k}^{p}$ および， $\boldsymbol{h}_{j}^{p}$ は抽出された投稿の文を示し， $k$, および $j$ は， 1 から $\mathrm{N}$ の整数である. Attention 機構を用いて抽出する投稿文を一意に決定するには, Attention の重みベクトルを one-hot にする必要がある。このため, 学習時には Gumbel Softmax (Jang et al. 2017)を使用する. one-hot 化された Attentionの重み $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ は，以下の式によって計算される。ここで， $t$ は 1 から $L$ までの整数である.

$
\begin{gathered}
u_{i} \sim \operatorname{Uniform}(0,1) \\
g_{i}=-\log \left(-\log u_{i}\right) \\
a_{t i}=\boldsymbol{c}^{T} \tanh \left(\boldsymbol{h}_{t}^{e x t}+\boldsymbol{h}_{i}^{p}\right) \\
\pi_{t i}=\frac{\exp a_{t i}}{\sum_{k=1}^{N} \exp a_{t k}} \\
\alpha_{t i}=\frac{\exp \left(\log \pi_{t i}+g_{i}\right) / \tau}{\sum_{k=1}^{N} \exp \left(\log \pi_{t k}+g_{k}\right) / \tau}
\end{gathered}
$

式 (4)(5)のように, Gumbel ノイズ $\boldsymbol{g}=\left.\{g_{i}\right.\}$ を, 一様分布からサンプリングされたノイズ $\boldsymbol{u}=\left.\{u_{i}\right.\}$ を用いて生成する. 次に式 (6)のように，重み $a_{t i}$ を, Extractor の隠れ層 $\boldsymbol{h}_{t}^{e x t}$ と Encoder が計算した各投稿文の特徴量ベクトル $\boldsymbol{h}_{i}^{p}$ から計算する. 重みベクトル $\boldsymbol{a}_{t}=\left.\{a_{t i}\right.\}$ は,式 (7)(8)を通じて, one-hot に近い重みべクトル $\boldsymbol{\alpha}_{t}=\left.\{\alpha_{t i}\right.\}$ に変換される. $\boldsymbol{c}$ はパラメータベクトルであり, 温度定数 $\tau$ は 0.1 に固定した。

Predictor 抽出された投稿の文と返信候補の特徴量を使い, Predictor は返信候補が実際の返信であるかどうかを判定する。実際の投稿に正のラベル，ランダムにサンプリングされた返信候補に負のラベルを付与した。返信候補 $R=\left.\{s_{1}^{r}, s_{2}^{r}, \ldots, s_{M}^{r}\right.\}$ は $M$ 個の文から成ると仮定する. これらの文の特徵量べクトル $\boldsymbol{h}_{j}^{r}(j \in\{1, \ldots, M\})$ は, 数式 (1) と同様に計算される.
投稿と返信候補の関係の計算に, Decomposable Attention (Parikh et al. 2016)を使用する. Decomposable Attention は，2つのテキストを文ごとに分解し，テキスト間の関係性予測に使用するモデルである. IQE も同様に，投稿を文単位に分割して 2 つの文集合の関係性を計算するため，同様の機構を持つモデルとして，Decomposable Attention を採用した，抽出された文のベクトル $\boldsymbol{x}_{t}^{e x t}$, および返信の文のベクトル $\boldsymbol{h}_{j}^{r}$ を Decomposable Attention に入力し, 得られた出力をシグモイド関数に入力することで, 二值分類の確率值 $y$ を得る.

$
y=\operatorname{sigmoid}\left(\text { Decomposable Attention }\left(\boldsymbol{x}_{1}^{e x t}, \ldots, \boldsymbol{x}_{L}^{e x t}, \boldsymbol{h}_{1}^{r}, \ldots, \boldsymbol{h}_{M}^{r}\right)\right)
$

この分類タスクの損失関数 $\mathcal{L}_{r e p}$ は，以下のように Cross Entropyを用いて計算される。 $t_{r e p}$ は返信候補が実際の返信である時 1 であり，そうでない時には 0 である.

$
\mathcal{L}_{r e p}=-t_{r e p} \log y-\left(1-t_{r e p}\right) \log (1-y)
$

## 4 実験

我々は， 2 種類のデータセットで学習と評価を行う．1つはメールデータであり，もう 1 つはソーシャルメディア Reddit のデータセットである.

## 4.1 メールデータセット

我々は Avocado collection ${ }^{1}$ を学習に使用する. Avocado collection は倒産した IT 企業から得た 279 のアカウントの公開メールデータセットである。このデータセットから, 投稿と返信の対を収集し，モデルの学習データを作った。

投稿と返信の対の内，単語数が 50 語以下の投稿，あるいは 25 語以下の返信を含む対を除去した.この前処理の後， 56,174 の対を得た。ランダムサンプリングにより，誤った投稿と返信の対を取得する．実際の投稿と返信の対に正のラベル，誤った投稿と返信の対に負のラベルを付与した. 正のラベル, 負のラベルの数は同数である。 すなわち, 合計して, 112,348 の対を得た.

評価のため, Enron 要約データセットを使用する (Loza et al. 2014). このデータセットは 2 つの評価データセットから成る. ECS (Enron Corporate Single) と EPS (Enron Personal Single) である．ECS は業務用メールのデータセットであり，EPS は私用メールのデータセットである.各メールの要約は 2 名のアノテーターによって，2つずつ作成されている。表 1 に，これらのデータセットの概要を示す。これらのデータセットは開発データセットを含まないため, ECS の開発データセットをEPS, EPS の開発データセットをECS とした。開発データセットは, 評価に使うモデルの決定に使用する.


} & \multicolumn{3}{|c|}{ 要約 } & \multicolumn{3}{|c|}{ 本文 } \\

表 1 評価データセットの概要.

## 4.2 Reddit TIFU データセット

Reddit TIFUデータセット (Kim et al. 2019) は, tldr タグを要約タスクに応用したデータセットである. tldr は "too long didnt read” の略である. Redditの TIFU と呼ばれるオンライン掲示板では，本文が長すぎる時に要約を tldr として記す慣習がある。我々はメールデータセットと同様の前処理を TIFUデータセットに対しても行う.

既存研究 (Kim et al. 2019) で公開された TIFU データセットには返信データが付いていないため，我々は $\operatorname{praw}^{2}$ を用いてこれを収集した．結果，183,500の投稿と返信の対を得た．ランダムサンプリングにより, 負のラベルの付いた対を同数得て, 学習データとして合計 367,000 対を得た．学習データに含まれていない投稿と tldrの対の内, tldrの単語長が 20 以上のものを 2,500 対得て，1,240を開発データセット，もう 1,260 を評価データセットとした． TIFU の評価データセットの概要をメールデータセットと同じく表 1 に記す.

## 4.3 学習

単語埋め込み層と LSTM の隠れ層の次元はそれぞれ 100 とした。単語数は 30,000 とした. メールやソーシャルメディアの投稿と返信を文に分割した後に単語に分割した。分割には nltk の tokenizer ${ }^{3}$ を用いた。文数の上限を 30 文, 各文の単語数の上限を 200 語とした。学習の epoch 数を 10 とし，ミニバッチサイズは 64 , optimizer として Adam (Kingma and Ba 2015) を用いた. Adamのパラメータとして， $\alpha=0.001, \beta_{1}=0.9, \beta_{2}=0.999, e p s=1 e-8$ を用いた.

最初の数 epoch では Extractor を使用せずに，投稿の全ての文を返信候補の真偽判定に使用する.これは Extractor と Predictor をそれぞれ効率的に学習するためである. Extractor はどの文を抽出すべきかを学習するが，Predictor は投稿と返信候補の関係を学習する。そのため， 2 つの構成要素が別々のことを同時に学習しなければならない。一般に, 複数の構成要素を持つモデルは, 各構成要素を事前学習しておいた方が高性能になる (Hashimoto et al. 2017). そのため, 最初の数 epoch では Predictor のみを学習し, Extractorを学習しない。この閥値は, 全

投稿文を返信候補の真偽判定に利用した時の分類精度 (F1-score) が収束する epoch 数から決定する.

学習時には, Extractor が抽出する文数 $L$ を 1 から 4 にランダムに変化させた. 投稿あるいは返信候補のテキスト中に出現する固有表現（人物，場所，組織）を, Stanford Named Entity Recognizer (NER)4を用いてタグに置換した. これは，モデルがただ固有表現のみを抽出の判断材料に使うことを防ぐためである。単語埋め込み層のべクトルは Skipgram を用いて事前学習したものを初期値とした。その際，学習には IQE 自体の学習データと同じデータを使用した.我々は同じ実験を 5 回繰り返し，平均値を結果として計算する。これは，学習パラメータの初期値や最適化の際の乱数の影響を小さくするためである.

## 4.4 評価

評価時には， Encoder と Extractorのみを使用し， Predictor を使用しない. IQE とべースライン要約モデルは 3 文を要約として抽出する。先行研究に倣い, 我々は ROUGE-1, ROUGE-2, ROUGE-L の F1 值のデー夕毎の平均値を評価に使用する (Lin 2004). 各モデルは 3 文を抽出し, 評価に使用する. ROUGE の計算には ROUGE 2.0 (Ganesan 2015) を使用する. この時, stemming, 同義語処理, および stop word は使用していない. 開発データの評価指標として, ROUGE-1の F1 值を使用する.

## 4.5 ベースラインモデル

ベースラインモデルとして, TextRank (Mihalcea and Tarau 2004), LexRank (Erkan and Radev 2004), KL-Sum (Haghighi and Vanderwende 2009), PacSum (idf), PacSum (BERT) (Zheng and Lapata 2019), Lead, そして Random を使用する.

TextRank，および LexRank はグラフ Centrality ベースの手法で，教師なし要約において長らく強力な手法として認められてきた。PacSum はTextRankを改良した手法である。これは， Centrality に加え, 文の順番を特徴量として利用する。PacSum は文の類似度グラフ計算に, 古典的な単語の共起度に idf を積算したものを用いることもできるが, BERT (Devlin et al. 2019) などのニューラルネットワークの分散表現を利用しても有効性を発揮する．本実験では，前者のモデル PacSum (idf) と，後者のモデル PacSum (BERT) 両方で実験を行う． KL-Sum は抽出された文と本文が同じ単語分布を持つように KL Divergence を用いて制約をかける手法である. Lead は最初の数文を抽出する手法であるが，ニュース記事要約において強力な手法とされてきた。加えて，ベースラインとして IQETextRankを使用する。これは文同士の類似度として， IQE の Encoder の文ベクトルの Cosine 類似度を使用した TextRankのモデルである。このモデ
^{4}$ https://nlp.stanford.edu/software/CRF-NER.shtml
}

ルで実験を行う理由は，我々の提案手法の性能が単にニューラルネットワーク由来でないことを示すためである。

## 5 結果と考察

表 $2 ， 3 ， 4$ にそれぞれの評価データセットに対する結果を示す. 表中の†は，提案手法 IQE （固有表現置換有り）が有意に勝っている箇所，曰は，IQEが優位に劣っている箇所を示している。有意差検定には Paired Bootstrap Resampling (Koehn 2004)を使用した. 各モデルの出力

表 2 ECS データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 3 EPS データセットに打ける結果，太字は最も良い結果を，下線は 2 番目に良い結果を示している.提案手法の $\pm$ は, 5 回実験した際の標準偏差を示す.†は提案手法 IQE が有意に勝っている箇所,曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

表 4 TIFU tldr データセットにおける結果．太字は最も良い結果を，下線は 2 番目に良い結果を示している。提案手法の土は， 5 回実験した際の標準偏差を示す。†は提案手法 IQE が有意に勝っている箇所，曰は提案手法 IQE が優位に劣っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

の評価値を評価データの総数の半分に当たる回数分, 重複有りでランダムサンプリングし, 提案手法の性能が上回る確率を 1,000 試行行うことで計算する. 我々の提案手法 IQE はメールデー タセット (ECS, EPS) において, ROUGE-2-F の評価值が PacSum (BERT) に及ばなかったものの，他の多くのベースラインモデルの性能を評価指標において上回った. Reddit TIFUデー タセットにおいては, IQE は TextRank 以外のベースラインモデルの性能を上回った.

ECS，およびEPS データセットにおいて，IQETextRankは性能面において，IQEを大きく下回った。これは, 提案手法の有効性が単にニューラルネットワーク由来のものでは無いことを支持する．過去の研究 (Zheng and Lapata 2019) においても, TextRankのグラフの類似度計算にニューラルネットワークの特徴量を利用したモデルは性能が低下することが報告されている.

提案手法は ECS データセットよりも EPS データセットにおいて, より大きくLexRank や TextRankを上回った. この理由は表 1 に記されたデータセットの概要から説明できる。各文中の平均単語数は EPS の方が少ない. LexRankやTextRankのようなべースラインモデルは単語の共起情報を利用した文類似度を文抽出に利用する。そのため, 文長が短ければ共起ネットワークは疎になり，文間の関係性をうまく捉えられなくなり，性能が低下する。

Reddit TIFU データセットにおいて, LexRank や PacSum の ROUGE 值は低い結果となった. これは，idf や順序情報が Reddit TIFU データにおいて有効でないことを示唆している。また，提案手法は Reddit TIFU データセットにおいて，TextRankより低性能となった。考えられる理由として, IQE の学習が Reddit データにおいて, メールデータより難しいということが挙げられる。IQE の返信候補の真偽判定の精度 (F1-score) は, 5 回平均で, メールデータでは 0.803 であったが，Redditデータでは 0.741 であった。この理由には，それぞれのデータの投稿数の
長さと，返信の長さが関連している，IQEは，投稿から一部の文のみを，返信候補の真偽判定に使用する。そのため，投稿が長ければ長いほど，返信が言及しやすい文を抽出する難易度が増加する. 反対に，返信は長ければ長いほど判断材料が増えるため, 抽出した文が返信と関係しているかの判断が容易になる。学習データにおけるメールデータの投稿の平均文数, 返信の平均単語長はそれぞれ 7.7, 150.0であるが, Redditデー夕の投稿の文数, 返信の平均単語長はそれぞれ，16.9，101.5であった。このことが Reddit データにおける学習の難しさを示している. 返信の長さに差が生じている理由は, Reddit は誰でも返信ができるという特性があり, それにより，メールと比べてユーザーが重要箇所に返信しなければならないという義務感を持ちにくいという点が考えられる。

## 5.1 引用抽出性能と要約性能との関係

提案モデルはメールデータセットにおいて高い性能を発揮したが，2つの疑問が残る．1つは,提案モデルは引用を直接教師データとはしておらず, そのため提案モデルが実際に引用箇所を抽出しやすいのか不明確であるという点である。もう1つの疑問は, 引用と要約性能の関係についてである。我々は Carenini らの先行研究 (Carenini et al. 2007; Oya and Carenini 2014)に従い, 引用が要約に有用だと仮定した. しかし, この先行研究では引用を補助的な特徴量として使用しているので, 引用自体が要約に有用なのか明らかでない.これら 2 の疑問を明らかにするために，2つの実験を行った.

4.1 章で使用した Enron データセット (Loza et al. 2014)には引用を含む返信がほとんど存在しない，そのため，実験において我々は Reddit TIFU データセットと prawを通じて得た返信を利用する。このデータセットは 4.2 章で説明したものであり，ここから引用を含む返信を抽出する。ここで，“>”という記号から始まり，かつ返信先の投稿に含まれている文を引用と定義する。合計して，1,969の投稿と引用を含む返信の対を得た，返信で引用される文を，要約モデルがどの程度正確に投稿から抽出できるか, また, 引用が要約として有用でありうるかを, これらのデータを用いて評価する。比較には, 表 4 において, 最も良い結果を出した TextRankを用いる。

提案モデルの引用抽出性能要約モデルの引用抽出能力を評価するため, 引用抽出を情報抽出タスクとみなし, Precision $@ 3(\mathrm{prec} @ 3)$ で評価した. これは, 各要約モデルが抽出した 3 つの文の中にどの程度引用文が含まれているかを示す. 表 5 に結果を示す. IQE は TextRank, そして Random より引用を抽出する性能が高いことを示している.

被引用箇所は要約になりうるか？ 引用が要約として有用であるかを検証するため, 我々は引用自体を要約とみなし，そのROUGE 値を計算した。我々は前項で説明した Reddit から得た引用データ 1,969 を引用の文数に応じて分類し，それぞれ ROUGE 值を計算した. また比較のため, TextRank やランダムに同数の文を取得した場合 (Random) の ROUGE 值も計算した。表

6 に結果を示す. 引用文の文数が 1 文あるいは 2 文の時, 引用 (Quote) は, TextRank の性能を ROUGE-2-F，ROUGE-L-F において上回った。この結果は，引用が要約として有効であるという仮説を支持する。引用が 3 文である時，性能は著しく減少した。これは引用が基本的に連続した文であるという制約があるのに対し，TextRankは文の順序を問わず，最適な文を自由に抽出できるからと考えられる。

## 5.2 Ablation Tests

固有表現置換の影響固有表現の影響を調べるため，固有表現置換を行わない場合の結果を議論する，表 7 のメールデータにおける結果は，固有表現置換は性能向上に寄与することを示している。これは, 人名, 地名, 組織名は正しい返信を判定する際の大きなヒントになり得るか

表 5 各モデルの引用抽出性能.

表 6 引用を抽出要約とみなした時の ROUGE. 太字は最も良い結果を示している.

表 7 Ablation test の結果. 固有表現置換や事前学習を行わない場合の結果を示す.†は IQE が有意に勝っている箇所を示す ( $\mathrm{p}<0.05$; Paired Bootstrap Resampling).

らと考えられる。例えば，投稿と返信が同じ人物の名前に言及していると，モデルは人物名を含む文を単純に抽出するようになる。固有表現の置換は，固有表現ではなく意味的に返信に関連する文をモデルに抽出させることを促す.

しかしながら，表 7 が示すように，Reddit TIFU データセットでは固有表現置換はあまり性能に影響を与えなかった. Reddit は匿名掲示板であるため, 投稿は特定の人物名に言及しにくいと考えられる。そのため, 固有表現が投稿と返信候補の真偽判定の手がかりにはなりにくい.事前学習の影響 4.3 章で説明したように, 我々は Predictor を最初の数 epoch で事前学習した. これは Extractor と Predictor を別々に学習するためである。表 7 に Predictor の事前学習の影響の結果を示す。事前学習なしでは, 性能は低下した。これは各構成要素を別々に学習させることの重要性を示している.

## 5.3 既存手法との相違点

1 章で述べたように，ほとんどの既存の教師なし要約手法は重要なトピックが高頻度に言及されるという仮定に基づいている。TextRankはその好例である。TextRank は文の類似度グラフの Centrality を重要文抽出に使用する。多くの場合 Centrality の指標として PageRank が使われる。すなわち，TextRankは PageRankの高い文を要約として抽出する。 ある文の PageRank が高いということは，その文が他の多くの文と類似度が高いことを意味している．これはその文が言及する話題に他の文も言及していることを示す. 我々は, 重要なトピックは必ずしも頻繁に言及されるわけではないと考え, 言及頻度とは異なる性質に着目した. それは返信による引用のされやすさ，である.

TextRank と比較し, 我々の提案手法が Centralityベースの手法では捉えきれない重要文を抽出できることを示す. 図 3 に最大 PageRank と各モデルが抽出する文の ROUGE-1-F の関係性を

図 3 ECS およびEPS データセットの各メールにおいて, 最大の PageRank と ROUGE-1-F の相関を示した図，X軸は，四捨五入された最大 PageRankを，Y 軸はROUGE-1-Fを，エラーバーは標準誤差を示している.
示す. 各テキストを文に分割し，文毎に PageRankを計算する。その内，最大の PageRankを小数点第一位で四捨五入し, 同一の最大 PageRank 值を持つデータ間の ROUGE-1-F の標準誤差をエラーバーとして示す。使用したデータは ECS と EPSであり，ROUGE 値は各モデルが 1 文要約として抽出した時の値を示している。図より，TextRankが抽出する文の ROUGE-1-F は，最大 PageRank と比例して増加する. 最大 PageRank が低い時, IQE が抽出した文の ROUGE-1-F 値は，TextRankを上回る。これは，提案手法が言及回数の少ない場合にも，重要文を捉えられるという仮説を支持している.

表 8 に IQE と TextRankがそれぞれ抽出した要約の具体例（EPSデータセット）を示す。参

## 本文 \\ Just got your email address from Rachel.

Congrats on your promotion.

I'm sure it's going to be alot different for you but it sounds like a great deal.

My hubby and' I moved out to Katy a few months ago.

I love it there - my parents live about 10 minutes away.

New news from me - I'm having a baby - due in June.

I can't even believe it myself.

The thought of me being a mother is downright scary but I figure since I'm almost 30, I probably need to start growing up.

I'm really excited though.

Rachel is coming to visit me in a couple of weeks.

You planning on coming in for any of the rodeo stuff?

You'll never guess who I got in touch with about a month ago.

It was the weirdest thing - heather evans.

I hadn't talked to her in about 10 years.

Seems like she's doing well but I can never really tell with her.

Anyway, I'll let you go.

Got ta get back to work.

Looking forward to hearing back from ya.

## 参照要約

The sender wants to congratulate the recipient for his/her new promotion, as well as, updating him/her about her life. The sender just move out to Katy few months ago.

She is having a baby due in June.

She is scared of being a mother but also pretty exited about it.

Rachel is coming to visit her in couple of weeks and she is asking if he/she will join for any of the rodeo stuff.

She run into heather evans which she hadn't talked in 10 years.

表 8 Implicit Quote Extractor (IQE) (bold) とTextRank (italic)によって抽出された EPSデータセットの文の具体例.

表 9 Implicit Quote Extractor (IQE) (bold)とTextRank (italic)によって抽出された Reddit TIFU データセットの文の具体例.

照要約は，メールの受信者の昇進や発信者の出産に言及している. これらは本文で一度しか言及されていないため, TextRankはそれらの文の抽出に失敗しているが，我々の提案モデルは正しくそれらの文を抽出できている。それは，こうしたトピックが返信によって言及されやすいからである。実際, 学習に使用した Avocado Mail Collectionデー夕の返信で, baby, promoted, promotion はそれぞれ 566 回，58 回，456 回言及されている。表 9 に載せた Reddit TIFU デー タセットの具体例にも同様の傾向が見られる。すなわち, kitten や squirrel は一度しか言及されていないため，TextRank はそれらの文の抽出に失敗しているが，提案モデル IQE はそれらの文を抽出できている.

## 6 結論

本稿では，従来手法とは異なる文の重要度の指標である “引用のされやすさ”に着目した教師なし抽出型要約モデル Implicit Quote Extractorを提案し, その有効性を 2 つのメールデー タセット（ECS と EPS）と 1 つのソーシャルメディアデータセット (Reddit TIFU) を対象にした評価実験で示した，我々は，従来手法とは異なる指標に着目したが，従来手法で用いられた “言及頻度”も依然として重要であるため, これら両方の側面を考慮するモデルの考案が今後の課題となる．また，提案モデルがより引用を抽出しやすく，かつ引用が要約に有用であるとする仮説を，Reddit TIFUデータセットを用いて検証し，仮説を支持する結果を得たが，メールデータセットでは検証できなかった。メールデータセットは引用を含む返信と参照要約を同時

に持つデータを含んでいなかったからである。我々の仮説がメールやその他のデータセットでも有効であるかを検証することが今後の課題である.

## 謝 辞

東京工業大学奥村・高村・船越研の皆様には研究の方針に関して様々なアドバイスを頂きま

した.ここに感謝の意を表します。本研究は, The 1st Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics and the 10th International Joint Conference on Natural Language Processing (AACL-ICJNLP 2020) の発表 "Identifying Implicit Quotes for Unsupervised Extractive Summarization of Conversations" で報告した研究に，追加実験を加え，加筆修正したものです.

## 参考文献

Amplayo, R. K. and Lapata, M. (2020). "Unsupervised Opinion Summarization with Noising and Denoising." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 1934-1945, Online. Association for Computational Linguistics.

Baziotis, C., Androutsopoulos, I., Konstas, I., and Potamianos, A. (2019). "SEQ^3: Differentiable Sequence-to-Sequence-to-Sequence Autoencoder for Unsupervised Abstractive Sentence Compression." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 673-681. Association for Computational Linguistics.

Bhatia, S., Biyani, P., and Mitra, P. (2014). "Summarizing Online Forum Discussions - Can Dialog Acts of Individual Messages Help?" In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 2127-2131. Association for Computational Linguistics.

Carenini, G., Ng, R. T., and Zhou, X. (2007). "Summarizing Email Conversations with Clue Words." In Proceedings of the 16th International Conference on World Wide Web, WWW '07, pp. 91-100. ACM.

Chu, E. and Liu, P. J. (2019). "MeanSum: A Neural Model for Unsupervised Multi-Document Abstractive Summarization." In Proceedings of the 36th International Conference on Machine Learning, ICML 2019, pp. 1223-1232.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference
of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Erkan, G. and Radev, D. R. (2004). "LexRank: Graph-based Lexical Centrality As Salience in Text Summarization." J. Artif. Int. Res., 22 (1), pp. 457-479.

Fevry, T. and Phang, J. (2018). "Unsupervised Sentence Compression using Denoising AutoEncoders." In Proceedings of the 22nd Conference on Computational Natural Language Learning, pp. 413-422. Association for Computational Linguistics.

Filippova, K. (2010). "Multi-Sentence Compression: Finding Shortest Paths in Word Graphs."

In Proceedings of the 23rd International Conference on Computational Linguistics (Coling 2010), pp. 322-330, Beijing, China. Coling 2010 Organizing Committee.

Ganesan, K. (2015). "ROUGE 2.0: Updated and Improved Measures for Evaluation of Summarization Tasks.".

Gholipour Ghalandari, D. (2017). "Revisiting the Centroid-based Method: A Strong Baseline for Multi-Document Summarization." In Proceedings of the Workshop on New Frontiers in Summarization, pp. 85-90. Association for Computational Linguistics.

Haghighi, A. and Vanderwende, L. (2009). "Exploring Content Models for Multi-Document Summarization." In Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, pp. 362-370, Boulder, Colorado. Association for Computational Linguistics.

Hashimoto, K., Xiong, C., Tsuruoka, Y., and Socher, R. (2017). "A Joint Many-Task Model: Growing a Neural Network for Multiple NLP Tasks." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1923-1933, Copenhagen, Denmark. Association for Computational Linguistics.

He, Z., Chen, C., Bu, J., Wang, C., Zhang, L., Cai, D., and He, X. (2012). "Document Summarization Based on Data Reconstruction." In Proceedings of the 26th AAAI Conference on Artificial Intelligence, AAAI '12, pp. 620-626. AAAI Press.

Isonuma, M., Mori, J., and Sakata, I. (2019). "Unsupervised Neural Single-Document Summarization of Reviews via Learning Latent Discourse Structure and its Ranking." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 2142-2152. Association for Computational Linguistics.

Jang, E., Gu, S., and Poole, B. (2017). "Categorical Reparameterization with Gumbel-Softmax."

In 5th International Conference on Learning Representations, ICLR 2017.

Kågebäck, M., Mogren, O., Tahmasebi, N., and Dubhashi, D. (2014). "Extractive Summarization
using Continuous Vector Space Models." In Proceedings of the 2nd Workshop on Continuous Vector Space Models and their Compositionality (CVSC), pp. 31-39. Association for Computational Linguistics.

Kim, B., Kim, H., and Kim, G. (2019). "Abstractive Summarization of Reddit Posts with Multilevel Memory Networks." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 2519-2531. Association for Computational Linguistics.

Kingma, D. P. and Ba, J. (2015). "Adam: A Method for Stochastic Optimization." In 3rd International Conference on Learning Representations, ICLR 2015.

Koehn, P. (2004). "Statistical Significance Tests for Machine Translation Evaluation." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 388-395, Barcelona, Spain. Association for Computational Linguistics.

Laban, P., Hsi, A., Canny, J., and Hearst, M. A. (2020). "The Summary Loop: Learning to Write Abstractive Summaries Without Examples." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 5135-5150, Online. Association for Computational Linguistics.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81. Association for Computational Linguistics.

Liu, H., Yu, H., and Deng, Z.-H. (2015). "Multi-document Summarization Based on Two-level Sparse Representation Model." In Proceedings of the 29th AAAI Conference on Artificial Intelligence, AAAI '15, pp. 196-202. AAAI Press.

Loza, V., Lahiri, S., Mihalcea, R., and Lai, P.-H. (2014). "Building a Dataset for Summarization and Keyword Extraction from Emails." In Proceedings of the 9th International Conference on Language Resources and Evaluation (LREC-2014), pp. 2441-2446. European Languages Resources Association (ELRA).

Ma, S., Deng, Z.-H., and Yang, Y. (2016). "An Unsupervised Multi-Document Summarization Framework Based on Neural Document Model." In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1514-1523. The COLING 2016 Organizing Committee.

Mehdad, Y., Carenini, G., and Ng, R. T. (2014). "Abstractive Summarization of Spoken and Written Conversations Based on Phrasal Queries." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 1220-1230. Association for Computational Linguistics.

Mihalcea, R. and Tarau, P. (2004). "TextRank: Bringing Order into Text." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 404-411. Association for Computational Linguistics.

Oya, T. and Carenini, G. (2014). "Extractive Summarization and Dialogue Act Modeling on Email Threads: An Integrated Probabilistic Approach." In Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 133-140. Association for Computational Linguistics.

Parikh, A., Täckström, O., Das, D., and Uszkoreit, J. (2016). "A Decomposable Attention Model for Natural Language Inference." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 2249-2255. Association for Computational Linguistics.

Shang, G., Ding, W., Zhang, Z., Tixier, A., Meladianos, P., Vazirgiannis, M., and Lorré, J.-P. (2018). "Unsupervised Abstractive Meeting Summarization with Multi-Sentence Compression and Budgeted Submodular Maximization." In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 664-674. Association for Computational Linguistics.

Yin, W. and Pei, Y. (2015). "Optimizing Sentence Modeling and Selection for Document Summarization." In Proceedings of the 24th International Conference on Artificial Intelligence, IJCAI '15, pp. 1383-1389. AAAI Press.

Zheng, H. and Lapata, M. (2019). "Sentence Centrality Revisited for Unsupervised Summarization." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 6236-6247. Association for Computational Linguistics.

## 略歴

狩野竜示：2011 年東京大学理学部生物学科卒業. 2013 年同大学院情報理工学系研究科知能機械情報学専攻修了。2013 年から 2020 年まで富士ゼロックス株式会社に勤務. 2019 年より東京工業大学工学院情報通信コース博士課程に在籍。2020 年より富士フイルム株式会社画像技術センターにおいて, 医療言語処理, 要約関連の研究に従事.

谷口友紀：2004 年神戸大学大学院自然科学研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センターにおいて, 医療言語処理, 情報抽出の研究に従事. 言語処理学会会員.

大熊智子：1996 年慶應義塾大学政策・メディア研究科修士課程修了. 同年, 富士ゼロックス株式会社入社. 現在, 富士フイルム株式会社画像技術センター

において, 医療言語処理, 情報抽出の研究に従事. 言語処理学会理事. 博士 (学術).

(2020 年 10 月 29 日受付)

(2021 年 2 月 8 日再受付)

(2021 年 3 月 10 日採録)