\section{はじめに}
\label{sec:intro}インターネット上の会話が活発化するにつれ，会話文の自動要約技術の必要性は益々増している．ニューラルネットワークを使用したモデルは教師あり要約において，高い性能を発揮しているが，教師なし要約への応用は未だ限定的である．教師あり要約モデルの学習には，数万の要約-本文対が必要になる．あらゆるドメインにおいてこれらの対データを用意することは現実的ではないため，教師なし要約の手法が求められている．我々は返信を伴う会話形式のテキストを対象とした教師なし要約手法を提案する．過去，多くの教師なし要約手法が提案されてきた．文の類似度グラフのCentralityを使用した手法は強力な教師なし要約手法であり\cite{mihalcea-tarau-2004-textrank,Erkan:2004:LGL:1622487.1622501,zheng-lapata-2019-sentence}，会話文の要約にも応用されている\cite{mehdad-etal-2014-abstractive,shang-etal-2018-unsupervised}．Centralityの他にも，文の特徴量ベクトルのCentroid\cite{gholipour-ghalandari-2017-revisiting}，Kullback-Leiblerdivergence\cite{haghighi-vanderwende-2009-exploring}，ReconstructionLoss\cite{He:2012:DSB:2900728.2900817,Liu:2015:MSB:2887007.2887035,ma-etal-2016-unsupervised-multi}，単語をノードとした有向グラフの経路スコア計算\cite{mehdad-etal-2014-abstractive,shang-etal-2018-unsupervised}などが，要約に使われている．上記全ての手法の前提にあるのは，重要なトピックは文書中に高頻度に言及されるという点である．しかし，重要なトピックは必ずしも高頻度に言及されるわけではない．そのため，もし重要なトピックの言及回数が少ない場合，上記手法は重要文の抽出に失敗する．より高精度の要約を実現するためには，“頻度”とは異なる文書の側面に着目する必要がある．頻度とは異なる文書の重要度の指標として，我々は“引用のされやすさ”に着目する．我々は，メールや投稿文に返信する際，投稿の一部分を引用することがある．具体例を図\ref{fig:quote}に示す．右側の返信の例にあるように．引用文は，引用符“＞”から始まり，返信先の投稿文中の文・フレーズと一致する箇所を指す．高頻度に引用される箇所は重要であると考えられるため，引用される箇所を予測できれば，本文中で言及される頻度に関わらず，重要な情報を含む文を抽出できると考えられる．過去の研究に，引用を要約モデルに補助的に利用したものがある．Careniniは，引用文に現れる単語に重み付けをし，Centroidベースの要約手法の精度を向上させた\cite{Carenini:2007:SEC:1242572.1242586,oya-carenini-2014-extractive}．ただし，ほとんどの返信は明示的な引用を含まない．そのため，引用を直接教師データとして扱うことは難しい．我々は，引用文を教師として使用せずに引用箇所を抽出できるモデル，ImplicitQuoteExtractor（IQE：暗黙的引用抽出器）を提案する．図\ref{fig:quote}に示す例のように，引用文は返信が言及している投稿の箇所であるため，明示的な引用が無い場合にも，返信内容から本来引用されるべき箇所を間接的に特定できる．これを暗黙的引用と呼称する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[t]\begin{center}\includegraphics{28-2ia9f1.pdf}\end{center}\hangcaption{投稿と引用付きの返信と引用無しの返信の例．暗黙的引用は，返信が言及している投稿の一部であるが，返信には明示的に示されていないものを指す．}\label{fig:quote}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%IQEは，返信によって言及される箇所を特定することにより，明示的な引用なしに，引用箇所を抽出することを目指す．IQEは投稿と返信候補のみを学習に使用し，明示的な引用を使用しない．返信候補は，投稿に対する実際の返信，あるいはランダムにサンプリングされた返信である．学習タスクは，返信候補が実際の返信であるかどうかを判定することである．IQEは，投稿から少数の文を抽出し，これを真偽判定の特徴量に使う．IQEは返信候補の真偽判定の性能を向上させるように文抽出のパラメータを学習するので，返信が言及しやすい文を要約として抽出するようになる．要約は本文のみから作成する必要があり，返信に依存してはならない．そのため，IQEは抽出文の選択に，返信の特徴量を使わない．すなわち，IQEは学習時にのみ返信を必要とし，評価時には必要としない．IQEが抽出するのは返信に依存した引用箇所では無く，返信によって最も引用されやすい箇所となる．IQEを2つのメールデータセット，Enron要約データセット\cite{loza-etal-2014-building}の業務メールと私用メールで評価し，また，ソーシャルメディアのデータセットとして，RedditTIFUデータセット\cite{kim-etal-2019-abstractive}でも評価を行い，多くのベースラインの性能を上回ることを確認した．提案したモデルは2つの仮説に基づいている．1つは提案モデルが引用を抽出できるという点である．IQEは引用抽出を目的としているが，引用を教師として使用していないため，実際に引用される文を抽出できるかは明らかでない．そのため，我々は，提案モデルがどの程度引用を抽出できるか評価する．もう1つの仮説は，引用は要約として有用であるという点である．先行研究\cite{Carenini:2007:SEC:1242572.1242586,oya-carenini-2014-extractive}は引用文を利用して，Centroid要約モデルの性能を向上させ，引用が要約に有効であることを示した．しかしながら，これらの先行研究は引用を補助的な特徴量として使用しているため，引用それ自体が要約になりうるかは明らかでない．これを検証するため，我々は引用を要約とみなし，そのROUGE値を評価することで，引用が要約として有用であるかを評価する．引用が多数存在するRedditデータセットで，上記2点の仮説を検証し，仮説を裏付ける結果を得た．また，定量的，定性的2つの観点で，頻度ベースの既存手法が抽出できない重要文を提案モデルが抽出できることを示した．本研究の貢献は以下の3つである．\begin{itemize}\item言及頻度に依存した従来の教師なし抽出型要約手法の問題点を指摘し，新たな文書の重要度の指標として“返信による引用のされやすさ”を提案，実験により有効性を示した．\itemEnd-to-endで学習可能な教師なし抽出型要約モデル，ImplicitQuoteExtractor(IQE)を提案し，ベースラインと同等の性能を示すことを2つのメールデータセットと1つのソーシャルメディアデータセットを対象にした評価実験によって示した．\item引用を実際に含むソーシャルメディアデータセットを使い，提案モデルが引用を抽出しやすいこと，また，引用が要約に有用であることを示した．\end{itemize}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
要約手法は2つの方法に大別される．抽出型要約(ExtractiveSummarization)と生成型要約(AbstractiveSummarization)である．これまで提案されてきたほとんどの教師なし要約手法は抽出型である．教師あり要約においては，ニューラルネットワークを使用した手法が多く提案され発展を遂げているが，教師なし抽出型要約においては古典的手法が現在でも強力である．文の類似度グラフのCentrality\cite{mihalcea-tarau-2004-textrank,Erkan:2004:LGL:1622487.1622501,zheng-lapata-2019-sentence}，Bag-of-wordsなどの文の特徴量ベクトルのCentroid\cite{gholipour-ghalandari-2017-revisiting}を利用した手法は教師なし抽出型要約における主要な手法とされてきた．その他にも，抽出文の特徴量ベクトル（単語の頻度ベクトルやParagraphVectorなどを使用）から本文の特徴量ベクトルを復元するReconstructionLoss\cite{He:2012:DSB:2900728.2900817,Liu:2015:MSB:2887007.2887035,ma-etal-2016-unsupervised-multi}を用いたものや，抽出文と文全体のUnigram単語分布のKullback-Leiblerdivergence\cite{haghighi-vanderwende-2009-exploring}を利用した手法がある．単語をノードとしたグラフの経路スコア計算を用いた手法\cite{mehdad-etal-2014-abstractive,shang-etal-2018-unsupervised}は，複数文圧縮アルゴリズム\cite{filippova-2010-multi}に依拠している．ニューラルネットワークを利用した教師なし抽出型要約手法もいくつか存在する．Skipgramから得られた単語ベクトルの和を文ベクトルとして，サブモジュラ最適化を行う手法\cite{kageback-etal-2014-extractive}や，ParagraphVectorを用いて計算された抽出文と全文の特徴量の誤差を最小化する手法\cite{ma-etal-2016-unsupervised-multi}，CNN言語モデルやBERTの特徴量をTextRankに適用する手法\cite{Yin:2015:OSM:2832415.2832442,zheng-lapata-2019-sentence}が提案されている．これらは事前学習されたニューラルネットワークを特徴量抽出器として用いて，既存の要約モデルに適用しているが，我々はend-to-endでの学習が可能なフレームワークを提示する．End-to-endで学習可能なニューラルネットワークベースの要約モデルは，生成型のモデルがいくつか提案されている．文圧縮においては，シャッフルされた単語を元の順番に並び替えるタスクを使用したもの\cite{fevry-phang-2018-unsupervised}，圧縮された文から元の文を復元するタスクを使用したもの\cite{baziotis-etal-2019-seq}がある．レビュー文の生成型要約として，木構造の親ノードから要約生成を行うもの\cite{isonuma-etal-2019-unsupervised}，レビュー文の特徴量ベクトルの平均ベクトルから要約を生成する手法\cite{DBLP:conf/icml/2019}，VAE(VariationalAuto-Encoder)の事前分布を要約生成に応用したもの\cite{amplayo-lapata-2020-unsupervised}がある．他に，マスクされた文を復元するタスクを要約生成に応用した研究がある\cite{laban-etal-2020-summary}．メール，チャット，ソーシャルメディアなどのオンライン会話の要約は古くから研究されている．ニューラルネットワークを利用した要約モデルが台頭している一方，会話文の要約には非ニューラルモデルが使われている．既存手法として，単語をノードとしたグラフの経路スコア計算を利用したもの\cite{mehdad-etal-2014-abstractive,shang-etal-2018-unsupervised}がある．DialogueAct分類は，文をその役割（例：質問，回答，挨拶など）ごとに分類するタスクであるが，会話文の要約研究にも応用されている\cite{bhatia-etal-2014-summarizing,oya-carenini-2014-extractive}．引用は要約の重要な要素になりうる．我々は返信する際，重要な箇所を強調するため，引用を利用する．引用を特徴量として活用した研究として，引用に出現した単語に重み付けをして，Centroidベースの手法を改善したものがある\cite{Carenini:2007:SEC:1242572.1242586,oya-carenini-2014-extractive}．この先行研究では，引用を補助的な特徴量として使用したが，本研究では，引用のみに着目する．また，本研究では明示的な引用を教師信号として使わずに，暗黙的引用を抽出する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{提案モデル}
\label{sec:model}本研究では，教師なし抽出型要約モデルであるImplicitQuoteExtractor(IQE)を提案する．図\ref{fig:model}にモデルの概要を示す．学習時のモデルの入力は投稿と返信候補である．返信候補は，投稿に対する真，あるいは偽の返信である．IQEの学習タスクは返信候補が真であるか偽であるかを判定することである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\begin{center}\includegraphics{28-2ia9f2.pdf}\end{center}\hangcaption{提案モデル，ImplicitQuoteExtractor(IQE)の概要図．Extractorは，投稿の文をいくつか抽出し，返信候補が投稿に対する真の返信であるかの予測に利用する．$k$と$j$は1からNの整数である．}\label{fig:model}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%IQEは3つの構成要素から成る．Encoder，Extractor，Predictorである．Encoderは，投稿文の特徴量を計算する．Extractorは少数の文を投稿から抽出する．この抽出文はテスト時には要約として使用される．PredictorはExtractorが抽出した投稿の文を用いて，返信候補の真偽を判定する．各構成要素の詳細を以下に説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Encoder}Encoderは投稿の特徴量を計算する．まず，投稿を$N$個の文$\{s^p_1,s^p_2,...,s^p_N\}$に分割する．各文${s^p_i}\(i\in\{1,...,N\})$は$K_i$個の単語$W^p_{i}=\{w^p_{i1},w^p_{i2},...,w^p_{iK_i}\}$を含む.単語は単語埋め込み層を通じて，連続空間のベクトル$X^p_{i}=\{\boldsymbol{x}^p_{i1},\boldsymbol{x}^p_{i2},...,\boldsymbol{x}^p_{iK_i}\}$に埋め込まれる．各文の特徴量$\boldsymbol{h}^p_{i}$は各埋め込み単語ベクトルを双方向LongShort-TermMemory(BiLSTM)に入力し，最初と最後の隠れ層を結合することで得る．\begin{equation}\boldsymbol{h}^p_{i}=\textrm{BiLSTM}(X^p_{i})\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Extractor}ExtractorはAttention機構を用いて返信候補の真偽判定に利用する少数の文を投稿から抽出する．IQEが正確な判定を行うようパラメータを学習する過程で，Extractorは返信が言及しやすい文を抽出するように学習する．これは，返信に言及されない文は返信候補の真偽判定に有用では無いからである．Extractorは抽出文の選択に返信の特徴量を使わないことに注意されたい．これは，要約の抽出処理を返信に依存させないようにするためである．IQEは学習時にのみ返信を必要とし，評価時には返信なしで要約を抽出することができる．我々はExtractorにおける特徴量計算器としてLSTMを使用する．Extractorの隠れ層の初期値$\boldsymbol{h}^{ext}_{0}$として，Encoderの隠れ層$\boldsymbol{h}^p_{i}$の平均値を使用する．Extractorの隠れ層$\boldsymbol{h}^{ext}_{t}$は入力ベクトル$\boldsymbol{x}^{ext}_{t-1}$を逐次的に入力することで更新される．この逐次的な更新は，抽出したい文の数$L$回分行われる．\begin{equation}\boldsymbol{h}^{ext}_{t}=\begin{cases}\frac{1}{N}\sum_{i=1}^N\boldsymbol{h}^p_{i}&(t=0)\\\textrm{LSTM}(\boldsymbol{x}^{ext}_{t-1})&(1\leqt\leqL)\end{cases}\end{equation}ExtractorのLSTMへの入力ベクトル$\boldsymbol{x}^{ext}_{t}(0\leqt\leqL)$は，以下のように計算される．\begin{equation}\boldsymbol{x}^{ext}_{t}=\begin{cases}\boldsymbol{p}&(t=0)\\\sum_{i=1}^N\alpha_{ti}\boldsymbol{h}^p_{i}&(1\leqt\leqL)\end{cases}\end{equation}$t=0$の時，$\boldsymbol{x}^{ext}_{t}$はパラメータベクトル$\boldsymbol{p}$であるが，$t>0$の時，Encoderで計算された投稿文の特徴量ベクトル$\boldsymbol{h}^p_{i}$の線形和である．この線形和は，Attention機構によって計算される．図\ref{fig:model}に示すようにExtractorはLSTMとAttention機構を用いて逐次的に文を抽出する．図の$\boldsymbol{h}^p_{k}$および，$\boldsymbol{h}^p_{j}$は抽出された投稿の文を示し，$k$，および$j$は，1からNの整数である．Attention機構を用いて抽出する投稿文を一意に決定するには，Attentionの重みベクトルをone-hotにする必要がある．このため，学習時にはGumbelSoftmax\cite{JangGP17}を使用する．one-hot化されたAttentionの重み$\boldsymbol{\alpha}_{t}=\{\alpha_{ti}\}$は，以下の式によって計算される．ここで，$t$は$1$から$L$までの整数である．\begin{gather}u_i\sim\textrm{Uniform}(0,1)\\g_i=-\log{(-\log{u_i})}\\a_{ti}=\boldsymbol{c}^{T}\tanh(\boldsymbol{h}^{ext}_{t}+\boldsymbol{h}^p_{i})\\\pi_{ti}=\frac{\exp{a_{ti}}}{\sum_{k=1}^{N}{\exp{a_{tk}}}}\\\alpha_{ti}=\frac{\exp{(\log{\pi_{ti}}+g_i)/\tau}}{\sum_{k=1}^N\exp{(\log{\pi_{tk}}+g_k)/\tau}}\end{gather}式(4)(5)のように，Gumbelノイズ$\boldsymbol{g}=\{g_i\}$を，一様分布からサンプリングされたノイズ$\boldsymbol{u}=\{u_i\}$を用いて生成する．次に式(6)のように，重み$a_{ti}$を，Extractorの隠れ層$\boldsymbol{h}^{ext}_{t}$とEncoderが計算した各投稿文の特徴量ベクトル$\boldsymbol{h}^p_{i}$から計算する．重みベクトル$\boldsymbol{a}_t=\{a_{ti}\}$は，式(7)(8)を通じて，one-hotに近い重みベクトル$\boldsymbol{\alpha}_{t}=\{\alpha_{ti}\}$に変換される．$\boldsymbol{c}$はパラメータベクトルであり，温度定数$\tau$は0.1に固定した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{Predictor}抽出された投稿の文と返信候補の特徴量を使い，Predictorは返信候補が実際の返信であるかどうかを判定する．実際の投稿に正のラベル，ランダムにサンプリングされた返信候補に負のラベルを付与した．返信候補$R=\{s^r_1,s^r_2,...,s^r_M\}$は$M$個の文から成ると仮定する．これらの文の特徴量ベクトル$\boldsymbol{h}^r_{j}\(j\in\{1,...,M\})$は，数式(1)と同様に計算される．\pagebreak投稿と返信候補の関係の計算に，DecomposableAttention\cite{parikh-etal-2016-decomposable}を使用する．DecomposableAttentionは，2つのテキストを文ごとに分解し，テキスト間の関係性予測に使用するモデルである．IQEも同様に，投稿を文単位に分割して2つの文集合の関係性を計算するため，同様の機構を持つモデルとして，DecomposableAttentionを採用した．抽出された文のベクトル$\boldsymbol{x}^{ext}_{t}$，および返信の文のベクトル$\boldsymbol{h}^r_{j}$をDecomposableAttentionに入力し，得られた出力をシグモイド関数に入力することで，二値分類の確率値$y$を得る．\begin{equation}y=\textrm{sigmoid}(\textrm{DecomposableAttention}(\boldsymbol{x}^{ext}_{1},...,\boldsymbol{x}^{ext}_{L},\boldsymbol{h}^r_1,...,\boldsymbol{h}^r_M))\end{equation}この分類タスクの損失関数$\mathcal{L}_{rep}$は，以下のようにCrossEntropyを用いて計算される．$t_{rep}$は返信候補が実際の返信である時1であり，そうでない時には0である．\begin{equation}\mathcal{L}_{rep}=-t_{rep}\log{y}-(1-t_{rep})\log{(1-y)}\end{equation}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{実験}
我々は，2種類のデータセットで学習と評価を行う．1つはメールデータであり，もう1つはソーシャルメディアRedditのデータセットである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{メールデータセット}\label{sec:data_enron}我々はAvocadocollection\footnote{\url{https://catalog.ldc.upenn.edu/LDC2015T03}}を学習に使用する．Avocadocollectionは倒産したIT企業から得た279のアカウントの公開メールデータセットである．このデータセットから，投稿と返信の対を収集し，モデルの学習データを作った．投稿と返信の対の内，単語数が50語以下の投稿，あるいは25語以下の返信を含む対を除去した．この前処理の後，56,174の対を得た．ランダムサンプリングにより，誤った投稿と返信の対を取得する．実際の投稿と返信の対に正のラベル，誤った投稿と返信の対に負のラベルを付与した．正のラベル，負のラベルの数は同数である．すなわち，合計して，112,348の対を得た．評価のため，Enron要約データセットを使用する\cite{loza-etal-2014-building}．このデータセットは2つの評価データセットから成る．ECS(EnronCorporateSingle)とEPS(EnronPersonalSingle)である．ECSは業務用メールのデータセットであり，EPSは私用メールのデータセットである．各メールの要約は2名のアノテーターによって，2つずつ作成されている．表\ref{tab:data}に，これらのデータセットの概要を示す．これらのデータセットは開発データセットを含まないため，ECSの開発データセットをEPS，EPSの開発データセットをECSとした．開発データセットは，評価に使うモデルの決定に使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[t]\input{09table01.tex}\caption{評価データセットの概要．}\label{tab:data}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{RedditTIFUデータセット}\label{sec:data_reddit}RedditTIFUデータセット\cite{kim-etal-2019-abstractive}は，tldrタグを要約タスクに応用したデータセットである．tldrは``toolongdidntread''の略である．RedditのTIFUと呼ばれるオンライン掲示板では，本文が長すぎる時に要約をtldrとして記す慣習がある．我々はメールデータセットと同様の前処理をTIFUデータセットに対しても行う．既存研究\cite{kim-etal-2019-abstractive}で公開されたTIFUデータセットには返信データが付いていないため，我々はpraw\footnote{\url{https://praw.readthedocs.io/}}を用いてこれを収集した．結果，183,500の投稿と返信の対を得た．ランダムサンプリングにより，負のラベルの付いた対を同数得て，学習データとして合計367,000対を得た．学習データに含まれていない投稿とtldrの対の内，tldrの単語長が20以上のものを2,500対得て，1,240を開発データセット，もう1,260を評価データセットとした．TIFUの評価データセットの概要をメールデータセットと同じく表\ref{tab:data}に記す．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{学習}\label{sec:training}単語埋め込み層とLSTMの隠れ層の次元はそれぞれ100とした．単語数は30,000とした．メールやソーシャルメディアの投稿と返信を文に分割した後に単語に分割した．分割にはnltkのtokenizer\footnote{\url{https://www.nltk.org}}を用いた．文数の上限を30文，各文の単語数の上限を200語とした．学習のepoch数を10とし，ミニバッチサイズは64，optimizerとしてAdam\cite{KingmaB14}を用いた．Adamのパラメータとして，$\alpha=0.001,\beta_1=0.9,\beta_2=0.999,eps=1e-8$を用いた．最初の数epochではExtractorを使用せずに，投稿の全ての文を返信候補の真偽判定に使用する．これはExtractorとPredictorをそれぞれ効率的に学習するためである．Extractorはどの文を抽出すべきかを学習するが，Predictorは投稿と返信候補の関係を学習する．そのため，2つの構成要素が別々のことを同時に学習しなければならない．一般に，複数の構成要素を持つモデルは，各構成要素を事前学習しておいた方が高性能になる\cite{hashimoto-etal-2017-joint}．そのため，最初の数epochではPredictorのみを学習し，Extractorを学習しない．この閾値は，全投稿文を返信候補の真偽判定に利用した時の分類精度(F1-score)が収束するepoch数から決定する．学習時には，Extractorが抽出する文数$L$を1から4にランダムに変化させた．投稿あるいは返信候補のテキスト中に出現する固有表現（人物，場所，組織）を，StanfordNamedEntityRecognizer(NER)\footnote{\url{https://nlp.stanford.edu/software/CRF-NER.shtml}}を用いてタグに置換した．これは，モデルがただ固有表現のみを抽出の判断材料に使うことを防ぐためである．単語埋め込み層のベクトルはSkipgramを用いて事前学習したものを初期値とした．その際，学習にはIQE自体の学習データと同じデータを使用した．我々は同じ実験を5回繰り返し，平均値を結果として計算する．これは，学習パラメータの初期値や最適化の際の乱数の影響を小さくするためである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{評価}\label{sec:test}評価時には，EncoderとExtractorのみを使用し，Predictorを使用しない．IQEとベースライン要約モデルは3文を要約として抽出する．先行研究に倣い，我々はROUGE-1，ROUGE-2，ROUGE-LのF1値のデータ毎の平均値を評価に使用する\cite{lin-2004-rouge}．各モデルは3文を抽出し，評価に使用する．ROUGEの計算にはROUGE2.0\cite{ganesan2015rouge}を使用する．この時，stemming，同義語処理，およびstopwordは使用していない．開発データの評価指標として，ROUGE-1のF1値を使用する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{ベースラインモデル}ベースラインモデルとして，TextRank\cite{mihalcea-tarau-2004-textrank}，LexRank\cite{Erkan:2004:LGL:1622487.1622501}，KL-Sum\cite{haghighi-vanderwende-2009-exploring}，PacSum(idf)，PacSum(BERT)\cite{zheng-lapata-2019-sentence}，Lead，そしてRandomを使用する．TextRank，およびLexRankはグラフCentralityベースの手法で，教師なし要約において長らく強力な手法として認められてきた．PacSumはTextRankを改良した手法である．これは，Centralityに加え，文の順番を特徴量として利用する．PacSumは文の類似度グラフ計算に，古典的な単語の共起度にidfを積算したものを用いることもできるが，BERT\cite{devlin-etal-2019-bert}などのニューラルネットワークの分散表現を利用しても有効性を発揮する．本実験では，前者のモデルPacSum(idf)と，後者のモデルPacSum(BERT)両方で実験を行う．KL-Sumは抽出された文と本文が同じ単語分布を持つようにKLDivergenceを用いて制約をかける手法である．Leadは最初の数文を抽出する手法であるが，ニュース記事要約において強力な手法とされてきた．加えて，ベースラインとしてIQETextRankを使用する．これは文同士の類似度として，IQEのEncoderの文ベクトルのCosine類似度を使用したTextRankのモデルである．このモデルで実験を行う理由は，我々の提案手法の性能が単にニューラルネットワーク由来でないことを示すためである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{09table02.tex}\hangcaption{ECSデータセットにおける結果．太字は最も良い結果を，下線は2番目に良い結果を示している．提案手法の$\pm{}$は，5回実験した際の標準偏差を示す．$\dagger$は提案手法IQEが有意に勝っている箇所，$\natural$は提案手法IQEが優位に劣っている箇所を示す(p$<$0.05;PairedBootstrapResampling)．}\label{tab:ecs}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{09table03.tex}\hangcaption{EPSデータセットにおける結果．太字は最も良い結果を，下線は2番目に良い結果を示している．提案手法の$\pm{}$は，5回実験した際の標準偏差を示す．$\dagger$は提案手法IQEが有意に勝っている箇所，$\natural$は提案手法IQEが優位に劣っている箇所を示す(p$<$0.05;PairedBootstrapResampling)．}\label{tab:eps}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結果と考察}
表\ref{tab:ecs}，\ref{tab:eps}，\ref{tab:tldr}にそれぞれの評価データセットに対する結果を示す．表中の$\dagger$は，提案手法IQE（固有表現置換有り）が有意に勝っている箇所，$\natural$は，IQEが優位に劣っている箇所を示している．有意差検定にはPairedBootstrapResampling\cite{koehn-2004-statistical}を使用した．各モデルの出力の評価値を評価データの総数の半分に当たる回数分，重複有りでランダムサンプリングし，提案手法の性能が上回る確率を1,000試行行うことで計算する．我々の提案手法IQEはメールデータセット(ECS，EPS)において，ROUGE-2-Fの評価値がPacSum(BERT)に及ばなかったものの，他の多くのベースラインモデルの性能を評価指標において上回った．RedditTIFUデータセットにおいては，IQEはTextRank以外のベースラインモデルの性能を上回った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{09table04.tex}\hangcaption{TIFUtldrデータセットにおける結果．太字は最も良い結果を，下線は2番目に良い結果を示している．提案手法の$\pm{}$は，5回実験した際の標準偏差を示す．$\dagger$は提案手法IQEが有意に勝っている箇所，$\natural$は提案手法IQEが優位に劣っている箇所を示す(p$<$0.05;PairedBootstrapResampling)．}\label{tab:tldr}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ECS，およびEPSデータセットにおいて，IQETextRankは性能面において，IQEを大きく下回った．これは，提案手法の有効性が単にニューラルネットワーク由来のものでは無いことを支持する．過去の研究\cite{zheng-lapata-2019-sentence}においても，TextRankのグラフの類似度計算にニューラルネットワークの特徴量を利用したモデルは性能が低下することが報告されている．提案手法はECSデータセットよりもEPSデータセットにおいて，より大きくLexRankやTextRankを上回った．この理由は表\ref{tab:data}に記されたデータセットの概要から説明できる．各文中の平均単語数はEPSの方が少ない．LexRankやTextRankのようなベースラインモデルは単語の共起情報を利用した文類似度を文抽出に利用する．そのため，文長が短ければ共起ネットワークは疎になり，文間の関係性をうまく捉えられなくなり，性能が低下する．RedditTIFUデータセットにおいて，LexRankやPacSumのROUGE値は低い結果となった．これは，idfや順序情報がRedditTIFUデータにおいて有効でないことを示唆している．また，提案手法はRedditTIFUデータセットにおいて，TextRankより低性能となった．考えられる理由として，IQEの学習がRedditデータにおいて，メールデータより難しいということが挙げられる．IQEの返信候補の真偽判定の精度(F1-score)は，5回平均で，メールデータでは0.803であったが，Redditデータでは0.741であった．この理由には，それぞれのデータの投稿数の長さと，返信の長さが関連している．IQEは，投稿から一部の文のみを，返信候補の真偽判定に使用する．そのため，投稿が長ければ長いほど，返信が言及しやすい文を抽出する難易度が増加する．反対に，返信は長ければ長いほど判断材料が増えるため，抽出した文が返信と関係しているかの判断が容易になる．学習データにおけるメールデータの投稿の平均文数，返信の平均単語長はそれぞれ7.7，150.0であるが，Redditデータの投稿の文数，返信の平均単語長はそれぞれ，16.9，101.5であった．このことがRedditデータにおける学習の難しさを示している．返信の長さに差が生じている理由は，Redditは誰でも返信ができるという特性があり，それにより，メールと比べてユーザーが重要箇所に返信しなければならないという義務感を持ちにくいという点が考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{引用抽出性能と要約性能との関係}\label{discuss_quote}提案モデルはメールデータセットにおいて高い性能を発揮したが，2つの疑問が残る．1つは，提案モデルは引用を直接教師データとはしておらず，そのため提案モデルが実際に引用箇所を抽出しやすいのか不明確であるという点である．もう1つの疑問は，引用と要約性能の関係についてである．我々はCareniniらの先行研究\cite{Carenini:2007:SEC:1242572.1242586,oya-carenini-2014-extractive}に従い，引用が要約に有用だと仮定した．しかし，この先行研究では引用を補助的な特徴量として使用しているので，引用自体が要約に有用なのか明らかでない．これら2つの疑問を明らかにするために，2つの実験を行った．\ref{sec:data_enron}章で使用したEnronデータセット\cite{loza-etal-2014-building}には引用を含む返信がほとんど存在しない．そのため，実験において我々はRedditTIFUデータセットとprawを通じて得た返信を利用する．このデータセットは\ref{sec:data_reddit}章で説明したものであり，ここから引用を含む返信を抽出する．ここで，``$>$''という記号から始まり，かつ返信先の投稿に含まれている文を引用と定義する．合計して，1,969の投稿と引用を含む返信の対を得た．返信で引用される文を，要約モデルがどの程度正確に投稿から抽出できるか，また，引用が要約として有用でありうるかを，これらのデータを用いて評価する．比較には，表\ref{tab:tldr}において，最も良い結果を出したTextRankを用いる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{提案モデルの引用抽出性能}要約モデルの引用抽出能力を評価するため，引用抽出を情報抽出タスクとみなし，Precision@3(prec@3)で評価した．これは，各要約モデルが抽出した3つの文の中にどの程度引用文が含まれているかを示す．表\ref{tab:implicit_mrr}に結果を示す．IQEはTextRank，そしてRandomより引用を抽出する性能が高いことを示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{被引用箇所は要約になりうるか？}引用が要約として有用であるかを検証するため，我々は引用自体を要約とみなし，そのROUGE値を計算した．我々は前項で説明したRedditから得た引用データ1,969を引用の文数に応じて分類し，それぞれROUGE値を計算した．また比較のため，TextRankやランダムに同数の文を取得した場合(Random)のROUGE値も計算した．表\ref{tab:quote_rouge}に結果を示す．引用文の文数が1文あるいは2文の時，引用(Quote)は，TextRankの性能をROUGE-2-F，ROUGE-L-Fにおいて上回った．この結果は，引用が要約として有効であるという仮説を支持する．引用が3文である時，性能は著しく減少した．これは引用が基本的に連続した文であるという制約があるのに対し，TextRankは文の順序を問わず，最適な文を自由に抽出できるからと考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{09table05.tex}\caption{各モデルの引用抽出性能．}\label{tab:implicit_mrr}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{09table06.tex}\caption{引用を抽出要約とみなした時のROUGE.太字は最も良い結果を示している．}\label{tab:quote_rouge}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[b]\input{09table07.tex}\hangcaption{Ablationtestの結果．固有表現置換や事前学習を行わない場合の結果を示す．$\dagger$はIQEが有意に勝っている箇所を示す(p$<$0.05;PairedBootstrapResampling)．}\label{tab:ner}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{AblationTests}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{固有表現置換の影響}固有表現の影響を調べるため，固有表現置換を行わない場合の結果を議論する．表\ref{tab:ner}のメールデータにおける結果は，固有表現置換は性能向上に寄与することを示している．これは，人名，地名，組織名は正しい返信を判定する際の大きなヒントになり得るからと考えられる．例えば，投稿と返信が同じ人物の名前に言及していると，モデルは人物名を含む文を単純に抽出するようになる．固有表現の置換は，固有表現ではなく意味的に返信に関連する文をモデルに抽出させることを促す．しかしながら，表\ref{tab:ner}が示すように，RedditTIFUデータセットでは固有表現置換はあまり性能に影響を与えなかった．Redditは匿名掲示板であるため，投稿は特定の人物名に言及しにくいと考えられる．そのため，固有表現が投稿と返信候補の真偽判定の手がかりにはなりにくい．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{事前学習の影響}\ref{sec:training}章で説明したように，我々はPredictorを最初の数epochで事前学習した．これはExtractorとPredictorを別々に学習するためである．表\ref{tab:ner}にPredictorの事前学習の影響の結果を示す．事前学習なしでは，性能は低下した．これは各構成要素を別々に学習させることの重要性を示している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{既存手法との相違点}\ref{sec:intro}章で述べたように，ほとんどの既存の教師なし要約手法は重要なトピックが高頻度に言及されるという仮定に基づいている．TextRankはその好例である．TextRankは文の類似度グラフのCentralityを重要文抽出に使用する．多くの場合Centralityの指標としてPageRankが使われる．すなわち，TextRankはPageRankの高い文を要約として抽出する．ある文のPageRankが高いということは，その文が他の多くの文と類似度が高いことを意味している．これはその文が言及する話題に他の文も言及していることを示す．我々は，重要なトピックは必ずしも頻繁に言及されるわけではないと考え，言及頻度とは異なる性質に着目した．それは返信による引用のされやすさ，である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[b]\vspace{-0.5\Cvs}\begin{center}\includegraphics{28-2ia9f3.pdf}\end{center}\hangcaption{ECSおよびEPSデータセットの各メールにおいて，最大のPageRankとROUGE-1-Fの相関を示した図．X軸は，四捨五入された最大PageRankを，Y軸はROUGE-1-Fを，エラーバーは標準誤差を示している．}\label{fig:correlation}\vspace{-0.5\Cvs}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%TextRankと比較し，我々の提案手法がCentralityベースの手法では捉えきれない重要文を抽出できることを示す．図\ref{fig:correlation}に最大PageRankと各モデルが抽出する文のROUGE-1-Fの関係性を示す．各テキストを文に分割し，文毎にPageRankを計算する．その内，最大のPageRankを小数点第一位で四捨五入し，同一の最大PageRank値を持つデータ間のROUGE-1-Fの標準誤差をエラーバーとして示す．使用したデータはECSとEPSであり，ROUGE値は各モデルが1文要約として抽出した時の値を示している．図より，TextRankが抽出する文のROUGE-1-Fは，最大PageRankと比例して増加する．最大PageRankが低い時，IQEが抽出した文のROUGE-1-F値は，TextRankを上回る．これは，提案手法が言及回数の少ない場合にも，重要文を捉えられるという仮説を支持している．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[b]\input{09table08.tex}\hangcaption{\textbf{ImplicitQuoteExtractor(IQE)(bold)}と\textit{TextRank(italic)}によって抽出されたEPSデータセットの文の具体例．}\label{tab:example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:example}にIQEとTextRankがそれぞれ抽出した要約の具体例（EPSデータセット）を示す．参照要約は，メールの受信者の昇進や発信者の出産に言及している．これらは本文で一度しか言及されていないため，TextRankはそれらの文の抽出に失敗しているが，我々の提案モデルは正しくそれらの文を抽出できている．それは，こうしたトピックが返信によって言及されやすいからである．実際，学習に使用したAvocadoMailCollectionデータの返信で，baby，promoted，promotionはそれぞれ566回，58回，456回言及されている．表\ref{tab:example_tldr}に載せたRedditTIFUデータセットの具体例にも同様の傾向が見られる．すなわち，kittenやsquirrelは一度しか言及されていないため，TextRankはそれらの文の抽出に失敗しているが，提案モデルIQEはそれらの文を抽出できている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[t]\input{09table09.tex}\hangcaption{\textbf{ImplicitQuoteExtractor(IQE)(bold)}と\textit{TextRank(italic)}によって抽出されたRedditTIFUデータセットの文の具体例．}\label{tab:example_tldr}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{結論}
本稿では，従来手法とは異なる文の重要度の指標である“引用のされやすさ”に着目した教師なし抽出型要約モデルImplicitQuoteExtractorを提案し，その有効性を2つのメールデータセット（ECSとEPS）と1つのソーシャルメディアデータセット(RedditTIFU)を対象にした評価実験で示した．我々は，従来手法とは異なる指標に着目したが，従来手法で用いられた“言及頻度”も依然として重要であるため，これら両方の側面を考慮するモデルの考案が今後の課題となる．また，提案モデルがより引用を抽出しやすく，かつ引用が要約に有用であるとする仮説を，RedditTIFUデータセットを用いて検証し，仮説を支持する結果を得たが，メールデータセットでは検証できなかった．メールデータセットは引用を含む返信と参照要約を同時に持つデータを含んでいなかったからである．我々の仮説がメールやその他のデータセットでも有効であるかを検証することが今後の課題である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment東京工業大学奥村・高村・船越研の皆様には研究の方針に関して様々なアドバイスを頂きました．ここに感謝の意を表します．本研究は，The1stConferenceoftheAsia-PacificChapteroftheAssociationforComputationalLinguisticsandthe10thInternationalJointConferenceonNaturalLanguageProcessing(AACL-ICJNLP2020)の発表``IdentifyingImplicitQuotesforUnsupervisedExtractiveSummarizationofConversations''で報告した研究に，追加実験を加え，加筆修正したものです．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.6}\bibliography{09refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{狩野竜示}{%2011年東京大学理学部生物学科卒業．2013年同大学院情報理工学系研究科知能機械情報学専攻修了．2013年から2020年まで富士ゼロックス株式会社に勤務．2019年より東京工業大学工学院情報通信コース博士課程に在籍．2020年より富士フイルム株式会社画像技術センターにおいて，医療言語処理，要約関連の研究に従事．}\bioauthor{谷口友紀}{%2004年神戸大学大学院自然科学研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，富士フイルム株式会社画像技術センターにおいて，医療言語処理，情報抽出の研究に従事．言語処理学会会員．}\bioauthor{大熊智子}{%1996年慶應義塾大学政策・メディア研究科修士課程修了．同年，富士ゼロックス株式会社入社．現在，富士フイルム株式会社画像技術センターにおいて，医療言語処理，情報抽出の研究に従事．言語処理学会理事．博士（学術）．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}