# Hie-BART: 階層型 BART による生成型要約

秋山 和輝 $\dagger \cdot$ 田村 晃裕 ${ }^{\dagger} \cdot$ 二宮 崇 $\dagger \cdot$ 梶原 智之 $\dagger$
}

本稿では, BART モデルに文書の階層構造 (文-単語構造) を取り込んだ階層型 BART (Hie-BART) を提案する。既存の BART モデルは, 生成型文書要約タスクにおいて 高い要約精度を達成しているが, 文レベルと単語レベルの情報の相互作用を考慮し ていない。一方，機械翻訳タスクでは，単語とフレーズ間の関係を把握する MultiGranularity Self-Attention (MG-SA) が提案されており，この技術によってニューラ ル機械翻訳モデルの性能が向上されている。提案手法である Hie-BART モデルでは, BART モデルのエンコーダに MG-SA を組み込むことで, 文と単語の階層構造を捉 える. 評価実験の結果, 提案手法は CNN/Daily Mail データセットを用いた評価で は ROUGE-L において 0.1 ポイントの改善が見られた.

キーワード : 生成型文書要約, BART, 階層構造
## Hie-BART: Abstractive Summarization by Hierarchical BART

Kazuki Akiyama $^{\dagger}$, Akiniro $^{\text {Tamura }}{ }^{\dagger \dagger}$, Takashi Ninomiya $^{\dagger}$ and Tomoyuki Kajiwara ${ }^{\dagger}$

This paper proposes a new abstractive summarization model for documents, hierarchical BART (Hie-BART), which captures the hierarchical structures of documents (i.e., their sentence-word structures) in the BART model. Although the existing BART model has achieved state-of-the-art performance on document summarization tasks, it does not account for interactions between sentence-level and word-level information. In machine translation tasks, the performance of neural machine translation models can be improved with the incorporation of multi-granularity self-attention (MG-SA), which captures relationships between words and phrases. Inspired by previous work, the proposed Hie-BART model incorporates MG-SA into the encoder of the BART model for capturing sentence-word structures. As for the improvement of summarization performance by the proposed method, the evaluation using the CNN/Daily Mail dataset shows an improvement of 0.1 points on ROUGE-L.

Key Words: Abstractive Document Summarization, BART, Hierarchical Structure


## 1 はじめに

自動要約技術は, 要約作成時のアプローチによって抽出型と生成型の 2 種類の手法に分けられる。抽出型自動要約は, 入力文書中の重要と思われる文を識別・抽出し, 抽出した文を結合させたものを要約とする方法である。一方, 生成型自動要約は, 入力文書を中間表現に変換し, その中間表現を基に要約の文章を一から生成する方法である。本研究では, 生成型の自動要約モデルの技術に着目する. 生成型自動要約モデルでは, 入力文書中にない単語も利用することができるため, 自然な要約を生成することができ, ニュース記事や論文などの自動要約に役立つ.

生成型自動要約や機械翻訳などの系列変換タスクでは，入力テキストから「文と単語」・「フレーズと単語」・「単語と文字」などの階層構造を捉えることで要約および翻訳精度の改善を実現している。機械翻訳において, Hao et al. (2019)は, Transformer (Vaswani et al. 2017)に基づくニューラル機械翻訳モデルにおいて，単語とフレーズの関係を考慮する Multi-Granularity Self-Attention (MG-SA) を提案している。MG-SA は, 入力テキストを複数の粒度（単語やフレーズ）に分解し，それぞれの粒度を Multi-head Self-Attention Networks (SANs)の各へッドに割り当てる。このMG-SAにより，単語間だけでなく単語とフレーズ間の相互作用をモデルに組み込むことが可能となる。また, 自動要約において, Hierarchical Neural Autoencoder (Li et al. 2015) や HIBERT (Zhang et al. 2019) では, エンコーダやデコーダを単語および文レべルに階層化することで，単語と文の階層構造を考慮している。これらのモデルでは，入力テキストに対し単語単位での処理に加え文単位でも処理することで，文と単語間の関係性を考慮している。

近年, 生成型自動要約は, ニューラルネットワークに基づくエンコーダ・デコーダモデルが出現したことで，要約の品質が大きく向上した (Rush et al. 2015). その中でも，高い精度を報告しているモデルの多くが事前学習 (Liu and Lapata 2019; Raffel et al. 2020; Lewis et al. 2020) を導入している。既存の事前学習モデルの中でも，BART モデル (Lewis et al. 2020) は高い精度での自動要約を可能にしている. BART モデルは Transformer モデル (Vaswani et al. 2017) をべースとした事前学習モデルで，5つの事前学習法による実験を行っている．BART モデルは高性能なモデルだが，要約生成時に文書の階層構造をとらえる構造にはなっておらず，文と単語間の関係性が組み込まれていない。よって，BART モデルにおいても文レべルの情報を捉えることで，さらなる精度向上が見込める。

そこで本研究では, MG-SAの概念を BART モデルに適用し，文と単語の階層的な関係を考慮した要約を可能とする手法として, Hierarchical-BART (Hie-BART) を提案する。具体的には,入力文書を単語レベルと文レベルの情報に分割し, BART におけるエンコーダのSANs 層では,単語レベルの関連を計算するだけではなく, 一部のヘッドにおいて文レべルの関連を計算する。 そして, 単語レベルと文レベルのマルチヘッドの出力を結合させることで, 単語レベルと文レベルの双方を考慮した要約生成を行う。ここで, MG-SA はフレーズ単位での処理を行うのに対

し, Hie-BART では文単位で処理を行う，本研究では，自動要約における単語と文の階層構造を利用した従来研究に基づいて応用するため，フレーズ単位ではなく文単位で処理を行う.

実験の結果，BART に比べ提案手法では，ROUGE-L (Lin 2004)の F 值が，CNN/DailyMail データセットでは 0.1 ポイント改善することを確認した。また，分析の結果，マルチヘッドにおいて，文レベルのへッドを多く含むよりも，単語レベルのへッドを多く含む方がより精度の高い要約を生成することが確認できた.

## 2 関連研究

## 2.1 従来のニューラルネットワークに基づく生成型自動要約モデル

ニューラルネットワークに基づく生成型自動要約モデルの基礎として，LSTMをべースとした Pointer Generator Networks (See et al. 2017) モデルがある. このモデルは, CopyNet モデル (Gu et al. 2016) および Forced-Attention Sentence Compression モデル (Miao and Blunsom 2016) の手法を応用し，単語の生成時に要約元文書からの単語のコピーを同時に行うことで，未知語への対処をしている。また，このモデルでは，入力文書中の内容が要約に含まれた度合いを示す coverage vector (Tu et al. 2016) を利用した Coverage Mechanism という機構が適用されている。この機構により, 生成した要約内で同じ内容が繰り返される問題を軽減している.

文レベル情報を利用した自動要約モデルとして，LSTMをべースとした Hierarchical Neural Autoencoder (Li et al. 2015) がある. このモデルでは，文章をエンコードおよびデコードする際, 単語単位での処理に加え文単位でも処理することで，文と単語間の関係性を考慮している。 これにより，単語と文の階層構造を考慮でき，要約性能を向上させている．また，このモデルを応用し，エンコーダ部分を階層化した Hierarchical networks (Nallapati et al. 2016) がある. Hierarchical Neural Autoencoder が文レベルでのアテンションのみを算出しているのに対し， Hierarchical networks では, 文レベルと単語レベルの両方のアテンションを算出している.

また，事前学習モデルである BERT (Devlin et al. 2019) をべースとした BERTSUM (Liu and Lapata 2019) や HIBERT (Zhang et al. 2019) がある. BERT モデルは, Transformer エンコー ダ (Vaswani et al. 2017) をベースとした，様々なタスクに適応可能な事前学習モデルである. 自動要約タスクでは, BERTSum (Liu and Lapata 2019) や, HIBERT (Zhang et al. 2019) において BERT が適用されている。 BERTSUM モデルは，BERT モデルを自動要約タスクに適応させたモデルで，抽出型および生成型要約モデルとして利用可能なモデルである． BERTSUM モデルでは, 各文の先頭に特殊トークン（[CLS]トークン）を付与し，単語間の情報に加え文間の情報を捉えるようにしている．HIBERT モデルは，BERT モデルをベースとした抽出型要約モデルである．HIBERT モデルでは，エンコーダ部分を文レベルおよび単語レベルに階層化し事前学習をすることで，単語と文の階層構造を考慮している。

## 2.2 BART

BART モデル (Lewis et al. 2020) は, Transformer モデル (Vaswani et al. 2017)の構造をベー スとした, 汎用的な事前学習モデルである。BART モデルの事前学習法を図 1 に示す. 事前学習の手法として, Token Masking, Sentence Permutation, Document Rotation, Token Deletion, Text Infilling の 5つの手法を提案している.この５つの手法のうち, Sentence Permutation と Text Infilling を組み合わせたものが最高精度となっており, 最終的な評価時に使用されている。

Token Masking は, BERT (Devlin et al. 2019) と同じ手法で，ランダムにトークンをマスクし,復元する事前学習法である. Sentence Permutation は，文書内の文の場所をランダムに交換した文書を元の文書に復元する事前学習法である. Document Rotation は，文書中からランダムにトークンを選び，そのトークンから始まるように文書内のトークンをローテーションさせた文書を, 元の文書に復元する事前学習法である. Token Deletion は, 元の文書からランダムにトー クンを削除した文書を, 元の文書に復元する事前学習法である. Text Infilling は, SpanBERT (Joshi et al. 2020) を基にした手法で, 複数の単語列を一つのマスクトークンに置き換えたり,文中にマスクトークンを挿入した文書を，元の文書に復元する事前学習法である.

BART モデルの概要図を図 2 に示す. BART モデルは入力系列 $\mathbf{x}=x_{0}, x_{1}, \cdots, x_{S}$ を出力系列 $\mathbf{y}=y_{0}, y_{1}, \cdots, y_{T}$ に以下の式のように変換する.

$
\begin{aligned}
& \mathbf{h}=\text { BartEncoder }(\mathbf{x}) \\
& \mathbf{y}=\text { BartDecoder }(\mathbf{h})
\end{aligned}
$

ここで, $\mathbf{h}$ は中間表現, BartEncoder は図 2 の左部分, BartDecoder は図 2 の右部分である.

BART のエンコーダとデコーダは, Embedding 層を持ち, それぞれ, 入力系列と出力系列内の各単語を $d$ 次元の Embedding ベクトルに変換する，BART エンコーダ，BART デコーダでは，それぞれ，レイヤを $\mathrm{N}$ 層積み重ねている。エンコーダの各レイヤは，下位から順に，SelfAttention 層, 単語位置毎の全結合層（FeedForward 層）の2つのサブレイヤで構成される.デコーダの各レイヤは, 下位から順に, Self-Attention 層, エンコーダとデコーダ間の Attention

図 1 BART モデルの事前学習法

図 2 BART モデルの概要図

層, FeedForward 層の3つのサブレイヤで構成される。また, 各サブレイヤ間では, 残差接続 (He et al. 2016) および Layer Normalization (Ba et al. 2016) が適用される. エンコーダとデコー ダ内の Self-Attention 層およびエンコーダとデコーダ間の Attention 層の計算は以下の式のようになる。

$
\operatorname{Attention}(Q, K, V)=\operatorname{softmax}\left(\frac{Q K^{T}}{\sqrt{d_{k}}}\right) V
$

ここで， $Q, K, V$ はエンコーダあるいはデコーダの隠れ状態, $d_{k}$ は $Q, K, V$ の次元数である. Self-Attention 層では， $Q, K, V$ は同一の入力源（エンコーダではエンコーダ内の隠れ状態，デコーダではデコーダ内の隠れ状態）を用い，同一文中の単語間の関連度を計算する。エンコー ダとデコーダ間の Attention層では， $Q$ にはデコーダの隠れ状態， $K, V$ はエンコーダからの最終出力を用い, 入力系列の各単語と出力系列の単語との関連度を計算する.

また, エンコーダとデコーダ間の Attention 層および Self-Attention 層は Multi-head SelfAttention Network (SANs)の手法を利用することで性能を向上させている． $h$ 個へッドの SANs は以下の式のように計算する.

$
\begin{aligned}
\operatorname{SANs}(Q, K, V) & =\text { Concat }\left(\text { head }_{1}, \ldots, \text { head }_{h}\right) W^{O} \\
\text { head }_{i} & =\operatorname{Attention}\left(Q W_{i}^{Q}, K W_{i}^{K}, V W_{i}^{V}\right)
\end{aligned}
$

ここで, $W_{i}^{Q}, W_{i}^{K}, W_{i}^{V}, W^{O}$ は学習可能なパラメータ, Concat は行列の結合である. SANs では, 式 (3)の $d_{k}$ は $d_{k}=d / h$ となる. 最終的に, BART デコーダは, 最終層の出力から全結合層 (Linear) と Softmax 層によって出力単語の確率分布を算出する.

ここで，エンコーダは双方向モデル，デコーダは自己回帰モデルとなっている．この事前学習済み BART モデルは，様々なタスクに合わせて fine-tuning される。自動要約タスクでは, 要約元文書がエンコーダに与えられ，デコーダで文書の要約を生成する。

## 2.3 階層構造を考慮したテキスト生成

機械翻訳において, 入力テキストにおける文章の階層構造を考慮するために Multi-Granularity Self-Attention (MG-SA) (Hao et al. 2019) がある。本節では， MG-SA について概説する。 MG$\mathrm{SA}$ は， 入力テキストを複数の異なる粒度の要素（単語とフレーズ）に分け，各粒度の要素を Multi-head Self-Attention Network (SANs)の各ヘッドに割り当てることで異なる粒度の情報を捉える方法である。この手法ではまず，次のように，SANsの入力 $H$ からフレーズレベルの情報を表す行列 $H_{g}$ を生成する。

$
H_{g}=F_{h}(H)
$

ここで， $F_{h}(\cdot)$ は $h$ 番目のヘッドに対するフレーズレベルの入力を生成する関数である．具体的には， $F_{h}(\cdot)$ は，単語レベルのベクトルに対して Max Poolingを適用することでフレーズレベルのベクトルを生成する。

この生成されたフレーズレベルの入力を用いて，SANs を次のように実行する．

$
\begin{aligned}
Q^{h}, K^{h}, V^{h} & =H W_{Q}^{h}, H_{g} W_{K}^{h}, H_{g} W_{V}^{h} \\
O^{h} & =\boldsymbol{A T T}\left(Q^{h}, K^{h}\right) V^{h}
\end{aligned}
$

ここで, $Q^{h} \in \mathbf{R}^{n \times d_{h}}, K^{h} \in \mathbf{R}^{p \times d_{h}}, V^{h} \in \mathbf{R}^{p \times d_{h}}, W_{Q}^{h}, W_{K}^{h}, W_{V}^{h} \in \mathbf{R}^{d \times d_{h}}$ であり，dは隠れ層の次元数, $d_{h}$ は各ヘッドの次元数, $n$ は単語レベルのベクトルの次元数, $p$ はフレーズレベルのベクトルの次元数である。また, $\mathbf{A T T}(\mathrm{X}, \mathrm{Y})$ は X と Y のアテンション重みを算出する関数である。この演算により，SANSにおける各へッドの出力 $O^{h}$ が生成される。 その後, 全てのへッドの出力を結合させたものが，入力 $H$ に対する MG-SAの出力となる.

$
\mathbf{M G - S A}(\mathbf{H})=\left[O^{1}, \ldots, O^{M}\right]
$

ここで， $M$ は Multi-head のヘッド総数を示す. 各ヘッドの出力 $O^{h}$ は，単語間の情報を含んでいるものや，単語とフレーズ間の情報を含んでいるものがある．したがって，MG-SAを使うことで，単語間の関連性に加えて，単語間とフレーズ間の関連性を捉えることができる。

## 3 提案手法

本研究では, 文と単語の階層的な関係を考慮するため, MG-SAの概念を BART モデルに適用した Hie-BART (Hierarchical-BART) を提案する．Hie-BART (Hierarchical-BART) モデルでは, エンコーダは, 通常の BART モデルが備えている単語同士の関連性を捉える単語レべルの Multi-head Self-Attention Networks (SANs) に加えて, 文と単語間の関連性を捉える文レベルの SANs を備えている。 Hie-BART の概要図を図 3 に示す.

エンコーダにおいて, 入力テキストを Embedding 層に通した後, 単語と文間の階層構造情報を捉えるため，単語レベル SANs と文レベル SANS の計算を行う。ここで，各文を区別するために，入力テキスト中の各文の先頭には $[B O S]$ トークンを付与している．文レベルの SANs では，文レベルの情報を得るために， Create Sentence Level Vector 層で単語レベルの入力から文レベルの入力を作成した後，アテンションの計算を行う．各へッドでアテンションの計算が終了したら, 単語レベル情報と文レベル情報を組み合わせるために, 単語および文レべルの出力を Concatenate 層で結合し，次層の Feed Forward 層への入力とする.

ここで，単語レベルおよび文レベルの SANs 計算から Concatenate 層で結合するまでの動作

図 3 Hie-BART のモデル図

をMG-SANs とすると，以下のような式で表される。

$
\mathbf{M G - S a n s}(\mathbf{W}, \mathbf{S})=\left[O^{1}, \ldots, O^{H}\right]
$

ここで， $\mathbf{W}, \mathbf{S}$ はそれぞれ単語レベルおよび文レベルの入力， $H$ は SANsのヘッド総数， $O^{i}$ は MG-SANS のヘッド $i$ の出力である.

## 3.1 Create Sentence Level Vector 層

Create Sentence Level Vector 層の動作例を図 4 に示す. $E_{w_{i j}}$ および $E_{[B O S]}$ は単語 $w_{i j}(i$ 番目の文中の $j$ 番目の単語) および $[B O S]$ トークンの埋め込みべクトルである。 $E_{s_{i}}$ は単語レベルの埋め达みべクトルから生成された文 $s_{i}$ ( $i$ 番目の文) の文レベルの埋め达みベクトルである.

文レベルの情報を得るために, Create Sentence Level Vector 層において, 単語レベルの埋め込みベクトルから Average Pooling により文レベルの埋め込みベクトルを生成する. 具体的には, 単語系列 $W=\left(w_{1}, \ldots, w_{N}\right)$ （各 $w_{i}$ は単語）が入力として与えられた場合，まず，単語系列 $W$ を文分割し，文系列 $S=\left(s_{1}, \ldots, s_{M}\right)$ （各 $s_{i}$ は文）を得る。ここで， $N$ は総単語数， $M$ は総文数を示す。そして，Sの各要素（各文）に対して，次のように Average Pooling を適用する.

$
g_{m}=\mathbf{A V G}\left(s_{m}\right)
$

ここで， $\operatorname{AVG}(・)$ は Average Pooling を実行する関数である。これにより，各文に対する埋め込みべクトル $G=\left(g_{1}, \ldots, g_{M}\right)$ を生成する。実際には， $W$ と $S$ の各要素は埋め込みべクトルとなる。例えば，図 4 において， $E_{s_{1}}$ を生成する場合は, $\left[E_{[B O S]}, E_{w_{11}}, E_{w_{12}}, E_{w_{13}}\right]$ に対して Average Pooling を適用する．以上のように生成された $G$ を文レベルの SANs の入力とする.

## 3.2 Concatenate 層

単語レベル情報と文レベル情報を組み合わせるために, Concatenate 層において, 単語レベル SANs と文レベル SANs の出力を結合させる。 Concatenate層では, 次のような単語レべル SANs

図 4 Create Sentence Level Vector 層の動作例

図 5 Concatenate 層の動作例（ヘッド数が 6 の場合）

と文レベル SANs 層の出力が入力となる.

$
\begin{aligned}
\operatorname{WordSans}(\mathbf{W}) & =\left[O_{w}^{1}, \ldots, O_{w}^{H}\right]=O_{w}^{A L L} \\
\operatorname{SentenceSans}(\mathbf{G}) & =\left[O_{s}^{1}, \ldots, O_{s}^{H}\right]=O_{s}^{A L L}
\end{aligned}
$

$O_{w}^{A L L}$ は単語レベルの SANs の出力であり, $O_{w}^{i}$ は単語レベルの SANs のヘッド $i$ の出力である.一方で, $O_{s}^{A L L}$ は文レベルの SANs の出力であり, $O_{s}^{i}$ は文レベルの SANs のヘッド $i$ の出力である。ここで，H H SANs のヘッド数を示す. Concatenate 層では，この単語および文レベルの SANs の出力結果を次のように結合させる.

$
\operatorname{CONCAT}\left(O_{w}^{A L L}, O_{s}^{A L L}, j\right)=\left[O_{w}^{1}, \ldots, O_{w}^{j}, O_{s}^{j+1}, \ldots, O_{s}^{H}\right]
$

ここで， $j$ は結合点である． $H$ 個の Multi-headの内，1 から $j$ までのへッドを単語レベルの出力とし,$j+1$ から $H$ までのへッドを文レベルの出力として結合する.

Hie-BART 内の Concatenate 層の動作例を図 5 に示す. 図 5 は, Multi-head のヘッド数が 6 で, 結合点 $j$ が 4 の場合の動作を示している。単語レベルの SANs の出力である $\left[O_{w}^{1}, \ldots, O_{w}^{6}\right]$ と,文レベルの SANs の出力である $\left[O_{s}^{1}, \ldots, O_{s}^{6}\right]$ が結合点 $j=4$ で結合された $\left[O_{w}^{1}, O_{w}^{2}, O_{w}^{3}, O_{w}^{4}, O_{s}^{5}, O_{s}^{6}\right]$ が Concatenate 層の出力となる．以上のように生成された Concatenate 層の出力を次層の Feed Forward 層への入力とする.

## 4 実験

## 4.1 データセット

データセットは，英文ニュース記事の要約コーパスである CNN/DailyMail データセット¹ (Hermann et al. 2015) および XSum データセット2 (Narayan et al. 2018)を使用した.
^{1}$ CNN/DailyMail データセットのダウンロードベージ: https://github.com/abisee/cnn-dailymail

2 XSum データセットのダウンロードページ: https://github.com/EdinburghNLP/XSum
}

CNN/DailyMail データセットは, 学習データが 287,226 対, 開発データが 13,368 対, テストデータが 11,490 対で構成されている，要約元文書は平均 781 トークン, 要約文は平均 56 トー クンである。また, XSum データセットは, 学習データが 204,045 対, 開発データが 11,332 対, テストデータが 11,334 対で構成されている。要約元文書は平均 431 トークン, 要約文は平均 23 トークンである。データの前処理について，トークン化は CNN/DailyMail ダウンロードペー ジ1およびXSum ダウンロードページ2の通りに行い, BPE (Sennrich et al. 2016)の使用などは fairseq (Ott et al. 2019)による前処理3に基づいて行った.

## 4.2 実験設定

Hie-BART モデルの実装は, fairseqによる BART モデルのコードを基に改良することで実装した。また，事前学習済みのモデルは fairseqのモデル「bart.large $\rfloor^{3}$ を使用した．BARTを fine-tuning する際, CNN/DM データセットでは, 勾配累積のハイパーパラメータ update-freqを 10, 最大エポック数 max-epoch を 6 , 総学習ステップ数を 20,000 とした. XSum では, update-freq を10, max-epoch を 10, 総学習ステップ数を 15,000 とした。また, 提案手法 Hie-BART のハイパーパラメータは, Multi-headのヘッド数を 16, 単語レベルと文レベルのSANs における出力の結合ヘッド数の割合を「単語:文 $=14: 2\rfloor$ とした．結合へッド数の割合のハイパーパラメー 夕は開発データで調整した。表 4 に示す通り, 開発データにおいて最も性能がよかった割合を採用している。このハイパーパラメータに関しては， 5 章にて考察する。その他のハイパーパラメータは fairseqによる設定 3 を用いた。

## 4.3 結果

実験結果を表 2 と表 3 に示す. 表 2 に CNN/DailyMail, 表 3 にXSum のテストデータによる結果を示している。評価指標として, ROUGE-1, ROUGE-2, ROUGE-LのF 値 (Lin 2004) を用いた，ROUGEスコアの算出には, files2rouge4を利用した. ROUGEのオプションとして, 95\%信頼区間を利用, ステミングは無し，ストップワード除去の有無は無しとした. ROUGEオ

表 1 データセット
^{4}$ files2rouge 利用法: https://github.com/pltrdy/files2rouge
}

表 2 各モデルの要約性能 (CNN/DM テストデータでの性能)

表 3 各モデルの要約性能（XSum テストデータでの性能）

プションの引数は，“-c 95 -r 1000 -n 2 -a”とした. 実験では，提案手法の Hie-BART モデルを,非階層の通常の BART モデルに加えて, LEAD-3 (Nallapati et al. 2017), PTGEN (See et al. 2017), PTGEN+COV (See et al. 2017), BertSumExtAbs (Liu and Lapata 2019), T5 (Raffel et al. 2020) と比較した. ベースラインの BART モデルとして, 我々の計算機環境で再現した BART モデルの結果 (BART (ours)) に加えて, Lewisら (Lewis et al. 2020) で報告されている結果も示している。なお, BART (ours) および Hie-BART (ours)の結果については, 3 回の試行結果の平均を掲載している.

表 2 より, CNN/DailyMail データセットでは提案手法 Hie-BART は ROUGE-L の F 値において, 我々が再現した BART からは， 0.1 ポイント改善していることが分かる。また，表 3 より, XSum データセットでは提案手法 Hie-BART は ROUGE-1/2/L の F 值において, 我々が再現したBART からほぼ同等の性能であることが分かる。これらの結果より, CNN/DailyMail データセットにおいて提案手法が有効であることを確認できた.

なお，XSumデータセットにおけるハイパーパラメータは fairseqのデフォルト值を用いた ${ }^{5}$. ただし, メモリの都合上, update-freqを 10 としている.

## 5 考察

## 5.1 ヘッド数の割合による性能比較

提案手法は, Concatenate 層で単語レベルと文レベルのヘッドの出力を特定の割合で結合する.この割合の変化で提案手法の性能がどう変わるかを考察する。表 4 に, 結合時の単語レべルと文レベルのヘッドの割合を変えた時の提案手法の開発データにおける性能を示す.へッド数の割合はハイパーパラメータとして手動で調節しており, 表 4 の最左列に示されている. 最左列が「単語:文 $=\mathrm{x}: \mathrm{y}\rfloor$ の場合，単語レベルのヘッド数が $\mathrm{x}$, 文レベルのヘッド数が $\mathrm{y}$ を表す.

表 4 より, CNN/DM およびXSum データセットの両方で, “単語:文 = 14:2” の場合がROUGE1/2/L スコアの平均が最大になっていることが確認できる。 また, 単語レベルに比べて文レべルのへッド数の割合が少ない方が, ROUGE スコアが高くなる傾向にあることが分かる. また,単語レベルのへッド数を 8 以下に減らしていく方向は，精度の改善が見られなかったので表 4 には掲載していない.

## 5.2 Create Sentence Level Vector 層における Pooling

3.1 節の Create Sentence Level Vector 層では, 単語レベルのベクトルから文レベルのベクト

表 4 単語レベルと文レベルのヘッド数の割合による性能比較 (CNN/DM およびXSum 開発データでの性能)
^{5} \mathrm{CNN} / \mathrm{DM}$ で使用したハイパーパラメータも試したが, 開発データにおいて fairseqのデフォルト値の方が良かった. ただし, Lewis ら (Lewis et al. 2020)の値には及ばなかった.
}

ルを作成する際に Average pooling を利用している。一方，従来手法である MG-SAでは，単語レベルのベクトルからフレーズレベルのベクトルを作成する際に Max pooling を利用している。そこで，文レベルベクトルの作成において， Max pooling と Average pooling を利用した場合の, それぞれの要約性能の比較を行う。表 5 に Pooling 毎の要約性能比較を示す. データとして, CNN/DailyMail データセットの開発データを利用している。なお，結果については， 3 回の試行結果の平均を掲載している.

表 5 より, Average pooling を利用したモデルの方が，Max pooling を利用したモデルに比べ， ROUGE スコアが全体的に向上していることが確認できる。この結果より, 本研究において,単語レベルのベクトルから文レベルのベクトルを作成する際は, Max pooling よりも Average pooling を利用することで精度の向上が確認できる。

## 5.3 要約例

表 6 にベースラインモデル (BART) と提案モデル (Hie-BART) による ROUGE スコアの高い要約例と, 正解要約の例を示す. 表 6 の提案モデルによる要約は, 正解要約の内容に近い流暢な要約であり, 提案モデルの要約が要約元文書の重要な部分を含んでいることを示している.

ROUGE スコアの低い要約例を表 7 に示す。この例では, ベースラインモデルの要約と提案モデルの要約はほぼ同じ内容を含んでおり, 正解要約の内容からは遠く, 長い文章となっている.

## 5.4 要約の文長比較および ROUGE スコアの詳細比較

従来手法の BART による要約, 提案手法の Hie-BARTによる要約, 正解要約のそれぞれの文長の比較を行う．表 8 に，テストデータにおける各モデルの出力要約の文長を示す. 表 8 より, CNN/DailyMail データセットおよびXSum データセットにおいて, 要約の平均的な文長は, 従来手法 BART に比べ提案手法 Hie-BART による要約の方が短くなっており, 正解要約の平均文長に近づいていることが分かる.

また，4.3節に示した従来手法 BART と提案手法 Hie-BART の ROUGE スコアの詳細として, Precision, Recall, F 値の結果を掲載し比較する。表 9 に CNN/DailyMail データセットでの結果, 表 10 にXSum データセットでの結果を示す. なお, 結果については, 3 回の試行結果の平

表 5 Pooling 毎の要約性能比較 (CNN/DM 開発データでの性能)

## [要約元文書]

(CNN)About a dozen Native American actors have walked off the set of an Adam Sandler movie comedy, saying the satirical Western's script is insulting to Native Americans and women, according to a report. ... According to ICTMN, a Native American adviser hired to help ensure the movie's cultural authenticity also walked off the set in protest. Hill, the Choctaw actor, seemed to hold out hope that differences between the producers and Native American cast members could be resolved . ... .

## [BART による要約]

The walkout occurred on the set of "The Ridiculous Six" near Las Vegas, New Mexico, according to a report . The script called for native women's names such as "Beaver's Breath" and "No Bra" and an actress portraying an Apache woman to squat and urinate while smoking a peace pipe, ICTMN reports .

## [Hie-BART による要約]

About a dozen Native American actors walked off the set of an Adam Sandler movie comedy, a report says . They say the script is insulting to Native Americans and women, according to the Indian Country Today Media Network . "The Ridiculous Six" also stars Will Forte, Taylor Lautner, Steve Buscemi and John Turturro .

[正解要約]

About a dozen Native American actors walk off set of Adam Sandler comedy, says report . Actors say satirical Western's script is insulting to Native Americans and women .

表 6 精度の高い要約例（要約元文書は一部省略している）

## [要約元文書]

(CNN)It's the kind of thing you see in movies, like Robert Redford's role in "All Is Lost" or Ang Lee's "Life of Pi." But, in real life, it's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it. Miracles do happen, though, and not just in Hollywood. ... After being spotted by crew aboard a Japanese Maritime Self-Defense Force destroyer and picked up in a smaller rescue boat, he took a drink offered to him and burst into tears, Kyodo reported. Shinkawa told his rescuers, "I thought today was the last day of my life."

## [BART による要約]

It's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it . Miracles do happen, though, and not just in Hollywood . Jose Salvador Alvarenga says his journey began in Paredon Viejo, a port on Mexico's Pacific coast in late 2012 .

## [Hie-BART による要約]

It's hard to swallow the idea of a single person being stranded at sea for days, weeks, if not months and somehow living to talk about it . Miracles do happen, though, and not just in Hollywood . Jose Salvador Alvarenga says his journey began in Paredon Viejo, a port on Mexico's Pacific coast, in late 2012 . Louis Jordan says he used laundry to trap and scoop up fish, rigged a makeshift mast and sail .

## [正解要約]

A South Carolina man says he spent 66 days alone at sea before being rescued . Other sole survivor stories include a Japanese man washed away by a tsunami . An El Salvador man says he drifted from Mexico to Marshall Islands over a year .

表 7 精度の低い要約例

表 8 テストデータにおける各モデルの平均要約文長（単語数）

表 9 各モデルの要約性能詳細 (CNN/DM テストデータでの性能)

表 10 各モデルの要約性能詳細（XSum テストデータでの性能）

均を掲載している。表 9,10 より，提案手法 Hie-BART は従来手法 BART に比べ，Recall のスコアが低下し，Precisionのスコアが上昇している。この結果より，提案手法 Hie-BARTでは従来手法よりも短い要約で，同等かそれ以上の精度の要約を生成していることが確認できる.

## 6 おわりに

本研究では，BART におけるエンコーダの Self-Attention 層を単語レベルと文レベルに分割し計算することで，単語と文間の関係性を考慮する Hie-BART を提案した．BARTを階層化することにより, CNN/DailyMail データセットにおいて, ROUGE-Lの F 值が 0.1 ポイント改善することを確認した。

今後は, 単語間や単語と文間の情報に加え，文同士の関係を取り入れる手法に拡張する予定である。また，本研究では ROUGE スコアに基づく評価を行ったが，原文書への忠実性に基づく評価を行うことを検討している。

## 謝 辞

本研究は JSPS 科研費 JP21K12031 の助成を受けたものです.

## 参考文献

Akiyama, K., Tamura, A., and Ninomiya, T. (2021). "Hie-BART: Document Summarization with Hierarchical BART." In Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics: Student Research Workshop, pp. 159-165.

秋山和輝, 田村晃裕, 二宮崇 (2021). Hie-BART: 階層型 BART による文書要約. 言語処理学会第 27 回年次大会発表論文集, pp. 1242-1246. [K. Akiyama et al. (2021). Hie-BART: Kaisougata BART niyoru Bunsho Yoyaku. Proceedings of the 27th Annual Meeting for the Association for Natural Language Processing, pp. 1242-1246.].

Ba, J. L., Kiros, J. R., and Hinton, G. E. (2016). "Layer Normalization." arXiv:1607.06450.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Gu, J., Lu, Z., Li, H., and Li, V. O. (2016). "Incorporating Copying Mechanism in Sequenceto-Sequence Learning." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1631-1640.

Hao, J., Wang, X., Shi, S., Zhang, J., and Tu, Z. (2019). "Multi-Granularity Self-Attention for Neural Machine Translation." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 887-897.

He, K., Zhang, X., Ren, S., and Sun, J. (2016). "Deep Residual Learning for Image Recognition." In 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. $770-778$.

Hermann, K. M., Kocisky, T., Grefenstette, E., Espeholt, L., Kay, W., Suleyman, M., and Blunsom, P. (2015). "Teaching Machines to Read and Comprehend." In Advances in Neural Information Processing Systems, pp. 1693-1701.

Joshi, M., Chen, D., Liu, Y., Weld, D. S., Zettlemoyer, L., and Levy, O. (2020). "SpanBERT: Improving Pre-training by Representing and Predicting Spans." Transactions of the Association for Computational Linguistics, 8, pp. 64-77.

Lewis, M., Liu, Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., and Zettlemoyer, L. (2020). "BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension." In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7871-7880.

Li, J., Luong, T., and Jurafsky, D. (2015). "A Hierarchical Neural Autoencoder for Paragraphs and Documents." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 1106-1115.

Lin, C.-Y. (2004). "ROUGE: A Package for Automatic Evaluation of Summaries." In Text Summarization Branches Out, pp. 74-81.

Liu, Y. and Lapata, M. (2019). "Text Summarization with Pretrained Encoders." In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing, pp. 3730-3740.

Miao, Y. and Blunsom, P. (2016). "Language as a Latent Variable: Discrete Generative Models for Sentence Compression." In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pp. 319-328.

Nallapati, R., Zhai, F., and Zhou, B. (2017). "SummaRuNNer: A Recurrent Neural Network Based Sequence Model for Extractive Summarization of Documents." In Proceedings of the 31st AAAI Conference on Artificial Intelligence, pp. 3075-3081.

Nallapati, R., Zhou, B., dos Santos, C., Gulçehre, Ç., and Xiang, B. (2016). "Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond." In Proceedings of The 20th SIGNLL Conference on Computational Natural Language Learning, pp. 280-290.

Narayan, S., Cohen, S. B., and Lapata, M. (2018). "Don't Give Me the Details, Just the Summary! Topic-Aware Convolutional Neural Networks for Extreme Summarization." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 1797-1807.

Ott, M., Edunov, S., Baevski, A., Fan, A., Gross, S., Ng, N., Grangier, D., and Auli, M. (2019). "fairseq: A Fast, Extensible Toolkit for Sequence Modeling." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics (Demonstrations), pp. 48-53.

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2020). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." Journal of Machine Learning Research, 21 (140), pp. 1-67.

Rush, A. M., Chopra, S., and Weston, J. (2015). "A Neural Attention Model for Abstractive Sentence Summarization." In Proceedings of the 2015 Conference on Empirical Methods in

Natural Language Processing, pp. 379-389.

See, A., Liu, P. J., and Manning, C. D. (2017). "Get To The Point: Summarization with PointerGenerator Networks." In Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, pp. 1073-1083.

Sennrich, R., Haddow, B., and Birch, A. (2016). "Neural Machine Translation of Rare Words with Subword Units." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715-1725.

Tu, Z., Lu, Z., Liu, Y., Liu, X., and Li, H. (2016). "Modeling Coverage for Neural Machine Translation." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 76-85.

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., and Polosukhin, I. (2017). "Attention is All you Need." In Advances in Neural Information Processing Systems, pp. 5998-6008.

Zhang, X., Wei, F., and Zhou, M. (2019). "HIBERT: Document Level Pre-training of Hierarchical Bidirectional Transformers for Document Summarization." In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 5059-5069.

## 略歴

秋山和輝：2020 年愛媛大学工学部情報工学科卒業. 2020 年より同大学院理工学研究科修士課程に在学.

田村晃裕：2005 年東京工業大学工学部情報工学科卒業. 2007 年同大学院総合理工学研究科修士課程修了. 2013 年同大学院総合理工学研究科博士課程修了. 日本電気株式会社, 国立研究開発法人情報通信研究機構にて研究員として務めた後, 2017 年より愛媛大学大学院理工学研究科助教. 2020 年より同志社大学理工学部准教授となり, 現在に至る. 博士 (工学). 情報処理学会, 言語処理学会, 人工知能学会, ACL 各会員.

二宮崇：1996 年東京大学理学部情報科学科卒業. 1998 年東京大学大学院理学系研究科情報科学専攻修士課程修了. 2001 年同大学院博士課程修了. 同年より科学技術振興事業団研究員. 2006 年より東京大学情報基盤センター講師. 2010 年より愛媛大学大学院理工学研究科准教授, 2017 年同教授. 博士 (理学). 言語処理学会, アジア太平洋機械翻訳協会, 情報処理学会, 人工知能学会, 電子情報通信学会, 日本データベース学会, ACL 各会員.

梶原智之：愛媛大学大学院理工学研究科助教. 2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015 年同大学大学院工学研究科修士課程修了.
博士 (工学). 大阪大学データビリティフロンティア機構の特任助教を経て, 2021 年より現職. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.

}} \\