# Longformer によるマルチホップ質問応答手法の比較

岡田直樹 松崎拓也
東京理科大学 理学部第一部 応用数学科
1417023@ed.tus.ac.jp, matuzaki@rs.tus.ac.jp

## 1 はじめに

与えられた文書をもとに質問に答えるタスクである機械読解は、BERT [1] をはじめとする transformer ベースの事前学習モデルの登場以降、研究が活発になり、大きな進歩を遂げてきた。機械読解は単一文書からの抽出を行うタイプとマルチホップ型に大きく分けられる。SQuAD [2] に代表される前者のタスクは、単一の文書を参照して質問に答えることに焦点を当てた抽出型タスクであり、すでに人間のスコアを超えるモデルが提案されている。しかし、このようなタスクでは単一の文書しか参照する必要がないため、比較的容易なタスクとなっており、応用範囲は限定的である。一方、後者のマルチホップ型タスクは、単一もしくは複数の文書中から、複数箇所にある根拠を見つけなければ答えを導き出せないため、難易度が高く、より応用範囲が広いタスクであり、HotpotQA [3] や WikiHop [4] といったデータセットが開発されている。

本研究で扱う HotpotQA では、複数の文書が与えられ、その中から回答に必要な文書を見つけ出し、回答とその根拠となる文を見つけ出す必要がある。 これまで提案されている手法は、グラフ構造を用いた手法 $[5,6,7]$ とグラフ構造を用いずに BERT 等の事前学習モデルを利用した手法 $[8,9]$ に分けられる。 その中で、Beltagy らが提案した手法 [10] は、従来の transformer モデルよりも長い文書を扱える Longformer を利用して、複数の文書を同時に入力し、回答と根拠文選択を単一のモデルで行う。この手法は、根拠文選択と回答抽出を独立に行うことができる。ただし独立に行った場合には、不要な文書中の文やトークンも候補に含めて根拠文選択と回答抽出を行うことになる。実際に人が推論を行う際には、答えに関係する文書を見つけ出し、その文書にのみ注目して答えを見つけ出すだろう。この様子を
Question: Where is the company that Sachin Warrier worked for as a software engineer headquartered?

Document 1: [1]Sachin Warrier is a playback singer and composer in the Malayalam cinema industry from Kerala [2]He became notable with the song "Muthuchippi Poloru" from the film Thattathin Marayathu. [3]He made his debut with the movie Malarvaadi Arts Club. [4]He was working as a software engineer in Tata Consultancy Services in Kochi. [5]Later he resigned from the job to concentrate more on music. [6]His latest work is as a composer for the movie Aanandam.

Document 2: [7]Tata Consultancy Services Limited (TCS) is an Indian multinational information technology (IT) service, consulting and business solutions company Headquartered in Mumbai, Maharashtra. [8]It is a subsidiary of the Tata Group and operates in 46 countries.

## Answer:Mumbai

Supporting facts: [4],[7]

図 1 HotpotQA の問題例（gold 文書のみ）

再現し、不要な文を事前に取り除くことで、よりモデルの性能が上がる可能性がある。Beltagy ら [11] や Groeneveld ら [12] は、根拠文選択についてこれに似たアイデアを用いている。ただし、文書や文を誤って取り除いた場合には回答を導けないため、性能に悪影響を及ぼすことも考えられる。

そこで本研究では、HotpotQA に対して Longformer を利用する手法において、訓練時とテスト時に、いくつかの方法で根拠文と回答の抽出範囲を段階的に絞り込むことが、回答と根拠文を抜き出す精度にどのような効果を及ぼすかを検証した。その結果、段階的に絞り込みを行わないモデルよりも、回答と根拠文抽出の精度が向上することが確認できた。

## 2 背景

本項では、使用するデータセットの HotpotQA とベースとなる手法を説明する。

## 2.1 HotpotQA

本研究では、マルチホップ質問応答データセットである HotpotQA の Distractor setting で実験を行う。 Distractor setting は答えを導くのに不要な文書を含む 10 個の文書から必要な文書を見つけ出し、回答を行うタスクである。文書は Wikipedia の記事から収集されており、質問に対し回答に必要な 2 つの文書（gold 文書）と bigram tf-idf によって収集された回答に必要の無い 8 つの文書 (distractor 文書) が与えられ、その中から回答とその根拠となる文（根拠文）を抜き出すことが求められる。2つの gold 文書のそれぞれに一文以上の根拠文が存在し、回答の夕イプとしては yes/noタイプと文書から回答を抜き出すスパンタイプがある。また、必要な推論のタイプとしては bridge タイプと compare タイプがある。 bridge タイプは、質問に対して、文書 $1 \rightarrow$ 文書 2 のように文書をまたぐ推論を行なって根拠を見つけ回答する問題となっている。図 1 の例では、質問に直接関連する事柄として、文書 1 で「Sachin Warrier が Tata Consultancy Service で働いていた」ことが分かり、さらに文書 2 で「Tata Consultancy Service の本社が Mumbaiにある」ことが分かり、答えの「Mumbai」 を導ける。compare タイプは、二つのエンティティを比較して回答する問題となっている。

## 2.2 Longformer

従来の Transformer モデルでは、必要な記憶量と計算量が入力系列の長さの 2 乗のオーダーで増加するため、長い系列を扱うことができなかった。そのため、長い系列を扱う際には、文章の一部を切り捨てるか、文章をいくつかに分割する必要があり、文章全体の情報を失わないように複雑なモデルを構築する必要があった。

Longformer はこのような問題を解決するために以下の 3 つの attention パターンを導入している。 Sliding window attention は、各トークンを取り囲む一定サイズの window 中でのみ attentionをとる。 Dilated sliding window は、Window attention に固定のギャップを導入することで、計算量を増加させることなく、より広い情報を捉えるようにした attention
である。Global attention は、[CLS]トークンや質問文中のトークンなどの、特殊な役割をもつトークンに与え、タスク固有の表現を学習するために導入する attention である。

このうち、window attention 層と dilated window attention 層を積み重ねることで、より広い文脈を計算量を抑えながら捉えることのできるモデルとなっている。

## 2.3 Longformer による HotpotQA

本研究でベースとしている、Beltagy らが提案した HotpotQA に対する Longformerを利用した手法を説明する。HotpotQA のタスクは回答スパン抽出と根拠文予測の2つのタスクを含むが、Beltagy らの手法ではこれらを一つのモデルで行う。2つの gold 文書と 8 つの distractor 文書の計 10 個の文書を連結し、さらに質問と繋げて入力とする。入力のフォーマットとしては、"[CLS] [q] question [/q] [p] sent ${ }_{1,1}[s]$ sent $_{1,2}$ $[\mathrm{s}] \ldots[\mathrm{p}]$ sent $_{2,1}[\mathrm{~s}]$ sent $_{2,2}[\mathrm{~s}] \ldots "$ のようになっている。ここで $\operatorname{sent}_{\mathrm{i}, \mathrm{j}}$ は $\mathrm{i}$ 番目の文書の $\mathrm{j}$ 番目の文であり、 $[\mathrm{p}] \cdot[\mathrm{s}] \cdot[\mathrm{q}] \cdot[/ \mathrm{q}]$ はそれぞれ文書・文・質問の始まり・質問の終わりを表す特殊トークンである。 また、先頭の [CLS] トークンに対する出力ベクトルは、回答タイプ分類（yes/no or スパン）に用いる。 Longformer の global attention は、[CLS], [s], [p] の特殊トークンと [q] から [/q] の間の質問を表す部分のトークンに与えられる。

文書選択、根拠文選択、回答抽出の方法は以下の通り。10 文書それぞれが gold 文書か否かを判定する文書選択タスクは、文書の始まりを表す特殊トー クンに対する出力ベクトルに、根拠文選択のタスクは、文の始まりを表す特殊トークンに対する出力べクトルに 2 層のフィードフォワードネットワークを適用して得られるスコアにクロスエントロピー 損失を適用して訓練を行う。回答抽出タスクについては、Devlin ら [1] の SQuAD v1.1への BERT の適用手法に [CLS] トークンによって回答タイプを予測する機構を加えて行う。具体的には文書の各トークンの出力ベクトルに線形層を適用して、回答スパンの開始・終了位置となることに対するスコアとし、 [CLS] トークンの出力にはフィードフォワードネットワークを適用してクロスエントロピー損失をとる。モデル全体の訓練には、回答スパン・回答タイプ分類・文選択・文書選択のそれぞれの損失の線形和を全体の損失として、マルチタスク学習の形で
表 1 訓練手法における選択候補の絞り込み

train2 ありなし

train3 ありあり（文書）

train4 ありあり（根拠文）

train5 あり* あり（文書）*

train6 あり* あり（根拠文）*

*は候補とする部分のみを Longformerに入力

行う。

## 3 手法

本研究では、上記の Longformer モデルを使った手法をべースに異なる訓練・テスト方法を用いて、それらの差を調べた。Longformerへの入力において、文を表す特殊トークン [s] は各文の先頭に付加し、全体の損失は、2.3 項と同様に定義する。ただし、回答抽出の損失については、文書中に答えとなる単語が複数出現することがあるため、以下の関数を用いた [13]。

$
-\log \left(\frac{\sum_{k \in A} e^{s_{k}}}{\sum_{i=1}^{n} e^{s_{i}}}\right)
$

ここで、 $A$ は回答トークンの集合、 $n$ は全トークン数を、 $s_{i}$ は $\mathrm{i}$ 番目のトークンに対する線形層からの出力を表す。

## 3.1 訓練方法

訓練の方法として以下の train1-6の 6つの手法を比較した。いずれにおいても、目的関数は全ての夕スクの損失を足し合わせたものとする。また、事前訓練済みモデルとしては Longformer-base モデルを用いる。

train1 2.3 項で説明した手法で、それぞれのタスクで出力ベクトル全体を用いる。

train2 根拠文選択の訓練を行う際、文書選択で gold 文書であると判定された文書中の文のみを候補とする。回答抽出の範囲は train1 と同様。

train3 根拠文選択の訓練は train2 と同じ方法で行う。回答抽出の訓練を行う際、文書選択で gold 文書だと判定された文書のトークンのみを候補とする。

train4 根拠文選択の訓練は train2 と同じ方法で行う。回答抽出の訓練を行う際、文選択で根拠文であると判定された文のトークンのみを候補とする。

train5 根拠文選択・回答抽出の訓練の際、ともに文書選択で gold 文書と判定された文書と質問の
Question: Which current CBS NBA analyst played for the PORTLAND TRAILBLazers along with former UNLV teammate Stacey Augmon?

Document 1: [1]Gregory Carlton "Greg" Anthony (born November 15, 1967) is an American former National Basketball Association (NBA) player and is currently a television analyst for CBS Sports. [2] Anthony also contributes to Yahoo! Sports as a college basketball analyst and serves as a co-host/analyst on SiriusXM NBA Radio.

Document 2: [3]The 1998-99 NBA season was the 29th season for the Portland Trail Blazers in the National Basketball Association. [4] During the offseason, the Blazers signed free agents Jim Jackson and Greg Anthony, who would reunite with his former UNLV teammate Stacey Augmon. [5] Portland got off to a fast start winning 15 of their first 18 games, and went 35-15 in the lockout-shortened season, earning their fourth Pacific Division title and the first since 1991-92. [6] Their record qualified them for the \#2 seed in the Western Conference. [7] The team earned their 17th straight trip to the playoffs, and 22nd in 23 years. [8] Head coach Mike Dunleavy was named Coach of The Year.

Document 3: ... [9] The team also acquired Stacey Augmon and Grant Long from the Atlanta Hawks, but later on sent Augmon to the Portland Trail Blazers for Aaron McKie at midseason. . .

Answer:Aaron McKie(train1-test1), Greg Anthony(train4-test4)

Supporting facts: [1],[4],[7],[9](train1-test1), [1],[4],[7](train4-test4)

図 2 絞り込むことにより正答する例

トークンのみを連結したものを Longformer へ再度入力して、その出力ベクトルに対して根拠文選択と回答抽出の訓練を行う。

train6 根拠文選択の訓練は train5 と同じ方法で行う。回答抽出の訓練を行う際、文選択で根拠文であると判定された文と質問のトークンのみを連結したものを Longformerへ再度入力して、その出力べクトルに対して訓練を行う。

絞り込んだ文が回答を含まない場合には、回答抽出の損失は計算せずに他のタスクの損失のみを考えた。

## 3.2 テスト方法

train1-6と同じ絞り込みを行う方法をそれぞれ test1-6とする。文書選択についてはスコアの上位 2 文書のみを選択した。
表 2 テスト文書数：全文書

## 4 実験

実験は、3 節で述べた手法で全文書を使って訓練したモデルと、 5 文書に絞って訓練したモデルについて、全文書でテストした場合（表 2）と 5 文書でテストした場合（表 3）について調べた。 5 文書への絞り込みには、Beltagy ら [11] の two-stage モデルと同様に、段落選択のみで訓練したモデルを用いた。

データは、公開されている訓練セット (90,447 問) のうち 80,000 問を訓練データ、残りを開発データとし、開発セットをテストデータとした。表の Ans は回答、Sup は根拠文の F1 スコアである。

表 2 から、根拠文選択を行う際に、train2-4 のように文書選択により候補を絞り込み、テスト時にも同様にすることで、性能が向上することが確認できた。回答抽出については、train 3,4 のような候補の絞り込みでは性能の向上は見られなかった。一方 train5,6 のように、絞り込んだ文のみを入力すると、根拠文選択に関しては train2-4 と同等の効果しか得られなかったが、回答抽出はこの方法で行うことで最も良い結果が得られた。絞り込んだ文のみを入力
する方法は、テスト時にのみ適用した場合でも性能の向上が見られる。また 5 文書へ絞ると性能は向上するが、訓練に 5 文書しか使わなかった場合、テス卜に全文書を使うと、性能が下がる傾向が見られることから、テスト時よりも厳しい設定で訓練する方が頑健性が保たれると分かる。

図 2 に、train1-test1 で誤答し、train4-test4 では正答した例を示す。 train1-test1 は絞り込みを行わないために、文書 1,2 を gold 文書と判定したが、文書 3 から余分に根拠文を選択し、そこから誤った回答を抽出している。このような誤答は、数字や人名などが回答で、似た特性を持つ単語が文書中に複数存在する問題で見られた。このことからも、段階的な絞り込みの有効性が確認できる。

## 5 おわりに

本研究では、HotpotQA に対して Longformerを適用する際に、段階的な絞り込みを行うことによる効果を調べた。結果として不要な文を取り除いていくことで、一定の効果が得られることが確認できた。

## 参考文献

[1]Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), 2019.

[2]Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev, and Percy Liang. SQuAD: 100,000+ questions for machine comprehension of text. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, 2016.

[3]Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua Bengio, William Cohen, Ruslan Salakhutdinov, and Christopher D. Manning. HotpotQA: A dataset for diverse, explainable multi-hop question answering. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, 2018.

[4]Johannes Welbl, Pontus Stenetorp, and Sebastian Riedel. Constructing datasets for multi-hop reading comprehension across documents. Transactions of the Association for Computational Linguistics, Vol. 6, pp. 287-302, 2018.

[5]Yuwei Fang, Siqi Sun, Zhe Gan, Rohit Pillai, Shuohang Wang, and Jingjing Liu. Hierarchical graph network for multi-hop question answering. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020.

[6]Lin Qiu, Yunxuan Xiao, Yanru Qu, Hao Zhou, Lei Li, Weinan Zhang, and Yong Yu. Dynamically fused graph network for multi-hop reasoning. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[7]Ye Deming, Lin Yankai, Liu Zhenghao, Liu Zhiyuan, and Sun Maosong. Multi-paragraph reasoning with knowledgeenhanced graph neural network. arXiv:1911.02170, 2019.

[8]Michael Glass, Alfio Gliozzo, Rishav Chakravarti, Anthony Ferritto, Lin Pan, G P Shrivatsa Bhargav, Dinesh Garg, and Avi Sil. Span selection pre-training for question answering. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 2020.

[9]Sewon Min, Victor Zhong, Luke Zettlemoyer, and Hannaneh Hajishirzi. Multi-hop reading comprehension through question decomposition and rescoring. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019.

[10]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v1, 2020.

[11]Iz Beltagy, Matthew E. Peters, and Cohan Arman. Longformer: The long-document transformer. arXiv:2004.05150v2, 2020.

[12]Groeneveld Dirk, Khot Tushar, Mausam, and Sabharwal Ashish. A simple yet strong pipeline for hotpotqa. arXiv:2004.06753, 2020.

[13]Christopher Clark and Matt Gardner. Simple and effective multi-paragraph reading comprehension. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), 2018.