# データ指向型アプローチによるクローズドブック質問応答

鈴木 正敏 ${ }^{\dagger, \dagger \dagger} \cdot$ 松田 耕史 ${ }^{\dagger, \dagger} \cdot$ ・大内 $\quad$ 啓樹 ${ }^{\dagger, \dagger} \cdot$ ・鈴木 潤 $\dagger,+\dagger \cdot$

乾 健太郎 ${ }^{\dagger, \dagger \dagger}$

近年の言語モデリング技術の進展に伴い，クローズドブック質問応答と呼ばれる，読解を伴わない質問応答タスクの研究が進められている. 既存研究では, モデルの訓練可能なパラメータ数を増大させることや, モデルの構造をより洗練されることに 重点が置かれてきた。本研究では，モデルに多様な事実知識を効率的に持たせるた めに，データ指向のアプローチを選択し，その有効性を検証する。具体的には，事実知識の知識源として Wikipediaを利用した拡張データセットを作成し，モデルの訓練に利用する，実験により，データ拡張を用いて訓練したモデルが，訓練データで は見られなかった質問に正しく答えることができ, モデルが拡張データから新しい 知識を学習していることを示唆する結果が得られた。正解率の評価では, Quizbowl の従来の最高性能を更新し, TriviaQA の強力な系列生成モデルに匹敵する性能をお よそ 20 分の 1 のパラメータ数で実現した*.

キーワード：質問応答，言語モデル，事実知識
## A Data-Oriented Approach for Closed-Book Question Answering

\author{
Masatoshi Suzuki $^{\dagger, \dagger \dagger}$, Koji Matsuda ${ }^{\dagger \dagger, \dagger}$, Hiroki Ouchi ${ }^{\dagger \dagger, \dagger}$, Jun Suzuki ${ }^{\dagger, \dagger \dagger}$ \\ and Kentaro InUi ${ }^{\dagger, \dagger \dagger}$
}

Recent progress in language modeling is promoting research on a question answering (QA) task without reading comprehension, which is called closed-book QA. While previous studies are focused on enlarging and sophisticating a model to address this task, we take a data-oriented approach to teach a model about diverse factual knowledge efficiently. We utilize Wikipedia as an additional source of knowledge to create an augmented dataset. We empirically show that our model trained with data augmentation correctly answers questions unseen in the training data, suggesting that the model learns new knowledge from the augmented data. Accordingly, our model outperforms the previously reported best performance on Quizbowl, and performs on par with a strong baseline on TriviaQA although our model has about 20 times fewer parameters.

Key Words: Question Answering, Language Modeling, Factual Knowledge


## 1 はじめに

質問応答は, 自然言語処理における重要な問題の一つであり, 古くから研究が続けられている.特に近年では, SQuAD (Rajpurkar et al. 2016, 2018), MS MARCO (Bajaj et al. 2016), RACE (Lai et al. 2017) といった読解型質問応答の大規模なデータセットが多数提案され, それと同時に，深層ニューラルネットワークを用いた質問応答の手法が数多く提案されている。また，これらのデータセットは，質問応答の研究だけではなく，近年盛んに研究がなされている BERT (Devlin et al. 2019) をはじめとする大規模言語モデルの言語理解能力を測るベンチマークとしても利用されている.

これらのデータセットが対象とする読解型質問応答のタスクでは，質問文と関連文書の両方が与えられ，システムは関連文書から正解の可能性が高い文字列を抜き出すことによって質問に解答する。すなわち，システムは解答時に知識源となる関連文書をその場で参照することが許されるので，質問に答えるためには文書の「読み方」を学習できれば良く，質問で問われる事実知識そのものをモデリングする必要はない。そのため, 読解型質問応答の問題設定は, 人間にとっての「持ち込み可能 (open-book) 試験」に喻えられる。一方, システムが文書を「どう読むか」を問う読解型質問応答とは対照的に，与えられる質問について「何を知っているか」を直接問う「クローズドブック質問応答 (closed-book QA)」と呼ばれるタスクが近年注目されている (Roberts et al. 2020)、クローズドブック質問応答では，現実の「持ち込み不可 (closed-book)試験」と同様，解答時に質問文以外の情報を参照することは認められない。したがって，システム（解答者）は事前に出題範囲を十分に学習し, 記憶しておくことが要求される. すなわち, クローズドブック質問応答は，あらかじめ重要な情報を知識として記憶し，与えられる質問に対して自らが保持する知識を用いて答えるという，人間の知識を用いた知的活動により近い問題設定となっている.

最近では，大規模な言語モデルが事実知識をどれだけ保持しているかをクローズドブック質問応答によって評価する研究がいくつか行われている。既存の研究では，モデルの訓練可能なパラメータの数を多くしたり (Raffel et al. 2019), モデルの構造や訓練の目的関数を工夫する (Ling et al. 2020; Févry et al. 2020) というモデル指向の方法によって, クローズドブック質問応答の性能が向上することが報告されている。特に最先端の研究では, 数十億〜数百億の訓練可能なパラメータを持つ超巨大なモデルによる性能が報告されている (Roberts et al. 2020).これらの研究は，言語モデルが持つことのできる表現力や汎化能力を追究するという面で意義深い反面，モデルの訓練には大規模な計算機資源と多大なエネルギーを必要とするため, 誰でも既存研究を再現でき改善を加えられるという状況からは逸脱しつつあることが懸念される (Strubell et al. 2019). 一方, モデル指向の方法とは対照的に, 訓練データを工夫してモデルが持つ知識のカバー率を上げることでクローズドブック質問応答を実現するというデータ指向のアプローチ

も考えられる。クローズドブック質問応答の実例としてクイズを考えてみると，例えば「ジョー ジ・ルーカス」が答えとなるクイズ問題は, 監督した作品, 本人の生い立ち, 家族についてなど，複数の異なる角度からの知識が問われることが予想される。しかし， モデルが予習に用いる訓練データには, 考えられる多様なクイズ問題の一部しか含まれていない。そのため, 訓練データに登場しない問題がテスト時に出題された際には, 訓練デー夕のみで訓練されたモデルにとっては多くの場合, 解答不可能であると考えられる。このことは, 正解が訓練データ中に 1 回もしくは数回しか出現しない, いわゆる few-shot の事例では特に問題となる。このような問題に対して，データ指向のアプローチは，より多様な事実知識をより効率的にモデルに教えるために役立てられると考えられる。さらに，モデルの大型化に頼らずにクローズドブック質問応答を実現できれば，関連文書の検索・走查を伴う読解型質問応答システムよりも高速に利用者の質問に解答できるシステムが低コストで実現できる可能性がある. しかしながら, 深層ニューラルネットワークを活用したクローズドブック質問応答の研究は歷史が浅く, データ指向のアプローチの有効性については十分に研究がされていない.

本稿では, クローズドブック質問応答におけるデータ指向アプローチの有効性を実験的に調査する，具体的には，Wikipediaを知識源とした拡張データを作成し，遠距離教師あり学習によって，元の訓練データには記述されていない事実知識をモデルに教えるために利用する．モデルには事前訓練済み言語モデルの BERT (Devlin et al. 2019)を用い，元の訓練データおよび拡張データに対してモデルをファインチューンさせる．実験では，クイズを題材にした質問応答のデータセットである Quizbowl (Rodriguez et al. 2019)と TriviaQA (Joshi et al. 2017)を用いて, モデルのクローズドブック質問応答の性能を調査した. モデルが出力した解答の分析から，拡張データを用いて訓練されたモデルが，元の訓練データには記述されていない事実知識を問う問題に対しても正しく解答できたことがわかり，モデルが拡張データから新たな知識を学習し解答に活用できていることを示唆する結果が得られた. テストデータを用いた評価実験では， Quizbowl では従来の最高性能を更新し, TriviaQA では既存の強力な系列生成モデル (Roberts et al. 2020) に匹敵する性能をおよそ 20 分の 1 のパラメータ数で実現した.

以下では，2節でクローズドブック質問応答の関連研究について概観し，3節でタスクの定義およびデータセットについて説明する， 4 節で本研究の提案手法について述べ， 5 節で実験設定および実験結果を示す. 6 節でまとめと今後の展望について述べる.

## 2 関連研究

質問応答システムの研究は, 古くはコンピュータの黎明期である 1960 年代に遡る. 初期の研究は主に自然言語理解を目的としたものであったが (Green et al. 1961; Winograd 1971), 1990 年代からは，情報アクセス技術としての質問応答の研究が行われるようになった．特に，分野が
限定されない文書集合に対する質問応答，いわゆるオープンドメイン質問応答の研究は, 1999 年に開かれた情報検索技術の評価型ワークショプ TREC-8 での QA トラックをきっかけに広く取り組まれるようになった (Voorhees 1999)，オープンドメイン質問応答は，質問文の解析，情報検索，解答候補の抽出，解答候補の統合という複数のモジュールによるパイプライン処理で行われることが一般的である。初期のシステムでは，各モジュールの処理に人手による規則や素性の設計を伴う手法が主流であった (Simmons 1965)，2011 年にアメリカのクイズ番組 Jeopardy! で人間のクイズ王と対戦し勝利を収めたIBM Watson (Ferrucci 2012)は，大量のコーパスと大規模な計算資源を活用したパイプライン処理に基づく質問応答システムであり，そのプロジェクトの成功は人工知能研究の進展を社会に大きく印象付けた。一方, 2010 年代から，与えられる文書を読解して質問に答える読解型質問応答の研究が，深層ニューラルネットワーク技術の進展およびSQuAD (Rajpurkar et al. 2016) に代表される数多くのデータセットの登場により後押しされ，多くの研究者に取り組まれるようになった。 それ以降，オープンドメイン質問応答の研究においても，解答候補の抽出・統合のモジュールを読解型質問応答のモデルに置き換えることでより高い解答性能の実現を目指す研究が進められている (Chen et al. 2017; Clark and Gardner 2018; Wang et al. 2018; Seo et al. 2019).

さらに近年, 深層ニューラルネットワークを用いた自然言語処理技術のさらなる発展に伴い,文書の検索や読解を必要とせずモデルに知識そのものを保持させることで質問応答を実現する， クローズドブック質問応答と呼ばれるタスクの研究がいくつか行われている。その一つに，大規模なコーパスで訓練された言語モデルがどれだけ事実知識を保持し想起できるかを評価する一連の研究がある. Radford et al. (2019) は，大量のウェブ文書を用いて訓練された GPT-2 と呼ばれる汎用言語モデルを提案し，言語モデルのテキスト生成による質問応答の能力を Natural Questions データセット (Kwiatkowski et al. 2019) の上で評価した. その結果，質問に対して

Raffel et al. (2019)は，GPT-2よりもさらに多くの訓練可能なパラメータを持つ汎用系列変換モデル T5 を提案し, Roberts et al. (2020) は T5の質問応答能力を，本来は読解型質問応答のデー タセットである TriviaQA (Joshi et al. 2017)の質問をテキスト生成により解かせることで評価した. その結果，数十億〜数百億個の訓練可能なパラメータを持つモデルが，複数の強力な読解型質問応答のモデルを上回る解答性能を示した. 別の系統の研究では, エンティティの分散表現の学習に焦点を当て, 学習された分散表現の評価にクローズドブック質問応答を利用している. Ling et al. (2020)と Févry et al. (2020)は, Wikipedia 記事のハイパーリンクを活用し, エンティティの分散表現を学習する方法をそれぞれ提案した．彼らの研究では，TriviaQAをエンティティをクラスとした分類問題として解くことにより，学習されたエンティティの分散表現の有用性を評価している．以上の既存研究に対して本研究は，モデルの構造の工夫や大型化に頼ることなく，訓練に用いるデータを工夫することよって， より効率的にクローズドブック
質問応答のモデルを訓練することを追究するものである.

言語モデルが保持する知識の評価を目的とした既存研究としては, 入力文のマスクされた部分を予測させることでモデルが持つ知識の評価を行う研究がある. Petroni et al. (2019) と Davison et al. (2019) による研究では, 知識ベースを利用して, 関係知識に対応する部分がマスクされた穴埋め問題の文を作成し，穴埋め言語モデルである BERT にマスク部分を予測させることによって，モデルが保持する知識を評価した。これに対して本研究では, 関係知識ではなく, 工ンティティについて任意のテキストで記述される知識を質問応答の形式で評価するという点で異なっている.

質問応答のタスクにデータ拡張を適用させた既存研究として, Rodriguez et al. (2019) は, Quizbowl (Boyd-Graber et al. 2012) というクローズドブック質問応答タスクにおいて, Wikipedia から作成した拡張データをモデルの訓練に利用することを提案した. 彼らは GRU (Cho et al. 2014）をモデルに用いた実験により，データ拡張がモデルの解答性能の向上に寄与することを示した。他方, Yang et al. (2019a) は，読解型質問応答におけるデータ拡張の有効性について調査している．BERT を読解モデルに利用した彼らの実験では，拡張データと元の訓練データを用いた段階的なモデルのファインチューニングが，モデルの読解性能の向上に有効であることを報告している. 本研究ではこれらの既存研究を踏まえ, (Rodriguez et al. 2019) と同様のクロー ズドブック質問応答における，訓練済み言語モデルおよびデータ拡張の有効性を調査し，データ拡張によってどのような問題を解答できるようになったかについて, より詳しい分析を与える.

## 3 クローズドブック質問応答

## 3.1 タスク定義

本研究では，データ指向のアプローチをとる既存研究 (Rodriguez et al. 2019) に倣い，クロー ズドブック質問応答をエンティティをクラスとした分類問題として解く。すなわち, システムは，与えられる質問文 $q$ に対して，予決定されたエンティティの集合 $V_{a}=\left.\{a_{1}, \cdots, a_{\left|V_{a}\right|}\right.\}$ の要素であるようなエンティティ $a$ を正解として予測する。したがって, 本解法はクラス数が $\left|V_{a}\right|$ のマルチクラス分類問題となる.

## 3.2 データセット

本研究では, ドメインを限定しない多様な事実知識についてモデルの解答性能を評価するために，クイズの問題を活用した質問応答のデータセットである Quizbowl と TriviaQAを実験に用いる．各データセットの統計量を表 1 に示す。それぞれのデータセットについて，訓練デー 夕に 1 回以上正解として出現するエンティティの集合を正解エンティティの集合 $V_{a}$ として定める. すなわち, Quizbowl では 25,969クラス, TriviaQA では 28,689 クラスの多クラス分類問題

となる¹. 以下の節では， 2 種類のデータセットの特徴について述べる.

## 3.2.1 Quizbowl

Quizbowl は，主に英語圏で実際に行われているクイズの大会であり，自然言語処理における質問応答のタスクとしても研究されている (Boyd-Graber et al. 2012; Iyyer et al. 2014; Rodriguez et al. 2019). 表 2 に, Quizbowl で出題されるクイズ問題の例を示す. Quizbowl で出題される問題は「早押しクイズ」であり，解答者は正解が分かった時点でブザーを押して解答する。そのため, 質問の文章は, 正解のエンティティについてより詳しく知っている解答者が有利となるよう，より難しい（知名度の低い，抽象的な）ヒントが先に，より易しい（よく知られてい

表 1 データセットの統計量

表 2 Quizbowl の問題例


る，具体的な）ヒントが後に現れるように，複数の文を配列させることで作られている．

本研究では, Rodriguez et al. (2019) によって提案された QANTA 2018 データセットを用いる². QANTA 2018 は，過去の Quizbowlの大会で使用されたおよそ 12 万問のクイズ問題からなるデータセットである。すべてのクイズ問題には, 正解のエンテイテイが Wikipedia の記事夕イトルとして付与されている。そのため, QANTA 2018 のクイズ問題は, Wikipediaの記事タイトルをクラスとした分類問題として解くことができるようになっている.

## 3.2.2 TriviaQA

TriviaQA (Joshi et al. 2017) は，ウェブ上のクイズ問題を収集して作られた質問応答のデータセットである．表 3 に，TriviaQA の質問と正解の例を示す．TriviaQA は元々読解タスク向けに作られたデータセットであり, データセットに含まれる各事例は, 質問文, 正解, そして読解対象の文書からなる。同様の読解タスクのデータセットとして SQuAD (Rajpurkar et al. 2016, 2018) があるが，SQuAD は Wikipediaの文章に対して質問を人手で作成・付与することで作られているため，例えば “What individual is the school named after?” のような，それ単独では意味が定まらないような質問が一部含まれている。これに対してTriviaQA は, 既存のクイズ問題に対してウェブ文書や Wikipedia 記事を付与するという方法で作られており，質問の内容が読解対象の文書の内容に依存してしない. したがって, TriviaQAは, 読解対象の文書を無視することでクローズドブック質問応答のデータセットとしても用いることができ，実際にクロー ズドブック質問応答の既存研究でもそのように用いられている (Roberts et al. 2020; Ling et al. 2020; Févry et al. 2020).

本研究では, TriviaQAの公式ウェブサイト3で公開されているデータのうち, unfiltered-train のデータをモデルの訓練に, wikipedia-dev と wikipedia-test のそれぞれをモデルの開発およびテスト用のデータとして用いる。 TriviaQAの訓練および開発データには, 質問文, 正解の文字列,読解文書の他に, Wikipedia の記事タイトルで表された正解エンティティの情報もメタデータ

質問 $q$

正解エンティティ $a$

Who composed the opera "The Marriage of Figaro"?

Who died in 1791 in Vienna, while working on a Requiem?

Which Austrian composer's works are given K numbers according to Wolfgang_Amadeus_Mozart the 19th century Kochel catalogue?

表 3 TriviaQA の問題例


(a) Quizbowl

(b) TriviaQA

図 1 訓練データにおけるエンティティの出現頻度

として付与されている. 本研究では，分類問題として解くクローズドブック質問応答の設定に適合させるため，訓練データのうち正解エンティティの情報が付与されている事例のみをモデルの訓練に用い，読解向けの正解の文字列ではなく正解エンティティの情報をモデルへの教師信号として用いる。

## 3.2.32つのデータセットに共通する特徴

Quizbowl と TriviaQA のデータセットに共通する特徴の一つに，訓練データの量に対して正解エンティティの異なり数 $\left|V_{a}\right|$ が大きく, その出現頻度の分布が大きく偏っていることが挙げられる。図 1 に，それぞれの訓練データセットにおける正解エンティティの出現頻度を示す. どちらのデータセットでも，一部の正解エンティティは訓練データに多く出現する一方で，ほとんどの正解エンティティは訓練データに 1 回もしくは数回しか出現しない, いわゆる few-shot の事例となっている。本研究では，このような few-shot の正解エンティティに対してもモデルが多様な知識を持てるように，デー夕拡張を行う（4.2節）。

## 4 提案手法

## 4.1 モデル

本研究では，クローズドブック質問応答のモデルとして，大規模コーパスで事前訓練された汎用言語モデルである BERT (Devlin et al. 2019) を多クラス分類問題向けに拡張したものを用いる ${ }^{4}$. 具体的には，質問文 $q$ の入力に対して BERT が出力する，文頭の特殊トークン [CLS] に対応するべクトル $\mathbf{q} \in \mathbb{R}^{d}$ を多クラス分類層に入力し $\operatorname{softmax}$ 関数を適用することで，エンティ
^{4}$ https://github.com/google-research/bert で配布されている BERT-base (cased) のモデルを用いた.
}

ティ $a \in V_{a}$ が質問 $q$ の正解である確率分布 $P(a \mid q)$ を計算する.

$
P(a \mid q)=\frac{\exp \left(\mathbf{q}^{\top} \mathbf{w}_{a}\right)}{\sum_{a^{\prime} \in V_{a}} \exp \left(\mathbf{q}^{\top} \mathbf{w}_{a^{\prime}}\right)}
$

ここで, $\mathbf{w}_{a} \in \mathbb{R}^{d}$ は, エンティティ $a \in V_{a}$ に関連付けられた, 訓練可能な重みべクトルである.

なお, 本研究では BERT の他にも, RoBERTa (Liu et al. 2019) と XLNet (Yang et al. 2019b) をモデルに用いた実験も行っている。これらの実験結果については付録 $\mathrm{A}$ に示す.

## 4.2 データ拡張

エンティティについてのより多様な事実知識をモデルに保持させるために, Wikipediaを知識源としたデー夕拡張を行う。本研究では, Rodriguez et al. (2019) が提案したデー夕拡張手法を基本に，拡張データを作成する。

Quizbowlと TriviaQAのそれぞれについて，拡張デー夕を以下の手順により作成した：

(1) 正解エンティティの集合 $V_{a}$ の要素である各エンティティ $a$ について， $a$ を記事名（主題）とする Wikipedia 記事 $D^{(a)}$ を取得する.

(2) 各エンティティの記事 $D^{(a)}$ について，記事本文全文を文分割して $\left.\{s_{i}^{(a)}\right.\}_{i=1}^{N_{a}}$ を得る.ここで， $N_{a}$ は記事 $D^{(a)}$ の本文の文数である.

(3) 各エンティティの記事 $D^{(a)}$ について得られた文-エンティティペア $\left.\{\left(s_{i}^{(a)}, a\right)\right.\}_{i=1}^{N_{a}}$ を拡張データの事例とする。

なお, Wikipedia 記事からの拡張デー夕作成にあたっては, (Rodriguez et al. 2019) では各記事の最初の段落だけから文を取り出していたのに対し, 本研究では記事全文から文を取り出している.これにより, 訓練したモデルの解答性能が向上することを事前実験により確認している.

拡張データの作成には，英語版 Wikipediaの 2018 年 4 月 18 日付けのダンプファイルを使用した．Wikipediaダンプファイルからの記事本文の抽出には WikiExtractor 6 を，本文の文分割には BlingFire Tokenizer ${ }^{7}$ を使用した，記事から得られた文のうち，文長が 20 文字よりも短い記事は, ノイズとなる可能性が高いため拡張データから除外した。また, 文中における正解エンティティの直接的な言及は, 解答のあからさまなヒントとなりうるため, マスクする処理を行った. 具体的には, 各文-エンティティペア $(s, a)$ について, 文 $s$ に含まれる, 正解エンティティ $a$ と単語単位で部分一致する全ての文字列を，その文字列をサブワード分割した際と同じ長さの [MASK] トークン列に置換した。ここで完全一致ではなく部分一致としたのは，文中の言及が正解エンティティの略称（人名であれば姓名のいずれかなど）であっても置換できるように

文 $s$

エンティティ $a$

(a) He composed more than 600 works, many acknowledged as pinnacles of symphonic, concertante, chamber, operatic, and choral music.

(b) Ludwig van Beethoven composed his own early works in the shadow Wolfgang_Amadeus_Mozart of Mozart, and Joseph Haydn wrote: "posterity will not see such a talent again in 100 years"

(c) The circumstances of his early death have been much mythologized.

表 4 Wikipedia から作成した拡張データの例

するためである8．なお，部分一致の検索は大文字と小文字を区別せずに行った.

作成した拡張デー夕の統計量を表 1 に，事例を表 4 にそれぞれ示す。一般に，Wikipediaの記事には, エンティティについての多様な側面からの情報が記述されているが, 表 4 の (c)の例のように，それ単独では主題のエンティティを特定することが難しい文も一定の割合で存在する. このような文は，1文だけからなる訓練事例としてはノイズになると考えられるため，フィルタリングにより取り除くことでデータセットの品質を向上させられる可能性がある ${ }^{9}$.あるいは,正解エンティティが同じである複数の文を組み合わせることで，より正解エンティティを特定しやすい訓練事例を作ることも考えられる。このように，本研究のデータセットの作成方法には, 品質向上のための改良の余地が残されているが, 本稿では今後の研究課題とする.

## 5 実験

クローズドブック質問応答におけるデータ拡張の有効性，ならびにデータ拡張によりモデルが未知の質問に答えられるかどうかを検証するために，実験を行った.

## 5.1 実験設定

Rodriguez et al. (2019) の研究では, Wikipedia から作成した拡張データを元の訓練データと混ぜ合わせることによって，データ拡張を行っていた。一方，BERT をはじめとする言語モデルの訓練には，タスク非依存のコーパスを用いた事前訓練とタスク固有の訓練データを用いたファインチューニングからなる 2 段階の訓練方法が広く用いられている. 本研究では, (Rodriguez

et al. 2019) と同様のデータ拡張方法に加えて, 拡張データと元の訓練データを用いた 2 段階のデータ拡張についても実験を行う。

3.2 節で述べた Quizbowl と TriviaQAのそれぞれのデータセットについて, 4.1 節で述べたモデルと 4.2 節で述べた手法で作成した拡張デー夕を用い，以下の 5 つの設定で実験を行った.

・ Quiz: モデルをクイズの訓練データのみで訓練する.

・Wiki: モデルをWikipediaから作成した拡張データのみで訓練する.

・Quiz+Wiki: モデルを，クイズの訓練データと Wikipedia から作成した拡張データを混合したデータを用いて訓練する。これは, 既存研究 (Rodriguez et al. 2019) と同様のデー 夕拡張手法である。
- Quiz $\rightarrow$ Wiki: モデルをクイズの訓練データで訓練した後に, Wikipedia から作成した拡張データで追加訓練する.
- Wiki $\rightarrow$ Quiz: モデルをWikipedia から作成した拡張データで訓練した後に，クイズの訓練データで追加訓練する。

各実験設定で，訓練時のエポック数は 10 , ミニバッチサイズは 128 とした ${ }^{10}$. ただし, TriviaQA の Quizの設定のみ, 訓練データの量が少ないことによるモデルの過小適合を避けるため, 訓練時のエポック数を 30 とした. モデルの訓練には, モデルが予測する正解の確率分布 $P(a \mid q)$ と正解ラベルの間の交差エントロピー損失の最小化を目的関数とした。最適化のアルゴリズムには AdamW (Loshchilov and Hutter 2019) を用い, 訓練の冒頭 20\%における学習率の warm up および以降の学習率の linear decayを適用した。その他のハイパーパラメータの一覧を表 5 に示す.実験には, PyTorch (Paszke et al. 2019) ${ }^{11}$, AllenNLP (Gardner et al. 2018) ${ }^{12}$, Transformers (Wolf

表 5 モデルのハイパーパラメータの一覧

et al. 2020) ${ }^{13}$ を使用した. モデルの訓練および評価には，メモリ容量 16GB の NVIDIA V100 GPU 1 枚を使用した. 1 つのモデルの訓練には, データセットと実験設定によって異なるが,最大で 36 時間の時間を要した。

## 5.2 実験結果

## 5.2.1 データ拡張による解答性能の向上

表 6 に, Quizbowl と TriviaQAの訓練データおよび開発データに対するモデルの解答性能を示す。まず，Quizの実験設定の結果について見ると，訓練データ上での正解率がほぼ $100 \%$ に到達した。このことから，モデルは各データセットの訓練データを丸暗記し，全く同じ内容の質問が入力された時には正しく解答できることがわかる．次に，デー夕拡張を行う実験設定同士で比較すると, Wiki $\rightarrow$ Quiz の実験設定が, Quiz+Wiki および Quiz $\rightarrow$ Wiki と比較して最も高い正解率を示した。これら 3 つの実験設定では，モデルは同じ訓練データの事例を同じ回数たけ与えられるにも関わらず，解答性能に差が生じているということから， モデルの事前訓練の後にタスク特有のデータセットでファインチューニングを行うという，BERT をはじめとする言語モデルの訓練に広く用いられている万法が，クローズドブック質問応答のタスクにおいても有効であることが示唆される。これとは対照的に，Quiz $\rightarrow$ Wiki の実験設定では正解率が著しく低下し，データ拡張を行わない Quizの実験設定よりも悪い結果となった. Quiz $\rightarrow$ Wiki では訓練データ上での正解率も大きく低下していることから，モデルの破滅的忘却 (catastrophic forgetting) (McCloskey and Cohen 1989; French 1999) が発生していると考えられる.

図 2 に, Quizbowl および TriviaQA の開発データにおける，Quiz および Wiki $\rightarrow$ Quiz 設定で訓練されたモデルの few-shot の正解エンティティに対する解答性能を示す. どちらのデータセットにおいても, Wiki $\rightarrow$ Quizのデータ拡張の設定によって few-shot の正解エンティティに対して

表 6 Quizbowl と TriviaQA の訓練・開発デー夕に対する正解率（†は訓練時のエポック数を 30 とした場合の結果であることを示す)

特に大きな性能向上が見られた。 few-shot の正解エンティティは, 元のクイズの訓練データに含まれる限られた情報のみでは解答することが難しいと考えられるため，これらエンティティでの解答性能が向上したという結果は，デー夕拡張によりモデルが新しい知識を学習したことで，初見の質問に対しても正しく答えられるようになったことを支持している.

## 5.2.2 データ拡張がモデルの解答に及ぼす影響の分析

表 7 に，Quiz の設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは正答できた，TriviaQAの開発デー夕の質問の例を示す。表 7 の質問に正しく解答するためには，モデルは「George Lucasが Star Wars を監督した」という事実知識を保持していなければならない，しかし，TriviaQAの訓練データには，George Lucas が監督した別の映画に関する質問は含まれているが，Star Warsに関する質問は含まれていない。そのため，Quizの設定で訓練されたモデルにとっては，開発データの問題は未知の知識を問う問題となり，正答でき

(a) Quizbowl

(b) TriviaQA

図 2 開発データに含まれる few-shot の正解エンティティに対する正解率

質問 : Who created the Star Wars series of films?

正解エンティティ：George_Lucas

訓練データに含まれる，正解エンティティが同じである質問：
- Who directed the 1973 film American Graffiti?
- "THX1138" and "American Graffiti" were the first two feature films directed by whom?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- Lucas is best known as the creator of the "Star Wars" and "Indiana Jones" franchises, as well as ...
- Lucasńext film, an epic space opera titled "Star Wars" (1977), went through a troubled production process; ...

表 7 データ拡張によって正答するようになった TriviaQA 開発データの問題例

なかったと考えられる。他方, Wikipedia から作成した拡張データには, George Lucas が Star Wars を監督した事実について述べられた文が複数存在する。Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは，これらの拡張データの事例から新たな知識を学習し，質問に答えることができるようになったと考えられる14.

それとは逆に, Quizの設定で訓練されたモデルは正答できていたにもかかわらず, Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは誤答した質問も存在する。表 8 に例を示す.この質問は, 解答に必要な知識が拡張デー夕にのみ存在していたにもかかわらず, デー夕拡張なしのモデルは正答し,逆にデータ拡張ありのモデルは誤答するようになってしまった。詳しく調べると, TriviaQA の訓練デー夕には “In which sea”で始まる質問が 9 問あり，そのうちの 4 問は正解が Caribbean の質問で，残りの 5 問はそれぞれ異なるエンティティが正解の質問であった。すなわち，Quiz の設定で訓練されたモデルは，訓練デー夕に見られる出題内容の偏りを学習してしまい，表層的な手がかりだけで正答できていたと考えられる。その一方で，Caribbeanの拡張デー夕には，真に解答の手掛かりとなる知識を含む文が 1 つしか含まれておらず，Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは, 正解エンティティを弁別するのに十分な知識を学習できなかったと推測される.

データ拡張がモデルの解答に与える影響についてより詳しく調査するため, TriviaQA の開発データの事例を (a) Quiz と Wiki $\rightarrow$ Quizのどちらの設定でも正答できた事例， (b) Quiz では誤

た事例，(d) Quiz と Wiki $\rightarrow$ Quiz のどちらの設定でも誤答した事例の 4 つのグループに分割し,

質問：In which sea are the Cayman Islands?

正解エンティティ：Caribbean

訓練データに含まれる，正解エンティティが同じである質問：
- The dance Meringue originated where?
- In which sea is the British overseas territory of Montserrat?
- In which sea is the island of Barbados?
- The island Commonwealth of Dominica sits in which sea or ocean?
- In which sea is the country of Grenada?
- Which sea surrounds the island of Martinique?
- In which sea is the island of Martinique?

拡張データに含まれる，解答に必要な知識が記述された文：
- These islands include Aruba (possessing only minor volcanic features), Curacao, Barbados, Bonaire, the Cayman Islands, Saint Croix, the Bahamas, and Antigua.

表 8 デー夕拡張によって誤答するようになった TriviaQA 開発デー夕の問題例

分析を行った. それぞれのグループに対してランダムサンプルした 20 例について, 質問の解答に必要な知識がクイズの訓練データまたは Wikipedia の拡張データのどちらに記述されていたかで事例を分類し，その割合を求めた。ここで「質問の解答に必要な知識」とは，解答を一つに特定するために必要な事実知識とし, その形式は定めないものとした ${ }^{15}$. 分析は, 著者自身がクイズの訓練データおよび Wikipediaの拡張データを比較することにより行った.

図 3 に分析の結果を示す. 図 3 (a) より，デー夕拡張の有無にかかわらず正解できた事例の $90 \%$ は，クイズの訓練データに解答に必要な知識が記述されていたことがわかる。一方, 図 3 (b)より，データ拡張により正解できるようになった事例の $55 \%$ は, Wikipedia の拡張データにのみ必要な知識が記述されていた。すなわち，モデルが拡張データから新しい知識を獲得して質問に正答できるようになった事例が，デー夕拡張で新たに解けるようになった質問のおよそ半数を占めていたことがわかる。また，図 3 (c) および (d) は，提案手法では正答できなかった質問の多くは必要な知識が拡張デー夕に記述されていなかったものであることを示している. このような事例には，解答に必要な情報が複数の文にまたがって記述されていたり別の記事に記述されているような例 ${ }^{16}$, あるいは Wikipedia の記事内容を正しく取得できなかった例 17 も含まれる。このような例は, 本研究のデータ拡張手法, すなわち Wikipedia の文-記事タイトルペアを擬似的にクイズの質問-正解ペアとみなす方法の限界を示すものであり，より洗練されたデータ拡張手法によって解決できる可能性がある.

(a) Quiz: correct Wiki $\rightarrow$ Quiz: correct

(b) Quiz: wrong Wiki $\rightarrow$ Quiz: correct

(c) Quiz: correct Wiki $\rightarrow$ Quiz: wrong

(d) Quiz: wrong Wiki $\rightarrow$ Quiz: wrong

図 3 TriviaQA の開発データにおける, 質問の解答に必要な知識の所在の割合. Quiz は TriviaQA の訓練データ内に知識が存在する事例, Wiki は Wikipedia の拡張データ内に知識が存在する事例, Both は両方のデータに知識が存在する事例, None はどちらのデータにも知識が存在しなかった事例をそれぞれ示す。


## 5.2.3 既存手法の解答性能との比較

最後に, Quizbowlと TriviaQA のテストデータ上での提案手法の解答性能を示し, 既存手法と比較する。ここでは, 既存手法との比較を容易にするために, 解答性能の評価指標として夕スクおよびデータセット固有のもの, すなわち, Quizbowl では正解率 (Accuracy), TriviaQA では解答文字列の完全一致率 (Exact Match, EM) を評価指標として用いる. TriviaQA については，テストデータは非公開であるため, 公式サイトのリーダーボード18上で解答性能を評価した. また，本来は読解タスクである TriviaQA の正解文字列と，モデルが予測する Wikipedia 記事タイトルのミスマッチを抑制するため, 提案手法のモデルの出力に対して文字列整形の後処理を適用した ${ }^{19}$.

表 9 と表 10 に, Quizbowl と TriviaQA のテストデータに対するモデルの解答性能をそれぞれ示す.データ拡張を利用した本研究の提案手法により, Quizbowl では, GloVe (Pennington et al. 2014) と GRU (Cho et al. 2014) を用いた既存手法の解答性能を 5.5 ポイント上回る性能を達成した。また, TriviaQA では，汎用テキスト生成モデルの T5-3B (Roberts et al. 2020) に匹敵する解答性能を，T5-3B の 20 分の 1 以下のモデルパラメータ数で実現した.

表 9 Quizbowl のテストデー夕に対する解答性能

表 10 TriviaQA のテストデータに対する解答性能


## 6 おわりに

本稿では, クローズドブック質問応答のタスクにおける, データ指向のアプローチの有効性について検証した。 エンティティについてのより多様な知識をモデルに与えるために, Wikipedia を知識源とした拡張データを作成し，モデルの訓練に利用した。実験により，デー夕拡張を行い訓練したモデルは，元の訓練データに現れない知識を要する質問に対しても正しく答えられるようになり，データ拡張の有効性を確認した。

本研究で提案したデータ指向のアプローチは, 既存のモデル指向のアプローチと直交するものであり，最近提案された Entities as Experts (Févry et al. 2020)のような，より洗練されたモデルの利用と組み合わせることも可能である.

本研究の今後の課題として, より洗練されたデー夕拡張手法の提案, および, モデルが扱うことのできるエンティティをより多くすることが挙げられる。前者については, 4.2 節で述べたように，拡張データからノイズとなる文をフィルタリングすることや，複数の文を組み合わせることでノイズを低減すること，後者については，正解エンティティの集合 $\left|V_{a}\right|$ を，例えば Wikipedia に記事があるエンティティ全件に拡張することなどが考えられる．特に後者は，本研究では初めから解けない事例として扱っていた zero-shot の事例を解答可能とするためには必須であるが，元の訓練データに出現しないエンティティに対する解答の汎化性能をどのように実現するか，拡張データの利用方法と合わせて検討する必要がある.

## 謝 辞

本研究はの一部は, JSPS 科研費 JP19J13238, JP19H04162 の助成を受けたものです.

## 参考文献

Bajaj, P., Campos, D., Craswell, N., Deng, L., Gao, J., Liu, X., Majumder, R., McNamara, A., Mitra, B., Nguyen, T., Rosenberg, M., Song, X., Stoica, A., Tiwary, S., and Wang, T. (2016). "MS MARCO: A Human Generated MAchine Reading COmprehension Dataset." In CoCo@NIPS.

Boyd-Graber, J., Satinoff, B., He, H., and Daumé III, H. (2012). "Besting the Quiz Master: Crowdsourcing Incremental Classification Games." In EMNLP, pp. 1290-1301.

Chen, D., Fisch, A., Weston, J., and Bordes, A. (2017). "Reading Wikipedia to Answer OpenDomain Questions." In $A C L$, Vol. 1, pp. 1870-1879.

Cho, K., van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., and

Bengio, Y. (2014). "Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation." In EMNLP, pp. 1724-1734.

Clark, C. and Gardner, M. (2018). "Simple and Effective Multi-Paragraph Reading Comprehension." In $A C L$, Vol. 1, pp. 845-855.

Davison, J., Feldman, J., and Rush, A. (2019). "Commonsense Knowledge Mining from Pretrained Models." In EMNLP, pp. 1173-1178.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In NAACL, Vol. 1, pp. 4171-4186.

Ferrucci, D. A. (2012). "Introduction to "This is Watson"." IBM Journal of Research and Development, 56 (3.4), pp. 1:1-1:15.

Févry, T., Baldini Soares, L., FitzGerald, N., Choi, E., and Kwiatkowski, T. (2020). "Entities as Experts: Sparse Memory Access with Entity Supervision." In EMNLP, pp. 4937-4951.

French, R. M. (1999). "Catastrophic Forgetting in Connectionist Networks." Trends in Cognitive Sciences, 3 (4), pp. 128-135.

Gardner, M., Grus, J., Neumann, M., Tafjord, O., Dasigi, P., Liu, N. F., Peters, M., Schmitz, M., and Zettlemoyer, L. (2018). "AllenNLP: A Deep Semantic Natural Language Processing Platform." In Proceedings of Workshop for NLP Open Source Software (NLP-OSS), pp. 1-6.

Green, B. F., Wolf, A. K., Chomsky, C., and Laughery, K. (1961). "Baseball: An Automatic Question-Answerer." In Proceedings of the Western Joint Computer Conference 19, pp. 219-224.

Iyyer, M., Boyd-Graber, J., Claudino, L., Socher, R., and Daumé III, H. (2014). "A Neural Network for Factoid Question Answering over Paragraphs." In EMNLP, pp. 633-644.

Joshi, M., Choi, E., Weld, D., and Zettlemoyer, L. (2017). "TriviaQA: A Large Scale Distantly Supervised Challenge Dataset for Reading Comprehension." In $A C L$, Vol. 1, pp. 1601-1611.

Kwiatkowski, T., Palomaki, J., Redfield, O., Collins, M., Parikh, A., Alberti, C., Epstein, D., Polosukhin, I., Devlin, J., Lee, K., Toutanova, K., Jones, L., Kelcey, M., Chang, M.-W., Dai, A. M., Uszkoreit, J., Le, Q., and Petrov, S. (2019). "Natural Questions: A Benchmark for Question Answering Research." TACL, 7, pp. 453-466.

Lai, G., Xie, Q., Liu, H., Yang, Y., and Hovy, E. (2017). "RACE: Large-scale ReAding Comprehension Dataset From Examinations." In EMNLP, pp. 785-794.

Ling, J., FitzGerald, N., Shan, Z., Soares, L. B., Févry, T., Weiss, D., and Kwiatkowski, T. (2020). "Learning Cross-Context Entity Representations from Text." CoRR, arXiv:2001.03765.

Liu, Y., Ott, M., Goyal, N., Du, J., Joshi, M., Chen, D., Levy, O., Lewis, M., Zettlemoyer, L., and Stoyanov, V. (2019). "RoBERTa: A Robustly Optimized BERT Pretraining Approach."

## CoRR, arXiv:1907.11692.

Loshchilov, I. and Hutter, F. (2019). "Decoupled Weight Decay Regularization." In ICLR.

McCloskey, M. and Cohen, N. J. (1989). "Catastrophic Interference in Connectionist Networks: The Sequential Learning Problem." In Bower, G. H. (Ed.), Psychology of Learning and Motivation, Vol. 24, pp. 109-165. Academic Press.

Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., Desmaison, A., Kopf, A., Yang, E., DeVito, Z., Raison, M., Tejani, A., Chilamkurthy, S., Steiner, B., Fang, L., Bai, J., and Chintala, S. (2019). "PyTorch: An Imperative Style, High-Performance Deep Learning Library." In NeurIPS, pp. 8024-8035.

Pennington, J., Socher, R., and Manning, C. (2014). "GloVe: Global Vectors for Word Representation." In $E M N L P$, pp. 1532-1543.

Petroni, F., Rocktäschel, T., Riedel, S., Lewis, P., Bakhtin, A., Wu, Y., and Miller, A. (2019). "Language Models as Knowledge Bases?" In EMNLP, pp. 2463-2473.

Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., and Sutskever, I. (2019). "Language Models are Unsupervised Multitask Learners." Tech. rep..

Raffel, C., Shazeer, N., Roberts, A., Lee, K., Narang, S., Matena, M., Zhou, Y., Li, W., and Liu, P. J. (2019). "Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer." CoRR, arXiv:1910.10683.

Rajpurkar, P., Jia, R., and Liang, P. (2018). "Know What You Don't Know: Unanswerable Questions for SQuAD." In $A C L$, Vol. 2, pp. 784-789.

Rajpurkar, P., Zhang, J., Lopyrev, K., and Liang, P. (2016). "SQuAD: 100,000 Questions for Machine Comprehension of Text." In EMNLP, pp. 2383-2392.

Roberts, A., Raffel, C., and Shazeer, N. (2020). "How Much Knowledge Can You Pack Into the Parameters of a Language Model?" In EMNLP, pp. 5418-5426. Association for Computational Linguistics.

Rodriguez, P., Feng, S., Iyyer, M., He, H., and Boyd-Graber, J. (2019). "Quizbowl: The Case for Incremental Question Answering." CoRR, arXiv:1904.04792.

Seo, M., Lee, J., Kwiatkowski, T., Parikh, A., Farhadi, A., and Hajishirzi, H. (2019). "RealTime Open-Domain Question Answering with Dense-Sparse Phrase Index." In $A C L$, pp. 4430-4441.

Simmons, R. F. (1965). "Answering English Questions by Computer: A Survey." Communications of the ACM, 8 (1), pp. 53-70.

Strubell, E., Ganesh, A., and McCallum, A. (2019). "Energy and Policy Considerations for Deep Learning in NLP." In $A C L$, pp. 3645-3650.

Voorhees, E. M. (1999). "The TREC-8 Question Answering Track Report." In TREC-8, pp. $77-82$.

Wang, S., Yu, M., Guo, X., Wang, Z., Klinger, T., Zhang, W., Chang, S., Tesauro, G., Zhou, B., and Jiang, J. (2018). "R3: Reinforced Reader-Ranker for Open-Domain Question Answering." In $A A A I$, pp. 5981-5988.

Winograd, T. (1971). "Procedures as a Representation for Data in a Computer Program for Understanding Natural Language." MIT AI Technical Report, 235, pp. 1-461.

Wolf, T., Debut, L., Sanh, V., Chaumond, J., Delangue, C., Moi, A., Cistac, P., Rault, T., Louf, R., Funtowicz, M., Davison, J., Shleifer, S., von Platen, P., Ma, C., Jernite, Y., Plu, J., Xu, C., Le Scao, T., Gugger, S., Drame, M., Lhoest, Q., and Rush, A. (2020). "Transformers: State-of-the-Art Natural Language Processing." In EMNLP, Vol. System Demonstrations, pp. $38-45$.

Yang, W., Xie, Y., Tan, L., Xiong, K., Li, M., and Lin, J. (2019a). "Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering." CoRR, arXiv:1904.06652.

Yang, Z., Dai, Z., Yang, Y., Carbonell, J., Salakhutdinov, R. R., and Le, Q. V. (2019b). "XLNet: Generalized Autoregressive Pretraining for Language Understanding." In NeurIPS, pp. $5754-5764$.

## 付録

## A異なる言語モデルを用いた場合の性能

本研究では，BERT 以外の言語モデルを用いた場合についても，5.1 と同様の設定で実験を行った. 表 11 に，モデルに RoBERTa-base (Liu et al. 2019)20および XLNet-base cased (Yang et al. 2019b)21を用いた場合の, Quizbowl と TriviaQAの訓練・開発データ上の正解率を示す. モデルを変更した場合でも，Quizの質問は丸暗記できること，Wiki $\rightarrow$ Quizの段階的なデー夕拡張が有効であること，別のデー夕拡張の設定では性能低下を引き起こすことといった, 5.2.1 節で述べた現象が同様にみられることを確認できた.

表 12 に，Quizの設定で訓練されたモデルは誤答したが Wiki $\rightarrow$ Quiz の設定で訓練されたモデルは正答できた, TriviaQAの開発データの質問の追加の例を示す. 表 12 の最後の例は, 開発データの質問と同じ正解を持つ質問が訓練データ中に 17 件存在していたが, そのどれもが開発データの質問と内容が共通していない質問であった例である.

表 11 RoBERTa およびXLNet をモデルに用いた場合の正解率

質問 : In what middle east harbor was the destroyer USS Cole attacked by suicide bombers in 2000, resulting in 56 casualties?

正解エンティティ：Aden

訓練データに含まれる，正解エンティティが同じである質問：
- What was the capital city of the People's Democratic Republic of Yemen until 1990?
- What's capital of The Peoples Democratic Republic of Yemen?

拡張データに含まれる，解答に必要な知識が記述された文 (一部抜粋)：
- The bombing attack on destroyer USS "Cole" took place in Aden on 12 October 2000.

質問 : Who is the only Spanish winner of the Ladies' Singles at Wimbledon?

正解エンティティ：Conchita_Martinez

訓練データに含まれる，正解エンティティが同じである質問：
- Who defeated Martina Navratilova in her last Wimbledon Singles Final?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- She was the first Spanish player to win the women's singles title at Wimbledon, where she beat Martina Navratilova to win the 1994 title.
- Martínez, however, won the match in three sets and became the first Spanish woman to win Wimbledon.

質問：Which literary character is the best known creation of the writer Earl Derr Biggers?正解エンティティ：Charlie_Chan

訓練データに含まれる，正解エンティティが同じである質問：
- Which retro film character frequently referred to his 'Number One son' in his films?
- Warner Oland, Sydney Toler and Roland Winters have all played which fictional detective?

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- Charlie Chan is a fictional character created by Earl Derr Biggers.

質問： The Sign Of Four was a detective story written by which author?

正解エンティティ：Arthur_Conan_Doyle

訓練データに含まれる，正解エンティティが同じである質問：
- What is the name of the author of the Sherlock Holmes books? Who wrote the novel 'The Hound of the Baskervilles?
- Which author was responsible for the series of short comic books Brigadier Gerard? ... (計 17 問)

拡張データに含まれる，解答に必要な知識が記述された文（一部抜粋）：
- A sequel to "A Study in Scarlet" was commissioned, and "The Sign of the Four" appeared in "Lippincottś Magazine" in February 1890, under agreement with the Ward Lock company.

表 12 データ拡張によって正答するようになった TriviaQA 開発データの問題の別例

## 略歴

鈴木正敏：2018 年東北大学大学院情報科学研究科博士前期課程修了. 同年より東北大学大学院情報科学研究科博士後期課程に在籍中. 2019 年より日本学術振興会特別研究員 (DC2). 同年より理化学研究所革新知能統合研究センター 言語情報アクセス技術チーム研修生.

松田耕史：2012 年東京工業大学大学院総合理工学研究科修了. 修士 (工学). 2018 年より理化学研究所革新知能統合研究センターテクニカルスタッフ. 東北大学大学院情報科学研究科博士後期課程に在籍中.

大内啓樹：奈良先端科学技術大学院情報科学研究科にて, 2015 年博士前期課程修了. 2018 年博士後期課程修了. 2018 年より理化学研究所革新知能統合研究センター特別研究員.

鈴木潤：2001 年から 2018 年まで日本電信電話株式会社コミュニケーション科学基礎研究所研究員 (主任研究員/特別研究員). 2005 年奈良先端科学技術大学院情報科学研究科博士後期課程修了. 現在, 東北大学デー夕駆動科学・AI 教育研究センター教授.

乾健太郎：東北大学大学院情報科学研究科教授. 1995 年東京工業大学大学院情報理工学研究科博士課程修了. 同大学助手, 九州工業大学助教授, 奈良先端科学技術大学院大学助教授を経て, 2010 年より現職. 2016 年より理化学研究所 AIP センター自然言語理解チームリーダー兼任.