\label{sec:introduction}質問応答は，自然言語処理における重要な問題の一つであり，古くから研究が続けられている．特に近年では,SQuAD\shortcite{rajpurkar_squad:_2016,rajpurkar_know_2018}，MSMARCO\shortcite{bajaj_ms_2016}，RACE\shortcite{lai_race:_2017}といった読解型質問応答の大規模なデータセットが多数提案され，それと同時に，深層ニューラルネットワークを用いた質問応答の手法が数多く提案されている．また，これらのデータセットは，質問応答の研究だけではなく，近年盛んに研究がなされているBERT\shortcite{devlin_bert:_2019}をはじめとする大規模言語モデルの言語理解能力を測るベンチマークとしても利用されている．これらのデータセットが対象とする読解型質問応答のタスクでは，質問文と関連文書の両方が与えられ，システムは関連文書から正解の可能性が高い文字列を抜き出すことによって質問に解答する．すなわち，システムは解答時に知識源となる関連文書をその場で参照することが許されるので，質問に答えるためには文書の「読み方」を学習できれば良く，質問で問われる事実知識そのものをモデリングする必要はない．そのため，読解型質問応答の問題設定は，人間にとっての「持ち込み可能(open-book)試験」に喩えられる．一方，システムが文書を「どう読むか」を問う読解型質問応答とは対照的に，与えられる質問について「何を知っているか」を直接問う\textbf{「クローズドブック質問応答(closed-bookQA)」}と呼ばれるタスクが近年注目されている\shortcite{roberts_how_2020}．クローズドブック質問応答では，現実の「持ち込み不可(closed-book)試験」と同様，解答時に質問文以外の情報を参照することは認められない．したがって，システム（解答者）は事前に出題範囲を十分に学習し，記憶しておくことが要求される．すなわち，クローズドブック質問応答は，あらかじめ重要な情報を知識として記憶し，与えられる質問に対して自らが保持する知識を用いて答えるという，人間の知識を用いた知的活動により近い問題設定となっている．最近では，大規模な言語モデルが事実知識をどれだけ保持しているかをクローズドブック質問応答によって評価する研究がいくつか行われている．既存の研究では，モデルの訓練可能なパラメータの数を多くしたり\shortcite{raffel_exploring_2019}，モデルの構造や訓練の目的関数を工夫する\shortcite{ling_learning_2020,fevry_entities_2020}というモデル指向の方法によって，クローズドブック質問応答の性能が向上することが報告されている．特に最先端の研究では，数十億〜数百億の訓練可能なパラメータを持つ超巨大なモデルによる性能が報告されている\shortcite{roberts_how_2020}．これらの研究は，言語モデルが持つことのできる表現力や汎化能力を追究するという面で意義深い反面，モデルの訓練には大規模な計算機資源と多大なエネルギーを必要とするため，誰でも既存研究を再現でき改善を加えられるという状況からは逸脱しつつあることが懸念される\shortcite{strubell_energy_2019}．一方，モデル指向の方法とは対照的に，訓練データを工夫してモデルが持つ知識のカバー率を上げることでクローズドブック質問応答を実現するというデータ指向のアプローチも考えられる．クローズドブック質問応答の実例としてクイズを考えてみると，例えば「ジョージ・ルーカス」が答えとなるクイズ問題は，監督した作品，本人の生い立ち，家族についてなど，複数の異なる角度からの知識が問われることが予想される．しかし，モデルが予習に用いる訓練データには，考えられる多様なクイズ問題の一部しか含まれていない．そのため，訓練データに登場しない問題がテスト時に出題された際には，訓練データのみで訓練されたモデルにとっては多くの場合，解答不可能であると考えられる．このことは，正解が訓練データ中に1回もしくは数回しか出現しない，いわゆるfew-shotの事例では特に問題となる．このような問題に対して，データ指向のアプローチは，より多様な事実知識をより効率的にモデルに教えるために役立てられると考えられる．さらに，モデルの大型化に頼らずにクローズドブック質問応答を実現できれば，関連文書の検索・走査を伴う読解型質問応答システムよりも高速に利用者の質問に解答できるシステムが低コストで実現できる可能性がある．しかしながら，深層ニューラルネットワークを活用したクローズドブック質問応答の研究は歴史が浅く，データ指向のアプローチの有効性については十分に研究がされていない．本稿では，クローズドブック質問応答におけるデータ指向アプローチの有効性を実験的に調査する．具体的には，Wikipediaを知識源とした拡張データを作成し，遠距離教師あり学習によって，元の訓練データには記述されていない事実知識をモデルに教えるために利用する．モデルには事前訓練済み言語モデルのBERT\shortcite{devlin_bert:_2019}を用い，元の訓練データおよび拡張データに対してモデルをファインチューンさせる．実験では，クイズを題材にした質問応答のデータセットであるQuizbowl\shortcite{rodriguez_quizbowl:_2019}とTriviaQA\shortcite{joshi_triviaqa:_2017}を用いて，モデルのクローズドブック質問応答の性能を調査した．モデルが出力した解答の分析から，拡張データを用いて訓練されたモデルが，元の訓練データには記述されていない事実知識を問う問題に対しても正しく解答できたことがわかり，モデルが拡張データから新たな知識を学習し解答に活用できていることを示唆する結果が得られた．テストデータを用いた評価実験では，Quizbowlでは従来の最高性能を更新し，TriviaQAでは既存の強力な系列生成モデル\shortcite{roberts_how_2020}に匹敵する性能をおよそ20分の1のパラメータ数で実現した．以下では，2節でクローズドブック質問応答の関連研究について概観し，3節でタスクの定義およびデータセットについて説明する．4節で本研究の提案手法について述べ，5節で実験設定および実験結果を示す．6節でまとめと今後の展望について述べる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%2