言語処理学会 第24回年次大会 発表論文集 (2018年3月)

ニューラル文生成モデルを利用した英文読解問題の自動解法
Solving English reading comprehension problems using neural sentence generation models

加藤 秀大
Hidehiro Kato

三輪 誠
佐々木 裕
Makoto Miwa Yutaka Sasaki
豊田工業大学
Toyota Technological Institute{sd16407, makoto-miwa, yutaka.sasaki}@toyota-ti.ac.jp
問について評価し，重要文の決定を人手で行っ

1 はじめにた場合の正答数は 25 問，単語間類似度で行っ

近年，簡単な質問応答について，半自動的にた場合の正答数は 19 問であった．

作成された大規模なデータを利用することで，2.2 ニューラル文生成モデル

深層ニューラルネットワーク (NN) を用いた

Sutskever ら [4] は NN を利用して学習デー手法が高い性能を示している．しかし，より複タペアである入力文と出力文から学習を行い，雑な英文読解問題については，まだその性能は学 習 内容 に従 った 文を入 力 文か ら出 力す る十分とは言えず，その学習データも少ないため， sequence-to-sequence (S2S) モデルを提案し学習データに依存しない読解問題の解答手法た．再帰型ニューラルネットワーク (Recurre-の確立が必要である．本研究では，文書に対す

nt Neural Network; RNN) の一種である Longる質問について複数の選択肢から正しいもの

Short-Term Memory (LSTM) を利用しており，を選択する TOEIC の読解問題を対象に，大量の過去の入力を保持したまま次の出力を行うこ

データを利用したニューラル文生成モデルのとが可能となっている．S2S モデルに文を入力利用可能性を探る．そのためにニューラル文生

すると，学習内容と入力内容からモデルが出力成モデルを利用した英文読解問題の自動解答すべき単語の確率を LSTM が計算し，最も確率手法を提案し，TOEIC 読解問題での正答率の向の高い単語を出力していくことで出力文を形上を目指す．

成する．入力文と出力文に対する大量の学習データペアを用いることで文の内容のモデル

2 関連研究化が可能となっている.

2.1 英文読解問題の自動解法
佐藤ら [1] は TOEIC の Part 7 を対象に，本3 単語間類似度によるベースライン

文中の解答の鍵となる重要文と各選択肢間の佐藤らの行った英文読解問題の自動解法で単語間類似度の計算を行うことで解答を選択

は解答選択が 1 つの類似度の計算結果に依存しする手法を提案した．単語間類似度の計算には， てしまうため，ベースラインとして単語間類似
WordNet::Similarity [2] 内の LESK を用いた．

度の加重和を用いた手法を提案する．単語間類

Webanhvan [3] から得た TOEIC の練習問題 45

似度の計算には WordNet [5] 内の 6 つの評価

― 232 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

図 2 重要文決定モデルの重要文決定の過程
図 1 解答選択の一連の流れる．モデルの出力文を固定することで，その出指標を用いる．6 つの評価指標で単語間類似度力文の各単語が本来出力される生成確率を求を計算した後，線形二値分類器である Supportめることができる．<S> は出力を開始するス

Vector Machine (SVM) を用いて各類似度の重タートシンボルである．質問文を Q，本文中のみ付けを行う．重みの学習には LIBLINEAR [6]1 文を𝑇𝑚 (m : 本文中の文の数) ，質問文中のを利用し，加重和が最大となった選択肢を解答各単語が出力される確率を {𝑞1 , 𝑞2 , 𝑞3 , … , 𝑞𝑛 }とする．このベースラインの手法では単語同士(n : 質問文中の単語数) とした際のスコアの計の関係性しか考慮できないため，単語より大き算式を式 (1) に示す．
score(Q, 𝑇𝑚 ) = ∏𝑛𝑘=1 𝑞𝑘

な構造である文の内容理解が十分にできてい(1)るとは言い難い．また，学習データが限られて

式 (1) より，与えられた質問文中の各単語のいるため，学習を十分に行うことも難しい．

生成確率をかけ合わせたものが，入力として与えられた文が重要文となるスコアである．この4 提案手法

スコアが最大となる本文中の文を重要文と決本研究では文の内容のモデル化が可能な定する．また，スコア最大の文とのスコア差がニューラル文生成モデルを用いた一連の解答一定以下の文も重要文として用いることで，解手法を提案する．一連の解答を行うため，質問答選択に必要な情報が複数文に分かれている文から重要文を決定する手法と，文全体の内容問題への対応を目指す．

を考慮した上で重要文から解答を選択する手

4.2 ニューラル要約モデルによる解答選択法を提案する．一連の解答選択の流れは図 1 の読解問題の解答を本文の要約であるとみなようになっている．

すことで，ニューラル文生成モデルを利用した

4.1 ニューラル質問生成モデルによる重要文選択

要約モデル [8] を参考にして，重要文から解ニューラル文生成モデルを利用した質問生

要約元の文と要約文のペアを与えることで，入成モデル [7] を参考にして，質問文から重要力文に対する要約を出力するよう要約モデル文を決定する．学習データとして質問内容が記を学習する．このモデルを用いて図 3 のようにされている文と質問文のペアを与えることで，解答となる選択肢の文を生成し，その生成確率入力文に対して質問文を出力するよう質問生から選択肢を決定する．4.1 節と同様に，モデ成モデルを学習する．このモデルを用いて図 2ルの出力文を与えられた選択肢で固定するこのように質問文を生成し，その生成確率から重とで，重要文から選択肢が生成される確率を求要文を決定する．本文中の 1 文をモデルに入力めることができる．重要文を T，選択肢を𝑆𝑙 (l ;し，出力文を問題で与えられた質問文で固定す選択肢の数) ，選択肢中の各単語が生成される答となる選択肢を決定する．学習データとして― 233 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

重要文選択モデルを用いてスコアを計算し，ス
コア 0.4 を閾値と決定してそれ以上のスコアを出した最大スコアの一文を要約前の文と決定した．この方法で得られた要約前の文と要約文
66,265 個を学習データペアとした．
図 3 解答選択モデルの解答決定の過程

6 実験設定確率を {𝑠1 , 𝑠2 , 𝑠3 , … , 𝑠𝑗 } (j : 選択肢中の単語数)とした際のスコアの計算式を式 (2) に示す．
𝑗

英語の読解問題として TOEIC の Part 7 を対象とする．評価データとして，Webanhvan [3] か(2)

ら図表の読み取りや数字の計算を必要としな

式 (2) より，与えられた選択肢中の各単語のい TOEIC 用練習問題 91 問を利用した．ベース生成確率をかけ合わせたものが，重要文に対しラインでは 91 問を 45 問と 46 問に分割し，交てその選択肢が解答となるスコアである．重要差検証を用いて評価を行った．重要文選択モデ

文が複数選択された場合，各重要文で求めたス

ルの学習データは NewsQA データセット [9] かコアの平均値が解答選択に用いられるスコア

ら質問文と質問内容が記された文のペアを半となる．このスコアが最大となる選択肢を解答自動で取得し，30,000 件を訓練データ，3,000とする．

件をテストデータとして用いた．解答選択モデscore(T, 𝑆𝑖 ) = ∏𝑖=1 𝑠𝑖

ルの学習データは CNN データセット [10] から

5 学習データセットの作成

要約前の文と要約文のペアを半自動で取得し，重要文選択と解答選択の学習を行うためデータセットを作成した．

60,000 件を訓練データ，1,000 件をテストデータとして用いた．ニューラル文生成モデルとし重要文選択に用いる質問生成モデルは，入力て TensorFlow ライブラリ [11] の S2S モデル

文に対応する質問文を出力するモデルであるを用いて各モデルの学習を行い，LSTM は 3 層，ため，学習データペアを質問応答データセット

隠れ状態の次元数は 256 次元，単語ベクトルはである NewsQA [9] から取得した．NewsQA は256 次元に設定した．学習アルゴリズムにはニュース記事と記事の内容を問う質問文から

Adam [12] を用いており，Adam の各パラメータ構成されており，解答となる単語または単語列は論文の推奨値であるα = 0.001，𝛽1 = 0.9，の本文中の位置も記載されている．ここから，𝛽2 = 0.999，ε = 10−8を用いた．バッチサイズ

質問文と解答が含まれる文を取得し，34,520 個は 32 であり，buckets はニューラル質問生成モの学習データペアを作成した．

デルが [(50, 20)] ，ニューラル要約モデルが解答選択に用いる要約モデルは入力に対す[(50, 30)] とした．質問生成モデルが重要文る要約を出力するモデルであるため，学習デーを複数選ぶ際のスコア差はスコア最大の文のタペアを Cable News Network (CNN) データセッ

スコアの 1 割以下とした．

ト [10] から取得した．CNN データセットはニュース記事とニュース記事に対する人手で7 実験結果と考察書かれた要約が各 3 個から 4 個含まれるデータベースラインの手法との正答率の比較を表 1セットである．ニュース記事の各文と要約間でに示す．表 1 より，ベースライン手法は佐藤ら― 234 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

[1] の手法と同等の正答率を得られる事がわが必要である可能性を示した．

かる．また，提案手法は人手で重要文を決定し今後の課題として，誤った選択肢を選ばないた際も，質問生成モデルで重要文を複数決定しための重要文選択の精度の向上が挙げられる．

た際も，若干ではあるが従来手法より多くの問題に正答しており，ニューラル文生成モデルの参考文献利用が有効である可能性がある．ニューラル文[1] 佐藤敦美. 英語読解問題の自動解法. 言生成モデルは文の内容をモデル化することが語処理学会，pp105-108，2014.

できるため，既存手法でできなかった単語より[2] Ted Pedersen et al., WordNet::Similarity

大きな構造を考慮することができると考えら- Measuring the Relatedness of Concepts.

れる．重要文を 1 つしか選択しなかった際の正In AAAI, pages 1024-1025, 2004.

答率より複数選択した際の正答率が表 1 より

[3] Webanhvan, http://webanhvan.com.

2 問多く，重要文を複数用いることでより質問[4] Ilya Sutskever et al., Sequence toの答えとなる内容を選択できた可能性がある．

Sequence Learning with Neural Network. In

しかし，TOEIC の問題では不正解の選択肢も本

NIPS, pages 3104-3112, 2014.

文中の内容から作成されているため，間違った[5] George A. Miller, WordNet: A Lexical

選択肢を選ばないために重要文選択の精度のDatabase for English, Communications of the向上が必要であると思われる．

ACM Vol. 38, No. 11, pages 39-41, 1995.
[6] Rong-En Fan et al., LIBLINEAR: A library

8 おわりにfor large linear classification. In Machine

英文読解問題の正答率向上を目的として，

Learning Research 9, pages 1871-1874, 2008.

ニューラル文生成モデルを用いた重要文選択[7] Alexander M. Rush et al., A Neuralのための質問生成モデルと解答選択のためのAttention Model for Abstractive Sentence

要約モデルを提案した．学習データを半自動でSummarization. In EMNLP, pages 379-389,作成した結果，ベースラインよりも人手で重要2015.

文を決定した際に 3 問，モデルで重要文を決定[8] Nan Duan et al., Question Generation for

した際に 5 問多く正答でき，ニューラル文生成

Question Answering. In ACL, pages 866-874,

モデルを用いて文の内容理解を行うことが有2017.

効である可能性がわかった．また，重要文を複[9] Adam Trischler et al., NewsQA: A Machine

数選択することで正答が 2 問増えたことから，

Comprehension Dataset. In ACL, pages 1

文の内容理解において複数文を考慮すること

91-200, 2017.
[10] DeepMind Q&A Dataset, https://cs.nyu.-

表 1 提案手法の正答率 (% (正解数/問題数))

ベースライン
提案手法(重要文1つ)提案手法(重要文複数)edu/~kcho/DMQA/.

モデルで人手で重要文を決定 重要文を決定
42.9 (39/91題) 57.1 (52/91題)
46.1 (42/91題) 60.4 (55/91題)
48.3 (44/91題) 60.4 (55/91題)[11] Martín Abadi et al., TensorFlow:
Large-Scale Machine Learning on Heterogeneous Distributed Systems. 2015.
[12] Diederik P et al., Adam: A method forstochastic optimization. In ICLR, 2015.

― 235 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.