言語処理学会 第25回年次大会 発表論文集 (2019年3月)

世界史大論述問題解答の自動生成に向けた指定語句による検索結果の分析
飯塚章裕†1福原優太†1

阪本浩太郎†1†2

渋木英潔†1森辰則†1†1

横浜国立大学 †2 国立情報学研究所
E-mail: {iizuka a, yuta f, sakamoto, shib, mori}@forest.eis.ynu.ac.jp

図 2: 模範解答に必要だが指定語句の表現を含んでいないパッセージの例 (用語集)のシステムは一定の成果を収めているが、解答に含めるべき記述が検索できないなど改善の余地がいくつか残されている。
図 1: 大論述問題の例（東京大学、2008 年）
我々は文献 [4] において、模範解答3 と知識源との対応関係を調査した結果、知識源と対応付けられる模範解答中の記述の割合が文字単位で 85.1%であることが1 はじめに分かった。したがって、システムの検索部における問近年、大学入試問題をコンピュータに解かせる試み 題は、知識源の不足よりも、知識源中の適切な記述 (以として、「ロボットは東大に入れるか」プロジェクト 下、単に「適切な記述」と記す) を見つけられないこ[1](以下、東ロボプロジェクト1 ) や NTCIR2 の QALab- とが大きいといえる。適切な記述を見つけられない原3[2] がある。QALab では世界史の大学入試問題 (セン 因としては、適切な記述中の表現が問題文の表現と一ター試験、二次試験) を対象とした課題が設定されて 致しないことと、適切な記述中の語句が問題文に書かおり、図 1 に示すような大論述問題も出題されている。 れていないことの 2 通りが考えられる。前者に焦点を論述問題は解答の制限字数から、500 字前後で解答す 当てると、検索クエリとなる問題文の表現を知識源のる大論述問題と、150 字以内で解答する小論述問題に 表現に対応させるクエリ拡張の枠組みが必要である。
分類できる。図 1 の下側で示されているように、大論 例えば、人間であれば「クリミア戦争」という表現と述問題では「インド大反乱」や「クリミア戦争」といっ 「クリミア半島を中心に起きた紛争」という表現を対た指定語句が 7 語から 9 語程度与えられ、それらの指 応付けることは可能である。さらに、世界史を勉強し定語句を解答に必ず含めなければならない。そのため、 た人間であれば、「第 1 回万国博覧会」と「ロンドン指定語句に関連する文章を知識源等から抽出すること 万国博覧会」を対応付けることも可能である。図 1 にが必須である。
おいて人名である「ビスマルク」以外は「クリミア戦
我々は文献 [3] などにおいて、大論述問題を解答す 争」（「クリミア」＋「戦争」）のような複合語であり、るシステムの開発を行っている。このシステムでは、 指定語句の多くは複合語であるといってよい。本稿で大学入試の世界史問題を教科書や用語集などを知識源 は、世界史分野において、問題文と知識源の間でどのとした情報要求課題と捉えるとともに、論述問題を制 ような表現の言い換えが行われているかを分析し、指限字数以内に収める必要があることから、情報要求の 定語句をそのまま検索クエリとして用いた場合と比較存在する抽出型の複数文書要約と位置付けて解答して して、指定語句をその構成語に分解した語の集合を検いる。つまり、システムは、要求された情報を知識源 索クエリに用いた場合にどのような影響があるかを調から探してくる前半の検索部と、探した情報を適切に 査する。
まとめる後半の要約部の 2 段階で構成されている。こ1 https://21robot.org/
2 http://research.nii.ac.jp/ntcir/index-ja.html

3 赤本の解答を模範解答とした。

― 902 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 完全一致で検索できない要因の類型と該当数
要因
指定語句の構成語がパッセージ中に散在している（散在型）
指定語句の構成語が異表記である（異表記型）
指定語句の構成語が同義語により言い換えられている（同義型）
指定語句の構成語が上位概念語により言い換えられている（上位概念型）
指定語句の構成語がシリーズの番号で言い換えられている（シリーズ型）

該当数85634503

図 4: 指定語句の構成語が異表記である
図 3: 指定語句の構成語がパッセージ中に散在している例

2

従来手法の問題点

従来手法 [3] の検索部では、問題文で示される指定語句（図 1 参照）を検索クエリとして受け取り、検索クエリを含む一文を出力とする検索モジュールを検索エンジン Indri4 を基に作成している。知識源として、
山川出版社5 の教科書 1 冊 [5] と東京書籍6 の教科書 3
図 5: 指定語句の構成語が同義語により言い換えられ冊 [6, 7, 8] と山川出版社の用語集 1 冊 [9] を用いていているる。Indri では、教科書は 1 つの段落、用語集は 1 つの用語とその説明文を 1 パッセージ（文書）として文字 unigram でインデキシングしている。しかしなが3 完全一致で検索できない事例の分ら、従来手法では検索クエリと完全一致する記述を含析
むパッセージのみを検索しており、検索クエリと表現が異なるパッセージを検索することはできなかった。
従来手法の検索モジュールでは、指定語句（検索ク例えば、図 1 で示す東大の過去問 2008 年の指定語エリ）との完全一致による検索を行っているため、検句には「第 1 回万国博覧会」があり、この問題に対す索結果に解答に必要とされるパッセージが含まれない
る赤本7 の模範解答には「イギリスは第 1 回万国博覧会場合がある。そのため、解答に必要な記述を含むパッを開催して圧倒的な国力を誇示し」という記述が存在セージが指定語句の完全一致では検索できない事例をする。知識源の中には、この模範解答の記述と同等の人手で調査した。調査対象としたデータは、2007 年か内容を含むパッセージとして、図 2 に示すパッセージ
ら 2013 年までの東京大学入試における世界史科目第が存在するが、指定語句である「第 1 回万国博覧会」一問の 7 問である。完全一致で検索できなかった事例という表現が含まれていないため従来手法で検索するは全部で 121 件あった。これらの事例を分析すると、ことはできなかった。このパッセージを検索するため
表 1 に示す 5 つの要因に類型化できることが分かった。には、「万国博覧会」や「ロンドン8 」などを検索クエ
表 1 に各要因に該当するパッセージ数を示す。ただし、リとして用いる必要があると考えられる。
複数の要因があるパッセージも存在するため、合計は121 件にならない。
第 1 のタイプは「指定語句の構成語がパッセージ中に散在している」場合（以下、散在型）であり、その例を図 3 に示す。指定語句を構成する語（構成語）に
4 http://www.lemurproject.org/indri/
は、図中で下線を引いている。指定語句の「大西洋三5 https://www.yamakawa.co.jp/
角貿易」の構成語である「大西洋」と「三角貿易」が6 https://www.tokyo-shoseki.co.jp/
7 https://akahon.net/
パッセージ中の別の場所にそれぞれ記述されている。
8 第 1 回万国博覧会の開催地― 903 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

図 6: 指定語句の構成語が上位概念語により言い換えられている

図 8: 調査の流れ
図 7: 指定語句の構成語がシリーズの番号で言い換えられている

表 2: 調査の結果
検索クエリ
再現率
完全一致（従来手法）
0.649
構成語の集合
0.816

適合率
0.348
0.322

これに該当する事例は 85 件あった。
第 2 のタイプは「指定語句の構成語が異表記である」場合（以下、異表記型）であり、その例を図 4 に示す。
指定語句の「ハイチ独立」の構成語である「ハイチ」 らない。したがって、指定語句を構成語に分解し、構がパッセージでは異表記の「ハイティ」となっている。 成語を全て含むパッセージを検索することで、従来手これに該当する事例は 6 件あった。
法で検索できなかったパッセージがある程度検索でき
第 3 のタイプは「指定語句の構成語が同義語により るようになるのではないかと考えた。なお、解答では言い換えられている」場合（以下、同義型）であり、そ 指定語句の表現をそのまま用いる必要がある。そのたの例を図 5 に示す。指定語句の構成語である「廃止」、 め、指定語句を構成語に分解するなどして検索クエリ「王令」、「プランテーション」がパッセージでは同義 の制約を緩めた場合に得られたテキストにおいて、対語の「撤廃」、「勅令」、「大農園」となっている。これ 応する箇所を指定語句に言い換える必要がある。しかに該当する事例は 34 件あった。
しながら、本稿ではその点について扱わない。今後の第 4 のタイプは「指定語句の構成語が上位概念語に 課題である。
より言い換えられている」場合（以下、上位概念型）であり、その例を図 6 に示す。指定語句の構成語である「代数学」や「ハイチ」がパッセージでは上位概念 4構成語に分解した検索クエリの調の「数学」や「ラテンアメリカ諸国」となっている。こ査
れに該当する事例は 50 件あった。
第 5 のタイプは「指定語句の構成語がシリーズの番指定語句を構成語に分解した検索クエリを用いるこ号で言い換えられている」場合（以下、シリーズ型） とで、パッセージの検索精度にどのような影響があるであり、その例を図 7 に示す。指定語句の構成語であ かを調査する。調査の流れを図 8 に示す。与えられたる「万国博覧会」は複数回開催されたシリーズの概念 問題文から指定語句を抽出し、指定語句を形態素解析であり、番号の「第 1 回」によって「ロンドン万国博覧 器 MeCab10 を用いて解析する。解析結果の形態素の集会」を示している。これに該当する事例は 3 件あった。 合を構成語の集合として検索クエリを生成する。従来以上の事例を概観すると、指定語句の多くが複合語 手法と同じ Indri による検索モジュールを用いて ANDであり、完全一致で検索できなかったパッセージにお 検索し、パッセージ集合を求める。
いても、それぞれの構成語が（同義語や上位概念など調査対象は、3 節の分析対象と同じ、2007 年から表現が違っても）基本的には全て含まれているといえ 2013 年までの東京大学入試における世界史科目第一問
る9 。ただし、それらの構成語が連続して現れるとは限 の 7 問である。7 問で示された指定語句は全部で 56 語
9 唯一の例外は、「第 1 回万国博覧会」の指定語句に関連する「世界各国の科学技術の成果を一堂に集めて展示する万国博覧会もひらかれるようになった」というパッセージで、「ひらかれるようになった」という記述から暗に「第 1 回」であることを示しているが、対応する構成語が含まれているわけではない。

句であったが、構成語に分解するのが適切ではない人
名と国名を除外した 49 語句について調査した。比較
10 http://taku910.github.io/mecab/― 904 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

改善率

表 3: 構成語の集合を用いることによる類型ごとの改善率
散在型
異表記型
同義型
上位概念型
0.624 (53/85) 0.000 (0/6) 0.588 (20/34) 0.180 (9/50)

シリーズ型
0.333 (1/3)

対象として、従来手法と同じ、指定語句をそのまま検 較して、構成語の集合の AND 検索を用いた場合は、適索クエリとして完全一致で検索した場合と比較した。 合率が 0.348 から 0.322 に僅かに低下したものの、再検索精度の指標として再現率 R と適合率 P を用い、 現率が 0.649 から 0.817 に上昇した。今後、分析結果
模範解答の記述と同等の内容を含むパッセージ（重要 を基にしたクエリ拡張手法を開発したいと考えている。
パッセージ）がどの程度検索できたかを以下の式で計算した。

R=

P

=

検索された重要パッセージ数
重要パッセージ数検索された重要パッセージ数検索されたパッセージ数

謝辞

(1)
(2)

本研究の一部は、JSPS 科研費 16K00296 の助成を受けたものである。

調査結果を表 2 に示す。指定語句を検索クエリとしてそのまま用いた場合と比較して、構成語の集合の AND 参考文献
検索を用いた場合は、適合率が 0.348 から 0.322 に僅[1] 新井紀子, 松崎拓也. ロボットは東大に入れるか?かに低下したものの、再現率が 0.649 から 0.817 に上国立情報学研究所「人工頭脳」プロジェクト. 人昇した。文献 [3] のシステムにおいて、検索部が要約
工知能学会論文誌, (2012).
部の前処理であることを考慮すると再現率を重視した[2] Hideyuki Shibuki, Kotaro Sakamoto, Madoka
方が良いと考えられ、適合率の減少も相対的に小さい
Ishioroshi, Yoshinobu Kano, Teruko Mitamura,
ことから、構成語の集合の AND 検索を前提としたクTatsunori Mori, Noriko Kando. Overview of theエリ拡張を行った方が良いと考えられる。
NTCIR-13 QA Lab-3 Task. Proceedings of the
構成語の集合の AND 検索が、表 1 で示した類型に13th NTCIR Conference, 2017.
どのように効果があったかを考察する。表 3 に、類型ごとの改善率を示す。括弧内は、分母が指定語句の完全[3] 阪本浩太郎、 中山周、 渋木英潔、 石下円香、 森
一致で検索できなかったパッセージ数（表 3 参照）、分辰則、 神門典子. 東大入試世界史第 1 問 (大論子が構成語の集合で検索できるようになったパッセー述問題) を解く質問応答システムの検討. 言語処ジ数である。散在型、同義型、シリーズ型、上位概念
理学会第 22 回年次大会発表論文集, pp. 553556,型、異表記型の順に改善率が高かった。しかしながら、(2016).
構成語に分解する方法が最も適していると思われた散在型においても 6 割程度の改善率であった。3 節で述べ
[4] 福原優太, 阪本浩太郎, 渋木英潔, 森辰則. 世界史
たように、検索できないパッセージには複数の要因が論述問題における模範解答−知識源の対応を表すあるため、該当する全ての要因を解決しなければパッアノテーションの検討. 言語処理学会第 23 回年次セージを検索できない。そのため、今後、異表記や同大会発表論文集, pp. 593–596, 2017.
義語などによるクエリ拡張を行うことで改善していき[5] 株式会社山川出版社・世界史 B 詳説世界史 改訂たい。
版 (世 B 016)

5[6] 東京書籍株式会社・世界史 A(平成 20 年度発行)

まとめ

本稿では、世界史分野において、問題文と知識源の間でどのような表現の言い換えが行われているかを分析し、問題文の表現をそのまま検索クエリとして用いた場合と比較して、問題文の表現を形態素に分解した構成語の集合を用いた場合にどのような影響があるかを調査した。完全一致で検索できない要因を人手で調査した結果、散在型、異表記型、同義型、上位概念型、シリーズ型の 5 つの類型があることが分かった。また、指定語句を検索クエリとしてそのまま用いた場合と比[7] 東京書籍株式会社・新撰世界史 B(平成 19 年度発行)[8] 東京書籍株式会社・世界史 B(平成 19 年度発行)[9] 株式会社山川出版社・世界史用語集 改訂版 (平成20 年度発行)― 905 ―

Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.