言語処理学会 第24回年次大会 発表論文集 (2018年3月)

NTCIR-13 QA Lab-3 における大論述問題の事例分析
渋木 英潔 †1 阪本 浩太郎 †1†2 石下 円香 †2狩野 芳伸 †3 三田村 照子 †4 森 辰則 †1 神門 典子 †2†5†11横浜国立大学 †2 国立情報学研究所 †4 静岡大学
†3カーネギーメロン大学 †5 総合研究大学院大学

はじめに

我々は、現実世界における質問応答システムの実現を目指して、NTCIR ワークショップにおいて QA Labタスクをこれまで 3 回開催している [1, 2, 3]。QA Lab
では周囲の文脈理解や高度な推論を要する現実世界の問題の一つとして世界史の大学入試問題を用いたタスクを設定しており、国内外の研究者が多く参加している．大学入試問題には多肢選択問題や語句記述問題など多様な出題形式があるが、中でも論述問題が非常に困難な課題であることが QA Lab-2 の結果1 からも伺えた。そのため、QA Lab-3 では特に論述問題に焦点を当てたタスクを設定した。
論述問題は、解答の制限字数の観点から数百字前後
図 1: 大論述問題の例の大論述問題と百字前後の小論述問題に分類できる。
大論述問題の例を図 1 に示す。大論述問題はその長さは毎年 1 問出題されるので 15 問存在し、その内、5 問から複数のサブトピックを含んでおり、それらのサブをトレーニングデータ3 とし、10 問をテストデータ4 とトピックをどのような構成で記述するかについて考慮した。入試問題の記述をそのまま用いた日本語タスクする必要がある。QA Lab-2 では論述問題を、問題文とそれを英訳した英語タスクがあり、日本語の論述問のトピックに合わせて教科書などの知識源を要約する
query-biased summarization[4] の一種とみなし、要約 題タスクに参加したチーム数は延べ 8 チーム、チームごとに複数のシステムによる提出を許可したため、提の評価手法である ROUGE[5] や Pyramid 法 [6, 7] を出された解答ファイル数は 23 ファイルであった5 。提用いて評価していた2 。ROUGE や Pyramid 法は参照
出された解答ファイルの中には大論述の部分を白紙解要約（模範解答）との内容の一致度を測る指標であり、答にしていたものもあったため、最終的な大論述問題構成的な部分に関する評価は行われない。それゆえ、
QA Lab-3 では、QA Lab-2 までの評価に加えて、内容 の解答数は 458 となった。本稿では、この 458 解答を対象に分析を行う。
以外の観点からの quality questions による評価を行った。本稿では、QA Lab-3 に提出された大論述問題を対象に quality questions による評価を中心とした事例分析を行い、現状と課題を示す。

2NTCIR-13 QA Lab-3

QA Lab-3 では、論述問題の対象として、東京大学の第 2 次学力試験試験問題（世界史）の 2000 年から2014 年までの 15 年分を用いた。大論述に該当する問題
1 二次試験には 2 チームからの 6 解答しか提出されなかった。
2 総合的な評価として、人間の専門家による採点も行っている。

3 2003、2005、2007、2009、2011 の 5 年分
4 テストランは 2017 年 2 月と 5 月の２回のフェイズで行われた。
フェイズ１は 2000、2004、2008、2012、2013 の 5 年分、フェイズ２は 2001、2002、2006、2010、2014 の 5 年分を用いた。
5 QA Lab-3 のタスクの詳細は文献 [3] を参照されたい。

― 496 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

3

評価指標

3.1

専門家による採点

各項目は、以下の A(excellent)–D(poor) の 4 段階で評価した。

A. 問題なし。スラスラ読める。

同一の評価基準6 を用いて、2 人の専門家により採点をしてもらった。予算の都合により全ての解答を採点することできず、各チームが自分たちの解答につけた優先順位に従って採点する解答を選別した7 。

3.2

Pyramid 法

3.3

quality questions

B. 比較的容易に理解（修正）可能な誤りが一部にみられる。
C. 多くに誤りがみられる。または、理解するのにかなりの労力を要する誤りがある。

D. 理解不能。まったく読めない。
Pyramid 法で用いる nugget は 3 名の専門家により個別に作成され、作成された nugget に対して 0（全く 参加者は上記のガイドラインに従って、他の参加者が無関係）から 3（非常に重要）の整数値で 3 名の専門 提出した解答を評価した。評価の際には、内容の真偽家に投票してもらった。結果として、各 nugget には、 は問わないことを強調し、例え、内容的に虚偽の記述その重要度を表す 18 –9 の重みが付いている。各解答 であっても文法的に問題なければ grammaticality に Aのスコアは、解答中に含まれる nugget の重みの総和 をつけるよう指示した。
で計算される。

4事例分析

表 1 と表 2 に、2 名の専門家による採点と Pyramid
QA Lab-2 の時の解答を分析した結果を踏まえて、 法によるスコアの分布をそれぞれ示す。ほとんどの解
DUC9 や TAC の Guided Summarization タスク10 に 答が 0 点と採点される結果となった。したがって、まおける quality questions を参考とした結果、QA Lab- だまだ改善の余地が残されている状態だといえる。
3 では、以下の 5 項目に対する quality questions を用
表 3 に、quality question における参加者による評点いた。の分布を示す。未評価の解答もあったため、Total に評価がつけられた解答の総数を示す。また、A を 4 点、B• gramaticality 助詞の使い方や自動詞/他動詞のを 3 点、C を 2 点、D を 1 点として Total で割った平均値
区別などの文法的な観点からの品質。
を Ave. に示す。Ave. の値は、non-redundancy(3.73)、grammaticality(3.64)、fluency(3.46)、coherence and• non-redundancy 同じような内容が繰り返されcontent structure(2.66)、reference clarity(2.63) の順ていないかなどの冗長性の観点からの品質。となり、特に reference clarity と coherent and content• reference clarity 「いつ、どこで、誰が、何を structure が低かったことが分かる。また、表中の分布したか」が明確かなどの参照先の明瞭性の観点
から D と評価された数が増加しており、対処の度合いからの品質。
が不十分というよりも、全く対処できていない解答が• fluency 一文が長すぎる/短すぎるや、句読点が 多かったことを示している。
grammaticality が高い値であったのは、QA Lab-3過剰/皆無などの可読性の観点からの品質。に参加したシステムが教科書等からの文抽出を基本と• coherence and content structure 因果関係 したものであったためと考えられる。grammaticalityなどの意味的なものを含めた一貫性や文章構造 が D と評価された解答の例を以下に示す。の適切性の観点からの品質。評価者が専門知識 gramaticality が D の例を得るために教科書や用語集などを利用しても国際連盟脱退は日本は、連盟総会で基づく満州撤よいこととした。
兵などの勧告案が、42 対 1 で採択されたのを不満
6 評価基準は「○○について書かれていれば+α 点」、「前後のつとして脱退した。
ながりが不明瞭なら-β 点」のように加点や減点のポイントが端的に 
書かれている。
7 2 人の専門家が採点した解答集合の関係は他方を完全に包含し 「日本は」以降の記述は国際連盟脱退の説明であるが、ている関係ではなく一部が重複している関係である。
それ単独では何についての説明であるか読み手に伝わ8 作成者が 0（全く無関係）を投票することはありえないため最らない。それゆえ、「国際連盟脱退は」という記述を文
低値は 1 となる。
9 http://duc.nist.gov/duc2007/tasks.html
頭に追加したと思われるが、結果として非文となって
10 http://www.nist.gov/tac/2011/Summarization/GuidedSumm.2011.guidelines.html― 497 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 1: 専門家の採点結果

専門家 A
専門家 B

56
210(84.8%)(67.7%)

59

1–10(7.6%)(29.0%)

11–20
4 (6.1%)1 (3.2%)21–30
0 (0.0%)0 (0.0%)10

31–(1.5%)(0.0%)

Total
6631

表 2: Pyramid スコアの結果

4960(69.6%)

146

1–50(20.5%)

24

51–100(3.4%)

101–150
25 (3.5%)

151–200
15 (2.1%)

7201–(1.0%)

Total
713

いる。文抽出後の加工に関してまだ改善の余地がある 「復活であった」で終わる文と「そして」で始まる文がと思われる。
連続して書かれたものと思われる。しかしながら、前non-redundancy も高い値であり、サブトピックごと 者の文には句点がなく、後者の文は体言止めであったに 1 文を選択するなどの方法で、冗長的な記述を抑制 ため、結果として非常に可読性が低い記述となっていすることができていると考えられる。non-redundancy る。また、fluency が D の場合、他の指標も D となるこが D と評価された解答の例を以下に示す。とが多く、この例では、fluency の他に grammaticalityと coherence and content structure も D であった。句
non-redundancy が D の例
点の有無や体言止めか否かなど、比較的容易に判断可（略）カイロの中心は、ナイル川東岸にほど近い
能かつ細かな点ではあるが、こういった処理を怠るとタハリール広場である。その北東にはオスマン時様々な点で悪影響が表れるといえる。
代には湖であったところをムハンマド・アリー朝
reference clarity が D と評価された解答の例を以下時代に埋め立てて作ったイズベキーヤ公園がある。に示す。
また、タハリール広場から東に 400m ほどのとこreference clarity が D の例
ろにムハンマド・アリー朝の王宮であり、現大統領府であるアブディーン宮殿がある。タハリール広アヘン戦争の原因をつくりだすことになる。さら場から南のナイル川沿いはガーデン・シティと呼にスペインやポルトガルの貿易独占に対抗するた
ばれ、イギリス統治時代にエジプト総督府がおかめ、ブラジルではサトウキビ=プランテーションれ開発が進められたエリアである。このタハリーを経営し、加わった。孫文は、病死した。禁止 (海ル広場を中心とした地域は新市街と呼ばれ、19 世禁) された。（略）紀のムハンマド・アリー朝の時代に都市開発がす問題が要求する内容を含まない句や節などを不要と判すめられた地域で、現在でもカイロの中心である。

断して削除することで文内要約を行った結果、その文「タハリール広場」や「ムハンマド・アリー朝」といっ 単独では何を意味しているか不明瞭になったものと思た重要語句を含む文集合を書いた結果、同じような内 われる。したがって、問題の要求だけではなく、通常容の繰り返しになったものと思われる。しかしながら、 の文として成立するかどうかも考慮して削除を行う必それぞれの文には「イズベキーヤ公園」や「アブディー 要があると考えられる。
ン宮殿」など特有の記述も含まれており、単純に前後
coherent and content structure が D と評価されたの文に包含されているというわけではない。これは、 解答の例を以下に示す。
単純な文抽出によるアプローチの限界を示していると考えられ、複数の文を 1 文にまとめるような処理が必要であると考えられる。
fluency が D と評価された解答の例を以下に示す。
fluency が D の例（略）19 世紀のキリスト教の特徴は、プロテスタントの大部分の福音派の復活であったそして後に現代の聖書奨学金が教会に及ぼす影響。
― 498 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.

表 3: quality question の結果

grammaticality
non-redundancy
reference clarity
fluencycoherence etc.

587
576
277
515
268

A
(83.1%)(81.7%)(39.3%)(73.0%)(38.2%)

3989
102
73
150


coherent and content structure が D の例B(5.5%)(12.6%)(14.5%)(10.4%)(21.4%)

26
18116
4457

C
(3.7%)(2.6%)(16.5%)(6.2%)(8.1%)

542221073
226

D(7.6%)(3.1%)(29.8%)(10.4%)(32.2%)

Total
706
705
705
705
701

Ave.
3.64
3.73
2.63
3.46
2.66



参考文献

その後、カール 5 世によって、ネーデルラント 17[1] Shibuki, H., Sakamoto, H., Kano, Y., Mita州がハプスブルク家の支配下に統合される。ニュー
mura, T., Ishioroshi, M., Itakura, K.Y., Wang,
ヨークやボストンの港は奴隷貿易港として栄える
D., Mori, T. and Kando, N.: Overview of theようになった。南アフリカ戦争、ブール戦争とも
NTCIR-11 QA-Lab Task, Proc. the NTCIR-11いう。ヨーロッパ統合は経済・市場統合にとどまConference, pp.518–529 (2014).
らず，さらに共通の外交・防衛政策を採用して政治統合をめざすヨーロッパ連合条約（マーストリ[2] Shibuki, H., Sakamoto, H., Ishioroshi, M., Fuヒト条約）が１９９３年に発効され，ヨーロッパ
jita, A., Kano, Y., Mitamura, T., Mori, T. and連合（ＥＵ）が成立した。（略）Kando, N.: Overview of the NTCIR-12 QA
 Lab-2 Task, Proc. the NTCIR-12 Conference,
抽出された文を時間順に並べているが、文の前後で場
pp.392–408 (2016).
所的にも内容的にもつながりがないため論旨の一貫性[3] Shibuki, H., Sakamoto, H., Ishioroshi, M., Kano,が感じられない。このことは抽出された文を時間順にY., Mitamura, T., Mori, T. and Kando, N.:
並べるだけでは、適切な論述構成とはいえないことをOverview of the NTCIR-13 QA Lab-3 Task,示している。
Proc. the NTCIR-13 Conference, pp.112–128(2017).

5まとめ

本稿では、NTCIR-13 QA Lab-3 の論述問題タスクに提出された 458 解答を用いた事例分析を行った。
QA Lab-3 では内容一致の観点に加えて、grammaticality、non-redundancy、reference clarity、fluency、coherence and content structure の 5 つの観点からのquality questions による評価を行った。その結果、現
在の解答は reference clarity と coherence and contentstructure の品質に問題があるものが多かったことが分かった。
本稿で述べた課題は世界史の大学入試問題に特有のものではなく、自動要約や長文生成などにも適用される一般的なものであり、課題を解決することでそういった技術の発展につなげていきたいと考えている。今後、さらに分析を進める予定である。

謝辞
本研究で用いた専門家による評価の一部を提供していただいた大学入試センター石岡恒憲教授に深く感謝いたします。

[4] Tombros, A. and Sanderson, M.: Advantagesof Query Biased Summaries in Information Retrieval, Proc. of the 21st Annual International
ACM SIGIR Conference on Research and Development in Information Retrieval, 2-10, (1998).
[5] Lin, C.Y.: ROUGE: A Package for Automatic
Evaluation of Summaries, Proc. of Workshop
on Text Summarization Branches Out, 74–81,(2004).
[6] Nenkova, A. and Passonneau, R.J.: Evaluating Content Selection in Summarization: ThePyramid Method, Proc. of the Human Language
Technology Conference of the North American
Chapter of the Association for ComputationalLinguistics, 145–152, (2004).
[7] Passonneau, R.J., Chen, E., Guo, W. and Perin,
D.: Automated Pyramid Scoring of Summaries
using Distributional Semantics, Proc. of the 51st
Annual Meeting of the Association for Computational Linguistics, 143–147, (2013).

― 499 ―

Copyright(C) 2018 The Association for Natural Language Processing.
All Rights Reserved.