2016/11/11

目次
質問応答システムの歴史―なぜ大学入試歴史科目問題を扱うのか？―
大学入試問題への取り組み

質問応答：ファクトイドから実世界・
大学入試歴史科目問題まで
横浜国立大学語句記述問題（factoid型質問）
論述問題（non-factoid型質問）
NTCIR QA Lab Taskへの招待

渋木 英潔
2016/11/10
インタラクティブ情報アクセスと可視化マイニング研究会

質問応答の歴史

実世界を考慮して質問応答とはNTCIR-5 CLQA Task (2004)◦ 自然言語で表現された質問に対して適切な回答を与える

自然言語理解や対話システムなどで黎明期から研究◦ SHRDLU (1972) ⇒ クローズドな世界◦ FAQ Finder (1997)

オープンドメイン質問応答が主流◦ 多言語質問応答

TREC-2015 Live QA Track◦ Yahoo Answersの質問に実時間（1分以内）で回答

NTCIR-11 QA Lab Task (2013)

ロボットは東大に入れるか（東ロボ）プロジェクトとも連携◦ TREC-8 QA Track (1999)◦ NTCIR-3 QAC Task (2001)◦ IBM Watson (2011)⇒ なぜ（クローズドな）大学入試歴史科目問題を扱うのか？

◦ 大学入試歴史科目（世界史）問題に回答

NTCIR QA Lab task

質問応答における課題

NTCIR (NII Testbeds and Community for InformaUon access Research )Project

知識源の不備Organizers

質問内容の理解◦ 情報検索、文書要約、情報抽出、質問応答などの情報アクセス技術を促進するための評価ワークショップ◦ 神門典子（国立情報学研究所）◦ 石下円香（国立情報学研究所）◦ 三田村照子（カーネギーメロン大学）◦ 渋木英潔（横浜国立大学）◦ 阪本浩太郎（横浜国立大学）◦ ⇒ オープンドメイン

適切な回答の生成

Advisers◦ 森辰則（横浜国立大学）◦ 狩野芳伸（静岡大学）

1

2016/11/11

入試問題の例2009年度 東京大学 世界史 第３問 問（２）フランス革命期，ジャコバン派の独裁体制が打倒され，穏和派の総裁政府が樹立されると，革命の徹底化と私有財産制の廃止を要求する一部の人々は，秘密結社を組織して武装蜂起を計画したが，失敗し弾圧された。この組織の指導者の名を記しなさい。
パンテオン・クラブ

A. バブーフ？

マラー
フランス革命のジャコバン派の指導者

質問を「正しく」理解する
ことが必要

入試問題を対象とする利点

大学入試歴史科目問題を扱った取り組み(1) 未解決課題を多く含み、その解決が技術の発展を促す

NTCIR-9 RITE (Recognizing Inference in TExt) Task (2010)◦ 周辺文脈の理解や推論など比較的高度な知的活動◦ 論述問題における比較的厳密な解答の適切性◦ センター試験（世界史）の正誤問題（yes/no型質問）

ロボットは東大に入れるか（東ロボ）プロジェクト (2011)(2) 模範解答が存在するのでシステムの評価がしやすい◦ 初期はセンター試験（日本史、世界史）(3) 参考書の解説などに解答までの道筋が示されているのでアルゴリズムの参考にできる

NTCIR-11 QA Lab Task (2013)◦ 2016成果報告会 日時：2016年11月14日（月）13：00-17：00 場所：一橋講堂◦ センター試験（世界史B）と二次試験（論述問題含む）

NTCIR QA Lab taskの展開
NTCIR-11 QA Lab◦ センター試験（世界史Ｂ）◦ 二次試験
◦ 東京大学、京都大学、北海道大学、早稲田大学、中央大学

NTCIR-12 QA Lab-2◦ ロボットは東大に入れるか（東ロボ）プロジェクトと連携して、予備校主催の模試に参加

NTCIR-13 QA Lab-3◦ 論述問題に焦点◦ h_p://research.nii.ac.jp/qalab/ Email: qalab-admin@nii.ac.jp（h_p://21robot.org/より転載）

2

2016/11/11

大学入試問題の分類

factoid型質問• Factoid（事実型）• Slot-Filling（穴埋め）• True/False（相対的正誤判断）• True/False Combo（絶対的正誤判断）yes/no型質問• Time（時系列）• Graph（グラフ）• Essay（論述）• Complex Essay（大論述）• 指定語句あり• 指定語句なし• Simple Essay（小論述）• 指定語句なし

non-factoid型質問

14（h_p://21robot.org/より転載）

Factoid（事実型）

Slot-Filling（穴埋め）・文内の複数個所が欠落している場合がある

選択肢は基本的に同じ質問タイプ
難度：
選択肢がある場合
Slot-Filling ＜ Factoid
選択肢がない場合
Slot-Filling ＞ Factoid

選択肢がある場合、
質問タイプの重要性低

15True/False（相対的正誤判断）

16

True/False Combo（絶対的正誤判断）

・各文単独で正誤判断する必要がある
・選択肢の中からもっとも正しい（間違っている）ものを選択

17

難度： True/False Combo ＞ True/False

18

3

2016/11/11

Time（時系列）

Graph（グラフ）・年表などの知識が必要
・画像認識などの
処理が必要

19

20

Complex-Essay（大論述）

Simple-Essay（小論述）

・複数の観点から述べる

政治の特徴

具体的な実例

・1つの観点から述べる

特徴を比較
21

22

質問形式ごとの問題数(QA Lab)
Factoid
Phase 1 CT

Slot Filling5

True/False

True/False Combo

5

Time

Graph

23

センター試験正解率（QA Lab-2）

Essay
1 1 1

Correct rates
0.8
0.7
0.6

Phase 2 CT

1

4

27

3

1

0.5

5

0.4
0.3
0.2
43

15 11 19

0

5大学合計
0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%
23

Baseline
CMUQA_01
CMUQA_02
CMUQA_03
IMTKU_01
IMTKU_02
IMTKU_03
ISOFT_01
ISOFT_02
KUAS_01
KUAS_02
KUAS_03
WIP_01
WIP_02WUQA_01
Forst_01
Forst_02
Forst_03
KitAi_01
KitAi_02
KitAi_03
KSU_01
KSU_02
KSU_03
NUL_01
NUL_02
NUL_03
SLQAL_01
SML_01
SML_02
SML_03
SML_04
SML_05
SML_06IMTKU_01
IMTKU_02
IMTKU_03
Forst+KitAi_01
Forst+KitAi_02
Forst+KitAi_03
Forst+SLQAL_01
IMTKU+KitAi_01

0.1
152

Phase 2 SE

EN

Phase-1

Phase-2

JA

Phase-3

Comb.
24

4

2016/11/11

factoid型正解率（QA Lab-2）

non-factoid型正解率（QA Lab-2）

Correct rates of named enUty quesUons

ROUGE-1 scores of essay quesUons
0.45
0.4
0.35
0.3
0.25
0.2
0.15
0.1
0.05
0

0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1

EN

Phase-1

Phase-2

IM

IM

IM

IM

TK
U_
01
TK
U_
02
IM
TK
U_
03
Fo
rs
t_
01
Fo
rs
t_
02
Fo
rs
t_
03
Fo
rs
t_
04
Fo
rs
t_
05
SM
L_
01
SM
L_
02
SM
L_
03
SM
L_
04
SM
L_
05

TK
U_
01
TK
U_
02
IM
TK
U_
03
Fo
rs
t_
01
Fo
rs
t_
02
Fo
rs
t_
03
Fo
rs
t_
04
Fo
rs
t_
05
SM
L_
01
SM
L_
02
SM
L_
03
SM
L_
04
SM
L_
05

0

JA

EN

Phase-3

Phase-1

Phase-2

JA

Phase-3

次スライドから我々（Forst）が開発しているシステムの紹介

25

26

問題例
• イル＝ハン国はガザン＝ハンの時にイスラーム教を国教化し，現地民との融和を図った。一方で，この時期にはモンゴル帝
国の歴史をまとめた『集史』が編纂されるという対照的な出来事も起きている。『集史』の編纂を主導したイル＝ハン国の宰相の名前を記しなさい。
• 解答：「ラシード・ウッディーン」

語句記述問題factoid型質問• 問題文は複数文から成る• 文章ではなく語句での解答

語句記述問題解答システムの概要
質問文

質問文解析

問題文のすべての文を質問文として入力

質問文

質問文から情報を抽出• 質問の話題（キーワードなど）• 質問文中の名詞，動詞• 質問の内容（質問焦点から質問タイプを決定）

関連文書の検索

解候補の抽出

解候補選択

解候補

語句記述問題解答システムの概要

質問文解析

キーワード群
イル＝ハン国，ガザン＝ハン，イスラーム教，国教，化，現地，
民，融和，図っ，時期，モンゴル帝国，歴史，まとめ，集史，編纂，対照的，出来事，起き，主導，宰相

キーワードを用いて関連文書を検索

• 教科書
• 用語集

関連文書の検索質問焦点：「宰相」
質問タイプ：人名• 典型的な質問タイプ：
人名，地名，組織など• 世界史に特化した質問タイプ：
言語，文明，宗教，建造物など

質問文
イル＝ハン国はガザン＝ハンの時にイスラーム教を国教化し，現地民との融和を図った。一方で，この時期にはモンゴ
ル帝国の歴史をまとめた『集史』が編纂されるという対照的な出来事も起きている。『集史』の編纂を主導したイル＝ハン国の宰相の名前を記しなさい。

解候補の抽出

解候補選択

解候補

関連文書から解候補を抽出(名詞，名詞連続の複合語)検索された関連文書(抜粋)

ガザン・ハンの宰相であったラシード・ウッディーン
は，ペルシア語でモンゴル人中心の歴史書『集史』
を著した。

5

2016/11/11

タイプ

サブクラス

固有表現

終了年

関連情報

人名

宰相

ラシード・ウッディーン 1249

開始年

1318

イル・ハン国1639

1699

語句記述問題解答システムの概要
人名
作家
ラシーヌ
フランス
言語

言語

質問文民族
民族

質問文解析

関連文書の検索

解候補の抽出

解候補選択

解候補

ペルシア語
モンゴル人

601

モンゴル高原質問文
・・・『集史』の編纂を主導したイル＝ハン国の宰相の名前を記しなさい。
質問タイプ：人名

1.解候補に解答らしさのスコアをつける
2.スコアが最も高い
解候補を出力【尺度】(スコアは積算)• 抽出元の文にキーワードが含まれる度合い• 質問タイプの一致度(辞書を利用)結果と今後の課題• QA Lab-2 Phase-2では8/10点• ただし、Phaseごとのバラつきが大きく安定した結果を残せていない• 今後の課題• 知識源の不備• タイプ-サブクラスの不備• 「皇帝の父の名」のような質問• タイプが一致するか• サブクラスが質問焦点と一致す
るか• 時間情報が質問文と一致するか• 関連情報が質問文にあるか

論述問題の種類小論述問題 （２００５年東京大学前期試験世界史大問２問１）
問題文大論述問題 （２００７年東京大学前期試験世界史大問１）

論述問題

問題文

non-factoid型質問
指定語句

大論述問題と模範解答

２００７年東京大学前期試験世界史大問１

指定語句あり論述 ２００７年東京大学前期試験世界史大問１
問題と模範解答

質問の内容「農業生産の変化とその意義を述べなさい」

直接関係
ないもの
Keywords

赤本の模範解答
中世西ヨーロッパでは、１１世紀頃から普及した三圃制農法が犂・水車の改良とあいまって農業生産力を増大させ、人口増加とそれに伴う都市の発展や東方植民の原因となった。同時期の中国では、宋代にベト
ナムから日照りに強い占城稲が導入され、長江下流の水稲地帯で集約的農法が発展したが、明代になると長江下流では家内制手工業が盛んとなり、原料である綿花や桑の栽培が普及したため、米の主産地は「湖広熟すれば天下足る」といわれるように長江中流域に移動した。１６世紀以降にはアメリカ大陸のトウモロコ
シが家畜の飼料として世界各地に普及し、アンデス原産のジャガイモは主にヨーロッパの寒冷地に拡大してその人口増を支えたがアイルランドでは１９世紀半ばの「ジャガイモ飢饉」によって多くの餓死者とアメリカへの移民を生むことになった、一方、１８世紀のイギリスではノーフォーク農法や第２次囲い込みに代表される
農業革命によって農業の資本主義化が進み、この結果土地を失った農民は都市に流入して産業革命を支える労働力となった。また産業革命によって台頭した産業資本家の要求により、地主保護のため制定されていた穀物法廃止が実現し、イギリスでは自由貿易体制が確立した。

指定語句：
湖広熟すれば天下足る アイルランド トウモロコシ 農業革命

赤本の模範解答

中世西ヨーロッパでは、１１世紀頃から普及した三圃制農法が犂・水車の改良とあいまって農業生産力を
穀物法廃止
三圃制
アンデス
占城稲
増大させ、人口増加とそれに伴う都市の発展や東方植民の原因となった。同時期の中国では、宋代にベト
ナムから日照りに強い占城稲が導入され、長江下流の水稲地帯で集約的農法が発展したが、明代になると長江下流では家内制手工業が盛んとなり、原料である綿花や桑の栽培が普及したため、米の主産地は「湖広熟すれば天下足る」といわれるように長江中流域に移動した。１６世紀以降にはアメリカ大陸のトウモロコ
アンデス原産のジャガイモはシが家畜の飼料として世界各地に普及し、アンデス原産のジャガイモは主にヨーロッパの寒冷地に拡大してその人口増を支えたがアイルランドでは１９世紀半ばの「ジャガイモ飢饉」によって多くの餓死者とアメリカへ
主にヨーロッパの寒冷地に拡大してその人口増を支えたの移民を生むことになった、一方、１８世紀のイギリスではノーフォーク農法や第２次囲い込みに代表される
農業革命によって農業の資本主義化が進み、この結果土地を失った農民は都市に流入して産業革命を支える労働力となった。また産業革命によって台頭した産業資本家の要求により、地主保護のため制定されていた穀物法廃止が実現し、イギリスでは自由貿易体制が確立した。

質問内容にあった使われ方をしている記述を見つける62016/11/11

指定語句あり論述 ２００７年東京大学前期試験世界史大問１
問題と模範解答東京大学世界史大問１

字数制限
５１０字以内

指定語句数： ７～９つ
制限文字数： １５行～２０行（１行３０文字）大論述の処理概要
指定語句:
三圃制
占城稲

記述の長さ
指定語句数： ８つ
例えば、赤本の模範解答
制限の５１０文字÷８文（指定語句を含む文）
中世西ヨーロッパでは、１１世紀頃から普及した三圃制農法が犂・水車の改良とあいまって農業生産力を増大させ、人口増加とそれに伴う都市の発展や東方植民の原因となった。同時期の中国では、宋代にベト
ナムから日照りに強い占城稲が導入され、長江下流の水稲地帯で集約的農法が発展したが、明代になると＝１文あたり平均６３．７５字 ⇒ 短い
長江下流では家内制手工業が盛んとなり、原料である綿花や桑の栽培が普及したため、米の主産地は「湖広熟すれば天下足る」といわれるように長江中流域に移動した。１６世紀以降にはアメリカ大陸のトウモロコ
シが家畜の飼料として世界各地に普及し、アンデス原産のジャガイモは主にヨーロッパの寒冷地に拡大してその人口増を支えたがアイルランドでは１９世紀半ばの「ジャガイモ飢饉」によって多くの餓死者とアメリカへの移民を生むことになった、一方、１８世紀のイギリスではノーフォーク農法や第２次囲い込みに代表される
農業革命によって農業の資本主義化が進み、この結果土地を失った農民は都市に流入して産業革命を支える労働力となった。また産業革命によって台頭した産業資本家の要求により、地主保護のため制定されていた穀物法廃止が実現し、イギリスでは自由貿易体制が確立した。

字数制限を越えないようにしながら回答を生成

Outline

指定語句を含む文の集合:

文検索選択された文:三圃制の農法が多く各集合から１文選ぶ
解候補の適切性による の地域に普及…
文の組合せの選択…占城稲という生長の早い稲が…
文選択
こうした変化は農業革命とよばれ…

農業革命

知識源
出力:

時間順に並び替え
並び替え

三圃制の農法が多くの地域に普及…
こうした変化は農業革命とよばれ…
…占城稲という生長の早い稲が…

QuesKon analysis
QuesUonQuesUon analysis
Passage retrieval
Sentence extracUon

QuesUon• Extract using regular expression

QuesUon analysis• Keywords (KW)
• Length limitaUon (LL)

Passage retrieval
Sentence extracUon• Time range (TR)

Sentence ﬁltering
Answer candidate
generaUon

Sentence ﬁltering• Sets of content words (SoCW) per sentence

Answer candidate
generaUon

Scoring and ranking

Scoring and ranking

Essay

Essay

２００７年東京大学前期試験世界史大問１

大論述の制約

QuesKon analysis
Time range

Length limit(1 line = 30 characters)

Keywords

11世紀から19世紀までに17行以内で• Extract using regular expression• Keywords (KW)
• Length limitaUon (LL)
• E.g. “17行以内で”• Convert to character length such as “510 chars”• Time range (TR)• E.g. “11世紀から19世紀までに”• Convert to normalized expression like [1001 - 1900]• Sets of content words (SoCW) per sentence• Used as representaUon of quesUon statements

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs

QuesUonQuesUon analysis
Passage retrieval
Sentence extracUon
Sentence ﬁltering
Answer candidate
generaUon
Scoring and ranking
Essay

7

2016/11/11

Passage retrieval

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs

• Resources• Four high school textbooks• A glossary for university entrance exams• Passage isSentence extracKon
QuesUon analysis

For eachpassage

Passage retrieval

Passage11

Sentence extracUon

Passage retrieval
Sentence112

Sentence extracUon

Passage12

Sentence113

Sentence ﬁltering

Sentence ﬁltering
Passage13• Retrieve using keywords

Sentence114

Answer candidate
generaUon• Passage sets per keyword

Answer candidate
generaUon

Scoring and ranking
Passagesfor KW1

Passagesfor KW2

Passagesfor KW3

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs
13th
century

For eachpassage
Passage11

extract
Passage12

Using rules

Sentence112
TR: 1451-1506

Columbus

Sentence114
TR: 1939-1945

QuesUon

Passagesfor KW2

Passagesfor KW3

Essay

Answer candidate
generaKon

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs

QuesUon analysis

Sentence111
TR: 1201-1300

Sentence113
TR: ???-???

Passage13

Scoring and ranking
Passagesfor KW1

Essay

Sentence ﬁltering

QuesUon analysis

WW2

Using glossary data

Passage retrieval

Sentence111

Sentence211

Sentence311

S311+S111+S211

Sentence112

Sentence212

Sentence312

S111+S312+S211

Sentence extracUon

Sentence113

Sentence221

Sentence313

S111+S211+S313

Sentence ﬁltering

Sentence122

Sentence231

Sentence321

Sentence131

Sentence232

Sentence322

Sentence121

×Sentence222

×Sentence314＝

S111+S211+S314
S311+S111+S212
S111+S312+S212

If length is over the limit…

Answer candidate
generaUon
Scoring and ranking

Passagesfor KW2

QuesUongenerate

Filtering

Passagesfor KW1

QuesUonQuesUon analysis

Sentence111

extract• Paragraph in the textbooks• ExplanaUon of a term in the glossary

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs

QuesUon

Passagesfor KW3

Essay

Passage retrieval
Sentence extracUon
Sentence ﬁltering
Answer candidate
generaUon
Scoring and ranking

Passagesfor KW1

Passagesfor KW2

Passagesfor KW3

Essay

大論述の出力結果（２００７年東京大学世界史大問１）
Number of SoCW’s words included in sentence
Number of SoCW’s words

Scoringand ranking
Sentence111+

Sentence211

Average score of between
the sentence and SoCWs+

Sentence311

Sum ofscores＝

KW: 三圃制 etc.
LL: 510 chars
TR: 1001 – 1900
SoCWs

QuesUon analysis
generate
S311+S111+S211

Sentence112

Sentence212

Sentence312

S111+S312+S211

Sentence113

Sentence221

Sentence313

S111+S211+S313

Sentence121

×Sentence222

×Sentence314

Sentence122

Sentence231

Sentence321

Sentence131

Sentence232

Sentence322＝

QuesUon

S111+S211+S314
S311+S111+S212…

Passage retrieval
Sentence extracUon
Sentence ﬁltering
Answer candidate
generaUon
Scoring and ranking

Passagesfor KW1

Passagesfor KW2

Passagesfor KW3

Essay

この時代はおおむね気候が温和で、三圃制の普及や犂・水車の改良など農業技術の進歩により農業生産は増大し、人口も飛躍的にふえた。トウモロコシのほかにもジャガイモ、トマト、カボチャ、カカオ豆などが栽培され、のちに世界各地に伝えられることになった。明末には長江中流域の湖広(現在の湖北・湖南省)が新たな穀倉地帯となり、「湖広熟すれば天下足る」と称せられた。11世紀ころ、占城稲という生長の早い稲がヴェ
トナム方面から伝えられ、台地や海岸部の水利の悪い土地に栽培されるようになった。ペルーのアンデス山地でも高度な文明が生まれていたが、14世紀なかば、ペルー南部高原のインカ族がクスコを都として勢力を強め、15世紀には多くの国を統一して大帝国となった。経済と社会の産業化ヨーロッパの人口増大と農業革命イギリス・オランダ・北フランスなど北西ヨーロッパを先頭にして、西ヨーロッパでは、18世紀前半には休耕地を設けない輪作法など新農法が普及して農業生産力が増大し、食糧事情は好転した。そのイングランドが周辺のケルト系のウェールズやスコットランド、アイルランドなどを併合や征服することによって、1801年
以来、現在の連合王国になったのである。

8

2016/11/11

Result

今後の課題• NTCIR-12 QA Lab-2 task

• 言い換えや要約などの活用• 600字÷25項目＝24字• Ex.「395年、ローマ帝国は東ローマ帝国と西ローマ帝国に分裂した。
その結果…」⇒「東西分裂後…」• Used data

• University of Tokyo from 2000 to 2011
• Sundai mock exam on Aug, 2016

• EvaluaUon• ROUGE-1 score (using model answer as reference)• Human expert’s marks (only Sundai mock exam)
ROUGE-1 score
Human expert’s marks• 「正しいが重要ではない」記述• 質問の意図（文脈）の理解 ⇒ 適切な回答

Phase-1

Phase-2

Phase-3

0.546

0.541

0.592

-

9/26

The average of highschool students’ marks
was 4.3• 知識源の信憑性• 現在では誤りとされる説、用いられない語句• 自動評価手法の確立

QuesKon and Answer Data
• Training Data

NTCIR-13 QA Lab-3への招待• 8 years of NaUonal Center Test (JA and EN)• 5 years of Second-stage ExaminaUons for 5 univs (JA and EN)• 11 years of Essay quesUons of 2 univs’ entrance exams (JA)• Nugget data for 11 years of Essay quesUons of 2 univs’ entrance exams (JA)• 9 years of Mock Exams for NaUonal Center Test (JA)• 5 years of Mock Exams for the University of Tokyo entrance exam (JA)From
QA Lab-1
and -2training andtest data• Test Data
• 2 sets (JA and EN)

Knowledge Sources

Tools• Four Japanese high school textbooks• Available in Japanese• A snapshot of Wikipedia• Two Baseline Systems for Center Test (Japanese and English)• UIMA module-based end-to-end QA systems• Available in English and Japanese• World History Ontology• Available in Japanese• h_p://researchmap.jp/zoeai/event-ontology-EVT/• ParUcipants are free to use any resources• One Baseline System for Essay QuesUon (Japanese)• One Passage Retrieval Module• to enhance the module-based collaboraUon.

• Scorer for NaUonal Center Test
• Format Checker for NaUonal Center Test and Second-stage ExaminaUon

9

2016/11/11

Task list at NTCIR-13 QA Lab-3• For mulUple-choice quesUons• End-to-End• Research Run• For term quesUons• End-to-End

Schedule• Formal Runは２回• Phase-1 2017年2月予定• Phase-2 2017年5月予定• 任意のPhaseに参加可能• Research Runは1回• 2017年7月予定• For essay quesUons• End-to-End• ExtracUon• SummarizaUon• EvaluaUon method
任意のtaskに参加可能

NTCIR-13 QA Lab-3• 論述問題に焦点• 正解ナゲットを含むパッセージを抽出するExtracUon task
• 抽出されたパッセージから適切な回答を作成するSummarizaUon
task• 模範解答や正解ナゲットを用いて回答を自動評価するEvaluaUon
method task

• センター試験• 過去のテストセット/システムを用いてこれまでの進展を確認する
Research run• 興味・関心を持たれた方はぜひご連絡ください• h_p://research.nii.ac.jp/qalab/• Email: qalab-admin@nii.ac.jp10