対話によって曖昧性解消を行う
質問応答○中野 佑哉1, 2，河野 誠也1，吉野 幸一郎1, 2，中村 哲1, 2
1 奈良先端科学技術大学院大学

2 理化学研究所 革新知能統合研究センター AIP

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

1

|

研究背景・目的

|

関連研究

|

提案手法

|

実験|

まとめ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

2基本的な質問応答タスク
質問に対し適切な答えを見つけて提示するタスク➢パッセージ中から答えとして適切な箇所を抜き出す
質問文

Q.
答えパッセージ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

3

既存の質問応答データセット➢Wikipediaなど大規模データベースを基に構築➢昨今、様々なベンチマークが公開されているe.g.) SQuAD, HotpotQA, etc

質問は回答が一意に定まるよう設定されている→曖昧性を含まない
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

4

質問応答システムの課題
ユーザ発話の曖昧性

ユーザ A

ユーザ B

既存のデータセットでは扱われていない問題
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

5

本研究の目的
対話によって質問文の曖昧性を解消する手法・システムの構築を目指す

ユーザA

2020/07/03

システム

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

6

本論文の目標
曖昧な質問文とその回答ペアを含むデータセットの作成

問い返しによる追加情報が必要な質問文

ユーザA

2020/07/03

システム

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

7

|

研究背景・目的

|

関連研究

|

提案手法

|

実験|

まとめ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

8

改定質問
問い返し可能な質問応答：読解と質問生成の同時学習
モデル [大塚, et al., 2020]
質問内容を一意に定めるような改定質問をユーザに提示→追加情報を得るための質問は行えない
パッセージ

入力質問
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

改定質問1

改定質問2

9

Ambig QA [Sewon, et al., 2020]
Multiple Answer Prediction➢曖昧な質問文から考えられうる解答を全て出力

Question Disambiguation➢曖昧な質問文と複数の解答から各解答が一意に定まるような質問文を生成

クラウドワーカーにより大規模データセット作成→データセット作成とその品質保証にコストがかかる
パッセージ

曖昧な入力質問
出力例

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

10格フレームを用いた問い返し
格フレームを用いた質問生成によって深掘りを行う対話シス
テム [古川, et al., 2018]➢格フレームを用いて質問を生成する対話システムを提案➢幅広いドメインに対して質問生成が可能→質問応答を対象としていない
入力文

出力質問文

••
︙
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

11

関連研究における課題
データセット作成➢既存の大規模データセットから変換

タスク設定➢幅広いユーザ発話を想定➢質問文に対して格フレームや構文解析に基づく問い返し➢既存のデータセットを用いた際の解答精度達成を目指す

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

12|

研究背景・目的

|

関連研究

|

提案手法

|

実験|

まとめ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

13

質問文の曖昧性解消に向けて曖昧な質問文を含むデータセットの作成• 既存の質問応答データセットを変換• 低コストで大規模なデータセットを構築

問い返しによって曖昧性解消を試みるタスク設定• 曖昧性解消に必要となる情報の補完• 各フレームや構文解析を用いた問い返しを想定
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

14

目標とする曖昧な質問文• 質問応答システムによる回答が困難• 問い返しの鍵となる情報を最低限含むe.g.)

OKNG

Q. What is the place where Mike has ever been?

Q. What?

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

15

既存の質問応答データセット変換
質問文から解答に必要となる重要な部分を欠落させる

1. 質問文中の欠落させたい部分(クエリ)を生成
2. クエリを基に質問文を変換

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

16

処理の流れ
パッセージ

質問文

クエリ候補

曖昧な質問文2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

17

文書検索を必要とする質問応答
回答に必要となるパッセージを見つけるタスクを含む

Wikipedia
質問文

パッセージ

2020/07/03

クエリによる検索--------------------------------------------------------------------------------------------------------2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

18

1. クエリ生成➢質問文とパッセージとの部分最長一致などからパッセージ検索用クエリを作成する手法

e.g.)
質問文
クエリパッセージ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

19

クエリ生成手法の利点
質問の解答に必要な情報となり得る箇所に相当欠落させることで質問文に曖昧性を付与可能

e.g.) How many albums did Mike release in 1995?
↓欠落
How many albums did Mike release?

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

20

クエリ欠落の問題点
質問文中に占める割合が高いクエリを削除した場合➢問い返しが困難になることが予想される➢文として成り立たない可能性

e.g.) What language does Mike speak?
↓What?
→解決案：質問文変換• クエリの一部を欠落させる• 別の単語に置き換える
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

21

2. クエリを基にした質問文変換
固有表現抽出を用いた変換処理

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

22

各エンティティに対する処理“PERSON”“LOCATION”

特定単語へ置き換え{the person, the place…}“CITY”“COUNTRY”“NATIONALITY”

質問文中から欠落“ORDINAL”
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

23

エンティティが含まれない場合
構文解析結果に対するルールによる処理を適用➢質問文中のクエリを含む節を削除

e.g.)
Q.

欠落
Q.

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

24

|

研究背景・目的|

関連研究|

提案手法|実験|まとめ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

25

データセット➢多段推論を要する質問応答タスク➢回答には複数パッセージを参照する必要がある➢回答に必要な文書検索タスクも含まれる

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

26

質問応答モデル➢
をベースとした汎用的な言語モデル➢追加データを用いたファインチューニングによって様々なタスクへ応用可能➢質問応答を含む様々なタスクにおいて最高性能を達成

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

27

実験設定
既存のデータセットを用いて質問応答モデルを学習

変換前・後それぞれのデータセットに対して回答精度を評価

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

28

実験結果

：正解一致率：予測解答に対する調和平均：オリジナル質問文と回答、約7400ペア：曖昧な質問文へ変換したもの

質問文の変換によりモデルの回答性能が低下(F1 70.15 -> 61.64)
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

29

各エンティティに対する分析
曖昧性が付与できた例
Answered -> Failed
NATIONALITY
15
PERSON
182
LOCATION
26
CITY
19
COUNTRY10
ORDINAL
16
OTHERS479

変換前から回答が困難な例
Failed -> Failed
NATIONALITY191
PERSON
1785
LOCATION
195
CITY
161
COUNTRY161
ORDINAL
125
OTHERS
1266

曖昧性が付与できなかった例
Answered -> Answered
NATIONALITY
279
PERSON
1728
LOCATION
224
CITY
163
COUNTRY
118
ORDINAL
181
OTHERS
901

Answered -> Failed

Failed -> Failed

Answered -> Answered

2000
1500
1000
500
0600
50040030020010002020/07/03

2000
1500
1000
50002020©︎Yuya Nakano, AHC-Lab, IS, NAIST

30

曖昧性が付与できた質問文の考察
エンティティが含まれなかった場合の例• What is the inhabitant of the citywhere?
• What was recorded by ModularRecordings?
• How long is?
• What was?
• With whom did?

エンティティ置き換えの影響はごく一部
2020/07/03

Answered -> Failed
NATIONALITY
15PERSON
182
LOCATION
26
CITY
19
COUNTRY10
ORDINAL
16
OTHERS
479
600
500
400
300
200
10002020©︎Yuya Nakano, AHC-Lab, IS, NAIST

31

曖昧性付与の問題点
質問文の長さ・難易度制御➢情報の過剰な欠落e.g.) “What is he …?”➢スパンの長いクエリの処理→“?”

曖昧性が付与できた割合：約18% (700/3904)➢HotpotQA の問題がそもそも難しい➢エンティティの単純な置き換えによる影響はごく一部
Answered
Failed2020/07/03

Original
3904
3501

Ambiguous
3204
4201

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

32

|

研究背景・目的

|

関連研究

|

提案手法

|

実験設定

|

まとめ

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

33

まとめ
• 対話を用いた曖昧な質問応答の実現を目指す• 格フレームや構文解析を用いた問い返しを行うタスク設定• 既存の質問応答データセットから曖昧な質問文を含むデータセットを構築• 構築したデータセットを用いた際、既存の質問応答モデルの解答精度が低下

2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

34

今後の課題
各エンティティごとのさらなる分析➢曖昧性付与に関わるパターンの追求質問文の難易度調整➢長いスパンのクエリの取り扱い➢エンティティの置き換え見直し
問い返し可能なシステムの実装・評価

SQuAD など他のベンチマークへの適用
2020/07/03

2020©︎Yuya Nakano, AHC-Lab, IS, NAIST

35