文構造に基づく質問文への曖昧性付与と質問生成
中野 佑哉 1,3∗ 河野 誠也 1 吉野 幸一郎 2,1,3 須藤 克仁 1,3 中村 哲 1,3
Yuya Nakano1,3 Seiya Kawano1 Kouichiro Yoshino1,2,3
Katsuhito Sudoh1,3 Satoshi Nakamura1,3
奈良先端科学技術大学院大学
Nara Institute of Science and Technology
2
理化学研究所 ロボティクスプロジェクト
2
RIKEN Robotics Project3
理化学研究所 革新知能統合センター AIP
3
RIKEN Center for Advanced Intelligence Project AIP
1

1

Abstract: 質問応答は，与えられた質問と文書から答えを導き出すタスクであるが，実際の質問応答においてはユーザの質問がしばしば曖昧であることが問題となる．本論文では，質問応答データセットにおいて明確に定義されたユーザ質問に曖昧さを付与し，曖昧な質問文を疑似生成する手法を提案した．具体的には，質問文の構文構造に着目し，質問意図をより明確にする働きのある修飾箇所を文中から欠落させることで曖昧性付与を行う．この曖昧性付与箇所を決定するため，既存の質問応答モデルの解答出力を用いて当該質問文のみでは質問応答モデルが正答できなくなるような曖昧性付与を行う．また，作成した曖昧な質問文に対して，欠落箇所の情報復元を試みる質問応答タスクを設定する．

1

はじめに

機械読解とは自然言語で与えられた文書の内容を計算機に理解させるタスクであり，近年注目を集めている [1]．その中でも質問応答は，機械読解が実現されているかを測る重要なタスクとして，様々なベンチマークが公開されている [2][3]．これらの研究の進展に伴い，こうした機能を実社会へ応用する機運が高まりつつあり，スマートフォンやスマートスピーカー上で動作する音声アシストシステムの一部として実用化が検討されている．
これら既存の枠組みは，ユーザが発する質問が応答に十分な情報を含んでいることを仮定している．しかし，実際のユーザ発話はしばしば曖昧で，既存のシステムがこれらに常に正しく動作できるわけではない．こうした曖昧なユーザ発話にどう対応するかについては，発話外の情報を用いる [4]，ユーザに問い返しを行う [5] など，様々なアプローチが検討されている．特にシステムからの問い返しを行う枠組みは Conversational Search[6]と呼ばれ，必要な情報を取得するためにどのような問い返しが必要かという検討が行われている [7]．
しかし，ユーザから質問応答システムに与えられる∗ 連絡先： 奈良先端科学技術大学院大学 先端科学技術研究科〒 630-0192 奈良県生駒市高山町 8916-5
E-mail: nakano.yuya.nw9@is.naist.jp

クエリとしてどのような曖昧なものがあるかは明らかではない．そこで本研究では，こうした状況に対応できるシステム構築に必要となる曖昧な質問文データを，質問文の文構造に基づいた変換によって擬似生成する手法を検討する．また，生成した曖昧な質問文に対して，曖昧性付与の際に欠落した情報の復元を試みるた
め，ユーザから追加の情報を得るための問い返しタスクを設定する．

2

文構造に基づく曖昧な質問文生成

これまでに著者らは，質問文の核となるフレーズを固定し，これを欠落情報の選定に用いてきた [8]．この手法では，質問応答モデルの解答に必要となる重要な個所や単語を欠落，または，置換することによって既存の曖昧性を含まない質問文に対し曖昧性付与を行うことができる．しかしこうした手法では，主節に存在する問いたい内容を修飾する関係にある節や句が多数存在するなど，文構造が複雑かつ比較的長い質問文に対してはうまく曖昧な質問が生成できないという問題があった．これは，質問文中における欠落箇所の割合が大きくなり過ぎて，そもそも質問文として成り立たないような文を生成してしまうためである．そこで本
研究では，比較的複雑な構造の文に対してもより適切表 1: 質問文変換例
質問文
曖昧性を含まない質問文
変換例１
変換例２
変換例３

モデルの出力解答

What was the ﬁrst comic book written by the writer who had a series
developed into a 2010 ﬁlm with Bruce Willis and Morgan Freeman?
What was the ﬁrst comic book written by the writer who had a series ?
What was the ﬁrst comic book written by the writer who ?
What was the ﬁrst comic book ?

Transmetropolitan
redwarren girard ellisred

図 1: 曖昧な質問文作成の流れな変換処理を行えるように，入力とする質問文を構文解析した結果を用いる．つまり，構文構造を参照しながら，質問意図をより明確にする働きのある修飾箇所を特定し欠落させることで曖昧性付与を試みる．質問文に含まれる修飾句などを順次削っていくことで，質問文から削減される情報量を制御しつつ曖昧な質問文の生成を行うことができる．
処理の流れを図 1 に示す．提案手法は２つの処理からなる．最初の処理では，曖昧性を含まない質問文とその正解が含まれる参照パッセージを入力とし，欠落する箇所を決定する．その次の変換処理では，出力された候補をそれぞれ文中から欠落させることによって曖昧性が付与された質問文を生成する．このとき，新たに生成された曖昧な質問文を質問応答モデルの入力とし，そこから得られたモデルの出力解答と正解とを比較する．質問応答モデルは，事前学習モデルとして BERTBase-Uncased[9] を用い，HotpotQA[3] のトレーニン
グ用データセットを用いて学習を行った．正解と異なる出力を導き出すような組み合わせの欠落箇所を決定することで最終的な曖昧性付与を行う．生成された質問文に対してモデルが解答可能かどうかを判定することによって，曖昧な質問文生成のために欠落させる必要があるパッセージを適切に推定し，過度に情報が削除された意味をなさない質問文を生成しないようにすることができる．

図 2: 表 1 の質問文を構文解析した結果

2.1

構文構造を考慮した曖昧な質問文生成の例

欠落箇所推定のため，文の構文構造，特に統語構造を用いる．具体的には，質問文中に出現する動詞に着目し，質問意図を端的に表す主節部分以外に動詞や動名詞，不定詞などの用言が含まれるようなフレーズ（VP）を欠落対象候補として利用する．この統語構造を得るため，Stanford Parser[10]1 を用いる．変換を行った際の出力例と Stanford Parser による構文解析結果を表1，図 2 にそれぞれ示す．表 1 中の変換例１〜３では，動詞を含む修飾箇所である欠落候補として，図 2 中で色分けされた以下のそれぞれが判別された場合の出力
1 https://nlp.stanford.edu/software/lex-parser.shtml

表 2: 変換に適さない例
質問文

質問応答モデルの解答

曖昧性を含まない質問文
変換例

Who designed the casino that The Venetian Macao is modeled on?
Who ?

KlingStubbins
las vegassands

曖昧性を含まない質問文
変換例

2014 S/S is the debut album of a South Korean boy group that was formed by who?
2014 S/S is the debut album of a South Korean boy group that was ?

YG Entertainmentwinner

結果である．
候補１ ”developed into a 2010 ﬁlm with Bruce Willisand Morgan Freeman”
候補２ ”had a series developed into a 2010 ﬁlm withBruce Willis and Morgan Freeman”
候補３ ”written by the writer who had a series developed into a 2010 ﬁlm with Bruce Willis andMorgan Freeman”
この例では，構文構造を考慮することで質問文から過度に情報が落とされることを防いでいる．また，生成された曖昧な質問文に対する質問応答モデルの回答にある通り，これらの生成された質問文では既存の質問応答モデルが正しく回答できなくなっていることがわかる．このように段階的に曖昧な質問文を生成することで，想定する曖昧なユーザの質問文の難易度を制御することが可能である．例にある質問文では，すべての場合においてモデルの出力解答が正解と異なっており，質問意図の変化が生じていないことから適切な変換処理が行えたと言える．
しかし提案法では，質問文が問いたい内容を端的に表す疑問詞句・節が文頭以外に表れた場合，疑問詞を含む箇所が欠落してしまい文の意味的一貫性が失われてしまうケースや，主節に存在する動詞を起点とした欠落を行ってしまうケースも存在した．これは，構文構造の解析誤りの問題も大きい．変換に適さない質問文とその解答例を表 2 に示す．また，図 3，図 4 は，表2 中の質問文を構文解析した結果であり，図中の色付けされた部分は変換処理によって欠落した箇所（VP を含むフレーズ）を表す．表 2 中の一例目では主節の動詞を含む大部分が欠落対象として選択された結果，文の大部分が削除された例が生成されてしまっている．このような極端に短い質問文では問い返しに必要となる情報が十分に含まれておらず，適切な問い返し文を生成することが困難になる．また，二例目は疑問詞が文の末尾に含まれ，文全体の主節であるべき ”formed” に対応した情報が欠落してしまっている．その結果，元の質問文との意味的一貫性が失われてしまい，生成された文は本研究にて目的とする曖昧な質問文として適さない．

図 3: 表 2 の一例目を構文解析した結果

図 4: 表 2 の二例目を構文解析した結果
今後，意味的一貫性を保ちつつ，より幅広い質問文タイプに対して適切な変換が行えるよう動詞以外の要素も考慮した手法の提案を行う予定である．

3

問い返しタスク

これまで説明した曖昧な質問文生成によって生成された質問文が与えられた場合，システムが必要な情報をユーザに訊ねる問い返しを行うことができるかが重要となる．そこで，本研究では今後問い返しの必要性についての判別と，問い返し応答の生成についても検討を行う予定である．

4

まとめと今後の課題

本研究では，文構造に着目した質問文の曖昧性付与手法を提案し，既存の質問応答データセット中の質問文から曖昧な質問文を欠落情報の度合いに応じて段階的に疑似生成した．また，曖昧性付与の際に欠落した情報を復元することを試みる問い返しタスクを提案した．今後は提案手法における変換に失敗した質問文タイプへの対応など，変換処理の一般化を行い，問い返しタスクを実際に行った際のモデル評価などを行う予定である．

参考文献[1] 西田京介, 斉藤いつみ, 大塚淳史, 西田光甫, 野本済央,
浅野久子. 機械読解による自然言語理解への挑戦. NTT
技術ジャーナル, 2019.
[2] Pranav Rajpurkar, Jian Zhang, Konstantin Lopyrev,and Percy Liang. SQuAD: 100,000+ questions formachine comprehension of text. In Proceedings ofthe 2016 Conference on Empirical Methods in NaturalLanguage Processing, pp. 2383–2392, Austin, Texas,November 2016. Association for Computational Linguistics.
[3] Zhilin Yang, Peng Qi, Saizheng Zhang, Yoshua
Bengio, William Cohen, Ruslan Salakhutdinov, andChristopher D. Manning. HotpotQA: A dataset fordiverse, explainable multi-hop question answering.
In Proceedings of the 2018 Conference on EmpiricalMethods in Natural Language Processing, pp. 2369–2380, Brussels, Belgium, October-November 2018.
Association for Computational Linguistics.
[4] 大塚淳史, 西田京介, 斉藤いつみ, 西田光甫, 浅野久子, 富田準二. 問い返し可能な質問応答：読解と質問生成の同時学習モデル. 日本データベース学会和文論文誌, 2020.
[5] 古川智雅, 吉野幸一郎, 須藤克仁, 中村哲. 曖昧性を持ったユーザ発話に対する格フレームを用いた聞き返し発話候補の生成. 言語処理学会 第 24 回年次大会 発表論文集, pp. 905–908, 2019.
[6] Yongfeng Zhang, Xu Chen, Qingyao Ai, Liu Yang,and W. Bruce Croft. Towards conversational searchand recommendation: System ask, user respond. In
Proceedings of the 27th ACM International Conference on Information and Knowledge Management,
CIKM ’18, p. 177–186, New York, NY, USA, 2018.
Association for Computing Machinery.
[7] Mohammad Aliannejadi, Julia Kiseleva, Aleksandr
Chuklin, Jeﬀ Dalton, and Mikhail Burtsev. Convai3:
Generating clarifying questions for open-domain dialogue systems (clariq). 2020.
[8] 中野佑哉, 河野誠也, 吉野幸一郎, 中村哲. 対話によって曖昧性解消を行う質問応答. 第 244 回自然言語処理研究会, 2020.
[9] Jacob Devlin, Ming-Wei Chang, Kenton Lee, andKristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding.
In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies,Volume 1 (Long and Short Papers), pp. 4171–4186,
Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.
[10] Christopher Manning, Mihai Surdeanu, John Bauer,Jenny Finkel, Steven Bethard, and David McClosky.
The Stanford CoreNLP natural language processing
toolkit. In Proceedings of 52nd Annual Meeting of theAssociation for Computational Linguistics: System
Demonstrations, pp. 55–60, 2014.