読解問題における論理推論の一貫性評価

forLogicalreasoningEvaluation)を構築し、論理的一自然言語理解モデルが人間のように信頼可能であ貫性の評価実験を行なう。RULEはReClorの問題るためには、予測や生成の正しさだけではなく、そ4,638問のうち600問を対象に構築された、元のの結果が論理的に妥当な根拠を踏まえたものであるReClorの問題の正誤根拠理解を問う4択機械読解必要がある。妥当な前提への理解が重要なタスクとデータセットである(図1)。RULEに含まれる根拠して、近年では機械読解においてモデルの論理的推理解問題はReClorの問題の選択肢それぞれについ論能力を評価するデータセットが提案されている。て作成され、その選択肢の正誤理由が正解選択肢、ReClor[1]は論理的推論を問うデータセットの代表他の3つの選択肢の正誤理由が不正解選択肢となっ例であり、GMAT、LSATから収集された4択式のている。600問それぞれの選択肢について根拠理解機械読解データセットである。事前学習言語モデル問題を計2,400問作成し、後述する品質評価によっ[2,3,4]の発展により人間と同程度の精度が報告さて最終的に1,406問を得た。れているなど、現状の自然言語理解モデルは論理的実験では、システムの一貫的な論理推論理解の程推論を理解する能力を有するように見える。度を評価するためにReClorで学習したベースライしかし既存研究はそうした事前学習言語モデルにンモデルをRULEで評価した。その結果人間とモデ共通する弱点として、一貫的な予測の不得手を指摘ルの精度には大きな乖離が見られた。さらに後続のしている[5,6,7,8]。具体的には、元の問題に否定分析でモデルにとっての一貫的な根拠理解の難易度[8]や置換[6]などの簡単な操作を施すことで、元のに影響を及ぼす要素を調査したところ、特に誤答選問題と比べ精度が大きく低下したことが報告されて択肢の根拠理解に改善の余地が大きく残されている―2914―.ことが明らかになった。また、特徴量寄与分布と問題で問われる推論の質的な差異がモデルの根拠理解と関連していることも示唆された。