る一貫性検証の重要性が示唆されている。複雑な論理推論に関する自然言語理解モデルの評論理的推論は妥当な根拠への理解を前提として行価が信頼可能であるためには、予測結果の正しさだわれるべきであるが、その規範的要請をモデルが満けでなく、その予測のための妥当な推論根拠への理たしているかどうかは自明ではない。それゆえ論理解も評価することが重要である。しかしこれまでの的推論能力の検証では、推論結果の正誤だけではな自然言語理解タスクでは推論結果と推論根拠の一貫く、その根拠の理解も一貫的に評価するタスク設計的な評価はなされてこなかった。そこで本稿では、が望ましい。しかし一方で、そうした根拠はしばし既存の選択式の機械読解データセットに対して、そば問題中に明示されていないため、既存研究のようの各選択肢が正答または誤答である理由を問う問題に元の問題の簡単な変形を通して一貫性評価のためを同じく選択式の機械読解データセットとして作成のデータセットを構築することはできない。そのたすることで、自然言語理解モデルの一貫的な理解評め、論理的推論の一貫性を検証するためには人手に価に取り組んだ。両問題への人間正答率との比較かよって元の質問に暗黙的に含まれる根拠を明示化ら、現状の自然言語理解モデルには根拠に一貫的にし、収集する必要がある。人手で推論根拠を収集し解答することが困難であることがわかった。また、た研究も存在するが、それらは読解における論理的推論タイプと特徴量寄与度の観点から根拠理解の難推論は対象としておらず、一貫性を評価できるタス易度について分析し、寄与度の類似や推論の質的なク設計にもなっていない[9,10]。差異の難易度との関連性を明らかにした。そこで本稿では論理的な推論に焦点を当てた一貫性評価データセットRULE(RationaleUnderstanding

forLogicalreasoningEvaluation)を構築し、論理的一自然言語理解モデルが人間のように信頼可能であ貫性の評価実験を行なう。RULEはReClorの問題るためには、予測や生成の正しさだけではなく、そ4,638問のうち600問を対象に構築された、元のの結果が論理的に妥当な根拠を踏まえたものであるReClorの問題の正誤根拠理解を問う4択機械読解必要がある。妥当な前提への理解が重要なタスクとデータセットである(図1)。RULEに含まれる根拠して、近年では機械読解においてモデルの論理的推理解問題はReClorの問題の選択肢それぞれについ論能力を評価するデータセットが提案されている。て作成され、その選択肢の正誤理由が正解選択肢、ReClor[1]は論理的推論を問うデータセットの代表他の3つの選択肢の正誤理由が不正解選択肢となっ例であり、GMAT、LSATから収集された4択式のている。600問それぞれの選択肢について根拠理解機械読解データセットである。事前学習言語モデル問題を計2,400問作成し、後述する品質評価によっ[2,3,4]の発展により人間と同程度の精度が報告さて最終的に1,406問を得た。れているなど、現状の自然言語理解モデルは論理的実験では、システムの一貫的な論理推論理解の程推論を理解する能力を有するように見える。度を評価するためにReClorで学習したベースライしかし既存研究はそうした事前学習言語モデルにンモデルをRULEで評価した。その結果人間とモデ共通する弱点として、一貫的な予測の不得手を指摘ルの精度には大きな乖離が見られた。さらに後続のしている[5,6,7,8]。具体的には、元の問題に否定分析でモデルにとっての一貫的な根拠理解の難易度[8]や置換[6]などの簡単な操作を施すことで、元のに影響を及ぼす要素を調査したところ、特に誤答選問題と比べ精度が大きく低下したことが報告されて択肢の根拠理解に改善の余地が大きく残されている―2914―.ことが明らかになった。また、特徴量寄与分布と問題で問われる推論の質的な差異がモデルの根拠理解と関連していることも示唆された。