読解問題における論理推論の一貫性評価

る一貫性検証の重要性が示唆されている。複雑な論理推論に関する自然言語理解モデルの評論理的推論は妥当な根拠への理解を前提として行価が信頼可能であるためには、予測結果の正しさだわれるべきであるが、その規範的要請をモデルが満けでなく、その予測のための妥当な推論根拠への理たしているかどうかは自明ではない。それゆえ論理解も評価することが重要である。しかしこれまでの的推論能力の検証では、推論結果の正誤だけではな自然言語理解タスクでは推論結果と推論根拠の一貫く、その根拠の理解も一貫的に評価するタスク設計的な評価はなされてこなかった。そこで本稿では、が望ましい。しかし一方で、そうした根拠はしばし既存の選択式の機械読解データセットに対して、そば問題中に明示されていないため、既存研究のようの各選択肢が正答または誤答である理由を問う問題に元の問題の簡単な変形を通して一貫性評価のためを同じく選択式の機械読解データセットとして作成のデータセットを構築することはできない。そのたすることで、自然言語理解モデルの一貫的な理解評め、論理的推論の一貫性を検証するためには人手に価に取り組んだ。両問題への人間正答率との比較かよって元の質問に暗黙的に含まれる根拠を明示化ら、現状の自然言語理解モデルには根拠に一貫的にし、収集する必要がある。人手で推論根拠を収集し解答することが困難であることがわかった。また、た研究も存在するが、それらは読解における論理的推論タイプと特徴量寄与度の観点から根拠理解の難推論は対象としておらず、一貫性を評価できるタス易度について分析し、寄与度の類似や推論の質的なク設計にもなっていない[9,10]。差異の難易度との関連性を明らかにした。そこで本稿では論理的な推論に焦点を当てた一貫性評価データセットRULE(RationaleUnderstanding