含意関係認識に必要な要素は、語彙、構文、推論など様々であるが、たとえば語彙が共通しているが主語と目的語が入れ替わり文意が変わって矛盾となるべきような場合、現状の深層学習モデルでは分類性能が著しく低い。本研究では、非矛盾の文章ペア中の名詞を入れ替えることで矛盾とみなせる文章データを自動作成し、既存の含意関係認識データセットと合わせてBERTをファインチューニングした。学習と評価には、既存の含意関係認識データセットに加え、Wikipediaと新聞記事から抽出したものを組み合わせて用いた。これにより、従来から高い性能が報告されているタイプの含意関係認識の性能は保持しつつ、日本語の文内で名詞を入れ替えたときに意味が変わり矛盾となったかを判別できることを示した。

含意関係認識は、前提文と仮定文の文ペアについて、前提文が正しいとしたときに仮定文が正しいと言えれば含意、間違えていると言えれば矛盾、どちらとも言えない場合は中立と判定するタスクである。日本語では日本語SNLIデータセット（JSNLI）[1],本語構成的推論・類似度データセット（JSICK）[2],JapaneseRealisticTextualEntailmentCorpus（JRTEC）[3]などの含意関係認識データセットが作成され、事前学習済みの大規模深層言語モデルをファインチューニングすることで9割近い分類性能が報告されている[1][2][3]。一方で、既存の深層言語モデルによる日本語の含意関係認識では語順の変化に対応できていないと報告されている[2]。含意関係認識は実際には語彙、構文、推論などその認識に必要な要素が様々であり、それらをまとめた全体性能のみでは性能を判断しがたい。特に、語彙は共通のまま主語と目的語を入れ替えたような場合、現状の深層学習モデルでは分類性能が著しく低い。こうした入れ替え前後の文意の違いを捉えることは非常に重要であり、実現すれば深層学習モデルの根本的な処理能力の向上が期待できる。本研究では、このような文章内で名詞を入れ替えたときに文意が変わる場合に着目し、自動で入れ替えたデータを生成しファインチューニングに用いる。名詞入れ替えデータの生成においては、入れ替え後の文の不自然さなどほかの手掛かりで判別できないように、品詞細分類や格フレームを用いたいくつかのフィルタを適用した。名詞入れ替えデータと既存の含意関係認識データとを合わせて学習することで、これまでの含意関係認識の性能を保持しつつ、名詞を入れ替え文意が変わる文にも対応できることを示した。訓練と評価は、各種の既存含意関係認識データセット、Wikipedia、新聞記事データセットを組み合わせて実行し、データセットによるバイアスがないか確認した。