否定の観点からみた日本語言語理解ベンチマークの評価

否定（negation）とは，事態の不成立を表すことであり[1]，自然言語における重要な言語現象である．言語モデルには否定を意味する表現（否定要素;negationcue）を正しく理解することが求められる．英語について，言語モデルは否定の理解を苦手としていることが複数の研究により示されている[2,3,4]．モデルの言語理解能力を様々な観点から評価するために，既存のベンチマーク（データセット群）が否定理解の評価に有効であるかに関する分析も進められている．その結果，複数の英語言語理解ベンチマークについて，言語モデルが否定を理解しているかの検証には適さないことが示されている[2,5,6,7,8]．一方，日本語に関しては，ベンチマークが否定の理解の検証に有効であるかは分析されていない．本研究では，代表的な日本語言語理解ベンチマークの1つであるJGLUE[9]が，否定理解の検証に有効であるかを評価する．評価においては，以下の観点を考慮する．1.否定要素は，量的に十分か．