意味的プロービングデータセットの構築と言語モデルの評価:イタリア語の倒置を例に

近年、大規模言語モデルの発展が著しく、様々な自然言語処理タスクにおいて高い精度を達成している。しかし、その高い精度を出すための原理には未だ解明されていない点が多く、いかにしてタスクを解いているのかが注目されている。特に、言語モデルが統語的・意味的にどの程度の言語知識を有しているのか多くの検証が行われている[1,2,3]。言語モデルの統語的知識を評価するためのベンチマークに、CoLA[4]やBLiMP[5]などがある。これらは文法的な容認性を二値で判断するタスクであり、英語や日本語をはじめとして様々な言語で構築されている。また、言語モデルの意味に関する知識を評価するベンチマークとしては、文脈中の単語の意味判別を行うWiC[6]などがある。言語モデルの意味的評価では、言語特有の構文や特徴を用いた検証も行われているが、このような検証は英語での実施に限られる[7,8]。しかし、英語以外の言語でも、言語モデルにとって挑戦的な言語固有の構文や現象がある。本研究では、言語モデルの学習や評価に広く用いられる英語以外の言語において言語モデルの意味的判断を検証するため、イタリア語の主語と述語の倒置に焦点を当てる。文中で使用される単語は非倒置文と同じだが、倒置によって語順が変化することで文の意味が変化する。倒置は様々な言語で使用される、自然言語一般に備わる性質である。本研究では、言語モデルが倒置により生じる意味の変化を識別できるか確かめるため、イタリア語の主語・述語倒置データセットを作成し、意味的プロービングを行う。言語間転移学習によりどの程度の意味的識別能力が転移されるかを検証するため、イタリア語で事前学習されたモデルだけでなく、他の言語で事前学習されたモデルも用いて評価する。また、イタリア語版CoLAデータセットItaCoLA[9]を用いた容認性判断のタスクを行い、文の持つ統語・意味的性質に対する容認性識別能力の変化を調査する。その結果、イタリア語への言語転移を行った他言語の事前学習モデルは、再帰代名詞や不定代名詞など意味解釈と関わりの深い性質をもつ文の識別能力が変動しやすいことがわかった。