従属節が分断された不可能言語を言語モデルは学習するのか

言語モデルの言語獲得能力は人間とどのように異なるかという問いに対して，人間にとって不自然な言語（不可能言語）を人工的に生成し，言語モデルの学習のしやすさを分析した研究がある．先行研究では，GPT-2モデルにおいて不可能言語は可能言語よりも学習しにくいという結果が報告されているが，言語に共通する性質は単一ではなく，不可能言語についても様々な種類が存在するため，言語モデルがどのような不可能言語においても学習が難しいのかという問題については，依然として多くの疑問が残されている．本研究では，「最下層の従属節は他の節によって分断されない」という言語に共通する性質に着目し，従属節の間に主節の一部を混ぜた不可能言語を作成した．作成した不可能言語を用いてGPT-2モデルを学習し，可能言語と同様に不可能言語を学習できるかどうか分析を行った．GPT-2モデルにおいて可能言語と比較して不可能言語の学習は困難であるという結果となり，先行研究と同様の傾向を示した．