従属節が分断された不可能言語を言語モデルは学習するのか

2022年にChatGPT[1]が公開され，汎用性の高さから様々な自然言語処理のタスクで応用が進んでおり，並行して言語モデルの言語獲得能力を分析する研究も行われている．言語学者からは人間と言語モデルの言語獲得能力が異なるという指摘がされており，例えば，Chomskyらは，大規模言語モデル（LLM）は，自然言語と自然言語に見られない性質をもつ言語（不可能言語）を分け隔てなく学習することができると主張している[2,3]．また，Bolhuisらは，LLMは不可能言語であっても生成することができると主張している[4]．な不可能な言語を，言語モデルは学習するのかKalliniら[5]は，不可能言語をいくつかのルールに従って作成し，言語モデルが可能言語と同様に不可能言語を学習できるか実験することで，言語学者の人間と言語モデルの言語獲得能力が異なるという主張を検証した．Kalliniらは，トークンを規則的に並べ替えたり，動詞の一部を一定数のトークンの後に配置するなどして不可能言語を作成し，GPT-2モデルにおいて不可能言語は可能言語よりも学習しにくいという実験結果を得た．しかし，言語に共通する性質は単一ではなく，不可能言語についても様々な種類が存在するため，言語モデルがどのような不可能言語においても学習が難しいのかという問題については，依然として多くの疑問が残されている．さらに，人間の言語を獲得するうえで言語の構造依存性が重要な役割をしているという言語学者の主張がある[6,7]が，Kalliniらの研究では構造依存性には必ずしも焦点があたっていなかった．そこで本研究では，Kalliniらの実験を参考にして，最下層の従属節は他の節によって分断されないという言語の性質に着目して不可能言語を作成し，言語モデルが可能言語と同様に作成した不可能言語を学習できるかどうか分析を行った（図1）．(a)最下層の従属節は他の節によって分断されない.なお，2節で詳細は述べるが，一般に言語は(a)の性質を持ち，また人間は言語学習の途中であっても(a)の性質を持たないような文章を生成しないことが知られている[6,7]．本研究では初めに，BabyLMdataset[8]をもとに人工的に従属節の間に主節の一部を混ぜたような不可能言語とそれと対になる可能言語のデータセットを作成し，可能言語と不可能言語それぞれでGPT-2モデル[9]の学習を行った．その後，学習したモデルそれぞれにおいて，どの程度可能言語·不可能言語の構造を学習できているのか比較した．その結果，GPT-2モデルにおいて可能言語と比較して不可能言語の学習は困難である傾向がみられた．これは，言語モデルは不可能言語を学習しにくいというKalliniらの論文を支持する結果となった．