本研究では、小～中規模ツリーバンクにより統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレームワークを提案する。その先駆けとして、Transformer言語モデルのアテンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法(TreePlantingTraining)を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャであるTreePlantedTransformer(TPT)を構築する。評価の結果、TPTはトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。

近年、Transformer[1]言語モデルを基盤とした大規模言語モデル(LargeLanguageModel,LLM)の進展が目覚ましい(e.g.,[2])。LLMの成功からは、言語モデルが広範な世界知識を獲得し様々な下流タスクを解くためには、大量のテキストコーパスにより大規模化することが必要不可欠であることが示唆されている。しかしながら、その成功とは裏腹に、LLMの基盤となるTransformer言語モデルはその学習効率の低さがしばしば指摘される。例えば、GPT-3[2]の学習には人間が10歳までに受ける言語刺激のおよそ2000倍のデータが用いられているなど[3]、高性能なLLMの構築には膨大な量のデータとそれを処理する計算リソースが必要になる。一方で、理論言語学が仮定する自然言語の統語構造[4]を言語モデルに明示的に扱わせることで、少量のデータで高い精度を達成しようとする統語的言語モデルのアプローチが存在する[5,6,7]。統小～中規模ツリーバンクによる統語知識の導入学習singinacageBirdsinacagesingBirdsテキストコーパスによる大規模化play追加・継続学習DogsinayardplayDogsinayard語的言語モデルは数百倍規模のデータで学習したTransformer言語モデルと同程度以上の統語知識を獲得できるとの報告もあり[6]、言語モデルが高い学習効率を得るためには統語構造に関するバイアスが必要不可欠であることが示唆されている。しかしながら、統語的言語モデルの学習にはツリーバンクなどの統語解析コーパスが必要であり、特に世界知識を必要とする下流タスクにおいては、数万倍以上のテキストコーパスで学習可能なLLMと同等の精度には到達し得ない。そこで本研究では、小～中規模ツリーバンクでの学習により統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレームワークを提案する（図1）。その先駆けとして、Transformer言語モデルのアテンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法(TreePlantingTraining)を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャであるTreePlantedTransformer(TPT)を構築する。評価の結果、TPTはトークン列の確率.のみをモデル化しているにも関わらず優れた統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。