言語処理学会 第30回年次大会 発表論文集（2024年3月）

Tree Planted Transformer:

統語的大規模言語モデルの構築に向けて吉田遼

染谷大河 大関洋平
東京大学{yoshiryo0617,taiga98-0809,oseki}@g.ecc.u-tokyo.ac.jp
小〜中規模ツリーバンクによる統語知識の導入

概要
本研究では、小〜中規模ツリーバンクにより統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレームワークを提案する。その先駆けとして、Transformer 言語モデルのア
テンション重みがツリーバンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting
Training) を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree
Planted Transformer (TPT) を構築する。評価の結果、
TPT はトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。

1

はじめに

近年、Transformer [1] 言語モデルを基盤とした大規模言語モデル (Large Language Model, LLM) の進展が目覚ましい (e.g., [2])。LLM の成功からは、言語モデルが広範な世界知識を獲得し様々な下流タスクを解くためには、大量のテキストコーパスにより大規模化することが必要不可欠であることが示唆されている。しかしながら、その成功とは裏腹に、LLMの基盤となる Transformer 言語モデルはその学習効率の低さがしばしば指摘される。例えば、GPT-3 [2]の学習には人間が 10 歳までに受ける言語刺激のおよそ 2000 倍のデータが用いられているなど [3]、高性能な LLM の構築には膨大な量のデータとそれを処理する計算リソースが必要になる。
一方で、理論言語学が仮定する自然言語の統語
構造 [4] を言語モデルに明示的に扱わせることで、少量のデータで高い精度を達成しようとする統語的言語モデルのアプローチが存在する [5, 6, 7]。統学習

Birds in a cage sing

sing

Birds ina cage

テキストコーパスによる大規模化
play

追加・継続学習
Dogs in a yard play
Dogs ina yard

図 1: 統語的大規模言語モデルのフレームワーク。
語的言語モデルは数百倍規模のデータで学習した
Transformer 言語モデルと同程度以上の統語知識を獲得できるとの報告もあり [6]、言語モデルが高い学習効率を得るためには統語構造に関するバイアスが必要不可欠であることが示唆されている。しかしながら、統語的言語モデルの学習にはツリーバンクなどの統語解析コーパスが必要であり、特に世界知識を必要とする下流タスクにおいては、数万倍以上のテキストコーパスで学習可能な LLM と同等の精度には到達し得ない。
そこで本研究では、小〜中規模ツリーバンクでの学習により統語知識を導入したのち、その統語知識を足場かけとしてテキストコーパスで効率良く大規模化するという統語的大規模言語モデルのフレー
ムワークを提案する（図 1）。その先駆けとして、
Transformer 言語モデルのアテンション重みがツリー
バンク上の統語構造に基づく分布に近づくように学習を行う手法 (Tree Planting Training) を実装し、通常のテキストコーパスでの追加・継続学習が可能な
アーキテクチャである Tree Planted Transformer (TPT)を構築する。評価の結果、TPT はトークン列の確率― 2829 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

のみをモデル化しているにも関わらず優れた統語知率をモデル化することは、推論時には統語構造に関識を獲得していることが確かめられ、統語的大規模

してビームサーチを行う必要や外部パーサーで生成

言語モデルの基盤となりうることが示唆された。

した統語構造を用いる必要があることを意味し、この観点でも実用上での大きな妨げとなっている。

背景

2

提案手法

3
2.1

Transformer 言語モデル

本研究では、Transformer 言語モデルの アテンショ

近 年 の LLM の 基 盤 と な る ア ー キ テ ク チ ャ が、

ン重みがツリーバンク上の統語構造に基づく分布にTransformer [1] のデコーダのみを言語モデルとして近づくように学習を行う手法 (Tree Planting Training)

利用する、Transformer 言語モデル (e.g., GPT-2; [8])を実装し、通常のテキストコーパスでの追加・継である。Transformer 言語モデルが LLM の基盤とし続学習が可能なアーキテクチャである Tree Plantedて用いられる理由の一つが、GPU 上での並列計算とTransformer (TPT) を構築する（図 2）。

の親和性であり、その並列計算を可能にしているのが、Transformer 言語モデルのアテンションと呼ばれる機構である。アテンション機構では、文脈中の各

3.1

統語構造に基づく教示分布の算出

ツリーバンク上の統語構造に基づく教示分布のトークンの重み付き和により、次トークン予測のた作成にあたり、統語構造上の距離に着目する。ここ

めの表現が得られ、その際の 𝑖 番目のトークンからで、統語構造上での距離とは、各単語間の統語構造

𝑗 番目のトークンに対する重み 𝑎 𝑖 𝑗 は以下のように上でのパスにおけるエッジ数を意味する。本手法は計算される：

句構造・依存構造の両者に対して適用可能である(
exp
𝑎𝑖 𝑗 = ∑𝑄𝑖 𝐾 𝑇𝑗√𝑖
𝑘=1 exp)

が、依存構造においては、依存関係の方向は考慮せ𝑑𝑘( 𝑄 𝐾𝑇 )
𝑖

√

(1)

𝑘

𝑑𝑘

ここで、𝑄 𝑖 , 𝐾 𝑗 はそれぞれ 𝑖 番目のトークンのクエリベクトル、 𝑗 番目のトークンのキーベクトルを表し、𝑑 𝑘 はキーベクトルの次元数を表す。

2.2

ずに距離の測定を行う。
統語構造上での距離から教示分布 𝑇 への変換は以下の式による：exp(−𝑑 (𝑤𝑖+1 ,𝑤 𝑗 ) ) ∑𝑖 exp(−𝑑 (𝑤𝑖+1 ,𝑤𝑘 ) )𝑘=1
𝑡𝑖 𝑗 =0

(𝑖 ≥ 𝑗)(𝑖 < 𝑗)(3)

ここで、𝑡𝑖 𝑗 は 𝑖 番目の単語 𝑤 𝑖 から 𝑗 番目の単語 𝑤 𝑗

統語的言語モデル

Transformer 言語モデルをはじめとした、トークン
列のみの確率をモデル化する通常の言語モデルとは異なり、統語的言語モデルはトークン列 𝑋 とその統
語構造 𝑌 の同時確率をモデル化する：𝑛∏𝑝(𝑧 𝑡 |𝑧 <𝑡 )𝑝(𝑋, 𝑌 ) = 𝑝(𝑧1 , ..., 𝑧 𝑛 ) =に対する重みへの教示、𝑑 (𝑤 𝑙 , 𝑤 𝑚 ) は 𝑙 番目の単語
𝑤 𝑙 と 𝑚 番目の単語 𝑤 𝑚 の間の統語構造上での距離を表す。すなわち、この教示は、各単語のアテン
ション重みが、予測対象の単語との統語構造上の距離に関して、指数関数的に単調減少することを期

(2)

𝑖=1

ここで、𝑧 𝑡 はトークン列とその統語構造を生成する
1）
アクションである。

待して設計されている。2）

3.2

アテンション重みへの教示

3.1 節の教示分布はツリーバンク上の統語構造に

近年、Transformer を基盤とした統語的言語モデル

基づき単語単位で作成されるが、一般的に、LLM のが複数提案され、データが制限された条件下におい基盤となる Transformer 言語モデルのトークン単位ては、通常の Transformer 言語モデルよりも高い精はサブワードである。そこで、サブワード単位のア
テンション重みを、以下のように単語単位のアテン度を達成できることが報告されている [5, 6, 7]。しかしながら、統語的言語モデルはトークン列と統語構造の同時確率をモデル化するため、ツリーバンク
以外での学習を行うことができない。また、同時確
1） 例えば、top-down かつ left-to-right な統語的言語モデルの場合、トークンの生成 または 構成素を開く または 構成素を閉じる のいずれかである。

ション重み 𝑀 に変換する：
𝑝𝑖 𝑗
𝑚 𝑖 𝑗 = ∑𝑖𝑘=1 𝑝 𝑖 𝑗

(4)2） Lin and Tegmark [9] が、単語間の相互情報量は統語構造上の距離に関して指数的関数的に減衰する可能性を報告しているため、単調減少関数として指数関数を採用した。

― 2830 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

Tree Planted Transformer:

統語的大規模言語モデルの構築に向けて吉田遼

染谷大河 大関洋平
東京大学{yoshiryo0617,taiga98-0809,oseki}@g.ecc.u-tokyo.ac.jp

統語構造上の距離を測定

概要

Birds in a cage sing

アテンションの

Birds

in

a

in

3

a

4

3

cage

4

3

2

sing

3

4

5

cage

謝辞in

重みを教示

5

a cage sing

本研究は、JST さきがけ JPMJPR21C2 の支援を受けたものです。

参考文献

Birds ina cage

図 2: 提案手法である Tree Planting Training 及びその結果得られる Tree Planted Transformer (TPT) の概略。
ここで、𝑚 𝑖 𝑗 は 𝑖 番目の単語 𝑤 𝑖 から 𝑗 番目の単語 𝑤 𝑗
に対する重みを表し、END(𝑤∑𝑖+1 )

𝑝𝑖 𝑗 =END(𝑤∑ 𝑗)

つを用いる。(i) の句構造は、Hu et al. [11] によりBerkeley Neural Parser [12] で再解析されたもの、(ii)の二分木は、句構造を nltk [13] ライブラリにより

𝑎 𝑘𝑙

(5)

𝑘=START(𝑤𝑖+1 ) 𝑙=START(𝑤 𝑗 )二分木化したもの、(iii) の依存構造は、spacy [14] ラ
イブラリの en core web sm モデルを用いて解析したである。ただし、𝑎 𝑘𝑙 は 𝑘 番目のサブワードから 𝑙 番
目のサブワードに対する重みを表し、3）START(𝑤 𝑛 )、ものを用いる。
トークナイザ・モデル

トークナイザ・モデル

END(𝑤 𝑛 ) はそれぞれ 𝑛 番目の単語 𝑤 𝑛 内部のサブは、それぞれ GPT-2 [8]（small、約 124M パラメー

ワードのインデックスの開始位置、終了位置を表タ）と同様のものを用いる。4）モデルのパラメータす。つまり、𝑝 𝑖 𝑗 は 𝑤 𝑖+1 内部のサブワードが予測さは全てランダムに初期化する。Ma et al. [10] を踏れる際の、𝑤 𝑗 内部のサブワードのアテンション重み

襲し、LATTN の算出には上部 3 層を用いる。5）また、の和である。単語単位のアテンション重み 𝑀 を教

ベースラインとして LATTN の重み 𝜆 が 0 のモデル

示分布 𝑇 に近づけることを目的として、Ma et al. [10]（Transformer 言語モデルと等価）の学習も行う。その他のハイパーパラメータは付録 A に記載する。

を踏襲し、カルバック・ライブラー距離 (𝐷 KL ) による損失を導入する：

LATTN =∑𝑛−1
𝑖=1

𝐷 KL (𝒕 𝑖 ||𝒎 𝑖 )
𝑛−1

(6)

評価 統語知識評価のベンチマークである
SyntaxGym [11, 16] を用いる。SyntaxGym は、様々な文法現象に関する統語知識の評価を目的として設計

ここで、𝒕 𝑖 、𝒎 𝑖 はそれぞれ、𝑇, 𝑀 の 𝑖 行目のベクトされているが、例えば Agreement の統語的サーキッ

ル、𝑛 は単語列 𝒘 の長さを表す。つまり、LATTN は

トでは主に主語と動詞を一致させる能力が問われ、

𝒘 の先頭を除く各単語を予測する際の分布についての損失を平均したものである。学習時には、次単語

以下の (1) のような文が与えられた時に、正しい動詞（a の下線部）に誤った動詞（b の下線部）よりも予測の損失 LNWP と LATTN との重み付き和を最小化

高い確率を推定した時に正解となる：

する：(1) a. The author next to the senators is good.

L = LNWP + 𝜆 LATTN(7)

言語モデルのより一般的な評価指標である

実験・結果

4

b. *The author next to the senators are good.
perplexity（単語単位）についてもあわせて評価する。

提案手法である Tree Planting Training により TPT

また、全てのモデルについて、異なる 2 つのランに優れた統語知識が導入されることを確認するた

ダムシードで学習を行い、その平均値を報告する。

め、ツリーバンクによる学習および統語知識の観点での評価を行う。

4.1

実験設定

学習データ

BLLIP コ ー パ ス [11]（XL、約 42M

トークン）を用いる。統語構造としては、(i) 句構
造、(ii) 二分木化した句構造、(iii) 依存構造、の 33） 𝑎 𝑘𝑙 はマルチヘッドアテンションの全ヘッドの平均として計算する。層についての扱いは 4.1 節で後述する。

4） transformers [15] ラ イ ブ ラ リ の GPT2Tokenizer、
GPT2LMHeadModel を用いる。
5） ただし、事前探索の結果を踏まえ、句構造と二分木は層平均のアテンションに対する損失、依存構造は各層のアテンションに対する損失の合計、を用いる。同じく事前探索の結果を踏まえ、LATTN の重み 𝜆 についても、句構造と二分木は0.1、依存構造は 0.05 を用いる。

― 2831 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

4.2

結果

SG (↑)PPL (↓)
47.5 ± 0.1♠

表 1 に、SyntaxGym 全体の正答率 (SG) と perplexity

TPT（ゼロ）

71.7 ± 0.3(PPL) を 示 し た。先 行 研 究 で 提 案 さ れ て い る 統

TPT（句構造）
TPT（二分木）74.1 ± 2.1 41.6 ± 0.0♡
71.7 ± 1.7 41.5 ± 0.1♡

語 的 言 語 モ デ ル で あ る PLM、PLM-mask [5] 及 び

TPT（依存構造） 74.7 ± 1.6

Transformer Grammar (TG) [6] の結果もあわせて報告

47.7 ± 0.0♠

する。これらは提案手法と同じく BLLIP コーパスでPLM [5]42.2 ± 1.2-

学習されたものである。また、Transformer 言語モデ

PLM-mask [5]

42.5 ± 1.5-

ルである GPT-2 [8]、Gopher [17]、Chinchilla [18] の結PLM [5]†73.2 ± 0.6 49.3 ± 0.3♡

果も報告する。これらは提案手法より大規模なテキPLM-mask [5]†74.6 ± 1.0 49.1 ± 0.3♡

ストコーパスで学習されたもの（¶ で表す）であり、TG [6]‡

82.5 ± 1.6 30.3 ± 0.5♡

参考値として先行研究 [6] より引用した。TPT（ゼGPT-2 [8] ¶

78.4

-

Gopher [17] ¶

79.5

-

Chinchilla [18] ¶

79.7

-

ロ）は、LATTN の重み 𝜆 がゼロのモデル（Transformer
言語モデルと等価）を表す。PLM・PLM-mask（無印）は、TPT と推論時のコストを揃えるため、統語構造に関するビームサーチを行わずに測定した精度を表す。6）また、PLM・PLM-mask† 及び TG‡ は、提案手法よりハイコストな条件7）で評価された結果であり、参考値として先行研究より引用した。
SyntaxGym 全体の正答率について、重要な結果を
3 つ観察することができる。まず、TPT（句構造、依表 1: SyntaxGym 全 体 の 正 答 率 (SG) と perplexity(PPL) 。TPT（ゼロ）は、LATTN の重み 𝜆 がゼロのモデルを表す。† 及び ‡ は、提案手法よりハイコストな条件で評価された統語的言語モデルの参考値である。¶ は、提案手法より大規模なテキストコーパス
で学習された Transformer 言語モデルの参考値であ存構造）が、TPT（ゼロ）を上回っていることから、る。単語分割単位が異なるため、perplexity は ♠ 内の提案手法の有効性が読み取れる。次に、TPT（二分み、♡ 内のみでの比較が可能である。

木）は TPT（ゼロ）と同程度の正答率であることの顕著な悪化が、提案手法では見られないことが示から、二分木化により統語構造が深くなりすぎる

唆されている（cf. TPT（ゼロ）・TPT（依存構造））。

と、適切なバイアスにならないことが示唆される(cf. [20])。最後に、TPT（句構造、依存構造）は、推

おわりに

5

論時のコストが等しい統語的言語モデル（PLM・本研究では、小〜中規模ツリーバンクにより統語

PLM-mask（無印））を大きく上回り、よりハイコス
トな条件で評価された統語的言語モデルのうちの一知識を導入したのち、その統語知識を足場かけとし部（PLM・PLM-mask†）とも同等の精度を達成して統語的大規模言語モデルのフレームワークを提案しいることから、TPT（句構造、依存構造）はトーク

た。その先駆けとして、Transformer 言語モデルのアン列の確率のみをモデル化しているにも関わらず統テンション重みがツリーバンク上の統語構造に基づ語的言語モデル相当の統語知識を獲得していること

く分布に近づくように学習を行う手法 (Tree Plantingが分かる。SyntaxGym の各統語的サーキットにおける正答率は付録 B に示した。
また、perplexity については、句構造解析器と依存
構造解析器で単語分割単位が異なるため直接比較不可な値を含むものの、8）先行研究 [6] で報告されている、一部の統語的言語モデルに見られる perplexity
6） TG については、学習済みのパラメータが公開されていな
いため測定していない。
7） それぞれ、統語構造に関してビームサーチ [19] を行う設定（アクションビーム幅 100、単語ビーム幅 10、fast track 幅5）、外部パーサーで生成した統語構造を用いる設定。
8） TPT（ゼロ）は、TPT（依存構造）の 𝜆 を 0 にしたものである。

てテキストコーパスで効率良く大規模化するというTraining) を実装し、通常のテキストコーパスでの追加・継続学習が可能なアーキテクチャである Tree
Planted Transformer (TPT) を構築した。評価の結果、
TPT はトークン列の確率のみをモデル化しているにも関わらず統語的言語モデル相当の統語知識を獲得していることが確かめられ、統語的大規模言語モデルの基盤となりうることが示唆された。今後は、文章単位への拡張、及び、導入された統語知識を消失させることなく、むしろ統語知識を足場かけとして
TPT を効率よくテキストコーパスで大規模化する手法の開発に取り組む。

― 2832 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

of the Association for Computational Linguistics (Volume 1:
Long Papers), pp. 2676–2686, Melbourne, Australia, July 2018.

謝辞
本研究は、JST さきがけ JPMJPR21C2 の支援を受

Association for Computational Linguistics.
[13] Steven Bird, Ewan Klein, and Edward Loper. Natural language
processing with Python: analyzing text with the natural language toolkit. ” O’Reilly Media, Inc.”, 2009.

けたものです。

参考文献[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin.
Attention is All you Need. In Advances in Neural Information
Processing Systems, Vol. 30. Curran Associates, Inc., 2017.
[2] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav
Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel
Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child,
Aditya Ramesh, Daniel Ziegler, Jeﬀrey Wu, Clemens Winter, Chris
Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish,
Alec Radford, Ilya Sutskever, and Dario Amodei. Language Models are Few-Shot Learners. In Advances in Neural Information
Processing Systems, Vol. 33, pp. 1877–1901. Curran Associates, Inc., 2020.
[3] Alex Warstadt and Samuel Bowman. What Artiﬁcial Neural Networks Can Tell Us about Human Language Acquisition. In Algebraic Structures in Natural Language. CRC Press, 2022.
[4] Noam Chomsky. Syntactic Structures. Mouton, The Hague,
1957.
[5] Peng Qian, Tahira Naseem, Roger Levy, and Ramón Fernandez Astudillo. Structural Guidance for Transformer Language
Models. In Proceedings of the 59th Annual Meeting of the
Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers), pp. 3735–3745, Online, August2021. Association for Computational Linguistics.
[6] Laurent Sartran, Samuel Barrett, Adhiguna Kuncoro, Miloš Stanojević, Phil Blunsom, and Chris Dyer. Transformer Grammars:
Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale, March 2022.
[7] Shikhar Murty, Pratyusha Sharma, Jacob Andreas, and Christopher Manning. Pushdown Layers: Encoding Recursive Structurein Transformer Language Models. In Houda Bouamor, Juan Pino,and Kalika Bali, editors, Proceedings of the 2023 Conferenceon Empirical Methods in Natural Language Processing, pp.
3233–3247, Singapore, February 2023. Association for Computational Linguistics.
[8] Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan, Dario
Amodei, and Ilya Sutskever. Language Models are Unsupervised
Multitask Learners. p. 24, 2019.
[9] Henry W. Lin and Max Tegmark. Critical Behavior in Physics andProbabilistic Formal Languages. Entropy, Vol. 19, No. 7, p. 299,
July 2017.
[10] Youmi Ma, An Wang, and Naoaki Okazaki. DREEAM: Guiding Attention with Evidence for Improving Document-Level Relation Extraction. In Proceedings of the 17th Conference of
the European Chapter of the Association for Computational
Linguistics, pp. 1971–1983, Dubrovnik, Croatia, May 2023. As-sociation for Computational Linguistics.
[11] Jennifer Hu, Jon Gauthier, Peng Qian, Ethan Wilcox, and Roger
Levy. A Systematic Assessment of Syntactic Generalization in
Neural Language Models. In Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics,
pp. 1725–1744, Online, July 2020. Association for Computational
Linguistics.
[12] Nikita Kitaev and Dan Klein. Constituency Parsing with a SelfAttentive Encoder. In Proceedings of the 56th Annual Meeting[14] Ines Montani, Matthew Honnibal, Matthew Honnibal, Adriane
Boyd, Soﬁe Van Landeghem, and Henning Peters. Explosion/spaCy: V3.7.2: Fixes for APIs and requirements. Zenodo,
October 2023.
[15] Thomas Wolf, Lysandre Debut, Victor Sanh, Julien Chaumond,
Clement Delangue, Anthony Moi, Pierric Cistac, Tim Rault, Remi
Louf, Morgan Funtowicz, Joe Davison, Sam Shleifer, Patrick vonPlaten, Clara Ma, Yacine Jernite, Julien Plu, Canwen Xu, Teven
Le Scao, Sylvain Gugger, Mariama Drame, Quentin Lhoest, andAlexander Rush. Transformers: State-of-the-Art Natural Language
Processing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System
Demonstrations, pp. 38–45, Online, October 2020. Association

for Computational Linguistics.
[16] Jon Gauthier, Jennifer Hu, Ethan Wilcox, Peng Qian, and Roger
Levy. SyntaxGym: An Online Platform for Targeted Evaluation of
Language Models. In Proceedings of the 58th Annual Meetingof the Association for Computational Linguistics: System
Demonstrations, pp. 70–76, Online, July 2020. Association for

Computational Linguistics.
[17] Jack W. Rae, Sebastian Borgeaud, Trevor Cai, Katie Millican,
Jordan Hoﬀmann, Francis Song, John Aslanides, Sarah Henderson, Roman Ring, Susannah Young, Eliza Rutherford, Tom Hennigan, Jacob Menick, Albin Cassirer, Richard Powell, George
van den Driessche, Lisa Anne Hendricks, Maribeth Rauh, PoSen Huang, Amelia Glaese, Johannes Welbl, Sumanth Dathathri,Saﬀron Huang, Jonathan Uesato, John Mellor, Irina Higgins, Antonia Creswell, Nat McAleese, Amy Wu, Erich Elsen, Siddhant
Jayakumar, Elena Buchatskaya, David Budden, Esme Sutherland,
Karen Simonyan, Michela Paganini, Laurent Sifre, Lena Martens,
Xiang Lorraine Li, Adhiguna Kuncoro, Aida Nematzadeh, Elena
Gribovskaya, Domenic Donato, Angeliki Lazaridou, Arthur Mensch, Jean-Baptiste Lespiau, Maria Tsimpoukelli, Nikolai Grigorev,
Doug Fritz, Thibault Sottiaux, Mantas Pajarskas, Toby Pohlen,
Zhitao Gong, Daniel Toyama, Cyprien de Masson d’Autume, Yujia Li, Tayfun Terzi, Vladimir Mikulik, Igor Babuschkin, Aidan
Clark, Diego de Las Casas, Aurelia Guy, Chris Jones, James Bradbury, Matthew Johnson, Blake Hechtman, Laura Weidinger, Iason Gabriel, William Isaac, Ed Lockhart, Simon Osindero, Laura
Rimell, Chris Dyer, Oriol Vinyals, Kareem Ayoub, Jeﬀ Stanway,
Lorrayne Bennett, Demis Hassabis, Koray Kavukcuoglu, and Geoﬀrey Irving. Scaling Language Models: Methods, Analysis &Insights from Training Gopher, January 2022.
[18] Jordan Hoﬀmann, Sebastian Borgeaud, Arthur Mensch, Elena
Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas,
Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche,Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan,
Erich Elsen, Jack W. Rae, Oriol Vinyals, and Laurent Sifre. Training Compute-Optimal Large Language Models, March 2022.
[19] Mitchell Stern, Daniel Fried, and Dan Klein. Eﬀective Inference forGenerative Neural Parsing. In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 1695–1700, Copenhagen, Denmark, September 2017. As-sociation for Computational Linguistics.
[20] Hiroshi Noji and Yohei Oseki. How Much Syntactic Supervision
is “Good Enough”? In Andreas Vlachos and Isabelle Augenstein,
editors, Findings of the Association for Computational Linguistics: EACL 2023, pp. 2300–2305, Dubrovnik, Croatia, May
2023. Association for Computational Linguistics.

― 2833 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図 3: SyntaxGym の各統語的サーキットにおける正答率。

A

ハイパーパラメータ
TPT 学習時のハイパーパラメータを表 2 に示す。
最適化手法

AdamW

学習率

5e-5

エポック数

10

ドロップアウト率0.1

バッチサイズ256

表 2: TPT の全モデルで共通のハイパーパラメータ。

B

SyntaxGym の各統語的サーキッ

トにおける正答率
提案手法の、SyntaxGym の各統語的サーキット
における正答率を、図 3 に示す。SyntaxGym 全体
で TPT（句構造、依存構造）と同等の正答率である
PLM-mask† の結果もあわせて報告する。

― 2834 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).