木構造 Transformer を用いた教師あり統語構造解析
成田 百花

1

(指導教員：小林 一郎)

はじめに大規模なテキストデータから Transformer [1] を用いて事前学習をさせた汎用言語モデルである BERT [2]を用いて，目的のタスクに合わせて ﬁne-tuning することで様々な自然言語処理課題に対して，従来の精度を大きく超える成果を挙げている．BERT は，Transformerの self-attention 機構により単語間の依存構造を捉えた言語モデルとなっており，モデル内部に潜在的に統語構造情報を含んでいると言われているが，その情報を統語構造解析に利用する研究は少ない．Wang ら [3]は，self-attention 機構を利用することにより入力文の統語構造を解析する教師なし統語構造解析器 TreeTransformer を提案している．一方で自然言語処理においては，これまで統語構造解析の研究において構築された多くの統語解析結果のデータが存在する．このことから，本研究では Tree-Transformer の教師なし学
習に加え，構文解析結果の教師データを Transformerの各階層での出力と構文解析の教師データとの損失を利用する階層的誤差逆伝播法を提案し，Transformerを用いた統語構造解析の教師あり学習手法を開発する．

2

図 1: （左）3 層の Tree Transformer. ブロックは入力文から生成された constituent を表している. constituentのサイズは層ごとに徐々に大きくなる. （右）Tree

Transformer の各エンコーダの構成．

Tree-Transformer [3] は従来の Transformer と異なり，全ての単語に対する網羅的な self-attention は採用せず，エンコーダに隣り合う単語間の依存性を捉える “Constituent Attention”モジュールを導入している．通常の self-attention とは異なり，各単語が同じconsituent と呼ばれる構成要素に属する単語同士のみで self-attention を作用させる（図 1 左）．上層に移るにつれ constituent は隣同士でマージされていき，最上層では全ての単語が同じ consituent に属し，単語の依存関係すべてを捉えた状態を表現する．“Constituent Attention”モジュールでは，各単語に対してconsituent の区切りを表す breakpoint を推測する確率 a = {a1 , ..., ai , ...} を生成する．それによって，単語 i と単語 j が同じ構成要素に含まれるかを推定する“Constituent Priors”が式 1 で示される確率をもって生成される（図 1 右）．
j−1
∏ak

提案手法

3.1

概要

本研究では，Tree-Transformer での Masked Language Modeling（MLM）による教師なし学習に加えて，統語構造解析結果のデータを用いる教師あり学習を行う. 通常の誤差逆伝播法ではエンコーダの中間層の情報は用いず，学習モデルの最終的な出力と教師データとの差分からなる損出に基づき，出力を修正するための誤差逆伝搬によってモデルの結合荷重を調整しているのに対し，本研究では中間層において教師データとの損失を捉える，階層的誤差逆伝搬を提案する.

Tree-Transformer

Ci,j =33.2

教師データとして S 式で表現された統語構造データを NLTK1 の解析モジュールを用いて再帰的に解析したものを用いる. 構文木の各層の各単語 wi の確率 aiに対し，wi と wi+1 が異なる constituent に属する，すなわち ai が breakpoint であれば 0 を，wi と wi+1 が同じ constituent に属する場合は 1 として表す．出力例を図 2 に示す．

(1)

k=i

図 2: 出力例

式 1 に基づき，隣接する単語同士の self-attention が式 2 のように求められる．

E = C ⊙ sof tmax

構文解析情報( QK T )d3.3

階層的誤差逆伝播

特定の層数のエンコーダを作成し，層ごとに与えられる教師データに合わせて対象とする層を決定し，階層的に誤差逆伝播を行う. 作成した教師データと各層の単語間分割確率である a との差分を捉え，損失を計算する. モデルの低層から階層的誤差逆伝播を行い，調整したパラメータを高層に向けて積み上げるように全ての層に対するパラメータを学習する．階層的誤差逆伝播のアルゴリズムを Algorithm 1 に示す．

(2)

学習された Tree-Transformer を用いて解析を行うことにより，以下のような統語構造の情報を含んだ出力を得ることができる.
(((the)(cute dog)))((is wagging))(its tail))))1 https://www.nltk.org/1表 1: 実験設定
交差検証
学習量
10,000step
バッチサイズ32
ネットワーク層数 5勾配法
Adam
学習率
0.001
eps
1e-8勾配閾値
1.5の出力と正解の構文木の a の状態を示す 0 と 1 の状態との類似度とする. 構文木の深さが異なるものは除き,
その中で totalacc は全ての a が正解データと完全一致した割合（最終出力として正しい構文解析ができた割合）, また total aacc は全層において a ごとで一致した割合を示す. 5 分割交差検証の内, 最高値と最低値は除いた 3 つの値で平均をとった結果を表 2 に示す.

図 3: （上）通常の誤差逆伝播（下）5 層のエンコーダを作成し、教師データが 4 層の時の階層的誤差逆伝播

Algorithm 1 Supervised Parsing with HierarchicalError Back Propagation
1: L ← training data layer size
2: model1 ← whole model
3: model2 ← training data layer size model
4: a ← link probabilities
5: teach ← training data a
6: target ← masked word answer
7: α ← hyper parameter
8: for l = 0 . . . L − 1 do
9:model2.layers = model1.layers[:1+l]10:, a=model2.forward
11:
loss a = LOG-MSE Loss(a, teach)12:
if l=L − 1 then13:
out, =model2.forward▷ MLM output
14:
loss m = CrossEntropy Loss(out, target)
15:
loss = α × loss m + (1-α) × loss a
16:loss.backward
17:
else
18:
loss a.backward

4

実験

4.1

実験設定

表 2: 実験結果
Model (α)

4.3totalacc[%]

total aacc
[%]

0.0
0.2
0.3
0.4
0.5
1.0(Tree-Transformer)

12.512.515.2711.45
12.15
25.0

72.01
70.46
73.68
65.47
70.1130.46

考察

損失を束ねたモデルでは, いずれも大きな変化が見られなかった. しかし, Tree-Transformer と比べて total aacc で高い値を出していることから, 構文木の深さを捉えるよう学習されていることが確認できる. また,Tree-Transformer の結果を見ると totalacc で高い値を出していることから MaskedLM が構文解析において機能しており, 単語トークンが構文決定に大きな役割を担っていると言える.

構文解析データとして，構文木が 3〜5 階層で構成された, 1 文につき 3〜6 単語からなる 480 文を生成した人工データを用いる. 人工データは文脈自由文法（CFG）を用いて文生成を行い，構文解析情報として生成された文を Stanford Parser2 を用いて解析を行った結果を用いた. この際，解析結果に誤りがないことを確認し，正解データとして採用した．また, 階層的誤差逆伝播を行う際，文によって教師データの層数は変わるため，同じ層数が固まるようデータを予めソートした. a における損失には平均二乗誤差の対数をとり，MLM にはクロスエントロピー損失をそれぞれ用いる. また, Constituent Attention と Transformer の隠れ層を 16 次元, Multi-Head Attention の数を 4，feedforward 層を 64 次元として 5 分割交差検証を行う. その他ハイパーパラメータの設定を表 1 に示す.

4.2

(α × loss m+(1-α)× loss a)

5まとめ

本研究では, 階層的誤差逆伝播を提案し, 統語構造の中間層を利用した教師あり学習手法を開発した. 実験の結果, Transformer を使った統語構造解析には単語に対する self-attention 機構の役割も重要であることが確認され，MaskedLM を使った教師なし学習と構文解析情報の教師あり学習において， それぞれの損失の値域を考慮しながら重み付き和のハイパーパラメータを調査する必要があると考える. 今後は教師なし/あり学習それぞれの損失の捉え方の再検討および実データを用いた統語解析を行い，提案手法の改良を進める．

参考文献[1] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz
Kaiser, and Illia Polosukhin. Attention is all you need.
In Proc. of the 31st NIPS, 2017.
[2] Jacob Devlin et al. BERT: Pre-training of deep bidirectional transformers for language understanding. InProc. of NAACL-HLT2019, pages 4171–4186, 2019.
[3] Yau-Shian Wang, Hung yi Lee, and Yun-Nung (Vivian) Chen. Tree transformer: Integrating tree structures into self-attention. In EMNLP, 2019.

実験結果

MLM を用いた教師なし学習と a に対する教師あり学習の両方の損失を線形和を用いて束ねる際のハイパーパラメータを α とする. 評価は, 各層で表現される a2 https://nlp.stanford.edu/software/lex-parser.shtml

2