# 簡易小型化 BERT による日本語構文解析

河野 慎司 $\dagger \cdot$ 古宮 嘉那子 $\dagger \dagger$ ・新納 浩幸 $+\dagger \dagger$
}

BERT は fine-tuning することで様々な NLP タスクに対して高性能な結果を出した 事前学習済みモデルであるが, 多くのパラメータを調整する必要があるため学習や 推論に時間がかかるという問題がある。本論文では日本語構文解析に対して, BERT の一部の層を削除した簡易小型化 BERT の利用を提案する. 実験では, 京都大学 ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版の BERT とそこから構築した簡易小型化 BERT の正解率と処理時間を比較 した. 提案する簡易小型化 BERT では, 京大版の BERT からの正解率の劣化をウェ ブコーパスで 0.87 ポイント, テキストコーパスで 0.91 ポイントに押さえながら，学習時間は $83 \%$, 推論時間はウェブコーパスで $65 \%$, テキストコーパスで $85 \%$ まで削減することができた.

キーワード：BERT，構文解析，枝刈り
## Japanese Parsing Using Smaller BERT

\author{
Kono Shinui ${ }^{\dagger}$, Kanako Komiya $^{\dagger \dagger}$ and Shinnou Hiroyuki ${ }^{\dagger \dagger \dagger}$
}

BERT is a pre-trained model that can achieve high accuracy for various NLP tasks with fine-tuning. However, BERT requires tuning of many parameters, making training and inference time-consuming. In this study, we propose to apply smaller BERT for Japanese parsing by dropping some of its layers. In our experiments, we compared the parsing accuracy and processing time of the BERT developed by Kyoto University and smaller BERT with dropping some of its layers, using the Kyoto University Web Document Leads Corpus (referred to as the web corpus) and the Kyoto University Text Corpus (referred to as the text corpus). The experiments revealed that the smaller BERT reduced the training time by $83 \%$ and inference time by $65 \%$ for the Web corpus and $85 \%$ for the text corpus, while maintaining the accuracy degradation from the Kyoto University version of BERT to 0.87 points for the Web corpus and 0.91 points for the text corpus.

Key Words: BERT, Parsing, Pruning

†茨城大学大学院理工学研究科情報工学専攻, Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University

† 東京農工大学工学研究院先端情報科学部門, Department of Computer and Information Sciences, Institute of Engineering, Tokyo University of Agriculture and Technology

††† 茨城大学大学院理工学研究科情報工学専攻, Major in Computer and Information Sciences, Graduate School of Science and Engineering, Ibaraki University

## 1 はじめに

構文解析とは句同士の係り受け関係を明らかにするタスクのことである．従来より研究が盛んな分野であり, 日本語構文解析ツールの $K^{-1}$ (河原, 黒橋 2007) (笹野, 黒橋 2011) が有名であるが，近年，BERT を利用することで，従来の KNP よりも高い正解率を出すことが示されている (柴田他 2019).

BERT (Devlin et al. 2019) は fine-tuning することで様々な NLP タスクに対して高い性能を示した事前学習済みモデルである。 BERT を利用した構文解析では, BERT からの出力べクトルを順伝播型ニューラルネットワーク (FFNN) に入力し fine-tuning することで構文解析を行う. ただし，BERT には多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある.

そこで本研究では, 構文解析において事前学習済み BERT の一部の層を削除した簡易小型化 BERT の利用を提案する。ここでいう層とは， BERT を構成している transformer のエンコー ダーのことであり, $\mathrm{BERT}_{\mathrm{BASE}}$ の場合, 12 層の transformer のエンコーダーから成っている. このうちの何層かを削除し, 層数が減った新しい BERT モデルを作成するという簡易な処理で小型化したBERT を，以降，簡易小型化 BERT と呼ぶ．実験では，京都大学ウェブ文書リードコーパス (萩行他 2014) と京都大学テキストコーパス (Kurohashi and Nagao 1998) を混合したデータを用いて，京大版の $\mathrm{BERT}^{2,3}$ とそれを簡易小型化した BERT の正解率と処理時間を比較した. 提案する簡易小型化 BERT では， 3 ～ 10 層目を削除した合計 4 層のモデルが，京大版の BERT からの正解率の劣化をウェブコーパスで 0.87 ポイント, テキストコーパスで 0.91 ポイントに押さえる結果となり，層を削除した後でも高い正解率を維持していることが分かった。また学習・推論時間は削除する層を増やすほど速くなり, 合計 4 層モデルでは学習時間は $83 \%$,推論時間はウェブコーパスで $65 \%$, テキストコーパスで $85 \%$ まで削減することができた.

また BERT のどの位置の層が構文情報を捉えているかを， 12 層のうち 1 層のみを fine-tuning に使用し，テストを行うことで調査した。その結果, 新聞コーパスは上位・下位層が高い正解率を出したが，Webコーパスにおいてはどの層も大きな変化は出なかった. これらの結果から BERT はコーパスの特性や文に含まれるトークン数, 未知語の割合などによって, 構文解析の正解率に変化が出ると考えられる。
^{3}$ https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese
}

## 2 関連研究

(Zhang et al. 2017) は構文解析を, 単語ごとに係り先を決定する Head Selection 問題として行っている. BiLSTM からの特徴量を用いることで, 高性能な構文解析を行っている. BERT を使った日本語構文解析の関連研究として(柴田他 2019) の研究がある。柴田らは事前学習済み BERT を京都大学テキストコーパスと京都大学ウェブ文章リードコーパスという 2 種類のコー パスで fine-tuning し， BERTによる構文解析の正解率を調査した。結果, BERT を利用した場合, KNP や CaboCha4 ， BiLSTM を利用したときよりも高い正解率を出している。（宇田川他 2021) は, BERT からの出力ベクトルに加え, 係り元と係り先の距離などを one-hot ベクトルで表現した基本素性を FFNNに入力し, 構文解析を行っている.このとき BERT と基本素性を組み合わせた場合, CaboChaよりも高い正解率となっている.

(Sajjad et al. 2021)は, 事前学習済み BERT の層を削除し, fine-tuning した場合, GLUE夕スクにおいて 12 層の BERT に比べどの程度差が出るのかを調査した. このとき，
- 4 層減らすとき，下位の層を削除するのが一番スコアが低いが，他はあまり差がない.
- 6 層減らすとき, 上位の層を削除するのが一番スコアがいい.

など，削除する層数や位置によってスコアに差が出ることを述べている.

本研究において簡易小型化 BERT を作成する際, Sajjad らのように事前学習済み BERT の層を削除する手法を利用したが，(Gordon et al. 2020)は BERT の重みの値が 0 に近いものを不要

りをしていないモデルに比べて, GLUEタスクにおいて大きな差は出ないと述べている.

BERT の層がどの情報を捉えているかについては, Sajjadらは上位層はタスクに特化した重みになっており，中間層は重要な情報を含んでおらず，下位層は文脈情報を含んでいると述べている. 同じく(Tenney et al. 2019) も，基本的な構文情報は BERT の早い段階で処理され，高レべルの意味的情報はより高い層に現れると述べている。

一方で, (Jawahar et al. 2019) は Probing タスクにおいて, BERT が統語的な情報を中間層が捉えているという結果を出している。(Hewitt and Manning 2019) も依存構造解析において BERT $_{\mathrm{BASE}}$ は 6 9 層, BERT $\mathrm{BARGE}$ は 15 17 層等, 比較的中間に近い層が構文情報を捉えていると述べている。
^{4}$ https://taku910.github.io/cabocha/
}

## 3 BERT

本研究で使用する BERT は, 京都大学黒橋研究室が公開している BERT 日本語 Pretrained モデルの BASE 通常版 5 を使用する。このモデルは日本語テキストのみの Wikipedia を形態素解析した後に subword に分割し, 事前学習されたモデルである.

## 3.1 構文解析

本研究で BERT による構文解析を行うモデル図を，「自然の」の係り受けを判定するときを例にとって，図 1 に示す.まず，コーパスに記されている「基本句」の区切り方に従って，各基本句をひとつずつ BERT tokenizer に入力する. BERT tokenizer は BERT の学習時に, BERT の学習に最良となるトークン化手法を学習しており, この結果, 必要な際は, 基本句を基本句より小さな subword に分割する．大抵は定められた語彙にない基本句について subword に分割されていると考えられるため，本論文では subword に分割されたトークンを未知語と呼ぶ. 京大の BERT tokenizerは, Transformersの実装に基づき, subwordに分割した際の先頭以外のトー クンは, 頭に「\#\#」がついた形で出力される。なお, 基本句とは, 1 の自立語とそれに続く付属語から成る言葉の単位である ${ }^{6}$. 例えば, 「右が兄, 左が弟の写真。」とい文を基本句区切りにすると，「右が|兄，|左が|弟の|写真。のように分かれる．今回利用した京都大学ウェブ文書リードコーパスと京都大学テキストコーパスには, 基本句の区切り部分のアノテーションだけではなく，形態素の区切り部分のアノテーションも付与されている．形態素は意味を持つ最小単位で，先ほどの例文の場合だと，「右 $\mid$ が $\mid$ 兄 $\mid$, |左 $\mid$ が $\mid$ 弟 $\mid$ の写真 $\mid$ 」」のうに分かれる。

次に注目したトークンより，後ろのトークン全てに対して scoreを計算し, scoreを元に係り

図 1 BERT による構文解析のモデル図（「自然の」の係り受け判定時）

受けの有無を 2 值分類する. scoreの計算に際しては，(宇田川他 2021)の構文解析モデルを参考とした。

具体的に「私は茨城大学の学生です.」という文を本手法で構文解析した手順を述べる。まずこの文を基本句区切りにしたときの係り受け関係は図 2 のようになる. 矢印の先が係り先で,例えば「私は」は「学生です.」に係っている.

本手法では，注目したトークンより後ろのトークン全てに対して係り受けの 2 値分類を行うため，注目トークンとそれ以降のトークンに対して，係り受けラベルを付与する，AがBに係っている場合, 係り元トークンが A で係り先トークンが B の際に係り受けラベル 1 を付与し, 係っていない場合, 係り受けラベル 0 を付与した. なお, ひとつの係元は複数の係先をもつことはないが，逆にひとつの係先は複数の係元をもつことがある．例えば [その, 自然, の, 美しさ, が, 何とも，言え，ません］という文では，「その」と「自然」は、共に「美しさ」に係る.表 1 では,「私は」のトークンに注目したときの係り受けラベルの付与について示している. このとき subword に分割された際の先頭以外のトークン，つまり頭に「\#\#」が付与されたトー クンに対しては係り受けラベルは付与しない.

次に score の計算方法について述べる. $v_{i}$ と $v_{j}$ をそれぞれ係り元, 係り先の BERT からの出力ベクトル $\left(v_{i}, v_{j}\right)$ だとすると, 以下の式で score を出力する. なお, sigmoid の出力を score にすることも可能であるが，(宇田川他 2021)に従い，wを使用した.

$
\begin{aligned}
v_{i j} & =\operatorname{concat}\left(v_{i}, v_{j}\right) \\
x & =\operatorname{sigmoid}\left(U v_{i j}\right) \\
\text { score } & =w^{\top} x
\end{aligned}
$

このとき， $U$ と $w$ は fine-tuning する際，新しく追加したパラメータであり， $w$ の次元は任意

図 2 係り元と係り先の関係

表 1 係り先ラベルの設定

4層削除

6層削除

8層削除

図 3 削除する層の位置

とし， $U$ の大きさは， $w$ の次元数 $\times v_{i}$ と $v_{j}$ の長さの合計の次元とする.

最後に, scoreを 2 値クロスエントロピーとして, 係り受けの有無を fine-tuning で学習させる.

## 3.2 層の削除

構文解析の正解率と学習・推論速度の差を調査するため，京大版 BERT の一部層を削除したモデルを複数作成する。

BERT $_{\mathrm{BASE}}$ の位置関係は, BERT の入力に近い方を下位, 出力に近い方を上位と呼ぶこととする.

図 3 は実験で使用するモデルの種類を表している。図 3 の灰色の層が削除した層を表しており, 左から上位, 中位, 下位の位置を削除したものである.

## 4 実験

本実験では, 京都大学ウェブ文書リードコーパス (以降, Webコーパス) と京都大学テキストコーパス（以降，新聞コーパス）を混合したデータを用いて fine-tuningを行い，その後，それぞれのコーパスでテストをし，構文解析の正解率と学習・推論時間を調査した. また fine-tuning 時には EarlyStopping を採用した．検証データの正解率が最高値を更新しなくなってから 5 エポック後に停止させる. なお, 正解率は係り元トークンと係り先トークンのペアを一用例とし,係り受けラベルの 2 值分類を行った際の「テストで正解した用例数 / 全テスト用例数」で求めた. $n$ トークンある文ではぺア数（テスト用例数）は $(n-1)+(n-2)+\ldots 1$ となる.

なお, BERT からの出力べクトル $\left(v_{i}, v_{j}\right)$ は 768 次元とし, w は (宇田川他 2021)に従い 1,000 次元とした. そのため $U \in \mathbb{R}^{1000 \times 1536}$ である. 削除する層数は上位, 中位, 下位, それぞれの位置で $4,6,8$ 層とした。
学習及び推論は表 2 の環境で行った.

また，学習時のバッチサイズは 4 である。なお，推論時間に初期化処理にかかる時間は含まれていない.また，推論時はバッチ処理を行わず，1文ずつ推論を行った.

## 4.1 使用データ

実験で使用するデータ数を表 3 に示す。学習と検証には Webコーパスと新聞コーパスを混合した 10,000 文，2,000 文をそれぞれ利用したが，テスト時は Web と新聞を分けて 3,000 文ずつテストを行った.

ただし，新聞コーパスは Webコーパスに比べ，1文のトークン数が長いものが多かったため,学習データが 0 に偏り, BERT, 簡易小型化 BERT ともに fine-tuning では学習が収束しなかった。そのため, fine-tuning に用いる新聞コーパスのうち, 1 文のトークン数が subword を含めて 24 個以下のもののみを使用した. テスト時のデータはトークン数で制限をかけていない.

Webコーパスはまざまなウェブ文書のリード（冒頭）3文に各種言語情報を人手で付与したテキストコーパスである。ウェブ文書のリード 3 文を収集することによって，ニュース記事，百科事典記事，ブログ，商用ページなど多様なジャンル，文体の文書を含んでいる.

新聞コーパスは毎日新聞の記事に各種言語情報を人手で付与したテキストコーパスである. 95 年 1 月 1 日から 17 日までの全記事, 約 2 万文, 1 月から 12 月までの社説記事, 約 2 万文, 計約 4 万文に対して，形態素・構文情報を付与している.

どちらのコーパスにも付与されている言語情報は, 形態素解析システム JUMAN, 構文解析システム KNP で自動解析を行い，その結果を人手で修正したものである。

## 4.2 ベースラインシステム

提案手法の構文解析の性能と学習・推論時間を評価するために, 通常 12 層の BERT BASE, , KNP，また BERT ベクトルの代わりに word2vec (Mikolov et al. 2013a, 2013b, 2013c)を利用

表 2 学習環境

表 3 使用したデー夕数

表 4 word2vecの学習パラメーター

して分類する手法と比較する，なお， word2vec を比較対象としたのは， BERT が出現する前の分散表現のスタンダードな手法であったため，その精度を比較するためである。通常 12 層の BERT $_{\text {BASE }}$ には, 前述のとおり, 黒橋研究室が公開している BERT 日本語 Pretrained モデルの BASE 通常版を利用する．KNP は version $4.2^{7}$ を利用した， word2vecには，日本語 Wikipedia の 2021 年 7 月 1 日時点のダンプデータを juman++の version 2.0.0-rc38用いて基本句区切りにしたものを訓練データとして学習したモデルを利用した。学習には gensim を使用した. 学習時の各パラメーターは表 4 の通りである。そのほかのパラメータは, gensimのデフォルト値を利用した。

word2vec からのべクトルを利用して score を計算する際，BERT を利用した手法では 768 次元にしている $v_{i}, v_{j}$ を，それぞれ 200 次元に変更した，そのため，BERT の出力ベクトルのかわりに word2vec を利用した手法では， $U \in \mathbb{R}^{1000 \times 400 て ゙ ある . ~}$

## 4.3 実験結果

## 4.3.1 構文解析のテスト

各モデルの 2 つのコーパスでのテスト結果を表 5 および図 4 に示す。通常 12 層の BERT BASE では Webコーパスで $\mathbf{9 4 . 6 7 \%}$, 新聞コーパスで $\mathbf{9 5 . 6 8 \%}$ となった. 図 4 より, 削除する層数を増やした場合でも， BERT $_{\mathrm{BASE}}$ に比べ大きく正解率が落ちていないことが分かった. また, 削除する層数にかかわらず，中位を削除したモデル（上位と下位を使用したとき）が高い正解率を維持していることが分かる.

各モデルの正解率の詳細は以下の通りである.

3 10 層目を削除した合計 4 層のモデルが，Webコーパスで $93.80 \%$, 新聞コーパスで $94.77 \%$

ポイントに押さえる結果となった.

$\mathrm{BERT}_{\mathrm{BASE}}$ と簡易小型化した BERT との比較だけでなく, KNP と word2vec とも比較した結


 & \multirow{2}{*}{ 総ペア数 } \\

表 5 各モデルの正解率の詳細

果を表 5 および図 5 に示す. KNP は従来の KNP ツールを利用したものであり， word2vec は BERT からの出力べクトルの代わりに word2vec を利用して分類したものである.

図 5 の「下位 4 層削除」は先程の簡易小型化した BERT で Web コーパスの正解率が一番低かったもの,「上位 4 層削除」は簡易小型化した BERT で新聞コーパスの正解率が一番低かったものである． word2vec は日本語 Wikipediaを基本句区切りにししたものを訓練データとして学習したモデルを利用した。

$\mathrm{KNP}$ に比べ, $\mathrm{BERT}_{\mathrm{BASE}}$ の方が Webコーパスで約 6 ポイント, 新聞コーパスで約 5 ポイント正解率が良い結果となった。また, KNP を用いたときは, 小型化 BERTを用いた下位 4 層,

図 4 各モデルのテスト結果

図 5 word2vec, KNP との比較結果

8 層削除モデルとほぼ同等の正解率を維持している。具体的には, Webコーパスでは, 小型化 BERT の中で最も正解率の低い下位 4 層削除モデルと比較して約 1.6 ポイント減，新聞では，小型化 BERT の中で最も正解率の低い上位 4 層削除モデルと比較して約 0.1 ポイント減となっている。

BERT 使った構文解析では， $v_{i}$ と $v_{j}$ を BERT からの出力べクトルとして構文解析を行ったが，この $v_{i}$ と $v_{j}$ を BERT からの出力ベクトルではなく, word2vec で得たべクトルを利用した場合, $\mathrm{BERT}_{\mathrm{BASE}}$ よりも正解率がかなり落ちていることが分かる。また, 小型化 BERT を用いた下位 4 層, 8 層削除モデルと比較しても，大きく正解率が落ちている。具体的には, Webコー パスでは, 小型化 BERT の中で最も正解率の低い下位 4 層削除モデルと比較して約 11.7 ポイン

ト減，新聞では，小型化 BERT の中で最も正解率の低い上位 4 層削除モデルと比較して約 2.9 ポイント減となっている. word2vec で得られる単語（基本句）のベクトルは文脈依存ではないことが，正解率に影響を与えていると考えられる。

また，参考として，表 6 に各モデルの正解数と不正解数として，コーパスとモデルごとの False Positive, False Negative, True Positive, True Negativeを示した. 提案手法のうち, 最も大きな数を太字で，最も小さな数をイタリックで示した。下位 4 層削除した場合にはコーパスにかかわらず False Positive が増加していることなどが見て取れる．なお，KNP は 1 文内でペアを作り，それらを係っているか/係っていないかを判別する方式で結果を出力できなかったため，正解数と不正解数に関しては示さなかった。表 7 に各モデルの適合率，再現率， $\mathrm{F}$ 値を示す。適合率は True Positive/(True Positive+False Positive)，再現率は True Positive/(True Positive+False Negative)， $\mathrm{F}$ 値は適合率と再現率の調和平均として計算した。なお，正解率は (True Positive+False Negative)/全用例数である。なお, $\mathrm{F}$ 值で比較しても，中位層の削除が最も性能が高いこと, 下位 4 層の削除が Webコーパスで最も性能が低いことは変わらないが，新

表 6 各モデルの正解数と不正解数
聞コーパスでは上位 4 層より下位 4 層を削除したほうが性能が悪化している.

## 4.3.2 学習・推論時間の結果

次に学習・推論時間の結果について述べる。学習時間の結果は表 8 の通りである. EarlyStopping を採用したため，エポック数がモデルごとに異なる，そのため， 1 エポックの平均学習時間を比較している，結果より削除する層数が増えるほど，学習時間は短くなっていることが分かる.

表 7 各モデルの適合率, 再現率, $\mathrm{F}$ 値

表 8 学習時間

また, 収束のエポック数と, 最高スコアを出したエポック数までの $1 \mathrm{ep}$ の平均学習時間から, 収束時間のおおよその推定値を算出したものを表 9 として示す. $4 ， 6 ， 8$ 層削除モデルは，それぞれ上位・中位・下位と 3 パターンで学習を行っているため, 収束時間, エポック数ともに, 3 つのモデルの平均値である.

推論時間の結果は表 10 の通りである，学習時間と同じく，推論時間に関しても削除する層数が増えるほど，推論時間は短くなっていることが分かる。この時, 新聞コーパスが Webコーパスよりも推論時間が長いのは，新聞コーパスの方が 1 文の平均トークン数が多いためである.

8 層削除の合計 4 層モデルでは学習時間は $83 \%$, 推論時間は Webコーパスで $65 \%$, 新聞コー パスで $85 \%$ まで削減することができた.

なお，KNP を用いたときは，推論時間に関して KNP は webコーパスで 4 分 2 秒，新聞コー パスで 7 分 46 秒と, BERTでの推論時間に比べて大幅に時間がかかっている.

また，各モデルの総パラメーター数は表 11 の通りである.

表 9 推測による収束時間

表 10 推論時間

表 11 各モデルの総パラメーター数

## 5 考察

図 4 の各モデルのテスト結果より，上位層と下位層を利用したとき，構文解析において高い正解率を維持しているため, 上位層と下位層が構文情報を捉えていると考えられる.

関連研究では BERT において, (Sajjad et al. 2021), (Tenney et al. 2019) は構文情報は下位層を含んでいると述べているが, (Jawahar et al. 2019), (Hewitt and Manning 2019)は中間層が構文情報を捉えていると述べている.

## 5.1 各層ごとの正解率の差

本研究において, BERT のどの層が構文情報を捉えているのか, より細かく調査するため, $\mathrm{BERT}_{\mathrm{BASE}}$ の中で 11 層を削除し, 1 層目から 12 層目まで 1 層ずつ fine-tuning し実験を行った.新聞コーパスでのテスト結果を図 $6, \mathrm{Web}$ コーパスでのテスト結果を図 7 に示す。図の縦軸が BERT で何番目の層を利用したかを表しており，縦軸一番下が BERT の 1 層目のみ使用，縦軸一番上が BERT の 12 層目のみを使用した結果である。横軸はテスト正解率である.

新聞コーパスは下位の層, 上位の層が，5層から 8 層目の中間の層よりも正解率がいいことがわかった。一方でWebコーパスに関してはどの位置の層を削除しても同程度の正解率であった。

今回利用したコーパスの平均トークン数と 1 文の平均未知語数は表 12 に示す. 新聞コーパスの方が Webコーパスに比べ, 1 文の平均トークン数が長く, それに伴い平均未知語数が多くなっている.このことから，コーパスの種類や，1文のトークン数と未知語数が多いことが, BERT が構文情報を捉える位置に影響を与えているのではないかと考えられる.

さらに詳しく分析するため, 新聞コーパスをトークン長ごとに 3 つのグループに分けて, BERT

図 6 新聞コーパスを 1 層ずつテスト

を 1 層ずつ fine-tuning したモデルで実験を行った．具体的には，テストデータに利用した 3,000 件の新聞コーパスをトークン長を昇順に並び替え，短・中・長と 3 つのグループにそれぞれ 1,000 件ずつ分類した. グループごとの平均トークン長を表 13 に示す.

短と中グループの結果を示した図 $8 ， 9$ では，それぞれ $95 \%$ そど正解率であるが，長グルー

らの結果から，トークンが長い場合，BERT の中位層がうまく働かないことが見て取れる。なお, これらの差はカイ二乗検定により統計的に有意であった。この結果は, 図 4 の結果, つまり中間層を削除した場合が最も構文解析の正解率が保たれていることと一致している.

図 7 Webコーパスを 1 層ずつテスト

表 12 各テストコーパスの特徴

表 13 トークン長ごとにグループ分け

図 8 短グループのテストの正解率

図 9 中グループのテストの正解率

## 5.2 未知語と格による影響

コーパスによって正解率の違いが出ることが分かったが, 未知語の影響や層ごとによる構文情報の捉え方の違いを見つけるため，上位・中位・下位でそれぞれ 4 層ずつ層を削除したモデルで調査を行った。

図 11 は，テストデータにおいて係り受けラベルの 1 を付与したぺアを，モデルが正解だと予測したものにおいて，そのぺア中に未知語がどのぐらい含まれているのか割合を調査した結果

である.

図 11 より，上位層を削除するよりも下位層を削除する方が，正解とみなしたぺアの中での未知語の割合が低いことがわかる。つまり, BERT は下位層より上位層の方が, 語彙を利用して構文解析を行っており，下位層の方が語彙を利用していない分，未知語にロバストであるといえる。

次に各層を削除したことによる正解・不正解ぺアの変化を調べた。まず表 14 では各モデルにおいて，正解したぺアに含まれる格パターンの出現割合が多い順に上位 3 件を示す.これは，テ

図 10 長グループのテストの正解率

図 11 正解ペアに含まれる未知語の割合

表 14 正解したぺアに含まれる上位 3 件の格パターン（分類件数）

表 15 不正解だったぺアに含まれる上位 3 件の格パターン（分類件数）

表 16 格の例

ストを行ったとき正解したぺアを KNPを使って格解析した結果である ${ }^{9}$. 例えば「自然は」が 「美しい.」に係っているぺアを，モデルが正解とみなしたとき，「自然は美しい.」を KNPで解析し，述語側に表示される格解析の結果を使用する.

結果，どのモデルにおいても，「ガ格」「ヲ格」「修飾」が上位を占めていた。

一方で，表 15 はテストの際，不正解とみなされたぺアに含まれる格パターンである。表 15 でも先程の表 14 と同じように，「ガ格」「ヲ格」「修飾」が上位を占める結果となった.「ガ格」「尹格」「修飾」に分類された例は表 16 に示している.

表 14,15 より, 正解・不正解のどちらにおいても, 層ごとに格に関しては差が出なかった.

以上のことから， BERT は層ごとで格について大きな違いがなかったが，下位層よりも上位層の方が，既知の語彙を考慮した構文解析を行っているのではないかと考えられる．

## 6 おわりに

本研究では BERT の一部層を削除し，簡易小型化した BERT を用いることによる，日本語構

文解析の正解率の差を調べた，結果， $\mathrm{BERT}_{\mathrm{BASE}}$ が両コーパスともに正解率が最も高いが，削除する層数が増えても，正解率にあまり差が出なかった。このとき上位層と下位層を利用するモデルが高い正解率を維持していることがわかった，また，削除する層数を増やすほど，学習$\cdot$推論にかかる時間は短くなった。

BERT は格パターンについては，層ごとに捉え方による変化はなかったが，未知語と語彙による捉え方は層ごとに変化が出た.

今後の研究としては，コーパスを基本句区切りではなく形態素の区切りを使うことや, $\mathrm{MeCab}$ の区切りを利用した事前学習済み BERT を使うことなど，それぞれの区切りごとによる構文解析の正解率の差があるのかを調査すること。また， BERT $\mathrm{BASE}_{\mathrm{BAS}}$ では上位と下位を利用することが今回の構文解析では有効であったが，BERT LARGE においても違いが出るのか，これらの点について今後調査していきたい.

## 謝 辞

本研究は JSPS 科研費 JP19K12093，18K11421，17KK0002 および 2021 年度国立情報学研究所公募型共同研究 (2021-FC05) の助成を受けています.

## 参考文献

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota. Association for Computational Linguistics.

Gordon, M. A., Duh, K., and Andrews, N. (2020). "Compressing BERT: Studying the Effects of Weight Pruning on Transfer Learning." arXiv preprint arXiv:2002.08307.

萩行正嗣, 河原大輔, 黒橋禎夫 (2014). 多様な文書の書き始めに対する意味関係夕グ付きコーパスの構築とその分析. 自然言語処理, 21 (2), pp. 213-247. [M. Hangyo et al. (2014). Building and Analyzing a Diverse Document Leads Corpus Annotated with Semantic Relations. Journal of Natural Language Processing, 21 (2), pp. 213-247.].

Hewitt, J. and Manning, C. D. (2019). "A Structural Probe for Finding Syntax in Word Representations." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4129-4138, Minneapolis, Minnesota. Association for Computational

Linguistics.

Jawahar, G., Sagot, B., and Seddah, D. (2019). "What Does BERT Learn about the Structure of Language?" In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, pp. 3651-3657, Florence, Italy. Association for Computational Linguistics.河原大輔, 黑橋禎夫 (2007). 自動構築した大規模格フレームに基づく構文・格解析の統合的確率モデル。自然言語処理, 14 (4), pp. 67-81. [D. Kawahara and S. Kurohashi. (2007). A Fully-Lexicalized Probabilistic Model for Japanese Syntactic and Case Structure Analysis. Journal of Natural Language Processing, 14 (4), pp. 67-81.].

Kurohashi, S. and Nagao, M. (1998). "Building a Japanese Parsed Corpus while Improving the Parsing System." In Proceedings of the 1st International Conference on Language Resources and Evaluation (LREC-98), pp. 719-724.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013a). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of ICLR Workshop 2013, pp. 1-12.

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., and Dean, J. (2013b). "Distributed Representations of Words and Phrases and their Compositionality." In Proceedings of NIPS 2013, pp. 1-9.

Mikolov, T., Yih, W. -t., and Zweig, G. (2013c). "Linguistic Regularities in Continuous Space Word Representations." In Proceedings of NAACL 2013, pp. 746-751.

Sajjad, H., Dalvi, F., Durrani, N., and Nakov, P. (2021). "On the Effect of Dropping Layers of Pre-trained Transformer Models." arXiv preprint arXiv:2004.03844.

笹野遼平，黒橋禎夫 (2011)，大規模格フレームを用いた識別モデルに基づく日本語ゼロ照応解析. 情報処理学会論文誌, 52 (12), pp. 3328-3337. [R. Sasano and S. Kurohashi. (2011). A Discriminative Approach to Japanese Zero Anaphora Resolution with Large-scale Case Frames. IPSJ Journal, 52 (12), 3328-3337.].

柴田知秀, 河原大輔, 黒橋禎夫 (2019). BERT による日本語構文解析の精度向上. 言語処理学会第 25 回年次大会発表論文集, pp. 205-208. [T. Shibata et al. (2019). BERT ni yoru Nihongo Koubun Kaiseki no Seido Kojo. Proceedings of the 25th Annual Meeting for the Association for Natural Language Processing, pp. 205-208.].

Tenney, I., Das, D., and Pavlick, E. (2019). "BERT Rediscovers the Classical NLP Pipeline." arXiv preprint arXiv:1905.05950.

宇田川忠朋，久保大亮，松崎拓也 (2021). BERT を用いた日本語係り受け解析の精度向上要因の分析. 人工知能学会第 35 回全国大会論文集, JSAI2021. 3J4GS6c03, [T. Udagawa et al. (2021). An Analysis of the Improvement in Japanese Dependency Analysis using BERT. Proceedings of the 35th Annual Conference of the Japanese Society for Artificial Intelligence,

3J4GS6c03.].

Zhang, X., Cheng, J., and Lapata, M. (2017). "Dependency Parsing as Head Selection." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 1, Long Papers, pp. 665-676, Valencia, Spain. Association for Computational Linguistics.

## 略歴

河野慎司 : 2019 年茨城大学工学部情報工学科卒. 2021 年茨城大学大学院理工学研究科修了.

古宮嘉那子：2005 年東京農工大学工学部コミユニケーション工学科卒. 2009 年同大学大学院博士後期課程電子情報工学専攻修了. 博士 (工学). 同年東京工業大学精密工学研究所研究員, 2010 年東京農工大学工学研究院特任助教, 2014 年茨城大学工学部情報工学科講師, 2021 年東京農工大学工学研究院准教授. 現在に至る. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会,言語処理学会各会員.

新納浩幸: 1985 年東京工業大学理学部情報科学科卒業. 1987 年同大学大学院理工学研究科情報科学専攻修士課程修了. 同年富士ゼロックス, 翌年松下電器を経て, 1993 年より茨城大学工学部. 現在, 茨城大学工学部情報工学科教授. 博士 (工学). 機械学習や統計的手法による自然言語処理の研究に従事.言語処理学会, 情報処理学会, 人工知能学会各会員.