構文解析とは句同士の係り受け関係を明らかにするタスクのことである．従来より研究が盛んな分野であり，日本語構文解析ツールのKNP\footnote{\url{https://nlp.ist.i.kyoto-u.ac.jp/?KNP}}\cite{KNP1}\cite{KNP2}が有名であるが，近年，BERTを利用することで，従来のKNPよりも高い正解率を出すことが示されている\cite{shibata}．BERT\cite{bert}はfine-tuningすることで様々なNLPタスクに対して高い性能を示した事前学習済みモデルである．BERTを利用した構文解析では，BERTからの出力ベクトルを順伝播型ニューラルネットワーク(FFNN)に入力しfine-tuningすることで構文解析を行う．ただし，BERTには多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．そこで本研究では，構文解析において事前学習済みBERTの一部の層を削除した簡易小型化BERTの利用を提案する．ここでいう層とは，BERTを構成しているtransformerのエンコーダーのことであり，$\rm{BERT_{BASE}}$の場合，12層のtransformerのエンコーダーから成っている．このうちの何層かを削除し，層数が減った新しいBERTモデルを作成するという簡易な処理で小型化したBERTを，以降，簡易小型化BERTと呼ぶ．実験では，京都大学ウェブ文書リードコーパス\cite{Webcorpus}と京都大学テキストコーパス\cite{textcorpus}を混合したデータを用いて，京大版のBERT\footnote{\url{https://github.com/google-research/bert}}$^{,}$\footnote{\url{https://nlp.ist.i.kyoto-u.ac.jp/?ku_bert_japanese}}とそれを簡易小型化したBERTの正解率と処理時間を比較した．提案する簡易小型化BERTでは，3～10層目を削除した合計4層のモデルが，京大版のBERTからの正解率の劣化をウェブコーパスで0.87ポイント，テキストコーパスで0.91ポイントに押さえる結果となり，層を削除した後でも高い正解率を維持していることが分かった．また学習・推論時間は削除する層を増やすほど速くなり，合計4層モデルでは学習時間は83\%，推論時間はウェブコーパスで65\%，テキストコーパスで85\%まで削減することができた．またBERTのどの位置の層が構文情報を捉えているかを，12層のうち1層のみをfine-tuningに使用し，テストを行うことで調査した．その結果，新聞コーパスは上位・下位層が高い正解率を出したが，Webコーパスにおいてはどの層も大きな変化は出なかった．これらの結果からBERTはコーパスの特性や文に含まれるトークン数，未知語の割合などによって，構文解析の正解率に変化が出ると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%