BERTはfine-tuningすることで様々なNLPタスクに対して高性能な結果を出した事前学習済みモデルであるが，多くのパラメータを調整する必要があるため学習や推論に時間がかかるという問題がある．本論文では日本語構文解析に対して，BERTの一部の層を削除した簡易小型化BERTの利用を提案する．実験では，京都大学ウェブ文書リードコーパスと京都大学テキストコーパスを混合したデータを用いて，京大版のBERTとそこから構築した簡易小型化BERTの正解率と処理時間を比較した．提案する簡易小型化BERTでは，京大版のBERTからの正解率の劣化をウェブコーパスで0.87ポイント，テキストコーパスで0.91ポイントに押さえながら，学習時間は83\%，推論時間はウェブコーパスで65\%，テキストコーパスで85\%まで削減することができた．