法令文解析に適した事前学習モデルの構築

比較法学研究を推進するために日本法と外国法の類似条項を対応付ける研究が行われている．その手法の一つに汎用言語モデルであるBERTが使われている[1]．これにより，事前学習とfine-tuningの組み合わせでEnd-to-end学習を可能とする．法令分野の事前学習モデルは既にいくつかある[2，7]が，判例など法令以外の文書もコーパスに含まれており，法令のみをコーパスとしたBERTモデルは存在せず，高精度な法令解析を行うには，法令のみをコーパスとしたBERTモデルが必要となる．したがって，本研究の目的は，日本の法令文解析に適した事前学習モデルを構築することである．法令のみをコーパスとした事前学習モデルを二通り作成し，各モデルの言語理解能力，外国法対応付け能力をテストした．結果として，F1値で東北大学が発表した，日本語汎用事前学習モデル（以降，東北大BERTi）を上回る性能を示した．