法令文解析に適した事前学習モデルの構築

比較法学とは，種々の法体系における制度又は法の機能を比較することを目的とする学問である．比較法学では原則として国家の法体系を対象として比較を行う．このとき，法を原文のまま理解し，相違点と共通点の発見を経て国家間の法制度や法文化を比較する[3]．比較法学の実務的な効用として，自国法の立法整備，解釈・適用の改善が挙げられる．法制審議会では，諸外国の法制度についてまとめられた資料や制度の有無を比較した表が度々参照されている．また，グローバル化の進む現在，比較法は法学において重要な役割を担っており，海外の文化や考え方を理解するための材料にもなり得る[3]．BERT（BidirectionalEncoderRepresentationsfromTransformers）とは，GoogleAIが2018年に発表し──────────────────────ihttps://github.com/cl-tohoku/bert-japaneseiihttps://www.e-gov.go.jp/た深層学習モデルである．BERTは事前学習とfine-tuningの組み合わせでモデルの構築を行う[1]．本研究では，事前学習のみに焦点を当てている．計算機による類似条文の対応付けの自動化は，条文を比較することにより可能となる．先行研究[4]でBERTが採用されたが，事前学習済みモデルを使用していたため，日本法同士の対応付けではJaccard係数やBM25といった単語ベースの手法に比べて劣る性能となった．一般的なBERTモデルはWikipediaなどのテキストで訓練されており，医療等の特定ドメインに対しては性能が低いことが報告されている[5]．法令は一般文書より硬い表現で書かれるため，法令文を扱うタスクを行う場合，BERTモデルの法令ドメイン適応が必要となる[6]．法令ドメインに適応したBERTモデルは存在する[2，7]が，コーパスに判例文などの法令以外の文書も含まれており，高精度な解析を行うには，法令のみをコーパスとしたBERTモデルが必要となる．したがって，本研究の目的は，日本の法令文解析に適した事前学習モデルを構築することである．モデル構築後，言語理解能力と外国法対応付け能力をテストし，法令分野において汎用言語モデルを上回る性能を示すと共に，法令タスクについてもこれを上回る性能であることを示す．本稿は以下のような構成になっている．第2節でモデルの構築を述べる．第3節で実験の目的と設定，評価タスクを述べる．第4節で各実験結果を示し，考察を行う．第5節で本稿のまとめと今後の課題について述べる．