# 深層学習モデルは司法試験をどこまで解いているのか :問題分類とそれに基づく分析

清田直希 ${ }^{1}$ 藤田真伎 ${ }^{2}$ 狩野芳伸 ${ }^{1}$
1 静岡大学大学院 総合科学技術研究科 情報学専攻 2 静岡大学 情報学部
nkiyota@kanolab.net mfujita@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

自然言語処理技術の法的応用は重要であるが，テキストの専門性が高く, 複雑な構文・意味構造の法律文書を処理するのは依然として難しい。司法試験の自動解答を題材とした COLIEE では，多くの参加チームが end-to-end の深層学習モデルを提出しており,一見高いスコアを獲得しているように見えるが, これらのモデルはブラックボックス的な処理のため,解答の根拠を示すことは難しい. 本稿での問題分類とシステム出力の詳細な比較により、現在のシステムは未だ正しい推論過程に基ついた自動解答を行えていないことが示唆された。

## 1 はじめに

近年，自然言語処理技術は急速に発展し，様々な分野での活用が期待されている。司法の分野も例外ではなく，法律文書は文章中の事象を客観的に判断しなければならないことから，自然言語処理の導入に期待が高まっている。

本研究では，毎年開催されている我が国の司法試験の自動解答を行うコンテスト型のワークショップ COLIEE タスクシリーズ[1]-[7]で配布されたデータを対象とする. COLIEE2021[8]で，我々は日本語の述語項に着目した解答器を作成した. その他のチー ムは，汎用的自然言語処理モデル BERT[9]を使用した機械学習的なアプローチで自動解答を実現していた.

法律文書の処理は，専門性の高い言語が多く用いられているうえ，複雑な構文構造や人物関係，言い換え表現など高度かつ多様な解析技術を必要とする複合的な要素がある。こうした, 複雑な文書処理について現状の自然言語処理モデルが論理的な解答を行っているのかを, 問題分類を通して分析した。最後に，この分析に基づいて，説明可能な自動解答モ
デルの実現について論じる

## 2 司法試験の自動解答タスク COLIEE

## 2. 1 COLIEE

COLIEE (Competition for Legal Information Extraction and Entaiment)は, COLIEE 2014，COLIEE 2015 , COLIEE 2016 と人工知能学会国際シンポジア (JSAI-isAI)のひとつである JURISIN (法情報学ワ ークショップ)において開催してきた. COLIEE 2017 は法と人工知能に関するトップカンファレンスである ICAIL (International Conference of Artificial Intelligence and Law)において開催された. COLIEE 2018 からはカナダ法を用いたタスクが追加されたが，本稿では我が国の司法試験を用いたタスクのみを対象とする。

司法試験は弁護士や裁判官，検察官となろうとする者を対象に行われる試験である。問題形式は択一問題を含む短答式と論文式に分けられて行われる.試験の科目数については，短答式が憲法，民法，刑法の 3 科目であり，論文式が公法系科目 (憲法及び行政法に関する分野), 刑事系科目 (刑法及び刑事訴訟法に関する分野), 選択科目 (知的財産法, 労働法などの中から 1 科目選択する)の 4 科目である.

COLIEE ではこのうち民法短答式試験を対象としている. 多択を 2 択にブレークダウンするとともに，解答に関連する条文を検索する情報検索タスク (Information Retrieval)と， 2 択を Yes/No で答える含意関係タスク (Entailment)がある。また，知識源として民法の全条文を配布し，問題文共々原文の日本語に加え，英語に翻訳したものを配布している。

COLIEE 2021 では, 5 つのタスクが用意され, Task1 と 2 はカナダの判例法を用いたタスクであった. Task3 が情報検索タスク, Task4 が含意関係タスクであった．以下で各タスクを定式化する。
情報抽出タスクでは, 与えられた問題文 $\mathrm{Q}$ を解答するのに関連する民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots$, $\mathrm{S}_{\mathrm{n}}$ を民法全体から抽出する。

含意関係タスクは，与えられた問題文 $\mathrm{Q}$ を同時に与えられた民法条文のサブセット $\mathrm{S}_{1}, \mathrm{~S}_{2}, \cdots, \mathrm{S}_{\mathrm{n}}$ が含意するかを解答するタスクである. すなわち, 含意関係にあれば Yes，そうでなければ No と解答する。

Task5 は司法試験の問題文のみを与えられ, 条文検索から解答まで行う Task3 と 4 を組み合わせたタスクとなっている。本稿では Task 4 を対象とする.

なお, Task 4 と 5 においては 2 択のブレークダウンによって, 法律文書を正しく理解していなくても， Yes/No で解答をすれば $1 / 2$ の確率で正解になってしまうため, 解答の論理性が失われる点が課題とされている.

## 2.2 分析対象の解答器モデル

本稿では我々が COLIEE 2021 において作成した解答器である KIS1[10]を分析対象に用いる. この解答器は我々の COLIEE 2020 のモデル[11]をベースにしており, 述語項構造の抽出比較が基盤になっている. 本モデルは従来のモデルの節セットに加えて,関連条文中には登場しない表現を抽象表現に置き換え(例 : “甲” $\rightarrow$ “物”), 節分割により節セットの要素を埋められれなかった場合, 隣接する節の引数を利用して要素を埋める新規節セットを用いている. また, 従来では問題文と関連条文の文末の節セットのみが比較対象であったが, 本解答器ではすべての節セットを比較することができる項探索モデルを実装した. 本解答器は我々が提出したものの中で最も高い精度であった。

また, 本稿の分析のためにシンプルな BERT を用いた解答器(Vanilla BERT モデル)を作成した. 本モデルは日本語の Wikipedia で訓練されているi. 事前訓練に使用されたテキストファイルは約 1,700 万文で構成されており, サイズは 2.6GB である. ファインチューニングの際には, COLIEE で出題された過去の問題から作成された 2,164 の訓練データを使用した.

COLIEE 2021 では 80 問の問題を対象に解答の精度を競った. 我々が分析対象とするモデルは, 述語項ベースの正解が 44 (正答率: .550), vanilla BERT の正解が 50 (正答率: .625)であった.


## 3 司法試験の問題分類

司法試験を解答するうえでは，背後にある構文構造, 人物の役割と関係性, 論理, 抽象性など多様で複雑な構造を的確に処理をする必要がある。 どの問題解答にどのような要素技術が必要か, 平成 29 年度以降のテストデータを対象に解答に必要な要素基準ごとに手作業でマルチラベル分類をした．分類の基準を表 1 に示す. 本節ではうちいくつかの分類基準を概説する。

## 表 1 COLIEE 司法試験問題の技術別分類基準

分類名分類基準文章の一部を省略している際に，それが何

照応解析を指しているのかを明確にする際に用いる.「こそあど言葉」のみだけではなく「前文」「同項」なども対象となる

条文検索条文中に別の条文が指定されている問題

意味役割

付与問題文の中で用いられている名詞が動作主なのか・その動作の対象なのか, 手段なのか等を特定する必要がある問題

## 条件文抽

出・判断問題文・条文のそれぞれの条件文を調べることで正誤が判断できる可能性がある問題

係り受け主語と述語の関係又は文の並列関係に着解析目する必要がある問題

箇条書き

解析条文で箇条書きが用いられている問題. 主に箇条書きに書かれているものは条件を満たす変数とみなしてよいと考える。

法律系用民法に記載されている文章と司法試験中語事実関での言動についての事実関係を示す必要

係がある問題

## 否定形解又は「〜できない(不可能)」「〜しなけれ

釈ばならない(義務)」など「ない」が用いられていてもその意味が異なる問題法律系の言語ではない一般生活で用いら

一般辞書れるような事物が出てきている問題(例:冷蔵庫, 会社)

 \\

付与 & 必要がある問題

## 3.1 照応解析

照応解析は，文章中で登場する「これ」や「この」 などの指示内容を明確にする解析である．前述の指示しに加えて，「前章」や「同項」など司法試験特有の指示表現もあり，言語処理においてはその内容を正しく理解する必要がある.

## 3.2 条件文抽出・判断

条件文抽出・判断は問題文及び条文の条件文を調べることで正誤判定ができる可能性がある問題である. 例えば以下のような問いである。

関連条文 :

第百六十条相続財産に関しては，相続人が確定した時, 管理人が選任された時又は破産手続き開始の決定があった時から六箇月を経過するまでの間は，時効は，完成しない。

問題文 (正答: No) :

相続財産に関しては, 相続財産管理人が選任された場合でも，相続人が確定するまでの間は，時効は完成しない.

太字の部分が文章中の条件である.この場合, 相続財産の時効不成立の条件が正誤の判断材料になる.関連条文では, 管理人選任時から六箇月間は時効が完成しないと記載されているのに対し, 問題文では相続人が確定するまでの間と主張されている.このように,これらの文は条件が異なっていることから，答えは Noとなる.

## 3.3 法律系用語事実関係

法律系用語事実関係とは, 法的な知識を要する表現の関係性である。例えば，問題文では「売買」，関連条文では「双務契約」と記述されていた場合，前者が後者の包含関係にあることを正しく理解しなければ関連条文の内容を適用するかどうかを判断できない。つまり，直接記載されていたり，肯定形や否定形を入れ替えたりしただけの単純な問題ではない.

## 3. 4 否定形解釈

否定形解釈は，条文及び問題文の否定形を正しく解釈したうえで，正誤の判断材料にするタスクである. 以下のように条文の内容を否定形に反転した司法試験の問題も見受けられる.

関連条文:

第六百七十五条組合の債権者は, その債権の発生の時に組合員の損失分担の割合を知らなかったときは，各組合員に対して等しい割合でその権利を行使することができる.

問題文 (正答: No):

組合の債権者は, 各組合員に対して, その権利を行使することができない.

このように, 関連条文の内容を否定形にすることで，問題文の主張の正誤も反転する。つまり，この問題の答えは No となる.

否定形解釈は一見，文末の「ない」を認識できれば簡単に評価できるように思えるが，以下のような問いでは「ない」のみで判断することが難しい.

関連条文：

第六百三十三条報酬は，仕事の目的物の引き渡しと同時に，支払わなければならない.

問題文 (正答: No) :

請負人は，仕事の目的物の引き渡しを要する場合には，これを引き渡した後でなければ，報酬を請求することができない.

この場合，条文と問題文それぞれに「ない」が用いられている.しかし, 後者は否定形なのに対して,前者は「義務」を表しているため,この問題の答えは No となる. つまり，この問題を解くためには， これらの「ない」に内在される意味を把握しなければならない.

## 3.5 人物関係抽出 $\cdot$ 人物役割付与

## 関連条文:

第二百条占有者がその占有を奪われたときは，占有回収の訴えにより，その物の返還及び損害の賠償を請求することができる。

問題文 (正答: Yes):

A は自己の所有する工作機械を B に賃貸していたが，B は，工作機械の賃貸借契約継続中に工作機械をCに窃取された。この場合，Bは，Aから独立して，Cに対して占有回収の訴えを提起することができる.

先に示した例では，問題文を関連条文と単純に比較することは難しく，正しい解答を出すためには A やB といった人物がどんな関係性であり，それぞれの人物がどのような役割を担っているのかを明らかにする必要がある．この場合，A と B は「賃貸借契約」の関係性である。こうした複数の人物間の関係性を明らかにする必要がある問題には人物関係抽出のタグをつけた。一方で，A は「賃貸人」，B は「賃借人」となり, 工作機械を「占有」していることになる。このように，各人物が問題文中でどのような役割を担っているのかを明らかにする必要がある問題が人物役割付与である.

## 4 説明可能な自動解答に向けた分析

## 4. 1 問題分類別の正答率

表 2 BERT モデルの問題分類別正答率 (COLIEE2021 抜粋)

 &  &  & 艺 &  &  &  \\

表 2 は COLIEE 2021 の他参加チームのうち BERT を用いたモデルと，筆者らが作成した Vanilla BERT と, baseline（全て No と解答した場合）とについての問題分類別の正答率を抜粋したものである. BERT モデルは古典的な自然言語処理モデルである筆者らの KIS1 よりも，それぞれの分類で高い正答率であった。

## 4. 2 問題分類別の解答状況

本節では, 実際に出題されたテストデータを基に,問題の分析を行った (問題例については付録 Bを参照). 本問題では先の章で示したように，A や B の役割を明らかにしたうえで，下線部が「債務の目的物の代償である権利の移転」の法律用語系事実関係であることもあり，より難易度が高い問題だと考えられる。使用言語別にみると，日本語モデルは $10 / 12$ に対し，英語モデルは $3 / 6$ であった。しかし本問題では，英語では “a seller (A)”のように役割が明記されており前述のような人物役割の推論過程を省略できる. 日本語よりも推論が容易にも関わらず，正答率について大きな差が出た点で現状の推論が不十分なことを示唆できる。

## 5 議論と展望

COLIEE 2021 では 7 割程度の精度を達成した解答器も存在したが，問題分類別の分析を行った結果，同じ技術に分類された問題においても，正答率が安定していなかったため，解答器が法律文書を十分正しく処理するためにはまだ多くの課題があると考える．法律分野における実用を想定すると，推論過程とその根拠を示す必要がある．現状の 2 択式で解答器の精度を計る評価方法については，新たな評価尺度を追加し，ブラックボックス的な処理の弊害を除きうる説明可能な技術の開発を進めたい.

## 謝辞

本研究は JSPS 科研費 17H06103 の助成を受けたものです.また，COLIEE のオーガナイザの方々には本研究に使用したデータを提供していただきましたことを厚く御礼申し上げます。

## 参考文献

[1] "Competition on Legal Information

Extraction/Entailment (COLIEE-14), Workshop
on Juris-informatics (JURISIN) 2014," 2014. http://webdocs.cs.ualberta.ca/ miyoung2/jurisin_ task/index.html.

[2] M.-Y. Kim, R. Goebel, and K. Satoh, "COLIEE-2015 : Evaluation of Legal Question Answering," in Proceedings of the Ninth International Workshop on Juris-informatics (JURISIN 2015), 2015, pp. 1-11, [Online]..

[3] M.-Y. Kim, R. Goebel, Y. Kano, and K. Satoh, "COLIEE-2016: Evaluation of the Competition on Legal Information Extraction and Entailment," in Proceedings of the Tenth International Workshop on Juris-informatics (JURISIN 2016), 2016, pp. 1-13, [Online].

[4] Y. Kano, M.-Y. Kim, R. Goebel, and K. Satoh, "Overview of COLIEE 2017," in Proceedings of the Competition on Leal Information Retrieval and Entailment Work-shop (COLIEE 2017) in association with the 16th International Conference on Artificial Intelligence and Law, 2017, vol. 47, no. no.Icail, pp. 1-8.

[5] M. Yoshioka, Y. Kano, N. Kiyota, and K. Satoh, "Overview of Japanese Statute Law Retrieval and Entailment Task at COLIEE-2018," in Proceedings of the Twelfth International Workshop on Juris-informatics (JURISIN 2018), 2018, pp. 1-12.

[6] R. Goebel, Y. Kano, M.-Y. Kim, J. Rabelo, K. Satoh, and M. Yoshioka, "COLIEE 2019 Overview," in Proceedings of the Competition on Legal Information Retrieval and Entailment Workshop (COLIEE 2019) in association with the 17th International Conference on Artificial Intelligence and Law, Jun. 2019, pp. 1-9.

[7] J. Rabelo, M.-Y. Kim, R. Goebel, M. Yoshioka, Y. Kano, and K. Satoh, "COLIEE 2020: Methods for Legal Document Retrieval and Entailment," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 1-15.

[8] R. Goebel, Y. Kano, S. Univesity, M. Kim, and J. Rabelo, "Summary of the Competition on Legal
Information Extraction/Entailent (COLIEE) 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 1-7.

[9] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," Oct. 2018, Accessed: Jan. 08, 2020. [Online]. Available: http://arxiv.org/abs/1810.04805.

[10] M. Fujita, N. Kiyota, and Y. Kano, "Predicate's Argument Resolver and Entity Abstraction for Legal Question Answering: KIS teams at COLIEE 2021 shared task," in Proceedings of COLIEE 2021 Workshop on International Conference on Artificial Intelligence and Law (ICAIL 2021), 2021, pp. 15-24.

[11] R. Hayashi, N. Kiyota, M. Fujita, and Y. Kano, "Legal Bar Exam Solver integrating Legal Logic Language PROLEG and Argument Structure Analysis with Legal Linguistic Dictionary," in Proceedings of the Fourteenth International Workshop on Juris-informatics (JURISIN 2020), 2020, pp. 148-161.

[12] M. Yoshioka and Y. Suzuki, "BERT-based ensemble methods with data augmentation for legal textual entailment in COLIEE statute law task," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 78-83.

[13] M.-Y. Kim, J. Rabelo, and R. Goebel, "BM25 and Transformer-based Legal Information Extraction and Entailment," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 25-30.

[14] H.-T. Nguyen et al., "JNLP Team: Deep Learning Approaches for Legal Processing Tasks in COLIEE 2021," in Proceedings of the COLIEE Workshop in ICAIL., 2021, pp. 46-53.

[15] S. Wehnert, S. Viju, D. Shipra, K. Libin, S. Saijal, and W. de L. Ernesto, "Legal norm retrieval with variations of the bert model combined with TF-IDF vectorization," 2021.

## 付録 A COLIEE 2021 formal run の問題分類別正答率

Table 1 COLIEE 2021 Task4 formal run の問題分類別正答率 (チーム名はそれぞれ a1: HUKB-1, a2: HUKB-2, a3: HUKB-3, b1: JNLP.Enss5C15050, b2: JNLP.Enss5C15050SilverE2E10, b3: JNLP.EnssBest, c1: KIS1, c2: KIS2, c3: KIS3, d1:OVGU_run1, d2: OVGU_run2, d3: OVGU_run3, e1: TR-Ensemble, e2: TR-MTE, e3: TR_Electra, f1: UA_dl, f2: UA_parser, g: our Vanilla BERT, h: COLIEE_baselineを表している)

 &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  &  \\

## 付録 B

問題文 (正答: Yes):

A と B は，Ａが所有する骨董品甲を B に 100 万円で売却する旨の売買契約を締結した．売買契約の締結後，B が代金 100 万円を支払ったが，A が甲を B に引き渡す前に，甲が B の責めに帰すべき事由により焼失した場合において，A が甲の焼失による損害をてん補するために支払われる損害保険金 70 万円を得たときは， B は，A に対し， 70 万円の支払を請求することができる.

(If, after the conclusion of the contract for sale, a buyer (B) pays 1000000 yen for $\mathrm{X}$, but before a seller (A) delivers $\mathrm{X}$ to B, $\mathrm{X}$ is burned-out due to grounds attributable to $\mathrm{B}$, and $\mathrm{A}$ obtains 700,000 yen of the insurance money for damage caused by the destruction of X, B may claim payment of 700,000 yen to A.)

関連条文:

第四百二十二条の二債務者が，その債務の履行が不能となったのと同一の原因により債務の目的物の代償である権利又は利益を取得したときは，債権者は，その受けた損害の額の限度において，債務者に対し，その権利の移転又はその利益の償還を請求することができる。

(Article 422-2 If the obligor acquires a right or profit as a substitute for the subject matter of the obligation due to the same cause as the one that has rendered the performance of the obligation impossible, the obligee may demand the transfer of the right or reimbursement of the profit from the obligor, to the extent of the amount of damage sustained thereby.)