言語処理学会 第26回年次大会 発表論文集 (2020年3月)

見出し情報を考慮した階層型 RNN による日本語判決書のための修辞役割分類
1 東京工業大学

情報理工学院

山田寛章 1 Simone Teufel2,3 徳永健伸 22 東京工業大学 情報理工学院
3 University of Cambridge
Tokyo Tech World Research Hub Initiative
Computer Laboratory

yamada.h.ax@m.titech.ac.jp

1simone.teufel@cl.cam.ac.uk

take@c.titech.ac.jp

る．これまでの日本の判決書における修辞役割分類のはじめに

研究 [4] では，Conditional Random Field (CRF) を用

我々は，日本国の判決書に対する情報アクセスの容易いた分類器を構築し F=0.63(マクロ平均値) の性能を化・効率化を目指し，検索の手掛かりとなる判決の要達成していたものの，BACKGROUND(F=0.32) 及び約を機械的に生成することを目指している．判決書にCONCLUSION(F=0.39) の重要な役割について相対的に分類性能が低くなっており，改善の余地があった．
本稿では，文間文脈を考慮可能な階層型 RNN をベースとするモデルを用いることで，日本国判決書における修辞役割分類の性能が従来の CRF による分類器に比べて向上することを示す．また，判決書中に出現する見出し情報を扱う専用のネットワークを階層型 RNNに追加することで修辞役割分類の性能が向上することを示す．

はその判決に至るまでの詳細な議論が記録されており，その議論・論理構造には一定の共通性がある．これは，執筆を担当する者が高度に教育された裁判官であることや，裁判の流れ・裁判制度の構造に起因する記述内容の規則性によるものである．このような判決書に内包される共通の議論構造を適切に利用できれば，高い品質の自動要約を実現することが可能となる．
判決書の階層的な議論構造を一括して抽出することは難度が高く，その性能評価も難しい．そこで，我々は判決書の要約のために必要十分な粒度の情報を抽出する 4 つの小タスクを定義した [1]．

2

関連研究

修辞役割分類分析 [5] は科学研究論文の要約のための1. 修辞役割分類 判決書からの基本的な議論構造を表現するために，先行研究 [2, 3] に従って表 1に示す修辞役割を設計した．この小タスクは文書中の各文に対して最も適切な修辞役割を一つ割り当てる．

手法して提案されたものであるが，法的文書の分野に

2. 争点特定 判決書における議論の中心的話題を示す「争点」が記述されている文を特定する．

用いて行い，各文が判決書中で果たす修辞役割 (例：おいても，同様のアプローチを用いて抽出型要約または重要箇所抽出を行う研究が存在する．Hachey ら [2]は英国の判例法システム下における判決書を対象として，文書中の各文に対する修辞役割分類を機械学習を結論，法律の引用等) を弁別した上で要約生成を行った．また，修辞役割と同様のアプローチを利用して

3. 争点関連付け 特定した「争点」と関連する文書中の各文を Issue Topic リンクによって関連付ける．
4. FRAMING リ ン ク修 辞 役 割 分 類 に よって 特定 さ れ た 修 辞 役 割 の 内 ，FRAMING-main とFRAMING-sub （または BACKGROUND）間の関係を FRAMING リンクによって関連付け，議論上の支持関係を表現する．
本稿では，4 タスクの中で主要な役割を果たす修辞役割分類の自動化及びその性能改善について議論すFarzindar ら [6] らがカナダの司法制度下における要約生成，Saravanan ら [3] がインド司法制度下における要約の研究を報告している．日本国判決書の自動要約については，阪野ら [7] が重要文を他の文と弁別する抽出型要約に取り組んでいる．
科学研究論文 [8] や利用規約文書 [9] における修辞役割分類に類似のタスクでは，階層型 RNN を用いて文間の文脈情報を利用可能なモデルを構築し，分類性能の向上が報告されている．同様に法的文書において― 37 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

y1

ynyN

CRF

CRF

CRF

表 1: 日本国判決書のための修辞役割 [1]
ラベル

説明

FACT

証拠や証言，状況やイベントを明示して法廷の場に明示的に事実として提示している
文．

Concatenate

Concatenate

Concatenate

CONCLUSION を導くための立論を構成する部分であって，CONCLUSION を直接支える事実認定や主張を行っている文．

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

FRAMING-main

CONCLUSION を導くための立論を構成する部分であって，FRAMING-main を支持する間接事実の認定を行う等，その根拠や理由を示している文．

FRAMING-sub

主要事実の認定など，争点の対象となっているトピックについての結論，または裁判全体の結論を述べている文．

CONCLUSIONIDENTIFYING

議論対象となる話題・問題を特定している文．

BACKGROUND

過去の裁判例や法条を直接引用または参照して，適用している文．

OTHER

上記のいずれにも適合しなかった文．

FACT
FRAMING-main
FRAMING-sub

文数 (%)

23.3
19.1
10.7

修辞役割

CONCLUSIONIDENTIFYINGBACKGROUNDsN

Concatenate
LSTM-word

CNN-charEmbeddings-word

Embeddings-char

w1 … wm … wM

c1 … cl … cL

BiLSTMsentence
layer

Sentence
encoderlayer
Sentence
Embeddinglayer

w: 入力文からの単語
c: 入力文からの文字
s: ある文に対応する文レベル LSTM からの出力ベクトルy: 予測された修辞役割の出力

表 2: 各修辞役割の分布
修辞役割

sns1

CRFlayer

図 1: hBiLSTM-CRF モデル

文数 (%)

4.0
2.1
0.9

4 修辞役割分類モデル

も，Tran ら [10] は Hachey らのデータに対して CNNと RNN を組み合わせた文間文脈を考慮可能な階層型の深層学習モデルを，Bhattacharya ら [11] はインド最高裁の判決書に対する修辞役割分類データに対して階層型 RNN を提案している．本稿で報告する階層型

RNN モデルは Bhattacharya らによるモデルと同様のものに，見出し情報を取り扱う専用エンコーダを追加

本稿では 4 種のタスクのうち，修辞役割分類を対象とする．判決書における修辞役割分類は文書中の各文を表 1に示される 7 つのクラスの何れかに分類する多クラス分類である．本稿では先行研究 [4] に従い，単語バイグラム，文位置，文長，キーワード，モダリティ表
現，日本語機能語表現, 法律の題名を素性とする CRFをベースラインモデル (CRF-base) として実装した．

したものとなる．

4.1 階層型 RNN による分類モデル

3 判決書コーパス

本稿では，BiLSTM-CRF を元にした階層型 RNN モデル (hBiLSTM-CRF) を日本語で記述された判決書に

本稿では，修辞役割分類，争点特定，争点関連付け，適用する．BiLSTM-CRF は BiLSTM と CRF を組み合

FRAMING リンクの各タスクについての正解データがアノテーションされた日本国判決書に対する議論構わせたモデルであり [12]，固有表現抽出や品詞解析と造注釈付きコーパス [4] を修辞役割分類の実験用デーデルはこれを文の系列ラベリングに拡張したものであタとして用いる．本コーパスは，裁判所 Web ページる．本モデルは，BiLSTM 層によって前後の文脈の情からダウンロード可能な，下級審裁判所より公開され報を取り込み，CRF 層によって入力系列に対してもった民事事件裁判例を対象として収録したものである．

ともらしい出力系列を求めることで，入力される文の実際にアノテーションされた文書は人手による判決要系列に対してその文脈に応じた修辞役割系列を予測す旨が付与済みであるものに限定されている.1 コーパスる．本モデルは，単語系列から文ベクトルを生成するは 120 文書，48,370 文 (約 32 億文字) から構成される．

層 (Sentence encoder)，BiLSTM により文ベクトルを文コーパス中の各修辞役割の出現数を表 2に示す．

脈化する層 (BiLSTM-sentence)，予測結果を出力する

いった単語系列ラベリングのために提案された．本モ

CRF 層 (CRF) の 3 つから構成される（図 1）．なお，
Sentence encoder は，単語分散表現を受け取り文ベク
1 コーパス中には，２人の異なる作業者によって注釈付けされた8 文書が含まれる．

― 38 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

y1

yn

CRF

CRF

CRF

Fully-connected

Fully-connected

Fully-connected

Concatenate
Output of
BiLSTM- s1
sentence layer

heading encoder は文字ベースの BiLSTM エンコーダでyN

Concatenate

Concatenate

snあり，文字分散表現を受け取って見出しベクトルを生成

CRF
layer

する．BiLSTM-heading では，BiLSTM-sentence と同様に文脈化された見出しベクトルを生成する．BiLSTM-HeadingsentenceconcatenatorsN

Concatenate

Concatenate

Concatenate

LSTM

LSTM

LSTM

LSTM

LSTM

LSTM

sentence の出力と BiLSTM-heading の出力は結合後に全結合層を経由して CRF 層へと入力される．本モデルの入出力系列の取り扱いは hBiLSTM-CRF に準じる．
また，比較対象として CRF-base に入力が見出しかBiLSTMheading
layer

否かを示す二値の素性を追加したモデル CRF-base+Hを実装した．

4.3 見出し自動アノテーション
LSTM

HeadingencoderlayerEmbeddings-heading

Heading
Embedding
layer

… ch
ch1 … chLk

見出し情報を利用するためには，入力データに見出しであるか否かの属性が付与されている必要性あるが，本実験で利用するコーパスには付与されていない．こch : 入力見出しからの文字s: 図 1中におけるベクトル s に同じのため，ルールベースの見出し検出器を構築した．検図 2: 見出し情報を考慮した hBiLSTM-CRF モデル

出器は文末の読点の有無と文長を元に見出しか否かを判定する分類器である．hBiLSTM-CRF+H 及び CRF-

トルを出力する LSTM-word と文字分散表現2 を受け取り文ベクトルを出力する CNN[14] である CNN-charbase+H はこの検出器の出力を見出し判定に利用する．
実験に使用するコーパスの内，修辞役割分類の訓練・から構成され，LSTM-word と CNN-char からの出力テストには使用しない文書から 5 文書 (全 2,061 文中を結合したものが出力となる．

622 文が見出し) を用いて，本検出器の性能評価を行っ本モデルは文の系列を入力とする．この入力系列は，サイズ w のウィンドウを文書頭から文書末まで一文毎た．正解データは本稿の第一著者が付与した．結果は

F = 0.89 (R = 0.99, P = 0.81) であった．に移動することで得られる．ある文書中の i 番目の文を Si とした時，その文書における n 番目の入力系列は{Sn−(w−1)/2 , ..., Sn , ..., Sn+(w−1)/2} となる3 ．本モデルか

5 実験

らは各文に対応する出力が w 個得られるが，このうち5.1 実験設定

入力系列の Sn に対応する出力を最終出力と見なす．

実験データとして3節で示した 120 文書からなるコーパスを使用した．このうち 10 文書を開発データと4.2 見出し情報を考慮した分類モデル

し，ハイパーパラメータの選択及び見出し検出器の文書中に出現する見出しは，人間の読者がその文書を開発に用いた．本実験では，開発データを除く 110

読む際に文のトピックや修辞役割が変化することを把文書を用いて，前節に挙げた CRF-base, CRF-base+H,握する手掛かりとなる．同様に，修辞役割分類を行う

hBiLSTM-CRF, hBiLSTM-CRF+H の 4 モデルの訓練モデルが見出し情報を利用できれば，分類性能の向上及び評価を 5 分割交差検定にて実施した．hBiLSTM-に寄与するはずである．

CRF, hBiLSTM-CRF+H については，ウィンドウ幅 w

前節の hBiLSTM-CRF に，見出し情報を取り扱うの値を 11,21,31 の複数の設定で実験を行った．F 値

専用のネットワークをモデルに追加した (hBiLSTM-(マクロ平均) について，Randomisation test (α=0.05,CRF+H)．この見出し用のネットワークは heading en-

two-tailed, R=100,000 samples) を用いて検定を行った．

coder, BiLSTM-heading, heading-sentence concatenatorの 3 つから構成される（図 2）．このネットワークへの5.2 実験結果

入力は入力文が見出しか否かで処理が異なる．ある文

表3に各モデルの性能を示す．全モデル中で hBiLSTM-が見出しであるならばその文がそのまま入力となり，CRF+H(w=11) が最も高い F 値 (F=0.654) を示し，見出しでないならば特殊トークン “ ” が入力となる．

CRF-base(F=0.630) 及び CRF-base+H(F=0.632) のベー

2 判決書を用いて GloVe[13] による事前学習を行った分散表現をスラインモデルに対して統計的に有意な差を示し用いる．
3 n は奇数とする．

― 39 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Mining, pp. 22–31. Association for Computational Linguistics, 2017.

表 3: 各モデルの性能（マクロ平均値）
モデル

精度

再現率F値

CRF-base
CRF-base+H
hBiLSTM-CRF (w = 11)
hBiLSTM-CRF (w = 21)
hBiLSTM-CRF (w = 31)
hBiLSTM-CRF+H (w = 11)
hBiLSTM-CRF+H (w = 21)
hBiLSTM-CRF+H (w = 31)

0.681
0.685
0.663
0.686
0.673
0.679
0.657
0.653

0.603
0.605
0.635
0.629
0.615
0.636
0.628
0.620

0.630
0.632
0.647
0.651
0.638
0.654
0.640
0.633

[2] Ben Hachey and Claire Grover. Extractive summarisationof legal texts. Artificial Intelligence and Law, Vol. 14,No. 4, pp. 305–345, 2006.
[3] M. Saravanan and B. Ravindran. Identification of Rhetorical Roles for Segmentation and Summarization of a LegalJudgment. Artificial Intelligence and Law, Vol. 18, No. 1,
pp. 45–76, 2010.
[4] Hiroaki Yamada, Simone Teufel, and Takenobu Tokunaga. Building a corpus of legal argumentation in japanesejudgement documents: towards structure-based summarisation. Artificial Intelligence and Law, Vol. 27, No. 2, pp.
141–170, Jun 2019.

表 4: 修辞役割別の各モデルの F 値
CategoryhBiLSTM-CRF

hBiLSTM-CRF+H

0.319
0.415
0.890
0.642
0.527
0.798
0.972

0.341
0.449
0.879
0.651
0.474
0.806
0.975

BACKGROUNDCONCLUSIONFACTFRAMING-main
FRAMING-sub
IDENTIFYINGOTHER[5] Simone Teufel and Marc Moens. Summarizing scientificarticles: Experiments with relevance and rhetorical status.
Computational Linguistics, Vol. 28, No. 4, pp. 409–445,
2002.
[6] Atefeh Farzindar and Guy Lapalme. LetSum, an automatic Legal Text Summarizing system. Jurix, pp. 11–18,
2004.

hBiLSTM-CRF は w = 21，hBiLSTM-CRF+H は w = 11．

[7] 阪野慎司, 松原茂樹, 吉川正俊. 機械学習に基づく判決
文の重要箇所特定. pp. 1075–1078. 言語処理学会, 2006.

た．同様に，hBiLSTM-CRF(w=21)(F=0.651) も CRF-base(F=0.630)，CRF-base+H(F=0.632) に対して有意に[8] Di Jin and Peter Szolovits. Hierarchical neural networks
for sequential sentence classification in medical scientific abstracts. In Proceedings of the 2018 Conference on
Empirical Methods in Natural Language Processing, pp.
3100–3109, Brussels, Belgium, October-November 2018.
Association for Computational Linguistics.

高い性能を示した．概して階層型 RNN ベースのモデ
ル群は CRF ベースのモデル群よりも高い分類性能を達成した．このことから，日本語で書かれた判決書においても，文レベルでの BiLSTM-CRF 適用による文ベクトルの文脈化と予測系列の最適化が有効といえる．

[9] Ilias Chalkidis, Ion Androutsopoulos, and Achilleas Michos. Obligation and prohibition extraction using hierarchical RNNs. In Proceedings of the 56th Annual Meetingof the Association for Computational Linguistics (Volume2: Short Papers), pp. 254–259, Melbourne, Australia, July
2018. Association for Computational Linguistics.

F 値のマクロ平均値に関しては，hBiLSTM-CRF とhBiLSTM-CRF+H の間に統計的な有意差は確認できなかった．しかし，修辞役割別の F 値 (表 4) に着目すると，BACKGROUND (F=0.341)， FRAMING-

main (F=0.651)， CONCLUSION (F=0.449) について
hBiLSTM-CRF+H が有意に高い性能を示していることが確認できた．これらは結論や重要な論拠を提示する修辞役割であり見出し周辺に出現する傾向があるた
め，hBiLSTM-CRF+H モデルへの見出し情報の追加が有効に働いたと考えられる．

6 おわりに
本稿では日本国判決書に対する修辞役割分類について，階層型 RNN の適用と判決書中の見出し情報の利用による性能改善を提案した．階層型 RNN を用いることで分類性能が向上すること，及び重要な修辞役割について見出し情報の利用することで分類性能が向上することを示した．

参考文献[1] Hiroaki Yamada, Simone Teufel, and Takenobu Tokunaga.
Annotation of argument structure in Japanese legal documents. In Proceedings of the 4th Workshop on Argument[10] V. D. Tran, M. L. Nguyen, K. Shirai, and K. Satoh. An
approach of rhetorical status recognition for judgments incourt documents using deep learning models. In 2019 11th
International Conference on Knowledge and Systems Engineering (KSE), pp. 1–6, Oct 2019.
[11] Paheli Bhattacharya, Shounak Paul, Kripabandhu Ghosh,Saptarshi Ghosh, and Adam Wyner. Identification ofrhetorical roles ofsentences in indian legal judgments. In
Proceedings of the 32nd International Conference on Legal Knowledge and Information Systems (JURIX2019),
pp. 3–12, December 2019.
[12] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional
LSTM-CRF models for sequence tagging. CoRR, Vol.
abs/1508.01991, , 2015.
[13] Jeffrey Pennington, Richard Socher, and Christopher
Manning. Glove: Global vectors for word representation. In Proceedings of the 2014 Conference on EmpiricalMethods in Natural Language Processing (EMNLP), pp.
1532–1543, Doha, Qatar, October 2014. Association for
Computational Linguistics.
[14] Yoon Kim. Convolutional neural networks for sentenceclassification. In Proceedings of the 2014 Conferenceon Empirical Methods in Natural Language Processing(EMNLP), pp. 1746–1751, Doha, Qatar, October 2014.
Association for Computational Linguistics.

― 40 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.