法令間委任関係におけるマルチラベル委任先条文特定

日本の法令には，形式的効力が上位の法令が下位の法令に対して詳細事項の規定を委ねる「委任関係」が多く存在する（図1）．委任関係の把握は法制度の理解に不可欠である一方，委任関係を含む法令の読解では，読み手が委任先法令を頻繁に参照する必要があり，読み手の負担が大きい．そのため，条文中の委任関係を読み手に対して即時に提示する支援システムが求められている．しかし，支援システムの開発・運用のためには，新規法令の制定や既存法令の改正の度に全法令に対する委任関係のアノテーションが必要であり，長時間の作業を要する．また，委任関係においては，委任先条文と委任元条文との間に一対一の対応が存在する場合もあれば，一つの委任元条文が複数の条文に対して同時に委任を行う場合も存在する．例えば，図11）で示すように，上位法令である「外国為替及び外国貿易法」の第68条の2で，「政令の定めるところにより、...権限の一部を地方支分部局の長に委任することが1）本稿では，条文の字下げ等の配字に関する詳細を簡略化している．¥\mplg¥\Æ2&V)2çí$õ–'¤Xxy—Ü¥JãIBÜyÍÁIz|U«yŒ–s^˜v“•|^yQqv.pZXxy²è••O©þèÃy×v—Üd–^sWrX–}$õõ€zÆö.çz°Æö.ç¥\mpç¤Xxy—Ü¥JIBÜ!!!¤Xxy—Ü¥JÍI”Ü!!!¤UÐ=yèŸ¥JIÍÜ!!!&W)2çí$õ›'できる」という文言が出現し，下位法令である「外国為替令」，「輸出貿易管理令」及び「輸入貿易管理令」という三つの政令の条文で，委任される権限の詳細が定められるといった形である．委任先条文が複数存在する場合，委任関係のアノテーションにおいて，多くの法令の中に点在する条文を横断的に確認する必要があり，委任先条文が一つのみの場合よりもアノテーションにかかる負荷が格段に大きい．藤田ら[1]は，委任関係を表すキーワードを抽出する固有表現抽出モデル[2,3]と，各キーワードが示す委任先条文の特定を行う類似度ベースのエンティティ曖昧性解消モデル[4,5,6,7]のパイプライン処理[8,9,10,11]により委任関係の自動抽出を行なった．藤田らは，委任関係キーワードの抽出で95ポイント以上のF値，委任先条文の特定で90ポイント以上のRecall@10を報告しており，人手アノテーション支援の用途においては十分な精度を達成している．ただ，藤田らの研究では，委任先が複数存在する場合でもいずれか一つをモデルが予測できれば正解とみなす“シングルラベル設定”で実験が行われており，全ての委任先を予測する“マルチラベル設定”への対応は課題として残っていた．そこで本稿では，マルチラベル委任先条文特定という新しいタスクを提案し，全委任先の特定を行うことで，アノテーション負荷が特に高いマルチラベThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).ペアの間に委任関係が存在するか否かを判定する．具体的には，エンコーダ型言語モデル（Encoder）と全結合層（Liner）と連結し，候補条文𝑦が委任関係キーワード𝑥の委任先である確率を式4及び式5で計算する．𝑃(𝑦|𝑥)=𝜎(𝑧)(4)𝑧=Liner(𝑐𝑙𝑠(Encoder(𝜏𝑥,𝑦))))(5)ここで，𝜏𝑥,𝑦はWuら[7]と同様の形式で𝑥と𝑦を結合したトークン系列，𝑐𝑙𝑠(·)は[CLS]トークンに対するエンコーダの出力を取得する関数，𝜎(·)はシグモイド関数である．学習時には，各正解候補条文に対しての類似度が最大となるように，二値交差エントロピー誤差（式6）の最小化によってパラメータを更新する．LBCE=−h𝕀(𝑦)log𝑃(𝑦|𝑥)+1−𝕀(𝑦)log1−𝑃(𝑦|𝑥)i(6)ここで，𝑦が正解の委任先条文である場合は𝕀(𝑦)=1，それ以外の場合は𝕀(𝑦)=0である．推論時には，𝑃(𝑦|𝑥)が閾値を上回った正解候補条文を𝑥の委任先として推定する．3データセット本稿では，藤田ら[1]が作成した法令条文データベース及び委任関係抽出データセットを使用して，マルチラベル委任先条文特定モデルの学習と評価を行う．法令条文データベースには，日本における現行法令2）を階層的に構成する様々な粒度の条文のうち，法令全体・条・項・号・附則全体の粒度を持つもの約228万件が収録され，各条文に固有の条文IDが設定されている．また，委任関係抽出データセットは，全現行法令の条文を句点で区切って得られる文のうち，委任関係キーワードを含むものの一部である20,386文から構成されている．各文には，文中に出現する委任関係キーワード計20,723件の位置情報と，各キーワードに対応する35,035件の委任先条文IDが正解ラベルとして人手でアノテーションされている3）．委任関係抽出データセットにおける，各委任関係キーワードに対応する正解の委任先条文数の分布を数の委任先条文を持つものは約14%程度であり，大2）国会が制定する法規範である法律と，国の行政機関が制定する法規範である命令からなる．3）法令における条文の粒度及びに本稿で使用するデータセットに関する詳細は付録Aを参照．正解の委任先条文数12–1011–100101–委任関係キーワード数17,8902,5083205割合(%)86.3%12.1%1.54%0.02%半は委任先条文数が2–10個の範囲に集中している．委任先条文が複数存在する事例の割合は比較的低いものの，これらの事例は，委任関係の人手アノテーションにおいて特に大きな負担を生じさせる（1節参照）．そのため，複数の委任先を持つ事例への対応は実務上重要な課題である．なおマルチラベル委任先条文特定タスクでは，法令条文データベース中の条文を委任先候補とし，委任関係抽出データセットに含まれる各キーワードの正解ラベルを委任先候補の中から全て予測する．4実験設定本稿では，藤田ら[1]と同様に，委任関係抽出データセットを用いて「法令全体」，「条」，「項」及び「号」の4つの粒度でスコアを計算し，5分割交差検証によって候補検索モデルと二値分類モデルの性能を評価する．5分割交差検証では，全体の2割の文を評価データとして使用し，残りの8割のデータをさらに9:1の割合で訓練データと開発データに分割して使用する4）．候補検索多言語版E5–Baseモデル5）[13]をエンコーダとして使用し，シングルラベル設定の損失関数Lsingle（式1），マルチラベル設定の損失関数Lmulti1（式2）及びLmulti2（式3）により学習した候補検索モデルRet-Single，Ret-Multi1及びRet-Multi2の性能を比較する．表1のように，各委任関係キーワードに対する委任先条文数は大半が10件以下であるため，推論時に候補検索モデルが出力する候補の件数は，正解の委任先条文全てを十分に包含できる30件とする．評価においては，類似度上位30件の候補に対してRecall@30（R@30）を算出し，正解の委任先条文のうち，上位30件の候補に含まれる正解条文の割合を比較する．二値分類二値分類モデルでは，エンコーダ型言語モデルとして東北大学版の日本語BERT6）を使用し，Ret-Single，Ret-Multi1及びRet-Multi2によって検索された各30件の委任先候補条文から二値分類モデルBin-Single，Bin-Multi1及びBin-Multi2をそれ4）学習及び評価における詳細設定は付録Bに示す．5）https://huggingface.co/intﬂoat/multilingual-e5-base6）tohoku-nlp/bert-large-japanese-v2org/licenses/by/4.0/).粒度Ret-SingleRet-Multi1Ret-Multi2法95.2(±0.91)91.8(±1.13)91.8(±1.00)条72.2(±2.16)63.6(±2.26)65.4(±1.31)項69.5(±2.43)60.0(±2.28)62.0(±1.13)号68.5(±2.58)59.3(±2.33)61.1(±1.24)ぞれ作成する．またベースラインとして，Ret-Singleが検索した候補の中で最も類似度が高かった条文を直接推論結果として出力するBase-Singleも比較対象に加える．評価実験では，モデルが予測した委任先条文と正解の委任先条文との間の一致について，適合率，再現率及びF値を算出する．パイプラインシステムパイプラインシステムでは，Ret-SingleとBin-Single，Ret-Multi1とBin-Multi1，Ret-Multi2とBin-Multi2をそれぞれ組み合わせた，Pipe-Single，Pipe-Multi1及びPipe-Multi2による推論を行い，正解の委任先条文との間の一致について，適合率，再現率及びF値を算出する．5実験結果と考察候補検索候補検索モデルの評価実験の結果はグルラベル設定の損失関数Lsingleにより学習したRet-Singleが，マルチラベル設定を明示的に考慮したRet-Multi1及びRet-Multi2を上回るR@30を示した．特定の委任元条文に対応する正解条文は全て，その委任元条文に関連する詳細事項を規定するという点で共通であるため，互いの意味的な類似性が高い場合が多い．そのため，Lsingleにより複数の正解条文から一つを選択して学習に使用した場合でも，選択されなかった条文も含めた全ての正解条文に対して，モデルが高い類似度スコアを割り当てられるようになった可能性がある．二値分類・パイプラインシステムパイプラインシステムの性能を表3に示す．パイプラインシステムは，「項」及び「号」の粒度においてBase-Singleを上回っており，二値分類モデルの導入により，複数の委任先を項や号といったより細かい粒度で特定する能力が向上したことが分かる．また，Pipe-Singleは，Ret-Singleの出力する候補条文の中により多くの正解条文が含まれているため，Pipe-Multi1及びPipe-Multi2よりも高い再現率を示している．他方，適合率はPipe-SingleよりもPipe-Multi1及びPipe-Multi2の方が高く，結果として3種類のパイプラインシステムのF値は同程度の値になった．モデル粒度適合率再現率F値法92.6(±0.89)85.3(±1.15)88.8(±0.93)条78.9(±1.84)47.3(±2.52)59.1(±2.35)項56.3(±6.64)33.3(±3.40)41.8(±4.45)号56.0(±6.70)33.1(±3.44)41.6(±4.50)Base-Single法83.1(±3.58)78.1(±4.57)80.5(±3.97)条64.3(±9.67)53.2(±4.70)57.9(±5.66)項56.2(±10.5)48.9(±5.61)51.8(±6.61)号56.2(±10.5)48.9(±5.61)51.7(±6.62)Pipe-Single法87.0(±4.06)72.9(±8.32)79.2(±6.58)条71.6(±6.27)48.6(±8.05)57.8(±7.77)項60.8(±10.2)45.3(±8.09)51.9(±9.00)号60.7(±10.2)45.3(±8.09)51.9(±9.01)Pipe-Multi1法85.4(±7.00)75.8(±4.71)80.0(±3.72)条70.1(±9.54)51.1(±5.01)58.6(±5.10)項62.4(±8.76)47.6(±4.65)53.6(±4.76)号62.4(±8.76)47.6(±4.65)53.6(±4.76)Pipe-Multi2Ret-Singleは，複数の正解条文の中で一つの条文のみを正解として扱い，その条文と類似度が高い候補条文を検索するように学習している．そのため，Ret-Singleが出力する候補条文には，特定の正解条文との意味的類似性がマルチラベル設定と比べて高く，正解との識別が比較的難しい不正解条文も多く含まれている可能性がある．そして，Bin-Singleがこれらの比較的識別難易度が高い候補条文に対応できず，不正解条文を正解の委任先として誤検出する事例が増加したことで，Pipe-Singleの適合率の低下につながった可能性が考えられる．候補検索モデルのR@30に差がある一方でパイプラインシステムのF値が同程度となることは，正解との意味的類似性が高い不正解条文に対する二値分類モデルの識別性能向上が，候補検索モデルの出力の網羅性を適合率の向上に繋げ，パイプライン全体の性能改善を図るために重要であることを示唆している．6おわりに本稿は，委任関係の人手アノテーションにおいて特に負荷が高いマルチラベル事例に対処するため，委任先条文を全て抽出するマルチラベル委任先条文特定タスクを提案した．そしてこのタスクに取り組むため，候補検索モデルと二値分類モデルを組み合わせたパイプラインシステムを構築した．評価実験の結果，パイプラインシステムにより項や号といった細かい粒度における委任先特定性能が向上することが示され，委任関係アノテーション支援における提案手法の有効性が示唆された．org/licenses/by/4.0/).