本論文では，法務ドメインの日本語ベンチマークLegalRikai:OpenBenchmarkを提案する．本データセットは弁護士の監修の下，実際の法務業務を模した4つのタスクから構成されている．各タスクは長文かつ構造化された出力を要する25サンプルで設計されており，出力は複数の実務的観点に基づいて評価される．主要なLLMであるGPT-5，Gemini2.5Pro，ClaudeOpus4.1を対象に人手評価および自動評価を実施した．人手評価の結果，抽象的な指示を要するタスクでは不要な出力が増加しやすいことが明らかとなり，既存のタスクでは捉えにくかった文書レベルの編集におけるLLMの弱点が示された．さらに自動評価について分析した結果，文書構造の一貫性や専門用語の正確性に関する評価は困難である一方で，根拠が明確な評価観点においては人手評価と高い整合性を示した．これらの結果から，専門家の確保が難しい状況において，自動評価はスクリーニングや補助的評価手法として有用であることが示唆される．

LLMの発展に伴い，法務ドメインにおいても，文書の生成・要約・校正といった業務の効率化に期待が寄せられている．実際の法務業務におけるワークフローは，単一かつ単純なタスクではなく，複数の工程が統合された複雑なタスクから構成されている．このような複雑なタスクに対するLLMの対応能力は，これまで限られた範囲でしか評価されてこなかった．本研究が対象とする実務的な法務業務には，法令改正や関係者からの要請および将来的なリスク低減を背景として，契約書や関連文書を編集するワークフローが含まれる．例えば法令が改正された場合，法務部門は図1に示すように，改正前後の法令内容の理解と差分把握，改正内容の要約，契約書への影響整理に加え，既存契約書の構造理解，修正対象条項の特定，および形式や整合性を維持した編集作業を段階的に行う．既存の法務ドメインのベンチマークの多くは，法的知識を測定するための短文回答型QAや分類タスクに焦点を当てている．そのため，契約書全体の整合性を保ちながら条項を修正するといった，実務に不可欠な長文編集能力を十分に評価できていない．この能力の欠如は重大であり，LLMが生成した契約書案は一見正しく見えるものの，条項番号の誤り，定義の不整合，文脈にそぐわない表現といった欠陥を含む可能性がある．そこで本研究では，実際の法務業務のワークフローをモデル化した4つの複雑なタスクから成るベンチマークを提案する．1）さらに主要なLLMでベンチマークを推論し，その出力に対して人手評価とLLMによる自動評価を行なった．これにより，各評価観点においてどの能力が実用レベルに達しているのか，どこに顕著な弱点が存在するのかを明らかにする．本研究の貢献は以下のとおりである．1）https://huggingface.co/datasets/legalontech/Legal-Rikai-Open-Benchmarkにてデータセットを公開している．実験で使用したデータは公開しているデータと一部異なる点がある．Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).CAAARACIAIRI1.001.001.000.980.980.91TaskIFSCCPTAWAReqRev0.781.000.741.000.49RiskRev0.781.000.690.530.60StatRev1.000.901.00nan1.00対するCohenの𝜅スコア．上段:AmendExp，下段:ReqRev，RiskRev，StatRev．なお，StatRevにおけるTAについては，すべての評価結果が一致していたためnanとして示している．ModelCAAARACIAIRIGPT-50.660.740.760.520.440.22Gemini0.640.860.800.520.540.44Claude0.640.680.700.490.490.32TaskModelIFSCCPTAWAStatRevGPT-50.690.360.321.000.94Gemini0.730.360.441.000.96Claude0.570.400.201.001.00ReqRevGPT-50.850.920.580.940.79Gemini0.850.801.001.000.90Claude0.850.920.961.000.87RiskRevGPT-50.690.880.220.790.59Gemini0.610.960.400.950.78Claude0.651.000.560.960.75下段:StatRev，ReqRev，RiskRev。すべての評価値は区間[0,1]に正規化している．のモデルでTAは最大値であり，専門用語の扱いに問題は見られなかった．ReqRevでは，明示的な指示が与えられるためIFは全モデルで同程度に高く，GPT-5はCPが低く不要な修正が多く見られた．RiskRevはReqRevと比較してモデル間の傾向は同じだが，全体的にスコアが低下した．全体として，指示の具体性がモデルの挙動に大きく影響することが確認された．具体的な指示が与えられる場合は高い性能を示す一方，指示が抽象的で解釈を要するタスクでは不要な変更が増加した．また，Geminiは正確性，Claudeは契約書書式の維持に強みを示し，GPT-5は中間的な性能を示した．これらの結果は，法務業務におけるLLMの選択には，タスクの性質とモデル特性を考慮する必要があることを示している．3.2自動評価本節では，LLMによる自動評価が人間のアノテーションを代替または補助可能かを検証した．2章で定義した評価尺度について，人手評価との間でSpearmanの順位相関係数（表3）および平均絶対誤差（表4）を算出した．評価モデルにはGPT-5，Gemini，Claudeを用い，temperatureは0.0に設定した．評価に用いるLLMに，タスク定義，入力，モデル出力，評価基準を与え，尺度名とその値及び根拠から成る構造化出力を要求した．加えて，3モデルの平均であるAvgスコアも算出した．な正の相関が確認された．これは，改正差分の特定や契約書への影響の整理といった，根拠が明確なタスクが自動評価に適していることを示す．StatRevではIF，CPに中程度の相関が見られ，SC，WAは弱い相関が見られた．TAは人手評価が一様で相関を算出できなかったが，平均絶対誤差はIF，CPと同程度であった．ReqRevではIF，WAに中程度の相関，SC，CP，TAに弱い相関が見られた．RiskRevではCP，WAに中程度，IF，SC，TAに弱い相関が確認された．総じて，AmendExpのようにテキスト内に明確な証拠があるタスクでは，自動評価と人手評価の整合性が高い．一方，契約書編集タスクでは，特にSCやTAで相関が弱く，LLM評価の限界が示された．SCは文書全体構造の把握が難しい点，TAは法的文脈に依存する用語の判断が難しい点に起因する．以上より，自動評価は網羅性や指示遵守といった内容面のスクリーニングに有効であるが，契約書の書式や専門用語の評価には人手の関与が不可欠である．また，Avgスコアはモデル間のバイアスを相殺し，相関を改善する傾向が見られた．4関連研究LLMの発展に伴い，法務領域における自然言語処理タスクに関する研究が活発化している．特に，LLMの法的知識や推論能力を評価するため，国や言語ごとの法制度および文書形式に対応した多様なベンチマークデータセットが提案されてきた．法的知識や推論能力を評価する代表的なベンチマークとして，MMLU[10]，LawBench[6]，LegalBench[9]，LegalAgentBench[17]，LexGLUE[2]などがある．これらは，事実知識の想起，多段推論，判例分析など，法的理解の多様な側面を対象としている．LEXam[5]は116科目，340件の法学試験問題から構成され，複数分野および学位レベルを網羅するベンチマークである．BriefMe[30]は，主張の要約，補完，判例検索といった訴訟準備タスクに焦点を当org/licenses/by/4.0/).ModelCAAARACIAIRIGPT-50.72†0.32†0.41†0.50†0.44†0.23†Gemini0.58†0.36†0.47†0.36†0.31†0.13Claude0.53†0.37†0.46†0.53†0.54†0.41†Avg0.68†0.38†0.51†0.55†0.47†0.31†TaskModelIFSCCPTAWAGPT-50.34†0.070.47†nan-0.04Gemini0.43†0.110.46†nan0.08Claude0.34†0.080.58†nan0.19Avg0.49†0.120.65†nan0.14StatRevGPT-50.170.090.15-0.050.00Gemini0.100.080.17-0.060.27†ReqRevClaude0.26†0.16nan-0.120.07Avg0.23†0.120.18-0.150.23†GPT-50.16-0.080.36†0.140.22Gemini-0.130.010.26†-0.020.20Claude0.200.070.350.110.26†RiskRevAvg0.11-0.070.41†0.190.34†係数．上段:AmendExp，下段:StatRev，ReqRev，RiskRev。†は，人手評価との差が統計的に有意であること（𝑝<0.05）を示す．てている．また，韓国語および中国語など，非英語圏の法制度に基づくマルチタスク型ベンチマークも提案されている[12,18,20]．一方，日本語LLMの評価に関しては，LLM-jp[19]をはじめ，VicunaQA日本語版[28]やJudge-freeBenchmark[13]が提案されている．さらに，金融分野のFinBench[11]，医療分野のJMedBench[14]，形式論理推論を対象とするJFLD[22]，制御生成を評価するLCTGBench[16]など，分野特化型のベンチマークも整備されつつある．日本の法令に関する多肢選択式QAデータセット[4]は，日本の法令に対する理解度を評価するデータセットである．これらのベンチマークはいずれも，日本の法務業務における具体的な文脈を十分に捉えていない．近年のLLMに関するベンチマークでは，単純な知識想起や分類タスクではなく，複数の推論過程や工程を要する複雑なタスクが注目されている．GAIA[21]やHumanity’sLastExam[26]は一般的および専門的な推論能力を評価し，SWE-bench[15]やPaperBench[27]は，現実的設定における多段階問題解決能力を対象とする．ProcBench，ToolComp，Multi-LogiEval[7,23,25]などは，段階的推論やツール利用の重要性を強調している．これらの研究は複雑なタスク評価の有効性を示しているが，法務業務に特有の長文編集や契約書構造の一貫性を直接評価対象としていない．以上の先行研究に対し，本研究は，日本の法務ドModelCAAARACIAIRIGPT-50.310.470.710.660.660.64Gemini0.390.440.470.690.751.01Claude0.440.530.560.580.550.63Avg0.370.470.580.580.600.71TaskModelIFSCCPTAWAGPT-50.540.600.240.520.31Gemini0.580.570.250.280.36Claude0.750.570.230.790.59Avg0.560.580.240.530.41StatRevGPT-50.330.150.210.090.31Gemini0.350.210.190.130.28Claude0.420.270.170.170.28Avg0.340.210.170.170.28ReqRevGPT-50.430.150.330.250.52Gemini0.620.270.420.240.52Claude0.460.430.380.240.48Avg0.490.280.360.230.49RiskRev段:AmendExp，下段:StatRev，ReqRev，RiskRev。メインにおける実世界のワークフローを反映し，長文かつ構造化された契約書編集を伴う複雑なタスクを体系的に評価する点に特徴がある．5おわりに本研究では，日本の法務業務に即した4つのタスク（AmendExp，StatRev，ReqRev，RiskRev）から構成される新しいデータセットを提案した．これらのタスクは，実務における長文編集や複雑な判断を含むワークフローを反映しており，従来の短文中心の法務ベンチマークでは十分に評価されてこなかった能力を対象としている．また，人手評価および自動評価の双方を用いて主要なLLMの性能を分析し，タスクの性質や指示の具体性によってモデルの挙動や弱点が大きく異なることを示した．分析を通じて，法務業務におけるLLMの適用可能性と限界が明らかになった．本ベンチマークは，データ設計，評価設計，および実験設定を公開することで，日本の法務タスクにおけるLLM性能評価のための共通基盤を提供し，今後のモデル開発や評価手法の検討を促進することを目的とする．6謝辞本研究におけるデータセットの作成にご尽力いただいた法務開発チームの小林司氏，今野悠樹氏，西海枝翔氏，軸丸厳氏，高澤和也氏，有沢慎之介氏，谷口香織氏に深く感謝申し上げます．org/licenses/by/4.0/).