ChatGPTなどの大規模言語モデルが，多岐にわたるタスクにおいて人間の専門家の精度を上回ると報告されている．とくに日本の医師国家試験にChatGPTが合格したという最近の研究報告からも，日本語についての高い性能が確認されている．本研究では，日本の司法試験（短答式）の憲法，民法，刑法それぞれ過去5年分を対象に，GPT-3,GPT-4およびChatGPTの精度を評価した．結果として，現段階では日本の司法試験に対する正答率が3～4割と，合格水準を大幅に下回ることが明らかになった．本研究では，単なる正解率にとどまらず，回答に必要な知識，能力を分解し，それぞれの観点での大規模言語モデルの性能を検証した．その結果，1)大規模言語モデルは多くの条文の知識を有していること，2)特定の条文や判例の知識を必要としないが学説の理解を必要とする問題に関しては正解率が高いこと，3)判例の知識を必要とする問題に関しては正解率が低いこと，が示された．米国の司法試験と比較して性能が低い原因の大部分は，日本法の知識，とくに判例の知識の乏しさにあると考えられる．

大規模言語モデルはさまざまな一般的なタスクだけでなく，高度に専門的な他タスクでも人間の水準に匹敵することから大きな注目を集めている(Brown他,2020;Wei他,2022)．Kung他(2023)は，米国医師免許試験(UnitedStatesMedicalLicensingExamination)において，ChatGPTが合格水準の正解率を得たことを示す．Choi他(2023)は，法科大学院の論述試験で，単位認定の水準を満たす答案を作成したと報告する．また，GPT-4は米国の司法試験であるUniformBarExam(択一式試験)において合格水準を大きく超え，受験者の上位10%と同等の成績を修めたとされる(OpenAI,2023)．日本語でも，GPT-4等の大規模言語モデルは高い性能を示している．日本語の多様なタスクを収録した評価用データセットであるJGLUE(Kurihara他,2022)において，GPT-4はゼロショットで人間の回答に肉薄する優れた成績を得た．また，日本の医師国家試験においては，数ショットの設定で合格水準の成績を得た(Kasai他,2023)．本研究では，日本の司法試験（短答式試験）を取り上げる．司法試験は，法律という領域の特性上，極めて地域性が高いため，英語で英米法の司法試験問題に回答できるモデルが日本法の司法試験問題に対応できるかは自明ではない．実験の結果，この試験に関して現状の大規模言語モデルは人間の合格水準にははるかに及ばなかった．GPT-4はランダム選択によるベースラインを上回るものの，正解率は30-40%程度に留まっており，GPT-3，ChatGPTについてはランダム選択と変わらない正答率であった．また，問題類型ごとの性能を検証したところ，1)大規模言語モデルは多くの条文の知識を有していること，2)特定の条文や判例の知識を必要としないが学説の理解を必要とする問題1）に関しては正解率が相対的に高いこと，3)判例の知識を必要とする問題に関しては正解率が低いこと，が示された．つまり米国の司法試験と比較して性能が低い原因の大部分は，日本法の知識，とくに判例の知識の乏しさにあると考えられる．大規模言語モデルによる日本の司法試験の正解率が低い点を踏まえて，より詳細な検証をするため，(1)正誤判定タスク，(2)条文補完タスクという2種類の緩和問題を準備した．正誤判定タスクでは，司法試験の問題形式の複雑さを緩和して正誤判定の二値分類に置き換え，条文補完タスクでは，条文を途中まで入力して続きを出力させた．実験の結果，(1)に関しては正解率はほぼ変わらず，司法試験の正誤問題自体の難しさが示された．(2)に関しては，1）法の解釈をめぐる主要な学説を下敷きにして作成された問題である．学説そのものを暗記している必要はないが，議論の構成や批判の方法を理解している必要がある．.GPT-4は条文の知識を相当程度有していることが観察された．専門的な法的サービスは，その社会的な意義，需要に比して供給が限定されており，大規模言語モデルによる補助や自動化が期待されることは言を俟たない．本研究では大規模言語モデルによる日本の司法試験の精度を評価し，これまでに他のタスク等で報告されているような正解率には至っていないことを確認した．本研究に関するデータを公開し2），今後の精度向上や言語モデルを用いた法的サービス応用に対する手がかりとなることを期待する．