日本の司法試験を題材としたGPTモデルの評価

ChatGPTなどの大規模言語モデルが，多岐にわたるタスクにおいて人間の専門家の精度を上回ると報告されている．とくに日本の医師国家試験にChatGPTが合格したという最近の研究報告からも，日本語についての高い性能が確認されている．本研究では，日本の司法試験（短答式）の憲法，民法，刑法それぞれ過去5年分を対象に，GPT-3,GPT-4およびChatGPTの精度を評価した．結果として，現段階では日本の司法試験に対する正答率が3～4割と，合格水準を大幅に下回ることが明らかになった．本研究では，単なる正解率にとどまらず，回答に必要な知識，能力を分解し，それぞれの観点での大規模言語モデルの性能を検証した．その結果，1)大規模言語モデルは多くの条文の知識を有していること，2)特定の条文や判例の知識を必要としないが学説の理解を必要とする問題に関しては正解率が高いこと，3)判例の知識を必要とする問題に関しては正解率が低いこと，が示された．米国の司法試験と比較して性能が低い原因の大部分は，日本法の知識，とくに判例の知識の乏しさにあると考えられる．