自己検証LLMによる日本司法試験短答式試験合格

大規模言語モデル（LLM）は、質問応答[1,2]や要約[3]に加え、数学[4,5]やプログラミング[6,7]といったドメイン特化型の推論においても驚くべき能力を示している。しかしながら、高度な専門性と構造化された形式を持つ法律分野、特に日本の司法試験においては、依然として性能にばらつきが見られる。法的推論には、単なる言語能力を超えて、法令の正確な解釈や相互作用する複数の条件の慎重な評価が求められるからである。中でも日本の司法試験（短答式）は、複数の命題を結合的に評価し、かつ厳格な回答形式を遵守しなければならないという点で、極めて困難なベンチマークである。構成要素のわずかな誤りが回答全体を無効にするこの評価体制下では、ベースモデルの性能は限定的であり、一般的な言語理解能力と試験レベルの法的能力との間には大きな隔たりが存在する。近年の研究では、この課題に対してデータセットの構築やタスクの再定式化によるアプローチが試みられている。代表的なJBE-QA[8]は、複雑な問題を独立した正誤判定（True-False）に分解することで学習を単純化し、性能向上を報告している。しかし、1）https://huggingface.co/datasets/shinysup/JBE-MC-original-format2）https://github.com/shinandrew/self_verificationこうした分解アプローチは本来の試験構造を根本的に変更するものであり、実際の試験形式や厳密な採点基準の下で、モデルが真に通用するかどうかという疑問は未解決のままである。そこで本稿では、タスクをモデルに合わせて変更するのではなく、実際の試験形式と評価尺度を忠実に再現したデータセットを構築し、それを用いて訓練された自己検証（self-verification）モデルを提案する。我々のモデルは、問題構造や採点規則を変更することなく、2024年の実際の司法試験において公式の合格点（93点）を上回る96点を獲得した。これは我々の知る限り、LLMが本来の試験形式で合格を達成した初の実証である。本結果は、形式に忠実な教師あり学習と一貫性検証のアライメントが重要であることを強調しており、慎重に設計された単一モデルによるアプローチが、ハイステークスな専門的推論タスクにおいて、より複雑なシステムを凌駕し得ることを示唆している。