言語処理学会 第30回年次大会 発表論文集（2024年3月）

Chain-of-Thought 過程の誘導による LLM の性能改善と推論過程および性能の説明性向上藤田真伎 1 狩野 芳伸 1
1 静岡大学{mfujita,kano}@kanolab.net

概要
近年，大規模言語モデルの性能上は著しいものがあるが，その大規模さゆえにモデル構造や推論過程がブラックボックス化している問題がある．そこ
で，Chain-of-Thought の過程を誘導するフォーマットを提案し，推論過程のどの部分が特に推論結果に影響を与えているかを特定できるようにした．また，Fine Tuning により任意のモデルで同様のフォー
マットでの出力ができること，この手法を用いることで複数モデル間で推論能力の差がある部分を明確にできることも示した．司法試験の民法分野の含意
関係推論タスクを題材として，大規模言語モデルを用いたタスク性能の向上を達成した．

1

はじめに

近年，大量の学習データやパラメータで訓練された大規模言語モデル (Large Language Model， 以
下 LLM) を用いることでさまざまなタスクの性能向上が示されている．一方で，LLM にはそのパラメータ数の多さゆえに推論過程がブラックボッ
クス化しているという問題があり，機械学習モデ
ルの予測根拠を説明する XAI(eXplainable AI)[1] や説 明 可 能 性 [2] に つ い て 研 究 さ れ て い る. ま た，
Chain-of-Thought[3](以下 CoT) などの手法を用いることで段階的な推論が可能になり，性能向上が報告されている．一方で，どの部分の推論が解答の助けになっているかは明らかでなく，また LLM の出力には幻覚 [4] が発生する場合もあり，段階的な推論を含めた出力の方法には改善の余地がある.
LLM の中でも Open AI 社の提供する GPT-4 はその性能が高い. しかし，GPT-4 はその学習データや内部構造が公開されておらず，動作の解釈や再現，
カスタマイズがより難しい．
踏まえて，本研究の貢献は主に以下の二つである.

一つ目に，LLM が推論過程を示しながら出力を行うのに適したフォーマットを提案し，それにより
CoT の過程を分析することで，モデルの推論に貢献している推論箇所を特定することや，モデルが苦手としている推論箇所を特定できることを示した．さらにこの提案フォーマットにより，LLM のタスク
性能を向上させた．
二つ目に，提案フォーマットに沿って内部構造が公開されているモデルの Fine Tuning を行うことでフォーマットに沿った出力を可能にすることを確認した．さらに，段階的な推論が必要な法律分野のデータセットを用い，一般的な性能では劣る公開モデルでも，提案手法により推論段階によっては
GPT-4 に匹敵する性能を達成した．

2

関連研究

2.1

Chain-of-Thought(CoT)CoT とは LLM に問いに対する答えのみを出力させるのでなく，答えを推論するのに必要な中間ス
テップを出力させた後に答えを出力させる手法で，段階的な推論が必要となるタスクを中心に精度の向上が報告されている．段階的に推論する旨を指示に書く ZeroShot での CoT や，実際に段階的に推論を行う例を与える Few Shot[5] での CoT などがある．

2.2

OpenAI GPT-4

OpenAI が提供する GPT-4 [6] は Transformer [7] のDecoder 部分を用いた LLM である．多言語を扱うことができ，かつ様々なタスクで高精度な回答ができる．たとえばアメリカの司法試験の模擬試験においては上位 10%に相当するスコアが示されている．一方で，具体的なモデルの内部構造や訓練データなどは公開されておらず，内部構造がブラックボックスであるために分析や改善が難しい面がある．

― 2583 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

2.3

日本語 LLM

実験

4

本研究では，我々自身でモデルの Fine Tuning 等を

COLIEE を題材に提案手法の実験と分析を行う．

行い比較するために，内部構造が公開されており訓COLIEE 配布の司法試験年度に対応したデータのう

練可能な形で利用できる LLM が必要である．日本

ち評価には R01〜R03 の三年分の問題 255 問を使用

語専用に事前学習された LLM [8] [9] や，多言語がし，後述の公開モデルの Fine Tuning には H18〜H30

扱えるモデル [10] [11] など非常に多くのモデルが公の 629 問を使用した．

開されている．

2.4

生成モデル一般に，個別タスクにおいて具体的にどのような能力が優れているかを特定することが法自然言語処理タスク COLIEE

難しい．例えば COLIEE の場合，民法条文から適切法律分野の自然言語処理技術に関するワークな部分を見つける能力や，論理的な推論能力など，

ショップとして，我が国司法試験の民法分野短答

様々な可能性がある．そこで，共通した出力フォー式問題の自動解答を行い性能を競う Competition on

マットと CoT を用い，GPT-4 と公開モデルを比較す

Legal Information Extraction and Entailment(以下 COLIEE) [12][13][14][15][16][17][18][19][20][21] が毎年開ることで，二つのモデルの性能差を定量化する．本
論文では数種類のモデルを比較実験したうえで，手催されてきた．COLIEE の Task4 は民法条文一覧と元で学習可能なモデルサイズのうち公開モデルとし過去問題が与えられ，それをもとに自動で解答を行て正答率が高かった stabilityai/StableBeluga13B [10]うシステムを作成し，テスト問題の解答の精度を競を用い，GPT-4 と比較することとした．

うものである．このタスクは，問題文とその問題を解くのに必要な関連民法条文の二つが与えられ，問4.1

プロンプトと出力フォーマット

題文が正しいか否かを Yes か No の二択で答え，解異なるプロンプトや Few Shot を比較した結果，図答の精度を競うものである．我々は，段階的な推論

1 のプロンプトおよびフォーマットで出力することが有効な分野の一つと考えられる法律分野を対象とした．すなわち，フォーマットを「問題要点・民に，COLIEE データセットを用いて実験を行った．

法要約・推論箇所・回答」の四つの要素として設定

3

する．この四要素を定めた理由は以下の通りであ

提案手法

る．まず，司法試験の民法問題では含意か否かを判

本論文では，CoT の出力フォーマットを固定する

定する際の要点が存在することが多い．また，与えことで推論過程を比較可能にし，タスクに応じてそられる民法条文は必ずしも必要最小限ではなく，現実の裁判でも膨大な条文から必要箇所を抽出しなけ

れぞれの推論ステップごとの有効性とモデルの改善点を示す手法を提案する．
1. 対象タスクの特徴や課題をもとに，タスク固有のプロンプトと，タスクの回答にあたる CoT のればならない．最後に，問題の要点と民法条文の要約から論理的な推論を行うステップを経て，最終的な解答を出力するフォーマットを設定した．

2. 任意の生成モデルに Few Shot Prompting や Fine

4.2 公開モデルの Fine Tuning と GPT-4 の
Few Shot Prompting

Tuning を行い，設定したフォーマットに沿ったstabilityai/StableBeluga13B は，Few Shot Prompting の出力フォーマットを設定する．

みでは出力フォーマットが固定されず CoT での段出力を行わせる．
3. どの推論ステップで最終的な出力が大きく変化

階的な推論ができなかったため，Fine Tuning を行っするか，また他のモデルと比較しどのステッた．このモデルでフォーマットの学習ができれば他プに違いがあるかを分析することで，推論スの多くのモデルでも提案手法が実現可能と考える．

テップごとの有効性とモデルの改善点を明確にする．

学習データは図 1 のフォーマットに沿うよう
GPT-4 を用いて作成した．COLIEE 配布の H18〜R03
までのデータ中で GPT-4 が正解を出力した 629 例の推論過程つきの出力をもとに，Lora[22][23] を用いて学習する．
GPT-4 は執筆時点で Fine Tuning が利用できなかっ― 2584 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

たため，Few Shot で正例と負例を毎回固定した同じ一例ずつを与えた．なお，Few Shot で与える例は
GPT-4 の出力をもとに人手で調整したものである．
# 指示 #
以下は司法試験の民法問題です．民法条文部分に記載されている関連民法条文を参照し問題が正しいか
正しくないか，問題の要点を述べた後に正しい場合
は「True」を正しくない場合は「False」を出力しな
さい．
# 民法条文 #第五条
未成年者が法律行為をするには，その法定代理人の同意を得なければならない．ただし，単に権利を得，又は義務を免れる法律行為については，この限りでない．(略)# 問題文 #
未成年者がした売買契約は，親権者の同意を得ないでした場合であっても，その契約が日常生活に関するものであるときは，取り消すことができない．
# 回答 #
問題の要点：未成年者がした売買契約が親権者の同意を得ないでした場合，その契約が日常生活に関するものであるとき，その契約を取り消すことができるかどうか．
民法条文によれば，未成年者が法律行為をするには，その法定代理人の同意を得なければならない．しかし，単に権利を得，又は義務を免れる法律行為については，この限りでないとされています．また，法
定代理人が目的を定めて処分を許した財産は，その目的の範囲内において，未成年者が自由に処分することができるとされています．
したがって，未成年者がした売買契約が日常生活に関するものである場合，その契約は法定代理人の同意を得ないでしたにせよ，未成年者が自由に処分することができる範囲内にあると解釈できます．そのため，その契約を取り消すことはできないと考えられます．
回答：True
図14.3

図 2 GPT-4 を用いた推論過程ごとの正答率の定量化

図 3 モデル性能の比較手法を与えるか確認した．

4.4

二種モデル間の性能比較

先の 4 要素に沿った段階的な出力 (図 3) を，公開モデルに CoT を用いて行わせた．その後，要素ごとに分割を行い，GPT-4 に以降を推論させてから正答率を算出することで，CoT のどの段階においてモデ
ルの性能の差が生まれているかを分析した．

5

実験結果

5.1

モデルの学習

プロンプト・出力フォーマットの例

GPT-4 による有効な推論ステップ特定

4.2 節で記載した，公開モデルの学習結果を表 1

我々は GPT-4 に CoT を用いることで COLIEE タに示す．Fine Tuning により問題の解答率精度の向上

スクの正解率向上を確認した (A.1)．生成した推論とともに，出力フォーマットに沿った出力を行える

過程のどの部分がモデルの回答に影響を与えているか特定するため．一度 CoT を用いて段階的な推論をようになったことが分かる．

行った後に， 4.1 節の 4 つの要素に基づいて分割を行った．その後，分割後の途中までの推論過程をもとにモデルにタスクの回答をさせることで，どの要

5.2

GPT-4 による有効な推論ステップ特定

4.3 節の CoT の有効な推論ステップの特定の実験結果を表 2 に示す．評価データは COLIEE の R01〜

素が推論に大きな影響を与えるか分析した (図 2)．

R03 の問題 255 問中，公開モデルと GPT-4 がともに問題要点と条文要約の出力は，元の条文や問題文

フォーマットに沿った出力を行えた 240 問に限定しが長いほど効果的に作用すると考えられる．そこでた．問題文文字数が評価データにおける中央値 (70

評価データを，条文および問題文の長さでそれぞれ文字) 以上の場合を「問題長文」とし，該当する 121

二分割し，問題と条文の長さが正答率の変化に影響問に絞った正答率を記載した．同様に問題短文 119― 2585 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 StableBeluga-13B の学習前後の結果比較
訓練前
訓練後
正答率
0.597
0.641
(151/253) (161/251)
フォーマットを満たす出力 00.953(0/255)(243/255)

表 3 モデル性能の比較結果
正答率
公開モデルのみ
0.638 (153/240)
回答のみ GPT-4
0.771 (185/240)
推論箇所以降 GPT-4 0.854 (203/240)
条文要約以降 GPT-4 0.862 (207/240)
GPT-4 のみ
0.846 (201/240)

表2

正答率
問題長文
問題短文
条文長文
条文短文

推論過程ごとの正答率の変化結果
GPT-4
GPT-4+
GPT-4+
GPT-4+
問題要点 問題要点+ 問題要点+
条文要約
条文要約+
推論箇所
0.817
0.808
0.838
0.846
(196/240) (194/240) (201/240)(203/240)
0.793
0.802
0.843
0.851
0.840
0.815
0.832
0.840
0.842
0.808
0.858
0.875
0.792
0.808
0.817
0.817

う要約の意図通りに作用した有効な推論ステップと考えられる．問題要点を用いることで問題長文の正答率が上がっており，こちらも要点化の有効性を示唆している．問題短文の場合の正答率は低下していることから，問題の要点のみを記載するフォーマッ
トは正答率の低下を招く可能性を示唆している．これは入力部分に書かれている民法条文と出力部分に書かれている問題の要点の比較が難しく，回答に必問，民法条文でも中央値である 170 文字を基準に条要な情報の一部のみを出力させると精度が低下する

文長文 120 問と条文短文 120 問の正答率を記載しる可能性を示唆している．総合すると，要素ごとにた．いずれも長文なほど正答率が向上しており，要分割したことで，それぞれの要素が正答率の向上に約の効果があったと考えられる．

寄与したことを定量的に分析できたといえる．

5.3

6.3

二種モデル間の性能比較

二種モデル間の性能比較

4.4 節に沿って各ステップごとの精度を求めたも

表 3 の結果から，GPT-4 と公開モデルを比較したのが表 3 である．各要素は図 3 に対応している．すなわち，すべてを公開モデルで実行する場合に始ま時に，どちらがどの点で優っているか定量的に分り，図表の右にいくほど GPT-4 が分担する要素が増

約以降 GPT-4，GPT-4 のみの結果に大きな差がない

え，一番右では GPT-4 がすべてを実行した場合であり，右に行くほど性能が向上しているが，「推論箇（表 3 右側）ことから，公開モデルと GPT-4 とで問題の要点の抽出と民法条文の要約性能に大差がな

所以降」より先はあまり変化がない．

いと考えらえる．一方で推論箇所や回答までを公開

6

分析と考察

6.1

公開モデルの Fine Tuning析できることを示す．推論箇所以降 GPT-4，条文要モデルが行うと精度が大きく低下しており（表 3 左側），含意関係認識の部分で大きな性能差があることを示唆している．

これにより，任意のモデルでフォーマットに適し

おわりに

7

た段階的な出力をすることで，提案手法の一つであ

CoT において出力フォーマットや推論過程を固定

る CoT を用いた性能比較を行えるようになる可能性

することで性能向上させるとともに，任意のモデルを示唆した．

間で性能差を段階的かつ定量的に分析する手法を提6.2

GPT-4 による有効な推論ステップ特定案した．COLIEE 司法試験の自動解答を題材に，実際に性能が向上し，現在の司法試験自動解答の課題

表 2 の結果を分析する．推論箇所を出力することである，推論過程とモデル構造のブラックボックス

で，文字数に関わらず全体的に正答率が向上しており，問題と条文の要約をした後にも一度テキスト形

部分を解消できる可能性を示唆した．
今後は，分析により特定された不足する性能につ式で論理的な推論を挟むことで適切な推論が行え

いて，データの拡張やアンサンブルにより改善を試た，有効な推論ステップと考えられる．条文要約をみたい．また，テンプレートの生成，モデルの性能用いることで条文長文，条文短文の場合ともに正答調査，改善の流れを用いることで，定量的な分析に率が向上し．特に条文が長文のときに大きく正答率基づいたモデル改善を行うことができ，これを他のが向上していることから長文を扱いやすくするといタスクにも応用できることを確認したい．

― 2586 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JSPS 科研費 JP22H00804， JP21K18115，
JP20K20509， JST AIP 加速課題 JPMJCR22U4， およびセコム科学技術財団特定領域研究助成の支援をうけたものです．

Workshop on Juris-informatics (JURISIN 2015), 2015.
[14] Mi-Young Kim, Randy Goebel, Yoshinobu Kano, and Ken Satoh.
COLIEE-2016: evaluation of the competition on legal information
extraction and entailment. In International Workshop on Jurisinformatics (JURISIN 2016), 11 2016.
[15] Yoshinobu Kano, Mi-Young Kim, Randy Goebel, and Ken Satoh.
Overview of COLIEE 2017. In Ken Satoh, Mi-Young Kim, Yoshinobu Kano, Randy Goebel, and Tiago Oliveira, editors, COLIEE
2017. 4th Competition on Legal Information Extraction andEntailment, Vol. 47 of EPiC Series in Computing, pp. 1–8.

参考文献
[1] 恵木正史. Xai(explainable ai) 技術の研究動向. 日本セキュリ
ティ・マネジメント学会誌, Vol. 34, No. 1, pp. 20–27, 2020.
[2] Finale Doshi-Velez and Been Kim. Towards a rigorous science ofinterpretable machine learning, 2017. https://arxiv.org/abs/
1702.08608.
[3] Jason Wei, Xuezhi Wang, Dale Schuurmans, Maarten Bosma,
Brian Ichter, Fei Xia, Ed Chi, Quoc Le, and Denny Zhou. Chainof-thought prompting elicits reasoning in large language models,
2023. https://arxiv.org/abs/2201.11903.
[4] Lei Huang, Weijiang Yu, Weitao Ma, Weihong Zhong, Zhangyin
Feng, Haotian Wang, Qianglong Chen, Weihua Peng, XiaochengFeng, Bing Qin, and Ting Liu. A survey on hallucination inlarge language models: Principles, taxonomy, challenges, and open
questions, 2023. https://arxiv.org/abs/2311.05232.
[5] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah,
Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan,
Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan,
Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeﬀrey Wu,
Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz
Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher
Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, andDario Amodei. Language models are few-shot learners. In
H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and
H. Lin, editors, Advances in Neural Information Processing
Systems, Vol. 33, pp. 1877–1901. Curran Associates, Inc., 2020.
https://proceedings.neurips.cc/paper files/paper/
2020/file/1457c0d6bfcb4967418bfb8ac142f64a-Paper.pdf.
[6] OpenAI. Gpt-4 technical report, 2023. https://arxiv.org/abs/
2303.08774.
[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser, and Illia
Polosukhin. Attention is all you need. In I. Guyon, U. Von
Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan,and R. Garnett, editors, Advances in Neural Information
Processing Systems, Vol. 30. Curran Associates, Inc., 2017.
https://proceedings.neurips.cc/paper files/paper/
2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf.
[8] Tianyu Zhao, Akio Kaga, and Kei Sawada. rinna/youri-7b. https://huggingface.co/rinna/youri-7b.
[9] Jun Suzuki Namgi Han Saku Sugawara Shota Sasaki Shuhei
Kurita Taishi Nakamura Takumi Okamoto. Hirokazu Kiyomaru, Hiroshi Matsuda.
llm-jp/llm-jp-13b-instruct-fullhttps://huggingface.co/llm-jp/
jaster-dolly-oasst-v1.0.
llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0.
[10] Stability AI. stabilityai/stablebeluga-13b, 2023. https://
huggingface.co/stabilityai/StableBeluga-13B.
[11] Xwin-LM Team. Xwin-lm, 9 2023. https://github.com/
Xwin-LM/Xwin-LM.
[12] Competition on legal information extraction/entailment(COLIEE-14) workshop on juris-informatics (jurisin) 2014,2014.
http://webdocs.cs.ualberta.ca/∼miyoung2/
jurisin task/index.html.
[13] Mi-Young Kim, Randy Goebel, and Satoh Ken. COLIEE-2015:
evaluation of legal question answering. In Ninth International

EasyChair, 2017.
[16] Yoshinobu Kano, Mi-Young Kim, Masaharu Yoshioka, Yao Lu,
Juliano Rabelo, Naoki Kiyota, Randy Goebel, and Ken Satoh.
COLIEE-2018: Evaluation of the competition on legal information
extraction and entailment. In Kazuhiro Kojima, Maki Sakamoto,Koji Mineshima, and Ken Satoh, editors, New Frontiers in Artiﬁcial Intelligence, pp. 177–192, Cham, 2019. Springer International Publishing.
[17] Juliano Rabelo, Mi-Young Kim, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. A summary of the COLIEE 2019 competition. In Maki Sakamoto, Naoaki Okazaki, Koji
Mineshima, and Ken Satoh, editors, New Frontiers in Artiﬁcial
Intelligence, pp. 34–49, Cham, 2020. Springer International Publishing.
[18] Juliano Rabelo, Mi-Young Kim, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. COLIEE 2020: Methods
for legal document retrieval and entailment. In New Frontiers in
Artiﬁcial Intelligence: JSAI-IsAI 2020 Workshops, JURISIN,LENLS 2020 Workshops, Virtual Event, November 15–17,
2020, Revised Selected Papers, p. 196–210, Berlin, Heidel-berg, 2020. Springer-Verlag.
[19] Juliano Rabelo, Randy Goebel, Mi-Young Kim, Yoshinobu Kano,
Masaharu Yoshioka, and Ken Satoh. Overview and discussion of
the competition on legal information extraction/entailment (COLIEE) 2021. The Review of Socionetwork Strategies, Vol. 16,
No. 1, pp. 111–133, 2022.
[20] Mi-Young Kim, Juliano Rabelo, Randy Goebel, Masaharu Yoshioka, Yoshinobu Kano, and Ken Satoh. COLIEE 2022 summary: Methods for legal document retrieval and entailment. In
New Frontiers in Artiﬁcial Intelligence: JSAI-IsAI 2022 Workshop, JURISIN 2022, and JSAI 2022 International Session,
Kyoto, Japan, June 12–17, 2022, Revised Selected Papers,

p. 51–67, Berlin, Heidelberg, 2023. Springer-Verlag.
[21] Randy Goebel, Yoshinobu Kano, Mi-Young Kim, Juliano Rabelo,
Ken Satoh, and Masaharu Yoshioka. Summary of the competitionon legal information, extraction/entailment (COLIEE) 2023. In
Proceedings of the Nineteenth International Conference on
Artiﬁcial Intelligence and Law, pp. 472–480, 2023.

[22] Edward J Hu, yelong shen, Phillip Wallis, Zeyuan Allen-Zhu,
Yuanzhi Li, Shean Wang, Lu Wang, and Weizhu Chen. LoRA:
Low-rank adaptation of large language models. In International
Conference on Learning Representations, 2022. https://openreview.net/forum?id=nZeVKeeFYf9.
[23] Sourab Mangrulkar, Sylvain Gugger, Lysandre Debut, Younes
Belkada, Sayak Paul, and Benjamin Bossan. Peft: State-of-the-art
parameter-eﬃcient ﬁne-tuning methods. https://github.com/
huggingface/peft, 2022.

― 2587 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

参考情報

A.1

GPT-4 を用いた結果比較

A.3

モデル別の評価比較

openAI の提供するモデル，公開モデルなどについて正答率をまとめたものを表 5 に示す．

表 4 は，FewShot と Chin-of-Thought(表内 CoT) をパラメータなどはモデルの推奨値を使っているそれぞれ用いた場合，用いなかった場合の計四通り

が，temperature や top p の値は最低限の再現性を確の正答率を示したものである．CoT を用いない場合保するため低く設定した．与えるプロンプトは図 1

は True/False のみを出力している．

をもとに，各モデルの入力フォーマットに合わせ調

正答率
要点
出力数

A.2

表4
CoT +
FewShot
0.846(215/255)1(255/255)

GPT-4 の推論結果
CoT +Few Shot
ZeroShot
0.85490.815(218/255) (208/255)
0.823
0.004
(210/255) (1/255)

整した．正例と負例を一例ずつ与える Few Shot と，
ZeroShot

正答率は解答できたものに限定しているため，
0.792(202/255)
0(0/255)

関連民法条文が長文の例

COLIEE で与えられる問題には民法条文が長文の場合があり，図 4 はその一例である．これは文字数にすると 654 文字に相当し，モデルによっては文字列長が推論に悪影響を与える場合も多い．
第四百六十五条の三 個人根保証契約であってその主たる債務の範囲に金銭の貸渡し又は手形の割引を受けることによって負担する債務（以下「貸金等債務」という。
）が含まれるもの（以下「個人貸金等根保証契約」という。）において主たる債務の元本の確定すべき期日（以下「元本確定期日」という。
）の定めがある場合において、その元本確定期日がその個
人貸金等根保証契約の締結の日から五年を経過する
日より後の日と定められているときは、その元本確
定期日の定めは、その効力を生じない。
２ 個人貸金等根保証契約において元本確定期日の定めがない場合（前項の規定により元本確定期日の定めがその効力を生じない場合を含む。
）には、その元本確定期日は、その個人貸金等根保証契約の締結の日から三年を経過する日とする。
３ 個人貸金等根保証契約における元本確定期日の変更をする場合において、変更後の元本確定期日がその変更をした日から五年を経過する日より後の日となるときは、その元本確定期日の変更は、その効力を生じない。ただし、元本確定期日の前二箇月以
内に元本確定期日の変更をする場合において、変更
後の元本確定期日が変更前の元本確定期日から五年以内の日となるときは、この限りでない。
４ 第四百四十六条第二項及び第三項の規定は、個人貸金等根保証契約における元本確定期日の定め及びその変更（その個人貸金等根保証契約の締結の日から三年以内の日を元本確定期日とする旨の定め及び元本確定期日より前の日を変更後の元本確定期日とする変更を除く。
）について準用する。
図4

CoT を組み合わせている．
True/False を出力に含まない問題は除外している．
そのため，モデルによっては分母が 255 問にならないものもある．
表 5 各モデルの推論結果
モデル名
正答率
stabilityai/StableBeluga-13B
0.597(151/253)
matsuo-lab/weblab-10b0.523
instruction-sft(126/241)
gpt-3.5-turbo-0613
0.651(164/252)
TheBloke/Xwin-LM-70B0.608
V0.1-GPTQ(155/255)
Xwin-LM-7B-V0.1-GPTQ
0.55(131/238)
ELYZA-japanese-Llama-2-7b- 0.525
instruct(105/200)
llm-jp/llm-jp-13b-instruct-full- 0.629
jaster-v1.0(158/251)
llm-jp/llm-jp-13b-instruct-full- 0.603
jaster-dolly-oasst-v1.0(152/252)
rinna/youri-7b-instruction
1.0
(2/2)
rinna/japanese-gpt-neox-3.6b0.519
instruction-ppo(83/160)

解答数
0.992(253/255)
0.945(241/255)
0.988(252/255)
1.0(255/255)
0.9333(238/255)
0.784(200/255)
0.984(251/255)
0.988(252/255)
0.008(2/255)0.627(160/255)

民法条文が長文の例 (R1-17-U)― 2588 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).