概要

1　はじめに
人間があらかじめ定めた規則をロボットや計算機が，適切に遵守するための規則適合判定技術は，自立型ロボットと人間が共生したり、自動運転車が公道を走る世の中では重要な技術になると考えられる．また、規則適合判定を行った際にその判定理由が人間にも理解できることは，事故が発生した際の責任問題にも関わり，今後必要不可欠になると考えられる．本研究では，普通自動車免許の学科試験を題材として，判定理由も出力可能な規則適合判定技術の開発を試みる.判定理由の出力を行えるような，文章生成が可能なモデルとして，GPT-3.5やGPT-4[1]などのInstruction Tuningを用いた大規模言語モデルがある.これらのモデルは，文章生成にとどまらず，様々なタスクで高い性能を示している.しかし，様々なタスクに利用できる反面，特定のタスクに焦点を当てる際には不必要なパラメータが多く，モデル学習や運用に多大なコストがかかるという側面もある.本研究ではGPT-3.5とGPT-4を用いて規則適合判定と判定理由の生成について評価を行うとともに,より軽量なモデルで規則適合判定と判定理由の生成が可能であるか，評価・分析を行う．具体的には規則適合判定の題材として，普通自動車免許の学科試験問題を基に，GPT-3.5とGPT-4を用いて規則適合判定と問題文に対する判定理由の生成を行い，評価した．また，より軽量なモデルで規則適合判定と判定理由の生成が可能であるか検証するために，GPT-3.5とGPT-4を用いて判定理由のデータを作成し，CyberAgent社から公開されているOpenCALMに対して追加学習を行った.パラメータ数の異なるOpenCALMに追加学習を行うことで,パラメータの大きさによって規則適合判定とその解答に沿った判定理由の生成に影響するかなどについて評価・分析を行う．
2 普通自動車免許学科試験問題
普通自動車免許の学科試験問題では，道路交通法といった規則や運転マナー，自動車の仕組みなどに関する問題が出題される．学科試験の問題は、文章問題とイラスト問題から構成されており，それぞれ文章問題が90問、イラスト問題が5問出題される.文章問題は，問題文の正誤を判定する2択問題である．イラスト問題では，運転時の状況を表すようなイラストが提示され，危険予測などに関する問題が大問に対して３問出題される．配点に関しては，文章問題が1問1点，イラスト問題は完答で1問2点となっている．全体で100点満点で，90点以上で合格となる.本研究では画像認識などが必要なイラスト問題と標識や図を含む問題は除き，文章のみで構成される問題を対象とした.
3従来研究
これまで，学科試験問題を用いた規則適合判定を行っている研究としては，田邉ら[2]がある．問題文を「状況説明部」と「質問部」に分割することで， BERTを用いたテキスト含意関係認識タスクとして規則適合判定を行っている. また，的場ら[3]は文ベクトルの類似度を用いることで，類似する問題文を根拠として規則適合判定を行っている.生成モデルを用いた規則適合判定に関する研究としては，助田ら[4]がLoRA [5]を用いたInstruction Tuningで，医療分野における多選択肢問題を解き，大規模なモデルであるほどドメイン固有の知識の学習が効果的であることを示している.大規模言語モデルを用いたデータセットの作成に関しては新原ら[6]らが，ChatGPTを用いて論文タイトルから内容を生成している.
4　大規模言語モデルの利用
GPT-3.5やGPT-4などの大規模言語モデルが様々なタスクで高い性能を示している.そのため，本研究でもまず，GPT-3.5とGPT-4を用いて規則適合判定とその判定理由の生成を行う．また，GPT-3.5やGPT-4などの大規模なモデルと比較した際に軽量なモデルで規則適合判定と，その判定理由の生成が可能であるかを検証するために，OpenCALMを用いてパラメータサイズを変更した際に，規則適合判定が可能であるか実験を行い，評価する．本実験で使用する普通自動車免許試験のデータセットには，問題文と解答のみで構成されており，解答の根拠となる文章が含まれていない．人手で解答の根拠となる文章を作成するにはコストがかかるため，GPT-3.5とGPT-4を用いて解答の根拠となる文章の作成を行う. それぞれのGPTモデルを使用して生成した根拠となる文章を真と仮定し，規則適合判定の自動解答とその理由の生成を行う.
5
評価実験
5.1実験設定
評価実験を行うにあたり，普通自動車免許の学科試験データセットを作成した.実際の学科試験問題は公開されていないため，市販の問題集[7] [8] [9] [10] [11]を参考にして作成したデータから，重複している問題と図表やイラストの読み取りが必要な問題を除いた，4,890問からなるデータセットを作成した．作成したデータセットを訓練、検証，テストとして6：2：2の割合で分割し，各実験で用いた.評価実験で利用したGPTモデルには，それぞれGPT-3.5 Turbo 1106とGPT-4 1106 previewを利用した．また，推論を行う際のパラメータとしてはデフォルトの値を用いた. GPT-3.5とGPT-4と比較して，より軽量なモデルにはベースモデルとしてOpenCALM-7B 1と同種のパラメータ数がより軽量なモデルを用いて実験を行った．また，OpenCALMモデルの学習時には学習の効率化のためLoRAを利用しており，ハイパーパラメータとしては，r = 1024，lora alpha = 16とし8bit量子化を行っている.
5.2 理由付きデータの作成
GPT-3.5とGPT-4を利用し，普通自動車免許の学科試験データセットの問題文を与え，解答の根拠となる理由部の文章を生成した．問題文を与える際には二値分類の解答も与え，分類の解答と一致しない場合には複数回生成を行い，解答の理由が実際の分類に沿ったものとなるように誘導した．しかし，実際の分類と一致しない理由も生成されており，4,890問中GPT-3.5では263問，GPT-4では252問が実際の分類と一致しない理由となった.生成した理由データに関して，文字数の平均と中央値を表1に，実際の問題に対する解答の理由となる生成例を表2に示す. それぞれの表から分かるように，GPT-3.5の方が比較的簡潔に理由を述べているのに対し，GPT-4は補足説明なども行い，より詳細な理由を述べている．他の問題でも同様の傾向が見られた.また，表1の結果からも分かるように, GPT-3.5に比べGPT-4が生成した理由の方が約2倍程度長かった．そのため，GPT-3.5と比較して詳細な理由を生成していると考えられる.

5.3評価手法
評価の際には各手法で共通して分割したテストデータを用いている．規則適合判定と判定理由の生成を行う際には，問題文を与え，プロンプトで問題文が正しいか誤りであるかを理由を述べた上で判定するように指示し，解答の生成を行った．また，各モデルでプロンプトは同一のものを利用している．生成された解答に対して，正規表現を用いることで，解答を分類した．正解と不正解に分類できな
かった解答に関しては「その他」とし，正解率の計算時には「不正解」として扱っている.
GPT-3.5/4を用いた規則適合判定
5.4
GPT-3.5とGPT-4のそれぞれについて，テストデータを用いて規則適合判定を行った結果を表3に示す.また，GPT-3.5に関しては追加学習が可能なため、追加学習を行った実験も行った.実験の結果，GPT-4を用いた場合に正解率が最も高くなった.不正解が大きく減少した一方，正解およびその他に分類される回答が増加した．また， GPT-3.5に対して追加学習を行ったモデルでは，正解率がやや低下した.

OpenCALMを用いた規則適合判定
5.5
GPT-3.5とGPT-4のそれぞれで作成した理由データを用いて，パラメータサイズの異なるOpenCALMモデルを用いて，規則適合判定を行った．その結果を表4に示す．結果としては，各パラメータサイズのモデルで正誤に分類できるような解答が少なく,大幅に低い正解率となった.次に，GPT-3.5で作成したデータを用いて追加学習し、テストデータに対して評価を行った結果を表5に示す. パラメータサイズが大きくなるにつれて正解率が向上する傾向が見られた. OpenCALM-mediumについては分類できなかった
解答が多く，正解率が低下した．実際の出力を確認したところ，英語の文章を生成している例が多くみられたため，正誤の分類ができなかったと考えられる．また，パラメータサイズがOpenCALM-1B以上モデルでは，それ以下のモデルと比べ正解率が大きく向上した.
同様に，GPT-4で作成したデータを用いて学習し，テストした結果を表6に示す.  GPT-4で作成したデータにおいても，おおむねパラメータサイズが大きくなるにつれて正解率が向上していたが，GPT-3.5で作成したデータで学習した際に比べ，全体的に正解率が低くなった．また，OpenCALM-mediumについても同様に出力が英語として生成される例が多く，未分類の解答が多くみられた.

OpenCALMで複数回推論した結果
5.6
未分類を不正解として扱っているため，未分類を減らし，正解率を向上させるために，OpenCALMで複数回推論を行った際の分類結果を表7に示す. GPT-4と比較し，GPT-3.5で作成したデータで学習したOpenCALMの方が正解率が高かったため，推論にはGPT-3.5で作成したデータで学習したモデルを利用している.

6   考察
GPT-3.5/4で推論した結果の考察
6.1
GPT-3.5とGPT-4を用いてZero-Shot推論を行った結果，GPT-4が従来の手法と比較しても高い正解率を示した.これは，普通自動車免許の学科試験問題がドメイン知識を必要とするものの，交通規則や学科試験の模擬問題などがインターネットで公開されているため，GPT-4に学習されておりその知識と高い推論能力により，高い正解率を示したと考えられる.また、GPT-3.5と比較した際に、GPT-3.5では分類できずその他に分類していた問題が７問あったが， GPT-4ではその他に分類された問題が58問と大幅に増加していた．GPT-4で未分類となっている解答を確認したところ,「判断できない」や「状況に応じてことなる」などの解答が見られた．したがって， GPT-3.5では誤った理由を断定してしまっていたが, GPT-4では判断できない問題に対して誤った理由を生成する場合が少なくなったと考えられる.
6.2    OpenCALMで推論した結果の考察
GPT-3.5で作成したデータに対して，GPT-4で作成したデータで学習した場合に精度が低下した．その原因としては，GPT-4を用いて作成した理由データがGPT-3.5で作成したデータに比べて，より詳細で長い理由を生成しているため，運転免許試験に関する知識をうまく学習できなかったことが考えられる.また，追加学習を行っていないOpenCALMと比較すると，正解率，文章の質ともに大きく向上しており，追加学習の有効性を確認することが出来た.モデルのパラメータのサイズについては，表5の結果より，モデルサイズが1Bを境に正解率が大きく向上しており，規則適合判定を行うような場合には，ある程度のパラメータサイズが必要であると考えられる.複数回推論を行うことで，正解率を向上させることができることが分かった．これは，未分類となった解答を不正解として扱うことにより，複数回推論を行うことで，未分類の解答を正解に分類することが可能となったためと考えられる.
7　おわりに
本研究では，普通自動車免許の学科試験問題を用いて，GPT-3.5とGPT-4を用いた規則適合判定とその理由の生成を行った．また，OpenCALMを用いた実験により，パラメータサイズによって，規則適合判定の精度がどのように変化するかを検証した.実験の結果，規則適合判定においてはGPT-4が最も高い精度を示した．OpenCALMを用いた実験では，性能が不十分ではあるものの，パラメータサイズが大きくなるにつれて，規則適合判定の精度が向上していることが分かった.また，GPT-3.5とGPT-4で作成したデータの違いによって，OpenCALMでの実験結果に大きな差があり，Insturction Tuningでは学習時のデータセットの性質によって，規則適合判定の精度が大きく変化することが分かった.そのため，今後より効果的に学習を行うためには，データセットの作成にも工夫が必要であると考えられる.本研究はJSPS科研費23K11240の助成を受けたものである. [1]  OpenAI.  GPT-4 Technical Report.  arxiv:2303.08774, 2023. [2]   田邊豊,神代裕人,的場成紀,菱沼宏祐,小林一郎,平博順.自動車免許試験問題の含意関係認識を用いた自動解答.人工知能学会全国大会論文集第35回.一般社団法人人工知能学会, 2021.的場成紀,田邊豊,小林一郎,平博順.自動車免許試験[3]自動解答における単語類似度の影響.言語処理学会第27回年次大会発表論文集, 2021. Issey Sukeda, Masahiro Suzuki, Hiroki Sakaji, and Satoshi [4] JMedLoRA:Medical domain adaptation on Kodera. Japanese large language models using instruction-tuning, 2023. [5] Edward J Hu, Phillip Wallis, Zeyuan Allen-Zhu, Yuanzhi Li, Shean Wang, Lu Wang, Weizhu Chen, et al. Lora: Low- rank adaptation of large language models. In International Conference on Learning Representations , 2021.新原俊樹,甲斐尚人,小柏香穂理,船越幸夫. Chatgpt [6]を活用した研究データの作成事例(in press).情報知識学会誌, 2024.倉宜昭.試験によく出る普通免許１０００題.高橋[7]書店, 1993.自動車技術研究会.普通免許「ズバリ!本試験」問題[8]集.ナツメ社, 1990.長信一.オールカラー普通免許＜ひっかけ対策＞問[9]題集.ナツメ社, 2015.学科試験問題研究所.完全合格!普通免許総まとめ問[10]題集1800.永岡書店, 2016.長信一.赤シート対応完全合格!普通免許2000問実[11]戦問題集.成美堂出版, 2022.