大規模言語モデルを用いた規則適合判定と理由の生成

人間があらかじめ定めた規則をロボットや計算機が，適切に遵守するための規則適合判定技術は，自立型ロボットと人間が共生したり，自動運転車が公道を走る世の中では重要な技術になると考えられる．また，規則適合判定を行った際にその判定理由が人間にも理解できることは，事故が発生した際の責任問題にも関わり，今後必要不可欠になると考えられる．本研究では，普通自動車免許の学科試験を題材として，判定理由も出力可能な規則適合判定技術の開発を試みる．判定理由の出力を行えるような，文章生成が可能なモデルとして，GPT-3.5やGPT-4[1]などのInstructionTuningを用いた大規模言語モデルがある．これらのモデルは，文章生成にとどまらず，様々なタスクで高い性能を示している．しかし，様々なタスクに利用できる反面，特定のタスクに焦点を当てる際には不必要なパラメータが多く，モデル学習や運用に多大なコストがかかるという側面もある．本研究ではGPT-3.5とGPT-4を用いて規則適合判定と判定理由の生成について評価を行うとともに，より軽量なモデルで規則適合判定と判定理由の生成が可能であるか，評価・分析を行う．具体的には規則適合判定の題材として，普通自動車免許の学科試験問題を基に，GPT-3.5とGPT-4を用いて規則適合判定と問題文に対する判定理由の生成を行い，評価した．また，より軽量なモデルで規則適合判定と判定理由の生成が可能であるか検証するために，GPT-3.5とGPT-4を用いて判定理由のデータを作成し，CyberAgent社から公開されているOpenCALMに対して追加学習を行った．パラメータ数の異なるOpenCALMに追加学習を行うことで，パラメータの大きさによって規則適合判定とその解答に沿った判定理由の生成に影響するかなどについて評価・分析を行う．